WO2020232856A1 - 兴趣收集方法、装置、计算机设备及存储介质 - Google Patents

兴趣收集方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
WO2020232856A1
WO2020232856A1 PCT/CN2019/101975 CN2019101975W WO2020232856A1 WO 2020232856 A1 WO2020232856 A1 WO 2020232856A1 CN 2019101975 W CN2019101975 W CN 2019101975W WO 2020232856 A1 WO2020232856 A1 WO 2020232856A1
Authority
WO
WIPO (PCT)
Prior art keywords
current
user
image
historical
interest
Prior art date
Application number
PCT/CN2019/101975
Other languages
English (en)
French (fr)
Inventor
梁炳强
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2020232856A1 publication Critical patent/WO2020232856A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Definitions

  • the micro-expression recognition tool is used to analyze the micro-expression image, and the result of the analysis is the item category label corresponding to the expression of interest, which is marked as the current interest label;
  • an original video stream module which is used to obtain at least one face collection device to collect the original video stream of the current user in real time;
  • An interest list forming module is used to form an interest item list based on at least one item corresponding to each current interest tag in the current interest tag list;
  • the micro-expression recognition tool is used to analyze the micro-expression image, and the result of the analysis is the item category label corresponding to the expression of interest, which is marked as the current interest label;
  • FIG. 1 is a schematic diagram of an application environment of an interest collection method in an embodiment of the present application
  • FIG. 5 is another flowchart of the interest collection method in an embodiment of the present application.
  • the face collection device is a plurality of face image collection devices deployed in the environment and placed around the object.
  • the original video stream is a video stream containing a face image captured by a face acquisition device, and is used for subsequent micro-expression analysis of the face image.
  • items should be classified and placed based on the types of items in the environment.
  • at least one face collection device can be deployed in each item classification area to take pictures of users going and going. Whenever a face collection device collects an image including a face, it forms an original video stream and sends it to the server.
  • the server may receive the original video stream sent by at least one face collection device, and prepare a data basis for subsequent micro-expression analysis based on the original video stream; set up face collection devices according to the item category, which is beneficial for subsequent faces based on different faces.
  • the collection equipment confirms the corresponding different item categories.
  • the user stay time is the time that the current user stays within the photographable range corresponding to each face collection device.
  • the item category label is a label distinguished according to the category attribute of the item, for example, men's shoes, women's shoes, or children's shoes.
  • the micro-emoji image is an image based on the server that includes the face of the current user in the original video stream.
  • step S20 is as follows:
  • the first frame image, the last frame image, and at least one intermediate frame image of the original video stream should be extracted. If the above-mentioned at least three frames of images all correspond to the same user, it means that the current user in the original video stream is the same person and has stayed in front of the face collection device and has not left.
  • the image recognition tool can use the existing mature image analysis tools to extract the features of any frame of face images and then compare them. When the image feature similarity corresponding to any frame of the image is greater than the contrast threshold, any frame of face can be determined.
  • the images correspond to the current user, that is, the current user stays in front of the face collection device.
  • the duration (duration) corresponding to the original video stream is the user stay time.
  • At least one face collection device is deployed in each item classification area, that is, the shooting range of a face collection device should correspond to a category of items, and such items should have at least one item category label of the same category, for example, Children's supplies, early education supplies or toys, etc.
  • the server may extract the user's stay time, item category tags, and micro-expression images based on the original video stream, and prepare a data basis for subsequent extraction of item category tags of interest to the current user.
  • the micro-expression recognition tool is used to analyze the micro-expression image, and the analysis result is obtained as the item category label corresponding to the expression of interest, which is marked as the current interest label.
  • the time stay threshold is the shortest stay time that the user may be interested in an item preset by the server, such as 15 seconds, etc., which are not limited here.
  • the micro-expression recognition tool is a tool that performs micro-expression analysis on a micro-expression image to obtain a target micro-expression score table, and obtains the expression with the highest percentage in the table as the current expression.
  • the expression of interest is an expression preset by the server that may indicate that the user is interested in the item, such as happy, excited, or happy.
  • the current interest tag is a tag used by the server to filter out the item categories that the user may be interested in from the perspective of the user's stay time in the item category tags.
  • micro-expression is a psychological term, it is a brief and involuntary rapid facial expression that induces a certain real emotion.
  • the standard micro-expression duration is between 1/5 and 1/25, and usually only occurs on specific parts of the face.
  • the subtlety and simplicity of micro-expression is a huge challenge to the naked eye.
  • the "micro-expression” flashes by, and it is usually not even noticed by the awake person and observer. In the experiment, only 10% of people noticed it.
  • Humans mainly have at least six expressions, and each expression has a different meaning:
  • the facial movements include: the corners of the mouth are raised, the cheeks are wrinkled, the eyelids are contracted, and "crow's feet" will form at the tail of the eyes.
  • Facial features include squinting, tightening of eyebrows, pulling down of the corners of the mouth, and lifting or tightening of the chin.
  • ⁇ Anger At this time, the eyebrows are drooping, the forehead is wrinkled, and the eyelids and lips are tight.
  • ⁇ Disgust expressions of disgust include sniffing, raising the upper lip, drooping eyebrows, and squinting.
  • the micro-expression recognition tool should include at least two micro-expression recognition models for obtaining micro-expression, and each micro-expression recognition model corresponds to a micro-expression, such as happy or sad.
  • the target micro-expression score table includes the micro-expression scores corresponding to all types of micro-expression recognition models in the micro-expression recognition tool, for example, happy: 0.6, sad: 0.3, etc., and the micro-expression label and micro-expression corresponding to each micro-expression
  • the expression score is correspondingly stored, and the micro expression score table can be obtained, as shown in the following table:
  • the expression with the highest score in the micro expression score table is obtained as the expression corresponding to this embodiment.
  • step S30 the server can analyze all the micro-expression images that meet the time-stay threshold to obtain the interest expression corresponding to the current user, and obtain the corresponding item category tag based on each interest expression as the current interest tag.
  • the scope of interest is refined.
  • the current tag list of interest is a list obtained by the server after sorting the tags of current interest in descending order of time sequence, and the list sorts and displays the categories of items that may be of interest to the user from the perspective of the user's attention time.
  • the server may sort the user stay time corresponding to each original video stream in descending order to infer the items that the user is most interested in.
  • the current tag list obtained after sorting may be:
  • the server may sort the item expressions corresponding to each interest expression based on the user's stay time, and obtain the current attention tag list corresponding to the items that the user is most likely to be interested in.
  • S50 Form an interest item list based on at least one item corresponding to each current interest tag in the current interest tag list.
  • the interest item list is a list based on at least one item obtained corresponding to each item category tag in the current attention tag list. Understandably, each item category tag includes at least one category item, and the server can display the interest items corresponding to each current interest tag in a preset quantity.
  • step S40 the description in step S40 is continued, and the list of each item category tag in the current attention tag list obtained in step S40 is as follows:
  • the preset at least one item corresponding to the tag can be acquired based on each item category tag as follows:
  • Clothing clothing 1, clothing 2 and clothing 3;
  • the server may obtain a corresponding list of items of interest based on the current tag list of interest obtained in step S40, generalize items that may be of interest to the current user, and improve the scalability of the interest collection system.
  • the interest collection terminal is a terminal that collects user interests, and collects the user's interest item list in a timely manner, and subsequently continuously collects user information to release the update status of the interest item list corresponding to the user, and promptly pushes the interest item list to the user.
  • the server when it sends the micro-expression image to the interest collection terminal, it may first query the built-in image database whether there is a stored user corresponding to the micro-expression image. If the existing user does not exist, the server can create a new user record in the image database based on the micro-expression image, and at the same time, associate the newly created user record with the list of interest items corresponding to the newly created user, so that the server can directly download The list of items of interest corresponding to the newly created user is matched in the image database for content update.
  • the server may send the micro-expression image and the interest item list to the interest collection terminal, which facilitates the server to create a new interest item list corresponding to the user in time, or update content based on the user's existing interest item list.
  • the interest collection method further specifically includes the following steps:
  • the image database is a database that stores historical users and historical user images corresponding to each historical user.
  • the historical user image is the face image corresponding to the historical user recorded by the server, where the historical user is the user whose face image and interest item list have been recorded by the server.
  • the image matching result is to perform matching processing between the micro-expression image and the historical user image in the image database, and the result of the matching is whether the image similarity is greater than the similarity threshold.
  • the similarity threshold is the lowest image similarity percentage to determine whether two images correspond to the same user. In this embodiment, it can be set to 80%.
  • the server may use a perceptual hash algorithm to obtain the image similarity percentage between the micro-expression image and each historical user image.
  • the implementation process is as follows:
  • Input image (micro-expression image and each historical user image);
  • the historical tag list is a list that records all historical tags of the user.
  • the attention item information is information composed of at least one item corresponding to each historical attention tag.
  • step 103 when the result of image matching performed by the server on the micro expression image is that the matching is unsuccessful, it indicates that the current user is a new user who has not entered the interest collection system. At this time, the server should record the corresponding information of the current user into the image database, so that the server can subsequently update the information based on the information corresponding to the current user.
  • the server may obtain the image similarity percentage between the micro-expression image and each historical user image, and prepare a data basis for subsequent determination of whether the current user corresponding to the micro-expression image is a historical user.
  • the server can obtain the historical attention tags and the attention item information corresponding to the successfully matched historical users in a timely manner and send them to the interest collection terminal, thereby improving the efficiency of obtaining interesting items of the historical users.
  • the server performs image matching on the micro-expression image as a result of unsuccessful matching, it indicates that the current user is a new user who has not entered the interest collection system. At this time, the server should record the corresponding information of the current user into the image database, so that the server can subsequently update the information based on the information corresponding to the current user.
  • the first frame image is the first face image corresponding to the original video stream on the time axis;
  • the last frame image is the last face image corresponding to the original video stream on the time axis;
  • the middle frame image is the first frame image and Any face image between the last frame images.
  • the server may obtain the first frame image, the last frame image, and at least one intermediate frame image corresponding to the original video stream, and respectively examine the face corresponding to the current user from the beginning stage, intermediate stage, and end stage of the original video stream. Determine whether it is the same face, so as to confirm whether the current user corresponds to the same person from the beginning to the end of the original video stream.
  • the server may obtain any face image whose recognition result is the current user as a micro-emoji image, and extract the duration corresponding to the original video stream as the user’s stay time to prepare for the subsequent server to obtain the current user’s interest expression Data basis.
  • the face collection device is deployed in the environment based on the item category.
  • the server may associate each face collection device with at least one corresponding item category tag.
  • the server obtains the original video stream collected by a certain face collecting device, it can obtain at least one item category tag associated with the original video stream.
  • step S23 the server can obtain at least one item category tag in time based on the face collection device, and the obtaining process is simple and quick.
  • step S20 that is, after determining the current user’s stay time, item category tags and micro-expression images within the shooting range corresponding to each face collection device, the interest collection
  • the method also specifically includes the following steps:
  • a registered user is a user who has become a user who saves corresponding information in the interest collection system by actively improving the registration information.
  • the registration ID is an identification used by the server to distinguish each registered user.
  • registered users can actively add historical attention tags when actively registering in the interest collection system, that is, actively fill in the category tags of the items they care about. Further, the server may also continue to update the historical attention tag list corresponding to the registered user based on the subsequent micro-expression images of the registered user.
  • the server may directly obtain whether the current user is a registered user through the micro-expression image, so as to obtain the corresponding historical attention tag list.
  • item comment messages are evaluations given by registered users on item promotion websites based on different items.
  • the article promotion website is an online website corresponding to the interest collection system for introducing and promoting articles.
  • the server may search on the item promotion website according to the registration ID to obtain the item comment messages of the registered users in the comment area for each item, so that the subsequent server can analyze the interest degree of the item based on all the item comment messages.
  • the language sentiment analysis tool is a tool for positive or negative tone analysis of article comments.
  • Sentiment analysis is an application of a common natural language processing (NLP) method, especially in a classification method that aims to extract the emotional content of a text. In this way, sentiment analysis can be seen as a way to quantify qualitative data using some sentiment score indicators.
  • NLP natural language processing
  • step S605 is the same as S205, and in order to avoid repetition, it will not be repeated here.
  • the server may obtain the corresponding current attention label based on the item outbound request sent by the transaction terminal, so as to prepare a data basis for subsequent updating of the historical attention label corresponding to the current user based on the current attention label.
  • the cash register camera device can obtain the current face image of the current user when the current user conducts a transaction, perform identity analysis on the current user according to the same steps as in steps S101 to S103, and prepare data for subsequent update of the historical attention tag corresponding to the current user basis.
  • the server can add current attention tags that are not included in the historical attention tag list to improve the real-time and applicability of the interest collection system.
  • the current face image collected by the transaction terminal is the current user who has not been registered in the image database, There is also no historical tag list corresponding to the current user in the image database.
  • the current user can only have the current tag list generated based on the original video stream collected by the face collection device.
  • step S6031 in order to avoid duplication of the current tag list, the server should match each current tag with the current tag list.
  • the server may add the current following tags that are not in the current following tag list to the current following tag list, and at the same time, add the current user as a historical user to the image database, and correspondingly save the current following tag list as historical attention
  • the tag list is to ensure that the corresponding historical attention tag list is generated for the current user in a timely manner, which is conducive to promptly pushing the current user's subsequent items of interest.
  • step S6033 the server should store the current face image as the current user’s identity authentication image in association with the historical attention tag list in the image database, so that the subsequent server can identify the current user’s identity in a timely manner based on the identity authentication image, and its relative List of historically followed tags.
  • the server should match each current attention tag with the current attention tag list.
  • the server can add current following tags that are not part of the current following tag list to the current following tag list, and at the same time, add the current user as a historical user to the image database, and correspondingly save the current following tag list as a historical attention tag list, to It ensures that the corresponding historical tag list is generated for the current user in a timely manner, which is conducive to promptly pushing the current user's subsequent items of interest.
  • the server should store the current face image as the current user's identity authentication image in association with the historical attention tag list in the image database, so that the subsequent server can identify the current user's identity in time based on the identity authentication image and its historical attention tag list. .
  • the server should match each current tag with the current tag list.
  • the server can add current following tags that are not part of the current following tag list to the current following tag list, and at the same time, add the current user as a historical user to the image database, and correspondingly save the current following tag list as a historical attention tag list, to It ensures that the corresponding historical tag list is generated for the current user in a timely manner, which is conducive to promptly pushing the current user's subsequent items of interest.
  • the server should store the current face image as the current user's identity authentication image in association with the historical attention tag list in the image database, so that the subsequent server can identify the current user's identity in time based on the identity authentication image and its historical attention tag list. .
  • the micro-expression image determining module 20 is used to determine, based on the original video stream, the current user's stay time, item category tags and micro-expression images within the shooting range corresponding to each face collection device.
  • the micro-expression image analysis module 30 is configured to use a micro-expression recognition tool to analyze the micro-expression image if the user's stay time is greater than the time-stay threshold, and obtain the analysis result as the item category label corresponding to the expression of interest, and mark it as the current interest label.
  • the unsuccessful image matching module 103 is configured to, if the result of the image matching is unsuccessful, perform the determination based on the original video stream to determine the current user’s staying time, item category label and microblog within the shooting range corresponding to each face collection device Steps for emoticons.
  • the matching result obtaining module is used to perform matching processing between the current face image and the historical user image in the image database to obtain the image matching result.
  • the add current item module is used to add the current attention label as a new historical attention label to the historical attention label list if there is no historical attention label that is the same as the current attention label.
  • the interest collection device further includes a matching tag list module, a attention tag forming module and a current image storage module.
  • a follow tag module is formed, which is used to add any current follow tag that does not belong to the current follow tag list to the current follow tag list to form a historical follow tag list corresponding to the current user.
  • the determining micro-expression image module includes a face image extraction unit, a stay time extraction unit, and an item category tag acquisition unit.
  • the face image extraction unit is used to extract at least three face images based on the first frame image, the last frame image and at least one intermediate frame image corresponding to the original video stream.
  • Extract the dwell time unit which is used to recognize any frame of face image using image recognition tools. If the recognition result is all the current user, then any frame of face image is used as a micro-expression image, and the duration corresponding to the original video stream is extracted Recorded as the user's stay time.
  • the item category label obtaining unit is used to obtain at least one item category label within the shooting range corresponding to the face collection device.
  • the interest collection device further includes a historical list acquisition module, an article comment message acquisition module, a current label acquisition module, a current label comparison module, and a current article addition module.
  • the module for obtaining item comments and messages is used for searching on item promotion websites based on the registered ID, and obtaining the item comment messages corresponding to the current user.
  • the current tag acquiring module is used to analyze the comments and messages of the article by using a language sentiment analysis tool to acquire at least one current attention tag.
  • the current label comparison module is used to compare each current attention label with each historical attention label in the historical attention label list.
  • the add current item module is used to add the current attention label as a new historical attention label to the historical attention label list if there is no historical attention label that is the same as the current attention label.
  • Each module in the above interest collection device can be implemented in whole or in part by software, hardware, and a combination thereof.
  • the foregoing modules may be embedded in the form of hardware or independent of the processor in the computer device, or may be stored in the memory of the computer device in the form of software, so that the processor can call and execute the operations corresponding to the foregoing modules.
  • a computer device is provided.
  • the computer device may be a server, and its internal structure diagram may be as shown in FIG. 9.
  • the computer equipment includes a processor, a memory, a network interface and a database connected through a system bus. Among them, the processor of the computer device is used to provide calculation and control capabilities.
  • the memory of the computer device includes a non-volatile storage medium and an internal memory.
  • the non-volatile storage medium stores an operating system, computer readable instructions, and a database.
  • the internal memory provides an environment for the operation of the operating system and computer-readable instructions in the non-volatile storage medium.
  • the database of the computer equipment is used for data related to the interest collection method.
  • the network interface of the computer device is used to communicate with an external terminal through a network connection.
  • the computer-readable instructions are executed by the processor to realize an interest collection method.
  • the current user based on the original video stream, the current user’s stay time, item category tags, and micro-expression images within the shooting range corresponding to each face collection device are determined, including: the first frame image based on the original video stream, At least three frames of face images are extracted from the last frame image and at least one intermediate frame image; the image recognition tool is used to recognize any frame of the face image. If the recognition result is the current user, then any frame of the face image is used as a micro The expression image is extracted and the duration corresponding to the original video stream is recorded as the stay time of the user; at least one item category tag within the shooting range corresponding to the face collection device is obtained.
  • the interest collection method further includes: performing face recognition on the micro-expression images, If the identification result is a registered user, obtain the registered user's corresponding registration ID and historical attention tag list; search on the item promotion website based on the registered ID to obtain the item comment message corresponding to the current user; use the language sentiment analysis tool to perform the item comment message Analyze and obtain at least one current following label; compare each current following label with each historical following label in the historical following label list; if there is no historical following label that is the same as the current one, then the current following label is taken as the new one
  • the historical follow tag of is added to the list of historical follow tags.
  • the interest collection method further includes: obtaining an item outbound request sent by the transaction terminal, the item outbound request including the item ID and the transaction terminal ID, Based on the item ID, obtain the corresponding at least one current attention tag; receive the current face image of the current user sent by the cashier camera corresponding to the transaction ID; match the current face image with the historical user image in the image database to obtain Image matching result; if the image matching result is successful, the current user is a historical user, and each current follower tag is compared with each historical follower tag in the historical follower tag list corresponding to the historical user; if there is no current follower For historical attention tags with the same label, the current attention tag is added to the historical attention tag list as a new historical attention tag.
  • the interest collection method further includes: if the image matching result is unsuccessful, matching each current focus tag with the current focus tag list; and selecting any one that does not belong to the current focus
  • the current following tag of the tag list is added to the current following tag list to form a historical following tag list corresponding to the current user; the current face image and the historical following tag list are associated and stored in the image database.
  • one or more non-volatile readable storage media storing computer readable instructions, when the computer readable instructions are executed by one or more processors, cause the one or more processors to perform the following steps : Obtain at least one face collection device to collect the original video stream of the current user in real time; based on the original video stream, determine the current user’s stay time, item category label and micro-expression image within the shooting range corresponding to each face collection device; if If the user’s stay time is greater than the time stay threshold, the micro-expression recognition tool is used to analyze the micro-expression image, and the analysis result is the item category label corresponding to the expression of interest, which is marked as the current interest label; based on the descending order of the user’s stay 1. Sort the current interest tags to obtain the current interest tag list; form an interest item list based on at least one item corresponding to each current interest tag in the current interest tag list; send the micro expression image and the interest item list to the interest collection terminal.
  • the interest collection method further includes: if the image matching result is unsuccessful, matching each current focus tag with the current focus tag list; and selecting any one that does not belong to the current focus
  • the current following tag of the tag list is added to the current following tag list to form a historical following tag list corresponding to the current user; the current face image and the historical following tag list are associated and stored in the image database.
  • Non-volatile memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), or flash memory.
  • Volatile memory may include random access memory (RAM) or external cache memory.
  • RAM is available in many forms, such as static RAM (SRAM), dynamic RAM (DRAM), synchronous DRAM (SDRAM), double data rate SDRAM (DDRSDRAM), enhanced SDRAM (ESDRAM), synchronous chain Channel (Synchlink) DRAM (SLDRAM), memory bus (Rambus) direct RAM (RDRAM), direct memory bus dynamic RAM (DRDRAM), and memory bus dynamic RAM (RDRAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种兴趣收集方法、装置、计算机设备及存储介质，其中，该兴趣收集方法包括：获取至少一个人脸采集设备实时采集当前用户的原始视频流；基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像；若用户停留时间大于时间停留阈值，则对微表情图像进行分析，获取分析结果为感兴趣表情对应的物品类别标签，标记为当前兴趣标签；基于用户停留时间的降序顺序获取当前关注标签列表；基于当前关注标签列表中每一当前兴趣标签对应的至少一个物品，形成兴趣物品列表。该方法可精准高效地匹配得到当前用户可能感兴趣的目标物品。

Description

兴趣收集方法、装置、计算机设备及存储介质
本申请以2019年05月22日提交的申请号为201910430214.5，名称为“兴趣收集方法、装置、计算机设备及存储介质”的中国发明申请为基础，并要求其优先权。
技术领域
本申请涉及人脸识别领域，尤其涉及一种兴趣收集方法、装置、计算机设备及存储介质。
背景技术
实体店是网络购物后出现的名词，是在一定的硬件设施(如营业场所)基础上建立起来的，地点相对固定的以营利为目的的商业机构，它的商品既可以是实物，也可以是虚拟商品(如充值卡，翻译服务等)。就形式而言，实体店也借助互联网销售，逐渐向虚拟店铺转变。现在实体店内销售物品的途径主要依赖店内人员向逛店的用户进行物品推销来实现。而店内人员对每天若干逛店用户的购买意向一般难以第一时间获知，基本是通过与逛店用户进行对话才可了解用户的购买意图。如何基于用户的兴趣及时获取对应的兴趣物品成为亟待解决的问题。
发明内容
本申请实施例提供一种兴趣收集方法、装置、计算机设备及存储介质，以解决基于用户的兴趣及时获取对应的兴趣物品的问题。
一种兴趣收集方法，包括：
获取至少一个人脸采集设备实时采集当前用户的原始视频流；
基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像；
若用户停留时间大于时间停留阈值，则采用微表情识别工具对微表情图像进行分析，获取分析结果为感兴趣表情对应的物品类别标签，标记为当前兴趣标签；
基于用户停留时间的降序顺序，对每一当前兴趣标签进行排序，获取当前关注标签列表；
基于当前关注标签列表中每一当前兴趣标签对应的至少一个物品，形成兴趣物品列表；
将微表情图像与兴趣物品列表发送给兴趣采集终端。
一种兴趣收集装置，包括：
获取原始视频流模块，用于获取至少一个人脸采集设备实时采集当前用户的原始视频流；
确定微表情图像模块，用于基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像；
分析微表情图像模块，用于若用户停留时间大于时间停留阈值，则采用微表情识别工具对微表情图像进行分析，获取分析结果为感兴趣表情对应的物品类别标签，标记为当前兴趣标签；
获取标签列表模块，用于基于用户停留时间的降序顺序，对每一当前兴趣标签进行排序，获取当前关注标签列表；
形成兴趣列表模块，用于基于当前关注标签列表中每一当前兴趣标签对应的至少一个物品，形成兴趣物品列表；
发送微表情图像模块，用于将微表情图像与兴趣物品列表发送给兴趣采集终端。
一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现如下步骤：
获取至少一个人脸采集设备实时采集当前用户的原始视频流；
基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标 签和微表情图像；
若用户停留时间大于时间停留阈值，则采用微表情识别工具对微表情图像进行分析，获取分析结果为感兴趣表情对应的物品类别标签，标记为当前兴趣标签；
基于用户停留时间的降序顺序，对每一当前兴趣标签进行排序，获取当前关注标签列表；
基于当前关注标签列表中每一当前兴趣标签对应的至少一个物品，形成兴趣物品列表；
将微表情图像与兴趣物品列表发送给兴趣采集终端。
一个或多个存储有计算机可读指令的非易失性可读存储介质，其特征在于，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如下步骤：
获取至少一个人脸采集设备实时采集当前用户的原始视频流；
基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像；
若用户停留时间大于时间停留阈值，则采用微表情识别工具对微表情图像进行分析，获取分析结果为感兴趣表情对应的物品类别标签，标记为当前兴趣标签；
基于用户停留时间的降序顺序，对每一当前兴趣标签进行排序，获取当前关注标签列表；
基于当前关注标签列表中每一当前兴趣标签对应的至少一个物品，形成兴趣物品列表；
将微表情图像与兴趣物品列表发送给兴趣采集终端。
本申请的一个或多个实施例的细节在下面的附图和描述中提出，本申请的其他特征和优点将从说明书、附图以及权利要求变得明显。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中兴趣收集方法的应用环境示意图；
图2是本申请一实施例中兴趣收集方法的流程图；
图3是本申请一实施例中兴趣收集方法的另一流程图；
图4是本申请一实施例中兴趣收集方法的另一流程图；
图5是本申请一实施例中兴趣收集方法的另一流程图；
图6是本申请一实施例中兴趣收集方法的另一流程图；
图7是本申请一实施例中兴趣收集方法的另一流程图；
图8是本申请一实施例中兴趣收集装置的示意图；
图9是本申请一实施例中计算机设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的兴趣收集方法，可应用在如图1的应用环境中，该兴趣收集方法应用在兴趣收集系统中，该兴趣收集系统包括客户端和服务器，其中，客户端通过网络与服务器进行通信。客户端又称为用户端，是指与服务器相对应，为客户端提供本地服务的程序。该客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等计算机设备上。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种兴趣收集方法，以该方法应用在图1中的服务器为例进行说明，具体包括如下步骤：
S10.获取至少一个人脸采集设备实时采集当前用户的原始视频流。
其中，人脸采集设备是环境内部署的多个放置在物品周围位置的人脸图像采集设备。
原始视频流是人脸采集设备拍摄到的包含人脸图像的视频流，用以后续可对该人脸图像进行微表情分析。
具体地，环境内应基于物品种类对物品进行分类摆放。对应地，在每个物品分类区可部署至少一个人脸采集设备，用以拍摄来往的用户。每当一个人脸采集设备采集到包括人脸的图像时即形成原始视频流发送给服务器。
步骤S10中，服务器可接收至少一个人脸采集设备发送的原始视频流，为后续基于该原始视频流进行微表情分析准备数据基础；按照物品类别设置人脸采集设备，利于后续基于不同的人脸采集设备确认对应的不同物品类别。
S20.基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像。
其中，当前用户是在至少一个人脸采集设备产生原始视频流的用户。
用户停留时间是当前用户在每个人脸采集设备对应的可拍摄范围内停留的时间。
物品类别标签是按物品的类别属性进行区分的标签，比如，男鞋、女鞋或童鞋等。
微表情图像是服务器基于原始视频流中包括当前用户的人脸的图像。
具体地，步骤S20的实现过程如下：
1.基于原始视频流对应的首帧图像、尾帧图像和至少一个中间帧图像，提取至少三帧人脸图像。
为了确认原始视频流中拍摄的人脸为相同的当前用户对应的人脸，应提取该段原始视频流的首帧图像、尾帧图像和至少一帧中间帧图像。若上述至少三帧图像都对应同一用户，说明在该段原始视频流中的当前用户为同一人，一直停留在人脸采集设备前未走开。
2.采用图像识别工具对任一帧人脸图像进行识别，若识别结果都为当前用户，则将任一帧人脸图像作为微表情图像，提取原始视频流对应的延续时间记录为用户停留时间。
图像识别工具可采用现有成熟的图像分析工具对任一帧人脸图像进行特征提取后进行对比，当任一帧的图像对应的图像特征相似度都大于对比阈值，可判定任一帧人脸图像都是对应当前用户的，也即当前用户在该人脸采集设备前一直停留。
可以理解地，该段原始视频流对应的时长(延续时间)即为用户停留时间。
3.获取人脸采集设备对应的拍摄范围内的至少一个物品类别标签。
因在每个物品分类区至少部署一部人脸采集设备，也即一部人脸采集设备的拍摄范围内应对应一类物品，该类物品应具有至少一个同类别的物品类别标签，比如，儿童用品，早教用品或玩具等。
步骤S20中，服务器可基于原始视频流提取用户停留时间、物品类别标签和微表情图像，为后续提取当前用户感兴趣的物品类别标签准备数据基础。
S30.若用户停留时间大于时间停留阈值，则采用微表情识别工具对微表情图像进行分析，获取分析结果为感兴趣表情对应的物品类别标签，标记为当前兴趣标签。
其中，时间停留阈值是服务器预先设定的用户对某物品可能感兴趣的最短逗留时间，比如15秒等此处不作限定。
微表情识别工具是将微表情图像进行微表情分析获取目标微表情分值表，获取该表中百分比最高的表情作为当前表情的工具。
感兴趣表情是服务器预设的可能表示用户对物品感兴趣的表情，比如高兴、兴奋或开心等。
当前兴趣标签是服务器在物品类别标签中从用户停留时间角度筛选出用户可能感兴趣的物品类别的标签。
具体地，微表情是心理学名词，是引发隐藏某种真实情绪的短暂和不自主的快速面部表情。标准的微表情持续时间在1/5到1/25之间，通常只发生在脸部的特定部位。微表情的微妙和简洁是对肉眼的巨大挑战，“微表情”一闪而过，通常甚至清醒的作表情的人和观察者都察觉不到。在实验里，只有10％的 人察觉到。
人类主要拥有至少六种表情，每种表情都表达不一样的意思：
·高兴：人们高兴时的面部动作包括：嘴角翘起，面颊上抬起皱，眼睑收缩，眼睛尾部会形成“鱼尾纹”。
·伤心：面部特征包括眯眼，眉毛收紧，嘴角下拉，下巴抬起或收紧。
·害怕：害怕时，嘴巴和眼睛张开，眉毛上扬，鼻孔张大
·愤怒：这时眉毛下垂，前额紧皱，眼睑和嘴唇紧张。
·厌恶：厌恶的表情包括嗤鼻，上嘴唇上抬，眉毛下垂，眯眼。
·惊讶：惊讶时，下颚下垂，嘴唇和嘴巴放松，眼睛张大，眼睑和眉毛微抬。
具体地，本实施例中，微表情识别工具应包括至少两种用以获取微表情的微表情识别模型，每一微表情识别模型对应一种微表情，比如，高兴或伤心等。
目标微表情分值表是包括微表情识别工具中所有种类的微表情识别模型分别对应的微表情得分，比如，高兴：0.6，伤心：0.3等，将每一微表情对应的微表情标签和微表情得分对应存储，即可得微表情分值表，如下表一所示：
表情 分值
高兴 0.5
伤心 0.2
害怕 0.1
惊讶 0.1
愤怒 0.1
表一
从表一可知，当前用户对应的表情为高兴(高兴占据的表情分值的百分比是最高的50％。)
获取微表情分值表中得分最高的表情作为本实施例对应的表情。对表情进行筛选，将属于喜好类的标签作为感兴趣表情，比如，高兴或兴奋等表情，此处不做限定。
步骤S30中，服务器可将所有符合时间停留阈值的微表情图像进行分析可得到当前用户对应的感兴趣表情，并基于每一感兴趣表情获取对应的物品类别标签作为当前兴趣标签，可将当前用户的兴趣范围精准化。
S40.基于用户停留时间的降序顺序，对每一当前兴趣标签进行排序，获取当前关注标签列表。
其中，当前关注标签列表是服务器将当前兴趣标签按时序降序排序后得到的列表，该列表从用户关注时间的角度给用户可能感兴趣的物品类别进行排序并显示。
具体地，服务器可将每段原始视频流对应的用户停留时间按降序排列，用以推测出用户最感兴趣的物品，比如，排序后得到的当前关注标签列表可以为：
原始视频流1--30秒--高兴--物品类别标签：服装，保暖内衣和冬装；
原始视频流2--17秒--喜悦--物品类别标签：书籍和小说。
步骤S40中，服务器可基于用户停留时间，将每一兴趣表情对应的物品表情进行排序，获得用户最可能感兴趣的物品对应的当前关注标签列表。
S50.基于当前关注标签列表中每一当前兴趣标签对应的至少一个物品，形成兴趣物品列表。
其中，兴趣物品列表是基于当前关注标签列表中每一物品类别标签对应获取的至少一个物品构成的列表。可以理解地，每一物品类别标签都至少包括一种类别物品，服务器可按预设数量展示每一当前兴趣标签对应的兴趣物品。
具体地，继续以步骤S40中的举例进行说明，步骤S40中得到的当前关注标签列表中由每一物品类别 标签构成的列表如下：
服装，保暖内衣和冬装；
书籍和小说。
本实施例中，可基于每一物品类别标签获取预设的该标签对应的至少一个物品如下所示：
服装：服装1、服装2和服装3；
保暖内衣：保暖内衣1、保暖内衣2和保暖内衣3；
冬装：冬装1和冬装2；
书籍：书籍1；
小说：小说1、小说2、小说3、小说4和小说5。
步骤S50中，服务器可基于步骤S40得到的当前关注标签列表获取对应的兴趣物品列表，将当前用户可能感兴趣的物品进行泛化，提高兴趣收集系统的可扩展性。
S60.将微表情图像与兴趣物品列表发送给兴趣采集终端。
其中，兴趣采集终端是收集用户兴趣的终端，用以及时收集用户的兴趣物品列表，并后续不断收集用户信息对该用户对应的兴趣物品列表保释更新状态，及时向用户推送兴趣物品列表。
具体地，服务器将微表情图像发送给兴趣采集终端时，可首先在内置图像数据库中查询是否存在该微表情图像对应的已存用户。若不存在该已存用户，服务器可基于该微表情图像在图像数据库中新建用户记录，同时，将该新建的用户记录与该新建用户对应的兴趣物品列表进行关联存储，利于服务器后续可直接在图像数据库中匹配出该新建用户对应的兴趣物品列表进行内容更新。
步骤S60中，服务器可将微表情图像与兴趣物品列表发送给兴趣采集终端，利于服务器及时新建该用户对应的兴趣物品列表，或基于该用户已有的兴趣物品列表进行内容更新等。
本实施例提供的兴趣收集方法中，服务器通过分析原始视频流和用户停留时间，可获取当前用户感兴趣的兴趣物品列表，将该兴趣物品列表发送给兴趣采集端，可精准高效地匹配出当前用户可能感兴趣的目标物品，减少对当前用户的感兴趣物品进行猜测的时间，提高获取用户感兴趣物品的效率。
在一实施例中，如图3所示，在步骤S10之后，即在获取至少一个人脸采集设备实时采集当前用户的原始视频流之后，兴趣收集方法还具体包括如下步骤：
S101.将微表情图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果。
其中，图像数据库是保存历史用户和每一历史用户对应的历史用户图像的数据库。
历史用户图像是服务器记录的历史用户对应的人脸图像，其中，历史用户是被服务器已经记录其人脸图像和兴趣物品列表的用户。
图像匹配结果是将微表情图像和图像数据库中的历史用户图像进行匹配处理，匹配得到是否存在图像相似度大于相似度阈值的结果。其中相似度阈值是判定两幅图是否对应同一用户的最低图像相似百分比。于本实施例，可设置为80％。
具体地，服务器可采用感知哈希算法获取微表情图像和每一历史用户图像的图像相似百分比，实现过程如下：
1.输入图像(微表情图像和每一历史用户图像)；
2.灰度化；
3.将图像大小归一化到8*8尺寸；
4.简化灰度以减少计算量，例如所有的灰度除以5；
5.计算平均灰度值avg；
6.比较8*8＝64个像素与平均灰度值avg的大小，若大则记为1，小则记为0，按一定顺序排列成64位2进制的指纹编码；
7.比较微表情图像和每一历史用户图像的指纹编码，计算相似百分比也即图像相似度。
步骤S101中，服务器可获取微表情图像和每一历史用户图像的图像相似百分比，为后续判定该微表情图像对应的当前用户是否为历史用户准备数据基础。
S102.若图像匹配结果为匹配成功，则当前用户为历史用户，获取与历史用户相对应的历史关注标签列表和与历史关注标签列表相对应的关注物品信息，将历史关注标签列表和关注物品信息发送给兴趣采集终端。
其中，历史关注标签列表是记录用户的所有历史关注标签的列表。关注物品信息是每一历史关注标签对应的至少一个物品构成的信息。
步骤S102中，服务器可及时获取匹配成功的历史用户对应的历史关注标签和关注物品信息发送给兴趣采集端，提高获取历史用户的感兴趣物品的效率。
S103.若图像匹配结果为匹配不成功，则执行基于原始视频流，执行确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像的步骤。
步骤103中，当服务器对微表情图像进行图像匹配的结果为匹配不成功时，说明当前用户是未录入该兴趣收集系统的新的用户。此时，服务器应将当前用户的对应信息录入图像数据库，利于服务器后续基于基于该当前用户对应的信息进行信息更新。
步骤S101至S103中，服务器可获取微表情图像和每一历史用户图像的图像相似百分比，为后续判定该微表情图像对应的当前用户是否为历史用户准备数据基础。服务器可及时获取匹配成功的历史用户对应的历史关注标签和关注物品信息发送给兴趣采集端，提高获取历史用户的感兴趣物品的效率。当服务器对微表情图像进行图像匹配的结果为匹配不成功时，说明当前用户是未录入该兴趣收集系统的新的用户。此时，服务器应将当前用户的对应信息录入图像数据库，利于服务器后续基于基于该当前用户对应的信息进行信息更新。
在一实施例中，如图4所示，在步骤S20中，即基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像，具体包括如下步骤：
S21.基于原始视频流对应的首帧图像、尾帧图像和至少一个中间帧图像，提取至少三帧人脸图像。
其中，首帧图像是原始视频流在时间轴上对应的第一帧人脸图像；尾帧图像是原始视频流在时间轴上对应的最后一帧人脸图像；中间帧图像是首帧图像和尾帧图像之间的任一帧人脸图像。
步骤S21中，服务器可获取原始视频流对应的首帧图像、尾帧图像和至少一帧中间帧图像，分别从原始视频流的开始阶段，中间阶段和结束阶段分别考察当前用户对应的人脸，判定是否为同一张人脸，从而确认当前用户从原始视频流的开始到结束是否都对应同一人。
S22.采用图像识别工具对任一帧人脸图像进行识别，若识别结果都为当前用户，则将任一帧人脸图像作为微表情图像，提取原始视频流对应的延续时间记录为用户停留时间。
其中，图像识别工具可采用现有常用图像对比工具，比如步骤S101中采用的感知哈希算法获取首帧图像、尾帧图像和至少一个中间帧图像之间两两图像的图像相似百分比。当所有图像相似百分比都大于相似度阈值时，服务器可判定识别结果均为当前用户。
步骤S22中，服务器可获取识别结果均为当前用户的任一帧人脸图像作为微表情图像，并提取原始视频流对应的延续时间作为用户停留时间，为后续服务器获取当前用户的感兴趣表情准备数据基础。
S23.获取人脸采集设备对应的拍摄范围内的至少一个物品类别标签。
具体地，人脸采集设备是基于物品类别在环境内进行部署的。服务器可给每一人脸采集设备和对应的至少一个物品类别标签进行关联。当服务器获取到某个人脸采集设备采集的原始视频流时，可获取该原始视频流关联的至少一个物品类别标签。
步骤S23中，服务器可基于人脸采集设备及时获取至少一个物品类别标签，获取过程简单快捷。
步骤S21至S23中，服务器可获取原始视频流对应的首帧图像、尾帧图像和至少一帧中间帧图像，分别从原始视频流的开始阶段，中间阶段和结束阶段分别考察当前用户对应的人脸，判定是否为同一张人脸，从而确认当前用户从原始视频流的开始到结束是否都对应同一人。服务器可获取识别结果均为当前用户的任一帧人脸图像作为微表情图像，并提取原始视频流对应的延续时间作为用户停留时间，为后续服务器获取当前用户的感兴趣表情准备数据基础。服务器可基于人脸采集设备及时获取至少一个物品类别标签，获取过程简单快捷。
在一实施例中，如图5所示，在步骤S20之后，即在确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像之后，该兴趣收集方法还具体包括如下步骤：
S201.对微表情图像进行人脸识别，若识别结果为注册用户，则获取注册用户对应的注册ID和历史关注标签列表。
其中，注册用户是用户通过主动提高注册信息成为在兴趣收集系统保存对应信息的用户。
注册ID是服务器用以区别每一注册用户的标识。
具体地，注册用户可在兴趣收集系统进行主动注册时主动添加历史关注标签，也即主动填写其关注的物品类别标签。进一步地，服务器也可基于注册用户后续的微表情图像继续更新该用户用户对应的历史关注标签列表。
步骤S201中，服务器可直接通过微表情图像获取当前用户是否为注册用户，以便获取对应的历史关注标签列表。
S202.基于注册ID在物品推广网站进行检索，获取当前用户对应的物品评论留言。
其中，物品评论留言是注册用户在物品推广网站上基于不同物品给出的评价。
物品推广网站是兴趣收集系统对应的用以介绍并推广物品的线上网站。
步骤202中，服务器可根据注册ID在物品推广网站上进行搜索，获取注册用户对每一物品在评论区的物品评论留言，便于后续服务器基于所有物品评论留言进行有关物品兴趣度的分析。
S203.采用语言情感分析工具对物品评论留言进行分析，获取至少一个当前关注标签。
其中，语言情感分析工具是对物品评论留言进行积极或消极语气分析的工具。情感分析是一种常见的自然语言处理(NLP，Natural Language Processing)方法的应用，特别是在以提取文本的情感内容为目标的分类方法中。通过这种方式，情感分析可以被视为利用一些情感得分指标来量化定性数据的方法。尽管情绪在很大程度上是主观的，但是情感量化分析已经有很多有用的实践，比如企业分析消费者对产品的反馈信息，或者检测在线评论中的差评信息等。
有两种主流思想运用到情感分析，第一种为基于情感词典的情感分析，是指根据已构建的情感词典，计算该文本的情感倾向，即根据语义和依存关系来量化文本的情感色彩。最终分类效果取决于情感词库的完善性，另外需要很好的语言学基础，也就是说需要知道一个句子通常在什么情况为表现为积极或消极。第二种是基于机器学习，是指选取情感词作为特征词，将文本矩阵化，利用logistic Regression(回归分析),朴素贝叶斯(Naive Bayes)，支持向量机(SVM，Support Vector Machine)等方法进行分类。最终分类效果取决于训练文本的选择以及正确的情感标注。
步骤S203中，服务器可采用语言情感分析工具对物品评论留言进行分析，获取情感标注为积极的语气对应的物品种类标签作为当前关注标签，并基于当前关注标签进行分析，以保障注册用户对应的历史关注标签列表的实时性。
S204.将每一当前关注标签与历史关注标签列表中的每一历史关注标签进行对比。
步骤S204中，服务器可将当前关注标签和每一历史关注标签进行对比，保障历史关注标签列表的可适用性，避免出现重复的历史关注标签。
S205.若不存在与当前关注标签相同的历史关注标签，则将当前关注标签作为新的历史关注标签添加到历史关注标签列表中。
步骤S205中，服务器可将历史关注标签列表中未包括的当前关注标签进行添加，提高兴趣收集系统的实时性和适用性。
步骤S201至S205中，服务器可直接通过微表情图像获取当前用户是否为注册用户，以便获取对应的历史关注标签列表。服务器可根据注册ID在物品推广网站上进行搜索，获取注册用户对每一物品在评论区的物品评论留言，便于后续服务器基于所有物品评论留言进行有关物品兴趣度的分析。服务器可采用语言情感分析工具对物品评论留言进行分析，获取情感标注为积极的语气对应的物品种类标签作为当前关注标签，并基于当前关注标签进行分析，以保障注册用户对应的历史关注标签列表的实时性。服务器可将当前关注标签和每一历史关注标签进行对比，保障历史关注标签列表的可适用性，避免出现重复的历史关注 标签。服务器可将历史关注标签列表中未包括的当前关注标签进行添加，提高兴趣收集系统的实时性和适用性。
在一实施例中，如图6所示，在步骤S60之后，即在将微表情图像与兴趣物品列表发送给兴趣采集终端之后，该兴趣收集方法还具体包括如下步骤：
S601.获取交易端发送的物品出库请求，物品出库请求包括物品ID和交易端ID，基于物品ID，获取对应的至少一个当前关注标签。
其中，交易端是用以进行金融交易的终端，可以为实体交易终端，也可为电子交易虚拟终端，此处不作限定。
物品出库请求是服务器接收到交易端发送的将物品转与用户所有的请求，也即将物品从服务器的物品存放库中进行出库的请求。
物品ID是服务器给每一存储在物品存放库中的物品进行区别的标识。
当前关注标签是当前的物品ID所属的至少一个物品类别标签，比如，对于物品ID为00258，对应的物品为：机械键盘1号，同时，机械键盘属于键盘类，也属于台式电脑附件类等。
步骤S601中，服务器可基于交易端发送的物品出库请求获取对应的当前关注标签，以基于当前关注标签为后续更新当前用户对应的历史关注标签准备数据基础。
S602.接收交易端ID对应的收银拍摄设备发送的当前用户的当前人脸图像。
具体地，为了优化本实施例提出的兴趣收集系统，还可给环境中属于实物体的交易端附近部署收银拍摄设备。对于虚拟交易端来说，虚拟交易端比如手机上的摄像头即可作为收银拍摄设备。
步骤S602中，收银拍摄设备可在当前用户进行交易时获取当前用户的当前人脸图像，按照与步骤S101至S103中相同的步骤对当前用户进行身份分析，为后续更新当前用户对应的历史关注标签进行更新准备数据基础。
S603.将当前人脸图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果。
S604.若图像匹配结果为匹配成功，则当前用户为历史用户，将每一当前关注标签与历史用户对应的历史关注标签列表中的每一历史关注标签进行对比。
具体地，步骤S602至S604与步骤S101至S102相同，为了避免重复，此处不再赘述。
S605.若不存在与当前关注标签相同的历史关注标签，则将当前关注标签作为新的历史关注标签添加到历史关注标签列表中。
具体地，步骤S605与S205相同，为了避免重复，此处不再赘述。
步骤S605中，服务器可将历史关注标签列表中未包括的当前关注标签进行添加，提高兴趣收集系统的实时性和适用性。
步骤S601至S605中，服务器可基于交易端发送的物品出库请求获取对应的当前关注标签，以基于当前关注标签为后续更新当前用户对应的历史关注标签准备数据基础。收银拍摄设备可在当前用户进行交易时获取当前用户的当前人脸图像，按照与步骤S101至S103中相同的步骤对当前用户进行身份分析，为后续更新当前用户对应的历史关注标签进行更新准备数据基础。服务器可将历史关注标签列表中未包括的当前关注标签进行添加，提高兴趣收集系统的实时性和适用性。
在一实施例中，如图5所示，在步骤S603之后，即在获取图像匹配结果之后，该兴趣收集方法还具体包括如下步骤：
S6031.若图像匹配结果为匹配不成功，则将每一当前关注标签与当前关注标签列表进行匹配。
具体地，若当前人脸图像与图像数据库中的历史用户图像进行匹配处理得到的图像匹配结果为匹配不成功，交易端采集的当前人脸图像是未在图像数据库中进行登记过的当前用户，图像数据库也不存在与当前用户对应的历史关注标签列表。当前用户只能存在基于人脸采集设备采集的原始视频流生成的当前关注标签列表。
步骤S6031中，为了避免当前关注标签列表出现重复，服务器应将每一当前关注标签与当前关注标签列表进行匹配。
S6032.将任一个不属于当前关注标签列表的当前关注标签添加到当前关注标签列表中，形成当前用户对应的历史关注标签列表。
步骤S6032中，服务器可将不属于当前关注标签列表中的当前关注标签添加到当前关注标签列表中，同时，将当前用户作为历史用户添加到图像数据库中，并对应保存当前关注标签列表为历史关注标签列表，以保障及时给当前用户生成对应的历史关注标签列表，利于及时给当前用户后续推送其感兴趣的物品。
S6033.将当前人脸图像和历史关注标签列表关联存储到图像数据库中。
步骤S6033中，服务器应将当前人脸图像作为当前用户的身份认证图像与历史关注标签列表关联存储到图像数据库中，利于后续服务器基于身份认证图像可及时辨识出当前用户的身份，以及其对于的历史关注标签列表。
步骤S6031至S6033中，为了避免当前关注标签列表出现重复，服务器应将每一当前关注标签与当前关注标签列表进行匹配。服务器可将不属于当前关注标签列表中的当前关注标签添加到当前关注标签列表中，同时，将当前用户作为历史用户添加到图像数据库中，并对应保存当前关注标签列表为历史关注标签列表，以保障及时给当前用户生成对应的历史关注标签列表，利于及时给当前用户后续推送其感兴趣的物品。服务器应将当前人脸图像作为当前用户的身份认证图像与历史关注标签列表关联存储到图像数据库中，利于后续服务器基于身份认证图像可及时辨识出当前用户的身份，以及其对于的历史关注标签列表。
本实施例提供的兴趣收集方法中，服务器通过分析原始视频流和用户停留时间，可获取当前用户感兴趣的兴趣物品列表，将该兴趣物品列表发送给兴趣采集端，可精准高效地匹配出当前用户可能感兴趣的目标物品，减少对当前用户的感兴趣物品进行猜测的时间。
进一步地，服务器可获取微表情图像和每一历史用户图像的图像相似百分比，为后续判定该微表情图像对应的当前用户是否为历史用户准备数据基础。服务器可及时获取匹配成功的历史用户对应的历史关注标签和关注物品信息发送给兴趣采集端，提高获取历史用户的感兴趣物品的效率。当服务器对微表情图像进行图像匹配的结果为匹配不成功时，说明当前用户是未录入该兴趣收集系统的新的用户。此时，服务器应将当前用户的对应信息录入图像数据库，利于服务器后续基于基于该当前用户对应的信息进行信息更新。
进一步地，服务器可获取原始视频流对应的首帧图像、尾帧图像和至少一帧中间帧图像，分别从原始视频流的开始阶段，中间阶段和结束阶段分别考察当前用户对应的人脸，判定是否为同一张人脸，从而确认当前用户从原始视频流的开始到结束是否都对应同一人。服务器可获取识别结果均为当前用户的任一帧人脸图像作为微表情图像，并提取原始视频流对应的延续时间作为用户停留时间，为后续服务器获取当前用户的感兴趣表情准备数据基础。服务器可基于人脸采集设备及时获取至少一个物品类别标签，获取过程简单快捷。
进一步地，服务器可直接通过微表情图像获取当前用户是否为注册用户，以便获取对应的历史关注标签列表。服务器可根据注册ID在物品推广网站上进行搜索，获取注册用户对每一物品在评论区的物品评论留言，便于后续服务器基于所有物品评论留言进行有关物品兴趣度的分析。服务器可采用语言情感分析工具对物品评论留言进行分析，获取情感标注为积极的语气对应的物品种类标签作为当前关注标签，并基于当前关注标签进行分析，以保障注册用户对应的历史关注标签列表的实时性。服务器可将当前关注标签和每一历史关注标签进行对比，保障历史关注标签列表的可适用性，避免出现重复的历史关注标签。服务器可将历史关注标签列表中未包括的当前关注标签进行添加，提高兴趣收集系统的实时性和适用性。
进一步地，服务器可基于交易端发送的物品出库请求获取对应的当前关注标签，以基于当前关注标签为后续更新当前用户对应的历史关注标签准备数据基础。收银拍摄设备可在当前用户进行交易时获取当前用户的当前人脸图像，按照与步骤S101至S103中相同的步骤对当前用户进行身份分析，为后续更新当前用户对应的历史关注标签进行更新准备数据基础。服务器可将历史关注标签列表中未包括的当前关注标签进行添加，提高兴趣收集系统的实时性和适用性。
进一步地，为了避免当前关注标签列表出现重复，服务器应将每一当前关注标签与当前关注标签列表进行匹配。服务器可将不属于当前关注标签列表中的当前关注标签添加到当前关注标签列表中，同时，将 当前用户作为历史用户添加到图像数据库中，并对应保存当前关注标签列表为历史关注标签列表，以保障及时给当前用户生成对应的历史关注标签列表，利于及时给当前用户后续推送其感兴趣的物品。服务器应将当前人脸图像作为当前用户的身份认证图像与历史关注标签列表关联存储到图像数据库中，利于后续服务器基于身份认证图像可及时辨识出当前用户的身份，以及其对于的历史关注标签列表。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种兴趣收集装置，该兴趣收集装置与上述实施例中兴趣收集方法一一对应。如图8所示，该兴趣收集装置包括获取原始视频流模块10、确定微表情图像模块20、分析微表情图像模块30、获取标签列表模块40、形成兴趣列表模块50和发送微表情图像模块60。各功能模块详细说明如下：
获取原始视频流模块10，用于获取至少一个人脸采集设备实时采集当前用户的原始视频流。
确定微表情图像模块20，用于基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像。
分析微表情图像模块30，用于若用户停留时间大于时间停留阈值，则采用微表情识别工具对微表情图像进行分析，获取分析结果为感兴趣表情对应的物品类别标签，标记为当前兴趣标签。
获取标签列表模块40，用于基于用户停留时间的降序顺序，对每一当前兴趣标签进行排序，获取当前关注标签列表。
形成兴趣列表模块50，用于基于当前关注标签列表中每一当前兴趣标签对应的至少一个物品，形成兴趣物品列表。
发送微表情图像模块60，用于将微表情图像与兴趣物品列表发送给兴趣采集终端。
优选地，该兴趣收集装置还包括获取匹配结果模块101、图像匹配成功模块102和图像匹配不成功模块103。
获取匹配结果模块101，用于将微表情图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果。
图像匹配成功模块102，用于若图像匹配结果为匹配成功，则当前用户为历史用户，获取与历史用户相对应的历史关注标签列表和与历史关注标签列表相对应的关注物品信息，将历史关注标签列表和关注物品信息发送给兴趣采集终端。
图像匹配不成功模块103，用于若图像匹配结果为匹配不成功，则执行基于原始视频流，执行确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像的步骤。
优选地，该兴趣收集装置还包括获取订购请求模块、采集人脸图像模块、获取匹配结果模块、图像匹配成功模块和添加当前物品模块。
获取订购请求模块，用于获取交易端发送的物品出库请求，物品出库请求包括物品ID和交易端ID，基于物品ID，获取对应的至少一个当前关注标签。
采集人脸图像模块，用于接收交易端ID对应的收银拍摄设备发送的当前用户的当前人脸图像。
获取匹配结果模块，用于将当前人脸图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果。
图像匹配成功模块，用于若图像匹配结果为匹配成功，则当前用户为历史用户，将每一当前关注标签与历史用户对应的历史关注标签列表中的每一历史关注标签进行对比。
添加当前物品模块，用于若不存在与当前关注标签相同的历史关注标签，则将当前关注标签作为新的历史关注标签添加到历史关注标签列表中。
优选地，该兴趣收集装置还包括匹配标签列表模块、形成关注标签模块和存储当前图像模块。
匹配标签列表模块，用于若图像匹配结果为匹配不成功，则将每一当前关注标签与当前关注标签列表进行匹配。
形成关注标签模块，用于将任一个不属于当前关注标签列表的当前关注标签添加到当前关注标签列表中，形成当前用户对应的历史关注标签列表。
存储当前图像模块，用于将当前人脸图像和历史关注标签列表关联存储到图像数据库中。
优选地，该确定微表情图像模块包括提取人脸图像单元、提取停留时间单元和获取物品类别标签单元。
提取人脸图像单元，用于基于原始视频流对应的首帧图像、尾帧图像和至少一个中间帧图像，提取至少三帧人脸图像。
提取停留时间单元，用于采用图像识别工具对任一帧人脸图像进行识别，若识别结果都为当前用户，则将任一帧人脸图像作为微表情图像，提取原始视频流对应的延续时间记录为用户停留时间。
获取物品类别标签单元，用于获取人脸采集设备对应的拍摄范围内的至少一个物品类别标签。
优选地，该兴趣收集装置还包括获取历史列表模块、获取物品评论留言模块、获取当前标签模块、对比当前标签模块和添加当前物品模块。
获取历史列表模块，用于对微表情图像进行人脸识别，若识别结果为注册用户，则获取注册用户对应的注册ID和历史关注标签列表。
获取物品评论留言模块，用于基于注册ID在物品推广网站进行检索，获取当前用户对应的物品评论留言。
获取当前标签模块，用于采用语言情感分析工具对物品评论留言进行分析，获取至少一个当前关注标签。
对比当前标签模块，用于将每一当前关注标签与历史关注标签列表中的每一历史关注标签进行对比。
添加当前物品模块，用于若不存在与当前关注标签相同的历史关注标签，则将当前关注标签作为新的历史关注标签添加到历史关注标签列表中。
关于兴趣收集装置的具体限定可以参见上文中对于兴趣收集方法的限定，在此不再赘述。上述兴趣收集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为非易失性存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于兴趣收集方法相关的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种兴趣收集方法。
在一实施例中，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现以下步骤：获取至少一个人脸采集设备实时采集当前用户的原始视频流；基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像；若用户停留时间大于时间停留阈值，则采用微表情识别工具对微表情图像进行分析，获取分析结果为感兴趣表情对应的物品类别标签，标记为当前兴趣标签；基于用户停留时间的降序顺序，对每一当前兴趣标签进行排序，获取当前关注标签列表；基于当前关注标签列表中每一当前兴趣标签对应的至少一个物品，形成兴趣物品列表；将微表情图像与兴趣物品列表发送给兴趣采集终端。
在一实施例中，在获取至少一个人脸采集设备实时采集当前用户的原始视频流之后，兴趣收集方法还包括：将微表情图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果；若图像匹配结果为匹配成功，则当前用户为历史用户，获取与历史用户相对应的历史关注标签列表和与历史关注标签列表相对应的关注物品信息，将历史关注标签列表和关注物品信息发送给兴趣采集终端；若图像匹配结果为匹配不成功，则执行基于原始视频流，执行确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像的步骤。
在一实施例中，基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像，包括：基于原始视频流对应的首帧图像、尾帧图像和至少一个中间帧图像，提取至少三帧人脸图像；采用图像识别工具对任一帧人脸图像进行识别，若识别结果都为当前用户， 则将任一帧人脸图像作为微表情图像，提取原始视频流对应的延续时间记录为用户停留时间；获取人脸采集设备对应的拍摄范围内的至少一个物品类别标签。
在一实施例中，在确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像之后，兴趣收集方法还包括：对微表情图像进行人脸识别，若识别结果为注册用户，则获取注册用户对应的注册ID和历史关注标签列表；基于注册ID在物品推广网站进行检索，获取当前用户对应的物品评论留言；采用语言情感分析工具对物品评论留言进行分析，获取至少一个当前关注标签；将每一当前关注标签与历史关注标签列表中的每一历史关注标签进行对比；若不存在与当前关注标签相同的历史关注标签，则将当前关注标签作为新的历史关注标签添加到历史关注标签列表中。
在一实施例中，在将微表情图像与兴趣物品列表发送给兴趣采集终端之后，兴趣收集方法还包括：获取交易端发送的物品出库请求，物品出库请求包括物品ID和交易端ID，基于物品ID，获取对应的至少一个当前关注标签；接收交易端ID对应的收银拍摄设备发送的当前用户的当前人脸图像；将当前人脸图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果；若图像匹配结果为匹配成功，则当前用户为历史用户，将每一当前关注标签与历史用户对应的历史关注标签列表中的每一历史关注标签进行对比；若不存在与当前关注标签相同的历史关注标签，则将当前关注标签作为新的历史关注标签添加到历史关注标签列表中。
在一实施例中，在获取图像匹配结果之后，兴趣收集方法还包括：若图像匹配结果为匹配不成功，则将每一当前关注标签与当前关注标签列表进行匹配；将任一个不属于当前关注标签列表的当前关注标签添加到当前关注标签列表中，形成当前用户对应的历史关注标签列表；将当前人脸图像和历史关注标签列表关联存储到图像数据库中。
在一实施例中，一个或多个存储有计算机可读指令的非易失性可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如下步骤：获取至少一个人脸采集设备实时采集当前用户的原始视频流；基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像；若用户停留时间大于时间停留阈值，则采用微表情识别工具对微表情图像进行分析，获取分析结果为感兴趣表情对应的物品类别标签，标记为当前兴趣标签；基于用户停留时间的降序顺序，对每一当前兴趣标签进行排序，获取当前关注标签列表；基于当前关注标签列表中每一当前兴趣标签对应的至少一个物品，形成兴趣物品列表；将微表情图像与兴趣物品列表发送给兴趣采集终端。
在一实施例中，在获取至少一个人脸采集设备实时采集当前用户的原始视频流之后，兴趣收集方法还包括：将微表情图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果；若图像匹配结果为匹配成功，则当前用户为历史用户，获取与历史用户相对应的历史关注标签列表和与历史关注标签列表相对应的关注物品信息，将历史关注标签列表和关注物品信息发送给兴趣采集终端；若图像匹配结果为匹配不成功，则执行基于原始视频流，执行确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像的步骤。
在一实施例中，基于原始视频流，确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像，包括：基于原始视频流对应的首帧图像、尾帧图像和至少一个中间帧图像，提取至少三帧人脸图像；采用图像识别工具对任一帧人脸图像进行识别，若识别结果都为当前用户，则将任一帧人脸图像作为微表情图像，提取原始视频流对应的延续时间记录为用户停留时间；获取人脸采集设备对应的拍摄范围内的至少一个物品类别标签。
在一实施例中，在确定当前用户在每一人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像之后，兴趣收集方法还包括：对微表情图像进行人脸识别，若识别结果为注册用户，则获取注册用户对应的注册ID和历史关注标签列表；基于注册ID在物品推广网站进行检索，获取当前用户对应的物品评论留言；采用语言情感分析工具对物品评论留言进行分析，获取至少一个当前关注标签；将每一当前关注标签与历史关注标签列表中的每一历史关注标签进行对比；若不存在与当前关注标签相同的历史关注标签，则将当前关注标签作为新的历史关注标签添加到历史关注标签列表中。
在一实施例中，在将微表情图像与兴趣物品列表发送给兴趣采集终端之后，兴趣收集方法还包括：获 取交易端发送的物品出库请求，物品出库请求包括物品ID和交易端ID，基于物品ID，获取对应的至少一个当前关注标签；接收交易端ID对应的收银拍摄设备发送的当前用户的当前人脸图像；将当前人脸图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果；若图像匹配结果为匹配成功，则当前用户为历史用户，将每一当前关注标签与历史用户对应的历史关注标签列表中的每一历史关注标签进行对比；若不存在与当前关注标签相同的历史关注标签，则将当前关注标签作为新的历史关注标签添加到历史关注标签列表中。
在一实施例中，在获取图像匹配结果之后，兴趣收集方法还包括：若图像匹配结果为匹配不成功，则将每一当前关注标签与当前关注标签列表进行匹配；将任一个不属于当前关注标签列表的当前关注标签添加到当前关注标签列表中，形成当前用户对应的历史关注标签列表；将当前人脸图像和历史关注标签列表关联存储到图像数据库中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一非易失性计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (20)

  1. 一种兴趣收集方法，其特征在于，包括：
    获取至少一个人脸采集设备实时采集当前用户的原始视频流；
    基于所述原始视频流，确定所述当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像；
    若所述用户停留时间大于时间停留阈值，则采用微表情识别工具对所述微表情图像进行分析，获取分析结果为感兴趣表情对应的所述物品类别标签，标记为当前兴趣标签；
    基于所述用户停留时间的降序顺序，对每一所述当前兴趣标签进行排序，获取当前关注标签列表；
    基于所述当前关注标签列表中每一所述当前兴趣标签对应的至少一个物品，形成兴趣物品列表；
    将所述微表情图像与所述兴趣物品列表发送给兴趣采集终端。
  2. 如权利要求1所述的兴趣收集方法，其特征在于，在所述获取至少一个人脸采集设备实时采集当前用户的原始视频流之后，所述兴趣收集方法还包括：
    将所述微表情图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果；
    若所述图像匹配结果为匹配成功，则所述当前用户为历史用户，获取与所述历史用户相对应的历史关注标签列表和与所述历史关注标签列表相对应的关注物品信息，将所述历史关注标签列表和所述关注物品信息发送给所述兴趣采集终端；
    若所述图像匹配结果为匹配不成功，则执行基于所述原始视频流，执行确定当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像的步骤。
  3. 如权利要求1所述的兴趣收集方法，其特征在于，所述基于所述原始视频流，确定所述当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像，包括：
    基于所述原始视频流对应的首帧图像、尾帧图像和至少一个中间帧图像，提取至少三帧人脸图像；
    采用图像识别工具对任一帧所述人脸图像进行识别，若识别结果都为所述当前用户，则将任一帧所述人脸图像作为微表情图像，提取所述原始视频流对应的延续时间记录为所述用户停留时间；
    获取所述人脸采集设备对应的拍摄范围内的至少一个所述物品类别标签。
  4. 如权利要求1所述的兴趣收集方法，其特征在于，在所述确定所述当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像之后，所述兴趣收集方法还包括：
    对所述微表情图像进行人脸识别，若识别结果为注册用户，则获取所述注册用户对应的注册ID和历史关注标签列表；
    基于所述注册ID在物品推广网站进行检索，获取所述当前用户对应的物品评论留言；
    采用语言情感分析工具对所述物品评论留言进行分析，获取至少一个当前关注标签；
    将每一所述当前关注标签与所述历史关注标签列表中的每一历史关注标签进行对比；
    若不存在与所述当前关注标签相同的所述历史关注标签，则将所述当前关注标签作为新的历史关注标签添加到所述历史关注标签列表中。
  5. 如权利要求1所述的兴趣收集方法，其特征在于，在所述将所述微表情图像与所述兴趣物品列表发送给兴趣采集终端之后，所述兴趣收集方法还包括：
    获取交易端发送的物品出库请求，所述物品出库请求包括物品ID和交易端ID，基于所述物品ID，获取对应的至少一个当前关注标签；
    接收所述交易端ID对应的收银拍摄设备发送的所述当前用户的当前人脸图像；
    将所述当前人脸图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果；
    若所述图像匹配结果为匹配成功，则所述当前用户为历史用户，将每一所述当前关注标签与所述历史用户对应的历史关注标签列表中的每一历史关注标签进行对比；
    若不存在与所述当前关注标签相同的所述历史关注标签，则将所述当前关注标签作为新的历史关注 标签添加到所述历史关注标签列表中。
  6. 如权利要求5所述的兴趣收集方法，其特征在于，在所述获取图像匹配结果之后，所述兴趣收集方法还包括：
    若所述图像匹配结果为匹配不成功，则将每一所述当前关注标签与所述当前关注标签列表进行匹配；
    将任一个不属于所述当前关注标签列表的所述当前关注标签添加到所述当前关注标签列表中，形成所述当前用户对应的历史关注标签列表；
    将所述当前人脸图像和所述历史关注标签列表关联存储到所述图像数据库中。
  7. 一种兴趣收集装置，其特征在于，包括：
    获取原始视频流模块，用于获取至少一个人脸采集设备实时采集当前用户的原始视频流；
    确定微表情图像模块，用于基于所述原始视频流，确定当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像；
    分析微表情图像模块，用于若所述用户停留时间大于时间停留阈值，则采用微表情识别工具对所述微表情图像进行分析，获取分析结果为感兴趣表情对应的所述物品类别标签，标记为当前兴趣标签；
    获取标签列表模块，用于基于所述用户停留时间的降序顺序，对每一所述当前兴趣标签进行排序，获取当前关注标签列表；
    形成兴趣列表模块，用于基于所述当前关注标签列表中每一所述当前兴趣标签对应的至少一个物品，形成兴趣物品列表；
    发送微表情图像模块，用于将所述微表情图像与所述兴趣物品列表发送给兴趣采集终端。
  8. 如权利要求7所述的兴趣收集装置，其特征在于，所述兴趣收集装置还包括：
    获取匹配结果模块，用于将所述微表情图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果；
    图像匹配成功模块，用于若所述图像匹配结果为匹配成功，则所述当前用户为历史用户，获取与所述历史用户相对应的历史关注标签列表和与所述历史关注标签列表相对应的关注物品信息，将所述历史关注标签列表和所述关注物品信息发送给所述兴趣采集终端；
    图像匹配不成功模块，用于若所述图像匹配结果为匹配不成功，则执行基于所述原始视频流，执行确定当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像的步骤。
  9. 一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
    获取至少一个人脸采集设备实时采集当前用户的原始视频流；
    基于所述原始视频流，确定所述当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像；
    若所述用户停留时间大于时间停留阈值，则采用微表情识别工具对所述微表情图像进行分析，获取分析结果为感兴趣表情对应的所述物品类别标签，标记为当前兴趣标签；
    基于所述用户停留时间的降序顺序，对每一所述当前兴趣标签进行排序，获取当前关注标签列表；
    基于所述当前关注标签列表中每一所述当前兴趣标签对应的至少一个物品，形成兴趣物品列表；
    将所述微表情图像与所述兴趣物品列表发送给兴趣采集终端。
  10. 如权利要求9所述的计算机设备，其特征在于，在所述获取至少一个人脸采集设备实时采集当前用户的原始视频流之后，所述处理器执行所述计算机可读指令时还实现如下步骤：
    将所述微表情图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果；
    若所述图像匹配结果为匹配成功，则所述当前用户为历史用户，获取与所述历史用户相对应的历史关注标签列表和与所述历史关注标签列表相对应的关注物品信息，将所述历史关注标签列表和所述关注 物品信息发送给所述兴趣采集终端；
    若所述图像匹配结果为匹配不成功，则执行基于所述原始视频流，执行确定当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像的步骤。
  11. 如权利要求9所述的计算机设备，其特征在于，所述基于所述原始视频流，确定所述当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像，所述处理器执行所述计算机可读指令时实现如下步骤：
    基于所述原始视频流对应的首帧图像、尾帧图像和至少一个中间帧图像，提取至少三帧人脸图像；
    采用图像识别工具对任一帧所述人脸图像进行识别，若识别结果都为所述当前用户，则将任一帧所述人脸图像作为微表情图像，提取所述原始视频流对应的延续时间记录为所述用户停留时间；
    获取所述人脸采集设备对应的拍摄范围内的至少一个所述物品类别标签。
  12. 如权利要求9所述的计算机设备，其特征在于，在所述确定所述当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像之后，所述处理器执行所述计算机可读指令时还实现如下步骤：
    对所述微表情图像进行人脸识别，若识别结果为注册用户，则获取所述注册用户对应的注册ID和历史关注标签列表；
    基于所述注册ID在物品推广网站进行检索，获取所述当前用户对应的物品评论留言；
    采用语言情感分析工具对所述物品评论留言进行分析，获取至少一个当前关注标签；
    将每一所述当前关注标签与所述历史关注标签列表中的每一历史关注标签进行对比；
    若不存在与所述当前关注标签相同的所述历史关注标签，则将所述当前关注标签作为新的历史关注标签添加到所述历史关注标签列表中。
  13. 如权利要求9所述的计算机设备，其特征在于，在所述将所述微表情图像与所述兴趣物品列表发送给兴趣采集终端之后，所述处理器执行所述计算机可读指令时还实现如下步骤：
    获取交易端发送的物品出库请求，所述物品出库请求包括物品ID和交易端ID，基于所述物品ID，获取对应的至少一个当前关注标签；
    接收所述交易端ID对应的收银拍摄设备发送的所述当前用户的当前人脸图像；
    将所述当前人脸图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果；
    若所述图像匹配结果为匹配成功，则所述当前用户为历史用户，将每一所述当前关注标签与所述历史用户对应的历史关注标签列表中的每一历史关注标签进行对比；
    若不存在与所述当前关注标签相同的所述历史关注标签，则将所述当前关注标签作为新的历史关注标签添加到所述历史关注标签列表中。
  14. 如权利要求13所述的兴趣收集方法，其特征在于，在所述获取图像匹配结果之后，所述处理器执行所述计算机可读指令时还实现如下步骤：
    若所述图像匹配结果为匹配不成功，则将每一所述当前关注标签与所述当前关注标签列表进行匹配；
    将任一个不属于所述当前关注标签列表的所述当前关注标签添加到所述当前关注标签列表中，形成所述当前用户对应的历史关注标签列表；
    将所述当前人脸图像和所述历史关注标签列表关联存储到所述图像数据库中。
  15. 一个或多个存储有计算机可读指令的非易失性可读存储介质，其特征在于，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如下步骤：
    获取至少一个人脸采集设备实时采集当前用户的原始视频流；
    基于所述原始视频流，确定所述当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像；
    若所述用户停留时间大于时间停留阈值，则采用微表情识别工具对所述微表情图像进行分析，获取 分析结果为感兴趣表情对应的所述物品类别标签，标记为当前兴趣标签；
    基于所述用户停留时间的降序顺序，对每一所述当前兴趣标签进行排序，获取当前关注标签列表；
    基于所述当前关注标签列表中每一所述当前兴趣标签对应的至少一个物品，形成兴趣物品列表；
    将所述微表情图像与所述兴趣物品列表发送给兴趣采集终端。
  16. 如权利要求15所述的非易失性可读存储介质，其特征在于，在所述获取至少一个人脸采集设备实时采集当前用户的原始视频流之后，使得所述一个或多个处理器还执行如下步骤：
    将所述微表情图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果；
    若所述图像匹配结果为匹配成功，则所述当前用户为历史用户，获取与所述历史用户相对应的历史关注标签列表和与所述历史关注标签列表相对应的关注物品信息，将所述历史关注标签列表和所述关注物品信息发送给所述兴趣采集终端；
    若所述图像匹配结果为匹配不成功，则执行基于所述原始视频流，执行确定当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像的步骤。
  17. 如权利要求15所述的非易失性可读存储介质，其特征在于，所述基于所述原始视频流，确定所述当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像，使得所述一个或多个处理器执行如下步骤：
    基于所述原始视频流对应的首帧图像、尾帧图像和至少一个中间帧图像，提取至少三帧人脸图像；
    采用图像识别工具对任一帧所述人脸图像进行识别，若识别结果都为所述当前用户，则将任一帧所述人脸图像作为微表情图像，提取所述原始视频流对应的延续时间记录为所述用户停留时间；
    获取所述人脸采集设备对应的拍摄范围内的至少一个所述物品类别标签。
  18. 如权利要求15所述的非易失性可读存储介质，其特征在于，在所述确定所述当前用户在每一所述人脸采集设备对应的拍摄范围内的用户停留时间、物品类别标签和微表情图像之后，使得所述一个或多个处理器还执行如下步骤：
    对所述微表情图像进行人脸识别，若识别结果为注册用户，则获取所述注册用户对应的注册ID和历史关注标签列表；
    基于所述注册ID在物品推广网站进行检索，获取所述当前用户对应的物品评论留言；
    采用语言情感分析工具对所述物品评论留言进行分析，获取至少一个当前关注标签；
    将每一所述当前关注标签与所述历史关注标签列表中的每一历史关注标签进行对比；
    若不存在与所述当前关注标签相同的所述历史关注标签，则将所述当前关注标签作为新的历史关注标签添加到所述历史关注标签列表中。
  19. 如权利要求15所述的非易失性可读存储介质，其特征在于，在所述将所述微表情图像与所述兴趣物品列表发送给兴趣采集终端之后，使得所述一个或多个处理器还执行如下步骤：
    获取交易端发送的物品出库请求，所述物品出库请求包括物品ID和交易端ID，基于所述物品ID，获取对应的至少一个当前关注标签；
    接收所述交易端ID对应的收银拍摄设备发送的所述当前用户的当前人脸图像；
    将所述当前人脸图像与图像数据库中的历史用户图像进行匹配处理，获取图像匹配结果；
    若所述图像匹配结果为匹配成功，则所述当前用户为历史用户，将每一所述当前关注标签与所述历史用户对应的历史关注标签列表中的每一历史关注标签进行对比；
    若不存在与所述当前关注标签相同的所述历史关注标签，则将所述当前关注标签作为新的历史关注标签添加到所述历史关注标签列表中。
  20. 如权利要求19所述的非易失性可读存储介质，其特征在于，在所述获取图像匹配结果之后，使得所述一个或多个处理器还执行如下步骤：
    若所述图像匹配结果为匹配不成功，则将每一所述当前关注标签与所述当前关注标签列表进行匹配；
    将任一个不属于所述当前关注标签列表的所述当前关注标签添加到所述当前关注标签列表中，形成所述当前用户对应的历史关注标签列表；
    将所述当前人脸图像和所述历史关注标签列表关联存储到所述图像数据库中。
PCT/CN2019/101975 2019-05-22 2019-08-22 兴趣收集方法、装置、计算机设备及存储介质 WO2020232856A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910430214.5 2019-05-22
CN201910430214.5A CN110298245B (zh) 2019-05-22 2019-05-22 兴趣收集方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
WO2020232856A1 true WO2020232856A1 (zh) 2020-11-26

Family

ID=68027106

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/101975 WO2020232856A1 (zh) 2019-05-22 2019-08-22 兴趣收集方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN110298245B (zh)
WO (1) WO2020232856A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255339A (zh) * 2021-05-06 2021-08-13 网易（杭州）网络有限公司 标注任务的处理方法、装置、电子设备及存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178294A (zh) * 2019-12-31 2020-05-19 北京市商汤科技开发有限公司 状态识别方法、装置、设备及存储介质
CN111310602A (zh) * 2020-01-20 2020-06-19 北京正和恒基滨水生态环境治理股份有限公司 一种基于情绪识别的展品关注度分析系统及分析方法
CN111930927B (zh) * 2020-08-21 2024-03-12 腾讯科技（深圳）有限公司 评价信息展示方法、装置、电子设备及可读存储介质
CN114511336A (zh) * 2020-10-28 2022-05-17 中移(上海)信息通信科技有限公司 用户标签确定的方法、装置、设备及存储介质
CN112990119B (zh) * 2021-04-25 2021-09-10 之江实验室 一种视频多目标人脸表情识别方法和系统
CN114255075A (zh) * 2021-06-21 2022-03-29 安徽西柚酷媒信息科技有限公司 一种广告投放设备的广告更刊方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214345A (zh) * 2011-07-19 2011-10-12 纽海信息技术（上海）有限公司 网购引导装置及方法
US20130298159A1 (en) * 2012-05-07 2013-11-07 Industrial Technology Research Institute System and method for allocating advertisements
CN106886909A (zh) * 2015-12-15 2017-06-23 中国电信股份有限公司 用于商品选购的方法和系统
CN109447729A (zh) * 2018-09-17 2019-03-08 平安科技（深圳）有限公司 一种产品的推荐方法、终端设备及计算机可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102083624B1 (ko) * 2013-01-15 2020-03-02 에스케이플래닛 주식회사 관심대상 분석 시스템 및 그 방법, 그리고 이에 적용되는 장치
CN105227307A (zh) * 2014-06-03 2016-01-06 阿里巴巴集团控股有限公司 身份验证方法与系统以及服务器数据处理方法和服务器
CN108197330B (zh) * 2014-11-10 2019-10-29 北京字节跳动网络技术有限公司 基于社交平台的数据挖掘方法及装置
CN105979376A (zh) * 2015-12-02 2016-09-28 乐视致新电子科技（天津）有限公司 一种推荐方法和装置
CN105959749A (zh) * 2016-04-28 2016-09-21 乐视控股（北京）有限公司 一种智能终端、遥控器、推荐方法及系统
CN109064270B (zh) * 2018-07-23 2022-05-17 京东方科技集团股份有限公司 智能购物车、服务器、智能购物系统及方法
CN109685611A (zh) * 2018-12-15 2019-04-26 深圳壹账通智能科技有限公司 一种产品推荐方法、装置、计算机设备及存储介质
CN109766767A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 行为数据推送方法、装置、计算机设备和存储介质
CN109767290A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 产品推送方法、装置、计算机设备和存储介质
CN109766491A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 商品搜索方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214345A (zh) * 2011-07-19 2011-10-12 纽海信息技术（上海）有限公司 网购引导装置及方法
US20130298159A1 (en) * 2012-05-07 2013-11-07 Industrial Technology Research Institute System and method for allocating advertisements
CN106886909A (zh) * 2015-12-15 2017-06-23 中国电信股份有限公司 用于商品选购的方法和系统
CN109447729A (zh) * 2018-09-17 2019-03-08 平安科技（深圳）有限公司 一种产品的推荐方法、终端设备及计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255339A (zh) * 2021-05-06 2021-08-13 网易（杭州）网络有限公司 标注任务的处理方法、装置、电子设备及存储介质
CN113255339B (zh) * 2021-05-06 2023-09-19 网易（杭州）网络有限公司 标注任务的处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110298245A (zh) 2019-10-01
CN110298245B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
WO2020232856A1 (zh) 兴趣收集方法、装置、计算机设备及存储介质
WO2021068321A1 (zh) 基于人机交互的信息推送方法、装置和计算机设备
CN112131393A (zh) 一种基于bert和相似度算法的医疗知识图谱问答系统构建方法
CN109635117A (zh) 一种基于知识图谱识别用户意图方法及装置
TW201909036A (zh) 基於神經網路的人臉影像多維度情感判別系統及方法
Huang et al. A study on computer vision for facial emotion recognition
CN112889065B (zh) 用于使用深度学习来提供个性化产品推荐的系统和方法
JP7280705B2 (ja) 機械学習装置、プログラム及び機械学習方法
CN113627797A (zh) 入职员工画像生成方法、装置、计算机设备及存储介质
CN113886691A (zh) 基于历史数据的智能推荐方法、装置、电子设备及介质
CN110827797A (zh) 语音应答事件分类处理方法和装置
CN112988963A (zh) 基于多流程节点的用户意图预测方法、装置、设备及介质
CN115309864A (zh) 评论文本的情感智能分类方法、装置、电子设备及介质
CN113868419A (zh) 基于人工智能的文本分类方法、装置、设备及介质
CN114416939A (zh) 智能问答方法、装置、设备及存储介质
WO2021068613A1 (zh) 面部识别方法、装置、设备及计算机可读存储介质
Bitto et al. Sentiment analysis from Bangladeshi food delivery startup based on user reviews using machine learning and deep learning
US11361032B2 (en) Computer driven question identification and understanding within a commercial tender document for automated bid processing for rapid bid submission and win rate enhancement
CN113254623B (zh) 数据处理方法、装置、服务器、介质及产品
JP6178480B1 (ja) データ分析システム、その制御方法、プログラム、及び、記録媒体
CN115510219A (zh) 话术推荐方法、装置、电子设备及存储介质
CN111275035B (zh) 一种识别背景信息的方法及系统
CN114219544A (zh) 消费倾向分析方法、装置、设备及存储介质
Wang et al. Empowering facial emotion recognition in service industry–a two-stage convolutional neural network model
Srivastava et al. Dictionary vectorized hashing of emotional recognition of text in mutual conversation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19929665

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19929665

Country of ref document: EP

Kind code of ref document: A1