WO2020238023A1 - 信息推荐方法、装置、终端及存储介质 - Google Patents

信息推荐方法、装置、终端及存储介质 Download PDF

Info

Publication number
WO2020238023A1
WO2020238023A1 PCT/CN2019/115771 CN2019115771W WO2020238023A1 WO 2020238023 A1 WO2020238023 A1 WO 2020238023A1 CN 2019115771 W CN2019115771 W CN 2019115771W WO 2020238023 A1 WO2020238023 A1 WO 2020238023A1
Authority
WO
WIPO (PCT)
Prior art keywords
content information
emotion
emotion type
micro
information
Prior art date
Application number
PCT/CN2019/115771
Other languages
English (en)
French (fr)
Inventor
胡苗青
Original Assignee
平安科技（深圳）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 平安科技（深圳）有限公司 filed Critical 平安科技（深圳）有限公司
Publication of WO2020238023A1 publication Critical patent/WO2020238023A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services

Definitions

  • This application relates to the technical field of intelligent recommendation, and in particular to an information recommendation method, device, terminal and storage medium.
  • This application provides an information recommendation method, device, terminal, and storage medium to solve the problem of difficulty in accurately understanding the content of the user’s current interest when recommending information, and the difference between the pushed content information and the user’s current attention is increasing, and it is pushed in real time The problem of poor accuracy.
  • This application provides an information recommendation method, including the following steps: displaying content information on the interface of a customer service terminal device, and when it is detected that the specified content information is currently displayed in the display state, starting the camera of the customer service terminal device; controlling the camera collection Browsing the face image of the user with the specified content information in front of the display screen of the customer service terminal device, and extracting face feature information from the face image; inputting the face feature information into the micro-expression recognition model for micro-expression Analyze to obtain the user’s emotion type; wherein the micro-expression recognition model is a trained convolutional neural network model; according to the emotion type, query the database for recommended content information associated with the specified content information, The recommended content information is placed on a designated position on the interface of the customer service terminal device for display; wherein each emotion type corresponds to at least one type of recommended content information.
  • An information recommendation device includes: an activation module for displaying content information on the interface of a customer service terminal device, and when it is detected that the specified content information is currently displayed in the display state, the camera of the customer service terminal device is activated;
  • the module is used to control the camera to collect the facial image of the user who browses the specified content information in front of the display screen of the customer service terminal device, and extract facial feature information from the facial image;
  • the analysis module uses The facial feature information is input into the micro-expression recognition model for micro-expression analysis to obtain the user’s emotion type; wherein the micro-expression recognition model is a trained convolutional neural network model;
  • the display module is used to The emotion type searches the database for the recommended content information associated with the specified content information, and places the recommended content information on a specified position on the interface of the customer service terminal device for display; wherein each emotion type corresponds to At least one recommended content information.
  • the present application provides a terminal including a memory and a processor.
  • the memory stores computer-readable instructions, and when the computer-readable instructions are executed by the processor, the processor executes an information recommendation method,
  • the information recommendation method includes the following steps: displaying content information on the interface of a customer service terminal device, and when it is detected that the currently displayed state is specified content information, starting the camera of the customer service terminal device; controlling the camera to collect the customer service Browse the user’s face image of the specified content information in front of the display screen of the terminal device, and extract the face feature information from the face image; input the face feature information into the micro expression recognition model for micro expression analysis to obtain The user’s emotion type; wherein the micro-expression recognition model is a trained convolutional neural network model; according to the emotion type, the recommended content information associated with the specified content information is queried from the database, and the The recommended content information is placed on a designated position on the interface of the customer service terminal device for display; wherein, each of the emotion types corresponds to at least one type of recommended content information.
  • the present application provides a non-volatile storage medium on which a computer program is stored, and when the computer program is executed by a processor, the information recommendation method as described in any one of the above is implemented.
  • the processor is caused to execute an information recommendation method.
  • the information recommendation method includes the following steps: displaying content information on the interface of a customer service terminal device, and starting the customer service terminal device when it is detected that the specified content information is currently in the display state
  • the camera control the camera to collect the facial image of the user browsing the specified content information in front of the display screen of the customer service terminal device, and extract the facial feature information from the facial image; the facial feature information Input the micro-expression recognition model for micro-expression analysis to obtain the user’s emotion type; wherein, the micro-expression recognition model is a trained convolutional neural network model; query the specified content from the database according to the emotion type
  • the recommended content information associated with the information is displayed by placing the recommended content information on a designated position of the interface of the customer service terminal device; wherein each of the emotion types corresponds
  • the information recommendation method provided in this application displays content information on the interface of the customer service terminal device.
  • the camera of the customer service terminal device is activated and the camera is controlled to collect the In front of the display screen of the customer service terminal device, browse the face image of the user with the specified content information, and extract the face feature information from the face image; then input the face feature information into the micro expression recognition model for micro expression analysis , Obtain the emotion type of the user; wherein the micro-expression recognition model is a trained convolutional neural network model; finally, according to the emotion type, query the recommended content information associated with the specified content information from the database, The recommended content information is placed on a designated location on the interface of the customer service terminal device for display, so as to analyze in real time whether the user is interested in the currently browsed information content according to the user’s emotional type, so as to recommend and the user’s current attention Closer information content to achieve accurate recommendation.
  • Figure 1 is an implementation environment diagram of an information recommendation method provided in an embodiment of this application.
  • FIG. 2 is a flowchart of an embodiment of an application information recommendation method
  • FIG. 3 is a flowchart of another embodiment of the information recommendation method of this application, which mainly shows the specific steps of querying the recommended content information associated with the specified content information from the database according to the emotion type;
  • FIG. 4 is a flowchart of another embodiment of the information recommendation method of the application, which mainly shows the specific steps of inputting facial feature information into the micro expression recognition model for micro expression analysis;
  • Fig. 5 is a block diagram of modules of an embodiment of the information recommendation device of this application.
  • Fig. 6 is a block diagram of the internal structure of a terminal in an embodiment of the application.
  • Fig. 1 is an implementation environment diagram of an information recommendation method provided in an embodiment.
  • the implementation environment includes a server 110 and a terminal 120, and the terminal 120 can be connected to the server through a network.
  • the aforementioned network may include the Internet, 2G/3G/4G, wifi, and so on.
  • the server 110 may be an independent physical server or terminal, or a server cluster composed of multiple physical servers, and may be a cloud server that provides basic cloud computing services such as cloud servers, cloud databases, cloud storage, and CDN.
  • the terminal 120 may be a smart phone, a customer service terminal device, a tablet computer, a notebook computer, a desktop computer, a smart speaker, a smart watch, etc., but is not limited to this.
  • This application provides an information recommendation method to solve the problem of accurately knowing the content of the user’s current interest when recommending information.
  • the pushed content information differs from the user’s current attention.
  • the information recommendation method may include the following steps:
  • a variety of content information can be displayed on the interface of the customer service terminal device.
  • the displayed content information can be switched at will on the interface.
  • the content information currently browsed by the user is detected as the specified content information, such as a specified advertisement, the camera of the customer service terminal device is activated.
  • the customer service terminal device may be a terminal device such as a bank terminal, a self-service ticket vending machine, and a self-service inquiry machine.
  • a corresponding identification can be set for each piece of content information, and the identification of the specified content information can be saved in the form of a list.
  • the identification of the content information displayed on the current customer service terminal device is recorded in the list, The content information currently displayed is considered to be the specified content information.
  • S22 Control the camera to collect the facial image of the user who browses the specified content information in front of the display screen of the customer service terminal device, and extract facial feature information from the facial image;
  • the camera can be controlled to collect one or more face images of the user who is browsing the specified content information on the customer service terminal device, and then locate the face image, and extract all faces from the face image Characteristic information.
  • the facial feature information includes feature states of facial feature points such as eyes, nose, ears, etc.
  • Micro-expressions are very short-lived facial expressions that cannot be controlled autonomously when humans try to suppress or hide their true emotions. They are effective clues for lie recognition. Therefore, the user's emotion type can be obtained by analyzing the micro-expression of the user's face image. For example, when the face image shows that the corners of the user's mouth are slightly opened, the eyes are slightly closed, and the user makes a smiling expression, it means that the user's emotion type is happy and joy; when the user's brows are frowning, it means that the user's emotion type is angry and disgusted .
  • all facial feature information extracted from the face image can be input into the micro-expression recognition model, and the micro-expression recognition model is used to analyze the emotion type of the user when browsing the current designated content information.
  • the emotion types include emotions such as joy, surprise, disgust, and anger.
  • the micro-expression recognition model is a deep learning model based on convolutional neural network obtained after repeated training, and can be used to recognize the user's emotion type.
  • the recommended content information associated with the specified content information can be queried from the database according to the emotion type. For example, when the emotion type of the current user is happy, it means that the user is satisfied with the specified content. If the information is more interesting, when content information is subsequently recommended to it, content information similar to the specified content information can be recommended, and the recommended content information can be placed on a specified position on the interface of the customer service terminal device, such as the recommended content information
  • the profile is displayed at the top of the interface. When the user is interested in the recommended content information after browsing the profile, all the content information is displayed by pulling down the recommended content information to the middle of the interface.
  • the information recommendation method provided in this application displays content information on the interface of the customer service terminal device.
  • the camera of the customer service terminal device is activated and the camera is controlled to collect the In front of the display screen of the customer service terminal device, browse the face image of the user with the specified content information, and extract the face feature information from the face image; then input the face feature information into the micro expression recognition model for micro expression analysis , Obtain the emotion type of the user; wherein the micro-expression recognition model is a trained convolutional neural network model; finally, according to the emotion type, query the recommended content information associated with the specified content information from the database, The recommended content information is placed on a designated location on the interface of the customer service terminal device for display, so as to analyze in real time whether the user is interested in the currently browsed information content according to the user’s emotional type, so as to recommend and the user’s current attention Closer information content to achieve accurate recommendation.
  • step S24 the step of querying the recommended content information associated with the specified content information from the database according to the emotion type may specifically include:
  • the emotion type of the current user when the emotion type of the current user is obtained, if the emotion type of the current user is happy, joy, etc., which indicates positive emotions, it means that the user is satisfied with the specified content information currently browsed, and is recommended to him For content information, the database is queried for recommended content information similar to the currently specified content information. Conversely, when the current user’s emotion type is anger, sadness, etc., which indicates negative emotions, it means that the user is not interested in the specified content information currently browsed. When content information is recommended to him, the difference between the current specified content information and the current specified content information will be queried from the database Larger recommended content information.
  • a user uses a bank terminal, he can browse the financial products displayed on the interface at will on the bank terminal to generate a corresponding degree of preference for the financial product.
  • the terminal displays a specified financial product, it can The facial image of the user when browsing the financial product is collected through the camera, and facial feature information is extracted from the facial image, and then the facial feature information is analyzed through the micro expression recognition model to obtain the user’s emotion type.
  • the current user When his emotion type is happy, he can recommend other financial products similar to the designated financial products.
  • the current user's emotion type is disgust, loan products can be recommended to him, so as to achieve accurate recommendation of content information according to the user's real-time emotion type.
  • step S23 the step of inputting facial feature information into a micro-expression recognition model for micro-expression analysis may specifically include:
  • S231 Extract the first feature vector corresponding to the facial feature information by using the micro-expression recognition model
  • the face feature information in the central area of the face image can be extracted first to locate the face image, and then according to the person in the central area of the face image
  • the facial feature information sequentially extracts the facial feature information of other areas of the face image, and finally uses the micro-expression recognition model to construct the geometric feature vector of the extracted feature information of all faces, and then maps it into the corresponding first feature vector. Improve the extraction speed of the first feature vector.
  • This embodiment also needs to obtain the second feature vectors corresponding to all emotion types and save them in the micro-expression database.
  • all the first feature vectors of the face image can be combined with the emotions in the micro-expression database.
  • the distance measurement is performed on the second feature vector corresponding to the type to obtain a number of second feature vectors that are close to the first feature vector of the face image from the micro-expression database to obtain the target feature vector, so as to filter out that can characterize the user’s emotions
  • the feature vector of the type is performed on the second feature vector corresponding to the type to obtain a number of second feature vectors that are close to the first feature vector of the face image from the micro-expression database to obtain the target feature vector, so as to filter out that can characterize the user’s emotions
  • the feature vector of the type is obtained.
  • the micro-expression database stores second feature vectors corresponding to each emotion type.
  • S233 Calculate the emotion index of each emotion type of the user according to the target feature vector, and obtain the emotion type corresponding to the maximum emotion index.
  • the emotion index corresponding to each emotion type of the user can be calculated according to the emotion type to which each target feature vector belongs.
  • the target feature vectors obtained are Y1, Y2, Y3, Y4, Y5, Y6, Y7.
  • the happy target feature vectors are Y1, Y2, Y3, and Y4, then
  • the emotion index corresponding to happiness can be expressed as 4
  • the target feature vectors belonging to surprise are Y5 and Y6, the emotion index corresponding to surprise can be expressed as 2
  • the target feature vector belonging to disgust is Y7, then the emotion index corresponding to disgust can be expressed as 1.
  • the emotion index corresponding to all emotion types of the user can be obtained, and the maximum emotion index of the user can be obtained as 4.
  • the emotion type corresponding to the emotion index is happy, that is, when the specified content information currently browsed by the user is financial financial Product, it means that the user is more interested in this type of financial product, and you can query and recommend financial products similar to this type of financial product to the user.
  • step S233 the step of calculating the emotion index of each emotion type of the user according to the target feature vector may specifically include:
  • the proportion of the tag value of each emotion type to the total tag value is calculated to obtain the emotion index corresponding to each emotion type of the user; wherein the total tag value is the sum of the tag value of each emotion type.
  • the target feature vectors with similar or similar distances are accumulated to the corresponding dimensions.
  • the label value of each emotion type is obtained. For example, after distance measurement, there are 7 target feature vectors obtained, namely Y1, Y2, Y3, Y4, Y5, Y6, Y7, and their total label value is 7.
  • target feature vectors there are 4 target feature vectors that are happy, namely Y1, Y2, Y3, and Y4.
  • the corresponding label value is 4, and the emotion index corresponding to happiness can also be expressed as That is 57%; there are two target feature vectors that are surprised, namely Y5 and Y6, and their corresponding label value is 2, then the emotional index corresponding to the surprise can also be expressed as That is 28.6%; there is one target feature vector belonging to disgust, namely Y7, and its corresponding label value is 1, and the emotional index corresponding to disgust can also be expressed as That is 14.4%. Among them, the largest sentiment index is 57%.
  • step S233 before obtaining the emotion type corresponding to the maximum emotion index, the method may further include:
  • the maximum emotional index when performing sentiment analysis on a user, there may be situations where the user's emotional bias is not obvious, so that the user's emotional type cannot be accurately obtained, and the recommendation accuracy is reduced when content information is recommended. Therefore, in this embodiment, when the maximum emotional index is calculated, it can be further determined whether the maximum emotional index is greater than the preset value. When the maximum emotional index is greater than the preset value, it means that the user has obvious emotional bias, and then obtain The emotion type corresponding to the maximum emotion index. When the maximum emotional index is lower than the preset value, it means that the user has no obvious emotional bias. Therefore, it is necessary to start the camera of the customer service terminal device to re-collect the user's face image until a more obvious emotional type is obtained.
  • the method may further include:
  • the convolutional neural network model is trained by using the face image sample set and the sample emotion type, and when it converges, a micro expression recognition model is obtained.
  • the facial image sample set and each facial image sample corresponding to the determined sample emotion can be used to train the convolutional neural network model to obtain the micro-expression recognition model.
  • the method may further include:
  • the weight parameters of the connections between the nodes in the convolutional neural network model are adjusted, and the convolutional neural network model is retrained until the best weight parameters are obtained.
  • each base layer of the convolutional neural network model includes several nodes, the nodes between the base layer and the base layer are in a fully connected state, and the connection between the nodes usually has a weight parameter.
  • the weight parameter between nodes is a parameter value set at will.
  • an embodiment of the present application also provides an information recommendation device.
  • it includes an activation module 31, a control module 32, an analysis module 33, and a display module 34. among them,
  • the activation module 31 is configured to display content information on the interface of the customer service terminal device, and when it is detected that the specified content information is currently in the display state, activate the camera of the customer service terminal device;
  • a variety of content information can be displayed on the interface of the customer service terminal device.
  • the displayed content information can be switched at will on the interface.
  • the content information currently browsed by the user is detected as the specified content information, such as a specified advertisement, the camera of the customer service terminal device is activated.
  • the customer service terminal device may be a terminal device such as a bank terminal, a self-service ticket vending machine, and a self-service inquiry machine.
  • a corresponding identification can be set for each piece of content information, and the identification of the specified content information can be saved in the form of a list.
  • the identification of the content information displayed on the current customer service terminal device is recorded in the list, The content information currently displayed is considered to be the specified content information.
  • the control module 32 is configured to control the camera to collect the facial image of the user who browses the specified content information in front of the display screen of the customer service terminal device, and extract facial feature information from the facial image;
  • the camera can be controlled to collect one or more face images of the user who is browsing the specified content information on the customer service terminal device, and then locate the face image, and extract all faces from the face image Characteristic information.
  • the facial feature information includes feature states of facial feature points such as eyes, nose, ears, etc.
  • the analysis module 33 is configured to input facial feature information into a micro-expression recognition model for micro-expression analysis to obtain the emotion type of the user; wherein the micro-expression recognition model is a trained convolutional neural network model;
  • Micro-expressions are very short-lived facial expressions that cannot be controlled autonomously when humans try to suppress or hide their true emotions. They are effective clues for lie recognition. Therefore, the user's emotion type can be obtained by analyzing the micro-expression of the user's face image. For example, when the face image shows that the corners of the user's mouth are slightly opened, the eyes are slightly closed, and the user makes a smiling expression, it means that the user's emotion type is happy and joy; when the user's brows are frowning, it means that the user's emotion type is angry and disgusted .
  • all facial feature information extracted from the face image can be input into the micro-expression recognition model, and the micro-expression recognition model is used to analyze the emotion type of the user when browsing the current designated content information.
  • the emotion types include emotions such as joy, surprise, disgust, and anger.
  • the micro-expression recognition model is a deep learning model based on convolutional neural network obtained after repeated training, and can be used to recognize the user's emotion type.
  • the display module 34 is configured to query the recommended content information associated with the specified content information from a database according to the emotion type, and place the recommended content information on a specified position on the interface of the customer service terminal device for display; Wherein, each of the emotion types corresponds to at least one type of recommended content information.
  • the recommended content information associated with the specified content information can be queried from the database according to the emotion type. For example, when the emotion type of the current user is happy, it means that the user is satisfied with the specified content. If the information is more interesting, when content information is subsequently recommended to it, content information similar to the specified content information can be recommended, and the recommended content information can be placed on a specified position on the interface of the customer service terminal device, such as the recommended content information
  • the profile is displayed at the top of the interface. When the user is interested in the recommended content information after browsing the profile, all the content information is displayed by pulling down the recommended content information to the middle of the interface.
  • the information recommendation device displays content information on the interface of the customer service terminal device.
  • the camera of the customer service terminal device is activated, and the camera is controlled to collect the In front of the display screen of the customer service terminal device, browse the face image of the user with the specified content information, and extract the face feature information from the face image; then input the face feature information into the micro expression recognition model for micro expression analysis , Obtain the emotion type of the user; wherein the micro-expression recognition model is a trained convolutional neural network model; finally, according to the emotion type, query the recommended content information associated with the specified content information from the database, The recommended content information is placed on a designated location on the interface of the customer service terminal device for display, so as to analyze in real time whether the user is interested in the currently browsed information content according to the user’s emotional type, so as to recommend and the user’s current attention Closer information content to achieve accurate recommendation.
  • the analysis module 33 is further configured to:
  • the micro-expression database stores second feature vectors corresponding to each emotion type
  • the emotion index of each emotion type of the user is calculated according to the target feature vector, and the emotion type corresponding to the maximum emotion index is obtained.
  • the analysis module 33 is further configured to:
  • the proportion of the tag value of each emotion type to the total tag value is calculated to obtain the emotion index corresponding to each emotion type of the user; wherein the total tag value is the sum of the tag value of each emotion type.
  • the analysis module 33 is further configured to:
  • the display module 34 is further configured to:
  • the information recommendation device further includes:
  • the acquisition module is used to acquire the face image sample set and each face image sample corresponding to the determined sample emotion type
  • the training module is used to train the convolutional neural network model by using the face image sample set and the sample emotion type, until convergence, to obtain a micro expression recognition model.
  • the training module is further configured to:
  • the weight parameters of the connections between the nodes in the convolutional neural network model are adjusted, and the convolutional neural network model is retrained until the best weight parameters are obtained.
  • a terminal provided by the present application includes a memory and a processor, and computer-readable instructions are stored in the memory.
  • the processor executes any of the above The steps of the information recommendation method described.
  • the terminal is a computer device, as shown in FIG. 6.
  • the computer equipment described in this embodiment may be equipment such as servers, personal computers, and network equipment.
  • the computer equipment includes a processor 402, a memory 403, an input unit 404, a display unit 405 and other devices.
  • the memory 403 may be used to store a computer program 401 and various functional modules, and the processor 402 runs the computer program 401 stored in the memory 403 to execute various functional applications and data processing of the device.
  • the memory may be internal memory or external memory, or include both internal memory and external memory.
  • the internal memory may include read only memory (ROM), programmable ROM (PROM), electrically programmable ROM (EPROM), electrically erasable programmable ROM (EEPROM), flash memory, or random access memory.
  • ROM read only memory
  • PROM programmable ROM
  • EPROM electrically programmable ROM
  • EEPROM electrically erasable programmable ROM
  • flash memory or random access memory.
  • External storage can include hard disk, floppy disk, ZIP disk, U disk, tape, etc.
  • the memory disclosed in this application includes but is not limited to these types of memory.
  • the memory disclosed in this application is only an example and not a limitation.
  • the input unit 404 is used for receiving input of signals and receiving keywords input by the user.
  • the input unit 404 may include a touch panel and other input devices.
  • the touch panel can collect the user's touch operations on or near it (for example, the user uses any suitable objects or accessories such as fingers, stylus, etc., to operate on the touch panel or near the touch panel), and according to preset
  • the program drives the corresponding connection device; other input devices may include, but are not limited to, one or more of a physical keyboard, function keys (such as playback control buttons, switch buttons, etc.), trackball, mouse, and joystick.
  • the display unit 405 can be used to display information input by the user or information provided to the user and various menus of the computer device.
  • the display unit 405 can take the form of a liquid crystal display, an organic light emitting diode, or the like.
  • the processor 402 is the control center of the computer equipment. It uses various interfaces and lines to connect the various parts of the entire computer. It executes by running or executing the software programs and/or modules stored in the memory 402 and calling the data stored in the memory. Various functions and processing data.
  • the computer device includes: one or more processors 402, a memory 403, and one or more computer programs 401, wherein the one or more computer programs 401 are stored in the memory 403 and configured to Executed by the one or more processors 402, the one or more computer programs 401 are configured to execute the information recommendation method described in the above embodiments.
  • this application also proposes a non-volatile storage medium storing computer-readable instructions.
  • the computer-readable instructions When executed by one or more processors, the one or more processors execute The above information recommended method.
  • the storage medium may be ROM, random access memory (RAM), CD-ROM, magnetic tape, floppy disk, optical data storage device, etc.
  • the aforementioned storage medium may be a non-volatile storage medium such as a magnetic disk, an optical disc, a read-only memory (Read-Only Memory, ROM), or a random access memory (Random Access Memory, RAM), etc.
  • the information recommendation method, device, terminal, and storage medium provided in this application display content information on the interface of the customer service terminal device.
  • the camera of the customer service terminal device is activated, and Control the camera to collect the facial image of the user browsing the specified content information in front of the display screen of the customer service terminal device, and extract facial feature information from the facial image; then input the facial feature information into the micro
  • the expression recognition model performs micro expression analysis to obtain the user’s emotion type; wherein, the micro expression recognition model is a trained convolutional neural network model; finally, according to the emotion type, query the specified content information from the database Associated recommended content information, the recommended content information is placed on a designated position on the interface of the customer service terminal device for display, so as to analyze in real time whether the user is interested in the currently browsed information content according to the user’s emotional type. Recommend information content close to the user's current attention to achieve accurate recommendation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及智能推荐技术领域，提供了一种信息推荐方法、装置、终端及存储介质。所述信息推荐方法包括：当检测到客服终端设备的界面上显示的是指定内容信息时，控制客服终端设备的摄像头采集显示屏前的浏览指定内容信息用户的人脸图像，并从人脸图像中提取出人脸特征信息；将人脸特征信息输入微表情识别模型进行微表情分析，获取用户的情绪类型；根据情绪类型从数据库中查询与指定内容信息相关联的推荐内容信息，将推荐内容信息放置在客服终端设备的界面的指定位置上进行显示。本申请可根据用户的情绪类型实时分析用户对当前浏览的信息内容是否感兴趣，以向其推荐与用户当前关注度较接近的信息内容，实现精准推荐。

Description

信息推荐方法、装置、终端及存储介质
本申请要求于2019年5月24日提交中国专利局、申请号为201910441455.X，发明名称为“信息推荐方法、装置、终端及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及智能推荐技术领域，尤其涉及一种信息推荐方法、装置、终端及存储介质。
背景技术
近年来，随着互联网的快速发展，信息正呈爆炸式增长，如何从大量的信息中筛选出用户感兴趣的内容成为互联网领域的研究重点，因此，信息推荐技术在近几年也取得了比较大的进步，其可向用户推荐感兴趣的信息，以满足用户需求。
发明人意识到现有推荐信息时，往往是通过分析用户的历史浏览数据，根据历史浏览数据筛选出用户感兴趣的信息，因历史浏览数据只能表征用户整体的兴趣偏向，难以准确了解用户当前感兴趣的信息内容，因此，推送内容信息时，容易与用户当前的关注度相差加大，实时推送的精准度较差。
发明内容
本申请提供一种信息推荐方法、装置、终端及存储介质，以解决当前推荐信息时，难以准确了解用户当前感兴趣的信息内容，推送的内容信息与用户当前的关注度相差加大，实时推送的精准度较差的问题。
为解决上述问题，本申请采用如下技术方案：
本申请提供一种信息推荐方法，包括如下步骤：在客服终端设备的界面上展示内容信息，当检测到当前处于显示状态的是指定内容信息时，启动客服终端设备的摄像头；控制所述摄像头采集所述客服终端设备的显示屏前的浏览所述指定内容信息用户的人脸图像，并从所述人脸图像中提取出人脸特征信息；将人脸特征信息输入微表情识别模型进行微表情分析，获取所述用户的情绪类型；其中，所述微表情识别模型为训练合格的卷积神经网络模型；根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息，将所述推荐内容信息放置在所述客服终端设备的界面的指定位置上进行显示；其中，每个所述情绪类型对应至少一种推荐内容信息。
本申请提供的一种信息推荐装置，包括：启动模块，用于在客服终端设备的界面上展示内容信息，当检测到当前处于显示状态的是指定内容信息时，启动客服终端设备的摄像头；控制模块，用于控制所述摄像头采集所述客服终端 设备的显示屏前的浏览所述指定内容信息用户的人脸图像，并从所述人脸图像中提取出人脸特征信息；分析模块，用于将人脸特征信息输入微表情识别模型进行微表情分析，获取所述用户的情绪类型；其中，所述微表情识别模型为训练合格的卷积神经网络模型；显示模块，用于根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息，将所述推荐内容信息放置在所述客服终端设备的界面的指定位置上进行显示；其中，每个所述情绪类型对应至少一种推荐内容信息。
本申请提供一种终端，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行一种信息推荐方法，所述的信息推荐方法包括以下步骤：在客服终端设备的界面上展示内容信息，当检测到当前处于显示状态的是指定内容信息时，启动客服终端设备的摄像头；控制所述摄像头采集所述客服终端设备的显示屏前的浏览所述指定内容信息用户的人脸图像，并从所述人脸图像中提取出人脸特征信息；将人脸特征信息输入微表情识别模型进行微表情分析，获取所述用户的情绪类型；其中，所述微表情识别模型为训练合格的卷积神经网络模型；根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息，将所述推荐内容信息放置在所述客服终端设备的界面的指定位置上进行显示；其中，每个所述情绪类型对应至少一种推荐内容信息。
本申请提供一种非易失性存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的信息推荐方法。使得所述处理器执行一种信息推荐方法，所述信息推荐方法包括以下步骤：在客服终端设备的界面上展示内容信息，当检测到当前处于显示状态的是指定内容信息时，启动客服终端设备的摄像头；控制所述摄像头采集所述客服终端设备的显示屏前的浏览所述指定内容信息用户的人脸图像，并从所述人脸图像中提取出人脸特征信息；将人脸特征信息输入微表情识别模型进行微表情分析，获取所述用户的情绪类型；其中，所述微表情识别模型为训练合格的卷积神经网络模型；根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息，将所述推荐内容信息放置在所述客服终端设备的界面的指定位置上进行显示；其中，每个所述情绪类型对应至少一种推荐内容信息。
本申请提供的信息推荐方法，通过在客服终端设备的界面上展示内容信息，当检测到当前处于显示状态的是指定内容信息时，才启动客服终端设备的摄像头，并控制所述摄像头采集所述客服终端设备的显示屏前的浏览所述指定内容信息用户的人脸图像，并从所述人脸图像中提取出人脸特征信息；然后将人脸特征信息输入微表情识别模型进行微表情分析，获取所述用户的情绪类型；其中，所述微表情识别模型为训练合格的卷积神经网络模型；最后根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息，将所述推荐内容信息放置在所述客服终端设备的界面的指定位置上进行显示，从而根据用户的情绪类型实时分析用户对当前浏览的信息内容是否感兴趣，以向其推荐与用户当前关注度较接近的信息内容，实现精准推荐。
附图说明
图1为本申请一个实施例中提供的信息推荐方法的实施环境图；
图2为本申请信息推荐方法一种实施例流程框图；
图3为本申请信息推荐方法又一种实施例流程框图，主要出示了根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息的具体步骤；
图4为本申请信息推荐方法又一种实施例流程框图，主要出示了将人脸特征信息输入微表情识别模型进行微表情分析的具体步骤；
图5为本申请信息推荐装置一种实施例模块框图；
图6为本申请一个实施例中终端的内部结构框图。
具体实施方式
图1为一个实施例中提供的信息推荐方法的实施环境图，如图1所示，在该实施环境中，包括服务器110、终端120，终端120可通过网络与服务器连接。其中，上述网络可以包括因特网、2G/3G/4G、wifi等。
需要说明的是，服务器110可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。
终端120可以是智能手机、客服终端设备、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。
请参阅图2，本申请提供了一种信息推荐方法，以解决当前推荐信息时，难以准确了解用户当前感兴趣的信息内容，推送的内容信息与用户当前的关注度相差加大，实时推送的精准度较差的问题。在其中一种实施方式中，所述信息推荐方法可包括如下步骤：
S21、在客服终端设备的界面上展示内容信息，当检测到当前处于显示状态的是指定内容信息时，启动客服终端设备的摄像头；
在本实施例中，客服终端设备的界面上可展示多种内容信息，如产品信息、广告、音视频、新闻等信息。用户浏览内容信息时，可在界面上随意切换展示的内容信息，当检测到用户当前浏览的内容信息为指定内容信息时，如某条指定广告，则启动客服终端设备的摄像头。其中，所述客服终端设备可为银行终端机、自助售票机、自助查询机等终端设备。
在一实施例中，可为每条内容信息设置相应标识，并将指定内容信息的标识以列表的形式进行保存，当检测到当前客服终端设备上显示的内容信息的标识记录在列表中时，则认为当前展示的内容信息为指定内容信息。
S22、控制所述摄像头采集所述客服终端设备的显示屏前的浏览所述指定内容信息用户的人脸图像，并从所述人脸图像中提取出人脸特征信息；
在本实施例中，可控制摄像头采集正在客服终端设备上浏览指定内容信息的用户的一张或多张人脸图像，然后对人脸图像进行定位，并从人脸图像中 提取出所有人脸特征信息。其中，所述人脸特征信息包括诸如眼睛、鼻子、耳朵等人脸特征点的特征状态。
S23、将人脸特征信息输入微表情识别模型进行微表情分析，获取所述用户的情绪类型；其中，所述微表情识别模型为训练合格的卷积神经网络模型；
微表情是人类试图压抑或隐藏真实情感时，泄露的非常短暂的、不能自主控制的面部表情，是谎言识别的有效线索。因此，可通过分析用户人脸图像的微表情，得到用户的情绪类型。如人脸图像中显示用户嘴角微张、眼睛微闭，做出微笑的表情时，则表示用户的情绪类型为高兴、喜悦；当用户眉头紧蹙时，则表示用户的情绪类型为生气、厌恶。
在本实施例中，可将人脸图像中提取到的所有人脸特征信息输入微表情识别模型，利用微表情识别模型分析得到用户浏览当前指定内容信息时的情绪类型。其中，所述情绪类型包括喜悦、惊奇、厌恶、生气等情绪。该微表情识别模型为经过反复训练后得到的基于卷积神经网络的深度学习模型，可用于识别用户的情绪类型。
S24、根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息，将所述推荐内容信息放置在所述客服终端设备的界面的指定位置上进行显示；其中，每个所述情绪类型对应至少一种推荐内容信息。
在本实施例中，获取当前用户的情绪类型后，可根据该情绪类型从数据库中查询与指定内容信息相关联的推荐内容信息，如当前用户的情绪类型为高兴时，则表示用户对指定内容信息比较感兴趣，则后续向其推荐内容信息时，可推荐与指定内容信息相类似的内容信息，并将该推荐内容信息放置在客服终端设备的界面的指定位置上，如将推荐内容信息的简介显示在界面的顶部，当用户浏览该简介后对推荐内容信息产生兴趣时，通过将该推荐内容信息下拉至界面中间进行全部内容信息的显示。
本申请提供的信息推荐方法，通过在客服终端设备的界面上展示内容信息，当检测到当前处于显示状态的是指定内容信息时，才启动客服终端设备的摄像头，并控制所述摄像头采集所述客服终端设备的显示屏前的浏览所述指定内容信息用户的人脸图像，并从所述人脸图像中提取出人脸特征信息；然后将人脸特征信息输入微表情识别模型进行微表情分析，获取所述用户的情绪类型；其中，所述微表情识别模型为训练合格的卷积神经网络模型；最后根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息，将所述推荐内容信息放置在所述客服终端设备的界面的指定位置上进行显示，从而根据用户的情绪类型实时分析用户对当前浏览的信息内容是否感兴趣，以向其推荐与用户当前关注度较接近的信息内容，实现精准推荐。
在一实施例中，如图3所示，在步骤S24中，所述根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息的步骤，可具体包括：
S241、当所述情绪类型为高兴、喜悦或满意的积极情绪时，从数据库中查询与当前指定内容信息相似的推荐内容信息；
S242、否则从数据库中查询与当前指定内容信息相对的推荐内容信息。
在本实施例中，当获取到当前用户的情绪类型时，若当前用户的情绪类型为高兴、喜悦等表示积极向上的情绪时，则表示用户对当前浏览的指定内容信息较为满意，向其推荐内容信息时，则从数据库中查询与当前指定内容信息相似的推荐内容信息。反之，当当前用户的情绪类型为生气、悲伤等表示消极的情绪时，则表示用户对当前浏览的指定内容信息不感兴趣，向其推荐内容信息时，则从数据库中查询与当前指定内容信息差异较大的推荐内容信息。
为了更好的理解本技术方案，下面以金融产品信息推荐为例进行说明：
当用户使用银行终端机时，在银行终端机上随意浏览界面上显示的金融产品，产生相应的对金融产品的喜爱程度，当检测到终端机上显示的是某一指定理财类金融产品时，则可通过摄像头采集用户浏览该金融产品时的人脸图像，并从人脸图像中提取出人脸特征信息，然后通过微表情识别模型对人脸特征信息进行分析，得到用户的情绪类型，当当前用户的情绪类型为高兴时，则可向其推荐与指定金融产品相类似的其他理财类金融产品。当当前用户的情绪类型为厌恶时，则可以向其推荐借贷类产品，从而根据用户实时的情绪类型实现内容信息的精准推荐。
在一实施例中，如图4所示，在步骤S23中，所述将人脸特征信息输入微表情识别模型进行微表情分析的步骤，可具体包括：
S231、利用微表情识别模型提取出人脸特征信息对应的第一特征向量；
在本实施例中，从人脸图像中提取出人脸特征信息时，可先提取人脸图像中心区域的人脸特征信息，以对人脸图像进行定位，然后根据人脸图像中心区域的人脸特征信息依次提取出人脸图像其他区域的人脸特征信息，最后利用微表情识别模型对提取出的所有人脸特征信息进行几何特征向量构造，从而映射成相对应的第一特征向量，以提高第一特征向量的提取速度。
S232、将第一特征向量与微表情数据库中的情绪类型对应的第二特征向量进行距离度量，从微表情数据库中获取与所述第一特征向量的距离相近的第二特征向量作为目标特征向量；
本实施例还需获取所有情绪类型对应的第二特征向量，将其保存在微表情数据库中，在进行距离度量计算时，可将人脸图像的所有第一特征向量与微表情数据库中的情绪类型对应的第二特征向量进行距离度量，以从微表情数据库中获取与人脸图像的第一特征向量距离相近的若干个第二特征向量，得到目标特征向量，从而筛选出能表征该用户情绪类型的特征向量。其中，所述微表情数据库存储有各个情绪类型对应的第二特征向量。
S233、根据所述目标特征向量计算用户各情绪类型的情绪指数，获取最大情绪指数对应的情绪类型。
在本实施例中，可根据每个目标特征向量所属的情绪类型，计算该用户各情绪类型对应的情绪指数，当所属情绪类型的目标特征向量越多时，则该情绪类型对应的情绪指数越高，并获取最大情绪指数对应的情绪类型。例如，经过距离度量后，得到的目标特征向量为Y1、Y2、Y3、Y4、Y5、Y6、Y7，在这 些目标特征向量中，属于高兴的目标特征向量有Y1、Y2、Y3和Y4，则高兴对应的情绪指数可以表示为4，属于惊讶的目标特征向量为Y5和Y6，则惊讶对应的情绪指数可以表示为2，属于厌恶的目标特征向量为Y7，则厌恶对应的情绪指数可以表示为1，从而得到该用户所有情绪类型对应的情绪指数，并可得到该用户的最大情绪指数为4，该情绪指数对应的情绪类型为高兴，即当该用户当前浏览的指定内容信息为理财类金融产品时，则表示该用户对该类金融产品比较感兴趣，则可查询与该类金融产品相类似的理财类金融产品推荐给用户。
在一实施例中，在步骤S233中，所述根据所述目标特征向量计算用户各情绪类型的情绪指数的步骤，可具体包括：
将距离相近的目标特征向量累加至相应维度的情绪标签中，得到各情绪类型的标签值；
计算各情绪类型的标签值占总标签值的比重，得到该用户各情绪类型对应的情绪指数；其中，所述总标签值为各情绪类型的标签值之和。
在本实施例中，可分析得到若干个维度的情绪类型及其对应的情绪标签，如开心、伤心、忧虑、烦躁等维度的情绪标签，将相似或距离相近的目标特征向量累加至对应维度的情绪标签中，得到各情绪类型的标签值。例如，经过距离度量后，得到的目标特征向量有7个，分别为Y1、Y2、Y3、Y4、Y5、Y6、Y7，其总标签值为7。在这些目标特征向量中，属于高兴的目标特征向量有4个，即Y1、Y2、Y3和Y4，其对应标签值为4，则高兴对应的情绪指数也可以表示为
Figure PCTCN2019115771-appb-000001
即57％；属于惊讶的目标特征向量有2个，即Y5和Y6，其对应标签值为2，则惊讶对应的情绪指数也可以表示为
Figure PCTCN2019115771-appb-000002
即28.6％；属于厌恶的目标特征向量有1个，即Y7，其对应标签值为1，则厌恶对应的情绪指数也可以表示为
Figure PCTCN2019115771-appb-000003
即14.4％。其中，最大的情绪指数为57％。
在一实施例中，在步骤S233中，所述获取最大情绪指数对应的情绪类型之前，还可包括：
判断最大情绪指数是否大于预设值；
若是，则获取最大情绪指数对应的情绪类型；
否则启动客服终端设备的摄像头重新采集该用户的人脸图像。
在对用户进行情绪分析时，可能会出现用户的情绪偏向不明显的情况，从而无法准确得到该用户的情绪类型，导致推荐内容信息时，推荐精度降低的情况。因此，在本实施例中，当计算得到最大情绪指数时，可进一步判断最大情绪指数是否大于预设值，当最大情绪指数大于预设值时，则表示该用户具有明显的情绪偏向，进而获取最大情绪指数对应的情绪类型。当最大情绪指数低于预设值时，则表示该用户没有明显的情绪偏向，因此需要通过启动客服终端设备的摄像头重新采集该用户的人脸图像，直至得到较为明显的情绪类型。
在一实施例中，在步骤S23中，所述将人脸特征信息输入微表情识别模型进行微表情分析之前，还可包括：
获取人脸图像样本集及各人脸图像样本对应已确定的样本情绪类型；
利用所述人脸图像样本集和样本情绪类型对卷积神经网络模型进行训练，直至收敛时，得到微表情识别模型。
在本实施例中，可利用人脸图像样本集及各人脸图像样本对应已确定的样本情绪对卷积神经网络模型进行训练，得到微表情识别模型。训练时，人脸图像样本集的数量越多，则训练的效果越好，得到的微表情识别模型的分析准确性也越高。
在一实施例中，所述利用所述人脸图像样本集和样本情绪类型对卷积神经网络模型进行训练之后，还可包括：
基于预设的损失函数，计算卷积神经网络模型的损失；
当损失高于一定值时，调整所述卷积神经网络模型中各节点之间连接的权重参数，对卷积神经网络模型重新训练，直至得到最佳权重参数。
在本实施例中，所述卷积神经网络模型的每一个基层都包含若干个节点，基层与基层之间的节点处于一种全连接的状态，且节点之间的连接通常具有一个权重参数。在对卷积神经网络模型进行训练之前，节点之间的权重参数为随意设置的参数值。在对卷积神经网络模型进行训练时，可以将海量的人脸模板图像样本集输入卷积神经网络模型中，然后计算卷积神经网络模型的损失，判断其损失是否大于预设值，若是，则调整所述卷积神经网络模型中各节点之间连接的权重参数，对模型重新训练，然后计算其损失，直至损失小于或等于预设值，获得卷积神经网络模型中各节点之间连接的最佳权重参数，从而得到训练合格的微表情识别模型。
请参考图5，本申请的实施例还提供一种信息推荐装置，一种本实施例中，包括启动模块31、控制模块32、分析模块33及显示模块34。其中，
启动模块31，用于在客服终端设备的界面上展示内容信息，当检测到当前处于显示状态的是指定内容信息时，启动客服终端设备的摄像头；
在本实施例中，客服终端设备的界面上可展示多种内容信息，如产品信息、广告、音视频、新闻等信息。用户浏览内容信息时，可在界面上随意切换展示的内容信息，当检测到用户当前浏览的内容信息为指定内容信息时，如某条指定广告，则启动客服终端设备的摄像头。其中，所述客服终端设备可为银行终端机、自助售票机、自助查询机等终端设备。
在一实施例中，可为每条内容信息设置相应标识，并将指定内容信息的标识以列表的形式进行保存，当检测到当前客服终端设备上显示的内容信息的标识记录在列表中时，则认为当前展示的内容信息为指定内容信息。
控制模块32，用于控制所述摄像头采集所述客服终端设备的显示屏前的浏览所述指定内容信息用户的人脸图像，并从所述人脸图像中提取出人脸特征信息；
在本实施例中，可控制摄像头采集正在客服终端设备上浏览指定内容信息的用户的一张或多张人脸图像，然后对人脸图像进行定位，并从人脸图像中提取出所有人脸特征信息。其中，所述人脸特征信息包括诸如眼睛、鼻子、耳 朵等人脸特征点的特征状态。
分析模块33，用于将人脸特征信息输入微表情识别模型进行微表情分析，获取所述用户的情绪类型；其中，所述微表情识别模型为训练合格的卷积神经网络模型；
微表情是人类试图压抑或隐藏真实情感时，泄露的非常短暂的、不能自主控制的面部表情，是谎言识别的有效线索。因此，可通过分析用户人脸图像的微表情，得到用户的情绪类型。如人脸图像中显示用户嘴角微张、眼睛微闭，做出微笑的表情时，则表示用户的情绪类型为高兴、喜悦；当用户眉头紧蹙时，则表示用户的情绪类型为生气、厌恶。
在本实施例中，可将人脸图像中提取到的所有人脸特征信息输入微表情识别模型，利用微表情识别模型分析得到用户浏览当前指定内容信息时的情绪类型。其中，所述情绪类型包括喜悦、惊奇、厌恶、生气等情绪。该微表情识别模型为经过反复训练后得到的基于卷积神经网络的深度学习模型，可用于识别用户的情绪类型。
显示模块34，用于根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息，将所述推荐内容信息放置在所述客服终端设备的界面的指定位置上进行显示；其中，每个所述情绪类型对应至少一种推荐内容信息。
在本实施例中，获取当前用户的情绪类型后，可根据该情绪类型从数据库中查询与指定内容信息相关联的推荐内容信息，如当前用户的情绪类型为高兴时，则表示用户对指定内容信息比较感兴趣，则后续向其推荐内容信息时，可推荐与指定内容信息相类似的内容信息，并将该推荐内容信息放置在客服终端设备的界面的指定位置上，如将推荐内容信息的简介显示在界面的顶部，当用户浏览该简介后对推荐内容信息产生兴趣时，通过将该推荐内容信息下拉至界面中间进行全部内容信息的显示。
本申请提供的信息推荐装置，通过在客服终端设备的界面上展示内容信息，当检测到当前处于显示状态的是指定内容信息时，才启动客服终端设备的摄像头，并控制所述摄像头采集所述客服终端设备的显示屏前的浏览所述指定内容信息用户的人脸图像，并从所述人脸图像中提取出人脸特征信息；然后将人脸特征信息输入微表情识别模型进行微表情分析，获取所述用户的情绪类型；其中，所述微表情识别模型为训练合格的卷积神经网络模型；最后根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息，将所述推荐内容信息放置在所述客服终端设备的界面的指定位置上进行显示，从而根据用户的情绪类型实时分析用户对当前浏览的信息内容是否感兴趣，以向其推荐与用户当前关注度较接近的信息内容，实现精准推荐。
在一实施例中，所述分析模块33还被配置为：
利用微表情识别模型提取出人脸特征信息对应的第一特征向量；
将第一特征向量与微表情数据库中的情绪类型对应的第二特征向量进行距离度量，从微表情数据库中获取与所述第一特征向量的距离相近的第二特 征向量作为目标特征向量；其中，所述微表情数据库存储有各个情绪类型对应的第二特征向量；
根据所述目标特征向量计算用户各情绪类型的情绪指数，获取最大情绪指数对应的情绪类型。
在一实施例中，所述分析模块33还被配置为：
将距离相近的目标特征向量累加至相应维度的情绪标签中，得到各情绪类型的标签值；
计算各情绪类型的标签值占总标签值的比重，得到该用户各情绪类型对应的情绪指数；其中，所述总标签值为各情绪类型的标签值之和。
在一实施例中，所述分析模块33还被配置为：：
判断最大情绪指数是否大于预设值；
若是，则获取最大情绪指数对应的情绪类型；
否则启动客服终端设备的摄像头重新采集该用户的人脸图像。
在一实施例中，所述显示模块34还被配置为：
当所述情绪类型为高兴、喜悦或满意的积极情绪时，从数据库中查询与当前指定内容信息相似的推荐内容信息；
否则从数据库中查询与当前指定内容信息相对的推荐内容信息。
在一实施例中，所述信息推荐装置还包括：
获取模块，用于获取人脸图像样本集及各人脸图像样本对应已确定的样本情绪类型；
训练模块，用于利用所述人脸图像样本集和样本情绪类型对卷积神经网络模型进行训练，直至收敛时，得到微表情识别模型。
在一实施例中，所述训练模块还被配置为：
基于预设的损失函数，计算卷积神经网络模型的损失；
当损失高于一定值时，调整所述卷积神经网络模型中各节点之间连接的权重参数，对卷积神经网络模型重新训练，直至得到最佳权重参数。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本申请提供的一种终端，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如上任一项所述的信息推荐方法的步骤。
在一实施例中，所述终端为一种计算机设备，如图6所示。本实施例所述的计算机设备可以是服务器、个人计算机以及网络设备等设备。所述计算机设备包括处理器402、存储器403、输入单元404以及显示单元405等器件。本领域技术人员可以理解，图6示出的设备结构器件并不构成对所有设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储器403可用于存储计算机程序401以及各功能模块，处理器402运行存储在存储器403的计算机程序401，从而执行设备的各种功能应用以及数据处理。存储器可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包 括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本申请所公开的存储器包括但不限于这些类型的存储器。本申请所公开的存储器只作为例子而非作为限定。
输入单元404用于接收信号的输入，以及接收用户输入的关键字。输入单元404可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元405可用于显示用户输入的信息或提供给用户的信息以及计算机设备的各种菜单。显示单元405可采用液晶显示器、有机发光二极管等形式。处理器402是计算机设备的控制中心，利用各种接口和线路连接整个电脑的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。
作为一个实施例，所述计算机设备包括：一个或多个处理器402，存储器403，一个或多个计算机程序401，其中所述一个或多个计算机程序401被存储在存储器403中并被配置为由所述一个或多个处理器402执行，所述一个或多个计算机程序401配置用于执行以上实施例所述的信息推荐方法。
在一个实施例中，本申请还提出了一种存储有计算机可读指令的非易失性存储介质，该计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述信息推荐方法。例如，所述存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
综合上述实施例可知，本申请最大的有益效果在于：
本申请提供的信息推荐方法、装置、终端及存储介质，通过在客服终端设备的界面上展示内容信息，当检测到当前处于显示状态的是指定内容信息时，才启动客服终端设备的摄像头，并控制所述摄像头采集所述客服终端设备的显示屏前的浏览所述指定内容信息用户的人脸图像，并从所述人脸图像中提取出人脸特征信息；然后将人脸特征信息输入微表情识别模型进行微表情分析，获取所述用户的情绪类型；其中，所述微表情识别模型为训练合格的卷积神经网络模型；最后根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息，将所述推荐内容信息放置在所述客服终端设备的界面的指定位置上进行显示，从而根据用户的情绪类型实时分析用户对当前浏 览的信息内容是否感兴趣，以后续向其推荐与用户当前关注度较接近的信息内容，实现精准推荐。

Claims (20)

  1. 一种信息推荐方法，包括：
    在客服终端设备的界面上展示内容信息，当检测到当前处于显示状态的是指定内容信息时，启动客服终端设备的摄像头；
    控制所述摄像头采集所述客服终端设备的显示屏前的浏览所述指定内容信息用户的人脸图像，并从所述人脸图像中提取出人脸特征信息；
    将人脸特征信息输入微表情识别模型进行微表情分析，获取所述用户的情绪类型；其中，所述微表情识别模型为训练合格的卷积神经网络模型；
    根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息，将所述推荐内容信息放置在所述客服终端设备的界面的指定位置上进行显示；其中，每个所述情绪类型对应至少一种推荐内容信息。
  2. 根据权利要求1所述的信息推荐方法，所述将人脸特征信息输入微表情识别模型进行微表情分析的步骤，包括：
    利用微表情识别模型提取出人脸特征信息对应的第一特征向量；
    将第一特征向量与微表情数据库中的情绪类型对应的第二特征向量进行距离度量，从微表情数据库中获取与所述第一特征向量的距离相近的第二特征向量作为目标特征向量；
    根据所述目标特征向量计算用户各情绪类型的情绪指数，获取最大情绪指数对应的情绪类型。
  3. 根据权利要求2所述的信息推荐方法，所述根据所述目标特征向量计算用户各情绪类型的情绪指数的步骤，包括：
    将距离相近的目标特征向量累加至相应维度的情绪标签中，得到各情绪类型的标签值；
    计算各情绪类型的标签值占总标签值的比重，得到该用户各情绪类型对应的情绪指数；其中，所述总标签值为各情绪类型的标签值之和。
  4. 根据权利要求2所述的信息推荐方法，所述获取最大情绪指数对应的情绪类型之前，还包括：
    判断最大情绪指数是否大于预设值；
    若是，则获取最大情绪指数对应的情绪类型；
    否则启动客服终端设备的摄像头重新采集该用户的人脸图像。
  5. 根据权利要求1所述的信息推荐方法，所述根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息的步骤，包括：
    当所述情绪类型为高兴、喜悦或满意的积极情绪时，从数据库中查询与当前指定内容信息相似的推荐内容信息；
    否则从数据库中查询与当前指定内容信息相对的推荐内容信息。
  6. 根据权利要求1所述的信息推荐方法，所述将人脸特征信息输入微表情识别模型进行微表情分析之前，还包括：
    获取人脸图像样本集及各人脸图像样本对应已确定的样本情绪类型；
    利用所述人脸图像样本集和样本情绪类型对卷积神经网络模型进行训练，直至收敛时，得到微表情识别模型。
  7. 根据权利要求6所述的信息推荐方法，所述利用所述人脸图像样本集和样本情绪类型对卷积神经网络模型进行训练之后，还包括：
    基于预设的损失函数，计算卷积神经网络模型的损失；
    当损失高于一定值时，调整所述卷积神经网络模型中各节点之间连接的权重参数，对卷积神经网络模型重新训练，直至得到最佳权重参数。
  8. 一种信息推荐装置，包括：
    启动模块，用于在客服终端设备的界面上展示内容信息，当检测到当前处于显示状态的是指定内容信息时，启动客服终端设备的摄像头；
    控制模块，用于控制所述摄像头采集所述客服终端设备的显示屏前的浏览所述指定内容信息用户的人脸图像，并从所述人脸图像中提取出人脸特征信息；
    分析模块，用于将人脸特征信息输入微表情识别模型进行微表情分析，获取所述用户的情绪类型；其中，所述微表情识别模型为训练合格的卷积神经网络模型；
    显示模块，用于根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息，将所述推荐内容信息放置在所述客服终端设备的界面的指定位置上进行显示；其中，每个所述情绪类型对应至少一种推荐内容信息。
  9. 一种终端，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行一种信息推荐方法，所述信息推荐方法包括以下步骤：
    在客服终端设备的界面上展示内容信息，当检测到当前处于显示状态的是指定内容信息时，启动客服终端设备的摄像头；
    控制所述摄像头采集所述客服终端设备的显示屏前的浏览所述指定内容信息用户的人脸图像，并从所述人脸图像中提取出人脸特征信息；
    将人脸特征信息输入微表情识别模型进行微表情分析，获取所述用户的情绪类型；其中，所述微表情识别模型为训练合格的卷积神经网络模型；
    根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息，将所述推荐内容信息放置在所述客服终端设备的界面的指定位置上进行显示；其中，每个所述情绪类型对应至少一种推荐内容信息。
  10. 根据权利要求9所述的终端，所述将人脸特征信息输入微表情识别模型进行微表情分析的步骤，包括：
    利用微表情识别模型提取出人脸特征信息对应的第一特征向量；
    将第一特征向量与微表情数据库中的情绪类型对应的第二特征向量进行距离度量，从微表情数据库中获取与所述第一特征向量的距离相近的第二特征向量作为目标特征向量；
    根据所述目标特征向量计算用户各情绪类型的情绪指数，获取最大情绪 指数对应的情绪类型。
  11. 根据权利要求10所述的终端，所述根据所述目标特征向量计算用户各情绪类型的情绪指数的步骤，包括：
    将距离相近的目标特征向量累加至相应维度的情绪标签中，得到各情绪类型的标签值；
    计算各情绪类型的标签值占总标签值的比重，得到该用户各情绪类型对应的情绪指数；其中，所述总标签值为各情绪类型的标签值之和。
  12. 根据权利要求10所述的终端，所述获取最大情绪指数对应的情绪类型之前，还包括：
    判断最大情绪指数是否大于预设值；
    若是，则获取最大情绪指数对应的情绪类型；
    否则启动客服终端设备的摄像头重新采集该用户的人脸图像。
  13. 根据权利要求9所述的终端，所述根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息的步骤，包括：
    当所述情绪类型为高兴、喜悦或满意的积极情绪时，从数据库中查询与当前指定内容信息相似的推荐内容信息；
    否则从数据库中查询与当前指定内容信息相对的推荐内容信息。
  14. 一种非易失性存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行一种信息推荐方法，所述信息推荐方法包括以下步骤：
    在客服终端设备的界面上展示内容信息，当检测到当前处于显示状态的是指定内容信息时，启动客服终端设备的摄像头；
    控制所述摄像头采集所述客服终端设备的显示屏前的浏览所述指定内容信息用户的人脸图像，并从所述人脸图像中提取出人脸特征信息；
    将人脸特征信息输入微表情识别模型进行微表情分析，获取所述用户的情绪类型；其中，所述微表情识别模型为训练合格的卷积神经网络模型；
    根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息，将所述推荐内容信息放置在所述客服终端设备的界面的指定位置上进行显示；其中，每个所述情绪类型对应至少一种推荐内容信息。
  15. 根据权利要求14所述的非易失性存储介质，所述将人脸特征信息输入微表情识别模型进行微表情分析的步骤，包括：
    利用微表情识别模型提取出人脸特征信息对应的第一特征向量；
    将第一特征向量与微表情数据库中的情绪类型对应的第二特征向量进行距离度量，从微表情数据库中获取与所述第一特征向量的距离相近的第二特征向量作为目标特征向量；
    根据所述目标特征向量计算用户各情绪类型的情绪指数，获取最大情绪指数对应的情绪类型。
  16. 根据权利要求15所述的非易失性存储介质，所述根据所述目标特征向量计算用户各情绪类型的情绪指数的步骤，包括：
    将距离相近的目标特征向量累加至相应维度的情绪标签中，得到各情绪类型的标签值；
    计算各情绪类型的标签值占总标签值的比重，得到该用户各情绪类型对应的情绪指数；其中，所述总标签值为各情绪类型的标签值之和。
  17. 根据权利要求15所述的非易失性存储介质，所述获取最大情绪指数对应的情绪类型之前，还包括：
    判断最大情绪指数是否大于预设值；
    若是，则获取最大情绪指数对应的情绪类型；
    否则启动客服终端设备的摄像头重新采集该用户的人脸图像。
  18. 根据权利要求14所述的非易失性存储介质，所述根据所述情绪类型从数据库中查询与所述指定内容信息相关联的推荐内容信息的步骤，包括：
    当所述情绪类型为高兴、喜悦或满意的积极情绪时，从数据库中查询与当前指定内容信息相似的推荐内容信息；
    否则从数据库中查询与当前指定内容信息相对的推荐内容信息。
  19. 根据权利要求14所述的非易失性存储介质，所述将人脸特征信息输入微表情识别模型进行微表情分析之前，还包括：
    获取人脸图像样本集及各人脸图像样本对应已确定的样本情绪类型；
    利用所述人脸图像样本集和样本情绪类型对卷积神经网络模型进行训练，直至收敛时，得到微表情识别模型。
  20. 根据权利要求19所述的非易失性存储介质，所述利用所述人脸图像样本集和样本情绪类型对卷积神经网络模型进行训练之后，还包括：
    基于预设的损失函数，计算卷积神经网络模型的损失；
    当损失高于一定值时，调整所述卷积神经网络模型中各节点之间连接的权重参数，对卷积神经网络模型重新训练，直至得到最佳权重参数。
PCT/CN2019/115771 2019-05-24 2019-11-05 信息推荐方法、装置、终端及存储介质 WO2020238023A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910441455.XA CN110321477B (zh) 2019-05-24 2019-05-24 信息推荐方法、装置、终端及存储介质
CN201910441455.X 2019-05-24

Publications (1)

Publication Number Publication Date
WO2020238023A1 true WO2020238023A1 (zh) 2020-12-03

Family

ID=68119339

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/115771 WO2020238023A1 (zh) 2019-05-24 2019-11-05 信息推荐方法、装置、终端及存储介质

Country Status (2)

Country Link
CN (1) CN110321477B (zh)
WO (1) WO2020238023A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112732953A (zh) * 2020-12-30 2021-04-30 上海众源网络有限公司 推荐方法、样本分析方法、装置、电子设备和存储介质
CN112948691A (zh) * 2021-03-29 2021-06-11 建信金融科技有限责任公司 实体场所的体验指标计算方法和装置
CN113315876A (zh) * 2021-05-27 2021-08-27 中国银行股份有限公司 电话银行服务控制方法、装置、服务器及存储介质
CN113469785A (zh) * 2021-06-29 2021-10-01 深圳市点购电子商务控股股份有限公司 一种多人会话建立的方法、装置及计算机设备
CN113469704A (zh) * 2021-06-10 2021-10-01 云南电网有限责任公司 一种自动推荐客户服务策略的系统和方法
CN113643047A (zh) * 2021-08-17 2021-11-12 中国平安人寿保险股份有限公司 虚拟现实控制策略的推荐方法、装置、设备及存储介质
CN114170356A (zh) * 2021-12-09 2022-03-11 米奥兰特(浙江)网络科技有限公司 线上路演方法、装置、电子设备及存储介质
CN114287938A (zh) * 2021-12-13 2022-04-08 重庆大学 建筑环境中人体参数的安全区间获得方法和设备
WO2023033754A1 (en) * 2021-09-06 2023-03-09 Inc Yazilim Çözümleri̇ Ti̇caret Li̇mi̇ted Şi̇rketi̇ A system making character analysis from face
CN117499477A (zh) * 2023-11-16 2024-02-02 北京易华录信息技术股份有限公司 一种基于大模型训练的信息推送方法以及系统

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110321477B (zh) * 2019-05-24 2022-09-09 平安科技（深圳）有限公司 信息推荐方法、装置、终端及存储介质
CN112685596B (zh) * 2019-10-18 2023-04-14 中移(苏州)软件技术有限公司 视频推荐方法及装置、终端、存储介质
CN110784763B (zh) * 2019-11-07 2021-11-02 深圳创维－Rgb电子有限公司 显示终端控制方法、显示终端及可读存储介质
CN111177459A (zh) * 2019-12-14 2020-05-19 华为技术有限公司 信息推荐方法、装置、电子设备及计算机可读存储介质
CN111144906A (zh) * 2019-12-26 2020-05-12 联想(北京)有限公司 一种数据处理方法、装置及电子设备
CN111178294A (zh) * 2019-12-31 2020-05-19 北京市商汤科技开发有限公司 状态识别方法、装置、设备及存储介质
CN111291184B (zh) * 2020-01-20 2023-07-18 百度在线网络技术（北京）有限公司 表情的推荐方法、装置、设备及存储介质
WO2021195922A1 (zh) 2020-03-31 2021-10-07 浙江核新同花顺网络信息股份有限公司 一种当前页面信息刷新方法和系统
CN113472834A (zh) * 2020-04-27 2021-10-01 海信集团有限公司 一种对象推送方法及设备
CN111708939B (zh) * 2020-05-29 2024-04-16 平安科技（深圳）有限公司 基于情绪识别的推送方法、装置、计算机设备及存储介质
CN112016001A (zh) * 2020-08-17 2020-12-01 上海掌门科技有限公司 好友推荐方法、设备及计算机可读介质
CN111951930B (zh) * 2020-08-19 2021-10-15 中食安泓(广东)健康产业有限公司 一种基于大数据的情绪鉴定系统
CN112214667B (zh) * 2020-09-18 2023-06-30 建信金融科技有限责任公司 基于三维模型的信息推送方法、装置、设备及存储介质
CN114443182A (zh) * 2020-10-30 2022-05-06 深圳Tcl数字技术有限公司 一种界面切换方法、存储介质及终端设备
CN112328813B (zh) * 2020-10-30 2023-08-25 中国平安人寿保险股份有限公司 基于ai的推荐信息生成方法、装置及计算机设备
CN112464025B (zh) * 2020-12-17 2023-08-01 当趣网络科技(杭州)有限公司 视频推荐方法、装置、电子设备及介质
CN112966128A (zh) * 2021-02-23 2021-06-15 武汉大学 基于实时情感识别的自媒体内容推荐方法
CN113515335A (zh) * 2021-05-20 2021-10-19 口碑(上海)信息技术有限公司 一种服务信息展示形式的确定方法、装置以及电子设备
CN113794803B (zh) * 2021-08-06 2023-02-24 维沃移动通信（杭州）有限公司 未读消息提示方法、装置、电子设备及介质
CN113628008A (zh) * 2021-08-11 2021-11-09 中国工商银行股份有限公司 智能营销方法、装置、设备及介质
CN113724544B (zh) * 2021-08-30 2023-08-22 安徽淘云科技股份有限公司 一种播放方法及其相关设备
CN113992745B (zh) * 2021-10-20 2024-03-22 平安银行股份有限公司 活动信息推送方法、装置、电子设备及存储介质
CN113742599B (zh) * 2021-11-05 2022-03-18 太平金融科技服务(上海)有限公司深圳分公司 内容推荐方法、装置、设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254447A1 (en) * 2014-03-10 2015-09-10 FaceToFace Biometrics, Inc. Expression recognition in messaging systems
CN107169002A (zh) * 2017-03-31 2017-09-15 咪咕数字传媒有限公司 一种基于脸识别的个性化界面推送方法及装置
CN109583970A (zh) * 2018-12-14 2019-04-05 深圳壹账通智能科技有限公司 广告投放方法、装置、计算机设备及存储介质
CN109767261A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 产品推荐方法、装置、计算机设备和存储介质
CN109785066A (zh) * 2019-01-17 2019-05-21 深圳壹账通智能科技有限公司 基于微表情的产品推荐方法、装置、设备及存储介质
CN110321477A (zh) * 2019-05-24 2019-10-11 平安科技（深圳）有限公司 信息推荐方法、装置、终端及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10489690B2 (en) * 2017-10-24 2019-11-26 International Business Machines Corporation Emotion classification based on expression variations associated with same or similar emotions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254447A1 (en) * 2014-03-10 2015-09-10 FaceToFace Biometrics, Inc. Expression recognition in messaging systems
CN107169002A (zh) * 2017-03-31 2017-09-15 咪咕数字传媒有限公司 一种基于脸识别的个性化界面推送方法及装置
CN109583970A (zh) * 2018-12-14 2019-04-05 深圳壹账通智能科技有限公司 广告投放方法、装置、计算机设备及存储介质
CN109767261A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 产品推荐方法、装置、计算机设备和存储介质
CN109785066A (zh) * 2019-01-17 2019-05-21 深圳壹账通智能科技有限公司 基于微表情的产品推荐方法、装置、设备及存储介质
CN110321477A (zh) * 2019-05-24 2019-10-11 平安科技（深圳）有限公司 信息推荐方法、装置、终端及存储介质

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112732953A (zh) * 2020-12-30 2021-04-30 上海众源网络有限公司 推荐方法、样本分析方法、装置、电子设备和存储介质
CN112732953B (zh) * 2020-12-30 2024-04-12 上海众源网络有限公司 推荐方法、样本分析方法、装置、电子设备和存储介质
CN112948691A (zh) * 2021-03-29 2021-06-11 建信金融科技有限责任公司 实体场所的体验指标计算方法和装置
CN113315876B (zh) * 2021-05-27 2023-01-20 中国银行股份有限公司 电话银行服务控制方法、装置、服务器及存储介质
CN113315876A (zh) * 2021-05-27 2021-08-27 中国银行股份有限公司 电话银行服务控制方法、装置、服务器及存储介质
CN113469704A (zh) * 2021-06-10 2021-10-01 云南电网有限责任公司 一种自动推荐客户服务策略的系统和方法
CN113469785A (zh) * 2021-06-29 2021-10-01 深圳市点购电子商务控股股份有限公司 一种多人会话建立的方法、装置及计算机设备
CN113643047A (zh) * 2021-08-17 2021-11-12 中国平安人寿保险股份有限公司 虚拟现实控制策略的推荐方法、装置、设备及存储介质
CN113643047B (zh) * 2021-08-17 2024-05-10 中国平安人寿保险股份有限公司 虚拟现实控制策略的推荐方法、装置、设备及存储介质
WO2023033754A1 (en) * 2021-09-06 2023-03-09 Inc Yazilim Çözümleri̇ Ti̇caret Li̇mi̇ted Şi̇rketi̇ A system making character analysis from face
CN114170356B (zh) * 2021-12-09 2022-09-30 米奥兰特(浙江)网络科技有限公司 线上路演方法、装置、电子设备及存储介质
CN114170356A (zh) * 2021-12-09 2022-03-11 米奥兰特(浙江)网络科技有限公司 线上路演方法、装置、电子设备及存储介质
CN114287938A (zh) * 2021-12-13 2022-04-08 重庆大学 建筑环境中人体参数的安全区间获得方法和设备
CN114287938B (zh) * 2021-12-13 2024-02-13 重庆大学 建筑环境中人体参数的安全区间获得方法和设备
CN117499477A (zh) * 2023-11-16 2024-02-02 北京易华录信息技术股份有限公司 一种基于大模型训练的信息推送方法以及系统

Also Published As

Publication number Publication date
CN110321477B (zh) 2022-09-09
CN110321477A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
WO2020238023A1 (zh) 信息推荐方法、装置、终端及存储介质
CN109558535B (zh) 基于人脸识别的个性化推送物品的方法及系统
WO2020034849A1 (zh) 音乐推荐的方法、装置、计算设备和介质
WO2020182121A1 (zh) 表情识别方法及相关装置
WO2018166288A1 (zh) 信息呈现方法和装置
WO2021238722A1 (zh) 资源推送方法、装置、设备及存储介质
JP2018152094A (ja) 画像ベース検索
WO2017197806A1 (zh) 基于人工智能提供智能服务的方法、智能服务系统及智能终端
WO2020253360A1 (zh) 应用程序的内容展示方法、装置、存储介质和计算机设备
CN105426850A (zh) 一种基于人脸识别的关联信息推送设备及方法
EP2915101A1 (en) Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
Jaiswal et al. An intelligent recommendation system using gaze and emotion detection
CN113158023B (zh) 基于混合推荐算法的公共数字生活精准分类服务方法
US9013591B2 (en) Method and system of determing user engagement and sentiment with learned models and user-facing camera images
WO2020177673A1 (zh) 一种视频序列选择的方法、计算机设备及存储介质
Ji et al. One-shot learning based pattern transition map for action early recognition
JP2023531264A (ja) 改善された顔属性分類およびその使用のためのシステム及び方法
CN110019675A (zh) 一种关键词提取的方法及装置
KR102586170B1 (ko) 전자 장치 및 이의 검색 결과 제공 방법
CN107506419B (zh) 一种基于异质上下文感知的推荐方法
Bisen et al. Responsive human-computer interaction model based on recognition of facial landmarks using machine learning algorithms
Chong et al. EmoChat: Bringing multimodal emotion detection to mobile conversation
Liu et al. A multimodal approach for multiple-relation extraction in videos
Kumar et al. A constructive deep convolutional network model for analyzing video-to-image sequences
WO2020207297A1 (zh) 信息处理方法、存储介质及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19931233

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19931233

Country of ref document: EP

Kind code of ref document: A1