WO2020098013A1 - 电视节目推荐方法、终端、系统及存储介质 - Google Patents

电视节目推荐方法、终端、系统及存储介质 Download PDF

Info

Publication number
WO2020098013A1
WO2020098013A1 PCT/CN2018/119179 CN2018119179W WO2020098013A1 WO 2020098013 A1 WO2020098013 A1 WO 2020098013A1 CN 2018119179 W CN2018119179 W CN 2018119179W WO 2020098013 A1 WO2020098013 A1 WO 2020098013A1
Authority
WO
WIPO (PCT)
Prior art keywords
program
facial
preset
emotion
emotion type
Prior art date
Application number
PCT/CN2018/119179
Other languages
English (en)
French (fr)
Inventor
雷新
张芳艳
杨媛媛
Original Assignee
深圳创维－Rgb电子有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳创维－Rgb电子有限公司 filed Critical 深圳创维－Rgb电子有限公司
Publication of WO2020098013A1 publication Critical patent/WO2020098013A1/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies

Definitions

  • This application relates to the field of terminal application technologies, and in particular, to a TV program recommendation method, terminal, system, and storage medium.
  • the current content recommendation algorithm is mainly to establish the characteristics of each user under big data, and then establish their own characteristic values for the content of the Internet in Shanghai, combined with the user's usage habits, speculate on the user's usage model in different scenarios, and estimate the content Recommend to users. Due to the development of machine learning algorithms, the more time a user spends using it, the more content the algorithm recommends to meet the user's expectations. However, the machine learning algorithm strongly depends on the user's long-term usage habits to repair the accuracy of the algorithm, cannot judge the user's current mood in real time, and reflects the user's mental state. It takes a considerable amount of time to learn, and accuracy and real-time are not guaranteed.
  • the main purpose of the present application is to provide a TV program recommendation method, terminal, system, and storage medium, which are aimed at recommending corresponding TV programs to users according to their real-time mood types.
  • the present application provides a TV program recommendation method.
  • the TV program recommendation method is applied to a TV terminal.
  • the TV program recommendation method includes the following steps:
  • the preset emotion model is trained by facial feature samples of several users, and used to feedback the corresponding emotion type based on facial features;
  • a television program corresponding to the first emotion type is acquired, and the television program is recommended to the user.
  • the television terminal is integrated with a depth camera or a depth camera is externally connected, and the step of collecting the first facial information of the current user includes:
  • the TV terminal is connected with a mobile terminal integrated with a depth camera, and the step of collecting the first facial information of the current user includes:
  • the step of extracting first facial features from the first facial information includes:
  • the features extracted from each face area are recombined to obtain the image features of the face image as the first facial features.
  • the step of acquiring a TV program corresponding to the first emotion type based on the first emotion type and a preset recommendation algorithm, and recommending the TV program to a user includes:
  • the television program is played.
  • the TV terminal displays a play prompt about to play the TV program, and starts a timer.
  • the play prompt includes the step of canceling the control for canceling the play of the TV program, and further includes:
  • the cancel control is triggered within a preset duration, the TV program is canceled and the TV program is marked to be used for TV program recommendation based on the first emotion type and the preset recommendation algorithm again At this time, the marked TV program is not recommended to the user.
  • the method further includes:
  • the television program corresponding to the second emotion type is acquired, and the television program corresponding to the second emotion type is recommended to the user.
  • the present application also provides a television terminal, wherein the television terminal includes:
  • the information acquisition module collects the first face information of the current user
  • a feature extraction module extracting first facial features from the first facial information
  • the model obtaining module obtains a preset emotion model generated based on the deep learning algorithm, and the preset emotion model is trained by facial feature samples of multiple users, and is used to feedback the corresponding emotion type based on facial image features;
  • An emotion acquisition module inputting the first facial feature into the preset emotion model, and acquiring a first emotion type output by the preset emotion model;
  • the program recommendation module obtains a TV program corresponding to the first emotion type based on the first emotion type and a preset recommendation algorithm, and recommends the TV program to the user.
  • the present application also provides a television program recommendation system.
  • the television program recommendation system includes: a memory, a processor, and a television program recommendation stored on the memory and operable on the processor Program, when the television program recommendation program is executed by the processor, the steps of the television program recommendation method described above are implemented.
  • the present application also provides a storage medium on which a TV program recommendation program is stored, and when the TV program recommendation program is executed by the processor, the steps of the above-mentioned TV program recommendation method are implemented .
  • the TV program recommendation method, terminal, system and storage medium proposed in this application collect the first facial information of the current user by extracting the first facial information from the first facial information;
  • a preset emotion model the preset emotion model is trained from facial feature samples of several users, and is used to feedback the corresponding emotion type based on facial features; input the first facial feature into the preset emotion model to obtain A first emotion type output by the preset emotion model; based on the first emotion type and a preset recommendation algorithm, obtain a TV program corresponding to the first emotion type, and recommend the TV program to a user.
  • This application implements the recommendation of corresponding TV programs for users based on the user's real-time mood types, and improves the real-time, accuracy and intelligence of TV program recommendations.
  • FIG. 1 is a schematic diagram of a terminal structure of a hardware operating environment involved in an embodiment of the present application
  • FIG. 2 is a schematic diagram of the functional module of the TV terminal of the present application.
  • FIG. 3 is a schematic flowchart of a first embodiment of a TV program recommendation method of this application.
  • FIG. 4 is a schematic diagram of a scenario of playing prompt style 1 of the present application.
  • the main solutions of the embodiments of the present application are: collecting the first facial information of the current user; extracting the first facial features from the first facial information; acquiring the preset emotion model generated based on the deep learning algorithm, The preset emotion model is trained by facial feature samples of several users, and is used to feed back the corresponding emotion type based on facial features; input the first facial feature into the preset emotion model, and obtain the output of the preset emotion model Based on the first emotion type and a preset recommendation algorithm, obtain a TV program corresponding to the first emotion type, and recommend the TV program to the user.
  • This application implements the recommendation of corresponding TV programs for users based on the user's real-time mood types, and improves the real-time, accuracy and intelligence of TV program recommendations.
  • the content recommendation algorithm in the prior art mainly establishes the characteristics of each user under big data, and then establishes their own characteristic values for the content of the Internet in Shanghai, combined with the user's usage habits, speculates the user's usage model in different scenarios
  • the estimated content is recommended to users. Due to the development of machine learning algorithms, the more time a user spends using it, the more content the algorithm recommends to meet the user's expectations. However, the machine learning algorithm strongly depends on the user's long-term usage habits to repair the accuracy of the algorithm, cannot judge the user's current mood in real time, and reflects the user's mental state. It takes a considerable amount of time to learn, and accuracy and real-time are not guaranteed.
  • An embodiment of the present application proposes a solution that can implement recommendation of a corresponding TV program for the user according to the user's real-time mood type.
  • FIG. 1 is a schematic diagram of a terminal structure of a hardware operating environment involved in a solution of an embodiment of the present application.
  • the terminal in the embodiment of the present application is a television terminal.
  • the terminal may include: a processor 1001, such as a CPU, a network interface 1004, a user interface 1003, a memory 1005, and a communication bus 1002.
  • the communication bus 1002 is used to implement connection communication between these components.
  • the user interface 1003 may include a display (Display), an input unit such as a keyboard (Keyboard), and the optional user interface 1003 may also include a standard wired interface and a wireless interface.
  • the network interface 1004 may optionally include a standard wired interface and a wireless interface (such as a WI-FI interface).
  • the memory 1005 may be a high-speed RAM memory or a stable memory (non-volatile memory), such as disk storage.
  • the memory 1005 may optionally be a storage device independent of the foregoing processor 1001.
  • the terminal may also include a camera, RF (Radio Frequency (radio frequency) circuits, sensors, audio circuits, WiFi modules, etc.
  • sensors such as light sensors, motion sensors and other sensors.
  • the light sensor may include an ambient light sensor and a proximity sensor, wherein the ambient light sensor may adjust the brightness of the display screen according to the brightness of the ambient light, and the proximity sensor may turn off the display screen and / or when the terminal device moves to the ear Backlight.
  • the terminal can also be configured with other sensors such as gyroscopes, barometers, hygrometers, thermometers, and infrared sensors, which will not be repeated here.
  • terminal structure shown in FIG. 1 does not constitute a limitation on the terminal, and may include more or fewer components than those illustrated, or combine certain components, or arrange different components.
  • the memory 1005 as a computer storage medium may include an operation terminal, a network communication module, a user interface module, and a TV program recommendation program.
  • the network interface 1004 is mainly used to connect to the back-end server and perform data communication with the back-end server;
  • the user interface 1003 is mainly used to connect to the client (user end) and perform data communication with the client;
  • the processor 1001 can be used to call the TV program recommendation program stored in the memory 1005 and perform the following operations:
  • the preset emotion model is trained by facial feature samples of several users, and used to feedback the corresponding emotion type based on facial features;
  • a television program corresponding to the first emotion type is acquired, and the television program is recommended to the user.
  • processor 1001 can call the TV program recommendation program stored in the memory 1005, and also perform the following operations:
  • processor 1001 can call the TV program recommendation program stored in the memory 1005, and also perform the following operations:
  • processor 1001 can call the TV program recommendation program stored in the memory 1005, and also perform the following operations:
  • the features extracted from each face area are recombined to obtain the image features of the face image as the first facial features.
  • processor 1001 can call the TV program recommendation program stored in the memory 1005, and also perform the following operations:
  • the television program is played.
  • processor 1001 can call the TV program recommendation program stored in the memory 1005, and also perform the following operations:
  • the cancel control is triggered within a preset duration, the TV program is canceled and the TV program is marked to be used for TV program recommendation based on the first emotion type and the preset recommendation algorithm again At this time, the marked TV program is not recommended to the user.
  • processor 1001 can call the TV program recommendation program stored in the memory 1005, and also perform the following operations:
  • the television program corresponding to the second emotion type is acquired, and the television program corresponding to the second emotion type is recommended to the user.
  • the television program recommendation terminal calls the television program recommendation program stored in the memory 1005 through the processor 1001 to realize the steps of: collecting the first face information of the current user; from the first face information Extract the first facial feature; obtain a preset emotion model generated based on the deep learning algorithm, the preset emotion model is trained by facial feature samples of several users, and used to feedback the corresponding emotion type based on the facial feature;
  • the first facial feature is input into the preset emotion model to obtain the first emotion type output by the preset emotion model; based on the first emotion type and the preset recommendation algorithm, the first emotion type corresponding to the first emotion type is obtained TV shows, recommend the TV show to the user.
  • This application implements the recommendation of corresponding TV programs for users based on the user's real-time mood types, and improves the real-time, accuracy and intelligence of TV program recommendations.
  • This application also provides a television terminal, the television terminal including:
  • the information acquisition module 10 collects the first facial information of the current user
  • the feature extraction module 20 extracts first facial features from the first facial information
  • the model obtaining module 30 obtains a preset emotion model generated based on a deep learning algorithm, and the preset emotion model is trained by facial feature samples of multiple users, and is used to feedback the corresponding emotion type based on facial image features;
  • the emotion obtaining module 40 inputs the first facial feature into the preset emotion model, and obtains the first emotion type output by the preset emotion model;
  • the program recommendation module 50 obtains a TV program corresponding to the first emotion type based on the first emotion type and a preset recommendation algorithm, and recommends the TV program to the user.
  • the specific implementation of the TV terminal of the present application is basically the same as the embodiments of the TV program recommendation method, and details are not described herein again.
  • the present application provides a storage medium that stores one or more programs, and the one or more programs may also be executed by one or more processors to implement any of the foregoing Steps of TV program recommendation method.
  • FIG. 3 is a schematic flowchart of a first embodiment of a television program recommendation method of this application.
  • the first embodiment of the present application provides a TV program recommendation method.
  • the TV program recommendation method is applied to a TV terminal.
  • the TV program recommendation method includes the following steps:
  • Step S1 collecting the first face information of the current user
  • the first user's first facial information is collected by a facial information collection device, which includes a depth camera.
  • the depth camera is different from the traditional two-dimensional camera we usually use.
  • the difference from the traditional camera is that the depth camera can simultaneously shoot the gray-scale image information of the scene and the three-dimensional information including depth.
  • the design principle is to emit a reference beam for the scene to be tested.
  • the distance of the scene to be shot is converted to generate depth information.
  • it is combined with a traditional camera to obtain a two-dimensional image Information.
  • Current mainstream depth camera technologies include structured light and time-of-flight (TOF, time of flight) and binocular stereo imaging.
  • the depth camera technology used by the depth camera includes at least one of structured light, time of flight, and binocular stereo imaging.
  • the depth camera can be integrated inside the TV terminal, can be externally connected to the TV terminal, or can be integrated inside the mobile terminal.
  • the user's emotion type is recognized according to the user's facial expression, and then the corresponding TV program is recommended for the user according to the user's emotion type. Therefore, it is first necessary to use the facial information collection device to obtain the current user's facial information.
  • the acquisition operation is triggered by the user turning on the TV terminal, or triggered at a preset interval after the TV terminal is turned on.
  • Step S2 Extract first facial features from the first facial information
  • the facial information collection device After using the facial information collection device to collect the first user's first facial information, because the facial information includes a large amount of data that is not related to emotion recognition, it is necessary to filter and filter the facial information that can represent the user's emotions from the facial information feature.
  • facial features that can characterize the user's emotions such as the user's mouth, eyes, nose, facial specific muscle groups, and facial contours are extracted from the facial information.
  • Step S3 Obtain a preset emotion model generated based on a deep learning algorithm, the preset emotion model is trained by facial feature samples of several users, and used to feedback the corresponding emotion type based on facial features;
  • the process of generating and updating the preset emotion model based on the deep learning algorithm can be performed locally on the TV terminal or in a cloud server.
  • the preset emotion model When the preset emotion model is generated or updated, it can be sent To the TV terminal's local database for storage, it can also be stored in a cloud server, waiting for the TV terminal's active acquisition.
  • this step S3 includes: obtaining a preset emotion model generated based on the deep learning algorithm from a local database or a cloud server.
  • deep learning algorithms include, but are not limited to, restricted Boltzmann machine (Restricted Boltzmann Machine), Deep Belief Networks, Convolutional Neural Networks One or more of Networks) and Stacked Auto-encoders.
  • the source and number of facial feature samples of several users are not limited.
  • the training sample may be historical facial feature information of the TV terminal and / or mobile terminal user bound to the TV terminal, or historical facial feature information of the target user group, and the target user group may be End users have multiple users with the same or similar facial features.
  • Facial features include but are not limited to mouth, eyes, eyebrows, noses, facial specific muscle groups, facial contours, and other facial features that can characterize user emotions. It is understandable that for the preset emotion model, the larger the number of general samples, the more accurate the output of the model. For example, the mouths of humans flick at the corners of their mouths when they are sad, the corners of their mouths rise when they are happy, they bite their teeth when they are angry, and they bite their lower lips when they are angry and painful.
  • the facial features of the historical user are used as the input of the preset emotion model, and the emotion type is used as the output of the preset emotion type.
  • the facial feature samples of the historical user are trained to generate the preset emotion model.
  • the preset emotion model after the television terminal extracts facial features from the facial information, by inputting the facial features into the preset emotion model, the emotion type corresponding to the facial features can be output.
  • the type of emotion includes but is not limited to at least one of happiness, anger, sadness and calmness.
  • Step S4 Input the first facial feature into the preset emotion model to obtain a first emotion type output by the preset emotion model;
  • the first emotion type is the real-time emotion of the current user Types of.
  • Step S5 Based on the first emotion type and a preset recommendation algorithm, obtain a TV program corresponding to the first emotion type, and recommend the TV program to the user.
  • a corresponding type of television program is obtained according to a preset recommendation algorithm, and recommended to the current user.
  • the user's facial information is obtained in real time through the facial information collection device, facial features capable of characterizing emotions are extracted from the facial information, and then the facial features are input into a preset emotion model To get the current user's real-time emotion type, and then recommend the corresponding TV program according to the user's real-time emotion type. Therefore, there is no need to rely on the user's usage habits, and the user does not need to spend a long time to manually select a program, which further improves the real-time, accuracy and intelligence of TV program recommendations.
  • the television terminal is integrated with a depth camera or a depth camera is externally plugged, and the above step S1 include:
  • Step S11 Use the depth camera to collect facial image information of the current user as the first facial information.
  • the facial information collection device includes a depth camera.
  • the depth camera is different from the traditional two-dimensional camera we usually use.
  • the difference from the traditional camera is that the depth camera can simultaneously shoot the gray-scale image information of the scene and the three-dimensional information including depth.
  • the design principle is to emit a reference beam for the scene to be tested.
  • the distance of the scene to be shot is converted to generate depth information.
  • it is combined with a traditional camera to obtain a two-dimensional image Information.
  • Current mainstream depth camera technologies include structured light and time-of-flight (TOF, time of flight) and binocular stereo imaging.
  • the depth camera technology used by the depth camera includes at least one of structured light, time of flight, and binocular stereo imaging.
  • the depth camera can be integrated inside the TV terminal or externally connected to the TV terminal.
  • the depth camera integrated in the TV terminal or externally attached to the TV terminal collects the current user's facial information as the first A facial message.
  • step S1 includes:
  • Step S12 Use the mobile terminal to collect facial image information of the current user as the first facial information.
  • the facial information collection device may also be a mobile terminal with an integrated depth camera.
  • the TV terminal receives a start-up instruction from a user or an O & M person, or a preset interval time after the TV terminal is turned on, the mobile terminal with an integrated depth camera Collect the current user's facial information as the first facial information.
  • the above two kinds of facial information collection devices can be implemented separately or in combination.
  • step S2 includes:
  • Step S21 based on the first facial information, locate feature points of the current user's face image
  • Step S22 Segment the human face image into several personal face regions according to the feature point positioning result
  • Step S23 using the deep network model corresponding to the face area to perform feature extraction on the face area;
  • Step S24 Recombine the features extracted from each face area to obtain the image features of the face image as the first facial features.
  • the current user's face image is positioned for feature points, and the face image of the face image is divided into several personal face areas according to the result of the feature point positioning.
  • the deep network model corresponding to the face area is used to perform feature extraction on the face area, and then the features extracted from each face area are recombined to obtain the image features of the face image.
  • the feature points in the face image refer to the feature points in the face such as the center of the eyes, the tip of the nose, and the corners of the mouth on both sides.
  • the feature point positioning result can be represented by a feature point vector, and the feature point vector includes the coordinates of each feature point.
  • the corresponding deep network is trained separately in advance.
  • the deep network model is used to extract image features from the face area.
  • the deep network model can use a deep convolutional neural network.
  • a face recognition algorithm based on deep learning is used to obtain image features of a face image, and compared with other face recognition algorithms, the recognition accuracy is higher.
  • it can target different face areas (such as eye area, nose area, mouth area, etc.) , Train the corresponding deep network models respectively, and use the corresponding deep network models for feature extraction to fully ensure the accuracy of feature extraction.
  • the user's facial information is acquired in real time through the facial information collection device, and the facial recognition algorithm based on deep learning is used to extract facial features capable of characterizing emotions from the facial information, fully ensuring the face The accuracy of feature extraction.
  • step S5 includes:
  • Step S51 Acquire a TV program corresponding to the first emotion type based on a preset recommendation algorithm
  • Step S52 displaying a play prompt about to play the TV program, and starting a timer, where the play prompt includes a cancel control for canceling the play of the TV program;
  • the TV terminal in order to avoid that the TV terminal recommends a TV program that does not meet the user's emotions based on the user's facial information, after acquiring the current user's first emotion type, the corresponding type is obtained from a local database or cloud server according to a preset recommendation algorithm After the corresponding TV program of the corresponding type is acquired, the TV terminal displays a prompt to broadcast the TV program of the type to prompt the user or the operation and maintenance personnel whether to cancel the operation of the TV terminal to play the TV program of the type.
  • the playback prompt includes a cancel control for canceling the playback of this type of TV program.
  • the terminal screen displays a playback prompt P1, and the playback prompt text is displayed in the playback prompt P1, for example, the playback prompt text P2 may be “boxing match program is about to be played, please confirm whether to cancel the playback”, and the cancellation prompt P1 Control P3, when the user or test R & D personnel triggers the cancellation of control P3, the terminal will cancel the boxing match program.
  • the playback prompt text P2 may be “boxing match program is about to be played, please confirm whether to cancel the playback”, and the cancellation prompt P1 Control P3, when the user or test R & D personnel triggers the cancellation of control P3, the terminal will cancel the boxing match program.
  • Step S53 After the timer reaches a preset duration, if the cancel control is not triggered, control the television terminal to play the television program.
  • the timer After the timer reaches the preset duration, if the cancel control is not triggered, a TV program corresponding to the first emotion type is played.
  • the preset duration can vary from a few seconds to one minute. Therefore, an automatic play function when the user of the TV terminal is not confirmed is realized, and at the same time, a play prompt related interface that can cancel the play is provided to avoid playing a TV program that does not correspond to the current mood of the user.
  • step S52 further includes:
  • Step S54 if the cancel control is triggered within a preset duration, cancel the playing of the TV program, and mark the TV program for use again based on the first emotion type and the preset recommendation algorithm When the TV program is recommended, the marked TV program is not recommended to the user.
  • the cancel control is triggered, the TV program corresponding to the first emotion type is canceled and the TV program is marked for use in recommending again based on the first emotion type and the preset
  • the marked TV program is not recommended to the user, thereby repairing the accuracy of the algorithm.
  • step S5 further includes:
  • Step S61 At a preset interval, use the facial information of the current user collected again by the facial information collection device as second facial information;
  • Step S62 Extract second facial features from the second facial information
  • Step S63 Input the second facial feature into the preset emotion model to obtain a second emotion type output by the preset emotion model;
  • Step S64 comparing the second emotion type with the first emotion type to determine whether the second emotion type is consistent with the first emotion type
  • Step S65 If the second emotion type is inconsistent with the first emotion type, obtain a TV program corresponding to the second emotion type, and recommend the TV program corresponding to the second emotion type to the user.
  • the user or the operation and maintenance personnel may change their emotions due to some external interference during the watching of the TV program.
  • the user's first emotion type is happy, and the TV terminal plays a joyful TV program accordingly.
  • the user's emotion type becomes sad because of the sudden departure of a loved one, then continue to play the joyful TV program , Obviously no longer suitable.
  • the TV terminal may use the facial information of the current user collected by the facial information collection device again at intervals to serve as the second facial information, extract the second facial features from the second facial information, Input the second facial feature into the preset emotion model, obtain the second emotion type output by the preset emotion model, compare the second emotion type with the first emotion type, if the two are consistent, then continue to play with the first emotion TV programs corresponding to the type, if the second emotion type is inconsistent with the first emotion type, indicating that the user's emotion has changed, then obtain the TV program corresponding to the second emotion type, and recommend the TV program corresponding to the second emotion type to user.
  • the preset interval time can be tens of minutes to three hours.
  • the user's real-time emotion type is obtained every preset interval to determine whether the user's emotion type has changed, which improves the intelligence and real-time nature of TV program recommendation.
  • the content recommendation algorithm in the prior art mainly establishes the characteristics of each user under big data, and then establishes respective characteristic values for the content of the Internet in Shanghai, combined with the user's usage habits , Speculate on the user's usage model in different scenarios, and estimate the content recommended to the user.
  • Due to the development of machine learning algorithms the more time a user spends using it, the more content the algorithm recommends to meet the user's expectations.
  • the machine learning algorithm strongly depends on the user's long-term usage habits to repair the accuracy of the algorithm, cannot judge the user's current mood in real time, and reflects the user's mental state. It takes a considerable amount of time to learn, and accuracy and real-time are not guaranteed.
  • the methods in the above embodiments can be implemented by means of software plus a necessary general hardware platform, and of course, can also be implemented by hardware, but in many cases the former is better Implementation.
  • the technical solution of the present application can be embodied in the form of a software product in essence or part that contributes to the existing technology, and the computer software product is stored in a storage medium (such as ROM / RAM as described above) , Magnetic disk, optical disk), including several instructions to make a terminal device (which can be a mobile phone, computer, server, air conditioner, or network equipment, etc.) to perform the method described in each embodiment of the present application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)

Abstract

一种电视节目推荐方法、终端、系统及存储介质，该方法包括：采集当前用户的第一面部信息（S1）；从所述第一面部信息中提取第一面部特征（S2）；获取基于深度学习算法生成的预设情绪模型（S3），所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型（S4）；基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户（S5）。该方法实现了根据用户的实时情绪类型为用户推荐相应的电视节目，提高了电视节目推荐的实时性、准确性和智能性。

Description

电视节目推荐方法、终端、系统及存储介质
本申请要求于2018年11月14日提交中国专利局、申请号为201811355544.4、发明名称为“电视节目推荐方法、终端、系统及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在申请中。
技术领域
本申请涉及终端应用技术领域，尤其涉及一种电视节目推荐方法、终端、系统及存储介质。
背景技术
正在到来的第四次工业革命，是继机械化、电气化及信息化之后的一次大规模的智能化浪潮。近年来，随着人工智能、物联网、区块链等新兴技术突破式应用和爆发式增长，智能化趋势将愈发明显。电视将不仅仅作为一个终端显示媒体而存在，更需要贴近家庭，成为一名虚拟家庭伴侣，实时感知各家庭成员的心理活动，依托在客厅，卧室，大屏以及更贴近人类生活优势，为每位家庭成员呈现不一样的内容，达到智能化，生活化，人性化。从而为人类更好服务的终极目标。
目前的内容推荐算法主要是在大数据下建立每个用户特征，再对互联网上海量的内容建立各自的特征值，结合用户的使用习惯，推测用户在不同的场景下的使用模型，预估内容推荐给用户。由于机器学习算法的发展，用户花费越多时间使用，算法推荐的内容越能符合用户的预期。但是，机器学习算法强烈依赖于用户长期的使用习惯来修复算法的准确度，不能实时判断用户当前的喜怒哀乐，反映用户的心理状态。需要一个相当长的时间来学习，且不能保证准确性和实时性。
发明内容
本申请的主要目的在于提供一种电视节目推荐方法、终端、系统及存储介质，旨在实现根据用户的实时情绪类型为用户推荐相应的电视节目。
为实现上述目的，本申请提供一种电视节目推荐方法，所述电视节目推荐方法应用于电视终端，所述电视节目推荐方法包括以下步骤：
采集当前用户的第一面部信息；
从所述第一面部信息中提取第一面部特征；
获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；
将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；
基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。
可选地，所述电视终端集成有深度摄像机或者外挂有深度摄像机，所述采集当前用户的第一面部信息的步骤包括：
利用所述深度摄像机采集所述当前用户的面部图像信息，作为所述第一面部信息。
可选地，所述电视终端连接有内部集成有深度摄像机的移动终端，所述采集当前用户的第一面部信息的步骤包括：
利用所述移动终端采集所述当前用户的面部图像信息，作为所述第一面部信息。
可选地，所述从所述第一面部信息中提取第一面部特征的步骤包括：
基于所述第一面部信息，对当前用户的人脸图像进行特征点定位；
根据特征点定位结果将所述人脸图像分割成若干个人脸区域；
采用所述人脸区域对应的深度网络模型对所述人脸区域进行特征提取；
将从各个人脸区域提取到的特征进行重组，得到所述人脸图像的图像特征，作为所述第一面部特征。
可选地，所述基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户的步骤包括：
基于预设推荐算法，获取与所述第一情绪类型对应的电视节目；
显示即将播放所述电视节目的播放提示，并启动计时器，所述播放提示中包括用于取消播放所述电视节目的取消控件；
在所述计时器达到预设时长后，若所述取消控件未被触发，则播放所述电视节目。
可选地，所述在所述电视终端显示即将播放所述电视节目的播放提示，并启动计时器，所述播放提示中包括用于取消播放所述电视节目的取消控件的步骤之后还包括：
若所述取消控件在预设时长内被触发，则取消播放所述电视节目，并对所述电视节目进行标记，用于在再次基于所述第一情绪类型和预设推荐算法进行电视节目推荐时，不将所述被标记的电视节目推荐给用户。
可选地，所述基于所述情绪类型，对所述电视终端进行电视节目推荐的步骤之后还包括：
在预设间隔时间，利用所述面部信息采集装置再次采集的所述当前用户的面部信息，作为第二面部信息；
从所述第二面部信息中提取第二面部特征；
将所述第二面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第二情绪类型；
将所述第二情绪类型与所述第一情绪类型进行比对，判断所述第二情绪类型与所述第一情绪类型是否一致；
若所述第二情绪类型与所述第一情绪类型不一致，则获取与所述第二情绪类型对应的电视节目，将与所述第二情绪类型对应的电视节目推荐给用户。
本申请还提供一种电视终端，其中，所述电视终端包括：
信息获取模块，采集当前用户的第一面部信息；
特征提取模块，从所述第一面部信息中提取第一面部特征；
模型获取模块，获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由多个用户的面部特征样本训练得到，用于基于面部图像特征反馈对应的情绪类型；
情绪获取模块，将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；
节目推荐模块，基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。
此外，为实现上述目的，本申请还提供一种电视节目推荐系统，所述电视节目推荐系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的电视节目推荐程序，所述电视节目推荐程序被所述处理器执行时实现如上所述电视节目推荐方法的步骤。
此外，为实现上述目的，本申请还提供一种存储介质，所述存储介质上存储有电视节目推荐程序，所述电视节目推荐程序被处理器执行时实现如上所述的电视节目推荐方法的步骤。
本申请提出的电视节目推荐方法、终端、系统及存储介质，通过采集当前用户的第一面部信息；从所述第一面部信息中提取第一面部特征；获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。本申请实现了根据用户的实时情绪类型为用户推荐相应的电视节目，提高了电视节目推荐的实时性、准确性和智能性。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图；
图2为本申请的电视终端功能模块示意图;
图3为本申请电视节目推荐方法第一实施例的流程示意图；
图4为本申请播放提示样式一场景示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例的主要解决方案是：采集当前用户的第一面部信息；从所述第一面部信息中提取第一面部特征；获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。本申请实现了根据用户的实时情绪类型为用户推荐相应的电视节目，提高了电视节目推荐的实时性、准确性和智能性。
由于现有技术中内容推荐算法主要是在大数据下建立每个用户特征，再对互联网上海量的内容建立各自的特征值，结合用户的使用习惯，推测用户在不同的场景下的使用模型，预估内容推荐给用户。由于机器学习算法的发展，用户花费越多时间使用，算法推荐的内容越能符合用户的预期。但是，机器学习算法强烈依赖于用户长期的使用习惯来修复算法的准确度，不能实时判断用户当前的喜怒哀乐，反映用户的心理状态。需要一个相当长的时间来学习，且不能保证准确性和实时性。
本申请实施例提出一种解决方案，可以实现根据用户的实时情绪类型为用户推荐相应的电视节目。
如图1所示，图1是本申请实施例方案涉及的硬件运行环境的终端结构示意图。
本申请实施例终端为电视终端。
如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，终端还可以包括摄像头、RF（Radio Frequency，射频）电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在终端设备移动到耳边时，关闭显示屏和/或背光。当然，终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作终端、网络通信模块、用户接口模块以及电视节目推荐程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端（用户端），与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的电视节目推荐程序，并执行以下操作：
采集当前用户的第一面部信息；
从所述第一面部信息中提取第一面部特征；
获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；
将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；
基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。
进一步地，处理器1001可以调用存储器1005中存储的电视节目推荐程序，还执行以下操作：
利用所述深度摄像机采集所述当前用户的面部图像信息，作为所述第一面部信息。
进一步地，处理器1001可以调用存储器1005中存储的电视节目推荐程序，还执行以下操作：
利用所述移动终端采集所述当前用户的面部图像信息，作为所述第一面部信息。
进一步地，处理器1001可以调用存储器1005中存储的电视节目推荐程序，还执行以下操作：
基于所述第一面部信息，对当前用户的人脸图像进行特征点定位；
根据特征点定位结果将所述人脸图像分割成若干个人脸区域；
采用所述人脸区域对应的深度网络模型对所述人脸区域进行特征提取；
将从各个人脸区域提取到的特征进行重组，得到所述人脸图像的图像特征，作为所述第一面部特征。
进一步地，处理器1001可以调用存储器1005中存储的电视节目推荐程序，还执行以下操作：
基于预设推荐算法，获取与所述第一情绪类型对应的电视节目；
显示即将播放所述电视节目的播放提示，并启动计时器，所述播放提示中包括用于取消播放所述电视节目的取消控件；
在所述计时器达到预设时长后，若所述取消控件未被触发，则播放所述电视节目。
进一步地，处理器1001可以调用存储器1005中存储的电视节目推荐程序，还执行以下操作：
若所述取消控件在预设时长内被触发，则取消播放所述电视节目，并对所述电视节目进行标记，用于在再次基于所述第一情绪类型和预设推荐算法进行电视节目推荐时，不将所述被标记的电视节目推荐给用户。
进一步地，处理器1001可以调用存储器1005中存储的电视节目推荐程序，还执行以下操作：
在预设间隔时间，利用所述面部信息采集装置再次采集的所述当前用户的面部信息，作为第二面部信息；
从所述第二面部信息中提取第二面部特征；
将所述第二面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第二情绪类型；
将所述第二情绪类型与所述第一情绪类型进行比对，判断所述第二情绪类型与所述第一情绪类型是否一致；
若所述第二情绪类型与所述第一情绪类型不一致，则获取与所述第二情绪类型对应的电视节目，将与所述第二情绪类型对应的电视节目推荐给用户。
本申请提供的技术方案，所述电视节目推荐终端通过处理器1001调用存储器1005中存储的电视节目推荐程序，以实现步骤：采集当前用户的第一面部信息；从所述第一面部信息中提取第一面部特征；获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。本申请实现了根据用户的实时情绪类型为用户推荐相应的电视节目，提高了电视节目推荐的实时性、准确性和智能性。
参加图2，图2为本申请的电视终端功能模块示意图。
本申请还提供一种电视终端，所述电视终端包括：
信息获取模块10，采集当前用户的第一面部信息；
特征提取模块20，从所述第一面部信息中提取第一面部特征；
模型获取模块30，获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由多个用户的面部特征样本训练得到，用于基于面部图像特征反馈对应的情绪类型；
情绪获取模块40，将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；
节目推荐模块50，基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。
本申请电视终端具体实施方式与电视节目推荐方法各实施例基本相同，在此不再赘述。
本申请提供了一种存储介质，所述存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的电视节目推荐方法的步骤。
本申请存储介质具体实施方式与电视节目推荐方法各实施例基本相同，在此不再赘述。
基于上述硬件结构，提出本申请电视节目推荐方法实施例。
参照图3，图3为本申请电视节目推荐方法第一实施例的流程示意图。
如图3所示，本申请第一实施例提供一种电视节目推荐方法，所述电视节目推荐方法应用于电视终端，所述电视节目推荐方法包括以下步骤：
步骤S1，采集当前用户的第一面部信息；
可以理解的是，本申请提出的电视节目推荐方法，适用于终端应用技术领域。
在本实施例中，通过面部信息采集装置采集当前用户的第一面部信息，面部信息采集装置包括深度摄像机。深度摄像机区别于我们平时用到的传统二维相机，与传统相机的不同之处在于该深度摄像机可同时拍摄景物的灰阶影像资讯及包含深度的三维资讯。其设计原理系针对待测场景发射一参考光束，藉由计算回光的时间差或相位差，来换算被拍摄景物的距离，以产生深度资讯，此外再结合传统的相机拍摄，以获得二维影像资讯。目前主流的深度摄像机技术包括结构光、飞行时间（TOF，time of flight）和双目立体成像。
在本实施例中，深度摄像机所采用的深度摄像机技术包括结构光、飞行时间和双目立体成像中的至少一项。
深度摄像机可以集成于电视终端内部，也可以外挂于在电视终端外部，还可以是集成于移动终端内部的。
在本实施例中，是根据用户面部表情来识别用户的情绪类型，再根据用户的情绪类型来为用户推荐相应的电视节目的。因此首先需要利用面部信息采集装置获取当前用户的面部信息，该获取操作是由用户开启电视终端触发，或者是在电视终端开启后预设间隔时间触发的。
步骤S2，从所述第一面部信息中提取第一面部特征；
在利用面部信息采集装置采集到当前用户的第一面部信息之后，由于面部信息中包括了大量的与情绪识别关联不大的数据，因此需要从面部信息中筛选过滤出能表征用户情绪的面部特征。
具体地，从面部信息中提取出用户嘴巴、眼睛、鼻子、脸部特定肌肉群、脸部轮廓等能够表征用户情绪的面部特征。
步骤S3，获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；
在本实施例中，基于深度学习算法的预设情绪模型的生成和以及更新过程可以在电视终端本地进行，也可以在云服务器中进行，当预设情绪模型生成完毕或者更新完毕之后，可以发送至电视终端本地数据库进行存储，也可以存储在云服务器，等待电视终端的主动获取。
相应的，该步骤S3包括：从本地数据库或者云服务器获取基于深度学习算法生成的预设情绪模型。其中，深度学习算法包括但不限于受限玻尔兹曼机（Restricted Boltzmann Machine）、深度信念网络（Deep Belief Networks）、卷积神经网络（Convolutional Neural Networks）和堆栈式自动编码器（Stacked Auto-encoders）中的一种或者多种。
在本实施例中，对若干用户的面部特征样本的来源和数量不作限定。例如，训练样本可以是该电视终端和/或与该电视终端绑定的移动终端用户的历史面部特征信息，也可以是目标用户群组的历史面部特征信息，该目标用户群组可以是与电视终端用户具有相同或相似面部特征的多个用户，面部特征包括但不限于嘴巴、眼睛、眉毛、鼻子、脸部特定肌肉群、脸部轮廓等能够表征用户情绪的面部特征。可以理解的是，对于预设情绪模型来说，一般样本的数量越大，模型的输出结果越准确。例如，人类的嘴巴在悲伤时嘴角下撇，快乐时嘴角提升，愤怒时咬牙切齿，愤怒痛苦时咬住下唇。
将历史用户的面部特征作为预设情绪模型的输入，情绪类型作为预设情绪类型的输出，对历史用户的面部特征样本进行训练，生成预设情绪模型。对于该预设情绪模型，在电视终端从面部信息中提取到面部特征之后，通过将面部特征输入值该预设情绪模型，即可输出该面部特征对应的情绪类型。
其中，情绪类型包括但不限于快乐、愤怒、悲伤和平静中的至少一项。
步骤S4，将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；
在获取到预设情绪模型之后，将当前用户的第一面部信息输入至该预设情绪模型中，得到预设情绪模型输出的第一情绪类型，该第一情绪类型为当前用户的实时情绪类型。
步骤S5，基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。
在本实施例中，在获取到当前用户的第一情绪类型之后，根据预设推荐算法获取相应类型的电视节目，并将其推荐给当前用户。
为辅助理解，列举一具体实例：若当前用户的情绪类型为愤怒，则可以向用户推荐拳击比赛、摇滚歌曲等有助于用户发泄愤怒情绪的电视节目；若当前用户情绪为悲伤，则可以向用户推荐笑话集锦、励志电影等有助于用户缓解悲伤情绪的电视节目；若当前用户的情绪类型为快乐，则可以为用户推荐体育比赛、实时新闻等电视节目。
通过本实施例提出的电视节目推荐方法，实现了通过面部信息采集装置实时获取用户的面部信息，从该面部信息中提取出能够表征情绪的面部特征，再将该面部特征输入预设情绪模型中，得到当前用户的实时情绪类型，再根据用户的实时情绪类型推荐相应的电视节目。从而无需依赖于用户的使用习惯，也无需用户花费较长的时间来手动选择节目，进一步提高了电视节目推荐的实时性、准确性和智能性。
进一步地，基于上述图3所示的第一实施例，提出本申请电视节目推荐方法第二实施例，在本实施例中，所述电视终端集成有深度摄像机或者外挂有深度摄像机，上述步骤S1包括：
步骤S11，利用所述深度摄像机采集所述当前用户的面部图像信息，作为所述第一面部信息。
在本实施例中，面部信息采集装置包括深度摄像机。深度摄像机区别于我们平时用到的传统二维相机，与传统相机的不同之处在于该深度摄像机可同时拍摄景物的灰阶影像资讯及包含深度的三维资讯。其设计原理系针对待测场景发射一参考光束，藉由计算回光的时间差或相位差，来换算被拍摄景物的距离，以产生深度资讯，此外再结合传统的相机拍摄，以获得二维影像资讯。目前主流的深度摄像机技术包括结构光、飞行时间（TOF，time of flight）和双目立体成像。
在本实施例中，深度摄像机所采用的深度摄像机技术包括结构光、飞行时间和双目立体成像中的至少一项。
深度摄像机可以集成于电视终端内部，也可以外挂于在电视终端外部。
在电视终端接收到用户或者运维人员的开机指令，或者在电视终端开启后预设间隔时间时，集成于电视终端内部或者外挂于在电视终端外部的深度摄像机采集当前用户的面部信息，作为第一面部信息。
进一步地，所述电视终端连接有内部集成有深度摄像机的移动终端，上述步骤S1包括：
步骤S12，利用所述移动终端采集所述当前用户的面部图像信息，作为所述第一面部信息。
面部信息采集装置还可以是内部集成有深度摄像机的移动终端，在电视终端接收到用户或者运维人员的开机指令，或者在电视终端开启后预设间隔时间时，内部集成有深度摄像机的移动终端采集当前用户的面部信息，作为第一面部信息。
以上两种面部信息采集装置可以单独实施，也可以组合在一起实施。
进一步地，上述步骤S2包括：
步骤S21，基于所述第一面部信息，对当前用户的人脸图像进行特征点定位；
步骤S22，根据特征点定位结果将所述人脸图像分割成若干个人脸区域；
步骤S23，采用所述人脸区域对应的深度网络模型对所述人脸区域进行特征提取；
步骤S24，将从各个人脸区域提取到的特征进行重组，得到所述人脸图像的图像特征，作为所述第一面部特征。
在本实施例中，首先基于第一脸部信息，对当前用户的人脸图像进行特征点定位，根据特征点定位结果将人脸图像的脸部图像分割成若干个人脸区域，对于每一个人脸区域，采用该人脸区域对应的深度网络模型对该人脸区域进行特征提取，然后将从各个人脸区域提取的特征进行重组，即可得到人脸图像的图像特征。人脸图像中的特征点是指人脸中诸如双眼的中心、鼻尖、两侧嘴角之类的特征点。特征点定位结果可采用特征点向量进行表示，特征点向量中包括各个特征点的坐标。对于各个不同的人脸区域，预先分别训练相应的深度网络。深度网络模型用于从人脸区域中提取图像特征，深度网络模型可采用深度卷积神经网络。在本申请实施例中，采用基于深度学习的人脸识别算法获取人脸图像的图像特征，相较于其它人脸识别算法，识别准确度更高。另外，可以针对不同的人脸区域(如眼部区域、鼻子区域、嘴部区域等) ，分别训练各自对应的深度网络模型，并采用各自对应的深度网络模型进行特征提取，充分确保特征提取的准确度。
通过本实施例提出的电视节目推荐方法，通过面部信息采集装置实时获取用户的面部信息，采用基于深度学习的人脸识别算法从该面部信息中提取出能够表征情绪的面部特征，充分确保了面部特征提取的准确度。
进一步地，基于上述图3所示的第一实施例，提出本申请电视节目推荐方法第三实施例，在本实施例中，上述步骤S5包括：
步骤S51，基于预设推荐算法，获取与所述第一情绪类型对应的电视节目；
步骤S52，显示即将播放所述电视节目的播放提示，并启动计时器，所述播放提示中包括用于取消播放所述电视节目的取消控件；
在本实施例中，为了避免电视终端根据用户面部信息推荐了不符合用户情绪的电视节目，在获取到当前用户的第一情绪类型之后，根据预设推荐算法从本地数据库或者云服务器获取相应类型的电视节目，在获取到相应类型的电视节目后，电视终端显示即将播放该类型电视节目的播放提示，以提示用户或者运维人员是否取消电视终端播放该类型电视节目的操作。该播放提示中包括用于取消播放该类型电视节目的取消控件。参照图4，终端屏幕显示播放提示P1，在播放提示P1中显示播放提示文本，例如播放提示文本P2可为“即将播放拳击比赛节目，请确认是否取消播放”，在播放提示P1上可显示取消控件P3，当用户或测试研发人员触发取消控件P3后，终端将取消播放拳击比赛节目。
步骤S53，在所述计时器达到预设时长后，若所述取消控件未被触发，则控制所述电视终端播放所述电视节目。
在计时器达到预设时长后，若取消控件未被触发，则播放与第一情绪类型对应的电视节目。预设时长可为数秒至一分钟不等。从而，在实现电视终端用户未确认时的自动播放功能，同时提供一种可取消播放的播放提示相关界面，避免播放与用户当前情绪不相应的电视节目。
进一步地，上述步骤S52之后还包括：
步骤S54，若所述取消控件在预设时长内被触发，则取消播放所述电视节目，并对所述电视节目进行标记，用于在再次基于所述第一情绪类型和预设推荐算法进行电视节目推荐时，不将所述被标记的电视节目推荐给用户。
在计时器达到预设时长前，若取消控件被触发，则取消播放与第一情绪类型对应的电视节目，并且对该电视节目进行标记，用于在再次基于该第一情绪类型和预设推荐算法进行电视节目推荐时，不将该被标记的电视节目推荐给用户，从而修复算法的准确度。
进一步地，上述步骤S5之后还包括：
步骤S61，在预设间隔时间，利用所述面部信息采集装置再次采集的所述当前用户的面部信息，作为第二面部信息；
步骤S62，从所述第二面部信息中提取第二面部特征；
步骤S63，将所述第二面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第二情绪类型；
步骤S64，将所述第二情绪类型与所述第一情绪类型进行比对，判断所述第二情绪类型与所述第一情绪类型是否一致；
步骤S65，若所述第二情绪类型与所述第一情绪类型不一致，则获取与所述第二情绪类型对应的电视节目，将与所述第二情绪类型对应的电视节目推荐给用户。
在本实施例中，用户或者运维人员在观看电视节目的过程中，可能因为一些外界的干扰产生情绪的变化。例如，用户的第一情绪类型是快乐，电视终端相应播放欢乐的电视节目，但在观看过程中，若用户因为亲人的突然离去情绪类型变成了悲伤，此时再继续播放欢乐的电视节目，显然不再合适。
为了避免这种情况的发生，电视终端可以每隔一段时间利用面部信息采集装置再次采集的当前用户的面部信息，作为第二面部信息，从第二面部信息中提取出第二面部特征，将所述第二面部特征输入预设情绪模型中，获取预设情绪模型输出的第二情绪类型，将第二情绪类型与第一情绪类型进行比对，若二者一致，则继续播放与第以情绪类型对应的电视节目，若第二情绪类型与第一情绪类型不一致，说明用户的情绪发生了变化，则获取与第二情绪类型对应的电视节目，将与第二情绪类型对应的电视节目推荐给用户。
其中，预设间隔时间可为数十分钟至三小时不等。
通过本实施例提出的电视节目推荐方法，实现了通过每隔预设间隔时间获取用户的实时情绪类型，判断用户的情绪类型是否发生了变化，提高了电视节目推荐的智能性和实时性。
通过本申请实施例提出的技术方案，解决了现有技术中的内容推荐算法主要是在大数据下建立每个用户特征，再对互联网上海量的内容建立各自的特征值，结合用户的使用习惯，推测用户在不同的场景下的使用模型，预估内容推荐给用户。由于机器学习算法的发展，用户花费越多时间使用，算法推荐的内容越能符合用户的预期。但是，机器学习算法强烈依赖于用户长期的使用习惯来修复算法的准确度，不能实时判断用户当前的喜怒哀乐，反映用户的心理状态。需要一个相当长的时间来学习，且不能保证准确性和实时性。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (20)

  1. 一种电视节目推荐方法，其中，所述电视节目推荐方法应用于电视终端，所述电视节目推荐方法包括以下步骤：
    采集当前用户的第一面部信息；
    从所述第一面部信息中提取第一面部特征；
    获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；
    将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；
    基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。
  2. 如权利要求1所述的电视节目推荐方法，其中，所述电视终端集成有深度摄像机或者外挂有深度摄像机，所述采集当前用户的第一面部信息的步骤包括：
    利用所述深度摄像机采集所述当前用户的面部图像信息，作为所述第一面部信息。
  3. 如权利要求1所述的电视节目推荐方法，其中，所述电视终端连接有内部集成有深度摄像机的移动终端，所述采集当前用户的第一面部信息的步骤包括：
    利用所述移动终端采集所述当前用户的面部图像信息，作为所述第一面部信息。
  4. 如权利要求1所述的电视节目推荐方法，其中，所述从所述第一面部信息中提取第一面部特征的步骤包括：
    基于所述第一面部信息，对当前用户的人脸图像进行特征点定位；
    根据特征点定位结果将所述人脸图像分割成若干个人脸区域；
    采用所述人脸区域对应的深度网络模型对所述人脸区域进行特征提取；
    将从各个人脸区域提取到的特征进行重组，得到所述人脸图像的图像特征，作为所述第一面部特征。
  5. 如权利要求1所述的电视节目推荐方法，其中，所述基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户的步骤包括：
    基于预设推荐算法，获取与所述第一情绪类型对应的电视节目；
    显示即将播放所述电视节目的播放提示，并启动计时器，所述播放提示中包括用于取消播放所述电视节目的取消控件；
    在所述计时器达到预设时长后，若所述取消控件未被触发，则播放所述电视节目。
  6. 如权利要求5所述的电视节目推荐方法，其中，所述在所述电视终端显示即将播放所述电视节目的播放提示，并启动计时器，所述播放提示中包括用于取消播放所述电视节目的取消控件的步骤之后还包括：
    若所述取消控件在预设时长内被触发，则取消播放所述电视节目，并对所述电视节目进行标记，用于在再次基于所述第一情绪类型和预设推荐算法进行电视节目推荐时，不将所述被标记的电视节目推荐给用户。
  7. 如权利要求1所述的电视节目推荐方法，其中，所述基于所述情绪类型，对所述电视终端进行电视节目推荐的步骤之后还包括：
    在预设间隔时间，利用所述面部信息采集装置再次采集的所述当前用户的面部信息，作为第二面部信息；
    从所述第二面部信息中提取第二面部特征；
    将所述第二面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第二情绪类型；
    将所述第二情绪类型与所述第一情绪类型进行比对，判断所述第二情绪类型与所述第一情绪类型是否一致；
    若所述第二情绪类型与所述第一情绪类型不一致，则获取与所述第二情绪类型对应的电视节目，将与所述第二情绪类型对应的电视节目推荐给用户。
  8. 一种电视终端，其中，所述电视终端包括：
    信息获取模块，用于采集当前用户的第一面部信息；
    特征提取模块，用于从所述第一面部信息中提取第一面部特征；
    模型获取模块，用于获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由多个用户的面部特征样本训练得到，用于基于面部图像特征反馈对应的情绪类型；
    情绪获取模块，用于将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；
    节目推荐模块，用于基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。
  9. 一种电视节目推荐系统，其中，所述电视节目推荐系统包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的电视节目推荐程序，所述电视节目推荐程序被所述处理器执行时实现以下步骤：
    采集当前用户的第一面部信息；
    从所述第一面部信息中提取第一面部特征；
    获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；
    将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；
    基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。
  10. 如权利要求9所述的电视节目推荐系统，其中，所述电视终端集成有深度摄像机或者外挂有深度摄像机，所述电视节目推荐程序被所述处理器执行时还实现以下步骤：
    利用所述深度摄像机采集所述当前用户的面部图像信息，作为所述第一面部信息。
  11. 如权利要求9所述的电视节目推荐系统，其中，所述电视终端连接有内部集成有深度摄像机的移动终端，所述电视节目推荐程序被所述处理器执行时还实现以下步骤：
    利用所述移动终端采集所述当前用户的面部图像信息，作为所述第一面部信息。
  12. 如权利要求9所述的电视节目推荐系统，其中，所述电视节目推荐程序被所述处理器执行时还实现以下步骤：
    基于所述第一面部信息，对当前用户的人脸图像进行特征点定位；
    根据特征点定位结果将所述人脸图像分割成若干个人脸区域；
    采用所述人脸区域对应的深度网络模型对所述人脸区域进行特征提取；
    将从各个人脸区域提取到的特征进行重组，得到所述人脸图像的图像特征，作为所述第一面部特征。
  13. 如权利要求9所述的电视节目推荐系统，其中，所述电视节目推荐程序被所述处理器执行时还实现以下步骤：
    基于预设推荐算法，获取与所述第一情绪类型对应的电视节目；
    显示即将播放所述电视节目的播放提示，并启动计时器，所述播放提示中包括用于取消播放所述电视节目的取消控件；
    在所述计时器达到预设时长后，若所述取消控件未被触发，则播放所述电视节目。
  14. 如权利要求13所述的电视节目推荐系统，其中，所述在所述电视终端显示即将播放所述电视节目的播放提示，并启动计时器，所述播放提示中包括用于取消播放所述电视节目的取消控件的步骤之后，所述电视节目推荐程序被所述处理器执行时还实现以下步骤：
    若所述取消控件在预设时长内被触发，则取消播放所述电视节目，并对所述电视节目进行标记，用于在再次基于所述第一情绪类型和预设推荐算法进行电视节目推荐时，不将所述被标记的电视节目推荐给用户。
  15. 如权利要求13所述的电视节目推荐系统，其中，所述基于所述情绪类型，对所述电视终端进行电视节目推荐的步骤之后，所述电视节目推荐程序被所述处理器执行时还实现以下步骤：
    在预设间隔时间，利用所述面部信息采集装置再次采集的所述当前用户的面部信息，作为第二面部信息；
    从所述第二面部信息中提取第二面部特征；
    将所述第二面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第二情绪类型；
    将所述第二情绪类型与所述第一情绪类型进行比对，判断所述第二情绪类型与所述第一情绪类型是否一致；
    若所述第二情绪类型与所述第一情绪类型不一致，则获取与所述第二情绪类型对应的电视节目，将与所述第二情绪类型对应的电视节目推荐给用户。
  16. 一种存储介质，其中，所述存储介质上存储有电视节目推荐程序，所述电视节目推荐程序被处理器执行时实现以下步骤：
    采集当前用户的第一面部信息；
    从所述第一面部信息中提取第一面部特征；
    获取基于深度学习算法生成的预设情绪模型，所述预设情绪模型由若干用户的面部特征样本训练得到，用于基于面部特征反馈对应的情绪类型；
    将所述第一面部特征输入所述预设情绪模型中，获取所述预设情绪模型输出的第一情绪类型；
    基于所述第一情绪类型和预设推荐算法，获取与所述第一情绪类型对应的电视节目，将所述电视节目推荐给用户。
  17. 如权利要求16所述的存储介质，其中，所述电视终端集成有深度摄像机或者外挂有深度摄像机，所述电视节目推荐程序被处理器执行时还实现以下步骤：
    利用所述深度摄像机采集所述当前用户的面部图像信息，作为所述第一面部信息。
  18. 如权利要求16所述的存储介质，其中，所述电视终端连接有内部集成有深度摄像机的移动终端，所述电视节目推荐程序被处理器执行时还实现以下步骤：
    利用所述移动终端采集所述当前用户的面部图像信息，作为所述第一面部信息。
  19. 如权利要求16所述的存储介质，其中，所述电视节目推荐程序被处理器执行时还实现以下步骤：
    基于所述第一面部信息，对当前用户的人脸图像进行特征点定位；
    根据特征点定位结果将所述人脸图像分割成若干个人脸区域；
    采用所述人脸区域对应的深度网络模型对所述人脸区域进行特征提取；
    将从各个人脸区域提取到的特征进行重组，得到所述人脸图像的图像特征，作为所述第一面部特征。
  20. 如权利要求16所述的存储介质，其中，所述电视节目推荐程序被处理器执行时还实现以下步骤：
    基于预设推荐算法，获取与所述第一情绪类型对应的电视节目；
    显示即将播放所述电视节目的播放提示，并启动计时器，所述播放提示中包括用于取消播放所述电视节目的取消控件；
    在所述计时器达到预设时长后，若所述取消控件未被触发，则播放所述电视节目。
PCT/CN2018/119179 2018-11-14 2018-12-04 电视节目推荐方法、终端、系统及存储介质 WO2020098013A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811355544.4 2018-11-14
CN201811355544.4A CN109327737B (zh) 2018-11-14 2018-11-14 电视节目推荐方法、终端、系统及存储介质

Publications (1)

Publication Number Publication Date
WO2020098013A1 true WO2020098013A1 (zh) 2020-05-22

Family

ID=65257646

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/119179 WO2020098013A1 (zh) 2018-11-14 2018-12-04 电视节目推荐方法、终端、系统及存储介质

Country Status (2)

Country Link
CN (1) CN109327737B (zh)
WO (1) WO2020098013A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112073678A (zh) 2019-06-10 2020-12-11 海信视像科技股份有限公司 一种显示设备
CN110971948A (zh) * 2019-12-19 2020-04-07 深圳创维－Rgb电子有限公司 一种智能电视的控制方法、装置、智能电视及介质
CN113055748A (zh) * 2019-12-26 2021-06-29 佛山市云米电器科技有限公司 基于电视节目的灯光调节方法、设备、系统及存储介质
CN111222044A (zh) * 2019-12-31 2020-06-02 深圳Tcl数字技术有限公司 基于情绪感知的信息推荐方法、设备及存储介质
CN112115756A (zh) * 2020-03-22 2020-12-22 张冬梅 用于内容分析的区块链管理平台
CN111414883A (zh) * 2020-03-27 2020-07-14 深圳创维－Rgb电子有限公司 一种基于人脸情绪的节目推荐方法、终端及存储介质
CN111417024A (zh) * 2020-03-30 2020-07-14 深圳创维－Rgb电子有限公司 一种基于场景识别的节目推荐方法、系统及存储介质
CN113852861B (zh) * 2021-09-23 2023-05-26 深圳Tcl数字技术有限公司 节目推送方法、装置、存储介质及电子设备
CN114461319A (zh) * 2021-12-28 2022-05-10 北京达佳互联信息技术有限公司 一种信息展现方法、装置以及信息处理方法、装置
CN114827728B (zh) * 2022-06-23 2022-09-13 中国传媒大学 节目数据推荐方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105721936A (zh) * 2016-01-20 2016-06-29 中山大学 一种基于情景感知的智能电视节目推荐系统
CN105956059A (zh) * 2016-04-27 2016-09-21 乐视控股（北京）有限公司 基于情绪识别的信息推荐方法和装置
CN107392124A (zh) * 2017-07-10 2017-11-24 珠海市魅族科技有限公司 情绪识别方法、装置、终端及存储介质
CN108509941A (zh) * 2018-04-20 2018-09-07 北京京东金融科技控股有限公司 情绪信息生成方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2453753A (en) * 2007-10-17 2009-04-22 Motorola Inc Method and system for generating recommendations of content items
US9473803B2 (en) * 2014-08-08 2016-10-18 TCL Research America Inc. Personalized channel recommendation method and system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105721936A (zh) * 2016-01-20 2016-06-29 中山大学 一种基于情景感知的智能电视节目推荐系统
CN105956059A (zh) * 2016-04-27 2016-09-21 乐视控股（北京）有限公司 基于情绪识别的信息推荐方法和装置
CN107392124A (zh) * 2017-07-10 2017-11-24 珠海市魅族科技有限公司 情绪识别方法、装置、终端及存储介质
CN108509941A (zh) * 2018-04-20 2018-09-07 北京京东金融科技控股有限公司 情绪信息生成方法和装置

Also Published As

Publication number Publication date
CN109327737A (zh) 2019-02-12
CN109327737B (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
WO2020098013A1 (zh) 电视节目推荐方法、终端、系统及存储介质
WO2020050595A1 (ko) 음성 인식 서비스를 제공하는 서버
WO2014038916A1 (en) System and method of controlling external apparatus connected with device
WO2020133765A1 (zh) 健身管理方法、装置及计算机可读存储介质
WO2019031707A1 (en) MOBILE TERMINAL AND METHOD FOR CONTROLLING A MOBILE TERMINAL USING MACHINE APPRENTICESHIP
WO2015199288A1 (en) Glass-type terminal and method of controling the same
WO2019114553A1 (zh) 空气调节器及其控制方法、装置以及存储介质
WO2018221824A1 (en) Video communication device and video communication method
WO2015072619A1 (ko) 실시간 양방향 통신을 이용한 애완 동물 보호 시스템 및 방법
WO2011059202A2 (en) Display device and method of controlling the same
WO2020103247A1 (zh) Ai智能编程仿生机器人的控制系统、方法及存储介质
WO2011155703A2 (ko) 컨텐츠 서비스 방법
WO2018223520A1 (zh) 面向儿童的学习方法、学习设备及存储介质
WO2019000470A1 (zh) 多媒体信息推送方法、装置、存储介质及电子设备
WO2021047070A1 (zh) 终端拍摄方法、装置、移动终端及可读存储介质
WO2019182378A1 (en) Artificial intelligence server
WO2020082503A1 (zh) 情景模式的推荐方法、服务器、家电设备以及存储介质
WO2020256160A1 (ko) 인공지능 홈 로봇 및 그의 제어 방법
WO2015194697A1 (en) Video display device and operating method thereof
WO2021060728A1 (ko) 사용자 발화를 처리하는 전자 장치 및 그 작동 방법
WO2019114565A1 (zh) 空气调节器的调节方法、装置以及存储介质
WO2020256161A1 (ko) 인공지능 홈 로봇 및 그의 제어 방법
WO2022065763A1 (en) Display apparatus and method for controlling thereof
WO2019190142A1 (en) Method and device for processing image
WO2020113850A1 (zh) 电核系统实现方法、系统及可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18939854

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18939854

Country of ref document: EP

Kind code of ref document: A1