WO2017185630A1 - 基于情绪识别的信息推荐方法、装置和电子设备 - Google Patents
基于情绪识别的信息推荐方法、装置和电子设备 Download PDFInfo
- Publication number
- WO2017185630A1 WO2017185630A1 PCT/CN2016/100411 CN2016100411W WO2017185630A1 WO 2017185630 A1 WO2017185630 A1 WO 2017185630A1 CN 2016100411 W CN2016100411 W CN 2016100411W WO 2017185630 A1 WO2017185630 A1 WO 2017185630A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- emotion
- image
- information
- extracting
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/435—Filtering based on additional data, e.g. user or group profiles
Definitions
- the present application relates to the field of terminal application technologies, and in particular, to an information recommendation method, apparatus, and electronic device based on emotion recognition.
- the content provider can provide a large amount of multimedia content to the user through the multimedia playback application client.
- the user can use the keyword to find the multimedia content that he or she likes, or the content provider can recommend the multimedia content for the user.
- the content provider usually recommends high-visibility multimedia content for the user, or predicts what type of multimedia content the user likes based on the user's own access data and makes recommendations based thereon.
- the present invention provides an information recommendation method, apparatus, and electronic device based on emotion recognition, which are used to recommend multimedia content to a user according to user emotions, improve accuracy of multimedia content recommendation, and improve user experience.
- an embodiment of the present application provides an information recommendation method based on emotion recognition, and a package include:
- the information corresponding to the identified user emotion type is recommended to the user.
- the embodiment of the present application further provides a non-volatile computer storage medium, where computer-executable instructions are stored, and the computer-executable instructions are used to perform the above-mentioned emotional recognition-based information recommendation method according to the present application. .
- an embodiment of the present application further provides an electronic device, including: at least one processor; and a memory; wherein the memory stores a program executable by the at least one processor, where the instruction is The at least one processor executes to enable the at least one processor to perform the above-described emotion recognition based information recommendation method of the present application.
- the information recognition method and the electronic device based on the emotion recognition provided by the embodiment of the present application determine the current emotion type of the user by analyzing the image extracted by the user, and recommend the corresponding type information according to the current emotion type of the user, thereby It realizes the recommendation information to the user according to the user's emotion, improves the accuracy of information recommendation, and improves the user experience.
- FIG. 1 is a flowchart of a method for recommending information based on emotion recognition according to Embodiment 1 of the present application;
- FIG. 2 is a flowchart of a method for recommending information based on emotion recognition according to Embodiment 2 of the present application;
- FIG. 3 is a flowchart of a method for recommending information based on emotion recognition according to Embodiment 3 of the present application;
- FIG. 4 is a flowchart of a method for recommending information based on emotion recognition according to Embodiment 4 of the present application;
- FIG. 5 is a schematic diagram of an information recommendation device based on emotion recognition according to Embodiment 4 of the present application.
- FIG. 6 is a schematic diagram of a hardware structure of an apparatus for performing an emotion recognition based information recommendation method according to Embodiment 7 of the present application.
- the information recognition method based on the emotion recognition provided by the embodiment of the present application may be implemented by the emotion recognition client installed in the mobile terminal, or may be implemented by the emotion recognition client and the network side server, or may be provided by the embodiment of the present application.
- the information recommendation method of the emotion recognition is embedded in the other application client.
- the user emotion is identified according to the method provided by the embodiment of the present application, and the information recommendation is performed according to the emotion recognition result, which is described in detail below.
- a flowchart of an embodiment of a method for recommending information based on emotion recognition may include the following steps:
- the emotion recognition based information recommendation method provided by the embodiment of the present application is triggered, the user is instructed to provide a corresponding image.
- the image may be obtained by calling a system camera that is provided by the mobile mobile terminal to capture the current image of the user in real time, or may be selected by the user from the system album of the mobile terminal, which is not limited in this embodiment, as long as the user can be embodied.
- the current mood can be.
- the information recognition method based on emotion recognition provided by the first embodiment of the present application determines the current emotion type of the user by analyzing the image extracted by the user, and recommends the corresponding type information according to the current emotion type of the user, thereby implementing Recommending information to users according to user emotions improves the accuracy of information recommendation and improves user experience.
- step S12 the process shown in FIG. 2 can be implemented:
- the face detection program built in the mobile terminal can be started, the user face included in the image provided by the user is detected, and the position of the user in the acquired image is determined according to the detected user face. Corresponding location information.
- the position information of the user's face may be represented by a rectangular frame (x, y, width, height), where (x, y) represents the coordinates of the upper left corner of the rectangular frame in the acquired image (to obtain the upper left corner of the image)
- the vertex is the origin
- width indicates the width of the rectangle
- height indicates the length of the rectangle
- it can also be represented by a circular box (x, y, r), where (x, y) represents the upper left of the rectangle
- the coordinates of the angle in the acquired image (the vertices in the upper left corner of the acquired image are the origin), and r represents the radius of the circular frame.
- S122 Determine a partial image including the image of the user's face based on the obtained location information.
- the image in the rectangular frame or the circular frame is a partial image including the image of the user's face.
- the method for recommending information based on emotion recognition determines a partial image including a facial image of the user by detecting location information of the user's face in the acquired user image, and then extracts the representative user in the determined partial image.
- the feature information of the emotion further identifies the user's emotion type according to the extracted feature information, and accordingly, according to the correspondence between the preset user emotion type and the information type, the recommended information type of the user corresponds to the recognized user emotion type Information.
- the partial image obtained in step S122 may be subjected to posture correction. For example, if the user's head is rotated at a certain angle, the extraction result of step S123 may be obtained.
- the partial image obtained in step S122 may be gestured according to the flow shown in FIG. Correction to get the user's frontal face image:
- the user's mouth, eyes, and nose contained in the obtained partial image may be used.
- Parts such as facial contour lights are detected, and the edges of each part in the partial image can be represented by a plurality of key feature points.
- step S123 feature information characterizing the user's emotion can be extracted based on the obtained front face image of the user.
- the obtained partial image may be normalized to improve the accuracy of the recognition result.
- the obtained partial image may also be adapted to a fixed image size, and the fixed size may be set according to actual needs, for example, may be, but not limited to, set to a size of 200*200.
- the feature vector representing the user's emotion can be extracted from the frontal facial image by using the depth neural network algorithm to obtain the feature vector of the frontal facial image.
- the feature vector can be 1*256.
- the one-dimensional matrix inputs the obtained feature vector into the emotion classifier to obtain a corresponding user emotion type, wherein the emotion distributor can be obtained through sample training.
- the user emotions can be divided into five types: happy, calm, angry, scared, frustrated, etc.
- the information in the database can be divided into five types, each of which corresponds to a different type.
- the type of emotion in specific implementation, the information recommended to the user may be multimedia content, such as a video file, a music file, etc., as shown in Table 1, which is a correspondence between the emotion type and the information type:
- the corresponding type of information is recommended to the user. For example, if it is determined in step S123 that the user's emotion type is happy, the user may recommend a video file such as sports highlights, fast-paced music, and a sub-master anchor.
- step S12 and step S13 may be performed by the mobile terminal, or may be performed by the cloud server. If the step S12 is performed by the cloud server, after the image provided by the user is acquired in step S11, the mobile terminal needs to send the acquired user image to the cloud server, and the cloud server sends the user emotion type by performing step S12 and step S13. To the mobile terminal, step S14 is performed by the mobile terminal.
- the improved partial posture correction determined in step S122 is performed, thereby improving the accuracy of the emotion recognition result and ensuring accurate information recommendation to the user according to the method. Sex.
- the mobile terminal acquires an image provided by the user.
- the image may be an image selected by the user from a local album or an image taken by the user in real time.
- the mobile terminal detects the location of the user's face in the acquired image to obtain corresponding location information.
- the mobile terminal starts the face detection program, detects the location of the user's facial image, and uses a rectangular frame (x, y, width, height).
- the mobile terminal determines a partial image including the image of the user's face according to the obtained location information.
- the mobile terminal detects key feature points in the partial image.
- the mobile terminal can be used to focus on key parts of the face such as lips, nose, eyebrows and facial contours.
- each part can be represented by a plurality of key feature points, and the angle of the face rotation when the user takes an image is determined according to the detected key feature points.
- the mobile terminal performs posture correction on the partial image according to the detected key feature points to obtain a frontal facial image of the user.
- the posture adjustment may be performed according to the detection result obtained in step S44 to obtain a frontal face image of the user.
- the mobile terminal normalizes the obtained front facial image of the user.
- the mobile terminal adapts the front facial image of the user to a uniform size.
- the mobile terminal sends a front-facing facial image of the user to the cloud server.
- the cloud server extracts a feature representing the user's emotion from the received frontal facial image, and converts the received image into a feature vector.
- the cloud server obtains the feature input emotion classifier to obtain a corresponding user emotion type.
- the cloud server sends the user emotion type to the mobile terminal.
- the mobile terminal recommends corresponding type information to the user according to the type of user emotion recognized by the cloud server.
- the mobile terminal recommends, according to the correspondence between the user emotion type and the information type shown in Table 1, information corresponding to the information type and the recognized user emotion type.
- the user emotion-based information recommendation method provided by the embodiment of the present application determines the current mood of the user by identifying the image provided by the user, and may recommend corresponding type information to the user according to the identified user emotion type, so that the recommended information can satisfy the user.
- the demand in different situations improves the accuracy of the recommended information and improves the user experience.
- the information recognition method based on emotion recognition determines the current emotion type of the user by analyzing the image extracted by the user, and recommends the corresponding type information according to the current emotion type of the user, thereby implementing Recommending information to users according to user emotions improves the accuracy of information recommendation and improves user experience.
- FIG. 5 is a schematic diagram of an apparatus for recommending information based on emotion recognition according to Embodiment 5 of the present application.
- the technical solution of this embodiment may be applicable to the case of recommending information to a user.
- the emotion recognition based information recommendation method described in any of the above embodiments is executed and configured in a smart terminal or a server.
- An obtaining unit 51 configured to acquire an image provided by a user
- An extracting unit 52 configured to extract, from the image, feature information that represents a user's emotion
- the emotion recognition unit 53 is configured to identify a user emotion type according to the extracted feature information
- the information recommendation unit 54 is configured to recommend information corresponding to the identified user type of the user to the user according to the correspondence between the preset user emotion type and the information type.
- the extracting unit specifically includes:
- a first detecting subunit configured to detect a position of the user's face in the image to obtain corresponding position information
- Intercepting a subunit configured to intercept a partial image including an image of a user's face according to the location information
- the extracting unit further includes a second detecting subunit and a posture correcting subunit, wherein:
- the second detecting subunit is configured to detect key feature points in the partial image
- the posture correction subunit is configured to perform posture correction on the partial image according to the key feature point to obtain a frontal facial image of the user;
- the extracting subunit is specifically configured to extract feature information representing the user's emotion from the frontal facial image.
- the extracting subunit is specifically configured to obtain a feature vector of the frontal facial image by extracting a feature representing the user's emotion from the frontal facial image by using a depth neural network algorithm;
- the emotion recognition unit 53 is specifically configured to input the obtained feature vector into the emotion classifier to obtain a corresponding user emotion type, and the emotion classifier is obtained through sample training.
- the device for recommending information based on the emotion recognition may further include:
- an image processing unit configured to perform normalization processing on the partial image before the extracting subunit extracts feature information representing the user's emotion from the frontal face image.
- the information recommendation device based on the emotion recognition provided by the fifth embodiment of the present application determines the current emotion type of the user by analyzing the image extracted by the user, and recommends the corresponding type information according to the current emotion type of the user. It realizes the recommendation information to the user according to the user's emotion, improves the accuracy of information recommendation, and improves the user experience.
- the sixth embodiment of the present application provides a non-volatile computer storage medium, where the computer storage medium stores computer executable instructions, and the computer executable instructions can perform the emotion recognition based information recommendation method in any of the foregoing method embodiments. .
- FIG. 6 is a schematic diagram showing the hardware structure of an electronic device based on the emotion recognition information recommendation method provided in Embodiment 7 of the present application. As shown in FIG. 6, the device includes:
- processors 610 and memory 620 one processor 610 is taken as an example in FIG.
- the apparatus for performing the emotion recognition based information recommendation method may further include: an input device 630 and an output device 640.
- the processor 610, the memory 620, the input device 630, and the output device 640 may be connected by a bus or other means, as exemplified by a bus connection in FIG.
- the memory 620 is a non-volatile computer readable storage medium, and can be used for storing a non-volatile software program, a non-volatile computer executable program, and a module, such as an emotion recognition-based information recommendation method in the embodiment of the present application.
- Corresponding program instructions/modules/units for example, the acquisition unit 51, the extraction unit 52, the emotion recognition unit 53, and the information recommendation unit 54 shown in FIG. 5).
- the processor 610 performs various functional applications and data processing of the server or the smart terminal by executing non-volatile software programs, instructions, and modules/units stored in the memory 620, that is, implementing the emotion recognition-based information of the above method embodiments. Recommended method.
- the memory 620 may include a storage program area and a storage data area, wherein the storage program area may store an operating system, an application required for at least one function; the storage data area may store data created according to the use of the emotion recognition based information recommendation device Wait.
- memory 620 can include high speed random access memory, and can also include non-volatile memory, such as at least one magnetic disk storage device, flash memory device, or other non-volatile solid state storage device.
- the memory 620 can optionally include a memory remotely located relative to the processor 610 that can be connected to the emotion recognition based information recommendation device over a network. Examples of such networks include, but are not limited to, the Internet, intranets, local area networks, mobile communication networks, and combinations thereof.
- the input device 630 can receive the input digital or character information and generate a key signal input related to user settings and function control of the emotion recognition based information recommendation device.
- the output device 640 can include a display device such as a display screen.
- the one or more modules are stored in the memory 620, and when executed by the one or more processors 610, perform an emotion recognition based information recommendation method in any of the above method embodiments.
- the electronic device of the embodiment of the present application exists in various forms, including but not limited to:
- Mobile communication devices These devices are characterized by mobile communication functions and are mainly aimed at providing voice and data communication.
- Such terminals include: smart phones (such as iPhone), multimedia phones, functional phones, and low-end phones.
- Ultra-mobile personal computer equipment This type of equipment belongs to the category of personal computers, has computing and processing functions, and generally has mobile Internet access.
- Such terminals include: PDAs, MIDs, and UMPC devices, such as the iPad.
- Portable entertainment devices These devices can display and play multimedia content. Such devices include: audio, video players (such as iPod), handheld game consoles, e-books, and smart toys and portable car navigation devices.
- the server consists of a processor, a hard disk, a memory, a system bus, etc.
- the server is similar to a general-purpose computer architecture, but because of the need to provide highly reliable services, processing power and stability High reliability in terms of reliability, security, scalability, and manageability.
- the device embodiments described above are merely illustrative, wherein the units described as separate components may or may not be physically separate, and the components displayed as units may or may not be physical units, ie may be located A place, or it can be distributed to multiple network units. Some or all of the modules may be selected according to actual needs to achieve the purpose of the solution of the embodiment.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
基于情绪识别的信息推荐方法、装置和电子设备，用以根据用户情绪为用户推荐多媒体内容，提高多媒体内容推荐的准确率，改善用户体验。所述基于情绪识别的信息推荐方法，包括：获取用户提供的图像；从所述图像中提取表征用户情绪的特征信息；根据提取的特征信息识别用户情绪类型；根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息。
Description
本申请要求在2016年04月27日提交中国专利局、申请号为201610269632.7、申请名称为“基于情绪识别的信息推荐方法和装置”的中国专利申请的优先权，该申请的全部内容通过引用结合在本申请中。
本申请涉及终端应用技术领域，尤其涉及一种基于情绪识别的信息推荐方法、装置和电子设备。
随着移动通信技术的飞速发展和移动多媒体时代的到来，手机等移动终端作为人们必备的移动通信工具，已从简单的通话工具向智能化发展，通过在移动终端中安装不同的应用客户端可以为用户提供丰富的互联网应用，多媒体播放是其中的热门应用之一。
内容提供商通过多媒体播放应用客户端可以向用户提供海量的多媒体内容。用户可以利用关键词查找自己喜欢的多媒体内容，也可以由内容提供商为用户推荐多媒体内容。后一种方式下，内容提供商通常为用户推荐访问频率高的多媒体内容，或者根据用户自身的访问数据预测用户喜欢什么类型的多媒体内容并据此进行推荐等等。
但是，由于用户对于多媒体内容的需求在不同的情境下是有区别的，例如，用户在兴奋时喜欢快节奏的音乐，在失落时需要平淡的音乐，而现有的多媒体内容推荐方式中并没有考虑到用户情绪，如果用户高兴，却给用户推荐一些悲伤的多媒体内容，或者用户情绪低落，却给用户推荐一些搞笑或者欢乐的多媒体内容，在一定程度上影响了用户体验。
发明内容
本申请提供一种基于情绪识别的信息推荐方法、装置和电子设备，用以根据用户情绪为用户推荐多媒体内容，提高多媒体内容推荐的准确率，改善用户体验。
第一方面，本申请实施例提供了一种基于情绪识别的信息推荐方法，包
括：
获取用户提供的图像；
从所述图像中提取表征用户情绪的特征信息；
根据提取的特征信息识别用户情绪类型；
根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息。
第二方面，本申请实施例还提供了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行本申请上述任一项基于情绪识别的信息推荐方法。
第三方面，本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及存储器；其中，所述存储器存储有可被所述至少一个处理器执行的程序，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请上述任一项基于情绪识别的信息推荐方法。
本申请实施例提供的基于情绪识别的信息推荐方法和电子设备，通过对用户提取的图像进行分析确定用户当前的情绪类型，并根据用户当前的情绪类型为其推荐对应类型的信息，由此，实现了根据用户情绪向用户推荐信息，提高了信息推荐的精准度，改善了用户体验。
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本申请实施例一提供的一种基于情绪识别的信息推荐方法的流程图；
图2是本申请实施例二提供的一种基于情绪识别的信息推荐方法的流程图；
图3是本申请实施例三提供的一种基于情绪识别的信息推荐方法的流程图；
图4是本申请实施例四提供的一种基于情绪识别的信息推荐方法的流程图；
图5是本申请实施例四提供的一种基于情绪识别的信息推荐装置的示意
图；
图6是本申请实施例七提供的执行基于情绪识别的信息推荐方法的设备的硬件结构示意图。
为使本申请的目的、技术方案和优点更加清楚，以下将参照本申请实施例中的附图，通过实施方式清楚、完整地描述本申请的技术方案，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
本申请实施例提供的基于情绪识别的信息推荐方法可以由安装于移动终端中的情绪识别客户端实施，也可以由情绪识别客户端与网络侧服务器共同实施，或者还可以将本申请实施例提供的情绪识别的信息推荐方法嵌入其他应用客户端中，当需要为用户推荐信息时根据本申请实施例提供的方法对用户情绪进行识别，并根据情绪识别结果进行信息推荐，以下详细介绍之。
实施例一
如图1所示，为本申请实施例提供的基于情绪识别的信息推荐方法实施例流程图，可以包括以下步骤：
S11、获取用户提供的图像。
本步骤中，当本申请实施例提供的基于情绪识别的信息推荐方法被触发时，指示用户提供相应的图像。该图像可以为调用移动移动终端自带的系统相机实时进行拍摄用户当前图像得到的，也可以为用户从移动终端的系统相册中选择的，本申请实施例对此不进行限定，只要能够体现用户当前的情绪即可。
S12、从获取的图像中提取表征用户情绪的特征信息。
S13、根据提取的特征信息识别用户情绪类型。
S14、根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息。
本申请实施例一提供的基于情绪识别的信息推荐方法，通过对用户提取的图像进行分析确定用户当前的情绪类型，并根据用户当前的情绪类型为其推荐对应类型的信息，由此，实现了根据用户情绪向用户推荐信息，提高了信息推荐的精准度，改善了用户体验。
实施例二
具体实施时，步骤S12中，可以按照图2所示的流程实施：
S121、检测用户面部在获取的图像中的位置得到相应的位置信息。
具体的，在获取到用户提供的图像后，可以启动移动终端内置的人脸检测程序，检测用户提供的图像中包含的用户面部，根据检测到的用户面部确定其在获取的图像中的位置得到相应的位置信息。具体实施时，用户面部的位置信息可以使用矩形框(x,y,width,height)表示，其中，(x,y)表示矩形框左上角在获取的图像中的坐标(以获取的图像左上角的顶点为原点)，width表示矩形框的宽，height表示矩形框的长，或者具体实施时，也可以用圆形框(x,y,r)表示，其中(x,y)表示矩形框左上角在获取的图像中的坐标(以获取的图像左上角的顶点为原点)，r表示圆形框的半径等。
S122、根据得到的位置信息确定包含用户面部图像的局部图像。
具体实施时，即确定矩形框或者圆形框内的图像为包含用户面部图像的局部图像。
S123、从确定出的局部图像中提取表征用户情绪的特征信息。
本申请实施例二提供的基于情绪识别的信息推荐方法，通过对获取的用户图像中用户面部的位置信息进行检测来确定包含用户面部图像的局部图像，进而在确定出的局部图像中提取表征用户情绪的特征信息，根据提取的特征信息进一步识别用户情绪类型，据此，根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息。从而实现了根据用户情绪向用户推荐信息的目的，提高了信息推荐的精准度，改善了用户体验。
实施例三
具体实施时，为了保证步骤S123中提取的特征信息的准确性，还可以对步骤S122中得到的局部图像进行姿态矫正，例如，用户头部旋转一定角度拍摄的话，可能会对步骤S123的提取结果造成一定的影响，为了尽可能降低用户面部图像姿态不正对识别结果的影响，本申请实施例中，在执行步骤S123之前，还可以按照图3所示的流程对步骤S122得到的局部图像进行姿态矫正，以获得用户的正面面部图像：
S31、检测得到的局部图像中的关键特征点。
具体实施时，可以对获得的局部图像中包含的用户嘴巴、眼睛、鼻子。脸部轮廓灯等部位进行检测，每一部位在局部图像中的边缘可以使用多个关键特征点进行表示。
S32、根据检测到的关键特征点对局部图像进行姿态矫正得到用户的正面面部图像。
本步骤中，根据检测到的关键特征点确定关键部位旋转的角度，并根据确定出的角度将上述的关键部位进行一定角度的旋转以得到用户正面面部图像。基于此，步骤S123中可以基于得到的用户正面面部图像提取表征用户情绪的特征信息。
更佳的，为了减少图像噪声或者光线强度等对识别结果的影响，本申请实施例中，在执行步骤S123之前，还可以对得到的局部图像进行归一化处理，以提高识别结果的准确性。
具体实施时，还可以将得到的局部图像适配到固定图像尺寸，该固定尺寸可以根据实际需要进行设置，例如，可以但不限于设置为200*200大小。
在进行了上述一系列处理后，步骤S123中可以利用深度神经网络算法从正面面部图像中提取表征用户情绪的特征得到正面面部图像的特征向量，具体实施时，该特征向量为可以1*256的一维矩阵，将得到的特征向量输入到情绪分类器中得到对应的用户情绪类型，其中，情绪分配器可以为通过样本训练得到的。
本申请实施例中，可以将用户情绪分为高兴、平静、愤怒、害怕、沮丧等五种类型，相应的，可以将数据库中的信息划分为五种类型，每一种信息类型分别对应不同的情绪类型，具体实施时，向用户推荐的信息可以为多媒体内容，例如视频文件、音乐文件等，如表1所示，其为情绪类型与信息类型之间的对应关系示意：
表1
基于步骤S123中确定出的用户情绪类型，结合表1所示的对应关系，向用户推荐对应类型的信息。例如，步骤S123中确定用户情绪类型为高兴，则可以向用户推荐体育集锦、快节奏音乐、段子手主播等视频文件。
具体实施时，由于情绪识别是比较耗时的操作，如果在移动终端侧执行的话，受限于移动终端的计算能力，通常响应速度较慢(1-3秒)，为了保证用户流畅的体验，情绪识别操作可以由云端服务器执行，在云端服务器的强大计算能力下，计算时间可以缩短为200ms。基于此，具体实施时，步骤S12和步骤S13可以由移动终端执行，也可以由云端服务器执行。如果步骤S12由云端服务器执行，则在步骤S11中获取了用户提供的图像后，移动终端需要将获取的用户图像发送给云端服务器，云端服务器通过执行步骤S12和步骤S13识别出用户情绪类型后发送给移动终端，由移动终端执行步骤S14。
本申请实施例三提供的基于情绪识别的信息推荐方法中，对于步骤S122中确定出的局部凸显改进型姿态矫正，从而提高了情绪识别结果的准确性，保证了据此向用户推荐信息的准确性。
实施例四
为了更好的理解本申请实施例，以下以由云端服务器进行情绪识别为例对本申请实施例的具体实施流程进行详细说明。如图4所示，可以包括以下步骤：
S41、移动终端获取用户提供的图像。
该图像可以为用户从本地相册中选择的图像，也可以为用户实时拍摄的图像。
S42、移动终端检测用户面部在获取的图像中的位置得到相应的位置信息。
具体的，移动终端启动人脸检测程序，检测到用户面部图像所在位置，利用矩形框(x,y,width,height)表示。
S43、移动终端根据得到的位置信息确定包含用户面部图像的局部图像。
S44、移动终端检测局部图像中的关键特征点。
移动终端可以针对脸部的关键部位如嘴唇、鼻子、眉毛和脸部轮廓灯进
行检测，每一部位可以使用多个关键特征点进行表示，根据检测到的关键特征点确定用户拍摄图像时面部旋转的角度。
S45、移动终端根据检测到的关键特征点对局部图像进行姿态矫正得到用户的正面面部图像。
本步骤中，可以根据步骤S44中得到的检测结果进行姿态调整以得到用户的正面面部图像。
S46、移动终端对得到的用户正面面部图像进行归一化处理。
S47、移动终端将用户正面面部图像适配到统一尺寸。
S48、移动终端将统一尺寸的用户正面面部图像发送给云端服务器。
S49、云端服务器从接收到的正面面部图像中提取表征用户情绪的特征，将接收到的图像转换为特征向量。
S410、云端服务器将得到的特征输入情绪分类器得到相应的用户情绪类型。
S411、云端服务器将得到用户情绪类型发送给移动终端。
S412、移动终端根据云端服务器识别出的用户情绪类型为用户推荐相应类型的信息。
具体的，移动终端根据表1所示的用户情绪类型与信息类型之间的对应关系，向用户推荐信息类型与识别出的用户情绪类型对应的信息。
本申请实施例提供的基于用户情绪的信息推荐方法，通过识别用户提供的图像确定用户当前情绪，根据识别出的用户情绪类型可以为用户推荐相应类型的信息，以使得推荐的信息能够满足用户在不同的情境下的需求，提高推荐信息的准确性，改善了用户体验。
本申请实施例四提供的基于情绪识别的信息推荐方法，通过对用户提取的图像进行分析确定用户当前的情绪类型，并根据用户当前的情绪类型为其推荐对应类型的信息，由此，实现了根据用户情绪向用户推荐信息，提高了信息推荐的精准度，改善了用户体验。
实施例五
如图5所示为本申请实施例五提供的一种基于情绪识别的信息推荐装置的示意图，本实施例的技术方案可适用于向用户推荐信息的情况，该装置可
执行上述任意实施例所述的基于情绪识别的信息推荐方法，并配置在智能终端或者服务器中。
本实施例提供的一种基于情绪识别的信息推荐装置包括：
获取单元51，用于获取用户提供的图像；
提取单元52，用于从所述图像中提取表征用户情绪的特征信息；
情绪识别单元53，用于根据提取的特征信息识别用户情绪类型；
信息推荐单元54，用于根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息。
其中，所述提取单元，具体包括：
第一检测子单元，用于检测用户面部在所述图像中的位置得到相应的位置信息；
截取子单元，用于根据所述位置信息截取包含用户面部图像的局部图像；
提取子单元，用于从所述局部图像中提取表征用户情绪的特征信息。
所述提取单元，还包括第二检测子单元和姿态矫正子单元，其中：
所述第二检测子单元，用于检测所述局部图像中的关键特征点；
所述姿态矫正子单元，用于根据所述关键特征点对所述局部图像进行姿态矫正得到所述用户的正面面部图像；
所述提取子单元，具体用于从所述正面面部图像中提取表征用户情绪的特征信息。
较佳的，所述提取子单元，具体用于利用深度神经网络算法从所述正面面部图像中提取表征用户情绪的特征得到所述正面面部图像的特征向量；
所述情绪识别单元53，具体用于将得到的特征向量输入情绪分类器中得到对应的用户情绪类型，所述情绪分类器为通过样本训练得到的。
可选地，本申请实施例提供的基于情绪识别的信息推荐装置，还可以包括：
图像处理单元，用于在所述提取子单元从所述正面面部图像中提取表征用户情绪的特征信息之前，对所述局部图像进行归一化处理。
本申请实施例五提供的一种基于情绪识别的信息推荐装置，通过对用户提取的图像进行分析确定用户当前的情绪类型，并根据用户当前的情绪类型为其推荐对应类型的信息，由此，实现了根据用户情绪向用户推荐信息，提高了信息推荐的精准度，改善了用户体验。
实施例六
本申请实施例六提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于情绪识别的信息推荐方法。
实施例七
图6是本申请实施例七提供的基于情绪识别的信息推荐方法的电子设备的硬件结构示意图，如图6所示，该设备包括：
一个或多个处理器610以及存储器620，图6中以一个处理器610为例。
执行基于情绪识别的信息推荐方法的设备还可以包括：输入装置630和输出装置640。
处理器610、存储器620、输入装置630和输出装置640可以通过总线或者其他方式连接，图6中以通过总线连接为例。
存储器620作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的基于情绪识别的信息推荐方法对应的程序指令/模块/单元(例如，附图5所示的获取单元51、提取单元52、情绪识别单元53和信息推荐单元54)。处理器610通过运行存储在存储器620中的非易失性软件程序、指令以及模块/单元，从而执行服务器或者智能终端的各种功能应用以及数据处理，即实现上述方法实施例基于情绪识别的信息推荐方法。
存储器620可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据基于情绪识别的信息推荐装置的使用所创建的数据等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器620可选包括相对于处理器610远程设置的存储器，这些远程存储器可以通过网络连接至基于情绪识别的信息推荐装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置630可接收输入的数字或字符信息，以及产生与基于情绪识别的信息推荐装置的用户设置以及功能控制有关的键信号输入。输出装置640可包括显示屏等显示设备。
所述一个或者多个模块存储在所述存储器620中，当被所述一个或者多个处理器610执行时，执行上述任意方法实施例中的基于情绪识别的信息推荐方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器：提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储
介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (21)
- 一种基于情绪识别的信息推荐方法，其中，包括：获取用户提供的图像；从所述图像中提取表征用户情绪的特征信息；根据提取的特征信息识别用户情绪类型；根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息
- 根据权利要求1所述的方法，其中，从所述图像中提取表征用户情绪的特征信息，具体包括：检测用户面部在所述图像中的位置得到相应的位置信息；根据所述位置信息确定包含用户面部图像的局部图像；从所述局部图像中提取表征用户情绪的特征信息。
- 根据权利要求2所述的方法，其中，在从所述局部图像中提取表征用户情绪的特征信息之前，还包括：检测所述局部图像中的关键特征点；根据所述关键特征点对所述局部图像进行姿态矫正得到所述用户的正面面部图像；以及从所述局部图像中提取表征用户情绪的特征信息，具体包括：从所述正面面部图像中提取表征用户情绪的特征信息。
- 根据权利要求3所述的方法，其中，在从所述正面面部图像中提取表征用户情绪的特征信息之前，还包括：对所述局部图像进行归一化处理。
- 根据权利要求3所述的方法，其中，从所述正面面部图像中提取表征用户情绪的特征信息，具体包括：利用深度神经网络算法从所述正面面部图像中提取表征用户情绪的特征得到所述正面面部图像的特征向量；以及根据提取的特征信息识别用户情绪类型，具体包括：将得到的特征向量输入情绪分类器中得到对应的用户情绪类型，所述情绪分类器为通过样本训练得到的。
- 一种基于情绪识别的信息推荐装置，其中，包括：获取单元，用于获取用户提供的图像；提取单元，用于从所述图像中提取表征用户情绪的特征信息；情绪识别单元，用于根据提取的特征信息识别用户情绪类型；信息推荐单元，用于根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息。
- 根据权利要求6所述的装置，其中，所述提取单元，具体包括：第一检测子单元，用于检测用户面部在所述图像中的位置得到相应的位置信息；截取子单元，用于根据所述位置信息截取包含用户面部图像的局部图像；提取子单元，用于从所述局部图像中提取表征用户情绪的特征信息。
- 根据权利要求7所述的装置，其中，所述提取单元，还包括第二检测子单元和姿态矫正子单元，其中：所述第二检测子单元，用于检测所述局部图像中的关键特征点；所述姿态矫正子单元，用于根据所述关键特征点对所述局部图像进行姿态矫正得到所述用户的正面面部图像；所述提取子单元，具体用于从所述正面面部图像中提取表征用户情绪的特征信息。
- 根据权利要求8所述的装置，其中，还包括：图像处理单元，用于在所述提取子单元从所述正面面部图像中提取表征用户情绪的特征信息之前，对所述局部图像进行归一化处理。
- 根据权利要求8所述的装置，其中，所述提取子单元，具体用于利用深度神经网络算法从所述正面面部图像中提取表征用户情绪的特征得到所述正面面部图像的特征向量；所述情绪识别单元，具体用于将得到的特征向量输入情绪分类器中得到对应的用户情绪类型，所述情绪分类器为通过样本训练得到的。
- 一种非易失性计算机存储介质，存储有计算机可执行指令，其中，所述计算机可执行指令设置为：获取用户提供的图像；从所述图像中提取表征用户情绪的特征信息；根据提取的特征信息识别用户情绪类型；根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息。
- 一种电子设备，其中，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：获取用户提供的图像；从所述图像中提取表征用户情绪的特征信息；根据提取的特征信息识别用户情绪类型；根据预设的用户情绪类型与信息类型之间的对应关系，向所述用户推荐信息类型与识别出的用户情绪类型对应的信息。
- 根据权利要求11所述的非易失性计算机存储介质，其中，从所述图像中提取表征用户情绪的特征信息包括：检测用户面部在所述图像中的位置得到相应的位置信息；根据所述位置信息确定包含用户面部图像的局部图像；从所述局部图像中提取表征用户情绪的特征信息。
- 根据权利要求13所述的非易失性计算机存储介质，其中，在从所述局部图像中提取表征用户情绪的特征信息之前，所述计算机可执行指令还用于：检测所述局部图像中的关键特征点；根据所述关键特征点对所述局部图像进行姿态矫正得到所述用户的正面面部图像；以及从所述局部图像中提取表征用户情绪的特征信息包括：从所述正面面部图像中提取表征用户情绪的特征信息。
- 根据权利要求14所述的非易失性计算机存储介质，其中，在从所述正面面部图像中提取表征用户情绪的特征信息之前，所述计算机可执行指令还用于：对所述局部图像进行归一化处理。
- 根据权利要求14所述的非易失性计算机存储介质，其中，从所述正面面部图像中提取表征用户情绪的特征信息包括：利用深度神经网络算法从所述正面面部图像中提取表征用户情绪的特征得到所述正面面部图像的特征向量；以及根据提取的特征信息识别用户情绪类型包括：将得到的特征向量输入情绪分类器中得到对应的用户情绪类型，所述情绪分类器为通过样本训练得到的。
- 根据权利要求12所述的电子设备，其中，从所述图像中提取表征用户情绪的特征信息，包括：检测用户面部在所述图像中的位置得到相应的位置信息；根据所述位置信息确定包含用户面部图像的局部图像；从所述局部图像中提取表征用户情绪的特征信息。
- 根据权利要求17所述的电子设备，其中，在从所述局部图像中提取表征用户情绪的特征信息之前，所述程序还设置为执行：检测所述局部图像中的关键特征点；根据所述关键特征点对所述局部图像进行姿态矫正得到所述用户的正面面部图像；以及从所述局部图像中提取表征用户情绪的特征信息包括：从所述正面面部图像中提取表征用户情绪的特征信息。
- 根据权利要求18所述的电子设备，其中，在从所述正面面部图像中提取表征用户情绪的特征信息之前，所述程序还设置为执行：对所述局部图像进行归一化处理。
- 根据权利要求18所述的电子设备，其中，从所述正面面部图像中提取表征用户情绪的特征信息包括：利用深度神经网络算法从所述正面面部图像中提取表征用户情绪的特征得到所述正面面部图像的特征向量；以及根据提取的特征信息识别用户情绪类型，具体包括：将得到的特征向量输入情绪分类器中得到对应的用户情绪类型，所述情绪分类器为通过样本训练得到的。
- 一种计算机程序产品，其中，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，其中，当所述程序指令被计算机执行时，使所述计算机执行上述任一权利要求所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610269632.7 | 2016-04-27 | ||
| CN201610269632.7A CN105956059A (zh) | 2016-04-27 | 2016-04-27 | 基于情绪识别的信息推荐方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2017185630A1 true WO2017185630A1 (zh) | 2017-11-02 |
Family
ID=56916590
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2016/100411 WO2017185630A1 (zh) | 2016-04-27 | 2016-09-27 | 基于情绪识别的信息推荐方法、装置和电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN105956059A (zh) |
| WO (1) | WO2017185630A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934173A (zh) * | 2019-03-14 | 2019-06-25 | 腾讯科技（深圳）有限公司 | 表情识别方法、装置及电子设备 |
| CN110209934A (zh) * | 2019-05-20 | 2019-09-06 | 平安普惠企业管理有限公司 | 基于微表情识别的信息推送方法及相关装置 |
| CN110334658A (zh) * | 2019-07-08 | 2019-10-15 | 腾讯科技（深圳）有限公司 | 信息推荐方法、装置、设备和存储介质 |
| CN112699774A (zh) * | 2020-12-28 | 2021-04-23 | 深延科技(北京)有限公司 | 视频中人物的情绪识别方法及装置、计算机设备及介质 |
| WO2021081649A1 (en) * | 2019-10-30 | 2021-05-06 | Lululemon Athletica Canada Inc. | Method and system for an interface to provide activity recommendations |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190095262A1 (en) * | 2014-01-17 | 2019-03-28 | Renée BUNNELL | System and methods for determining character strength via application programming interface |
| CN105956059A (zh) * | 2016-04-27 | 2016-09-21 | 乐视控股（北京）有限公司 | 基于情绪识别的信息推荐方法和装置 |
| CN106650610A (zh) * | 2016-11-02 | 2017-05-10 | 厦门中控生物识别信息技术有限公司 | 一种人脸表情数据收集方法及装置 |
| CN106791893B (zh) * | 2016-11-14 | 2020-09-11 | 北京小米移动软件有限公司 | 视频直播方法及装置 |
| CN106792014B (zh) * | 2016-11-25 | 2019-02-26 | 广州酷狗计算机科技有限公司 | 一种推荐音频的方法、装置及系统 |
| CN106650633A (zh) * | 2016-11-29 | 2017-05-10 | 上海智臻智能网络科技股份有限公司 | 一种驾驶员情绪识别方法和装置 |
| CN106792170A (zh) * | 2016-12-14 | 2017-05-31 | 合网络技术（北京）有限公司 | 视频处理方法及装置 |
| CN107038413A (zh) * | 2017-03-08 | 2017-08-11 | 合肥华凌股份有限公司 | 食谱推荐方法、装置及冰箱 |
| CN107193571A (zh) | 2017-05-31 | 2017-09-22 | 广东欧珀移动通信有限公司 | 界面推送的方法、移动终端及存储介质 |
| WO2019024003A1 (zh) * | 2017-08-02 | 2019-02-07 | 深圳传音通讯有限公司 | 一种用于智能设备的应用程序内容的推送方法及推送装置 |
| CN107566612A (zh) * | 2017-08-09 | 2018-01-09 | 广东欧珀移动通信有限公司 | 音乐偏好模式设置方法、装置及移动设备 |
| CN107424019A (zh) * | 2017-08-15 | 2017-12-01 | 京东方科技集团股份有限公司 | 基于情绪识别的艺术品推荐方法、装置、介质和电子设备 |
| CN108563663A (zh) * | 2018-01-04 | 2018-09-21 | 出门问问信息科技有限公司 | 图片推荐方法、装置、设备及存储介质 |
| CN110395260B (zh) * | 2018-04-20 | 2021-12-07 | 比亚迪股份有限公司 | 车辆、安全驾驶方法和装置 |
| CN108777804B (zh) * | 2018-05-30 | 2021-07-27 | 腾讯科技（深圳）有限公司 | 媒体播放方法及装置 |
| CN109189953A (zh) * | 2018-08-27 | 2019-01-11 | 维沃移动通信有限公司 | 一种多媒体文件的选择方法及装置 |
| CN109327737B (zh) * | 2018-11-14 | 2021-04-16 | 深圳创维－Rgb电子有限公司 | 电视节目推荐方法、终端、系统及存储介质 |
| CN109766765A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 音频数据推送方法、装置、计算机设备和存储介质 |
| CN109766767A (zh) * | 2018-12-18 | 2019-05-17 | 深圳壹账通智能科技有限公司 | 行为数据推送方法、装置、计算机设备和存储介质 |
| CN109640119B (zh) * | 2019-02-21 | 2021-06-11 | 百度在线网络技术（北京）有限公司 | 用于推送信息的方法和装置 |
| CN110175245A (zh) * | 2019-06-05 | 2019-08-27 | 腾讯科技（深圳）有限公司 | 多媒体推荐方法、装置、设备及存储介质 |
| CN112104914B (zh) * | 2019-06-18 | 2022-09-13 | 中国移动通信集团浙江有限公司 | 视频推荐方法及装置 |
| CN110490152A (zh) * | 2019-08-22 | 2019-11-22 | 珠海格力电器股份有限公司 | 基于图像识别的信息分享方法及电子设备 |
| CN111708939B (zh) * | 2020-05-29 | 2024-04-16 | 平安科技（深圳）有限公司 | 基于情绪识别的推送方法、装置、计算机设备及存储介质 |
| CN112464025B (zh) * | 2020-12-17 | 2023-08-01 | 当趣网络科技(杭州)有限公司 | 视频推荐方法、装置、电子设备及介质 |
| CN112911391A (zh) * | 2020-12-28 | 2021-06-04 | 珠海格力电器股份有限公司 | 一种空调系统及其控制方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130162524A1 (en) * | 2011-12-26 | 2013-06-27 | Hai-sheng Li | Electronic device and method for offering services according to user facial expressions |
| CN103235644A (zh) * | 2013-04-15 | 2013-08-07 | 北京百纳威尔科技有限公司 | 信息显示方法及装置 |
| CN103577516A (zh) * | 2013-07-01 | 2014-02-12 | 北京百纳威尔科技有限公司 | 内容显示方法和装置 |
| CN104202718A (zh) * | 2014-08-05 | 2014-12-10 | 百度在线网络技术（北京）有限公司 | 一种向用户提供信息的方法与装置 |
| CN105956059A (zh) * | 2016-04-27 | 2016-09-21 | 乐视控股（北京）有限公司 | 基于情绪识别的信息推荐方法和装置 |
-
2016
- 2016-04-27 CN CN201610269632.7A patent/CN105956059A/zh active Pending
- 2016-09-27 WO PCT/CN2016/100411 patent/WO2017185630A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130162524A1 (en) * | 2011-12-26 | 2013-06-27 | Hai-sheng Li | Electronic device and method for offering services according to user facial expressions |
| CN103235644A (zh) * | 2013-04-15 | 2013-08-07 | 北京百纳威尔科技有限公司 | 信息显示方法及装置 |
| CN103577516A (zh) * | 2013-07-01 | 2014-02-12 | 北京百纳威尔科技有限公司 | 内容显示方法和装置 |
| CN104202718A (zh) * | 2014-08-05 | 2014-12-10 | 百度在线网络技术（北京）有限公司 | 一种向用户提供信息的方法与装置 |
| CN105956059A (zh) * | 2016-04-27 | 2016-09-21 | 乐视控股（北京）有限公司 | 基于情绪识别的信息推荐方法和装置 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109934173A (zh) * | 2019-03-14 | 2019-06-25 | 腾讯科技（深圳）有限公司 | 表情识别方法、装置及电子设备 |
| CN109934173B (zh) * | 2019-03-14 | 2023-11-21 | 腾讯科技（深圳）有限公司 | 表情识别方法、装置及电子设备 |
| CN110209934A (zh) * | 2019-05-20 | 2019-09-06 | 平安普惠企业管理有限公司 | 基于微表情识别的信息推送方法及相关装置 |
| CN110334658A (zh) * | 2019-07-08 | 2019-10-15 | 腾讯科技（深圳）有限公司 | 信息推荐方法、装置、设备和存储介质 |
| CN110334658B (zh) * | 2019-07-08 | 2023-08-25 | 腾讯科技（深圳）有限公司 | 信息推荐方法、装置、设备和存储介质 |
| WO2021081649A1 (en) * | 2019-10-30 | 2021-05-06 | Lululemon Athletica Canada Inc. | Method and system for an interface to provide activity recommendations |
| CN112699774A (zh) * | 2020-12-28 | 2021-04-23 | 深延科技(北京)有限公司 | 视频中人物的情绪识别方法及装置、计算机设备及介质 |
| CN112699774B (zh) * | 2020-12-28 | 2024-05-24 | 深延科技(北京)有限公司 | 视频中人物的情绪识别方法及装置、计算机设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105956059A (zh) | 2016-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017185630A1 (zh) | 基于情绪识别的信息推荐方法、装置和电子设备 | |
| US11630974B2 (en) | Prioritized device actions triggered by device scan data | |
| US10699103B2 (en) | Living body detecting method and apparatus, device and storage medium | |
| US20200412975A1 (en) | Content capture with audio input feedback | |
| CN109726624B (zh) | 身份认证方法、终端设备和计算机可读存储介质 | |
| CN107066983B (zh) | 一种身份验证方法及装置 | |
| CN111476306B (zh) | 基于人工智能的物体检测方法、装置、设备及存储介质 | |
| CN108804884B (zh) | 身份认证的方法、装置及计算机存储介质 | |
| US9436883B2 (en) | Collaborative text detection and recognition | |
| WO2016197765A1 (zh) | 人脸识别方法及识别系统 | |
| WO2016187888A1 (zh) | 基于字符识别的关键词通知方法及设备、计算机程序产品 | |
| US20140161354A1 (en) | Method and apparatus for semantic extraction and video remix creation | |
| CN112513875B (zh) | 眼部纹理修复 | |
| KR102087882B1 (ko) | 시각적 이미지 매칭을 기반으로 한 미디어 스트림 식별 장치 및 방법 | |
| WO2014180095A1 (en) | Systems and methods for real human face recognition | |
| US11367310B2 (en) | Method and apparatus for identity verification, electronic device, computer program, and storage medium | |
| WO2014082496A1 (zh) | 客户端特征的识别方法、装置及存储介质 | |
| CN111008935B (zh) | 一种人脸图像增强方法、装置、系统及存储介质 | |
| WO2020029466A1 (zh) | 图像处理方法和装置 | |
| US12008167B2 (en) | Action recognition method and device for target object, and electronic apparatus | |
| US20200412864A1 (en) | Modular camera interface | |
| CN106557770B (zh) | 通过比较贝塞尔曲线来标识图像中的形状 | |
| CN111506758A (zh) | 物品名称确定方法、装置、计算机设备及存储介质 | |
| US20150023569A1 (en) | Portable electronic apparatus and interactive human face login method | |
| Indrawan et al. | Face recognition for social media with mobile cloud computing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16900139 Country of ref document: EP Kind code of ref document: A1 |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 16900139 Country of ref document: EP Kind code of ref document: A1 |