WO2016134629A1 - 基于表情识别的交互方法和执行该方法的设备 - Google Patents

基于表情识别的交互方法和执行该方法的设备 Download PDF

Info

Publication number
WO2016134629A1
WO2016134629A1 PCT/CN2016/072356 CN2016072356W WO2016134629A1 WO 2016134629 A1 WO2016134629 A1 WO 2016134629A1 CN 2016072356 W CN2016072356 W CN 2016072356W WO 2016134629 A1 WO2016134629 A1 WO 2016134629A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
interaction
interaction method
facial data
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2016/072356
Other languages
English (en)
French (fr)
Inventor
张斯聪
刘旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Publication of WO2016134629A1 publication Critical patent/WO2016134629A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor

Definitions

  • the field of electronic commerce of the present invention relates in particular to an expression recognition based interaction method in electronic commerce.
  • the present invention will be directed to current user interactions in e-commerce to improve the user's shopping experience.
  • an interaction method based on expression recognition comprising: receiving a request to start an interaction operation from a user; presenting an interaction interface for the interaction operation to the user; collecting the face of the user Data; performing facial expression analysis on the user using the collected facial data of the user; and adjusting presentation of the interactive operation according to a result of the expression analysis.
  • the request includes a request for viewing product specific information
  • the interaction interface includes the product specific information
  • the request includes a request to start an online customer service
  • the interaction interface includes an online customer service window.
  • the step of collecting facial data of the user includes: collecting the user in real time during presenting the interaction interface for the interaction operation to the user Facial data.
  • the step of collecting facial data of the user includes: presenting the interaction boundary for the interaction operation to the user only after a period of time Collecting the user's data.
  • the method further comprises: presenting to the user an interaction interface for requesting to collect facial data of the user .
  • the step of performing expression analysis on the user includes: performing face positioning on the collected facial data of the user; according to the positioned face, Performing expression recognition; and using the result of the expression recognition, calculating the satisfaction of the user with the content presented on the interactive interface.
  • the step of adjusting the presentation of the interaction operation comprises: adjusting a product arrangement order of the product recommendation list presented on the interaction interface.
  • the step of adjusting the presentation of the interaction operation includes: switching a manner of the online customer service.
  • the interaction method according to an embodiment of the present invention preferably further comprises: presenting to the user an interactive interface for ending collecting facial data of the user.
  • an apparatus for performing an expression recognition based interaction method comprising: means for receiving a request to start an interaction operation from a user; presenting to the user for the interaction operation Means of an interactive interface; means for collecting facial data of the user; means for performing facial expression analysis on the user using the collected facial data of the user; and adjusting the interactive operation according to a result of the expression analysis The device presented.
  • the invention introduces the expression recognition technology and the data processing in the interaction operation of the electronic commerce, realizes the real-time analysis of the response of the current user to the browsed content, and can specifically recommend the product or optimize the online customer for the current user. Service process, which achieves the effect of improving the user's shopping experience.
  • 1 is a schematic diagram showing a correspondence relationship between an expression and a mental state
  • FIG. 2 is a general flow chart of an expression recognition based interaction method in accordance with the present invention.
  • FIG. 3 is a detailed flow chart of expression analysis in an expression recognition based interaction method according to the present invention.
  • FIG. 4 is a flowchart of an expression recognition based interaction method according to a first embodiment of the present invention.
  • FIG. 5 is a flow chart of an expression recognition based interaction method in accordance with a second embodiment of the present invention.
  • the invention is based on face recognition technology and expression recognition technology.
  • the face recognition technology and the expression recognition technology can use a general-purpose imaging device as the identification information acquisition device to acquire the face image of the recognition object in a non-contact manner, and then compare and analyze the acquired image with the database obtained by the pre-learning. , processing, to complete the identification process.
  • the pre-learned database used in the expression recognition technology is usually based on the happy expressions of sadness, sadness, surprise, fear, anger and disgust as shown in Fig. 1, and according to the biological characteristics of the face, various
  • the expression is related to the details of the facial movement, and is obtained by comprehensively collecting samples and extracting features.
  • commercially available algorithms and software tools have been developed for face recognition technology and expression recognition technology.
  • FIG. 2 shows a processing flow of an expression recognition-based interaction method according to the present invention, including: receiving a request to start an interaction operation from a user (ST10); presenting an interaction interface for an interaction operation to a user (ST20); collecting a user's Face data (ST40); performing facial expression analysis on the user using the collected face data of the user (ST60); and adjusting the presentation of the interactive operation based on the result of the expression analysis (ST70).
  • the interaction method in order to respect the user's choice and protect the user's privacy, in the interaction method according to the first embodiment of the present invention, preferably, before the step of collecting the user's face data, the user may first be presented for requesting to collect it.
  • the interactive interface of the face data ST30, so that the user can select the camera device that activates the terminal used.
  • the interaction method preferably, it further includes presenting to the user an interactive interface for ending the collection of the user's face data (ST50).
  • ST50 the interaction by collecting the facial data should be arbitrarily canceled at any time, so that the virtual page can be set on the web page of the e-commerce website.
  • the button corresponds to an operation of ending the collection of the user's face data; or the operation of ending the collection of the user's face data may be associated with a specific key in the keyboard or the soft keyboard; or the operation of ending the collection of the user's face data may be performed.
  • a specific button on the mobile terminal is associated.
  • FIG. 4 illustrates a flow of an expression recognition based interaction method in accordance with a first embodiment of the present invention, wherein the interaction method involves adjusting a product ranking order of the presented product recommendation list based on the user's satisfaction with the viewed product.
  • FIG. 4 is a process flow for adjusting a product arrangement order of a presented product recommendation list according to the present invention, wherein the user click is received as a request to start an interaction operation (S110), and the mobile terminal to be used by the user Or an interactive interface including product specific information is displayed on the computer (S120).
  • the camera device of the mobile terminal used by the user or the attached or external camera device of the computer to collect the face data of the user (S140).
  • the software tool preset in the mobile terminal or the computer the collected facial data can be used to perform expression analysis on the user (S160). Then, using the result of the above expression analysis, the presentation of the interactive operation can be adjusted (S171, S172, S173).
  • the user's face may be collected in real time when the product specific information is presented to the user through the interactive interface.
  • the data is analyzed in real time on the acquired facial data to obtain an analysis result.
  • the user's face may be collected only within a certain period of time, for example, 5-10 seconds after the product specific information is presented to the user through the interactive interface. Data, and facial expression analysis of the collected facial data, and directly lead to the analysis results.
  • the product will often be “interested”, “disappointed” or “feeling general” in the short time after viewing the specific information of the product.
  • Collecting and analyzing the user's expression can not only achieve the purpose of rationally adjusting the presentation of the interactive operation through the expression analysis, but also achieve the effect of reducing the power consumption and reducing the background processing load for the terminal used by the user.
  • the step of performing expression analysis on the user may preferably include: performing face positioning on the collected face data of the user (ST61); The human face is subjected to expression recognition (ST62); and the result of the expression recognition is used to calculate the satisfaction of the user with the content presented on the interactive interface (ST63).
  • the satisfaction can be described by calculating the score according to the user's expression.
  • the data used to describe the user's satisfaction with the product can be a score of any form, any interval, for example, a score of 0 to 100, 0 to 1 The score and so on.
  • the step of adjusting the presentation of the interaction operation may include: advancing the product in the product ranking of the recommendation list when determining that the user likes the viewed product ( S172); when it is judged that the user does not like the product being viewed, the product is moved backward in the product ranking of the recommended list (S171); and thereby, the product arrangement order of the product recommendation list presented on the interactive interface is adjusted ( S173).
  • the user can be rated according to the degree of preference of the products viewed, and the products are sorted by rating, and the products are presented to the user in a more friendly manner. specifically. For example, it may be displayed in such a way that the products that the user likes are ranked higher, or other related products that other users who like the product prefer.
  • a manual online customer service is often provided, and the interaction method according to the present invention can also be applied to the online customer service to improve the service quality. Further improve the user's shopping experience.
  • a user can initiate a request to start an online customer service by clicking on a corresponding button or icon.
  • 5 illustrates a flow of an expression recognition based interaction method in accordance with a second embodiment of the present invention, wherein the interaction method involves adjusting the manner of online customer service based on user satisfaction with online customer service.
  • FIG. 5 shows a processing flow of a manner of adjusting an online customer service according to a second embodiment of the present invention, in which this user click is received as a request to start an interactive operation (S210), and the mobile terminal to be used by the user or The interactive interface of the online customer service window is displayed on the computer (S220).
  • the camera device of the mobile terminal used by the user or the attached or external camera device of the computer to collect the face data of the user (S240).
  • the software tool preset in the mobile terminal or the computer the collected facial data can be used to perform expression analysis on the user (S260). Then, using the result of the above expression analysis, the presentation of the interactive operation can be adjusted (S271, S272).
  • the face data of the user in order to capture the mental state of the user when accepting the online customer service, may be collected in real time when the online customer service is performed, and in real time Perform an expression analysis on the collected facial data to obtain an analysis result.
  • the user before the step of collecting the face data of the user, the user may also be presented with an interactive interface for requesting to collect his face data so that the user can select to activate it.
  • the camera of the terminal used; and, also, includes an interactive interface for presenting the user with the facial data for collecting the user.
  • the step of performing facial expression analysis on the user may preferably include: performing face positioning on the collected facial data of the user; and performing facial expression recognition according to the positioned facial face; And using the results of the expression recognition to calculate the user's satisfaction with the content provided by the online customer service.
  • the satisfaction can be described by calculating the score according to the user's expression, and specifically, the data used to describe the satisfaction of the user with the content provided by the online customer service can be any form, any interval score. For example: a score from 0 to 100, a score from 0 to 1, and so on.
  • the step of adjusting the presentation of the interaction operation may include maintaining the manner of the current online customer service when determining that the user is satisfied with the content provided by the online customer service (S272) And; when the user is judged to be dissatisfied with the content provided by the online customer service, the manner of switching the online customer service (S271).
  • the switching by the automatic online customer service and the manual online customer service is usually initiated by the user in the case where multiple automatic responses fail to solve the problem, however, the above switching can be automatically implemented by using the interactive method of the present invention.
  • the interaction method according to the second embodiment of the present invention when the user's satisfaction with the content provided by the automatic online customer service is calculated to be low, the switching request by the automatic online customer service and the manual online customer service is automatically initiated. . Through this automatic switching, the user's time can be saved, thereby avoiding further accumulation of the user's dissatisfaction.
  • the interaction method according to the second embodiment of the present invention can also feedback the satisfaction of the user to the content provided by the customer service personnel to the customer service personnel in real time, and can also enable the customer service personnel to The mental state has an intuitive understanding so that further follow-up services can be provided in a targeted manner.
  • the background service interacting with the user may also be evaluated according to the result of the expression analysis.
  • the service of the customer service personnel who provide online customer service for the user can be scored according to the result of the expression analysis of the user. Compared with the way of scoring by the user, by analyzing the expression of the user in the service process, the service can be evaluated more realistically and accurately.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种基于表情识别的交互方法和执行该方法的设备。该交互方法通过从用户接收开始交互操作的请求；向所述用户呈现用于所述交互操作的交互界面；采集所述用户的面部数据；使用所采集的所述用户的面部数据，对所述用户进行表情分析；以及根据所述表情分析的结果，调整所述交互操作的呈现，能够有针对性地为当前用户推荐产品或者优化在线客户服务流程，从而达到了提升用户购物体验的效果。

Description

基于表情识别的交互方法和执行该方法的设备 技术领域
本发明电子商务领域，特别涉及在电子商务中的基于表情识别的交互方法。
背景技术
近年来，通过电子商务购买产品或服务已成为人们的购买习惯。目前为了使得用户能够获得更好的购物体验，在电子商务网站或移动终端应用(APP)上，会根据用户所浏览的产品给出产品列表。一般来说，这样的产品列表或者仅是用户所浏览的产品的简单罗列，而并没有对所浏览的产品的进一步分析以形成产品推荐；或者仅限于根据多个用户的浏览统计信息以及其下单的信息而做出产品推荐，诸如“浏览了某一产品的用户最终所购买的产品”、“某一产品的相关产品的排行”、“购买了某一产品的用户还购买了哪些产品”、“浏览了某一产品的用户还浏览了哪些产品”等。然而，这样的产品列表或者产品推荐仅仅考虑了多数用户的购买习惯或者产品间的联系，而并没有考虑当前用户对所浏览的产品的好恶以及对推荐结果满意与否，因此对于当前用户来说缺乏针对性。
发明内容
鉴于上述，本发明将针对于当前用户对电子商务中的交互操作加以改进，以改善用户的购物体验。
根据本发明的一个方面，提供了一种基于表情识别的交互方法，包括：从用户接收开始交互操作的请求；向所述用户呈现用于所述交互操作的交互界面；采集所述用户的面部数据；使用所采集的所述用户的面部数据，对所述用户进行表情分析；以及根据所述表情分析的结果，调整所述交互操作的呈现。
根据本发明的实施例所述的交互方法，优选地，所述请求包括对于查看产品具体信息的请求，并且所述交互界面包括所述产品具体信息。
根据本发明的实施例所述的交互方法，优选地，所述请求包括对于开始在线客户服务的请求，并且所述交互界面包括在线客户服务窗口。
根据本发明的实施例所述的交互方法，优选地，所述采集所述用户的面部数据的步骤包括：在向所述用户呈现用于所述交互操作的交互界面期间，实时采集所述用户的面部数据。
根据本发明的实施例所述的交互方法，优选地，所述采集所述用户的面部数据的步骤包括：在向所述用户呈现用于所述交互操作的交互界而后的仅在一段时间内，采集所述用户的而部数据。
根据本发明的实施例所述的交互方法，优选地，在所述采集所述用户的面部数据的步骤之前，进一步包括：向所述用户呈现用于请求采集所述用户的面部数据的交互界面。
根据本发明的实施例所述的交互方法，优选地，所述对所述用户进行表情分析的步骤包括：对所采集的所述用户的面部数据进行人脸定位；根据定位出的人脸，进行表情识别；以及利用所述表情识别的结果，计算所述用户对所述交互界面上所呈现的内容的满意度。
根据本发明的实施例所述的交互方法，优选地，所述调整所述交互操作的呈现的步骤包括：调整在所述交互界面上所呈现的产品推荐列表的产品排列顺序。
根据本发明的实施例所述的交互方法，优选地，所述调整所述交互操作的呈现的步骤包括：切换所述在线客户服务的方式。
根据本发明的实施例所述的交互方法，优选地，进一步包括：向所述用户呈现用于结束采集所述用户的面部数据的交互界面。
根据本发明的另一个方面，还提供了一种执行基于表情识别的交互方法的设备，所述设备包括：从用户接收开始交互操作的请求的装置；向所述用户呈现用于所述交互操作的交互界面的装置；采集所述用户的面部数据的装置；使用所采集的所述用户的面部数据对所述用户进行表情分析的装置；以及根据所述表情分析的结果调整所述交互操作的呈现的装置。
本发明通过在电子商务的交互操作中引入了表情识别技术并结合数据处理，实现了对当前用户对所浏览内容的反应的实时分析，而能够有针对性地为当前用户推荐产品或优化在线客户服务流程，从而达到了提升用户购物体验的效果。
附图说明
附图图示了本发明的实施例，并与说明书一起用于解释本发明的原理。在附图中：
图1是显示表情与心理状态的对应关系的示意图；
图2是根据本发明的基于表情识别的交互方法的总体流程图；
图3是根据本发明的基于表情识别的交互方法中的表情分析的具体流程图；
图4是根据本发明的第一实施例的基于表情识别的交互方法的流程图；以及
图5是根据本发明的第二实施例的基于表情识别的交互方法的流程图。
具体实施方式
下面结合附图对本申请优选的实现方式进行详细说明。
与语言或者肢体语言一样，表情能够反映人们对所接触的事物的好恶。本发明建立在人脸识别技术和表情识别技术的基础之上。人脸识别技术和表情识别技术可以使用通用的摄像装置作为识别信息获取装置，以非接触的方式获取识别对象的面部图像，然后通过将所获取的图像与预先学习而得到的数据库比对、分析、处理，从而完成识别过程。在表情识别技术中所采用的预先学习而得到的数据库，通常是以如图1所示的高兴、悲伤、惊讶、恐惧、愤怒和厌恶作为基本表情，并且依据人脸的生物特征，将各种表情同脸部运动细节相关联，在广泛收集样本并提取特征的基础上，综合而得到的。目前，对于人脸识别技术和表情识别技术均已开发出了可商用的算法以及软件工具。
图2示出了根据本发明的基于表情识别的交互方法的处理流程，包括：从用户接收开始交互操作的请求(ST10)；向用户呈现用于交互操作的交互界面(ST20)；采集用户的面部数据(ST40)；使用所采集的用户的面部数据，对用户进行表情分析(ST60)；以及根据表情分析的结果，调整交互操作的呈现(ST70)。
优选地，为了尊重用户选择权以及保护用户隐私，在根据本发明的第一实施例的交互方法中，优选地，在采集用户的面部数据的步骤之前，可以首先向用户呈现用于请求采集其面部数据的交互界面(ST30)，以使得用户可以选择启动其所用终端的摄像装置。
在根据本发明的第一实施例的交互方法中，优选地，进一步包括了向用户呈现用于结束采集用户的面部数据的交互界面(ST50)。对于用户来说，应当可以随时随意取消这种通过采集其面部数据而进行的交互操作，因此，可以通过在电子商务网站的网页页面上设置虚拟 按钮以对应于结束采集用户的面部数据的操作；或者也可以将结束采集用户的面部数据的操作与键盘或者软键盘中的特定按键相关联；或者也可以将结束采集用户的面部数据的操作与移动终端上的特定按键相关联。
以下将参考两个实施例来具体描述根据本发明的基于表情识别的交互方法的处理流程。
在通过电子商务网站或者APP挑选产品时，用户可以通过点击产品的图片或产品名称，而转入产品详情页面去查看产品具体信息。图4示出了根据本发明的第一实施例的基于表情识别的交互方法的流程，其中交互方法涉及根据用户对所观看产品的满意度来调整所呈现的产品推荐列表的产品排列顺序。
如图4示出了根据本发明的调整所呈现的产品推荐列表的产品排列顺序的处理流程，其中将接收此用户点击作为开始交互操作的请求(S110)，并且将在用户所使用的移动终端或者计算机上显示包括产品具体信息的交互界面(S120)。同时，还可以启动用户所使用的移动终端的摄像装置或者计算机的附带或外接的摄像装置，来采集用户的面部数据(S140)。而且，通过预置于移动终端或者计算机内的软件工具，可以使用所采集的面部数据，对用户进行表情分析(S160)。然后，利用上述表情分析的结果，可以调整交互操作的呈现(S171、S172、S173)。
优选地，在根据本发明的第一实施例的交互方法中，为了随时捕捉用户在查看产品具体信息时的心理状态，可以在通过交互界面向用户呈现产品具体信息时，实时地采集用户的面部数据，并且实时地对所采集的面部数据进行表情分析，从而得出分析结果。
然而，这样的实时处理往往会增加用户所用终端的功耗以及增加 后台处理负荷。因此，优选地，在根据本发明的第一实施例的交互方法中，可以在通过交互界面向用户呈现产品具体信息后的仅在一段时间内，例如5-10秒之内，采集用户的面部数据，并且对所采集的面部数据进行表情分析，而直接得出分析结果。对于一般用户，往往会在查看产品具体信息之初的短时间内，对产品反映出“有兴趣”、“失望”或者“感觉一般”，因此，仅在呈现产品具体信息后的一段时间内，采集并分析用户表情不仅能够实现通过表情分析而合理调整交互操作的呈现的目的，而且也能够实现为用户所用终端降低功耗以及减少后台处理负荷的效果。
如图3所示，在根据本发明的第一实施例的交互方法中，对用户进行表情分析的步骤优选地可以包括：对所采集的用户的面部数据进行人脸定位(ST61)；根据定位出的人脸，进行表情识别(ST62)；以及利用表情识别的结果，计算用户对交互界面上所呈现的内容的满意度(ST63)。此处，满意度可以通过根据用户表情来计算评分来描述，具体地，用来描述用户对产品满意度的数据可以是任何形式、任何区间的分数，例如：0到100的分数，0到1的分数等。
在根据本发明的第一实施例的交互方法中，优选地，调整交互操作的呈现的步骤可以包括：当判断用户喜欢所观看的产品时，将该产品在推荐列表的产品排序中前移(S172)；当判断用户不喜欢所观看的产品时，将该产品在推荐列表的产品排序中后移(S171)；以及由此，调整在交互界面上所呈现的产品推荐列表的产品排列顺序(S173)。例如可以根据用户对所浏览过的产品喜爱程度进行评分，并且按评分对产品进行排序，并将这些产品以较为友好的方式展示给用户。具体地。例如可以采用使得本用户喜欢的产品排序更靠前、或者其他喜欢这个产品的用户还喜欢的其他相关产品排序更靠前等的方式来展示。
在电子商务服务中，往往会提供人工在线客户服务，根据本发明的交互方法同样也可以应用于在线客户服务中，以改善服务质量，以 进一步改善用户的购物体验。通常，用户可以通过点击相应按钮或图标，而发起开始在线客户服务的请求。图5示出了根据本发明的第二实施例的基于表情识别的交互方法的流程，其中交互方法涉及根据用户对在线客户服务的满意度来调整在线客户服务的方式。
图5示出了根据本发明的第二实施例的调整在线客户服务的方式的处理流程，其中将接收此用户点击作为开始交互操作的请求(S210)，并且将在用户所使用的移动终端或者计算机上显示在线客户服务窗口的交互界面(S220)。同时，还可以启动用户所使用的移动终端的摄像装置或者计算机的附带或外接的摄像装置，来采集用户的面部数据(S240)。而且，通过预置于移动终端或者计算机内的软件工具，可以使用所采集的面部数据，对用户进行表情分析(S260)。然后，利用上述表情分析的结果，可以调整交互操作的呈现(S271、S272)。
优选地，在根据本发明的第二实施例的交互方法中，为了随时捕捉用户在接受在线客户服务时的心理状态，可以在进行在线客户服务时，实时地采集用户的面部数据，并且实时地对所采集的面部数据进行表情分析，从而得出分析结果。
同样地，在根据本发明的第二实施例的交互方法中，在采集用户的面部数据的步骤之前，也可以向用户呈现用于请求采集其面部数据的交互界面，以使得用户可以选择启动其所用终端的摄像装置；而且，也包括向用户呈现用于结束采集用户的面部数据的交互界面。
在根据本发明的第二实施例的交互方法中，对用户进行表情分析的步骤优选地可以包括：对所采集的用户的面部数据进行人脸定位；根据定位出的人脸，进行表情识别；以及利用表情识别的结果，计算用户对在线客户服务所提供的内容的满意度。此处，满意度可以通过根据用户表情来计算评分来描述，具体地，用来描述用户对在线客户服务所提供内容的满意度的数据可以是任何形式、任何区间的分数， 例如：0到100的分数，0到1的分数等。
在根据本发明的第二实施例的交互方法中，优选地，调整交互操作的呈现的步骤可以包括：当判断用户对在线客户服务所提供的内容满意时，保持当前在线客户服务的方式(S272)；以及当判断用户对在线客户服务所提供的内容不满意时，切换在线客户服务的方式(S271)。
对于在线客户服务，电子商务企业往往会提供自动在线客户服务和人工在线客户服务。目前，通常是由用户在多次自动回复未能解决问题的情况下，发起由自动在线客户服务和人工在线客户服务的切换，然而，通过使用本发明的交互方法则能够自动实现上述切换。在根据本发明的第二实施例的交互方法中，当计算出用户对自动在线客户服务所提供内容的满意度为低的情况下，自动发起由自动在线客户服务和人工在线客户服务的切换请求。通过这种自动切换，能够节省用户的时间，因而避免了用户的不满情绪的进一步积累。而且，在进行人工在线客户服务的情况下，根据本发明的第二实施例的交互方法还可以将用户对客服人员所提供内容的满意度实时地反馈给客服人员，也能够使得客服人员对用户心理状态有直观的了解，从而能够进一步有针对性地提供后续服务。
为了对提供在线客户服务的客服人员的服务进行评价，目前电子商务企业多采用了在服务结束时要求用户打分的方式。此方式不仅给用户带来麻烦，而且难以客观地反映对服务的评价。优选地，根据本发明的第二实施例的交互方法，还可以根据表情分析的结果，对与用户进行交互操作的后台服务进行评价。具体地，可以根据对于用户的表情分析的结果，对为用户提供在线客户服务的客服人员的服务进行评价打分。与由用户打分的方式相比，通过在服务过程中对用户的表情进行分析，能够更加真实准确地对服务给出评价。
上述实施例仅是本发明的优选实施例，并不用于限制本发明。对本领域技术人员显而易见的是，在不脱离本发明的精神和范围的情况下，可以对本发明的实施例进行各种修改和改变。因此，本发明意在涵盖落入权利要求所限定的本发明的范围之内的所有这样的修改或变型。

Claims (11)

  1. 一种基于表情识别的交互方法，所述交互方法包括：
    从用户接收开始交互操作的请求；
    向所述用户呈现用于所述交互操作的交互界面；
    采集所述用户的面部数据；
    使用所采集的所述用户的面部数据，对所述用户进行表情分析；以及
    根据所述表情分析的结果，调整所述交互操作的呈现。
  2. 根据权利要求1所述的交互方法，其中，所述请求包括对于查看产品具体信息的请求，并且所述交互界面包括所述产品具体信息。
  3. 根据权利要求1所述的交互方法，其中，所述请求包括对于开始在线客户服务的请求，并且所述交互界面包括在线客户服务窗口。
  4. 根据权利要求1-3中任意一项所述的交互方法，其中，所述采集所述用户的面部数据的步骤包括：
    在向所述用户呈现用于所述交互操作的交互界面期间，实时采集所述用户的面部数据。
  5. 根据权利要求1或2所述的交互方法，其中，所述采集所述用户的面部数据的步骤包括：
    在向所述用户呈现用于所述交互操作的交互界面后的仅在一段时间内，采集所述用户的面部数据。
  6. 根据权利要求1所述的交互方法，其中，在所述采集所述用户的面部数据的步骤之前，进一步包括：
    向所述用户呈现用于请求采集所述用户的面部数据的交互界面。
  7. 根据权利要求1所述的交互方法，其中，所述对所述用户进行表情分析的步骤包括：
    对所采集的所述用户的面部数据进行人脸定位；
    根据定位出的人脸，进行表情识别；以及
    利用所述表情识别的结果，计算所述用户对所述交互界面上所呈现的内容的满意度。
  8. 根据权利要求1或2所述的交互方法，其中，所述调整所述交互操作的呈现的步骤包括：
    调整在所述交互界面上所呈现的产品推荐列表的产品排列顺序。
  9. 根据权利要求1或3所述的交互方法，其中，所述调整所述交互操作的呈现的步骤包括：
    切换所述在线客户服务的方式。
  10. 根据权利要求1所述的交互方法，进一步包括：
    向所述用户呈现用于结束采集所述用户的面部数据的交互界面。
  11. 一种执行基于表情识别的交互方法的设备，所述设备包括：
    从用户接收开始交互操作的请求的装置；
    向所述用户呈现用于所述交互操作的交互界面的装置；
    采集所述用户的面部数据的装置；
    使用所采集的所述用户的面部数据对所述用户进行表情分析的装置；以及
    根据所述表情分析的结果调整所述交互操作的呈现的装置。
PCT/CN2016/072356 2015-02-28 2016-01-27 基于表情识别的交互方法和执行该方法的设备 Ceased WO2016134629A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510091354.6A CN104699769B (zh) 2015-02-28 2015-02-28 基于表情识别的交互方法和执行该方法的设备
CN201510091354.6 2015-02-28

Publications (1)

Publication Number Publication Date
WO2016134629A1 true WO2016134629A1 (zh) 2016-09-01

Family

ID=53346890

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/072356 Ceased WO2016134629A1 (zh) 2015-02-28 2016-01-27 基于表情识别的交互方法和执行该方法的设备

Country Status (2)

Country Link
CN (1) CN104699769B (zh)
WO (1) WO2016134629A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368646A (zh) * 2020-02-15 2020-07-03 快优智能技术有限公司 一种智慧柜台表情交互方法
CN112052740A (zh) * 2020-08-09 2020-12-08 中信银行股份有限公司 一种客服评价方法、装置及存储介质

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699769B (zh) * 2015-02-28 2018-10-16 北京京东尚科信息技术有限公司 基于表情识别的交互方法和执行该方法的设备
CN105159541B (zh) * 2015-09-21 2019-02-22 无锡知谷网络科技有限公司 用于空港服务的多媒体终端及其显示方法
CN105069737A (zh) * 2015-09-21 2015-11-18 无锡知谷网络科技有限公司 用于空港服务的移动服务终端、系统及数据处理的方法
CN106651604A (zh) * 2015-11-02 2017-05-10 腾讯科技（深圳）有限公司 用户评分交互方法、客户端及电子设备
CN106815264B (zh) * 2015-12-02 2020-08-04 中国移动通信集团公司 一种信息处理方法及系统
CN106886909A (zh) * 2015-12-15 2017-06-23 中国电信股份有限公司 用于商品选购的方法和系统
CN105701088B (zh) * 2016-02-26 2018-12-28 北京京东尚科信息技术有限公司 从机器对话切换到人工对话的方法和装置
CN105955474B (zh) * 2016-04-27 2020-06-09 南京秦淮紫云创益企业服务有限公司 应用评价的提示方法及移动终端
CN107437052A (zh) * 2016-05-27 2017-12-05 深圳市珍爱网信息技术有限公司 基于微表情识别的相亲满意度计算方法和系统
CN106131675A (zh) * 2016-07-19 2016-11-16 乐视控股（北京）有限公司 一种商品推荐方法、装置及系统
CN106101833A (zh) * 2016-08-15 2016-11-09 Tcl商用信息科技（惠州）股份有限公司 一种向智能电视用户提供节目内容的方法和系统
KR102520627B1 (ko) 2017-02-01 2023-04-12 삼성전자주식회사 상품을 추천하는 디바이스 및 방법
CN107194316A (zh) * 2017-04-20 2017-09-22 广东数相智能科技有限公司 一种情绪满意度的评价方法、装置及系统
CN107203897A (zh) * 2017-04-24 2017-09-26 广东数相智能科技有限公司 一种产品推荐度的评价方法、装置及系统
CN107341688A (zh) * 2017-06-14 2017-11-10 北京万相融通科技股份有限公司 一种客户体验的采集方法及系统
WO2019024068A1 (en) * 2017-08-04 2019-02-07 Xinova, LLC SYSTEMS AND METHODS FOR DETECTING EMOTION IN VIDEO DATA
CN107665334A (zh) * 2017-09-11 2018-02-06 广东欧珀移动通信有限公司 基于表情的智能控制方法和装置
CN107506748A (zh) * 2017-09-11 2017-12-22 广东欧珀移动通信有限公司 电子购物方法和装置
CN108646920A (zh) * 2018-05-16 2018-10-12 Oppo广东移动通信有限公司 识别交互方法、装置、存储介质及终端设备
CN109410100A (zh) * 2018-10-25 2019-03-01 重庆鲁班机器人技术研究院有限公司 推荐教师方法、系统及装置
CN109508656A (zh) * 2018-10-29 2019-03-22 重庆中科云丛科技有限公司 一种舞蹈评级自动判别方法、系统及计算机可读存储介质
CN112966128A (zh) * 2021-02-23 2021-06-15 武汉大学 基于实时情感识别的自媒体内容推荐方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402765A (zh) * 2011-12-27 2012-04-04 纽海信息技术（上海）有限公司 基于用户表情分析的电子商务推荐方法
CN103092348A (zh) * 2013-01-24 2013-05-08 北京捷讯华泰科技有限公司 一种基于用户行为的移动终端广告播放方法
CN104035558A (zh) * 2014-05-30 2014-09-10 小米科技有限责任公司 终端设备控制方法及装置
CN104202718A (zh) * 2014-08-05 2014-12-10 百度在线网络技术（北京）有限公司 一种向用户提供信息的方法与装置
CN104699769A (zh) * 2015-02-28 2015-06-10 北京京东尚科信息技术有限公司 基于表情识别的交互方法和执行该方法的设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010181490A (ja) * 2009-02-03 2010-08-19 Olympus Imaging Corp 撮像装置
CN103531216A (zh) * 2012-07-04 2014-01-22 瀚宇彩晶股份有限公司 影音播放装置以及方法
CN102938815A (zh) * 2012-11-07 2013-02-20 广东欧珀移动通信有限公司 手机情景模式切换方法及系统
CN103795932A (zh) * 2014-02-27 2014-05-14 北京百纳威尔科技有限公司 拍摄模式切换处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402765A (zh) * 2011-12-27 2012-04-04 纽海信息技术（上海）有限公司 基于用户表情分析的电子商务推荐方法
CN103092348A (zh) * 2013-01-24 2013-05-08 北京捷讯华泰科技有限公司 一种基于用户行为的移动终端广告播放方法
CN104035558A (zh) * 2014-05-30 2014-09-10 小米科技有限责任公司 终端设备控制方法及装置
CN104202718A (zh) * 2014-08-05 2014-12-10 百度在线网络技术（北京）有限公司 一种向用户提供信息的方法与装置
CN104699769A (zh) * 2015-02-28 2015-06-10 北京京东尚科信息技术有限公司 基于表情识别的交互方法和执行该方法的设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368646A (zh) * 2020-02-15 2020-07-03 快优智能技术有限公司 一种智慧柜台表情交互方法
CN112052740A (zh) * 2020-08-09 2020-12-08 中信银行股份有限公司 一种客服评价方法、装置及存储介质

Also Published As

Publication number Publication date
CN104699769A (zh) 2015-06-10
CN104699769B (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
CN104699769B (zh) 基于表情识别的交互方法和执行该方法的设备
CN106991107B (zh) 信息提供系统、信息提供方法及存储介质
US20180101576A1 (en) Content Recommendation and Display
US20040001616A1 (en) Measurement of content ratings through vision and speech recognition
CN114357305A (zh) 实时直播间的直播对象讲解顺序确定方法及装置
JP2002092023A (ja) 情報提供装置および方法と情報提供プログラムを記録した記録媒体
JP2014167722A (ja) 商品情報提供システムおよび商品情報提供用プログラム
JP2020030671A (ja) 広告枠取引支援装置、及び広告枠取引支援方法
WO2020020137A1 (zh) 商品推荐方法、装置、系统及计算机可读存储介质
CN114581175A (zh) 商品推送方法、装置、存储介质及电子设备
CN105808537A (zh) 一种基于Storm的实时推荐方法及系统
KR20190097879A (ko) 마케팅 플랫폼 시스템과, 이를 이용한 소셜 네트워크 기반 광고 방법 및 컴퓨터 프로그램
CN110503457A (zh) 用户满意度的分析方法及装置、存储介质、计算机设备
CN106204100A (zh) 一种数据处理方法及数据处理系统
KR20180130345A (ko) 리뷰 제공 방법 및 시스템
Mustri et al. Behavioral advertising and consumer welfare: An empirical investigation
JP2019527906A (ja) 通信ネットワーク内で個人向けコンテンツを配信するための手段
Schneider et al. Identifying preferences through mouse cursor movements–preliminary evidence
Tkalčič et al. A research tool for user preferences elicitation with facial expressions
KR102075506B1 (ko) 화상 기반의 전문가 매칭 플랫폼 제공 시스템
JP2017182527A (ja) 情報処理システム
Mohamad et al. Behavioural intention of online mobile hotel booking: analyzing the moderating effect of perceived cost
CN111756863A (zh) 内容推送方法、装置、处理设备及存储介质
CN119379399B (zh) 基于面部表情识别的ai虚拟人导购系统、方法
JP2020166785A (ja) テレビ番組評価システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16754738

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 07/11/2017)

122 Ep: pct application non-entry in european phase

Ref document number: 16754738

Country of ref document: EP

Kind code of ref document: A1