WO2017162099A1 - Method and apparatus for multimedia evaluation based on heart rate measurement - Google Patents

Method and apparatus for multimedia evaluation based on heart rate measurement Download PDF

Info

Publication number
WO2017162099A1
WO2017162099A1 PCT/CN2017/077017 CN2017077017W WO2017162099A1 WO 2017162099 A1 WO2017162099 A1 WO 2017162099A1 CN 2017077017 W CN2017077017 W CN 2017077017W WO 2017162099 A1 WO2017162099 A1 WO 2017162099A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
heart rate
multimedia file
measurement data
time period
Prior art date
Application number
PCT/CN2017/077017
Other languages
French (fr)
Inventor
Yanting HUA
Original Assignee
Le Holdings (Beijing) Co., Ltd.
Le Shi Internet Information & Technology Corp., Beijing
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Le Holdings (Beijing) Co., Ltd., Le Shi Internet Information & Technology Corp., Beijing filed Critical Le Holdings (Beijing) Co., Ltd.
Publication of WO2017162099A1 publication Critical patent/WO2017162099A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Finance (AREA)
  • Veterinary Medicine (AREA)
  • Cardiology (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Neurosurgery (AREA)
  • Game Theory and Decision Science (AREA)
  • Analytical Chemistry (AREA)
  • Hospice & Palliative Care (AREA)
  • Databases & Information Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Chemical & Material Sciences (AREA)
  • Educational Technology (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)

Abstract

A method and apparatus are provided for evaluating multimedia based on heart rate measurement. The method includes: acquiring actual heartbeat measurement data of a user sent by a heart rate measurement device during the playing of a multimedia file; and obtaining an evaluation result of the multimedia file by the user according to the actual heartbeat measurement data and a correlation between reference heartbeat measurement data and the evaluation result. In the method and apparatus for multimedia evaluation based on heart rate measurement provided in the present disclosure, actual heartbeat measurement data of a user during the playing of a multimedia file is acquired and an evaluation result of the multimedia file from the user is obtained according to the actual heartbeat measurement data and a correlation between reference heartbeat measurement data and the evaluation result.

Description

METHOD AND APPARATUS FOR MULTIMEDIA EVALUATION BASED ON HEART RATE MEASUREMENT
CROSS-REFERENCE TO RELATED APPLICATION
This application claims priority to Chinese Patent Application No. 201610166640.9, filed on Mar. 22, 2016, which is hereby incorporated by reference in its entirety.
TECHNICAL FIELD
The embodiments of the present disclosure relate to the technical field of multimedia playing control, and in particular to a method for multimedia evaluation method and apparatus for multimedia evaluation based on heart rate measurement.
BACKGROUND
When a person experiences relatively obvious emotion fluctuations such as nervous, exciting, happy and so on, some physical signs may also change relatively obviously. Heart rate is one of these physical signs which is easy to measure and calculate. During the process of browsing a multimedia file, the emotion of a user may fluctuate with the development of the plots and thus heart rate thereof will also change. By measuring a trend of change and amplitude of the heart rate of the user, the effect on the user by the multimedia file may be effectively determined. If the heart rate of a user during browsing a multimedia file can be quantized and analyzed and the multimedia file is scored based thereon, the popularity of the multimedia file can be determined more accurately, and other users may select multimedia files with higher scores so as to save their selection time.
SUMMARY
The present disclosure discloses a method, an apparatus, a computer program product and a computer readable medium.
According to a first aspect of the present disclosure, a method for multimedia evaluation based on heart rate measurement provided in the embodiments of the present disclosure includes: acquiring actual heartbeat measurement data of a user sent by a heart rate measurement device during the playing of a multimedia file； and obtaining an evaluation  result of the multimedia file from the user according to the actual heartbeat measurement data and a correlation between reference heartbeat measurement data and an evaluation result.
Optionally, the reference heartbeat measurement data includes a standard value of the heart rate of the user, and the obtaining an evaluation result of the multimedia file from the user may include: calculating an average heart rate value of the user within a specified time interval during the playing of the multimedia file according to the actual heartbeat measurement data； and calculating an offset of the average heart rate value with respect to the standard value, calculating and reporting a score of evaluation on the multimedia file by the user according to the offset.
Optionally, at least one important plot time period is preset in the multimedia file, and the calculating an average heart rate value of the user within a specified time interval during the playing of the multimedia file according to the actual heartbeat measurement data may include: counting the heartbeats of the user within each of the at least one important plot time period according to the actual heartbeat measurement data and dividing the heartbeats by the length of the important plot time period to obtain an average heart rate value of the user within each important plot time period； and calculating a mean value of the average heart rate value of the user within each important plot time period to obtain the average heart rate value of the user within the specified time interval during the playing of the multimedia file.
Optionally, after acquiring actual heartbeat measurement data of a user sent by a heart rate measurement device during the playing of a multimedia file, the method may include: monitoring heart rate of the user according to the actual heartbeat measurement data； recording a time at which the heart rate of the user rises to exceed a preset first threshold, as a starting time point； recording a time at which the heart rate of the user falls to be smaller than the first threshold as an ending time point； and correcting the moments of a starting point and an ending point of the important time period by respectively comparing the starting time point and the ending time point with the starting point and the ending point of the important plot time period.
Optionally, the calculating an offset amplitude of the average heart rate value to the standard value and calculating and reporting an evaluation score of the multimedia file from the user according to the offset amplitude may include: measuring an average heart rate value of the user in a peaceful state and taking the same as a preset standard value N； and calculating an evaluation score
Figure PCTCN2017077017-appb-000001
wherein Smax is a  preset highest evaluation score, Smin is a preset lowest evaluation score, and n is the average heart rate value of the user within the specified time interval during the playing of the multimedia file.
According to a second aspect of the present disclosure, an apparatus for multimedia evaluation based on heart rate measurement provided in the embodiments of the present disclosure may include: a data acquisition unit configured to acquire actual heartbeat measurement data of a user sent by a heart rate measurement device during the playing of a multimedia file； and a data processing unit configured to obtain an evaluation result of the multimedia file from the user according to the actual heartbeat measurement data and a correlation between reference heartbeat measurement data and an evaluation result.
Optionally, the reference heartbeat measurement data may include a standard value of the heart rate of the user, and the data processing unit is configured to calculate an average heart rate value of the user within a specified time interval during the playing of the multimedia file according to the actual heartbeat measurement data； calculate an offset of the average heart rate value with respect to the standard value； and calculate and report a score of evaluation on the multimedia file by the user according to the offset amplitude.
Optionally, the multimedia file is provided with at least one important plot time period in advance, and the data processing unit may further include: an important plot processing module configured to count the heartbeats of the user within each of the at least one important plot time period according to the actual heartbeat measurement data and divide the heartbeats number by the length of the important plot time period to obtain an average heart rate value of the user within each important plot time period； and may be further configured to calculate a mean value of the average heart rate value of the user within each important plot time period to obtain the user’s average heart rate value within the specified time interval during the playing of the multimedia file.
Optionally, the data processing unit may include: an important plot correction module configured to: monitor the heart rate of the user according to the actual heartbeat measurement data； record a time at which the heart rate of the user rises to exceed a preset first threshold as a starting time point； and record a time at which the heart rate of the user falls to be smaller than the first threshold as an ending time point. The important plot correction module may be further configured to correct the moments of a starting point and an ending point of the important time period by comparing the starting time point and the ending time point with the starting point and the ending point of the important plot time period  respectively.
Optionally, the data acquisition unit is configured to measure an average heart rate value of the user in a peaceful state and take the same as a preset standard value N； and the data processing unit may further include an evaluation module configured to calculate an evaluation score
Figure PCTCN2017077017-appb-000002
wherein Smax is a preset highest evaluation score, Smin is a preset lowest evaluation score, and n is the average heart rate value of the user within the specified time interval during the playing of the multimedia file.
According to a third aspect of the present disclosure, an electronic device for multimedia evaluation is provided. The electronic device may include at least one processor； and a memory communicably connected with the at least one processor for storing instructions executable by the at least one processor, wherein execution of the instructions by the at least one processor causes the at least one processor to perform a method according to any one of embodiments disclosed above in the first aspect.
In a fourth aspect of the present disclosure, a non-transitory computer-readable storage medium is provided. The non-transitory computer-readable storage medium may store executable instructions for multimedia evaluation, wherein the instructions, when executed by an electronic device, cause the electronic device to perform a method according to any one of embodiments disclosed above in the first aspect.
In a fifth aspect of the present disclosure, a computer program product for multimedia evaluation is provided. The computer program product may include a computer program stored on a non-transitory computer-readable storage medium, and the computer program may include program code which, when executed on a computer, causes the computer to perform a method according to any one of embodiments disclosed above in the first aspect.
It can be seen from the above that in the method and apparatus for multimedia evaluation based on heart rate measurement provided in the embodiments of the present disclosure, actual heartbeat measurement data of a user during the playing of a multimedia file is acquired and an evaluation result of the multimedia file from the user is obtained according to the actual heartbeat measurement data and a correlation between reference heartbeat measurement data and an evaluation result. Since the evaluation result is generated based on the actual heartbeat measurement data of the user, the obtained evaluation result is a reflection of the real emotion of the user to the multimedia file, which can provide better reality and  reference value compared to the manual scoring method and provide a reliable basis for multimedia file evaluation.
BRIEF DESCRIPTION OF THE DRAWINGS
One or more embodiments are illustrated by way of example, and not by limitation, in the figures of the accompanying drawings, wherein elements having the same reference numeral designations represent like elements throughout. The drawings are not to scale, unless otherwise disclosed.
Fig. 1 is a flowchart of a method for multimedia evaluation based on heart rate measurement according to an embodiment of the present disclosure；
Fig. 2 is a flowchart of a method for multimedia evaluation based on heart rate measurement according to an optional embodiment of the present disclosure；
Fig. 3 is a flowchart of a method for multimedia evaluation based on heart rate measurement according to an optional embodiment of the present disclosure；
Fig. 4 is a flowchart of a method for multimedia evaluation based on heart rate measurement according to an optional embodiment of the present disclosure； and
Fig. 5 is a block diagram showing modules of a apparatus for multimedia evaluation based on heart rate measurement according to an embodiment of the present disclosure.
FIG. 6 provides an example of an apparatus according to one or more embodiments of the present disclosure.
Skilled artisans will appreciate that elements in the figures are illustrated for simplicity and clarity and have not necessarily been drawn to scale. For example, the dimensions and/or relative positioning of some of the elements in the figures may be exaggerated relative to other elements to help to improve understanding of various examples of the present application. Also, common but well-understood elements that are useful or necessary in a commercially feasible example are often not depicted in order to facilitate a less obstructed view of these various examples. It will further be appreciated that certain actions and/or steps may be described or depicted in a particular order of occurrence while those skilled in the art will understand that such specificity with respect to sequence is not actually required. It will also be understood that the terms and expressions used herein have the ordinary technical meaning as is accorded to such terms and expressions by persons skilled in the technical field as set forth above, except where different specific meanings have  otherwise been set forth herein
DETAILED DESCRIPTION
In order to make the purpose, technical solutions, and advantages of the embodiments of the disclosure clearer, technical solutions of the embodiments of the present disclosure will be described in detail in conjunction with the figures.
Fig. 1 shows a flowchart of a method for multimedia evaluation based on heart rate measurement according to an embodiment of the present disclosure. As shown in Fig. 1, a method for multimedia evaluation based on heart rate measurement provided according to an embodiment of the present disclosure includes the following steps.
S10: actual heartbeat measurement data of a user sent by a heart rate measurement device is acquired during the playing of a multimedia file.
The heart rate measurement device may be a device worn by the user and having a communication function with a apparatus, such as a smart watch, a smart band and so on. This device can detect the heartbeat (pulse) of the user and reports a time point of each heartbeat to the apparatus. After receiving the time point of each heartbeat, the apparatus can calculate the real-time heart rate of the user based on the received time point or calculate an average heart rate value of the user during the playing of the multimedia file； or the heart beat measurement device calculates and reports the real-time heart rate of the user to the apparatus.
S11: an evaluation result of the multimedia file made by the user is obtained according to the actual heartbeat measurement data and a correlation between reference heartbeat measurement data and an evaluation result.
The reference heartbeat measurement data is a heart rate value of the user in a normal peaceful state. Optionally, an average heart rate value of the user in a peaceful state within a certain time can be measured in advance and used as reference heartbeat measurement data.
This embodiment provides a basic method for scoring a multimedia file by detecting the heart rate of a user. The measurement of actual heartbeat measurement data of a user during the playing of a multimedia file by a heart rate measurement device does not need the user to perform other operations, which is simple and convenient. An evaluation result of the multimedia file by the user is obtained according to the actual heartbeat measurement data and a correlation between reference heartbeat measurement data and an evaluation result. This evaluation result is directly obtained according to the heart rate of the user, which reflects the  user’s real emotion, can more accurately determine the popularity of the multimedia file, and avoids problems such as inaccurate score and so on.
Fig. 2 shows a flowchart of a method for multimedia evaluation based on heart rate measurement according to an optional embodiment of the present disclosure. As shown in Fig. 2, in an optional embodiment, the reference heartbeat measurement data includes a standard value of the heart rate of the user. The step S11 of obtaining an evaluation result of the multimedia file from the user according to the actual heartbeat measurement data and a correlation between reference heartbeat measurement data and an evaluation result includes the following steps.
S12: an average heart rate value of the user within a specified time interval is calculated during the playing of the multimedia file according to the actual heartbeat measurement data.
S13: an offset of the average heart rate value with respect to the standard value is calculated and a score of evaluation on the multimedia file by the user is calculated according to the offset and the score is reported.
In this embodiment, the step of obtaining an evaluation result of the multimedia file from the user according to the actual heartbeat measurement data and a correlation between reference heartbeat measurement data and the evaluation result is further described. Since during the playing of a multimedia file, the heart rate values of a user are easy to fluctuate merely in some intervals with nervous plots, by selecting these specified intervals to obtain an average heart rate value, the obtained result has better reference value compared to measuring an average heart rate value of the whole process. When the measurement result is calculated finally, taking an offset of the average heart rate relative to a standard value as a calculation standard is more accurate compared to other calculation methods.
Fig. 3 shows a flowchart of a method for multimedia evaluation based on heart rate measurement according to an optional embodiment of the present disclosure. As shown in Fig. 3, in an optional embodiment, the specified time interval is a preset important plot time period, and the multimedia file is provided with at least one important plot time period in advance. The step S12 of calculating an average heart rate value of the user within a specified time interval during the playing of the multimedia file according to the actual heartbeat measurement data includes the following steps.
S20: the heartbeats of the user within each of the at least one important plot time period is counted according to the actual heartbeat measurement data and the heartbeats are  divided by the length of the important plot time period to obtain an average heart rate value of the user within each important plot time period.
S21: a mean value of the average heart rate value of the user within each important plot time period is calculated to obtain an average heart rate value of the user within the specified time interval during the playing of the multimedia file.
Since the plots and durations which can make the heart rate of the user change in most multimedia files merely occupy a small portion of the total length of the multimedia files, if the average value of the heart rate values of the user during the entire playing of the multimedia file is taken as the above average heart rate value, the deviation of the obtained data from the heart rate value of the user in a normal state is relatively small, which is inconvenient to accurately determine the change of the user’s emotion.
In this embodiment, by setting an “important plot time period” ， the key plots of the multimedia file are marked out in advance, and an average heart rate value of the user merely within the important plot time period is calculated. This method can further highlight the change of the user’s heart rate in the key plots. In addition, since the user may perform other activities within other periods of the multimedia file except the important plot time period, such as pouring water, washing hands and even doing housework and so on, these activities may affect the determination accuracy when an overall average heart rate value is calculated. However, within the time periods of the important plot time period which may be attractive, the user usually browses the multimedia file carefully, and thus the heart rate values of the user within these time periods are of higher accuracy.
Fig. 4 shows a flowchart of a method for multimedia evaluation based on heart rate measurement according to an optional embodiment of the present disclosure. As shown in Fig. 4, in an optional embodiment, after the step S10 of acquiring actual heartbeat measurement data of a user sent by a heart rate measurement device during the playing of a multimedia file, the following steps are included.
S30: the heart rate of the user is monitored according to the actual heartbeat measurement data.
S31: if the heart rate of the user rises and exceeds a preset first threshold, this moment is recorded as a starting time point.
S32: if the heart rate of the user falls and is smaller than the first threshold, this moment is recorded as an ending time point.
S33: the moments of a starting point and an ending point of the important time period  are corrected by comparing the starting time point and the ending time point with the starting point and the ending point of the important plot time period.
The important plot time period is defined manually in advance, the determination of which is subjective to some extent. If it is found that the offset value between the time when the real-time heart rates of many users fluctuate and a preset important plot time period is relatively large, the starting point and the ending point of the important plot time period can be adjusted to be more accurate.
Optionally, when correcting the moments of the starting point and the ending point of the important plot time period, the heart rate change conditions of a certain number of users before and after each important plot time period can be determined, and if the difference between the starting points where the heart rates of most users fluctuate and the difference between the ending points where the heart rates of most users fluctuate are both small and the difference between the mean value of the starting points where the heart rates of most users fluctuate and the starting point of the important plot time period and the difference between the mean value of the ending points where the heart rates of most users fluctuate and the ending point of the important plot time period are both large, the starting point and the ending point of the important plot time period may be changed to the mean value of the starting points and the mean value of the ending points where the heart rates of most users fluctuate so that the subsequent measurement and calculation are more accurate.
It should be noted that expressions such as “first” and “second” used in the embodiments of the present disclosure are used for distinguishing two different entities or different parameters with the same name. Therefore, it would be appreciated that “first” and “second” are merely for the sake of convenience of description and should not be understood as a limitation to the embodiments of the present disclosure. This point will not be repeated in the subsequent embodiments.
As shown in the figure, in an optional embodiment, after step S12 of calculating an average heart rate value of the user within a specified time interval during the playing of the multimedia file according to the actual heartbeat measurement data, the following step may be included.
S40: it is determined whether the difference between the average heart rate of the user and the standard value reaches a preset first threshold within a first duration after the playing of the multimedia file is started, and if yes, then it is determined that the result of this measurement is invalid.
In order to prevent a user from performing other physical activities while browsing a multimedia file which may affect the accuracy in determining the heart rate, an average heart rate value of the user is calculated within a certain time after the playing of the multimedia file is started, and it is determined whether difference between the average heart rate value of the user and a standard value reaches a certain threshold at this moment, that is, whether the average heart rate value of the user at this moment is too high (or too low, for example, caused by an improper wearing of the heart rate measurement device) . If yes, then it is determined that this measurement result is invalid, avoiding the effect to the mean value of the overall evaluation score by the measured abnormal data, thus the scoring of the multimedia file is more accurate.
In an optional embodiment, in step S12, the calculating offset of the average heart rate value with respect to the standard value and calculating and reporting an evaluation score of the multimedia file by the user according to the offset may include the following steps.
S50: an average heart rate value of the user in a peaceful state is measured to be taken as a preset standard value N.
S51: an evaluation score
Figure PCTCN2017077017-appb-000003
is calculated, wherein Smax is a preset highest evaluation score, Smin is a preset lowest evaluation score, and n is the average heart rate value of the user within the specified time interval during the playing of the multimedia file.
Optionally, if S is greater than Smax or smaller than Smin, it is determined whether the deviation between S and Smax or between S and Smin is too large. A too large deviation indicates that an error occurs in this heart rate measurement process, and the result is not correct and should not be reported.
In other optional embodiments, other calculation formulas may be used to calculate the score. For example, according to the above calculation method, S is multiplied with an adjustment coefficient which increases with the increasing of the different between n and N. As such, if the deviation between the measurement average heart rate value of the user and the standard value is too large, this difference can be further expanded, so as to fully reflect the change of the user’s heart rate.
In an optional embodiment, S50 for measuring an average heart rate value of the user in a peaceful state includes the following steps.
S60: after a measurement instruction is acquired, time is kept from zero and the  heartbeats of the user are measured. The measurement instruction is sent out by the user. For example, an option of “measuring standard heart rate” may be added in the apparatus, after pressed down by the user, the apparatus receives a measurement instruction, and the user is prompted to keep calm through text or voice and so on. Then, the apparatus starts to keep and perform measurements.
S61: if the
Figure PCTCN2017077017-appb-000004
measured at a time t is smaller than a preset second threshold, an average heart rate value of the user within a second time period is measured from the time t and is used as the average heart rate of the user in a peaceful state. T is a preset time interval, B0 is the total heartbeats of the user before the time t, B1 is the total heartbeats of the user before the time t-T, and B2 is the total heartbeats of the user before the time t-2T. The meaning of this step is to compare whether the change of the average heartbeats of the user within two adjacent time intervals is small enough. If it is small enough, it indicates that the user has come into a relatively peaceful state, and the average heart rate of the user calculated within a certain time from this time may obtain a more accurate average heart rate value of the user in a peaceful state.
Fig. 5 shows a module diagram of an apparatus for multimedia evaluation based on heart rate measurement according to an embodiment of the present disclosure. As shown in Fig. 5, an apparatus for multimedia evaluation based on heart rate measurement provided according to an embodiment of the present disclosure includes: a data acquisition unit 70 configured to acquire actual heartbeat measurement data of a user sent by a heart rate measurement device during the playing of a multimedia file； and a data processing unit 71 configured to obtain an evaluation result of the multimedia file from the user according to the actual heartbeat measurement data and a correlation between reference heartbeat measurement data and an evaluation result.
In this embodiment, the measurement of actual heartbeat measurement data of a user during the playing of a multimedia file acquired by the data acquisition unit 70 does not need the user to perform other operations, which is simple and convenient. An evaluation result of the multimedia file by the user is obtained by the data processing unit 71 according to the actual heartbeat measurement data and a correlation between a reference heartbeat measurement data and an evaluation result. This evaluation result is directly obtained according to the heart rate of the user, which reflects the real emotion of the user, can be used to determine more accurately the popularity of the multimedia file, and avoids problems such  as an inaccurate score and so on.
In an optional embodiment, the reference heartbeat measurement data includes a standard value of the heart rate of the user, and the data processing unit 71 is configured to: 1) calculate an average heart rate value of the user within a specified time interval during the playing of the multimedia file according to the actual heartbeat measurement data； 2) calculate an offset of the average heart rate value with respect to the standard value； and 3) calculate and report an evaluation score of the multimedia file by the user according to the offset.
In an optional embodiment, the multimedia file is provided with at least one important plot time period in advance, and the data processing unit 71 includes: an important plot processing module 72 configured to count heartbeats of a user within each of the at least one important plot time period according to the actual heartbeat measurement data and divide the counted heartbeats number by the length of the important plot time period to obtain an average heart rate value of the user within each important plot time period； and further configured to calculate a mean value of the average heart rate value of the user within each important plot time period to obtain the average heart rate value of the user within the specified time interval during the playing of the multimedia file.
In an optional embodiment, the data processing unit 71 includes: an important plot correction module 73 configured to: monitor the heart rate of a user according to the actual heartbeat measurement data； record a time at which the heart rate of the user rises to exceed a preset first threshold as a starting time point； and record a time at which the heart rate of the user falls to be smaller than the first threshold as an ending time point. The important plot correction module 73 may be further configured to correct the times of a starting point and an ending point of the important time period by comparing the starting time point and the ending time point with the starting point and the ending point of the important plot time period.
In an optional embodiment, the data acquisition unit 70 is configured to obtain an average heart rate value of a user measured in a peaceful state as a preset standard value N. The data processing unit 71 includes an evaluation unit 74 configured to calculate an evaluation score
Figure PCTCN2017077017-appb-000005
wherein Smax is a preset highest evaluation score, Smin is a preset lowest evaluation score, and n is the average heart rate value of the user within the specified time interval which is measured during the playing of the multimedia file.
It can be seen from the above that in the method and apparatus for multimedia evaluation based on heart rate measurement provided in the embodiments of the present disclosure, actual heartbeat measurement data of a user during the playing of a multimedia file is acquired and an evaluation result of the multimedia file from the user is obtained according to the actual heartbeat measurement data and a correlation between reference heartbeat measurement data and an evaluation result. Since the evaluation result is generated based on the actual heartbeat measurement data of the user, the obtained evaluation result is a reflection of the real emotion of the user to the multimedia file, which can provide better reality and reference value compared to the manual scoring method and provide a reliable basis for multimedia file evaluation.
FIG. 6 provides an example of an apparatus according to one or more embodiments of the present disclosure. As shown in FIG. 6, the apparatus includes a central processing unit (CPU) 71, a storage medium 72, and a bus 73 that connects the CPU 71 and the storage medium 72. The storage medium 72 may store the computer executable instructions. When the computer executable instructions are executed by the CPU 71, the apparatus may perform the methods disclosed in this disclosure.
As would be appreciated by those skilled in the art, any of the embodiments discussed above is only exemplary and is not intended to imply that the scope of the present disclosure (including the claims) is limited to the examples. Without departing from the concept of the disclosure, the above embodiments or technical features of different embodiments may be combined, the steps may be performed in an arbitrary order, and there exist many other alterations for the above-described present disclosure in different aspects. For simplicity, these modified embodiments are not described in detail here.
In addition, in order to simply explain and discuss as well as not to obscure the present disclosure, well-known power/grounding connection of integrated circuit (IC) chips and other components may be shown or may not be shown in the provided drawings. Moreover, the devices may be illustrated via block diagrams to avoid obscuring the present disclosure； and moreover, real circumstances are also taken into account. That is, the details of the embodiments of these devices shown as the block diagrams are highly dependent on a platform for implementing the present disclosure, which indicates that these details should be totally in an understandable scope of those skilled in the art. Under the condition that the  specific details (e.g., circuits) are elaborated to describe the exemplary embodiments of the present disclosure, it is apparent for those skilled in the art that the present disclosure may be implemented if there is no specific detail or the specific details have changed. Therefore, the descriptions should be considered as illustrative but not restrictive.
Although the present disclosure is described with specific embodiments, based on the forgoing descriptions, lots of alternatives, modifications and variations of the embodiments will be apparent for ordinary skilled in the art. For example, other memory architectures (e.g., a dynamic RAM (DRAM) ) may be used in the discussed embodiments.
The present disclosure may include dedicated hardware implementations such as application specific integrated circuits, programmable logic arrays and other hardware devices. The hardware implementations can be constructed to implement one or more of the methods described herein. Applications that may include the apparatus and systems of various examples can broadly include a variety of electronic and computing systems. One or more examples described herein may implement functions using two or more specific interconnected hardware modules or devices with related control and data signals that can be communicated between and through the modules, or as portions of an application-specific integrated circuit. Accordingly, the computing system disclosed may encompass software, firmware, and hardware implementations. The terms "module, " "sub-module, " "unit, " or "sub-unit" may include memory (shared, dedicated, or group) that stores code or instructions that can be executed by one or more processors.
The embodiments of the present disclosure are intended to embrace all such alternatives, modifications and variations that fall within the wide range of the appended claims. Thus, any omission, modification, equivalent replacement, improvement and so on made within the spirit and principle of the present disclosure shall be encompassed by the protection scope of the present disclosure.

Claims (13)

  1. A method for multimedia evaluation based on heart rate measurement, comprising:
    acquiring actual heartbeat measurement data of a user sent by a heart rate measurement device during the playing of a multimedia file； and
    obtaining an evaluation result of the multimedia file from the user according to the actual heartbeat measurement data and a correlation between reference heartbeat measurement data and the evaluation result.
  2. The method according to claim 1, wherein the reference heartbeat measurement data comprises a standard value of the heart rate of the user, and the obtaining an evaluation result of the multimedia file from the user according to the actual heartbeat measurement data and a correlation between reference heartbeat measurement data and the evaluation result comprises:
    calculating an average heart rate value of the user within a specified time interval during the playing of the multimedia file according to the actual heartbeat measurement data； and
    calculating an offset of the average heart rate value with respect to the standard value, calculating and reporting a score of evaluation on the multimedia file by the user according to the offset.
  3. The method according to claim 2, wherein at least one important plot time period is preset in the multimedia file, and the calculating an average heart rate value of the user within a specified time interval during the playing of the multimedia file according to the actual heartbeat measurement data comprises:
    counting heartbeats of the user within each important plot time period according to the actual heartbeat measurement data and dividing the counted heartbeats number by the length of the important plot time period to obtain an average heart rate value of the user within each important plot time period； and
    calculating a mean value of the average heart rate value of the user within each important plot time period to obtain the average heart rate value of the user  within the specified time interval during the playing of the multimedia file.
  4. The method according to claim 3, wherein after acquiring actual heartbeat measurement data of a user sent by a heart rate measurement device during the playing of a multimedia file, the method comprises:
    monitoring the heart rate of the user according to the actual heartbeat measurement data；
    recording a time at which the heart rate of the user rises to exceed a preset first threshold as a starting time point；
    recording a time at which the heart rate of the user falls to be smaller than the first threshold as an ending time point； and
    correcting the time of a starting point and an ending point of the important time period by comparing the starting time point and the ending time point with the starting point and the ending point of the important plot time period.
  5. The method according to claim 2, wherein the calculating an offset of the average heart rate value with respect to the standard value and calculating a score of evaluation on the multimedia file by the user according to the offset amplitude comprises:
    measuring an average heart rate value of the user in a peaceful state as a preset standard value N； and
    calculating an evaluation score
    Figure PCTCN2017077017-appb-100001
    wherein Smax is a preset highest evaluation score, Smin is a preset lowest evaluation score, and n is the average heart rate value of the user within the specified time interval during the playing of the multimedia file.
  6. An apparatus for multimedia evaluation based on heart rate measurement, comprising:
    a data acquisition unit configured to acquire actual heartbeat measurement data of a user sent by a heart rate measurement device during the playing of a multimedia file； and
    a data processing unit configured to obtain an evaluation result of the  multimedia file by the user according to the actual heartbeat measurement data and a correlation between reference heartbeat measurement data and evaluation result.
  7. The apparatus according to claim 6, wherein the reference heartbeat measurement data comprises a standard value of the heart rate of the user, and the data processing unit is configured to: calculate an average heart rate value of the user within a specified time interval during the playing of the multimedia file according to the actual heartbeat measurement data； calculate an offset of the average heart rate value to the standard value； and calculate and report a score of evaluation on the multimedia file by the user according to the offset.
  8. The apparatus according to claim 7, wherein the multimedia file is provided with at least one important plot time period in advance, and the data processing unit comprises:
    an important plot processing module configured to count the heartbeats of the user within each important plot time period according to the actual heartbeat measurement data and divide the counted heartbeats number by the length of the important plot time period to obtain an average heart rate value of the user within each important plot time period； and further configured to calculate a mean value of the average heart rate value of the user within each important plot time period to obtain an average heart rate value of the user within the specified time interval during the playing of the multimedia file.
  9. The apparatus according to claim 8, wherein the data processing unit comprises:
    an important plot correction module configured to: monitor the heart rate of the user according to the actual heartbeat measurement data； record a time at which the heart rate of the user rises to exceed a preset first threshold as a starting time point； and record a time at which the heart rate of the user falls to be smaller than the first threshold as an ending time point； and the important plot correction module is further configured to correct the moments of a starting point and an ending point of the important time period by comparing the starting time  point and the ending time point with the starting point and the ending point of the important plot time period.
  10. The apparatus according to claim 7, wherein the data acquisition unit is configured to measure an average heart rate value of the user in a peaceful state and take same as a preset standard value N； and
    the data processing unit comprises an evaluation unit configured to calculate an evaluation score
    Figure PCTCN2017077017-appb-100002
    wherein Smax is a preset highest evaluation score,Smin is a preset lowest evaluation score, and n is the average heart rate value of the user within the specified time interval during the playing of the multimedia file.
  11. An electronic device, comprising:
    at least one processor； and
    a memory communicably connected with the at least one processor for storing instructions executable by the at least one processor, wherein execution of the instructions by the at least one processor causes the at least one processor to perform a method according to any one of claims 1 to 5.
  12. A non-transitory computer-readable storage medium storing executable instructions, wherein the instructions, when executed by an electronic device, cause the electronic device to perform a method according to any one of claims 1 to 5.
  13. A computer program product, the computer program product comprising a computer program stored on a non-transitory computer-readable storage medium, the computer program comprising program code which, when executed on a computer, causes the computer to perform a method according to any one of claims 1 to 5.
PCT/CN2017/077017 2016-03-22 2017-03-17 Method and apparatus for multimedia evaluation based on heart rate measurement WO2017162099A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201610166640.9 2016-03-22
CN201610166640.9A CN105852838A (en) 2016-03-22 2016-03-22 Multimedia evaluation method and terminal based on heart rate measurement

Publications (1)

Publication Number Publication Date
WO2017162099A1 true WO2017162099A1 (en) 2017-09-28

Family

ID=56625401

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/077017 WO2017162099A1 (en) 2016-03-22 2017-03-17 Method and apparatus for multimedia evaluation based on heart rate measurement

Country Status (2)

Country Link
CN (1) CN105852838A (en)
WO (1) WO2017162099A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468431A (en) * 2021-07-22 2021-10-01 咪咕数字传媒有限公司 Content recommendation method and device based on user behaviors
CN115670418A (en) * 2023-01-03 2023-02-03 深圳市研强物联技术有限公司 Data storage method based on smart watch user information

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105852838A (en) * 2016-03-22 2016-08-17 乐视网信息技术（北京）股份有限公司 Multimedia evaluation method and terminal based on heart rate measurement
CN109963180A (en) * 2017-12-25 2019-07-02 上海全土豆文化传播有限公司 Video information statistical method and device
CN110062283A (en) * 2018-01-18 2019-07-26 深圳光峰科技股份有限公司 A kind of method, movie playback machine and film server playing film
CN111714110A (en) * 2020-05-19 2020-09-29 成都云卫康医疗科技有限公司 Real-time heart rate calculation method based on PPG waveform
CN112887771A (en) * 2021-01-28 2021-06-01 Oppo广东移动通信有限公司 Video evaluation method and device, computer readable medium and electronic equipment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100190607A1 (en) * 2008-08-22 2010-07-29 Thinkfit, Llc Exercise device integrally incorporating digital capabilities for music, light, video and still imagery, heart rate measurement and caloric consumption
CN102523493A (en) * 2011-12-09 2012-06-27 深圳Tcl新技术有限公司 Method and system for grading television program according to mood
CN104349206A (en) * 2014-11-26 2015-02-11 乐视致新电子科技（天津）有限公司 Method, device and system for processing television information
CN105139695A (en) * 2015-09-28 2015-12-09 南通大学 EEG collection-based method and system for monitoring classroom teaching process
CN105852838A (en) * 2016-03-22 2016-08-17 乐视网信息技术（北京）股份有限公司 Multimedia evaluation method and terminal based on heart rate measurement

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2296508C2 (en) * 2001-06-15 2007-04-10 Дзе Трастиз Оф Дзе Юниверсити Оф Пенсильвания Functional cerebral visualization for detecting and evaluating the fraud and latent confession, and cognitive/emotional reaction to information
US8561095B2 (en) * 2001-11-13 2013-10-15 Koninklijke Philips N.V. Affective television monitoring and control in response to physiological data
US20110276993A1 (en) * 2007-04-06 2011-11-10 Ferguson Kenneth H Media Content Programming Control Method and Apparatus
US9247903B2 (en) * 2010-06-07 2016-02-02 Affectiva, Inc. Using affect within a gaming context
BR112013021503A2 (en) * 2011-02-27 2018-06-12 Affectiva Inc computer-implemented method for affection-based recommendations; computer program product incorporated into a computer readable medium; computer system for affection-based recommendations; and computer-implemented method for affect-based classification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100190607A1 (en) * 2008-08-22 2010-07-29 Thinkfit, Llc Exercise device integrally incorporating digital capabilities for music, light, video and still imagery, heart rate measurement and caloric consumption
CN102523493A (en) * 2011-12-09 2012-06-27 深圳Tcl新技术有限公司 Method and system for grading television program according to mood
CN104349206A (en) * 2014-11-26 2015-02-11 乐视致新电子科技（天津）有限公司 Method, device and system for processing television information
CN105139695A (en) * 2015-09-28 2015-12-09 南通大学 EEG collection-based method and system for monitoring classroom teaching process
CN105852838A (en) * 2016-03-22 2016-08-17 乐视网信息技术（北京）股份有限公司 Multimedia evaluation method and terminal based on heart rate measurement

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468431A (en) * 2021-07-22 2021-10-01 咪咕数字传媒有限公司 Content recommendation method and device based on user behaviors
CN115670418A (en) * 2023-01-03 2023-02-03 深圳市研强物联技术有限公司 Data storage method based on smart watch user information

Also Published As

Publication number Publication date
CN105852838A (en) 2016-08-17

Similar Documents

Publication Publication Date Title
WO2017162099A1 (en) Method and apparatus for multimedia evaluation based on heart rate measurement
CN105210067B (en) Computing a physiological state of a user related to physical exercise
US9446287B2 (en) Sensor-based athletic activity measurements
US20220039734A1 (en) Method and system for detecting concussion
WO2014070303A1 (en) Measuring psychological stress from cardiovascular and activity signals
CN114788918B (en) Method, device, equipment and storage medium for formulating reaction force training scheme
WO2017101195A1 (en) Heart rate detection method and device
US11040245B2 (en) Analysis apparatus, recording medium, and analysis method
RU2015144472A (en) MONITORING PATIENTS WITH COPD (CHRONIC OBSTRUCTIVE LUNG DISEASE) AFTER DISCHARGE FROM THE HOSPITAL USING A DYNAMIC BASIC LEVEL OF SYMPTOMS / MEASUREMENTS
RU2017121610A (en) METHOD FOR ASSESSING QUANTITATIVE INDICATORS BY USING THE CONFIDENCE INTERVAL WITH A LIMITED FREQUENCY OF MEASUREMENTS OF LIFE INDICATORS
US20180242909A1 (en) Meal intake detection device and meal intake detection method
JP2018153250A5 (en)
US20210186430A1 (en) Heart rate correction method and system and computer readable medium
EP3184042A1 (en) Electronic device and computer-readable recording medium
US20190269350A1 (en) Respiratory state estimation apparatus, respiratory state estimation method, and program recording medium
US20180345110A1 (en) Golf swing analysis from pre-strike sound
JP2017221550A (en) Biological information processing device, program, and biological information processing method
JP2014132934A (en) Measuring apparatus and measuring method
US20190313951A1 (en) Organism analyzing apparatus and organism analyzing method
US20200268299A1 (en) State display apparatus, state display system, and non-transitory computer readable medium storing program
KR101709609B1 (en) Electronic device and method for estimaining mental status, recording medium for performing the method
JP2020146403A5 (en)
US20170273615A1 (en) System and method for monitoring efficiency verses fatigue
KR20220047932A (en) Autonomous full spectrum biometric monitoring
US20210235998A1 (en) Method and Apparatus for Determining the Impact of Behavior-Influenced Activities on the Health Level of a User

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17769376

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17769376

Country of ref document: EP

Kind code of ref document: A1