WO2019036844A1 - Method, system and product for reminding a user of forgotten item - Google Patents

Abstract

Method, computer system and computer program product are disclosed for reminding a user of forgotten item. The method comprises obtaining contextual information about a sequence of the user's activities; determining a probability of forgetfulness based on the obtained contextual information and a learned behavior model; and providing a first reminder based on the probability of forgetfulness.

Description

METHOD, SYSTEM AND PRODUCT FOR REMINDING A USER OF FORGOTTEN ITEM Field of the Invention

Embodiments of the disclosure generally relate to information technologies and data processing, and, more particularly, to processing of contextual information.

Background

As human society grows in complexity, people usually carry many small items, such as keys, wallets/purses, glasses, mobile phones or chargers. It would be really inconvenient when people forget about one or more necessary items or actions. For example, people may rush out of their house or apartments to realize they have forgotten keys inside and are now locked outside, or jump on the subway train to realize they have left employee badges home. The time spent going back to home for the forgotten items could make them waste time or opportunity. Sometimes, it would result in financial loss or even safety issue of properties, for example, when forgetting to switch off gas, water or windows.

As a solution for this problem, one could simply stick a note on the door or in another obvious location, to remind a user of an item to be remembered. However, in some instances, such notes may be misplaced or removed by others. Moreover, since notes are not personalized, this solution is inconvenient, cumbersome, and potentially unobtrusive for a household that has more than one person.

Furthermore, there also have been provided a product with a transmitter and receiver for solving this problem. The receiver is carried by the user and the transmitter is placed in the user’s personal item, such as a purse or wallet. When the transmitter is moved more than certain distance away from the receiver, the receiver sounds an alarm, thus indicating that the purse or wallet has been left behind. However, this solution also has limitations, since the transmitter may be too large for small items such as keys, card or glasses. Moreover, both the transmitter and the receiver must use batteries at each end for the product to operate and batteries are  relatively bulky and periodically require replacement. Furthermore, both the receiver and the transmitter must be turned on, and the receiver must be carried on with the user.

Therefore, it is desirable to have a flexible and efficient method to remind people of forgotten item.

Summary

This Summary is provided to introduce a selection of concepts in a simplified form that are further described below in the Detailed Description. This Summary is not intended to identify key features or essential features of the claimed subject matter, nor is it intended to be used to limit the scope of the claimed subject matter.

According to one aspect of the disclosure, it is provided a method for reminding a user of forgotten item. Contextual information about a sequence of the user’s activities is obtained. A probability of forgetfulness is determined based on the obtained contextual information and a learned behavior model. A first reminder is provided based on the probability of forgetfulness.

According to another aspect of the present disclosure, it is provided a computer system for reminding a user of forgotten item. The computer system may comprise one or more processors, a memory coupled to at least one of the processors, and a set of computer program instructions stored in the memory and executed by at least one of the processors in order to perform actions of, obtaining contextual information about a sequence of the user’s activities, determining a probability of forgetfulness based on the obtained contextual information and a learned behavior model, and providing a first reminder based on the probability of forgetfulness.

According to still another aspect of the present disclosure, it is provided a computer program product for reminding a user of forgotten item, comprising a computer readable storage medium having program instructions embodied therewith. The program instructions is executable by a processor to cause the processor to:  obtain contextual information about a sequence of the user’s activities, determine a probability of forgetfulness based on the obtained contextual information and a learned behavior model, and provide a first reminder based on the probability of forgetfulness.

These and other objects, features and advantages of the disclosure will become apparent from the following detailed description of illustrative embodiments thereof, which is to be read in connection with the accompanying drawings.

Brief Description of the Drawings

Figure 1 is a schematic flowchart depicting a method for reminding a user of forgotten item according to an embodiment；

Figure 2 is an exemplary flowchart depicting a process for reminding a user of forgotten item according to an embodiment；

Figure 3 is an exemplary flowchart depicting a process for reminding a user of forgotten item according to another embodiment；

Figure 4 is an illustrative diagram of one HMM for “waking-up routine” according to an embodiment； and

Figure 5 is a schematic diagram of a computer system according to an embodiment.

Detailed Description

For the purpose of explanation, details are set forth in the following description in order to provide a thorough understanding of the embodiments disclosed. It is apparent, however, to those skilled in the art that the embodiments may be implemented without these specific details or with an equivalent arrangement.

As described herein, an aspect of the disclosure includes reminding a user of forgotten item. Figure 1 shows a flow chart depicting a method for reminding a user of forgotten item according to an embodiment.

In recent decades, the evolution of technology has prompted into the area of “intelligent home” . The intelligent universal home control system could not only automate operation of various devices or appliances within the home, but also monitor activities of a user in the home. According to contextual information about a user’s monitored activities, the home control system may provide the user a flexible reminding method of the forgotten items.

As shown in Figure 1, the process starts at step 110 by obtaining contextual information about a sequence of the user’s activities. The contextual information about a user’s activities may comprise any contextual information that is relevant or helpful for determining the user’s activities. For example, it may include environmental information (including, but not limited to, optical, light level, moisture, and noise) of the house or area where the user stays； information related to the user’s activities (including, but not limited to, cooking time, sleeping time and toileting time) ； the user’s physiological information (including, but not limited to, heart rate, blood pressure, and temperature) ； the user’s psychological information (which may be analyzed based on the user’s facial expression) ； and other contextual information (including, but not limited to, social information, schedule information, and communication information) . Usually, the contextual information can be obtained by a plurality of sensors or devices deployed in the house, or arranged on the user’s body) .

In an embodiment, there are a plurality of sensors deployed in the range of user’s home to obtain information about the user’s environment and activities. For example, the plurality of sensors may include, but is not limited to, motion sensor, sound sensor, optical sensor, airflow sensor, pressure sensor, door/door latch sensor, toilet-flush sensor, light level sensor, and moisture sensor. In addition, contextual  information may also be obtained or collected from a device or appliance used by the user. For example, the user devices may include, but is not limited to mattress, slippers, toilet, stove, oven, and television. For example, pressure sensors may be deployed in mattress and slippers, the motion and airflow sensors may be deployed in living spaces, and toilet-flush sensors may be deployed inside toilets.

In order to detect the user’s physiological information, the plurality of sensors or devices may be used, including, but is not limited to, heart rate monitor sensor, blood pressure sensor, and temperature sensor. Some of the sensors may be implemented in a variety of forms, including, but is not limited to, wristband, smart watch, or mobile phone. Specifically, the physiological sensors can be integrated into wristband, and worn on user’s wrist, so as to detect vital signs such as pulse, heartbeat and temperature.

Moreover, the plurality of sensors may also comprise a plurality of image or video sensors, such as image or video monitors, deployed in the range of user’s home. The image or video monitors may identify the facial expression of the user, such as frown, smile, and curl one’s lip. This information may then be used to analyze the user’s psychological status.

The system may also use other sources to obtain other important contextual information. Specifically, the system may be assigned the permission to access the user’s schedule arrangement applications, such as calendar at the mobile phone, to obtain the schedule information. The system may also access the user’s social applications, such as Facebook, Instagram, or WeChat, to obtain contextual information related to the user’s social activities or engagements. Moreover, the system may also access the user’s communication applications, such as SMS, or Email, to obtain contextual information from the user’s communications.

After obtaining contextual information about a sequence of the user’s activities, the process then proceeds to step 130, where the system may determine a  probability of forgetfulness for the user based on the obtained contextual information and a learned behavior model.

In an embodiment, at least one behavior model is trained by observing the user’s activities over a period of time (over a week or month) through the above-mentioned sensors or devices. Then, the behavior model of the user may comprise the user’s normal/usual behavior model, which may be a recurring activity pattern that is time based and includes a series of activities that the user typically performs on a regular basis. For example, the behavior model of the user may include information about user’s normal behavior patterns (such as, waking/sleeping routines, toilet usage) , activity schedules (such as bathing, breakfast cooking) , walking paths (normally when moving from room to room) , sequence or correlation between sensors/devices usage, expected background noises, appliance power use signatures, water usage, physiological data (such as sleeping quality, heartbeat rate, blood oxygen, temperature) , and facial expression.

As an example, the learned behavior model may determine the normal patterns of the user behavior. For example, the user’s “waking-up routine” may normally follow a path of the moves: bedroom -> bathroom -> kitchen -> front door. During this period of time, the user’s activities may comprise: getting out of bed -> toilet ->taking shower -> brushing teeth -> eating breakfast -> leaving front door.

According to an embodiment, the learned behavior model may comprise time information about the user’s normal activities. For example, normally the user gets out of bed at 6: 15, moves to toilet at 6: 17, finishes usage of toilet at 6: 22, finishes shower at 6: 32, finishes teeth brush at 6: 35, and finishes breakfast at 6: 55 and leaves home at 7: 00.

Additionally, the learned behavior model may also comprise physiological information about the user’s normal activities. For example, normally the user falls into sleep since 22: 00 and wakes up at 6: 10. The overall sleep time is around 8 hours.  The non-rem sleep time is around 90 minutes, turns over during sleep 15 times. The user’s normal heartbeat rate after waking up is 60.

Moreover, the learned behavior model may also comprise information about regular events that is related to the user. For example, the milkman leaves the user 3 pints at 6: 45 daily； the user’s colleague picks up the user at 7: 00 every working day.

Figure 2 is an exemplary flowchart depicting the process for reminding a user of forgotten item according to an embodiment. Steps similar to the above embodiments are assigned with similar numbers. Their descriptions are omitted for brevity. As shown in Figure 2, at step S220, before determining the probability of forgetfulness, the system needs to determine whether at least one causing factor for forgetfulness exists. Example of causing factors may include any one or combination of time pressure, anxiety, exhaustion, special situation, which are described in detail as follows.

Time pressure may be a causing factor for the user’s forgetfulness. For example, the learned behavior model may show that the user usually gets up at 6: 30 and leaves home at 7: 00 on workdays. However, in this morning, the obtained contextual information shows that the user got up at 6: 45. Then the system may assume that the user probably is under time pressure. For another example, the system may obtain a schedule arrangement from the user’s calendar, which shows the user is going to have a meeting at 8: 30 this morning that is earlier than the user’s usual arrival to office. However, the obtained contextual information shows that the user got up as usual in the morning. Then, the system may assume that the user is probably under time pressure. As another example, the system may obtain the user’s travel itinerary from the user’s emails, which shows the user need to arrive at another city today and has booked a flight at 9: 00. However, the user is detected to get up as usual in the morning. Then, the system may assume that the user is probably under time pressure.

Anxiety may be a causing factor for forgetfulness. For example, from the user’s text messages, the system may learn that there are several new fatal bugs at 6: 50, which have caused the user’s company or customer’s computer system crash. Then, the system may assume that the user is probably in an anxiety situation. For another example, the obtained context information may show that the user had a heat argument with his wife this morning. Then, the system may assume that the user is probably in an anxious situation.

Exhaustion may be a causing factor for forgetfulness. As an example, the obtained contextual information may show that the user’s sleep quality of last night was far lower than usual based on learned data. For instance, the non-rem sleep time last night was much shorter and the user turned over many more times than usual. Then, the system may assume that the user is probably in an exhausted situation. As another example, the obtained contextual information may show that the user did not return home until late last night after overdrank alcohols at a party. However, the user still got up as usual in the morning and the user’s level of alcohol is still high. Then, the system may assume that the user is probably in an exhausted situation.

Special or urgent situations may also be a causing factor for forgetfulness. For example, the learned behavior model may show that the user usually gets up at 6: 30 and leaves home at 7: 00 on workdays. Usually, there are no other activities during the “waking-up routine” besides getting out of bed, toilet usage, shower, teeth brush and taking breakfast. However, in this morning, the obtained contextual information may show that the user received an incoming call since 6: 45 and kept talking even until the user was going to leave. Then, the system may assume that the user is probably in a special situation. As another example, the learned behavior model may show that the user’s colleague usually picks up the user at 7: 03. But, today he/she arrived 5 minutes earlier than usual. Then, the system may assume that the user is probably in a special situation.

After at least one causing factor is determined, the system may further determine the probability of forgetfulness based on the obtained contextual information and a learned behavior model.

As an example, suppose the system has detected time pressure as a causing factor. For instance, the user got up later than usual today. Then the system may further determine whether there is any other evidence showing the user is really under time pressure. In this embodiment, this is done by comparing the obtained contextual information of the user’s activities today against the learned behavior model of the user’s “waking-up routine” . The following Table 1 shows the user’s normal “waking-up routine” the behavior model and today’s “waking-up routine” .

Table 1: comparison of “waking-up routines”

In light of the comparison results shown in above Table 1, the user’s “waking-up routine” of this morning has a few activities that are different from the learned behavior model.

As shown in Figure 2, at step S230, the system determines that one or more unusual/abnormal activities, which are different from the usual/normal activities of the user, among the sequence of the user’s activities, based on the obtained contextual information and the learned behavior model. Each of the unusual activities is assigned with a weight. Then, at step 234, the system calculates a weighted sum for the unusual activities. Last, at step 250, the system provides a first reminder if the weighted sum is over a threshold.

Specifically, according to an embodiment, every unusual activity may be assigned with an equal weight. As shown in the following Table 2, the weight of each unusual activity of “waking-up routine” is 10. Thus, the weighted sum of the “waking-up routine” is 100. Suppose that the threshold for the likely temporary forgetfulness during “waking-up routine” is 70, then, the weighted sum in this case is over the threshold.

Table 2: weights of unusual activities in “waking-up routine” with equal weights

Unusual behavior models	Weight	Weighted sum
Jump out of bed	10	10
Run out of bedroom	10	20
Skip the shower	10	30
Irregular toilet timing	10	40

Irregular teeth brush timing	10	50
Irregular breakfast timing	10	60
Irregular home leaving time	10	70
Faster velocity	10	80
Worry, flurry face expression	10	90
Faster heart beat rate	10	100

Alternatively, according to another embodiment, different activities may be assigned with different weights. More weights can be assigned to more revealing activities. For example, as shown in the following Table 3, the activity of “jump out of bed” is assigned with a weight 5, while the activity of “irregular home leaving time” is assigned with a weight 15. Thus, the weighted sum of the “waking-up” routine in this case is 100. Suppose that the threshold is still 70, then the weighted sum is also over the threshold.

Table 3: weights of unusual activities in “waking-up routine” with various weights

Unusual behavior models	Weight	Weighted sum
Jump out of bed	5	5
Run out of bedroom	10	15
Skip the shower	5	20
Irregular toilet timing	15	35
Irregular teeth brush timing	15	50
Irregular breakfast timing	15	65
Irregular home leaving time	15	80
Faster velocity	5	85
Worry, flurry face expression	10	95
Faster heart beat rate	5	100

By comparing the weighted sum against a threshold, the system may determine whether the probability of forgetfulness is high enough to provide a first reminder to the user.

Take the above “waking-up routine” as an example, as shown in Figure 2, at step 250, the system may provide a first reminder to the user since the weighted sum is over the threshold. Specifically, the first reminder could be in the form of audio, visual, or haptics. As an example, a display screen can be deployed near the entrance door of a house. When the system determines the user may forget about item or action, the system controls the display screen to display a reminder, such as “please check your item” . The first reminder may also be provided through other means or devices, such as, smart phone, PDA, tablet, computer, watch, wrist band, TV, speaker, etc.

According to another embodiment, the learned behavior model may comprise a plurality of hidden Markova models (HMMs) . HMM is a statistical Markov model in which a system being modeled is assumed to be a Markov process with unobserved (i.e. hidden) states and observed outputs. Each state has a probability distribution over the possible outputs, since each output is dependent on its state. Therefore, the maximum likelihood estimate of a state of an HMM can be derived based on an output sequence of the HMM.

As for the learned behavior model, each of the HMMs can be built by training with one or more similar sequences of the user’s activities. The user’s activities, such as behavior patterns, path, timing or physiological data, could be observed, thus could be considered as the output of HMM. The reasons for the user’s activities are invisible to the system, thus could be considered as the hidden state of HMM.

Figure 2 is an exemplary flowchart depicting the process for reminding a user of forgotten item according to the embodiment. Steps similar to the above embodiments are assigned with similar numbers. Their descriptions are omitted for brevity. As shown in Figure 3, similar to the above-described embodiments,  contextual information is obtained at step S110. Then, it is determined at step S220 whether at least one causing factor for forgetfulness exists.

Then, the process proceeds to step S332, where the system may choose, among the plurality of HMMs, an HMM that best matches the obtained contextual information.

As described above, the HMM behavior models can be trained by observing the user’s activities over a period of time (over a week or month) through the above-mentioned sensors or devices. The HMM models may be classified into at least two categories: “likely forgetfulness” and “non-likely forgetfulness” . This can be done with or without the user’s intervention. For example, when training the learned behavior model, the user may indicate the actual forgetfulness result for an observed sequence of activities. As an example, the user may indicate to the system that he/she did forget to bring the key in that morning. Alternatively, the system may also classify the learned HMM models through self-learning.

For an HMM behavior model, the activities in it may be regarded as in either “normal/usual” state (such activity is referred as “normal/usual” activity) or “abnormal/unusual” state (such activity is referred as “abnormal/unusual” activity) . The “abnormal” state may be related to a causing factor for forgetfulness, such as time pressure, anxiety, exhaustion and special situation.

Figure 4 shows an exemplary HMM for “waking-up routine” according to an embodiment. A sequence of the user’s activities include: getting out of the bed, going out of the bedroom, shower time, toilet time, breakfast time and home living time. As shown in Figure 4, for a specific morning, the obtained contextual information may show: “jump out of bed” (X1) , “run out of bedroom” (X2) , “regular shower timing” (X3) , “regular teeth brush timing” (X4) , “irregular breakfast timing” (X5) , and “irregular home leaving timing” (X6) .

Specifically, “jump out of bed” , “run out of bedroom” , “irregular breakfast timing” , and “irregular home leaving timing” are “abnormal” activities due to time pressure. On the other hand, “regular shower timing” and “regular teeth brush timing” are “normal” activities.

It should be noted that, even in one observed sequence of activities, the reasons causing the “abnormal” or “normal” activities may not be the same. In other words, the observed activity sequence in an HMM may comprise “abnormal” activities, caused by any one or combination of causing factors, such as time pressure, anxiety, exhaustion, or special situation.

At step S332, the system may use forward algorithm to compute the probability of an observed sequence of the user’s activities given a particular learned HMM behavior model. Thus, the system may choose the most probable HMM that best matches the user’s behavior observed in the specific morning as shown in the contextual information obtained that morning.

Below is a function of an HMM, λ＝triple (π, A, B) , where

Π＝ (π_i) vector of the initial state probabilities, where

π_i initial state propability；

A＝ (a_ij) state transition matrix, where

probability of state x_i at time t, given state x_j at time t-1, where x_i is the state of HMM；

B＝ (b_ij) confusion matrix, where

b_ij＝Pr (y_i|x_j) probability of output y_i, given state x_j at time t, where y_i is the observable output of HMM.

For a learned HMM, the triple (π, A, B) is known.

Suppose the “waking-up routine” has a T long observation sequence, which can be expressed as:

where, y is the observable user’s activity.

Intermediate probabilities (α) are calculated recursively by first calculating α for all states at t＝1,

Then for each consecutive time step, where the user’s activities are observed, for example, at 6: 15, 6: 20, 6: 30 etc., t ＝ 2, ... , T. The partial probability is calculated for each state:

That is, the partial probability is the product of the appropriate observation probability and the sum over all possible routes to that state, exploiting recursion with the known values from the previous time step.

Therefore, the probability of the observation can be derived based on the sum of all partial probabilities, given the HMM, λ＝ (π, A, B) .

Suppose there are a plurality of trained HMM behavior models in the system for “waking-up routine” , the system may calculate the matching probability for each HMM, at step 334. In this way, the HMM with the highest matching probability is the most probable HMM for “waking-up routine” . If the most probable HMM is within the category of “likely forgetfulness” HMMs, the system may determine that the user may have probably forgotten some items/actions. Then, the system provides the first reminder at step S350, as shown in Figure 3.

In another embodiment, prior to the process of HMM determination, the system may determine the probable reason (s) to cause temporary forgetfulness. Then, the system may give higher priority of relevant HMM (s) on the basis of probable reason (s) . For example, the system detects the user gets up later than usual, the system may give higher priority to HMM (s) related to time pressure.

Furthermore, the system may also use previous HMM as the initial state to determine the HMM for next T long observation. For example, the system may detect that the user went home much later than usual with a pretty high alcohol level that night. Then, the system may assume that the user’s sleep quality would probably be lower than usual. In this situation, the system can observe the user’s sleep quality based on physiological information such as breathing rate, heart rate, alcohol content decrease rate, motion information such as amounts of turning over during the sleep. Then the system may determine the user’s sleep quality based on learned HMMs for “night sleeping routine” . When the most probable HMM is determined to be a “poor sleeping” HMM, then the system may use the “poor sleeping” HMM for “night sleeping routine” as the initial state to determine the HMM for “waking-up routine” . This process may help the system to determine the most probable HMM for next T long observation more accurately and efficiently.

In another embodiment, the system may also determine which specific item or action might have been forgotten by the user. Thus, the user can be given a more helpful reminder with respect to the specific item or event.

To determine which item/action might be forgotten, the system may use Viterbi algorithm to determine the sequence of hidden states that have most likely generated the sequence of the observations. From the sequence of hidden states, the system may choose the state (s) where the user might forget some items/actions, and then determine the particular items/actions that might have been forgotten.

The Viterbi algorithm may be summarized formally as follows.

For each i (i ＝ 1, ... , n) let:

This initializes the probability calculations by taking the product of the initial hidden state probabilities with the associated observation probabilities.

For t ＝ 2, ... , T, and i ＝ 1, ... , n,

Thus, the system may determine the most probable route to the next state, remembering how to get there. This is done by considering all products of transition probabilities with the maximal probabilities already derived for the preceding step. The largest probability is remembered, together with what provoked it.

Let

i_t＝arg max(δ_T(i))

Thus, it is determined which state at system completion (t＝T) is the most probable.

Then, for t ＝ T -1, ... , 1 let:

Thus, the system may backtrack through the trellis, following the most probable route. On completion, the sequence i1 ... iT will hold the most probable sequence of hidden states for the observation sequence in hand.

Taking the observation sequence in Figure 4 as an example, the six activities include “jump out of bed” , “run out of bedroom” , “regular shower timing” , “regular teeth brush timing” , “irregular breakfast timing” , and “irregular home leaving time” ,  which are identifies as in “normal” or “abnormal” state. The observations and the most probable hidden states (marked with underlines) are illustrated in Figure 4.

In this case, the system may determine which activity was done by the user in an abnormal state. This may lead to the temporary forgetfulness. For example, as shown in Figure 4, the user was in an abnormal state (e.g. under time pressure) when being in bedroom, kitchen and leaving home. On the basis of learned behavior models, the system may acknowledge that the user always brings mobile phone to bedroom for charging, uses stoves to cook breakfast, and locks backdoor when leaving home. Thus, the system can determine that the user observed behavior today is within in “likely forgetfulness” HMMs and that the user might have probably forgotten some items/actions during the activities X1, X2, X5 and X6, which were in abnormal state. As a result, the system may alert the user for forgetfulness and remind user to check mobile phone, to switch off stove and to lock back door.

In another embodiment, the system may also obtain additional contextual information from a source relevant to the user, and provide a second reminder based on the additional contextual information and the user’s activities. Specifically, the system may access user’s social or mail applications to acquire the user’s arrangement, conversations or other information in order to check if the user might forget some special items/actions. For example, the system may determine from the conversations in Skype that the user promised to bring a book to his colleague. However, the obtained contextual information shows that the user did not go to the book cabinet. Then, the system may remind the user to bring the promised book. For another example, the system may acquire the weather prediction from the internet, which says it would be rainy in the afternoon, then the system may remind user to bring umbrella.

Under the same inventive concept, another embodiment of the disclosure can provide a computer system for reminding a user of forgotten item. The computer system may comprise one or more processors, a memory coupled to at least one of the  processors, and a set of computer program instructions stored in the memory and executed by at least one of the processors in order to perform actions of, obtaining contextual information about a sequence of the user’s activities, determining a probability of forgetfulness based on the obtained contextual information and a learned behavior model, and providing a first reminder based on the probability of forgetfulness.

Figure 5 shows a schematic diagram depicting the computer system 500 according to an embodiment. The computer system 500 comprises a processor 510 and a memory 520. The processor 510 and the memory 520 are respectively coupled, directly or through an intermediate media, to an I/O interface through a bus line. The memory 520 stores a set of computer program instruction.

In an embodiment, the set of computer program instructions when executed performs actions of determining existence of one or more causing factors for forgetfulness, before determining the probability of forgetfulness.

In an embodiment, the one or more factors comprise any one or combination of time pressure, anxiety, exhaustion and special situation.

In an embodiment, the set of computer program instructions when executed performs actions of determining one or more unusual activities among the sequence of the user’s activities based on the obtained contextual information and the learned behavior model, wherein each of the unusual activities is assigned with a weight； and calculating a weighted sum for the unusual activities； wherein the set of computer program instructions when executed performs actions of providing the first reminder when the weighted sum is over a threshold.

In an embodiment, the learned behavior model comprises a plurality of hidden Markova models (HMM) trained with a plurality of similar sequences of user’s activities； the set of computer program instructions when executed performs actions of choosing, among the plurality of HMMs, an HMM that best matches the obtained  contextual information； and determining the probability of forgetfulness based on the chosen HMM.

In an embodiment, the set of computer program instructions when executed performs actions of determining a hidden state for at least one of the user’s activity based on the chosen HMM； and identifying a probable forgotten item based on the determined hidden state； wherein the first reminder indicates the probable forgotten item.

In an embodiment, the set of computer program instructions when executed performs actions of obtaining additional contextual information from a source relevant to the user； and providing a second reminder based on the additional contextual information and the user’s activities.

In an embodiment, the set of computer program instructions when executed performs actions of training a behavior module with observed contextual information of the user.

Under the same inventive concept, another embodiment of the disclosure can provide a computer program product for reminding a user of forgotten item. The computer program product comprises a non-transitory computer readable storage medium having program instructions embodied therewith. The program instructions is executable by a processor to cause the processor to: obtain contextual information about a sequence of the user’s activities, determine a probability of forgetfulness based on the obtained contextual information and a learned behavior model, and provide a first reminder based on the probability of forgetfulness.

In an embodiment, the program instructions executable by the processor further cause the processor to determine one or more unusual activities among the sequence of the user’s activities based on the obtained contextual information and the learned behavior model, wherein each of the unusual activities is assigned with a weight； and calculate a weighted sum for the unusual activities； wherein the program  instructions executable by the processor cause the processor to: provide the first reminder when the weighted sum is over a threshold.

In an embodiment, the learned behavior model comprises a plurality of hidden Markova models (HMM) trained with a plurality of similar sequences of user’s activities； the program instructions executable by the processor further cause the processor to choose, among the plurality of HMMs, an HMM that best matches the obtained contextual information； determine the probability of forgetfulness based on the chosen HMM.

In an embodiment, the program instructions executable by the processor further cause the processor to determine a hidden state for at least one of the user’s activity based on the chosen HMM； and identify a probable forgotten item based on the determined hidden state； wherein the first reminder indicates the probable forgotten item.

It is noted that any of the components of the computer system can be implemented as hardware or software modules. In the case of software modules, they can be embodied on a tangible computer-readable recordable storage medium. All of the software modules (or any subset thereof) can be on the same medium, or each can be on a different medium, for example. The software modules can run, for example, on a hardware processor. The method steps can then be carried out using the distinct software modules, as described above, executing on a hardware processor.

Additionally, an aspect of the disclosure can make use of software running on a general purpose computer or workstation. Such an implementation might employ, for example, a processor, a memory, and an input/output interface formed, for example, by a display and a keyboard. The term “processor” as used herein is intended to include any processing device, such as, for example, one that includes a CPU (central processing unit) and/or other forms of processing circuitry. Further, the term “processor” may refer to more than one individual processor. The term “memory” is intended to include memory associated with a processor or CPU, such  as, for example, RAM (random access memory) , ROM (read only memory) , a fixed memory device (for example, hard drive) , a removable memory device (for example, diskette) , a flash memory and the like. The processor, memory, and input/output interface such as display and keyboard can be interconnected, for example, via bus as part of a data processing unit. Suitable interconnections, for example via bus, can also be provided to a network interface, such as a network card, which can be provided to interface with a computer network, and to a media interface, such as a diskette or CD-ROM drive, which can be provided to interface with media.

Accordingly, computer software including instructions or code for performing the methodologies of the disclosure, as described herein, may be stored in associated memory devices (for example, ROM, fixed or removable memory) and, when ready to be utilized, loaded in part or in whole (for example, into RAM) and implemented by a CPU. Such software could include, but is not limited to, firmware, resident software, microcode, and the like.

As noted, aspects of the disclosure may take the form of a computer program product embodied in a computer readable medium having computer readable program code embodied thereon. Also, any combination of computer readable media may be utilized. The computer readable medium may be a computer readable signal medium or a computer readable storage medium. A computer readable storage medium may be, for example, but not limited to, an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples (a non-exhaustive list) of the computer readable storage medium would include the following: an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing. In the context of this document, a computer readable storage medium may be any tangible medium that can contain, or store a  program for use by or in connection with an instruction execution system, apparatus, or device.

Computer program code for carrying out operations for aspects of the disclosure may be written in any combination of at least one programming language, including an object oriented programming language such as Java, Smalltalk, C++ or the like and conventional procedural programming languages, such as the "C" programming language or similar programming languages. The program code may execute entirely on the user's computer, partly on the user's computer, as a stand-alone software package, partly on the user's computer and partly on a remote computer or entirely on the remote computer or server.

The flowchart and block diagrams in the Figures illustrate the architecture, functionality, and operation of possible implementations of systems, methods and computer program products according to various embodiments of the disclosure. In this regard, each block in the flowchart or block diagrams may represent a module, component, segment, or portion of code, which comprises at least one executable instruction for implementing the specified logical function (s) . It should also be noted that, in some alternative implementations, the functions noted in the block may occur out of the order noted in the Figures. For example, two blocks shown in succession may, in fact, be executed substantially concurrently, or the blocks may sometimes be executed in the reverse order, depending upon the functionality involved. It will also be noted that each block of the block diagrams and/or flowchart illustration, and combinations of blocks in the block diagrams and/or flowchart illustration, can be implemented by special purpose hardware-based systems that perform the specified functions or acts, or combinations of special purpose hardware and computer instructions.

In any case, it should be understood that the components illustrated herein may be implemented in various forms of hardware, software, or combinations thereof, for example, application specific integrated circuit (s) (ASICS) , functional circuitry, an  appropriately programmed general purpose digital computer with associated memory, and the like. Given the teachings of the disclosure provided herein, one of ordinary skill in the related art will be able to contemplate other implementations of the components of the disclosure.

The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the disclosure. As used herein, the singular forms “a, ” “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” and/or “comprising, ” when used in this specification, specify the presence of stated features, integers, steps, operations, elements, and/or components, but do not preclude the presence or addition of another feature, integer, step, operation, element, component, and/or group thereof.

The descriptions of the various embodiments have been presented for purposes of illustration, but are not intended to be exhaustive or limited to the embodiments disclosed. Many modifications and variations will be apparent to those of ordinary skill in the art without departing from the scope and spirit of the described embodiments.

Claims (20)

1. A method for reminding a user of forgotten item, comprising:

   obtaining contextual information about a sequence of the user’s activities；

   determining a probability of forgetfulness based on the obtained contextual information and a learned behavior model； and

   providing a first reminder based on the probability of forgetfulness.
2. The method according to claim 1, further comprising:

   determining existence of one or more causing factors for forgetfulness, before determining the probability of forgetfulness.
3. The method according to claim 2, wherein the one or more factors comprise any one or combination of time pressure, anxiety, exhaustion and special situation.
4. The method according to claim 1, wherein the determining a probability of forgetfulness further comprises:

   determining one or more unusual activities among the sequence of the user’s activities based on the obtained contextual information and the learned behavior model, wherein each of the unusual activities is assigned with a weight； and

   calculating a weighted sum for the unusual activities；

   wherein the providing a first reminder further comprises: providing the first reminder when the weighted sum is over a threshold.
5. The method according to claim 1, wherein the learned behavior model comprises a plurality of hidden Markova models (HMM) trained with a plurality of similar sequences of user’s activities； the determining a probability of forgetfulness further comprises:

   choosing, among the plurality of HMMs, an HMM that best matches the obtained contextual information；

   determining the probability of forgetfulness based on the chosen HMM.
6. The method according to claim 5, further comprising:

   determining a hidden state for at least one of the user’s activity based on the chosen HMM； and

   identifying a probable forgotten item based on the determined hidden state；

   wherein the first reminder indicates the probable forgotten item.
7. The method according to claim 1, further comprising:

   obtaining additional contextual information from a source relevant to the user； and

   providing a second reminder based on the additional contextual information and the user’s activities.
8. The method according to claim 1, further comprising:

   training a behavior module with observed contextual information of the user.
9. A computer system, comprising:

   one or more processors；

   a memory coupled to at least one of the processors；

   a set of computer program instructions stored in the memory and executed by at least one of the processors in order to perform actions of:

   obtaining contextual information about a sequence of the user’s activities；

   determining a probability of forgetfulness based on the obtained contextual information and a learned behavior model； and

   providing a first reminder based on the probability of forgetfulness.
10. The computer system according to claim 9, wherein the set of computer program instructions when executed performs actions of:

    determining existence of one or more causing factors for forgetfulness, before determining the probability of forgetfulness.
11. The computer system according to claim 10, wherein the one or more factors comprise any one or combination of time pressure, anxiety, exhaustion and special situation.
12. The computer system according to claim 9, wherein the set of computer program instructions when executed performs actions of:

    determining one or more unusual activities among the sequence of the user’s activities based on the obtained contextual information and the learned behavior model, wherein each of the unusual activities is assigned with a weight； and

    calculating a weighted sum for the unusual activities；

    wherein the set of computer program instructions when executed performs actions of:providing the first reminder when the weighted sum is over a threshold.
13. The computer system according to claim 9, wherein the learned behavior model comprises a plurality of hidden Markova models (HMM) trained with a plurality of similar sequences of user’s activities； the set of computer program instructions when executed performs actions of:

    choosing, among the plurality of HMMs, an HMM that best matches the obtained contextual information； and

    determining the probability of forgetfulness based on the chosen HMM.
14. The computer system according to claim 13, wherein the set of computer program instructions when executed performs actions of:

    determining a hidden state for at least one of the user’s activity based on the chosen HMM； and

    identifying a probable forgotten item based on the determined hidden state；

    wherein the first reminder indicates the probable forgotten item.
15. The computer system according to claim 9, wherein the set of computer program instructions when executed performs actions of:

    obtaining additional contextual information from a source relevant to the user； and

    providing a second reminder based on the additional contextual information and the user’s activities.
16. The computer system according to claim 9, wherein the set of computer program instructions when executed performs actions of:

    training a behavior module with observed contextual information of the user.
17. A computer program product, comprising a non-transitory computer readable storage medium having program instructions embodied therewith, the program instructions executable by a processor to cause the processor to:

    obtain contextual information about a sequence of the user’s activities；

    determine a probability of forgetfulness based on the obtained contextual information and a learned behavior model； and

    provide a first reminder based on the probability of forgetfulness.
18. The computer program product according to claim 17, the program instructions executable by the processor further cause the processor to:

    determine one or more unusual activities among the sequence of the user’s activities based on the obtained contextual information and the learned behavior model, wherein each of the unusual activities is assigned with a weight； and

    calculate a weighted sum for the unusual activities；

    wherein the program instructions executable by a processor to cause the processor to: provide the first reminder when the weighted sum is over a threshold.
19. The computer program product according to claim 17, wherein the learned behavior model comprises a plurality of hidden Markova models (HMM) trained with a plurality of similar sequences of user’s activities； the program instructions executable by the processor further cause the processor to:

    choose, among the plurality of HMMs, an HMM that best matches the obtained contextual information；

    determine the probability of forgetfulness based on the chosen HMM.
20. The computer program product according to claim 19, the program instructions executable by the processor further cause the processor to:

    determine a hidden state for at least one of the user’s activity based on the chosen HMM； and

    identify a probable forgotten item based on the determined hidden state；

    wherein the first reminder indicates the probable forgotten item.

Images