WO2016089105A1 - 사용자의 상태를 나타내는 상태 데이터를 획득하는 방법 및 디바이스 - Google Patents

사용자의 상태를 나타내는 상태 데이터를 획득하는 방법 및 디바이스 Download PDF

Info

Publication number
WO2016089105A1
WO2016089105A1 PCT/KR2015/013043 KR2015013043W WO2016089105A1 WO 2016089105 A1 WO2016089105 A1 WO 2016089105A1 KR 2015013043 W KR2015013043 W KR 2015013043W WO 2016089105 A1 WO2016089105 A1 WO 2016089105A1
Authority
WO
WIPO (PCT)
Prior art keywords
state data
data
state
obtaining
user
Prior art date
Application number
PCT/KR2015/013043
Other languages
English (en)
French (fr)
Inventor
아카자와요시아키
심재환
히라사와코우수케
길민우
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015213452A external-priority patent/JP2016110631A/ja
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201580065848.5A priority Critical patent/CN107003736A/zh
Priority to US15/532,793 priority patent/US10878325B2/en
Publication of WO2016089105A1 publication Critical patent/WO2016089105A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition

Definitions

  • the present invention relates to a method and device for obtaining state data indicative of a state of a user based on sensor data obtained by a sensor.
  • the device may analyze the state of the user by using the sound, the image, and the bio signal of the user sensed by the sensor.
  • the device may provide various services to the user in consideration of the state of the user. For example, the device may recommend new content to the user based on the concentration, interest, and the like of the output content.
  • the sensor data may include noise or some sensor data may not be obtained. Accordingly, there is a need for a method capable of acquiring state data of a user even when noise is included in the sensor data or the device cannot obtain the sensor data.
  • An object of the present invention is to provide a method and device for obtaining state data indicating a state of a user based on sensor data acquired by a sensor. More specifically, the present invention provides a method and device capable of acquiring state data even when noise is included in sensor data or sensor data is not obtained.
  • state data indicating a state of the user may be effectively obtained.
  • FIG. 1 is a block diagram illustrating an internal structure of a device according to an embodiment.
  • FIG. 2 is a flowchart illustrating a method of obtaining state data according to an exemplary embodiment.
  • 3 is an exemplary view showing an example of an estimation model according to an embodiment.
  • FIG. 4 is a diagram illustrating an example of obtaining state data when a part of sensor data is missing, according to an exemplary embodiment.
  • FIG. 5 is an exemplary diagram illustrating an example of obtaining state data based on other state data according to an embodiment.
  • 6 to 11 are diagrams illustrating examples of obtaining state data according to an embodiment.
  • FIG. 12 is an exemplary diagram illustrating an example of a prediction model according to an embodiment.
  • FIG. 13 is a flowchart illustrating a method of obtaining state data at a predetermined time point based on a prediction model according to an embodiment.
  • FIG. 14 is a block diagram illustrating an internal structure of a device that acquires state data according to an embodiment.
  • 15 is a flowchart illustrating a method of obtaining state data using an estimation model selected based on a degree of noise included in sensor data according to an embodiment.
  • 16 is a diagram illustrating an example of obtaining state data based on an estimation model selected according to a degree of noise included in sensor data according to an embodiment.
  • 17 is a block diagram illustrating an internal structure of a device that acquires state data according to an embodiment.
  • a method of obtaining state data indicating a state of a user may include obtaining an estimation model including information for obtaining state data existing in a plurality of layers from sensor data including information obtained by a sensor. step; Obtaining at least one sensor data; Based on the estimation model, obtaining state data of a lower layer from the at least one sensor data; And based on the estimation model, obtaining state data of an upper layer from state data of the lower layer.
  • the method may further include obtaining a user's preference for content based on the obtained state data; Selecting at least one content to be recommended to the user based on the user's preference for the content.
  • the acquiring of the state data of the lower layer may determine at least one of a reliability value and a state value of the state data of the lower layer based on the degree of noise included in the sensor data.
  • the state value of the state data of the upper layer is determined based on the reliability value of the state data of the lower layer.
  • the method may further include obtaining a prediction model including information for obtaining state data of a predetermined time point from state data of a previous time point; Obtaining state data of a predetermined time point from state data of at least one time point based on the prediction model; And correcting the state data obtained by the estimation model using the obtained state data.
  • the at least one sensor data may include information about a degree of noise inclusion, and the obtaining of the state data of the upper layer may include: Selecting at least one estimation model; And based on the selected at least one estimation model, obtain state data of an upper layer from state data of the lower layer.
  • the selecting of the estimation model may include determining state data of a lower layer including noise based on information on whether the sensor data includes noise; And selecting an estimation model that does not include the state data of the lower layer including the noise.
  • the method may further include displaying or outputting information on a service to be provided to the user based on at least one of the obtained state data of the lower layer and state data of the upper layer.
  • a device for obtaining state data indicating a state of a user includes: a sensor for obtaining at least one sensor data; Obtain an estimation model including information for obtaining state data existing in a plurality of layers from the sensor data, obtain state data of a lower layer from the at least one sensor data, based on the estimation model, and A controller configured to obtain state data of an upper layer from state data of the lower layer based on an estimation model; And a display indicating a service to be provided to the user based on at least one of the obtained state data of the lower layer and state data of the upper layer.
  • any part of the specification is to “include” any component, this means that it may further include other components, except to exclude other components unless otherwise stated.
  • a part is “connected” with another part, this includes not only the case where it is “directly connected” but also the case where it is “electrically connected” with another element between them.
  • part refers to a hardware component, such as software, FPGA or ASIC, and “part” plays certain roles. However, “part” is not meant to be limited to software or hardware.
  • the “unit” may be configured to be in an addressable storage medium and may be configured to play one or more processors.
  • a “part” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables.
  • the functionality provided within the components and “parts” may be combined into a smaller number of components and “parts” or further separated into additional components and “parts”.
  • FIG. 1 is a block diagram illustrating an internal structure of a device according to an embodiment.
  • the device 100 may obtain state data indicating a state of a user based on sensor data acquired by a sensor.
  • the device 100 may obtain user's preference information regarding the content being output based on the state data.
  • the device 100 may select content to be recommended to the user based on the preference information, and provide the user with information about the selected recommended content.
  • the device 100 may provide the user with various services considering the user's state by using the user's state data.
  • the device 100 may be various types of terminal devices that may be used by a user.
  • the device 100 may be a personal computer (PC), a notebook computer, a mobile phone, a tablet PC, a navigation terminal, a smart phone, a smart watch, a smart band, It may include a smart glass, a wearable device, a personal digital assistant (PDA), a portable multimedia player (PMP), and a digital broadcasting receiver.
  • the device 100 is not limited to the example described above, and may include various kinds of apparatuses that are currently developed and commercialized or may be developed in the future.
  • the device 100 may transmit a sensor data obtainer 101, a state data acquirer 103, a content receiver 104, a content display unit 105, a content preference determiner 106, and a content preference transmitter.
  • the unit 107 may include a content recommendation result generator 108 and a content recommendation result display unit 109.
  • the sensor data acquisition unit 101 may acquire sensor data including information about a result detected by the sensor.
  • the sensor may observe the user or the user's surroundings and generate the result as sensor data.
  • sensor data may be generated by various types of devices capable of observing the surrounding environment, such as a camera, a microphone, a smart phone, a wearable device, a tablet PC, and a PC.
  • the ultraviolet sensor may detect a location or presence of a predetermined object.
  • the location recognition sensor may acquire location information of the terminal device equipped with the location recognition sensor.
  • the acceleration sensor may obtain information about the operation of the terminal device equipped with the acceleration sensor.
  • the camera may generate image data of an external environment.
  • the microphone may generate sound data in which sound of an external environment is recorded.
  • the sensor data may include information about a user or an environment surrounding the user obtained by various types of sensors.
  • Various types of sensors such as an ultraviolet sensor, a position sensor such as a GPS (global positioning system), an acceleration sensor, a microphone, and a camera, are provided in a terminal device that can be used by a user such as a smartphone, a wearable device, a tablet PC, a PC, and the like. To generate sensor data.
  • the above-described sensors may be provided in the device 100.
  • the sensor data may further include information about a degree of noise included in the information sensed by the sensor.
  • Information about the noise may be determined according to the operation state of the sensor or the value of the sensor data. Therefore, the device 100 may obtain the state data of the user based on the information about the noise of the sensor data.
  • the state data acquirer 103 may acquire state data of a lower layer by using one or more sensor data.
  • the state data obtainer 103 may acquire state data of a middle or upper layer by using state data of at least one lower layer.
  • state data regarding a front view of a face may be obtained based on at least one of image data photographed by a camera and audio data recorded by a microphone.
  • the state data acquisition unit 103 is configured to determine which direction the user face is facing. It may obtain state data including a.
  • the state data acquisition unit 103 may acquire state data regarding concentration, interest, fatigue, etc. of the user belonging to the middle or upper layer by using the state data regarding the front view of the face.
  • the state data of the lower layer may be obtained from one or more sensor data.
  • the state data of the upper or upper layer may be obtained from the state data of the lower layer.
  • the state data of a predetermined layer may be obtained from other kinds of state data of the same layer or state data of a higher layer.
  • the state data obtaining unit 103 may obtain state data of each layer by using an estimation model including information for obtaining state data from the sensor data.
  • the state data obtaining unit 103 may obtain state data of the user from the state data of the lower layer to the state data of the high layer using the estimation model.
  • the content receiver 104 may receive content from the outside.
  • the content receiver 104 may receive content through a network or ground wave.
  • the content receiver 104 may load the content stored in the memory of the device 100 without receiving the content from the outside.
  • Content received or loaded from the outside may be provided to the user by the content display unit 105.
  • the content display unit 105 may display the content received by the content receiving unit 104 on the display. When the content includes the audio signal, the content display unit 105 may output the content through the speaker. The content display unit 105 may transmit information about the content being displayed to the content preference determiner 106. The content preference determiner 106 may obtain a preference regarding the content of the user by using the information about the content being displayed.
  • the content preference determiner 106 may obtain a user's preference for the content by using the state data acquired by the state data acquirer 103. For example, the content preference determiner 106 may determine a preference value for the content corresponding to the state data in proportion to the interest and concentration values of the user's state data.
  • the preference information of the user's content determined by the content preference determiner 106 may be transmitted to the outside by the content preference transmitter 107.
  • the content preference information transmitted to the outside may be used to provide an advertisement or a service to a user in an external device.
  • the user's preference information may be used in the device 100 to provide an advertisement or a service to the user.
  • the content recommendation result generator 108 may generate information about content recommended to the user, based on the content preference information of the user. For example, the content recommendation result generator 108 may grasp characteristics of genres, actors, producers, and the like of content having high user preference. In addition, the content recommendation result generator 108 may select content having characteristics similar to the identified characteristic and generate information about the selected content as the content to be recommended to the user.
  • the content recommendation result display unit 109 may display, on a display, information about content recommended to the user generated by the content recommendation result generator 108. Alternatively, the content recommendation result display unit 109 may output information about content recommended to the user in various ways such as voice and vibration.
  • FIG. 2 is a flowchart illustrating a method of obtaining state data according to an exemplary embodiment.
  • the device 100 may obtain an estimation model including information for obtaining state data included in a plurality of layers from sensor data.
  • the estimation model may include information regarding which data each state data is obtained based on.
  • the device 100 may obtain state data of each layer from the sensor data using the estimation model.
  • the device 100 may acquire sensor data.
  • the sensor data may be obtained by a sensor provided in the device 100 or existing outside.
  • the sensor data may include information about the user or the user's surrounding environment.
  • the device 100 may obtain state data of a lower layer from sensor data based on the estimation model obtained in operation S210.
  • the state data of the lower layer may include state data that can be obtained directly from the sensor data.
  • the state data of the lower layer may be obtained from one or more sensor data, and the value of the state data may be determined according to whether the sensor data includes noise.
  • the state data may include a state value indicating a degree of state of a user and a confidence value indicating a degree of confidence in the state value.
  • the state value and the reliability value may be determined according to the degree of noise included in the sensor data.
  • the state value regarding the front view of the face may be determined as a value between 0 and 1 indicating a face direction based on at least one of image data photographed by a camera and audio data recorded by a microphone.
  • a value between 0 and 1 representing a face direction recognized by the image data and a voice direction recognized by the audio data may be determined.
  • the state value for the front view of the face may be determined based on the face direction value and the voice direction value.
  • the weight value of the sensor data may be determined according to the influence of the sensor data on the state data. As the reliability value or weight value of the sensor data is higher, the degree to which the corresponding sensor data is reflected on the state value may be increased.
  • the reliability value for the front view of the face may be determined according to at least one of the degree of noise included in each sensor data and the weight value of each sensor data.
  • the degree of noise inclusion of the sensor data may be determined based on an operation state of the sensor from which the sensor data is obtained, a value of the sensor data, and the like. For example, the degree of noise inclusion may be determined according to whether a predetermined attribute value of the sensor data is within a predefined range.
  • the weight value of the sensor data may be determined according to the degree to which the sensor data is related to each state data. Therefore, the weight value of the sensor data may include different values for each state data.
  • the device 100 may obtain state data of an upper layer from state data of a lower layer, based on the estimation model obtained in operation S210.
  • the state data of the upper layer may be obtained from the state data of the lower layer obtained based on the sensor data.
  • the state data of the upper layer may include a state value and a confidence value.
  • the state data of the upper layer may include the state value and the confidence value obtained based on the state value and the confidence value of the lower layer.
  • the device 100 may acquire the state data of the lower layer in consideration of the degree of noise included in the sensor data, the device 100 may effectively acquire the state data even when the sensor data includes noise.
  • the device 100 may display information on a service to be provided to the user on the display or output the vibration or sound through a vibrator or a speaker based on the state data of each layer.
  • 3 is an exemplary view showing an example of an estimation model according to an embodiment.
  • the estimation model may include information about state data or sensor data used to obtain each state data.
  • the value of the connection destination can be determined according to the value of the connection source of the arrow.
  • the apparatus for generating an estimation model may generate a estimation model as shown in FIG. 3 based on data related to each node by asking a user or collecting information about the user. For example, the device generating the estimation model may receive the user's feedback on the degree of interest determined based on the user's smile and voice size. Based on the feedback of the user, a weight value to be applied to the user's smile and voice size may be determined. Based on the collected information, an estimation model for the user may be generated by the machine learning algorithm. The estimation model may be generated for each user, but is not limited thereto, and an estimation model previously generated from the outside may be used.
  • the apparatus for generating the estimation model may be the device 100 or an external device.
  • the sensor layer may include sensor data acquired by the sensor.
  • the sensor layer may include sensor data obtained by a camera, a microphone, a smartphone, and a wearable device.
  • the lower layer may include state data that can be obtained as the sensor data is first processed.
  • state data such as a degree of awakening, a front view of a face, a front view of a body posture, a smile, and the like may be obtained from the image data acquired by the camera.
  • the state value of each state data may be determined as a value between 0 and 1.
  • the middle layer may include state data that may be obtained from state data of a lower layer.
  • state data such as concentration of content, interest, and gladness may be obtained from state data of a lower layer or state data of the same layer.
  • concentration of content is high
  • degree of interest may also be high. Therefore, the state data of the concentration or the interest may be obtained by referring to each other.
  • the upper layer may include state data that may be obtained from state data of an upper layer or a lower layer.
  • state data may be obtained from the state data of another layer, rather than directly derived from the sensor data.
  • the state data of the upper layer may be obtained based on sensor data obtained by a sensor provided separately for the state data.
  • the upper layer may include state data such as stress level, fatigue level, boring degree, and aggressiveness.
  • the state data of the upper layer or the state data of the upper layer may represent the subjective emotion of the user. Therefore, the estimation model for the middle layer or the upper layer may be generated based on a questionnaire result performed for the user or data obtained from a dedicated sensor separately prepared.
  • the user attribute hierarchy may include state data indicating user attributes. For example, status data regarding companionship, family composition, age, and the like may be included. State data of the user attribute hierarchy may be determined based on information collected about the user.
  • the state data of the upper layer may be determined based on the state data of the user attribute layer. For example, since an older user may easily become tired or bored, the state data regarding the degree of fatigue or boring of the upper layer may be determined based on the state data regarding age among user attributes.
  • FIG. 4 is a diagram illustrating an example of obtaining state data when a part of sensor data is missing, according to an exemplary embodiment.
  • image data that may be obtained by the camera may be lacked among the sensor data. Therefore, the state data about the degree of eyeball that can be obtained by the camera cannot be obtained, but the state data of the remaining lower layers may be obtained based on the sensor data of the microphone and the smartphone. In addition, the state data on the concentration of the middle layer may be obtained based on the state data of the remaining lower layers except the state data of the degree of blindness.
  • the device 100 may obtain state data according to the estimation model based on the remaining sensor data.
  • FIG. 5 is an exemplary diagram illustrating an example of obtaining state data based on other state data according to an embodiment.
  • state data for concentration may be obtained from four state data.
  • E i represents the state value of the i-th state data
  • C i represents the reliability of the i-th state data.
  • E i and C i values included in the state data for the concentration may be obtained as in Equations 1 and 2 below.
  • W ji represents a weight value that can be applied to the j-th state data to obtain the i-th state data.
  • the weight value may be a value between 0 and 1.
  • N represents the total number of state data used to obtain the i-th state data.
  • the i-th state data will be referred to as i-th state data for convenience.
  • 6 to 11 are diagrams illustrating examples of obtaining state data according to an embodiment.
  • E 5 and C 5 which are state values and reliability values included in the state data (fifth state data) of concentration, may be obtained as in Equations 5 and 6 below.
  • the state value and the confidence value of the fifth state data may be determined as a value of 1, which is the maximum value.
  • E 5 and C 5 which are state values and reliability values included in the state data of the concentration degree (fifth state data), may be obtained as in Equations 7 and 8 below.
  • the weight value of the first to fourth state data is 1, the first to fourth state data have a strong influence on the fifth state data. Since the reliability values of the first and second state data are 1, the values of the first and second state data have high reliability. However, since the reliability values of the third and fourth state data are zero, the values of the third and fourth state data have low reliability. For example, if a sensor capable of obtaining third and fourth state data is inoperable or inoperable, the confidence value may be determined to be zero.
  • the state value of the fifth state data may be determined as a value of 1 according to the value of the first state data with high reliability. However, since the reliability of the third and fourth state data having a strong influence on the fifth state data is low, the confidence value for the fifth state data may be determined as 0.5.
  • the fifth state data (concentration) has a high concentration because the eyes are wide open and the face faces the front. Comments are possible. A comment regarding the fifth state data may be provided to the user by being displayed on the display.
  • E 5 and C 5 which are state values and reliability values included in the state data of the concentration degree (fifth state data), may be obtained as in Equations 9 and 10 below.
  • the first and second state data since the weight value of the first and second state data is 1, the first and second state data have a strong influence on the fifth state data. However, since the weight value of the third and fourth state data is 0.1, the third and fourth state data have a weak influence on the fifth state data. In addition, since the reliability values of the first and second state data are 1, the values of the first and second state data have high reliability. However, since the reliability values of the third and fourth state data are zero, the values of the third and fourth state data have low reliability.
  • the state value of the fifth state data may be determined as a value of 1 according to the value of the first state data with high reliability. Although the reliability of the third and fourth state data is low, since the third and fourth state data have a weak influence on the fifth state data, the reliability value of the fifth state data may be determined as a high value of 0.91. .
  • E 5 and C 5 which are state values and reliability values included in the state data (fifth state data) of concentration, may be obtained as in Equations 11 and 12 below.
  • the weight value of the first and second state data is 1, the first and second state data have a strong influence on the fifth state data.
  • the weight value of the third and fourth state data is 0.1, the third and fourth state data have a weak influence on the fifth state data.
  • the reliability values of the first to third state data are 0, the values of the first to third state data have low reliability.
  • the reliability value of the fourth state data is 1, the value of the fourth state data has high reliability.
  • the state value of the fifth state data may be determined as a value of 1 according to the value of the fourth state data having high reliability. However, since only the value of the fourth state data having a weak influence on the fifth state data has high reliability, the confidence value for the fifth state data may be determined as a low value of 0.05.
  • E 5 and C 5 which are state values and reliability values included in the state data of the concentration degree (fifth state data), may be obtained as in Equations 13 and 14 below.
  • the weight value of the first and second state data is 1, the first and second state data have a strong influence on the fifth state data.
  • the weight value of the third and fourth state data is 0.1, the third and fourth state data have a weak influence on the fifth state data.
  • the reliability values of the first to fourth state data are 1, the values of the first to fourth state data have high reliability.
  • the state value of the fifth state data may be determined as a value of 0.09 according to the values of the first and second state data having a strong influence because all of the values of the first to fourth state data have high reliability. Since all values of the first to fourth state data have high reliability, the reliability value for the fifth state data may be determined as a high value of one.
  • the concentration value is' for the fifth state data (concentration) because the eyes are almost closed and the face faces away from the front direction. Is low. '
  • E 5 and C 5 which are state values and reliability values included in the state data (fifth state data) of concentration, may be obtained as in Equations 15 and 16 below.
  • the weight value of the first and second state data is 1, the first and second state data have a strong influence on the fifth state data. However, since the weight value of the third and fourth state data is 0.1, the third and fourth state data have a weak influence on the fifth state data. In addition, since the reliability values of the first, third and fourth state data are 1, the values of the first, third and fourth state data have high reliability. However, since the reliability value of the second state data is 0, the value of the second state data has low reliability.
  • the state value of the fifth state data may be determined as a value of 0.17 according to the values of the first and second state data having a strong influence. As the reliability of the second state data is low and the influence of the second state data having a low state value is lowered, the state value of the fifth state data of FIG. 11 is greater than the state value of the fifth state data of FIG. 10. Can be determined. In addition, as the reliability of the second state data having a high weight is low, the reliability value of the fifth state data of FIG. 11 may be determined to be 0.55, which is lower than the reliability value of the fifth state data of FIG. 10. Therefore, when the weight of the state data of low reliability among the state data of the connection source is high, the reliability of the state data of the connection destination can be lowered.
  • FIG. 12 is an exemplary diagram illustrating an example of a prediction model according to an embodiment.
  • the prediction model may include information for obtaining state data of a predetermined time point from state data of a previous time point.
  • the value of the connection destination can be determined according to the value of the connection source of the arrow, and the value indicated by the arrow represents a weight value.
  • the state value of the state data determined by the prediction model may be used to correct the state value determined by the estimation model.
  • the homogeneous state data at close time points may be similar to each other in that the state of the user may remain the same for a considerable time.
  • a prediction model may be determined.
  • the device generating the predictive model may collect data related to each node by asking a user or collecting information about the user, such as the device generating the predictive model.
  • the apparatus generating the predictive model may generate the predictive model according to the learned result using the collected data. Examples of the learning method include parameter learning using a Bayesian model, an optimal solution determining method using a genetic algorithm, and the like.
  • the prediction model of FIG. 12 may include the same state data of each layer at time points t-2, t-1, t, and t + 1.
  • the prediction model may include information about the state data and weights used to obtain the state data.
  • the state value P t (A) of the state data A at the time t that can be obtained according to the prediction model may be obtained according to Equation 17 below.
  • the device 100 may correct the E (A) value, which is a state value obtained by the estimation model, using the P t (A) value. For example, the device 100 may correct the average value of P t (A) and E (A) to the state value of the state data A.
  • FIG. 1 A is a state value obtained by the estimation model.
  • the reliability value C t (A) of the state data A at the time point t may be determined as the reliability value C (A) of the state data A obtained according to Equation 2 by the estimation model.
  • n a time width that can be referred to to obtain a state value of state data A of time t.
  • P t (A) represents the state value of state data A at time t
  • C t (A) represents the reliability value of state data A at time t.
  • W k, t (A) represents a weight value that can be applied to state data A at time k with respect to state data A at time t.
  • the device 100 may obtain a state value for the family configuration of the user attribute hierarchy at time t based on the state data of the family composition at time t-2 and t-1.
  • the device 100 may obtain a state value for the family composition at the time point t using the state data on the family composition at the time points t-2 and t-1 as shown in Equation 18 below.
  • a weight value that can be applied between time points may be determined as a high value.
  • the weight value that can be applied between time points may be determined as a low value.
  • FIG. 13 is a flowchart illustrating a method of obtaining state data at a predetermined time point based on a prediction model according to an embodiment.
  • the device 100 may obtain an estimation model including information for obtaining state data existing in a plurality of layers from sensor data, and obtain sensor data in operation S1320.
  • Sensor data may include information obtained by the sensor.
  • the device 100 may obtain state data of each layer from sensor data based on the estimation model.
  • the device 100 may obtain state data of a lower layer from sensor data, or obtain state data of an upper layer from state data of a lower or middle layer.
  • the device 100 may obtain state data of a user attribute layer for obtaining state data of a higher layer according to the estimation model.
  • the device 100 may obtain a prediction model including information for obtaining state data of a predetermined time point from state data of a previous time point.
  • the device 100 may obtain state data of a predetermined time point from state data of at least one time point using the prediction model.
  • the device 100 may obtain state data of a predetermined time point by using state data of another time point by using similarity of state data at adjacent time points.
  • the state data at another time point may be the same kind of state data as the state data at a predetermined time point.
  • the device 100 may correct the state data obtained by using the estimation model, using the state data obtained by using the prediction model.
  • FIG. 14 is a block diagram illustrating an internal structure of a device that acquires state data according to an embodiment.
  • the device 500 of FIG. 14 may correspond to the device 100 of FIG. 1.
  • the device 500 may select an estimation model based on the sensor data, and obtain state data indicating a state of the user using the selected estimation model.
  • one or more of a plurality of estimation models may be selected based on sensor data.
  • the device 500 includes a sensor data acquirer 501, a sensor data preprocessor 502, a state recognition engine selector 503, a state data acquirer 504, a content receiver 505,
  • the content display unit 506, the content preference determiner 507, the content preference transmitter 508, the content recommendation result generator 509, and the content recommendation result display unit 510 may be included.
  • the generation unit 509 and the content recommendation result display unit 510 may include the sensor data acquisition unit 101, the state data acquisition unit 103, the content reception unit 104, the content display unit 105, and the content preference determination unit of FIG. 1. 106, the content preference transmitter 107, the content recommendation result generator 108, and the content recommendation result display unit 109. Descriptions overlapping with those in FIG. 1 may be omitted.
  • the sensor data acquisition unit 501 may acquire sensor data including information about a result detected by the sensor.
  • the sensor may observe the user or the user's surroundings and generate the result as sensor data.
  • the sensor data may further include information regarding the degree of noise inclusion regarding the information sensed by the sensor. Therefore, the device 100 may obtain the state data of the user based on the degree of noise included in the sensor data.
  • the sensor data preprocessor 502 may preprocess the sensor data acquired by the sensor data acquirer 501.
  • the sensor data preprocessor 502 may extract information on the degree of noise inclusion from the sensor data.
  • the sensor data preprocessor 502 may analyze the sensor data to determine the degree of noise inclusion.
  • the sensor data preprocessor 502 may determine whether it is appropriate to extract the state data from the sensor data. When the user's state is not captured in the image data among the sensor data, the state data of the user is difficult to be obtained from the image data. Accordingly, the sensor data preprocessor 502 may generate information indicating whether the state data of the lower layer that can be directly obtained from the sensor data has a valid value or the degree of including noise.
  • the state recognition engine selector 503 may select an estimation model to be used for obtaining state data, based on the degree of noise included in the sensor data or the state data of the lower layer.
  • the apparatus for generating the estimation model may generate a plurality of estimation models for the user by learning the collected information about the user.
  • the estimation model may be generated in various forms according to the user's state or the surrounding environment.
  • the at least one state recognition engine may obtain state data of the user based on an estimation model corresponding to each state recognition engine.
  • State data obtained from sensor data containing noise or state data of a lower layer including noise may not include appropriate data due to noise. Accordingly, the state recognition engine selector 503 may select an estimation model that does not include center data including noise or state data of a lower layer including noise. When the estimation model is selected by the state recognition engine selector 503, state data of the user may be obtained by a state recognition engine corresponding to the selected estimation model.
  • the state data acquisition unit 504 may include at least one state recognition engine that may acquire state data of a user. State data of the user may be obtained by a state recognition engine corresponding to the estimation model selected by the state recognition engine selector 503.
  • the content receiver 505 may receive content from the outside or load content stored in a memory of the device 500.
  • the content display unit 506 may display the content received by the content receiver 505 on the display. When the content includes an audio signal, the content display unit 505 may output the content through the speaker.
  • the content display unit 506 may display information about a service to be provided to the user through a display based on state data of each layer, or may output the vibration or sound through a vibrator or a speaker.
  • the content preference determiner 507 may obtain a user's preference for the content by using the state data acquired by the state data acquirer 504.
  • the content recommendation result generator 509 may generate information about content that is recommended to the user based on the content preference information of the user.
  • the content recommendation result display unit 510 may display, on a display, information about content that is recommended to the user generated by the content recommendation result generator 509.
  • 15 is a flowchart illustrating a method of obtaining state data using an estimation model selected based on a degree of noise included in sensor data according to an embodiment.
  • the device 500 may acquire at least one estimation model and sensor data including information for obtaining state data.
  • the estimation model may include information regarding which data each state data is obtained based on.
  • the at least one estimation model may include different information according to a user's state or surrounding environment at the time of generating the estimation model.
  • the device 500 may select an estimation model for acquiring the state data based on whether the sensor data includes noise.
  • the device 500 may have different weights applied to the state data obtained by the estimation model using the sensor data determined to include the noise, according to the degree of noise inclusion.
  • the device 500 may obtain state data of each layer from sensor data based on the estimation model selected in operation S1520.
  • State recognition engines corresponding to each selected estimation model may obtain state data from sensor data based on the estimation model corresponding to each state recognition engine.
  • the device 500 may display information on a service to be provided to the user on the display based on state data of each layer, or may output the vibration or sound through a vibrator or a speaker.
  • 16 is a diagram illustrating an example of obtaining state data based on an estimation model selected according to a degree of noise included in sensor data according to an embodiment.
  • sensor data may be transferred from the plurality of sensors 300 to the sensor data preprocessor 502.
  • the sensor data preprocessor 502 may extract state data of a lower layer such as an eye direction, a degree of awakening, a smile, a body posture, a movement degree, a voice size, and the like from the sensor data.
  • state data of a lower layer such as an eye direction, a degree of awakening, a smile, a body posture, a movement degree, a voice size, and the like from the sensor data.
  • the noise is included in the sensor data, it may be determined that the state data of the lower layer obtained from the sensor data also includes the noise.
  • the state data is obtained based on the degree of noise included in the state data of the lower layer as illustrated.
  • the sensor data preprocessor 502 may determine the degree of noise inclusion of the state data of each lower layer.
  • the information on the degree of noise inclusion of the state data of the lower layer may be determined according to the information about the operation state of the sensor or the environment surrounding the sensor included in the sensor data. For example, the sensor data preprocessor 502 may generate information indicating the degree of noise inclusion with respect to the state data of the lower layer.
  • the state data of the smile and body posture may not have a valid value. Therefore, the information about the state data of the eye direction, the degree of eye opening, the degree of movement, and the voice size includes information indicating that the state data does not contain noise or contains noise that is small enough to determine that the value of the state data is valid. It may include. In addition, the information on the state data of the smile and body posture may include information indicating that the state data includes noise and is not valid.
  • the state recognition engine selector 503 may select the state recognition engine by selecting an estimation model based on information indicating the degree of noise inclusion of the state data of each lower layer generated by the sensor data preprocessor 502. .
  • the selection of the state recognition engine may be performed by determining a weight value for each state recognition engine as a value between 0 and 1.
  • the state recognition engine selector 503 may determine that the weight value for the selected state recognition engine is greater than 0 and less than or equal to 1, and the weight value for the unselected state recognition engine is 0.
  • Each state recognition engine may output the state data of the upper layer from the state data of the lower layer using the corresponding estimation model.
  • state data of a lower layer may be input to the state recognition engine through input nodes 1 to 6.
  • the state data of the upper layer may be output from the state recognition engine through the output nodes 1 to 9.
  • the intermediate node of the state awareness engine may correspond to the state data of the above middle layer.
  • the intermediate node may not be included in the state recognition engine according to the estimation model.
  • the example of the state recognition engine illustrated in FIG. 16 is merely an example, and each state recognition engine may acquire state data using various types of estimation models.
  • the state data of the upper layer which may be output through the output nodes 1 to 9 may be finally determined according to Equation 19 according to the weight value for the state recognition engine.
  • R is the upper layer state data that can be finally output from the state data acquisition unit 504, and n represents the total number of state recognition engines.
  • w i is a weight value applied to the state recognition engine i, and r i represents the state data output from the state recognition engine i.
  • the state recognition engine selector 503 may determine a weight value of the state recognition engines C, D, E, F, and G including the input nodes 3 and 4 corresponding to the state data of the smile and the body position as 0, respectively. have. In addition, the state recognition engine selector 503 may determine a weight value for the state recognition engines A, B, H, and I including the remaining input nodes 1, 2, 5, and 6 as a non-zero value.
  • the state recognition engine selector 503 is not limited to the example described above, and may differently determine the weight value according to the noise level of the state data.
  • the state recognition engine selector 503 may exclude some state recognition engines including an estimation model that is not suitable for acquiring state data according to a user's state.
  • the weight value of may be determined as 0.
  • the state data acquisition unit 504 may output the state data of the upper layer output from each state recognition engine based on the weight value determined by the state recognition engine selector 503.
  • the device 100 may display information about a service to be provided to the user on the display based on the state data of the upper layer obtained by the state data acquirer 504 on the display, or output the vibration or sound through a vibrator or a speaker. Can be.
  • 17 is a block diagram illustrating an internal structure of a device that acquires state data according to an embodiment.
  • the device 1700 may include a display 1710, a controller 1720, and a sensor 1730.
  • the display 1710 may display information regarding a service to be provided to the user based on the state data obtained by the device 1700. In addition, the display 1710 may display various contents according to a user request.
  • the present invention is not limited to the above-described example, and the device 1700 may display information about a service to be provided to a user on a display or output vibration or sound through a vibrator or a speaker based on state data of each layer. have.
  • the controller 1720 may obtain state data belonging to the plurality of layers from the sensor data using the estimation model.
  • the state data of the lower layer may be obtained from the sensor data, and the state data of the upper layer may be obtained from the state data of the lower layer.
  • the controller 1720 may provide a service to a user based on state data of a higher layer.
  • the controller 1720 may obtain state data of a predetermined time point from state data of a previous time point using a prediction model.
  • the controller 1720 may correct the state value of the state data obtained by using the estimation model using the state data obtained by using the prediction model.
  • the controller 1720 may select an estimation model based on the degree of noise included in the sensor data, and obtain state data based on the selected estimation model.
  • the controller 1720 may determine a weight value to be applied to the state data obtained from each estimation model, based on the degree of noise included in the sensor data.
  • the sensor 1730 may acquire sensor data including information about the user or the surrounding environment of the user.
  • the sensor 1730 may include various types of sensors such as a camera, a microphone, a position sensor, and an acceleration sensor.
  • the controller 1720 may obtain the state data of the user based on the sensor data acquired by the sensor 1730.
  • state data indicating a state of the user may be effectively obtained.
  • the method according to some embodiments may be embodied in the form of program instructions that may be executed by various computer means and recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.

Abstract

센서에 의해 획득된 센서 데이터로부터 복수 개의 계층에 존재하는 상태 데이터들을 획득하기 위한 추정 모델을 획득하고, 적어도 하나의 센서 데이터를 획득하고, 추정 모델에 기초하여, 적어도 하나의 센서 데이터로부터 하위 계층의 상태 데이터를 획득하고, 추정 모델에 기초하여, 상기 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득하는, 사용자의 상태를 나타내는 상태 데이터를 획득하는 방법이 개시된다.

Description

사용자의 상태를 나타내는 상태 데이터를 획득하는 방법 및 디바이스
본 발명은 센서에 의해 획득된 센서 데이터에 기초하여, 사용자의 상태를 나타내는 상태 데이터를 획득하는 방법 및 디바이스에 대한 것이다.
디바이스는 센서에 의하여 감지된 음향, 영상 및 사용자의 생체 신호 등을 이용하여, 사용자의 상태를 분석할 수 있다. 디바이스는 사용자의 상태를 고려하여 사용자에게 다양한 서비스를 제공하여 줄 수 있다. 예를 들면, 디바이스는 출력된 컨텐츠에 대한 사용자의 집중도, 흥미도 등에 기초하여, 사용자에게 새로운 컨텐츠를 추천해 줄 수 있다.
그러나, 센서의 작동 상태나 센서의 주변 환경에 따라서, 센서 데이터에 노이즈가 포함되거나 일부 센서 데이터가 획득되지 않을 수 있다. 따라서, 센서 데이터에 노이즈가 포함되거나 디바이스가 센서 데이터를 얻을 수 없는 경우에도, 사용자의 상태 데이터를 획득할 수 있는 방법이 필요하다.
본 발명이 해결하고자 하는 과제는 센서에 의해 획득된 센서 데이터에 기초하여, 사용자의 상태를 나타내는 상태 데이터를 획득하는 방법 및 디바이스를 제공하는데 있다. 구체적으로, 센서 데이터에 노이즈가 포함되어 있거나, 센서 데이터가 획득되지 않는 경우에도 상태 데이터를 획득할 수 있는 방법 및 디바이스를 제공하는데 있다.
일 실시 예에 의하면, 센서 데이터에 노이즈가 포함되어 있거나, 센서 데이터가 획득되지 않는 경우에도 사용자의 상태를 나타내는 상태 데이터를 효과적으로 획득할 수 있다.
도 1은 일 실시 예에 의한 디바이스의 내부 구조를 나타낸 블록도이다.
도 2는 일 실시 예에 의한 상태 데이터를 획득하는 방법을 나타낸 순서도이다.
도 3은 일 실시 예에 의한 추정 모델의 일 예를 나타낸 예시도면이다.
도 4는 일 실시 예에 의한 센서 데이터 일부가 누락된 경우, 상태 데이터를 획득하는 일 예를 나타낸 예시 도면이다.
도 5는 일 실시 예에 의한 다른 상태 데이터들에 기초하여 상태 데이터를 획득하는 일 예를 나타낸 예시 도면이다.
도 6 내지 도 11은 일 실시 예에 의한 상태 데이터를 획득하는 일 예를 나타낸 도면이다.
도 12는 일 실시 예에 의한 예측 모델의 일 예를 나타낸 예시 도면이다.
도 13은 일 실시 예에 의한 예측 모델에 기초하여 소정 시점의 상태 데이터를 획득하는 방법을 나타낸 순서도이다.
도 14는 일 실시 예에 의한 상태 데이터를 획득하는 디바이스의 내부 구조를 나타낸 블록도이다.
도 15는 일 실시 예에 의한 센서 데이터의 노이즈 포함 정도에 기초하여 선택된 추정 모델을 이용하여 상태 데이터를 획득하는 방법을 나타낸 순서도이다.
도 16은 일 실시 예에 의한 센서 데이터의 노이즈 포함 정도에 따라 선택된 추정 모델에 기초하여 상태 데이터를 획득하는 일 예를 나타낸 예시 도면이다.
도 17은 일 실시 예에 의한 상태 데이터를 획득하는 디바이스의 내부 구조를 나타낸 블록도이다.
일 실시 예에 의한 사용자의 상태를 나타내는 상태 데이터를 획득하는 방법은 센서에 의해 획득된 정보를 포함하는 센서 데이터로부터 복수 개의 계층에 존재하는 상태 데이터들을 획득하기 위한 정보를 포함하는 추정 모델을 획득하는 단계; 적어도 하나의 센서 데이터를 획득하는 단계; 상기 추정 모델에 기초하여, 상기 적어도 하나의 센서 데이터로부터 하위 계층의 상태 데이터를 획득하는 단계; 및 상기 추정 모델에 기초하여, 상기 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득하는 단계를 포함한다.
또한, 상기 획득된 상태 데이터에 기초하여, 컨텐츠에 대한 상기 사용자의 선호도를 구하는 단계; 상기 컨텐츠에 대한 상기 사용자의 선호도에 기초하여, 상기 사용자에게 추천할 컨텐츠를 적어도 하나 선택하는 단계를 더 포함한다.
또한, 상기 하위 계층의 상태 데이터를 획득하는 단계는 상기 센서 데이터의 노이즈 포함 정도에 기초하여, 상기 하위 계층의 상태 데이터에 대한 신뢰도 값 및 상태 값 중 적어도 하나를 결정한다.
또한, 상기 상위 계층의 상태 데이터를 획득하는 단계는 상기 하위 계층의 상태 데이터의 신뢰도 값에 기초하여, 상기 상위 계층의 상태 데이터의 상태 값을 결정한다.
또한, 이전 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득하기 위한 정보를 포함하는 예측 모델을 획득하는 단계; 상기 예측 모델에 기초하여, 적어도 하나의 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득하는 단계; 및 상기 획득된 상태 데이터를 이용하여, 상기 추정 모델에 의해 획득된 상태 데이터를 보정하는 단계를 더 포함한다.
또한, 상기 적어도 하나의 센서 데이터는 노이즈 포함 정도에 관한 정보를 포함하고, 상기 상위 계층의 상태 데이터를 획득하는 단계는 상기 센서 데이터의 노이즈 포함 정도에 관한 정보에 기초하여, 상기 획득된 추정 모델 중 적어도 하나의 추정 모델을 선택하는 단계; 및 상기 선택된 적어도 하나의 추정 모델에 기초하여, 상기 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득한다.
또한, 상기 추정 모델을 선택하는 단계는 상기 센서 데이터의 노이즈 포함 여부에 관한 정보에 기초하여, 노이즈가 포함된 하위 계층의 상태 데이터를 결정하는 단계; 및 상기 노이즈가 포함된 하위 계층의 상태 데이터를 포함하지 않는 추정 모델을 선택하는 단계를 포함한다.
또한, 상기 획득된 하위 계층의 상태 데이터 및 상위 계층의 상태 데이터 중 적어도 하나에 기초하여, 상기 사용자에게 제공될 서비스에 관한 정보를 표시하거나 출력하는 단계를 더 포함한다.
일 실시 예에 의한, 사용자의 상태를 나타내는 상태 데이터를 획득하는 디바이스는 적어도 하나의 센서 데이터를 획득하는 센서; 상기 센서 데이터로부터 복수 개의 계층에 존재하는 상태 데이터들을 획득하기 위한 정보를 포함하는 추정 모델을 획득하고, 상기 추정 모델에 기초하여, 상기 적어도 하나의 센서 데이터로부터 하위 계층의 상태 데이터를 획득하고, 상기 추정 모델에 기초하여, 상기 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득하는 제어부; 상기 획득된 하위 계층의 상태 데이터 및 상위 계층의 상태 데이터 중 적어도 하나에 기초하여, 상기 사용자에게 제공될 서비스를 표시하는 디스플레이를 포함한다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 일 실시 예에 의한 디바이스의 내부 구조를 나타낸 블록도이다.
일 실시 예에 의한 디바이스(100)는 센서에 의해 획득된 센서 데이터에 기초하여 사용자의 상태를 나타내는 상태 데이터를 구할 수 있다. 또한, 디바이스(100)는 상태 데이터에 기초하여 출력 중인 컨텐츠에 대한 사용자의 선호도 정보를 구할 수 있다. 디바이스(100)는 선호도 정보에 기초하여 사용자에게 추천할 컨텐츠를 선택하고, 선택된 추천 컨텐츠에 관한 정보를 사용자에게 제공하여 줄 수 있다. 상술된 예에 한하지 않고, 디바이스(100)는 사용자의 상태 데이터를 이용하여 사용자의 상태를 고려한 다양한 서비스를 사용자에게 제공하여 줄 수 있다.
일 실시 예에 의한 디바이스(100)는 사용자에 의해 이용될 수 있는 다양한 종류의 단말 장치일 수 있다. 예를 들면, 디바이스(100)는 PC(Personal Computer), 노트북 컴퓨터, 휴대폰(mobile phone), 태블릿 PC, 내비게이션(navigation) 단말기, 스마트폰(smart phone), 스마트 워치(smart watch), 스마트 밴드, 스마트 글래스(smart glass), 웨어러블 장치, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 디지털방송 수신기를 포함할 수 있다. 디바이스(100)는 상술된 예에 한하지 않고, 현재 개발되어 상용화되었거나 향후 개발될 수 있는 다양한 종류의 장치를 포함할 수 있다.
도 1을 참조하면, 디바이스(100)는 센서 데이터 획득부(101), 상태 데이터 획득부(103), 컨텐츠 수신부(104), 컨텐츠 표시부(105), 컨텐츠 선호도 결정부(106), 컨텐츠 선호도 전송부(107), 컨텐츠 추천 결과 생성부(108) 및 컨텐츠 추천 결과 표시부(109)를 포함할 수 있다.
센서 데이터 획득부(101)는 센서에 의해 감지된 결과에 관한 정보를 포함하는 센서 데이터를 획득할 수 있다. 센서는 사용자 또는 사용자의 주변 환경을 관측하여, 그 결과를 센서 데이터로 생성할 수 있다. 예를 들면, 카메라, 마이크, 스마트 폰, 웨어러블 장치, 태블릿 PC, PC 등 주변 환경을 관측할 수 있는 다양한 종류의 장치에 의해 센서 데이터가 생성될 수 있다. 자외선 센서는 소정 물체에 대한 위치 또는 존재 여부를 감지할 수 있다. 위치 인식 센서는 위치 인식 센서가 구비된 단말 장치의 위치 정보를 획득할 수 있다. 가속도 센서는 가속도 센서가 구비된 단말 장치의 동작에 관한 정보를 획득할 수 있다. 카메라는 외부 환경이 촬영된 영상 데이터를 생성할 수 있다. 마이크는 외부 환경의 소리가 녹음된 음향 데이터를 생성할 수 있다. 이에 한하지 않고, 센서 데이터는 다양한 종류의 센서에 의해 획득된 사용자 또는 사용자 주변 환경에 관한 정보를 포함할 수 있다. 자외선 센서, GPS(global positioning system)와 같은 위치 인식 센서, 가속도 센서, 마이크, 카메라 등 다양한 종류의 센서들은 스마트 폰, 웨어러블 장치, 태블릿 PC, PC 등과 같이 사용자에 의해 이용될 수 있는 단말 장치에 구비되어 센서 데이터를 생성할 수 있다. 또한, 상술한 예의 센서들은 디바이스(100)에 구비될 수도 있다.
더하여, 센서 데이터는 센서에 의해 감지된 정보에 포함된 노이즈 정도에 관한 정보를 더 포함할 수 있다. 센서의 작동 상태나 센서 데이터의 값에 따라 노이즈에 관한 정보가 결정될 수 있다. 따라서, 디바이스(100)는 센서 데이터의 노이즈에 관한 정보에 기초하여, 사용자의 상태 데이터를 구할 수 있다.
상태 데이터 획득부(103)는 하나 이상의 센서 데이터를 이용하여 하위 계층의 상태 데이터를 획득할 수 있다. 또한, 상태 데이터 획득부(103)는 하나 이상의 하위 계층의 상태 데이터를 이용하여 중위 또는 상위 계층의 상태 데이터를 획득할 수 있다. 예를 들면, 얼굴의 정면도에 관한 상태 데이터는 카메라에 의해 촬영된 영상 데이터와 마이크에 의해 녹음된 오디오 데이터 중 적어도 하나에 기초하여 획득될 수 있다. 영상 데이터에 의해 인식된 사용자의 얼굴 및 얼굴 방향과, 오디오 데이터에 포함된 목소리 크기 및 목소리 방향 중 적어도 하나에 기초하여, 상태 데이터 획득부(103)는 사용자 얼굴이 어느 방향으로 향해있는지에 관한 정보를 포함하는 상태 데이터를 획득할 수 있다. 또한, 상태 데이터 획득부(103)는 얼굴의 정면도에 관한 상태 데이터를 이용하여, 중위 또는 상위 계층에 속하는 사용자의 집중도, 흥미도, 피로도 등에 관한 상태 데이터를 획득할 수 있다.
하위 계층의 상태 데이터는 하나 이상의 센서 데이터로부터 획득될 수 있다. 또한, 중위 또는 상위 계층의 상태 데이터는 보다 낮은 계층의 상태 데이터로부터 획득될 수 있다. 이에 한하지 않고, 소정 계층의 상태 데이터는 동일 계층의 다른 종류의 상태 데이터 또는 더 높은 계층의 상태 데이터로부터 획득될 수도 있다. 상태 데이터 획득부(103)는 센서 데이터로부터 상태 데이터를 획득하기 위한 정보를 포함하는 추정 모델을 이용하여 각 계층의 상태 데이터를 획득할 수 있다. 상태 데이터 획득부(103)는 추정 모델을 이용하여 낮은 계층의 상태 데이터부터 높은 계층의 상태 데이터까지 사용자에 대한 상태 데이터를 획득할 수 있다.
컨텐츠 수신부(104)는 외부로부터 컨텐츠를 수신할 수 있다. 예를 들면, 컨텐츠 수신부(104)는 네트워크 또는 공중파(ground wave)를 통해 컨텐츠를 수신할 수 있다. 또는, 컨텐츠를 외부로부터 수신함이 없이 컨텐츠 수신부(104)는 디바이스(100)의 메모리에 저장된 컨텐츠를 로딩할 수 있다. 외부로부터 수신되거나 로딩된 컨텐츠는 컨텐츠 표시부(105)에 의해 사용자에게 제공될 수 있다.
컨텐츠 표시부(105)는 컨텐츠 수신부(104)에 의해 수신된 컨텐츠를 디스플레이를 통해 표시할 수 있다. 컨텐츠가 오디오 신호를 포함하는 경우, 컨텐츠 표시부(105)는 스피커를 통해 컨텐츠를 출력할 수 있다. 컨텐츠 표시부(105)는 표시 중인 컨텐츠에 관한 정보를 컨텐츠 선호도 결정부(106)로 전달할 수 있다. 컨텐츠 선호도 결정부(106)는 표시 중인 컨텐츠에 관한 정보를 이용하여, 사용자의 컨텐츠에 관한 선호도를 구할 수 있다.
컨텐츠 선호도 결정부(106)는 상태 데이터 획득부(103)에 의해 획득된 상태 데이터를 이용하여, 사용자의 컨텐츠에 대한 선호도를 구할 수 있다. 예를 들면, 사용자의 상태 데이터 중 흥미도, 집중도 값에 비례하여, 컨텐츠 선호도 결정부(106)는 상태 데이터와 대응되는 컨텐츠에 대한 선호도 값을 결정할 수 있다. 컨텐츠 선호도 결정부(106)에 의해 결정된 사용자의 컨텐츠에 대한 선호도 정보는 컨텐츠 선호도 전송부(107)에 의해 외부로 전송될 수 있다. 외부로 전송된 컨텐츠 선호도 정보는 외부 장치에서 사용자에게 광고 또는 서비스를 제공하는데 이용될 수 있다. 상술된 예에 한하지 않고, 사용자의 선호도 정보는 디바이스(100)에서 사용자에게 광고 또는 서비스를 제공하는데 이용될 수 있다.
컨텐츠 추천 결과 생성부(108)는 사용자의 컨텐츠 선호도 정보에 기초하여, 사용자에게 추천하는 컨텐츠에 관한 정보를 생성할 수 있다. 예를 들면, 컨텐츠 추천 결과 생성부(108)는 사용자의 선호도가 높은 컨텐츠의 장르, 출연 배우, 제작자 등의 특성을 파악할 수 있다. 그리고, 컨텐츠 추천 결과 생성부(108)는 파악된 특성과 유사한 특성을 가지는 컨텐츠를 선택하여, 사용자에게 추천할 컨텐츠로써 선택된 컨텐츠에 관한 정보를 생성할 수 있다.
컨텐츠 추천 결과 표시부(109)는 컨텐츠 추천 결과 생성부(108)에 의해 생성된 사용자에게 추천하는 컨텐츠에 관한 정보를 디스플레이를 통해 표시할 수 있다. 또는, 컨텐츠 추천 결과 표시부(109)는 사용자에게 추천하는 컨텐츠에 관한 정보를 음성, 진동 등 다양한 방법으로 출력할 수 있다.
도 2는 일 실시 예에 의한 상태 데이터를 획득하는 방법을 나타낸 순서도이다.
도 2를 참조하면, 단계 S210에서, 디바이스(100)는 센서 데이터로부터 복수 개의 계층에 포함된 상태 데이터들을 획득하기 위한 정보를 포함하는 추정 모델을 획득할 수 있다. 추정 모델은 각 상태 데이터들이 어떤 데이터에 기초하여 획득되는지에 관한 정보를 포함할 수 있다. 디바이스(100)는 추정 모델을 이용하여 센서 데이터로부터 각 계층의 상태 데이터들을 획득할 수 있다.
단계 S220에서, 디바이스(100)는 센서 데이터를 획득할 수 있다. 센서 데이터는 디바이스(100)에 구비되거나 외부에 존재하는 센서에 의해 획득될 수 있다. 센서 데이터는 사용자 또는 사용자의 주변 환경에 관한 정보를 포함할 수 있다.
단계 S230에서, 디바이스(100)는 단계 S210에서 획득된 추정 모델에 기초하여, 센서 데이터로부터 하위 계층의 상태 데이터를 획득할 수 있다. 하위 계층의 상태 데이터는 센서 데이터로부터 직접적으로 획득될 수 있는 상태 데이터를 포함할 수 있다. 하위 계층의 상태 데이터는 하나 이상의 센서 데이터로부터 획득될 수 있으며, 센서 데이터의 노이즈 포함 여부에 따라서 상태 데이터의 값이 결정될 수 있다.
상태 데이터는 사용자의 상태 정도를 나타내는 상태 값과, 상태값에 대한 신뢰 정도를 나타내는 신뢰도 값을 포함할 수 있다. 상태 값과 신뢰도 값은 센서 데이터의 노이즈 포함 정도에 따라 결정될 수 있다. 예를 들면, 얼굴의 정면도에 관한 상태 값은 카메라에 의해 촬영된 영상 데이터 및 마이크에 의해 녹음된 오디오 데이터 중 적어도 하나에 기초하여 얼굴 방향을 나타내는 0 내지 1 사이의 값으로 결정될 수 있다. 영상 데이터에 의해 인식된 얼굴 방향과, 오디오 데이터에 의해 인식된 목소리 방향을 나타내는 0 내지 1 사이의 값이 결정될 수 있다. 각 센서 데이터의 신뢰도 값과 가중치 값에 따라서, 얼굴 방향 값 및 목소리 방향 값에 기초하여 얼굴의 정면도에 대한 상태 값이 결정될 수 있다. 센서 데이터의 가중치 값은 센서 데이터가 상태 데이터에 미치는 영향에 따라 결정될 수 있다. 센서 데이터의 신뢰도 값 또는 가중치 값이 높을수록 해당 센서 데이터가 상태 값에 대해 반영되는 정도가 높아질 수 있다.
또한, 얼굴의 정면도에 대한 신뢰도 값은 각 센서 데이터의 노이즈 포함 정도 및 각 센서 데이터의 가중치 값 중 적어도 하나에 따라서 결정될 수 있다. 센서 데이터의 노이즈 포함 정도는 센서 데이터가 획득된 센서의 작동 상태, 센서 데이터의 값 등에 기초하여 결정될 수 있다. 예를 들어, 센서 데이터의 소정 속성 값이 미리 정의된 범위 내에 있는지에 따라 노이즈 포함 정도가 결정될 수 있다. 또한, 센서 데이터의 가중치 값은 각 상태 데이터에 대해 센서 데이터가 관련된 정도에 따라 결정될 수 있다. 따라서, 센서 데이터의 가중치 값은 상태 데이터 별로 다른 값을 포함할 수 있다.
단계 S240에서, 디바이스(100)는 단계 S210에서 획득된 추정 모델에 기초하여, 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득할 수 있다. 상위 계층의 상태 데이터는 센서 데이터에 기초하여 획득된 하위 계층의 상태 데이터로부터 획득될 수 있다. 상위 계층의 상태 데이터는 하위 계층의 상태 데이터와 마찬가지로, 상태 값과 신뢰도 값을 포함할 수 있다. 상위 계층의 상태 데이터는 하위 계층의 상태 값과 신뢰도 값에 기초하여 획득된 상태 값과 신뢰도 값을 포함할 수 있다.
따라서, 디바이스(100)는 센서 데이터의 노이즈 포함 정도를 고려하여 하위 계층의 상태 데이터를 획득할 수 있으므로, 센서 데이터에 노이즈가 포함되어 있는 경우에도, 상태 데이터를 효과적으로 획득할 수 있다.
또한, 디바이스(100)는 각 계층의 상태 데이터에 기초하여 사용자에게 제공될 서비스에 관한 정보를 디스플레이를 통해 표시하거나, 진동자 또는 스피커를 통해 진동 또는 소리로써 출력할 수 있다.
도 3은 일 실시 예에 의한 추정 모델의 일 예를 나타낸 예시도면이다.
도 3을 참조하면, 추정 모델은 각 상태 데이터들이 획득되는데 이용되는 상태 데이터 또는 센서 데이터에 관한 정보를 포함할 수 있다. 도 3의 그래프에서, 화살표의 접속원의 값에 따라 접속처의 값이 결정될 수 있다.
추정 모델을 생성하는 장치는, 사용자에게 질문을 수행하거나 사용자에 관한 정보를 수집하여, 각 노드와 관련된 데이터에 기초하여 도 3과 같은 추정 모델을 생성할 수 있다. 예를 들어, 추정 모델을 생성하는 장치는 사용자의 웃는 정도 및 목소리 크기에 기초하여 결정된 흥미도에 대하여 사용자의 피드백을 받을 수 있다. 사용자의 피드백에 기초하여, 사용자의 웃는 정도 및 목소리 크기에 적용될 가중치 값이 결정될 수 있다. 수집된 정보에 기초하여 기계 학습 알고리즘에 의해, 사용자에 대한 추정 모델이 생성될 수 있다. 추정 모델은 사용자 별로 생성될 수 있으나 이에 한하지 않고, 외부로부터 미리 생성된 추정 모델이 이용될 수도 있다. 추정 모델을 생성하는 장치는 디바이스(100)나 외부 장치가 될 수 있다.
센서 계층에는 센서에 의해 취득된 센서 데이터가 포함될 수 있다. 도 3을 참조하면, 센서 계층에는 카메라, 마이크, 스마트폰, 웨어러블 장치에 의해 획득된 센서 데이터가 포함될 수 있다.
하위 계층에는 센서 데이터가 1차 처리됨에 따라 획득될 수 있는 상태 데이터가 포함될 수 있다. 예를 들어, 카메라에 의해 획득된 영상 데이터로부터 눈뜬 정도, 얼굴의 정면도, 몸자세의 정면도, 웃는 정도 등의 상태 데이터들이 획득될 수 있다. 각 상태 데이터들의 상태 값은 0에서 1 사이의 값으로 결정될 수 있다.
중위 계층에는, 하위 계층의 상태 데이터로부터 획득될 수 있는 상태 데이터가 포함될 수 있다. 예를 들어, 컨텐츠에 대한 집중도, 흥미도 및 기쁜 정도 등의 상태 데이터들은 하위 계층의 상태 데이터 또는 동일 계층의 상태 데이터들로부터 획득될 수 있다. 컨텐츠에 대한 집중도가 높은 경우, 흥미도도 높을 가능성이 높을 수 있으므로, 집중도 또는 흥미도의 상태 데이터들은 서로 참조됨으로써 획득될 수 있다.
상위 계층에는, 중위 계층 또는 하위 계층의 상태 데이터로부터 획득될 수 있는 상태 데이터가 포함될 수 있다. 상태 데이터의 계층이 높아질수록 센서 데이터와의 관계가 약해질 수 있다. 따라서, 상위 계층의 상태 데이터는 센서 데이터로부터 직접적으로 도출되기 보다는, 다른 계층의 상태 데이터로부터 획득될 수 있다. 또는 상위 계층의 상태 데이터는 해당 상태 데이터를 위해 별도로 구비된 센서에 의해 획득된 센서 데이터에 기초하여 획득될 수 있다. 상위 계층에는 스트레스 정도, 피로도, 지루한 정도, 적극성 등의 상태 데이터가 포함될 수 있다.
중위 계층의 상태 데이터나 상위 계층의 상태 데이터 들은 사용자의 주관적인 감정을 나타낼 수 있다. 따라서, 중위 계층 또는 상위 계층에 대한 추정 모델은 사용자에 대해 실시된 앙케이트 결과 또는 별도 준비된 전용의 센서로부터 얻은 데이터를 기초로 생성될 수 있다.
사용자 속성 계층에는, 사용자 속성을 나타내는 상태 데이터가 포함될 수 있다. 예를 들면, 교우관계, 가족 구성, 연령 등에 관한 상태 데이터가 포함될 수 있다. 사용자 속성 계층의 상태 데이터는 사용자에 관하여 수집된 정보에 기초하여 결정될 수 있다.
사용자 속성 계층의 상태 데이터에 기초하여 상위 계층의 상태 데이터가 결정될 수 있다. 예를 들어, 연령이 높은 사용자는 쉽게 피로해지거나 지루해질 수 있는 점에서, 상위 계층의 피로도나 지루한 정도에 대한 상태 데이터는 사용자 속성 중 연령에 관한 상태 데이터에 기초하여 결정될 수 있다.
도 4는 일 실시 예에 의한 센서 데이터 일부가 누락된 경우, 상태 데이터를 획득하는 일 예를 나타낸 예시 도면이다.
도 4를 참조하면, 카메라의 작동 상태에 따라서, 센서 데이터 중 카메라에 의해 획득될 수 있는 영상 데이터가 결여될 수 있다. 따라서, 카메라에 의해 획득될 수 있는 눈뜬 정도에 대한 상태 데이터는 획득될 수 없으나, 나머지 하위 계층의 상태 데이터는 마이크, 스마트폰의 센서 데이터에 기초하여 획득될 수 있다. 또한, 중위 계층의 집중도에 대한 상태 데이터는 눈뜬 정도에 대한 상태 데이터를 제외한 나머지 하위 계층의 상태 데이터에 기초하여 획득될 수 있다.
따라서, 디바이스(100)는 일부 센서 데이터의 값이 결여되어도, 나머지 센서 데이터에 기초하여, 추정 모델에 따라 상태 데이터를 획득할 수 있다.
이하 도 5 내지 도 11을 참조하여, 상태 데이터를 획득하는 방법에 대하여 상세히 설명하기로 한다.
도 5는 일 실시 예에 의한 다른 상태 데이터들에 기초하여 상태 데이터를 획득하는 일 예를 나타낸 예시 도면이다.
도 5를 참조하면, 4개의 상태 데이터로부터 집중도에 대한 상태 데이터가 획득될 수 있다. Ei는 i번째 상태 데이터의 상태값을 나타내고, Ci는 i번째 상태 데이터의 신뢰도를 나타낸다. 집중도에 대한 상태 데이터에 포함된 Ei, Ci 값은 이하 수학식 1 및 2와 같이 획득될 수 있다.
수학식 1
Figure PCTKR2015013043-appb-M000001
수학식 2
Figure PCTKR2015013043-appb-M000002
수학식 1 및 2에서, Wji는 i번째 상태 데이터를 구하기 위해 j번째 상태 데이터에 적용될 수 있는 가중치 값을 나타낸다. 가중치 값은 0 내지 1사이의 값일 수 있다. N은 i번째 상태 데이터를 구하기 위해 이용되는 상태 데이터의 총 수를 나타낸다. 이하에서 i번째 상태 데이터는 편의상 제i 상태 데이터로 나타내기로 한다.
집중도의 상태 데이터에 포함된 상태 값 및 신뢰도 값인 E5, C5은 이하 수학식 3 및 4와 같이 획득될 수 있다.
수학식 3
Figure PCTKR2015013043-appb-M000003
수학식 4
Figure PCTKR2015013043-appb-M000004
도 6 내지 도 11은 일 실시 예에 의한 상태 데이터를 획득하는 일 예를 나타낸 도면이다.
도 6을 참조하면, 집중도의 상태 데이터(제5 상태 데이터)에 포함된 상태 값 및 신뢰도 값인 E5, C5은 이하 수학식 5 및 6과 같이 획득될 수 있다.
수학식 5
Figure PCTKR2015013043-appb-M000005
수학식 6
Figure PCTKR2015013043-appb-M000006
도 6에 도시된 바와 같이 제1 내지 제4 상태 데이터들의 가중치 값은 1이므로, 제1 내지 제4 상태 데이터들은 제5 상태 데이터에 대한 강한 영향력을 가진다. 또한, 제1 내지 제4 상태 데이터들의 신뢰도 값은 1이므로, 제1 내지 제4 상태 데이터의 값은 높은 신뢰도를 가진다. 따라서, 제5 상태 데이터의 상태 값과 신뢰도 값은 최대치인 1의 값으로 결정될 수 있다.
도 7을 참조하면, 집중도의 상태 데이터(제5 상태 데이터)에 포함된 상태 값 및 신뢰도 값인 E5, C5은 이하 수학식 7 및 8과 같이 획득될 수 있다.
수학식 7
Figure PCTKR2015013043-appb-M000007
수학식 8
Figure PCTKR2015013043-appb-M000008
도 7에 도시된 바와 같이 제1 내지 제4 상태 데이터들의 가중치 값은 1이므로, 제1 내지 제4 상태 데이터들은 제5 상태 데이터에 대한 강한 영향력을 가진다. 제1 및 제2 상태 데이터들의 신뢰도 값은 1이므로, 제1 및 제2 상태 데이터의 값은 높은 신뢰도를 가진다. 그러나, 제3 및 제4 상태 데이터들의 신뢰도 값은 0이므로, 제3 및 제4 상태 데이터의 값은 낮은 신뢰도를 가진다. 예를 들면, 제3 및 제4 상태 데이터들을 획득할 수 있는 센서가 작동될 수 없거나 작동되지 않는 상태인 경우, 신뢰도 값이 0으로 결정될 수 있다.
제5 상태 데이터의 상태 값은 신뢰도가 높은 제1 제2 상태 데이터의 값에 따라 1의 값으로 결정될 수 있다. 그러나, 제5 상태 데이터에 대한 강한 영향력을 가지는 제3 및 제4 상태 데이터의 신뢰도가 낮으므로, 제5 상태 데이터에 대한 신뢰도 값은 0.5로 결정될 수 있다.
신뢰도가 높은 제1 제2 상태 데이터의 값에 따라 상태 값이 결정될 수 있는 점에서, 제5 상태 데이터(집중도)에 대하여 '눈이 크게 뜨여있고, 얼굴이 정면을 향해 있었으므로, 집중도가 높다'와 같은 코멘트가 가능하다. 제5 상태 데이터에 관한 코멘트는 디스플레이에 표시됨으로써 사용자에게 제공될 수 있다.
도 8을 참조하면, 집중도의 상태 데이터(제5 상태 데이터)에 포함된 상태 값 및 신뢰도 값인 E5, C5은 이하 수학식 9 및 10과 같이 획득될 수 있다.
수학식 9
Figure PCTKR2015013043-appb-M000009
수학식 10
Figure PCTKR2015013043-appb-M000010
도 8에 도시된 바와 같이 제1 및 제2 상태 데이터들의 가중치 값은 1이므로, 제1 및 제2 상태 데이터들은 제5 상태 데이터에 대한 강한 영향력을 가진다. 그러나, 제3 및 제4 상태 데이터들의 가중치 값은 0.1이므로, 제3 및 제4 상태 데이터들은 제5 상태 데이터에 대한 약한 영향력을 가진다. 또한, 제1 및 제2 상태 데이터들의 신뢰도 값은 1이므로, 제1 및 제2 상태 데이터의 값은 높은 신뢰도를 가진다. 그러나, 제3 및 제4 상태 데이터들의 신뢰도 값은 0이므로, 제3 및 제4 상태 데이터의 값은 낮은 신뢰도를 가진다.
제5 상태 데이터의 상태 값은 신뢰도가 높은 제1 제2 상태 데이터의 값에 따라 1의 값으로 결정될 수 있다. 제3 및 제4 상태 데이터의 신뢰도가 낮더라도, 제3 및 제4 상태 데이터는 제5 상태 데이터에 대한 약한 영향력을 가지므로, 제5 상태 데이터에 대한 신뢰도 값은 0.91의 높은 값으로 결정될 수 있다.
도 9를 참조하면, 집중도의 상태 데이터(제5 상태 데이터)에 포함된 상태 값 및 신뢰도 값인 E5, C5은 이하 수학식 11 및 12와 같이 획득될 수 있다.
수학식 11
Figure PCTKR2015013043-appb-M000011
수학식 12
Figure PCTKR2015013043-appb-M000012
도 9에 도시된 바와 같이 제1 및 제2 상태 데이터들의 가중치 값은 1이므로, 제1 및 제2 상태 데이터들은 제5 상태 데이터에 대한 강한 영향력을 가진다. 그러나, 제3 및 제4 상태 데이터들의 가중치 값은 0.1이므로, 제3 및 제4 상태 데이터들은 제5 상태 데이터에 대한 약한 영향력을 가진다. 또한, 제1 내지 제3 상태 데이터들의 신뢰도 값은 0이므로, 제1 내지 제3 상태 데이터의 값은 낮은 신뢰도를 가진다. 그러나, 제4 상태 데이터의 신뢰도 값은 1이므로, 제4 상태 데이터의 값은 높은 신뢰도를 가진다.
제5 상태 데이터의 상태 값은 신뢰도가 높은 제4 상태 데이터의 값에 따라 1의 값으로 결정될 수 있다. 그러나, 제5 상태 데이터에 대해 약한 영향력을 가지는 제4 상태 데이터의 값만이 높은 신뢰도를 가지므로, 제5 상태 데이터에 대한 신뢰도 값은 0.05의 낮은 값으로 결정될 수 있다.
도 10을 참조하면, 집중도의 상태 데이터(제5 상태 데이터)에 포함된 상태 값 및 신뢰도 값인 E5, C5은 이하 수학식 13 및 14와 같이 획득될 수 있다.
수학식 13
Figure PCTKR2015013043-appb-M000013
수학식 14
Figure PCTKR2015013043-appb-M000014
도 10에 도시된 바와 같이 제1 및 제2 상태 데이터들의 가중치 값은 1이므로, 제1 및 제2 상태 데이터들은 제5 상태 데이터에 대한 강한 영향력을 가진다. 그러나, 제3 및 제4 상태 데이터들의 가중치 값은 0.1이므로, 제3 및 제4 상태 데이터들은 제5 상태 데이터에 대한 약한 영향력을 가진다. 또한, 제1 내지 제4 상태 데이터들의 신뢰도 값은 1이므로, 제1 내지 제4 상태 데이터의 값은 높은 신뢰도를 가진다.
제5 상태 데이터의 상태 값은 제1 내지 제4 상태 데이터의 값이 모두 높은 신뢰도를 가지므로 강한 영향력을 가지는 제1 및 제2 상태 데이터의 값에 따라 0.09의 값으로 결정될 수 있다. 제1 내지 제4 상태 데이터의 값이 모두 높은 신뢰도를 가지므로, 제5 상태 데이터에 대한 신뢰도 값은 1의 높은 값으로 결정될 수 있다.
강한 영향력을 가지는 제1 제2 상태 데이터의 값에 따라 상태 값이 결정될 수 있는 점에서, 제5 상태 데이터(집중도)에 대하여 '눈이 거의 감겨 있고 얼굴이 정면 방향과는 멀리 향하여 있었으므로, 집중도가 낮다'와 같은 코멘트가 가능하다.
도 11을 참조하면, 집중도의 상태 데이터(제5 상태 데이터)에 포함된 상태 값 및 신뢰도 값인 E5, C5은 이하 수학식 15 및 16과 같이 획득될 수 있다.
수학식 15
Figure PCTKR2015013043-appb-M000015
수학식 16
Figure PCTKR2015013043-appb-M000016
도 11에 도시된 바와 같이 제1 및 제2 상태 데이터들의 가중치 값은 1이므로, 제1 및 제2 상태 데이터들은 제5 상태 데이터에 대한 강한 영향력을 가진다. 그러나, 제3 및 제4 상태 데이터들의 가중치 값은 0.1이므로, 제3 및 제4 상태 데이터들은 제5 상태 데이터에 대한 약한 영향력을 가진다. 또한, 제1, 제3 및 제4 상태 데이터들의 신뢰도 값은 1이므로, 제1, 제3 및 제4 상태 데이터의 값은 높은 신뢰도를 가진다. 그러나, 제2 상태 데이터의 신뢰도 값은 0이므로, 제2 상태 데이터의 값은 낮은 신뢰도를 가진다.
제5 상태 데이터의 상태 값은 강한 영향력을 가지는 제1 및 제2 상태 데이터의 값에 따라 0.17의 값으로 결정될 수 있다. 제2 상태 데이터의 신뢰도가 낮아, 낮은 상태 값을 가지는 제2 상태 데이터의 영향이 낮아지게 됨에 따라 도 11의 제5 상태 데이터의 상태 값은 도 10의 제5 상태 데이터의 상태 값보다 큰 값으로 결정될 수 있다. 또한, 가중치가 높은 제2 상태 데이터의 신뢰도가 낮아 따라 도 11의 제5 상태 데이터의 신뢰도 값은 도 10의 제5 상태 데이터의 신뢰도 값보다 낮은 값인 0.55로 결정될 수 있다. 따라서, 접속원의 상태 데이터들 중 신뢰도가 낮은 상태 데이터의 가중치가 높은 경우, 접속처의 상태 데이터의 신뢰도는 낮아질 수 있다.
도 12 내지 도 13을 참조하여, 예측 모델에 기초하여, 소정 시점의 상태 데이터를 획득하는 방법에 대해 자세히 설명하기로 한다.
도 12는 일 실시 예에 의한 예측 모델의 일 예를 나타낸 예시 도면이다.
도 12를 참조하면, 예측 모델은 이전 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득하기 위한 정보를 포함할 수 있다. 도 12의 그래프에서, 화살표의 접속원의 값에 따라 접속처의 값이 결정될 수 있고, 화살표에 표기된 값은 가중치 값을 나타낸다. 예측 모델에 의해 결정된 상태 데이터의 상태 값은 추정 모델에 의해 결정된 상태 값을 보정하는데 이용될 수 있다.
상당 시간 동안에는 사용자의 상태가 동일하게 지속될 수 있는 점에서, 근접한 시점에서의 동종의 상태 데이터들은 서로 유사할 수 있다. 각 상태 데이터의 시간에 따른 변화 정도에 따라서, 예측 모델이 결정될 수 있다. 예측 모델을 생성하는 장치는 추정 모델을 생성하는 장치와 같이 사용자에게 질문을 수행하거나 사용자에 관한 정보를 수집함으로써, 각 노드와 관련된 데이터를 수집할 수 있다. 예측 모델을 생성하는 장치는 수집된 데이터를 이용하여 학습된 결과에 따라 예측 모델을 생성할 수 있다. 학습 방법에는, 예를 들면, 베이즈 모델(Bayesian model)에 의한 파라미터 학습, 유전 알고리즘(genetic algorithm)에 의한 최적해 결정 방법 등이 있다.
도 12의 예측 모델은 시점 t-2, t-1, t, t+1에서, 각 계층의 동종의 상태 데이터를 포함할 수 있다. 또한, 예측 모델은 상태 데이터들이 획득되는데 이용되는 상태 데이터 및 가중치에 관한 정보를 포함할 수 있다.
예측 모델에 따라 획득될 수 있는 시점 t에서의 상태 데이터 A의 상태 값 Pt(A)은 이하 수학식 17에 따라 획득될 수 있다.
수학식 17
Figure PCTKR2015013043-appb-M000017
디바이스(100)는 Pt(A) 값을 이용하여 추정 모델에 의해 획득된 상태 값인 E(A) 값을 보정할 수 있다. 예를 들면, 디바이스(100)는 Pt(A) 및 E(A)의 평균 값을 상태 데이터 A의 상태 값으로 보정할 수 있다.
시점 t에서의 상태 데이터 A의 신뢰도 값 Ct(A)은 추정 모델에 의해 수학식 2에 따라 획득된 상태 데이터 A의 신뢰도 값 C(A)으로 결정될 수 있다.
n은 시점 t의 상태 데이터 A의 상태 값을 획득하기 위해 참조될 수 있는 시간 폭을 나타낸다. Pt(A)는 시점 t에서의 상태 데이터 A의 상태 값을 나타내고, Ct(A)는 시점 t에서의 상태 데이터 A의 신뢰도 값을 나타낸다. Wk, t(A)는 시점 t에서의 상태 데이터 A에 대하여 시점 k에서의 상태 데이터 A에 적용될 수 있는 가중치 값을 나타낸다.
예를 들어, 디바이스(100)는 t-2, t-1 시점의 가족 구성의 상태 데이터에 기초하여 시점 t에서 사용자 속성 계층의 가족 구성에 대한 상태 값을 획득할 수 있다. 디바이스(100)는 이하 수학식 18과 같이 시점 t-2, t-1에서의 가족 구성에 대한 상태 데이터를 이용하여 시점 t에서의 가족 구성에 대한 상태 값을 구할 수 있다.
수학식 18
Figure PCTKR2015013043-appb-M000018
예측 모델에서, 사용자 속성 계층에 속하는 상태 데이터들은 시간에 따른 변동성이 적으므로 시점 간 적용될 수 있는 가중치 값은 높은 값으로 결정될 수 있다. 계층이 낮아질수록 시간에 따른 변동성이 커짐에 따라 시점 간 적용될 수 있는 가중치 값은 낮은 값으로 결정될 수 있다.
도 13은 일 실시 예에 의한 예측 모델에 기초하여 소정 시점의 상태 데이터를 획득하는 방법을 나타낸 순서도이다.
도 13을 참조하면, 단계 S1310에서, 디바이스(100)는 센서 데이터로부터 복수 개의 계층에 존재하는 상태 데이터들을 획득하기 위한 정보를 포함하는 추정 모델을 획득하고, 단계 S1320에서 센서 데이터를 획득할 수 있다. 센서 데이터는 센서에 의해 획득된 정보를 포함할 수 있다.
단계 S1330에서, 디바이스(100)는 추정 모델에 기초하여, 센서 데이터로부터 각 계층의 상태 데이터를 획득할 수 있다. 디바이스(100)는 센서 데이터로부터 하위 계층의 상태 데이터를 획득하거나, 하위 또는 중위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득할 수 있다. 디바이스(100)는 추정 모델에 따라 상위 계층의 상태 데이터를 획득하기 위한 사용자 속성 계층의 상태 데이터들을 획득할 수 있다.
단계 S1340에서, 디바이스(100)는 이전 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득하기 위한 정보를 포함하는 예측 모델을 획득할 수 있다. 그리고, 단계 S1350에서, 디바이스(100)는 예측 모델을 이용하여 적어도 하나의 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득할 수 있다. 디바이스(100)는 인접한 시점에서의 상태 데이터들은 유사성이 존재하는 점을 이용하여 다른 시점의 상태 데이터를 이용하여 소정 시점의 상태 데이터를 획득할 수 있다. 다른 시점의 상태 데이터는 소정 시점의 상태 데이터와 동일한 종류의 상태 데이터일 수 있다. 디바이스(100)는 예측 모델을 이용하여 획득된 상태 데이터를 이용하여, 추정 모델을 이용하여 획득된 상태 데이터를 보정할 수 있다.
이하 도 14 내지 도 16을 참조하여, 센서 데이터의 노이즈 포함 여부에 기초하여 선택된 추정 모델에 기초하여, 상태 데이터를 획득하는 방법에 대하여 자세히 설명하기로 한다.
도 14는 일 실시 예에 의한 상태 데이터를 획득하는 디바이스의 내부 구조를 나타낸 블록도이다.
도 14의 디바이스(500)는 도 1의 디바이스(100)와 대응될 수 있다. 디바이스(500)는 센서 데이터에 기초하여 추정 모델을 선택하고, 선택된 추정 모델을 이용하여 사용자의 상태를 나타내는 상태 데이터를 획득할 수 있다. 도 1의 디바이스(100)와는 달리 센서 데이터에 기초하여 복수 개의 추정 모델 중에서 하나 이상을 선택할 수 있다.
도 14를 참조하면, 디바이스(500)는 센서 데이터 획득부(501), 센서 데이터 전처리부(502), 상태 인식 엔진 선택부(503), 상태 데이터 획득부(504), 컨텐츠 수신부(505), 컨텐츠 표시부(506), 컨텐츠 선호도 결정부(507), 컨텐츠 선호도 전송부(508), 컨텐츠 추천 결과 생성부(509) 및 컨텐츠 추천 결과 표시부(510)를 포함할 수 있다.
도 14의 센서 데이터 획득부(501), 상태 데이터 획득부(504), 컨텐츠 수신부(505), 컨텐츠 표시부(506), 컨텐츠 선호도 결정부(507), 컨텐츠 선호도 전송부(508), 컨텐츠 추천 결과 생성부(509) 및 컨텐츠 추천 결과 표시부(510)는 도 1의 센서 데이터 획득부(101), 상태 데이터 획득부(103), 컨텐츠 수신부(104), 컨텐츠 표시부(105), 컨텐츠 선호도 결정부(106), 컨텐츠 선호도 전송부(107), 컨텐츠 추천 결과 생성부(108) 및 컨텐츠 추천 결과 표시부(109)와 대응될 수 있다. 도 1에서의 설명과 중복되는 설명은 생략될 수 있다.
센서 데이터 획득부(501)는 센서에 의해 감지된 결과에 관한 정보를 포함하는 센서 데이터를 획득할 수 있다. 센서는 사용자 또는 사용자의 주변 환경을 관측하여, 그 결과를 센서 데이터로 생성할 수 있다. 더하여, 센서 데이터는 센서에 의해 감지된 정보에 관한 노이즈 포함 정도에 관한 정보를 더 포함할 수 있다. 따라서, 디바이스(100)는 센서 데이터의 노이즈 포함 정도에 기초하여, 사용자의 상태 데이터를 구할 수 있다.
센서 데이터 전처리부(502)는 센서 데이터 획득부(501)에 의해 획득된 센서 데이터를 전처리할 수 있다. 센서 데이터 전처리부(502)는 센서 데이터로부터 노이즈 포함 정도에 관한 정보를 추출할 수 있다. 예를 들면, 센서 데이터 전처리부(502)는 센서 데이터를 분석하여 노이즈 포함 정도를 판단할 수 있다.
또한, 센서 데이터 전처리부(502)는 센서 데이터로부터 상태 데이터를 추출하기 적절한지 여부를 판단할 수 있다. 센서 데이터 중 영상 데이터에 사용자의 모습이 촬영되어 있지 않은 경우, 영상 데이터로부터 사용자의 상태 데이터가 획득되기 어렵다. 따라서, 센서 데이터 전처리부(502)는 센서 데이터로부터 직접적으로 획득될 수 있는 하위 계층의 상태 데이터가 유효한 값을 가지는지 여부 또는 노이즈를 포함하는 정도를 나타내는 정보를 생성할 수 있다.
상태 인식 엔진 선택부(503)는 센서 데이터 또는 하위 계층의 상태 데이터의 노이즈 포함 정도에 기초하여, 상태 데이터 획득에 이용될 추정 모델을 선택할 수 있다. 추정 모델을 생성하는 장치는 사용자에 관하여 수집된 정보를 학습함으로써, 사용자에 관한 추정 모델을 복수 개 생성할 수 있다. 사용자의 상태나 주변 환경에 따라 추정 모델은 다양한 형태로 생성될 수 있다. 적어도 하나의 상태 인식 엔진은 각 상태 인식 엔진과 대응되는 추정 모델에 기초하여, 사용자의 상태 데이터를 획득할 수 있다.
노이즈가 포함된 센서 데이터 또는 노이즈가 포함된 하위 계층의 상태 데이터로부터 획득된 상태 데이터는 노이즈로 인하여 적절한 데이터를 포함하고 있지 않을 수 있다. 따라서, 상태 인식 엔진 선택부(503)는 노이즈를 포함하는 센터 데이터 또는 노이즈가 포함된 하위 계층의 상태 데이터가 포함되지 않은 추정 모델을 선택할 수 있다. 상태 인식 엔진 선택부(503)에 의해 추정 모델이 선택되면, 선택된 추정 모델과 대응되는 상태 인식 엔진에 의해 사용자의 상태 데이터가 획득될 수 있다.
상태 데이터 획득부(504)는 사용자의 상태 데이터를 획득할 수 있는 적어도 하나의 상태 인식 엔진을 포함할 수 있다. 상태 인식 엔진 선택부(503)에 의해 선택된 추정 모델과 대응되는 상태 인식 엔진에 의해 사용자의 상태 데이터가 획득될 수 있다.
컨텐츠 수신부(505)는 외부로부터 컨텐츠를 수신하거나, 디바이스(500)의 메모리에 저장된 컨텐츠를 로딩할 수 있다.
컨텐츠 표시부(506)는 컨텐츠 수신부(505)에 의해 수신된 컨텐츠를 디스플레이를 통해 표시할 수 있다. 컨텐츠가 오디오 신호를 포함하는 경우, 컨텐츠 표시부(505)는 스피커를 통해 컨텐츠를 출력할 수 있다. 컨텐츠 표시부(506)는 각 계층의 상태 데이터에 기초하여 사용자에게 제공될 서비스에 관한 정보를 디스플레이를 통해 표시하거나, 진동자 또는 스피커를 통해 진동 또는 소리로써 출력할 수 있다.
컨텐츠 선호도 결정부(507)는 상태 데이터 획득부(504)에 의해 획득된 상태 데이터를 이용하여, 사용자의 컨텐츠에 대한 선호도를 구할 수 있다.
컨텐츠 추천 결과 생성부(509)는 사용자의 컨텐츠 선호도 정보에 기초하여, 사용자에게 추천하는 컨텐츠에 관한 정보를 생성할 수 있다.
컨텐츠 추천 결과 표시부(510)는 컨텐츠 추천 결과 생성부(509)에 의해 생성된 사용자에게 추천하는 컨텐츠에 관한 정보를 디스플레이를 통해 표시할 수 있다.
도 15는 일 실시 예에 의한 센서 데이터의 노이즈 포함 정도에 기초하여 선택된 추정 모델을 이용하여 상태 데이터를 획득하는 방법을 나타낸 순서도이다.
도 15를 참조하면, 단계 S1510에서, 디바이스(500)는 상태 데이터를 획득하기 위한 정보를 포함하는 적어도 하나의 추정 모델과 센서 데이터를 획득할 수 있다. 추정 모델은 각 상태 데이터들이 어떤 데이터에 기초하여 획득되는지에 관한 정보를 포함할 수 있다. 적어도 하나의 추정 모델은 추정 모델의 생성 시의 사용자의 상태 혹은 주변 환경에 따라 서로 다른 정보를 포함할 수 있다.
단계 S1520에서, 디바이스(500)는 센서 데이터의 노이즈 포함 여부에 기초하여, 상태 데이터를 획득하기 위한 추정 모델을 선택할 수 있다. 디바이스(500)는 노이즈를 포함한 것으로 판단된 센서 데이터를 이용하는 추정 모델에 의해 획득된 상태 데이터에는 노이즈 포함 정도에 따라 서로 다른 가중치가 적용될 수 있다.
단계 S1530에서, 디바이스(500)는 단계 S1520에서 선택된 추정 모델에 기초하여, 센서 데이터로부터 각 계층의 상태 데이터를 획득할 수 있다. 선택된 각각의 추정 모델과 대응되는 상태 인식 엔진들은 각 상태 인식 엔진과 대응되는 추정 모델에 기초하여, 센서 데이터로부터 상태 데이터를 획득할 수 있다.
또한, 디바이스(500)는 각 계층의 상태 데이터에 기초하여 사용자에게 제공될 서비스에 관한 정보를 디스플레이를 통해 표시하거나, 진동자 또는 스피커를 통해 진동 또는 소리로써 출력할 수 있다.
도 16은 일 실시 예에 의한 센서 데이터의 노이즈 포함 정도에 따라 선택된 추정 모델에 기초하여 상태 데이터를 획득하는 일 예를 나타낸 예시 도면이다.
도 16을 참조하면, 다수의 센서(300)로부터 센서 데이터가 센서 데이터 전처리부(502)로 전달될 수 있다. 센서 데이터 전처리부(502)는 센서 데이터로부터 눈방향, 눈뜬 정도, 웃는 정도, 몸 자세, 이동 정도, 목소리 크기 등의 하위 계층의 상태 데이터를 추출할 수 있다. 센서 데이터에 노이즈가 포함되어 있는 경우, 센서 데이터로부터 획득된 하위 계층의 상태 데이터 역시 노이즈가 포함되어 있는 것으로 판단될 수 있다. 도 16과 관련된 설명에서는 도시된 바에 따라 하위 계층의 상태 데이터에 대한 노이즈 포함 정도에 기초하여 상태 데이터가 획득됨을 기준으로 설명하기로 한다.
센서 데이터 전처리부(502)는 각 하위 계층의 상태 데이터에 대한 노이즈 포함 정도를 결정할 수 있다. 하위 계층의 상태 데이터에 대한 노이즈 포함 정도에 관한 정보는 센서 데이터에 포함된 센서의 작동상태 또는 센서의 주변 환경에 관한 정보에 따라 결정될 수도 있다. 예를 들면, 센서 데이터 전처리부(502)는 하위 계층의 상태 데이터에 대하여 노이즈 포함 정도를 나타내는 정보를 생성할 수 있다.
도 16을 참조하면, 웃는 정도 및 몸 자세의 상태 데이터가 유효한 값을 가지지 않을 수 있다. 따라서, 눈 방향, 눈뜬 정도, 이동 정도, 목소리 크기의 상태 데이터에 대한 정보는 해당 상태 데이터에 노이즈가 포함되어 있지 않거나 상태 데이터의 값이 유효하다고 판단될 정도의 적은 노이즈를 포함함을 나타내는 정보를 포함할 수 있다. 또한, 웃는 정도 및 몸 자세의 상태 데이터에 대한 정보는 해당 상태 데이터에 노이즈가 포함되어 유효하지 않음을 나타내는 정보를 포함할 수 있다.
상태 인식 엔진 선택부(503)는 센서 데이터 전처리부(502)에 의해 생성된 각 하위 계층의 상태 데이터에 대한 노이즈 포함 정도를 나타내는 정보에 기초하여, 추정 모델을 선택함으로써 상태 인식 엔진을 선택할 수 있다. 상태 인식 엔진의 선택은 각 상태 인식 엔진에 대한 가중치 값이 0 내지 1 사이의 값으로 결정됨으로써 수행될 수 있다. 상태 인식 엔진 선택부(503)는 선택된 상태 인식 엔진에 대한 가중치 값을 0 초과 1 이하의 값으로 결정하고, 선택되지 않은 상태 인식 엔진에 대한 가중치 값은 0으로 결정할 수 있다.
각 상태 인식 엔진은 대응되는 추정 모델을 이용하여, 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 출력할 수 있다. 도 16에서, 하위 계층의 상태 데이터는 입력 노드 1 내지 6을 통해 상태 인식 엔진으로 입력될 수 있다. 또한, 상위 계층의 상태 데이터는 출력 노드 1 내지 9를 통해 상태 인식 엔진으로부터 출력될 수 있다. 상태 인식 엔진의 중간 노드는 상술된 중위 계층의 상태 데이터와 대응될 수 있다. 중간 노드는 추정 모델에 따라 상태 인식 엔진에 포함되어 있지 않을 수 있다. 도 16에 도시된 상태 인식 엔진의 예는 예시에 불과하고 각 상태 인식 엔진은 다양한 형태의 추정 모델을 이용하여 상태 데이터를 획득할 수 있다.
출력 노드 1 내지 9를 통해 출력될 수 있는 상위 계층의 상태 데이터는 상태 인식 엔진에 대한 가중치 값에 따라 이하 수학식 19와 같이 최종 결정될 수 있다.
수학식 19
Figure PCTKR2015013043-appb-M000019
R은 상태 데이터 획득부(504)로부터 최종적으로 출력될 수 있는 상위 계층의 상태 데이터이며, n은 상태 인식 엔진의 총 수를 나타낸다. wi는 상태 인식 엔진 i에 적용되는 가중치 값이며, ri는 상태 인식 엔진 i로부터 출력되는 상태 데이터를 나타낸다.
상태 인식 엔진 선택부(503)는 웃는 정도와 몸자세의 상태 데이터와 각각 대응되는 입력 노드 3 및 4를 포함하는 상태 인식 엔진 C, D, E, F, G에 대한 가중치 값을 0으로 결정할 수 있다. 또한, 상태 인식 엔진 선택부(503)는 나머지 입력 노드 1, 2, 5, 6을 포함하는 상태 인식 엔진 A, B, H, I에 대한 가중치 값은 0이 아닌 값으로 결정할 수 있다. 상태 인식 엔진 선택부(503)는 상술된 예에 한하지 않고, 상태 데이터의 노이즈 정도에 따라 가중치 값을 다르게 결정할 수 있다.
또한, 상태 인식 엔진 선택부(503)는 사용자의 상태에 따라 상태 데이터를 획득하기 적합하지 않은 추정 모델을 포함하는 상태 인식 엔진을 제외하기 위하여, 상태 데이터의 노이즈 정도와는 관련없이 일부 상태 인식 엔진의 가중치 값을 0으로 결정할 수도 있다.
상태 데이터 획득부(504)는 상태 인식 엔진 선택부(503)에 의해 결정된 가중치 값에 기초하여, 각 상태 인식 엔진으로부터 출력된 상위 계층의 상태 데이터를 출력할 수 있다.
디바이스(100)는 상태 데이터 획득부(504)에 의해 획득된 상위 계층의 상태 데이터에 기초하여 사용자에게 제공될 서비스에 관한 정보를 디스플레이를 통해 표시하거나, 진동자 또는 스피커를 통해 진동 또는 소리로써 출력할 수 있다.
도 17은 일 실시 예에 의한 상태 데이터를 획득하는 디바이스의 내부 구조를 나타낸 블록도이다.
도 17을 참조하면, 디바이스(1700)는 디스플레이(1710), 제어부(1720) 및 센서(1730)를 포함할 수 있다.
디스플레이(1710)는 디바이스(1700)에 의해 획득된 상태 데이터에 기초하여 사용자에게 제공될 서비스에 관한 정보를 표시할 수 있다. 또한, 디스플레이(1710)는 사용자 요청에 따른 다양한 컨텐츠를 표시할 수 있다.
또한, 상술된 예에 한하지 않고, 디바이스(1700)는 각 계층의 상태 데이터에 기초하여 사용자에게 제공될 서비스에 관한 정보를 디스플레이를 통해 표시하거나, 진동자 또는 스피커를 통해 진동 또는 소리로써 출력할 수 있다.
제어부(1720)는 추정 모델을 이용하여 센서 데이터로부터 복수 개의 계층에 속한 상태 데이터를 획득할 수 있다. 센서 데이터로부터 하위 계층의 상태 데이터가 획득될 수 있고, 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터가 획득될 수 있다. 제어부(1720)는 상위 계층의 상태 데이터에 기초하여, 사용자에게 서비스를 제공하여 줄 수 있다.
또한, 제어부(1720)는 예측 모델을 이용하여 이전 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득할 수 있다. 제어부(1720)는 예측 모델을 이용하여 획득된 상태 데이터를 이용하여 추정 모델을 이용하여 획득된 상태 데이터의 상태 값을 보정할 수 있다.
또한, 제어부(1720)는 센서 데이터의 노이즈 포함 정도에 기초하여 추정 모델을 선택하고, 선택된 추정 모델에 기초하여 상태 데이터를 획득할 수 있다. 제어부(1720)는 센서 데이터의 노이즈 포함 정도에 기초하여, 각 추정 모델로부터 획득된 상태 데이터에 적용될 가중치 값을 결정할 수 있다.
센서(1730)는 사용자 또는 사용자의 주변 환경에 관한 정보를 포함하는 센서 데이터를 획득할 수 있다. 센서(1730)는 카메라, 마이크, 위치 감지 센서, 가속도 센서 등 다양한 종류의 센서를 포함할 수 있다. 센서(1730)에 의해 획득된 센서 데이터에 기초하여 제어부(1720)는 사용자의 상태 데이터를 획득할 수 있다.
일 실시 예에 의하면, 센서 데이터에 노이즈가 포함되어 있거나, 센서 데이터가 획득되지 않는 경우에도 사용자의 상태를 나타내는 상태 데이터를 효과적으로 획득할 수 있다.
일부 실시 예에 의한 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.

Claims (17)

  1. 사용자의 상태를 나타내는 상태 데이터를 획득하는 방법에 있어서,
    센서에 의해 획득된 센서 데이터로부터 복수 개의 계층에 존재하는 상태 데이터들을 획득하기 위한 추정 모델을 획득하는 단계;
    적어도 하나의 센서 데이터를 획득하는 단계;
    상기 추정 모델에 기초하여, 상기 적어도 하나의 센서 데이터로부터 하위 계층의 상태 데이터를 획득하는 단계; 및
    상기 추정 모델에 기초하여, 상기 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 획득된 하위 계층의 상태 데이터 및 상위 계층의 상태 데이터 중 적어도 하나에 기초하여, 컨텐츠에 대한 상기 사용자의 선호도를 구하는 단계; 및
    상기 컨텐츠에 대한 상기 사용자의 선호도에 기초하여, 상기 사용자에게 추천할 컨텐츠를 적어도 하나 선택하는 단계를 더 포함하는, 방법.
  3. 제1항에 있어서, 상기 하위 계층의 상태 데이터를 획득하는 단계는
    상기 센서 데이터의 노이즈 포함 정도에 기초하여, 상기 하위 계층의 상태 데이터에 대한 신뢰도 값 및 상태 값 중 적어도 하나를 결정하는 단계를 포함하는, 방법.
  4. 제1항에 있어서, 상기 상위 계층의 상태 데이터를 획득하는 단계는
    상기 하위 계층의 상태 데이터의 신뢰도 값에 기초하여, 상기 상위 계층의 상태 데이터의 상태 값을 결정하는 단계를 포함하는, 방법.
  5. 제1항에 있어서,
    이전 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득하기 위한 정보를 포함하는 예측 모델을 획득하는 단계;
    상기 예측 모델에 기초하여, 적어도 하나의 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득하는 단계; 및
    상기 획득된 상태 데이터를 이용하여, 상기 추정 모델에 의해 획득된 상태 데이터를 보정하는 단계를 더 포함하는, 방법.
  6. 제1항에 있어서,
    상기 적어도 하나의 센서 데이터는 노이즈 포함 정도에 관한 정보를 포함하고,
    상기 상위 계층의 상태 데이터를 획득하는 단계는
    상기 센서 데이터의 노이즈 포함 정도에 관한 정보에 기초하여, 상기 획득된 추정 모델 중 적어도 하나의 추정 모델을 선택하는 단계; 및
    상기 선택된 적어도 하나의 추정 모델에 기초하여, 상기 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득하는 단계를 포함하는, 방법.
  7. 제6항에 있어서, 상기 추정 모델을 선택하는 단계는
    상기 센서 데이터의 노이즈 포함 여부에 관한 정보에 기초하여, 노이즈가 포함된 하위 계층의 상태 데이터를 결정하는 단계; 및
    상기 노이즈가 포함된 하위 계층의 상태 데이터를 이용하지 않는 추정 모델을 선택하는 단계를 포함하는, 방법.
  8. 제1항에 있어서,
    상기 획득된 하위 계층의 상태 데이터 및 상위 계층의 상태 데이터 중 적어도 하나에 기초하여, 상기 사용자에게 제공될 서비스에 관한 정보를 표시하거나 출력하는 단계를 더 포함하는 방법.
  9. 사용자의 상태를 나타내는 상태 데이터를 획득하는 디바이스에 있어서,
    적어도 하나의 센서 데이터를 획득하는 센서;
    상기 센서 데이터로부터 복수 개의 계층에 존재하는 상태 데이터들을 획득하기 위한 추정 모델을 획득하고, 상기 추정 모델에 기초하여, 상기 적어도 하나의 센서 데이터로부터 하위 계층의 상태 데이터를 획득하고, 상기 추정 모델에 기초하여, 상기 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득하는 제어부;
    상기 획득된 하위 계층의 상태 데이터 및 상위 계층의 상태 데이터 중 적어도 하나에 기초하여, 상기 사용자에게 제공될 서비스에 관한 정보를 표시하는 디스플레이를 포함하는, 디바이스.
  10. 제9항에 있어서, 상기 제어부는
    상기 획득된 하위 계층의 상태 데이터 및 상위 계층의 상태 데이터 중 적어도 하나에 기초하여, 컨텐츠에 대한 상기 사용자의 선호도를 구하고, 상기 컨텐츠에 대한 상기 사용자의 선호도에 기초하여, 상기 사용자에게 추천할 컨텐츠를 적어도 하나 선택하고,
    상기 디스플레이는 상기 선택된 컨텐츠에 관한 정보를 표시하는, 디바이스.
  11. 제9항에 있어서, 상기 제어부는
    상기 센서 데이터의 노이즈 포함 정도에 기초하여, 상기 하위 계층의 상태 데이터에 대한 신뢰도 값 및 상태 값 중 적어도 하나를 결정하는, 디바이스.
  12. 제9항에 있어서, 상기 제어부는
    상기 하위 계층의 상태 데이터의 신뢰도 값에 기초하여, 상기 상위 계층의 상태 데이터의 상태 값을 결정하는, 디바이스.
  13. 제9항에 있어서, 상기 제어부는
    이전 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득하기 위한 정보를 포함하는 예측 모델을 획득하고, 상기 예측 모델에 기초하여, 적어도 하나의 시점의 상태 데이터로부터 소정 시점의 상태 데이터를 획득하고, 상기 획득된 상태 데이터를 이용하여, 상기 추정 모델에 의해 획득된 상태 데이터를 보정하는, 디바이스.
  14. 제9항에 있어서,
    상기 적어도 하나의 센서 데이터는 노이즈 포함 정도에 관한 정보를 포함하고,
    상기 제어부는, 상기 센서 데이터의 노이즈 포함 정도에 관한 정보에 기초하여, 상기 획득된 추정 모델 중 적어도 하나의 추정 모델을 선택하고, 상기 선택된 적어도 하나의 추정 모델에 기초하여, 상기 하위 계층의 상태 데이터로부터 상위 계층의 상태 데이터를 획득하는, 디바이스.
  15. 제14항에 있어서, 상기 제어부는
    상기 센서 데이터의 노이즈 포함 여부에 관한 정보에 기초하여, 노이즈가 포함된 하위 계층의 상태 데이터를 결정하고, 상기 노이즈가 포함된 하위 계층의 상태 데이터를 이용하지 않는 추정 모델을 선택하는, 디바이스.
  16. 제9항에 있어서, 상기 디바이스는
    상기 하위 계층의 상태 데이터 및 상기 상위 계층의 상태 데이터 중 적어도 하나에 기초하여, 상기 사용자에게 제공될 서비스에 관한 정보를 출력하는 출력부를 더 포함하는, 디바이스.
  17. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2015/013043 2014-12-02 2015-12-02 사용자의 상태를 나타내는 상태 데이터를 획득하는 방법 및 디바이스 WO2016089105A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201580065848.5A CN107003736A (zh) 2014-12-02 2015-12-02 用于获取指示用户状态的状态数据的方法和装置
US15/532,793 US10878325B2 (en) 2014-12-02 2015-12-02 Method and device for acquiring state data indicating state of user

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2014244405 2014-12-02
JP2014-244405 2014-12-02
JP2014-244404 2014-12-02
JP2014244404 2014-12-02
JP2015-213452 2015-10-29
JP2015213452A JP2016110631A (ja) 2014-12-02 2015-10-29 状態推定装置、状態推定方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2016089105A1 true WO2016089105A1 (ko) 2016-06-09

Family

ID=56091989

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/013043 WO2016089105A1 (ko) 2014-12-02 2015-12-02 사용자의 상태를 나타내는 상태 데이터를 획득하는 방법 및 디바이스

Country Status (1)

Country Link
WO (1) WO2016089105A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012011665A2 (ko) * 2010-07-20 2012-01-26 삼성전자주식회사 생체 정보를 활용한 가상 세계 조작 장치 및 방법
US20140112556A1 (en) * 2012-10-19 2014-04-24 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
US20140223467A1 (en) * 2013-02-05 2014-08-07 Microsoft Corporation Providing recommendations based upon environmental sensing
US20140234815A1 (en) * 2013-02-18 2014-08-21 Electronics And Telecommunications Research Institute Apparatus and method for emotion interaction based on biological signals
WO2014159793A1 (en) * 2013-03-13 2014-10-02 Aptima, Inc. User state estimation systems and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012011665A2 (ko) * 2010-07-20 2012-01-26 삼성전자주식회사 생체 정보를 활용한 가상 세계 조작 장치 및 방법
US20140112556A1 (en) * 2012-10-19 2014-04-24 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
US20140223467A1 (en) * 2013-02-05 2014-08-07 Microsoft Corporation Providing recommendations based upon environmental sensing
US20140234815A1 (en) * 2013-02-18 2014-08-21 Electronics And Telecommunications Research Institute Apparatus and method for emotion interaction based on biological signals
WO2014159793A1 (en) * 2013-03-13 2014-10-02 Aptima, Inc. User state estimation systems and methods

Similar Documents

Publication Publication Date Title
WO2018128362A1 (en) Electronic apparatus and method of operating the same
WO2019132518A1 (en) Image acquisition device and method of controlling the same
EP3821390A1 (en) System and method for providing content based on knowledge graph
WO2019059505A1 (ko) 객체를 인식하는 방법 및 장치
WO2016028042A1 (en) Method of providing visual sound image and electronic device implementing the same
WO2014157886A1 (en) Method and device for executing application
EP3545436A1 (en) Electronic apparatus and method of operating the same
WO2019112342A1 (en) Voice recognition apparatus and operation method thereof cross-reference to related application
WO2011059202A2 (en) Display device and method of controlling the same
WO2018128403A1 (en) Apparatus and method for processing content
WO2019124963A1 (ko) 음성 인식 장치 및 방법
WO2016089047A1 (ko) 컨텐트를 제공하는 방법 및 디바이스
WO2019031825A1 (ko) 전자 장치 및 그 동작 방법
WO2018117538A1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
WO2019000470A1 (zh) 多媒体信息推送方法、装置、存储介质及电子设备
WO2018101671A1 (en) Apparatus and method for providing sentence based on user input
WO2019125029A1 (ko) 증강 현실을 위한 객체를 표시하기 위한 전자 장치 및 그의 동작 방법
EP3529774A1 (en) Apparatus and method for processing content
WO2020171561A1 (en) Electronic apparatus and controlling method thereof
WO2021206221A1 (en) Artificial intelligence apparatus using a plurality of output layers and method for same
WO2019172642A1 (ko) 심장 박동을 측정하기 위한 전자 장치 및 방법
WO2016114475A1 (en) Method of providing preset service by bending mobile device according to user input of bending mobile device and mobile device performing the same
WO2021040105A1 (ko) 개체명 테이블을 생성하는 인공 지능 장치 및 그 방법
WO2019190171A1 (ko) 전자 장치 및 그 제어 방법
WO2018124464A1 (ko) 전자 장치 및 전자 장치의 검색 서비스 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15864694

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15532793

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 15864694

Country of ref document: EP

Kind code of ref document: A1