WO2016122141A1 - 사용자 활동을 추정하는 장치 및 방법 - Google Patents

사용자 활동을 추정하는 장치 및 방법 Download PDF

Info

Publication number
WO2016122141A1
WO2016122141A1 PCT/KR2016/000294 KR2016000294W WO2016122141A1 WO 2016122141 A1 WO2016122141 A1 WO 2016122141A1 KR 2016000294 W KR2016000294 W KR 2016000294W WO 2016122141 A1 WO2016122141 A1 WO 2016122141A1
Authority
WO
WIPO (PCT)
Prior art keywords
user activity
motion sensor
sensor data
motion
estimating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2016/000294
Other languages
English (en)
French (fr)
Inventor
이택진
김재헌
김철기
서민아
이석
김선호
우덕하
신범주
전영민
이관희
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Institute of Science and Technology KIST
Original Assignee
Korea Institute of Science and Technology KIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Institute of Science and Technology KIST filed Critical Korea Institute of Science and Technology KIST
Publication of WO2016122141A1 publication Critical patent/WO2016122141A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks

Definitions

  • the present disclosure relates to an apparatus and a method for estimating user activity, and more particularly, to an apparatus and a method for estimating user activity by extracting and classifying a feature of motion sensor data obtained from a wearable device.
  • the conventional activity trackers provide information (calories burned, exercise amount, moving distance, etc.) about the user's activity only when the user directly inputs the activity being performed. In this case, the user is inconvenient to manually input the device each time what the activity is for each activity.
  • the present specification is to provide a user estimation apparatus and method for automatically estimating a user's activity using motion sensor data obtained from the wearable device and providing information on the estimated user's activity.
  • an apparatus for estimating user activity may include: a motion sensor data acquisition unit configured to acquire motion sensor data for a preset period from a motion sensor of a wearable device; A decomposition motion sensor data generation unit for generating a plurality of decomposition motion sensor data by decomposing the motion sensor data at one or more time intervals; A motion feature extraction unit for extracting a motion feature for each of the plurality of decomposition motion sensor data; A motion feature classifier that classifies each of the motion features based on a predetermined classification algorithm, and determines user activity corresponding to each of the motion features based on a classification result; And a user activity estimator that estimates end user activity based on the determined user activities.
  • a method of estimating user activity may include obtaining motion sensor data for a preset period from a motion sensor of a wearable device; Generating a plurality of decomposition motion sensor data by decomposing the motion sensor data into one or more time intervals; Extracting motion features for each of the plurality of disassembled motion sensor data; Classifying each of the motion features based on a predetermined classification algorithm and determining user activity corresponding to each of the motion features based on a classification result; And estimating end user activity based on the determined user activities.
  • a user experience for more convenient activity tracking can be provided to the user.
  • the accuracy of user activity estimation may be increased in comparison with a method of estimating user activity using all motion sensor data.
  • the accuracy of user activity estimation may be further improved.
  • the user activity estimation may be improved by verifying the already estimated user activity once again.
  • the information on the estimated user activity and the information on the user activity directly input from the user may be used together, thereby increasing the accuracy of the user activity estimation.
  • FIG. 1 is a conceptual diagram of an apparatus for estimating user activity according to an exemplary embodiment.
  • FIG. 2 is a block diagram of an apparatus for estimating user activity according to an exemplary embodiment.
  • FIG. 3 is a data flowchart of a process of estimating user activity using a user activity estimating apparatus, according to an exemplary embodiment.
  • FIG. 4 illustrates an example method of classifying each of the extracted motion features and determining user activity corresponding to each of the motion features based on the classification result.
  • FIG. 5 is a diagram illustrating an experiment result of user activity estimation using the apparatus, according to an exemplary embodiment.
  • FIG. 6 is a flowchart of a method of estimating user activity according to an embodiment.
  • FIG. 7 is a flowchart of a method of estimating user activity according to another embodiment.
  • FIG. 1 is a schematic diagram illustrating a user activity estimating device and a wearable device, according to an exemplary embodiment.
  • the user activity estimating apparatus 100 refers to an apparatus for estimating user activity corresponding to a user's motion by using sensor data that senses the user's motion.
  • the user activity estimating apparatus 100 obtains sensing data that senses a user's motion from a motion sensor mounted on the wearable device 10, and uses the same to estimate user activity corresponding to the user's motion. Say the device.
  • the user activity estimation device 100 may be disposed within the wearable device 10, the mobile device 20 (eg, a smart phone) or any other device (eg, a server, a personal computer).
  • the user activity estimating apparatus 100 may perform wired / wireless communication with the wearable device 10 through the mobile device 20. In this way, the user activity estimating apparatus 100 may obtain motion sensor data from the wearable device 10.
  • the wearable device 10 refers to an electronic device worn on a part of a user's body.
  • the wearable device 10 may be a smart watch or a smart band worn on a user's wrist.
  • the wearable device 10 may include a motion sensor (eg, an acceleration sensor or any type of motion sensor) that senses a user's motion.
  • motion sensor data as acceleration data.
  • motion sensor data other than acceleration data.
  • FIG. 2 is a block diagram of an apparatus for estimating user activity according to an exemplary embodiment.
  • 3 is a data flowchart of a process of estimating user activity using a user activity estimating apparatus, according to an exemplary embodiment.
  • the user activity estimation apparatus 100 includes a motion sensor data acquisition unit 110, a decomposition motion sensor data generation unit 120, a motion feature extraction unit 130, a motion feature classification unit 140, and a user.
  • the activity estimator 150 may be included.
  • the user activity estimating apparatus 100 may further include a user activity verification unit 160 and an input unit 170.
  • the user activity verification unit 160 and the input unit 170 may have an optional configuration.
  • the motion sensor data acquisition unit 110 may obtain motion sensor data for a preset period from the motion sensor of the wearable device. As shown in 310 of FIG. 3, in one embodiment, the motion sensor data acquisition unit 110 may acquire motion sensor data for 10 minutes from the motion sensor of the wearable device. In one embodiment, when the user activity estimation apparatus 100 is disposed in the mobile device, the motion sensor data acquisition unit 110 receives the data on the motion sensor data through wired / wireless communication with the wearable device to detect the motion sensor. Data can be obtained.
  • the decomposition motion sensor data generator 120 may generate a plurality of decomposition motion sensor data by decomposing the obtained motion sensor data at one or more time intervals. As shown in 320 of FIG. 3, in one embodiment, the decomposition motion sensor data generation unit 120 decomposes the acquired motion sensor data for 10 minutes by a first time interval (eg, 1 minute interval). (E.g., ten) disassembled motion sensor data may be generated. Since the user does not perform the activity consistently for a certain period of time when the user performs a specific activity, the method of estimating the user activity using the total n decomposition motion sensor data by decomposing such motion sensor data is the entire motion sensor data. The accuracy of the user activity estimation can be improved by comparing with the method of estimating user activity using one.
  • a first time interval eg, 1 minute interval
  • the decomposition motion sensor data generation unit 120 further decomposes the acquired motion sensor data for 10 minutes into second time intervals (eg, 5 minute intervals), thereby generating m (eg, 2) pieces of motion sensor data. It is possible to generate more decomposition motion sensor data.
  • the second time interval may be a time interval different from the first time interval.
  • the second time interval may be a time interval longer than the first time interval.
  • the motion feature extractor 130 may extract motion features for each of the generated decomposition motion sensor data. As shown at 330 of FIG. 3, in one embodiment, the motion feature extractor 130 includes n (eg, 10) motion features for each of n (eg, 10) decomposition motion sensor data. (Eg, the first motion feature to the tenth motion feature) may be extracted. In another embodiment, the motion feature extractor 130 may extract n + m motion features for each of the generated n + m (eg, 12) decomposition motion sensor data. In this case, each motion feature may include one or more features (feature values).
  • Table 1 below is a table showing exemplary features (feature values) that may be included in one motion feature extracted from the acceleration sensor data.
  • the feature values may further include differences and ratios of respective feature values.
  • the variance difference e.g., v (a_x) k -v (a_y) k, etc., which is the variance difference between feature 3 and feature 4
  • the mean difference e.g., feature 6 and feature 7
  • the feature values disclosed in the above table are exemplary feature values, and embodiments of the present disclosure are not limited by this example, and may further include various types of feature values or omit some feature values disclosed above.
  • the motion feature classifier 140 may classify each of the extracted motion features based on a predetermined classification algorithm, and determine user activity corresponding to each of the motion features based on the classification result. As shown at 340 of FIG. 3, in one embodiment, the motion feature classifier 140 classifies the extracted n (eg, 10) motion features, respectively, to correspond to the corresponding n (eg, 10) User activity (eg, first to tenth user activity) may be determined. In another embodiment, the motion feature classifier 140 may classify the extracted n + m motion features and determine corresponding n + m user activities.
  • the motion feature classifier 140 may further determine whether each feature value of the motion features is equal to or larger than the threshold value. In this case, the motion feature classifier 140 may determine a corresponding user activity only for motion features having a feature value greater than or equal to the threshold value and do not determine user activity for motion features having a feature value less than or equal to the threshold value. You may not. In this way, when the user takes a short break during a specific activity, the motion feature (eg, the third motion feature) for the corresponding section (eg, the third section 320 of FIG. 3) is removed and only the motion feature for the useful section is used. By estimating user activity, the accuracy of the estimation can be increased.
  • the motion feature eg, the third motion feature
  • the user activity estimator 150 may estimate end user activity based on the determined user activities. As illustrated at 350 in FIG. 3, the user activity estimator 150 may estimate one user activity among the determined n (eg, ten) user activities as an end user activity.
  • the user activity estimator 150 may identify a user activity having the largest number of determined user activities, and determine the identified user activity as an end user activity. For example, if the user activity having the largest number of determined user activities (eg, eight out of ten) is a bike ride, the user activity estimator 150 may determine the bike ride as an end user activity.
  • the user activity estimator 150 may determine the bike ride as an end user activity.
  • the user activity estimator 150 may further determine the intensity and the number of motions of the estimated end user activity based on the extracted motion feature.
  • the intensity may be, for example, a calorie value consumed when the activity is performed.
  • the number of motions is the number of motion actions corresponding to the activity, and may be, for example, the number of steps, the number of swings, the number of skipping ropes, and the like. In this way, the device may not only provide the type of estimated user activity, but also provide more information to the user by providing the user with information on the intensity and the number of motions of the estimated user activity.
  • the user activity verification unit 160 may verify the estimated end user activity using a predetermined verification algorithm.
  • the user activity verifier 160 is configured to cause the splitter to have a second time interval (eg, shorter) different from the first time interval (eg, one minute interval) for estimating end user activity (eg, shorter). By further dividing the motion sensor data in 30 second intervals, and further estimating the end user activity in the same manner as described above.
  • the user activity verification unit 160 may include a second motion sensor (eg, an acceleration sensor) different from a first motion sensor (eg, an acceleration sensor) for allowing the motion sensor data acquisition unit 110 to estimate end user activity. The second motion sensor data from the gyro sensor) and verify the estimated end user activity based on the acquired second motion sensor data. By using this verification method, it is possible to increase the accuracy of the user activity estimation by once again verifying the already estimated user activity.
  • the input unit 170 may receive information on user activity being performed from the user.
  • the user activity estimator 150 may estimate the end user activity based on the information about the input user activity and the determined user activities. Through this, the accuracy of the estimation can be increased by estimating user activity by further using information on user activity directly input from the user.
  • FIG. 2 is a block diagram according to an embodiment of the present specification, in which components shown separately are logically distinguished from components of an apparatus. Therefore, the above-described configurations of the apparatus may be mounted in one chip or in a plurality of chips according to the design of the apparatus.
  • the user activity estimating apparatus 100 classifies the first motion feature according to a classification algorithm set in advance by using the classification unit and determines a user activity corresponding thereto. Thereafter, the user activity estimating apparatus 100 classifies the second motion feature using the same classification algorithm and determines a user activity corresponding thereto. In this way, the user activity estimation apparatus 100 may determine user activities corresponding to all motion features.
  • the motion feature may include at least one feature value (feature).
  • the user activity estimating apparatus 100 prioritizes feature values included in a motion feature according to a predetermined classification criterion, and sets each feature value and a threshold value for each feature value according to the determined priority. By comparing them, the motion features may be classified to determine the corresponding user activity. This will be described in detail below with reference to the drawings.
  • the user activity estimating apparatus 100 determines whether the first feature (eg, v (a) k ) is less than the first threshold ⁇ 1 according to a predetermined classification algorithm (410). )do. If the first feature is less than the first threshold, the user activity estimation apparatus 100 further determines whether the first-first feature (eg, m (a_z) k ) is less than the first-first threshold ⁇ 1. Decision 420 is made. If the first-first feature is less than the first-first threshold, the user activity estimating apparatus 100 determines walking as the user activity.
  • the first feature eg, v (a) k
  • the user activity estimation apparatus 100 may determine that the first-second feature (eg, v (a_x) k -v (a_y) k ) is set by the first-second threshold. It is further determined whether it is less than the sea hold ⁇ 1 (430). If the 1-2 feature is less than the 1-2 threshold, the user activity estimating apparatus 100 determines standing as the user activity. If the 1-2 feature is greater than or equal to the 1-2 threshold, then biking is determined as the user activity.
  • the first-second feature eg, v (a_x) k -v (a_y) k
  • the user activity estimation apparatus 100 may determine the first feature (eg, v (a)). It is further determined whether k ) is less than the second threshold ⁇ 2 (440). If the first characteristic is less than the second threshold ⁇ 2, then the user activity estimation apparatus 100 determines that the 2-1 characteristic (eg, g (b) k ) is less than the 2-1 threshold G. It is further determined whether or not the recognition. If the feature 2-1 is greater than or equal to the threshold 2-1, the user activity estimating apparatus 100 determines claiming as the user activity.
  • the user activity estimation apparatus 100 determines that the 2-2 feature (eg, m (a_x) k -m (a_y) k ) is 2-2 threshold. It is further determined whether it is less than seahold ⁇ 1 (460). If the feature 2-2 is less than the 2-2 threshold, the user activity estimating apparatus 100 determines walking as the user activity. If the feature 2-2 is equal to or greater than the 2-2 threshold, the user activity estimating apparatus 100 determines the riding as the user activity.
  • the 2-2 feature eg, m (a_x) k -m (a_y) k
  • the user activity estimating apparatus 100 may perform the 3-1 feature (eg, m_r k). ) Is further determined 470 whether it is less than the 3-1 threshold T_R. If the 3-1 th characteristic is less than the 3-1 threshold, the user activity estimating apparatus 100 determines table tennis as the user activity. When the 3-1 feature is equal to or greater than the 3-1 threshold, the user activity estimation apparatus 100 determines that the 3-2 feature (eg, v (a_x) k ⁇ v (a_y) k ) is set to 3-2 threshold.
  • the 3-1 feature eg, v (a_x) k ⁇ v (a_y) k
  • the user activity estimating apparatus 100 determines a jumping lope as the user activity. If the feature 3-2 is greater than or equal to the threshold 3-2, the user activity estimating apparatus 100 determines running as the user activity.
  • the user activity estimation apparatus 100 may determine the user activity for each motion feature by applying the above-described method to all of the motion features. In addition, the user activity estimating apparatus 100 may estimate end user activity based on the determined user activity. For example, when climbing is the largest number of user activities among the user activities for each of the motion features, the user activity estimating apparatus 100 may estimate the climbing to be an end user activity.
  • the user activity estimation apparatus 100 may verify the estimated end user activity using a predetermined verification algorithm. For example, the user activity estimating apparatus 100 further acquires GPS sensor data using a GPS sensor, calculates a location of the user based on the acquired GPS sensor, and determines whether the location of the user is a mountain. User activity can be verified.
  • FIG. 5 is a diagram illustrating an experiment result of user activity estimation using the apparatus, according to an exemplary embodiment.
  • FIG. 5A illustrates the motion sensor data obtained from the wearable device according to the above-described method when the test subject sequentially performs six activities (stop, walk, run, bike ride, jump rope, and table tennis).
  • FIG. 5B is a diagram illustrating an experimental result of estimating end-user activity, and FIG. 5B is described in detail using motion sensor data obtained from a wearable device when a subject sequentially performs four activities (walking, running, cycling, and skipping rope).
  • the test subject of FIG. 5A and the test subject of FIG. 5B are different test subjects.
  • some of the user activities estimated from each motion feature in one minute may be recognized as other user activities due to a short-term change in the subject's movement (eg, stopping while riding a bicycle).
  • a short-term change in the subject's movement eg, stopping while riding a bicycle.
  • the end user activity estimated by combining each motion feature for 10 minutes is accurately estimated regardless of whether the same test subject or the type of activity performed by the test subject.
  • FIG. 6 is a flowchart of a method of estimating user activity according to an embodiment. In this flowchart, descriptions of parts overlapping with those of FIGS. 1 to 5 will be omitted.
  • the user activity estimating apparatus 100 may obtain motion sensor data for a preset period from a motion sensor of the wearable device (S10).
  • the acquisition unit may acquire the motion sensor data by receiving data on the motion sensor data through wired / wireless communication with the wearable device.
  • the user activity estimating apparatus 100 may generate a plurality of decomposition motion sensor data by decomposing the motion sensor data at one or more time intervals (S20).
  • the generation unit may generate n pieces of motion sensor data by decomposing the obtained motion sensor data at a first time interval.
  • the generation unit may further generate m decomposition motion sensor data by further decomposing the obtained motion sensor data at a second time interval.
  • the user activity estimating apparatus 100 may extract motion features for each of the plurality of decomposition motion sensor data (S30).
  • the extractor may extract n motion features for each of the n decomposition motion sensor data.
  • the extractor may extract n + m motion features for each of the generated n + m decomposition motion sensor data.
  • each motion feature may include one or more features (feature values).
  • each motion feature may include one or more features (feature values). This is described in Table 1, detailed description thereof will be omitted.
  • the user activity estimating apparatus 100 may classify each of the motion features based on a predetermined classification algorithm, and determine a user activity corresponding to each of the motion features based on the classification result (S40).
  • the classifier may classify each of the extracted n motion features to determine corresponding n user activities.
  • the classifier may classify the extracted n + m motion features, respectively, to determine corresponding n + m user activities. This is described in Figures 4a to 4c bar detailed description thereof will be omitted.
  • the user activity estimating apparatus 100 may further determine whether each feature value of the motion features is equal to or larger than the threshold value.
  • the classifier may determine the user activity corresponding to only motion features having a feature value greater than or equal to the threshold value and may not determine user activity for motion features having a feature value greater than or equal to the threshold value.
  • the user activity estimating apparatus 100 may estimate end user activity based on the determined user activities (S50).
  • the estimator may identify the user activity with the highest number of determined user activities and determine the identified user activity as an end user activity.
  • the estimator may further determine whether the number of identified user activities is greater than or equal to the threshold. At this time, the estimator may determine the identified user activity as the end user activity only when the number of identified user activities is greater than or equal to the threshold.
  • the user activity estimating apparatus 100 may further determine the intensity and the number of motions of the estimated end user activity based on the extracted motion feature.
  • the intensity may be, for example, a calorie value consumed when the activity is performed.
  • the number of motions is the number of motion actions corresponding to the activity, and may be, for example, the number of steps, the number of swings, the number of skipping ropes, and the like.
  • the user activity estimating apparatus 100 may receive information on user activity being performed from the user. In this case, the user activity estimating apparatus 100 may estimate the end user activity based on the information on the input user activity and the information on the determined user activities.
  • FIG. 7 is a flowchart of a method of estimating user activity according to another embodiment.
  • this flowchart descriptions of parts overlapping with those of FIGS. 1 to 6 will be omitted.
  • description of S10 to S50 is the same as that of FIG. 6, only S70 will be described below.
  • the user activity estimating apparatus 100 may verify end user activity using a predetermined verification algorithm (S70).
  • the user activity estimation apparatus 100 further partitions the motion sensor data at a second time interval that is different from the first time interval for estimating the end user activity, and based thereon in the same manner as described above. By further estimating the end user activity, it is possible to verify the already estimated user activity.
  • the user activity estimation apparatus 100 obtains second motion sensor data from a second motion sensor different from the first motion sensor for estimating end user activity, and based on the obtained second motion sensor data. You can verify end user activity that has already been estimated.
  • Such a method of estimating user activity may be embodied in the form of program instructions that may be implemented by an application or executed by various computer components, and recorded on a computer-readable recording medium.
  • the computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on a computer-readable recording medium are those specially designed and constructed for the present invention, and may be known and available to those skilled in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs, DVDs, and magneto-optical media such as floptical disks. media), and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the hardware device may be configured to operate as one or more software modules to perform the processing according to the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Environmental & Geological Engineering (AREA)

Abstract

본 명세서의 일 실시예에 따른 사용자 활동 추정 방법은 웨어러블 장치의 모션 센서로부터 미리 설정된 기간 동안의 모션센서 데이터를 획득하는 단계와, 모션센서 데이터를 하나 이상의 시간 간격으로 분해함으로써 복수의 분해 모션센서 데이터를 생성하는 단계와, 복수의 분해 모션센서 데이터의 각각에 대한 모션 특징을 추출하는 단계와, 미리 결정된 분류 알고리즘에 기초하여 모션 특징들 각각을 분류하고, 분류 결과에 기초하여 상기 모션 특징들 각각에 대응하는 사용자 활동을 결정하는 단계와, 결정된 사용자 활동들에 기초하여 최종 사용자 활동을 추정하는 단계를 포함할 수 있다.

Description

사용자 활동을 추정하는 장치 및 방법
본 명세서는 사용자 활동을 추정하는 장치 및 방법에 관한 것으로, 보다 상세하게는 웨어러블 장치로부터 획득된 모션 센서 데이터에 대한 특징을 추출하고 분류함으로써 사용자 활동을 추정하는 장치 및 방법에 관한 것이다.
최근 소형화 기술의 발전에 따라, 신체에 착용 가능한 다양한 형태의 웨어러블 장치가 나오고 있다. 또한, 이러한 웨어러블 장치로부터 획득한 사용자의 움직임에 대한 센싱 데이터에 기초하여 사용자가 소모한 칼로리, 이동 거리 등에 대한 정보를 사용자에게 제공하는 활동 트래커(activity tracker)들도 다양하게 나오고 있다.
그런데, 종래의 활동 트래커들은 사용자가 직접 자신이 수행 중인 활동을 입력한 경우에만 사용자의 활동에 대한 정보(소모 칼로리, 운동량, 이동 거리 등)들을 제공한다. 이 경우, 사용자는 각 활동을 수행할 때마다 해당 활동이 어떤 활동인지 장치에 매번 수동적으로 입력해야 하는 불편함을 갖는다.
이에, 본 명세서는, 웨어러블 장치로부터 획득된 모션 센서 데이터를 이용하여 사용자의 활동을 자동으로 추정하고, 추정된 사용자의 활동에 대한 정보를 제공하는 사용자 추정 장치 및 방법을 제공하고자 한다.
본 명세서의 일 실시예에 따른 사용자 활동 추정 장치는 웨어러블 장치의 모션 센서로부터 미리 설정된 기간 동안의 모션센서 데이터를 획득하는 모션센서 데이터 획득부; 상기 모션센서 데이터를 하나 이상의 시간 간격으로 분해함으로써, 복수의 분해 모션센서 데이터를 생성하는 분해 모션센서 데이터 생성부; 상기 복수의 분해 모션센서 데이터의 각각에 대한 모션 특징을 추출하는 모션 특징 추출부; 미리 결정된 분류 알고리즘에 기초하여 상기 모션 특징들 각각을 분류하고, 분류 결과에 기초하여 상기 모션 특징들 각각에 대응하는 사용자 활동을 결정하는 모션 특징 분류부; 및 결정된 사용자 활동들에 기초하여 최종 사용자 활동을 추정하는 사용자 활동 추정부를 포함할 수 있다.
본 명세서의 일 실시예에 따른 사용자 활동 추정 방법은 웨어러블 장치의 모션 센서로부터 미리 설정된 기간 동안의 모션센서 데이터를 획득하는 단계; 상기 모션센서 데이터를 하나 이상의 시간 간격으로 분해함으로써, 복수의 분해 모션센서 데이터를 생성하는 단계; 상기 복수의 분해 모션센서 데이터의 각각에 대한 모션 특징을 추출하는 단계; 미리 결정된 분류 알고리즘에 기초하여 상기 모션 특징들 각각을 분류하고, 분류 결과에 기초하여 상기 모션 특징들 각각에 대응하는 사용자 활동을 결정하는 단계; 및 결정된 사용자 활동들에 기초하여 최종 사용자 활동을 추정하는 단계를 포함할 수 있다.
본 명세서에 따르면, 웨어러블 장치로부터 획득된 모션 센서 데이터를 이용하여 사용자의 활동을 자동으로 추정함으로써 보다 편리한 활동 트래킹에 대한 사용자 경험을 사용자에게 제공할 수 있다.
또한, 획득된 모션 센서 데이터를 분해하고, 분해된 모션센서 데이터를 이용하여 사용자 활동을 추정함으로써 전체 모션센서 데이터를 이용하여 사용자 활동을 추정하는 방식과 비교하여 사용자 활동 추정의 정확도를 높일 수 있다.
또한, 획득된 모션센서 데이터를 둘 이상의 시간 간격으로 분해하고, 두 종류의 분해된 모션센서 데이터를 이용하여 사용자 활동을 추정함으로써, 사용자 활동 추정의 정확도를 더 높일 수 있다.
또한, 별도의 검증 방법을 이용하여 이미 추정된 사용자 활동을 다시 한번 더 검증함으로써 사용자 활동 추정의 정확도를 높일 수 있다.
또한, 웨어러블 장치로부터 획득된 모션 센서 데이터를 이용하여 추정된 사용자 활동에 대한 정보와 사용자로부터 직접 입력된 사용자 활동에 대한 정보를 함께 이용할 수도 있어, 사용자 활동 추정의 정확도를 높일 수 있다.
도 1은 일 실시 예에 따른, 사용자 활동 추정 장치의 개념도이다.
도 2은 일 실시 예에 따른, 사용자 활동 추정 장치의 구성도이다.
도 3은 일 실시 예에 따른, 사용자 활동 추정 장치를 이용하여 사용자 활동을 추정하는 과정의 데이터 흐름도이다.
도 4는 추출된 모션 특징들 각각을 분류하고, 분류 결과에 기초하여 모션 특징들 각각에 대응하는 사용자 활동을 결정하는 예시적인 방법을 나타낸다.
도 5는 일 실시예에 따른, 본 장치를 이용한 사용자 활동 추정의 실험 결과를 나타내는 도면이다.
도 6은 일 실시예에 따른, 사용자 활동 추정 방법의 순서도이다.
도 7은 다른 실시예에 따른, 사용자 활동 추정 방법의 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 일 실시 예에 따른, 사용자 활동 추정 장치와 웨어러블 장치를 나타내는 개략도이다.
본 명세서에서, 사용자 활동 추정 장치(100)(이하 ”추정 장치(100)”라고도 함)는 사용자의 모션을 센싱한 센서 데이터를 이용하여 사용자의 모션에 대응하는 사용자 활동을 추정하는 장치를 말한다. 예를 들면, 사용자 활동 추정 장치(100)는 웨어러블 장치(10)에 장착된 모션 센서로부터 사용자의 모션을 센싱한 센싱 데이터를 획득하고, 이를 이용하여 사용자의 모션에 대응하는 사용자 활동을 추정하는 전자 장치를 말한다.
일 실시예에서, 사용자 활동 추정 장치(100)는 웨어러블 장치(10), 모바일 장치(20)(예컨대, 스마트 폰) 또는 임의의 다른 장치(예컨대, 서버, 개인용 컴퓨터) 내에 배치될 수 있다. 사용자 활동 추정 장치(100)가 모바일 장치(20)에 배치된 경우, 사용자 활동 추정 장치(100)는 모바일 장치(20)를 통해 웨어러블 장치(10)와 유선/무선 통신을 수행할 수 있다. 이를 통해, 사용자 활동 추정 장치(100)는 웨어러블 장치(10)로부터 모션 센서 데이터를 획득할 수 있다.
본 명세서에서, 웨어러블 장치(10)는 사용자의 신체 일부에 착용되는 전자 장치를 말한다. 예를 들면, 웨어러블 장치(10)는 사용자의 손목에 착용되는 스마트 워치 또는 스마트 밴드일 수 있다. 본 명세서에서, 웨어러블 장치(10)는 사용자의 모션을 센싱하는 모션 센서(예컨대, 가속도 센서 또는 임의의 유형의 모션 센서)를 포함할 수 있다.
이하에서는 모션 센서 데이터를 가속도 데이터라고 가정하여 다양한 실시 예들을 설명하지만, 가속도 데이터가 아닌 다른 모션센서 데이터를 이용하여 본 명세서의 실시 예들을 설명할 수 있음은 당업자에게 자명할 것이다.
도 2는 일 실시 예에 따른, 사용자 활동 추정 장치의 구성도이다. 또한, 도 3은 일 실시 예에 따른, 사용자 활동 추정 장치를 이용하여 사용자 활동을 추정하는 과정의 데이터 흐름도이다.
도 2를 참조하면, 사용자 활동 추정 장치(100)는 모션센서 데이터 획득부(110), 분해 모션센서 데이터 생성부(120), 모션 특징 추출부(130), 모션 특징 분류부(140) 및 사용자 활동 추정부(150)를 포함할 수 있다. 또한, 사용자 활동 추정 장치(100)는 사용자 활동 검증부(160) 및 입력부(170)를 더 포함할 수 있다. 여기서, 사용자 활동 검증부(160) 및 입력부(170)는 옵셔널한 구성일 수 있다.
모션센서 데이터 획득부(110)는 웨어러블 장치의 모션 센서로부터 미리 설정된 기간 동안의 모션센서 데이터를 획득할 수 있다. 도 3의 310에 도시된 것처럼, 일 실시예에서, 모션센서 데이터 획득부(110)는 웨어러블 장치의 모션 센서로부터 10분 동안의 모션센서 데이터를 획득할 수 있다. 일 실시예에서, 사용자 활동 추정 장치(100)가 모바일 장치에 배치된 경우, 모션센서 데이터 획득부(110)는 웨어러블 장치와의 유/무선 통신을 통해 모션센서 데이터에 대한 데이터를 수신함으로써 모션센서 데이터를 획득할 수 있다.
분해 모션센서 데이터 생성부(120)는 획득된 모션센서 데이터를 하나 이상의 시간 간격으로 분해함으로써, 복수의 분해 모션센서 데이터를 생성할 수 있다. 도 3의 320에 도시된 것처럼, 일 실시예에서, 분해 모션센서 데이터 생성부(120)는 획득된 10분 동안의 모션센서 데이터를 제1 시간 간격(예컨대, 1분 간격)으로 분해함으로써, n개(예컨대, 10개)의 분해 모션센서 데이터를 생성할 수 있다. 사용자가 특정 활동을 수행할 때 일정한 기간 동안 일관되게 그 활동을 수행하는 것이 아니기 때문에, 이러한 모션센서 데이터를 분해함으로써 총 n개의 분해 모션센서 데이터를 이용하여 사용자 활동을 추정하는 방식은 전체 모션센서 데이터 1개를 이용하여 사용자 활동을 추정하는 방식과 비교하여 사용자 활동 추정의 정확도를 높일 수 있다.
다른 실시예에서, 분해 모션센서 데이터 생성부(120)는 획득된 10분 동안의 모션센서 데이터를 제2 시간 간격(예컨대, 5분 간격)으로 더 분해함으로써, m개(예컨대, 2개)의 분해 모션센서 데이터를 더 생성할 수 있다. 이 경우, 제2 시간 간격은 제1 시간 간격과 상이한 시간 간격일 수 있다. 예를 들면, 제2 시간 간격은 제1 시간 간격 보다 긴 시간 간격일 수 있다. 이러한 모션센서 데이터를 둘 이상의 시간 간격으로 분해함으로써 총 n+m개의 분해 모션센서 데이터를 이용하여 사용자 활동을 추정하는 방식은 모션센서 데이터를 하나의 시간 간격으로 분해함으로써 총 n개의 분해 모션센서 데이터를 이용하여 사용자 활동을 추정하는 방식과 비교하여 사용자 활동 추정의 정확도를 높일 수 있다.
모션 특징 추출부(130)는 생성된 분해 모션센서 데이터의 각각에 대한 모션 특징을 추출할 수 있다. 도 3의 330에 도시된 것처럼, 일 실시예에서, 모션 특징 추출부(130)는 n개(예컨대, 10개)의 분해 모션센서 데이터의 각각에 대한 n개(예컨대, 10개)의 모션 특징(예컨대, 제1 모션 특징 내지 제10 모션 특징)을 추출할 수 있다. 다른 실시예에서, 모션 특징 추출부(130)는 생성된 n+m개(예컨대, 12개)의 분해 모션센서 데이터의 각각에 대한 n+m개의 모션 특징을 추출할 수 있다. 이 경우, 각 모션 특징은 하나 이상의 특징(특징 값)을 포함할 수 있다.
아래 표 1은 가속도 센서 데이터로부터 추출된 하나의 모션 특징에 포함될 수 있는 예시적인 특징(특징 값)들을 나타내는 표이다.
특징 번호 특징 특징 설명
1 v(a)k 단위 시간 당 가속도 놈의 분산(Variance of Acc. Norm / unit time)
2 m(a)k 단위 시간 당 가속도 놈의 평균(Mean of Acc. Norm / unit time)
3 v(a_x)k 단위 시간 당 x축 방향의 가속도의 분산(Variance of acc. in x-axis / unit time)
4 v(a_y)k 단위 시간 당 y축 방향의 가속도의 분산(Variance of acc. in y-axis / unit time)
5 v(a_z)k 단위 시간 당 z축 방향의 가속도의 분산(Variance of acc. in z-axis / unit time)
6 m(a_x)k 단위 시간 당 x축 방향의 가속도의 평균(Mean of acc. in x-axis / unit time)
7 m(a_y)k 단위 시간 당 y축 방향의 가속도의 평균(Mean of acc. in y-axis / unit time)
8 m(a_z)k 단위 시간 당 z축 방향의 가속도의 평균(Mean of acc. in z-axis / unit time)
9 n(s)k 스텝 모션의 수(Number of step motion)
10 n(sw)k 스윙 모션의 수(Number of swing motion)
또한, 위 표에 개시되어 있지 않지만, 각 특징 값들의 차와 비율들을 특징 값으로 더 포함할 수 있다. 예를 들면, 분산 차(예컨대, 특징 3과 특징 4의 분산 차인 v(a_x)k- v(a_y)k등)를 특징 값으로 더 포함할 수 있고, 평균 차(예컨대, 특징 6과 특징 7의 평균 차인 m(a_x)k - m(a_y)k 등)를 특징 값으로 더 포함할 수 있고, 모션 비율(예컨대, 특징 9와 특징 10의 모션 비율인 m_rk = (n(s)k - n(sw)k)/n(sw)k)을 특징 값으로 더 포함할 수 있다. 즉, 위 표에 개시된 특징 값들은 예시적인 특징 값들로, 본 명세서의 실시 예들은 이러한 예시에 의해 제한되지 않고, 다양한 종류의 특징 값을 더 포함하거나 위에 개시된 일부 특징 값을 생략할 수 있다.
모션 특징 분류부(140)는 추출된 모션 특징들의 각각을 미리 결정된 분류 알고리즘에 기초하여 분류하고, 분류 결과에 기초하여 모션 특징들의 각각에 대응하는 사용자 활동을 결정할 수 있다. 도 3의 340에 도시된 것처럼, 일 실시예에서, 모션 특징 분류부(140)는 추출된 n개(예컨대, 10개)의 모션 특징들을 각각 분류하여 대응하는 n개(예컨대, 10개)의 사용자 활동(예컨대, 제1 사용자 활동 내지 제10 사용자 활동)을 결정할 수 있다. 다른 실시예에서, 모션 특징 분류부(140)는 추출된 n+m개의 모션 특징들을 각각 분류하여 대응하는 n+m개의 사용자 활동을 결정할 수 있다.
또한, 모션 특징 분류부(140)는 모션 특징들의 각각의 특징 값이 스레시홀드 값 이상인지 여부를 더 판단할 수 있다. 이때, 모션 특징 분류부(140)는 특징 값이 스레시홀드 값 이상인 모션 특징들에 대하여만 대응하는 사용자 활동을 결정하고, 특징 값이 스레시홀드 값 이하인 모션 특징들에 대하여는 사용자 활동을 결정하지 않을 수 있다. 이를 통해, 사용자가 특정 활동 도중에 잠깐씩 쉬는 경우, 해당 구간(예컨대, 도3의 320의 3번째 구간)에 대한 모션 특징(예컨대, 제3 모션 특징)을 제거하고 유용한 구간에 대한 모션 특징만을 이용하여 사용자 활동을 추정함으로써 추정의 정확도를 높일 수 있다.
사용자 활동 추정부(150)는 결정된 사용자 활동들에 기초하여 최종 사용자 활동을 추정할 수 있다. 도 3의 350에 도시된 것처럼, 사용자 활동 추정부(150)는 결정된 n개(예컨대, 10개)의 사용자 활동 중 하나의 사용자 활동을 최종 사용자 활동으로서 추정할 수 있다.
일 실시예에서, 사용자 활동 추정부(150)는 결정된 사용자 활동들 중 가장 많은 수를 갖는 사용자 활동을 식별하고, 식별된 사용자 활동을 최종 사용자 활동으로서 결정할 수 있다. 예를 들면, 결정된 사용자 활동들 중 가장 많은 수(예컨대, 10개 중 8개)를 갖는 사용자 활동이 자전거 타기인 경우, 사용자 활동 추정부(150)는 자전거 타기를 최종 사용자 활동으로서 결정할 수 있다.
다른 실시예에서, 사용자 활동 추정부(150)는 식별된 사용자 활동의 수가 스레시홀드 이상인지 여부를 더 판단할 수 있다. 이때, 사용자 활동 추정부(150)는 식별된 사용자 활동의 수가 스레시홀드 이상인 경우에만, 식별된 사용자 활동을 최종 사용자 활동으로서 결정할 수 있다. 예를 들면, 결정된 사용자 활동들 중 가장 많은 수(예컨대, 10개 중 4개)를 갖는 사용자 활동이 자전거 타기로 식별되었으나, 해당 사용자 활동의 수가 스레시홀드(예컨대, 7개) 보다 작은 경우, 사용자 활동 추정부(150)는 최종 사용자 활동의 추정을 보류하거나, 또는 최종 사용자 활동의 추정과 함께 추정된 사용자 활동에 대한 인식률(예컨대, 40(=4/10*100) %)을 사용자에게 제공할 수 있다. 이를 통해, 장치는 특정 사용자 활동을 최종 사용자 활동으로 추정하기 애매한 경우에 추정을 보류하거나, 또는 추정과 함께 인식률 정보를 제공함으로써 사용자가 추정의 정확도를 파악할 수 있게 해준다.
또한, 사용자 활동 추정부(150)는 추출된 모션 특징에 기초하여 추정된 최종 사용자 활동의 강도 및 모션 횟수를 더 결정할 수 있다. 여기서, 강도는 해당 활동의 강도 값으로서, 예를 들어, 해당 활동 시 소모되는 칼로리 값일 수 있다. 또한, 모션 횟수는 해당 활동에 대응하는 모션 행동의 횟수로서, 예를 들어, 걸음 수, 스윙 횟수, 줄넘기 횟수 등일 수 있다. 이를 통해, 장치는 추정된 사용자 활동의 종류만을 제공하는 것이 아니라, 추정된 사용자 활동의 강도 및 모션 횟수에 대한 정보를 함께 사용자에게 제공함으로써 보다 다양한 정보를 사용자에게 제공할 수 있다.
사용자 활동 검증부(160)는 미리 결정된 검증 알고리즘을 이용하여 추정된 최종 사용자 활동을 검증할 수 있다. 일 실시예에서, 사용자 활동 검증부(160)는, 분할부로 하여금 최종 사용자 활동을 추정하기 위한 제1 시간 간격(예컨대, 1분 간격)과 상이한(예컨대, 더 짧은) 제2 시간 간격(예컨대, 30초 간격)으로 모션 센서 데이터를 더 분할하게 하고, 이에 기초하여 상술한 방식과 동일한 방식으로 최종 사용자 활동을 더 추정함으로써, 이미 추정된 사용자 활동을 검증할 수 있다. 다른 실시예에서, 사용자 활동 검증부(160)는, 모션센서 데이터 획득부(110)로 하여금 최종 사용자 활동을 추정하기 위한 제1 모션 센서(예컨대, 가속도 센서)와 상이한 제2 모션 센서(예컨대, 자이로 센서)로부터 제2 모션센서 데이터를 획득하게 하고, 획득된 제2 모션센서 데이터에 기초하여 이미 추정된 최종 사용자 활동을 검증할 수 있다. 이러한 검증방식을 이용하여 이미 추정된 사용자 활동을 다시 한번 더 검증함으로써 사용자 활동 추정의 정확도를 높일 수 있다.
입력부(170)는 사용자로부터 수행 중인 사용자 활동에 대한 정보를 입력 받을 수 있다. 이 경우, 사용자 활동 추정부(150)는 입력된 사용자 활동에 대한 정보 및 결정된 사용자 활동들에 대한 정보 기초하여, 최종 사용자 활동을 추정할 수 있다. 이를 통해, 사용자로부터 직접 입력된 사용자 활동에 대한 정보를 더 이용하여 사용자 활동을 추정함으로써 추정의 정확도를 높일 수 있다.
도 2는 본 명세서의 일 실시예에 따른 구성도로서, 분리하여 표시한 구성들은 장치의 구성들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 장치의 구성들은 장치의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
도 4는 추출된 모션 특징들 각각을 분류하고, 분류 결과에 기초하여 모션 특징들 각각에 대응하는 사용자 활동을 결정하는 예시적인 방법을 나타낸다. 사용자 활동 추정 장치(100)는 분류부를 이용하여 미리 설정된 분류 알고리즘에 따라 제1 모션 특징을 분류하여 이에 대응하는 사용자 활동을 결정한다. 이후, 사용자 활동 추정 장치(100)는 동일한 분류 알고리즘을 이용하여 제2 모션 특징을 분류하여 이에 대응하는 사용자 활동을 결정한다. 이러한 방식으로, 사용자 활동 추정 장치(100)는 모든 모션 특징들에 대응하는 사용자 활동들을 결정할 수 있다.
이하에서는, 도 4a 내지 4c를 참조하여, 하나의 모션 특징을 분류하여 대응하는 사용자 활동을 결정하는 과정에 대하여 상세히 설명하도록 한다. 상술한 바와 같이 모션 특징은 적어도 하나의 특징 값(특징)을 포함할 수 있다. 일 실시예에서, 사용자 활동 추정 장치(100)는 미리 설정된 분류 기준에 따라 모션 특징에 포함된 특징 값들 간의 우선 순위를 정하고, 정해진 우선 순위에 따라 각 특징 값들과 각 특징 값들에 대한 스레시홀드 값들을 비교하는 방식으로, 모션 특징을 분류하여 대응하는 사용자 활동을 결정할 수 있다. 이에 대하여는 각 도면을 참조하여 이하에서 상세히 설명하도록 한다.
우선, 도 4a를 참조하면, 사용자 활동 추정 장치(100)는 미리 결정된 분류 알고리즘에 따라 제1 특징(예컨대, v(a)k)이 제1 스레시홀드(ε1) 미만인지 여부를 판단(410)한다. 제1 특징이 제1 스레시홀드 미만인 경우, 사용자 활동 추정 장치(100)는 제1-1 특징(예컨대, m(a_z)k)이 제1-1 스레시홀드(δ1) 미만인지 여부를 더 판단(420)한다. 제1-1 특징이 제1-1 스레시홀드 미만인 경우, 사용자 활동 추정 장치(100)는 걷기(walking)를 상기 사용자 활동으로서 결정한다. 제1-1 특징이 제1-1 스레시홀드 이상인 경우, 사용자 활동 추정 장치(100)는 제1-2 특징(예컨대, v(a_x)k- v(a_y)k)이 제1-2 스레시홀드(ζ1) 미만인지 여부를 더 판단(430)한다. 제1-2 특징이 제1-2 스레시홀드 미만인 경우, 사용자 활동 추정 장치(100)는 정지(standing)를 상기 사용자 활동으로서 결정한다. 제1-2 특징이 제1-2 스레시홀드 이상인 경우, 자전거 타기(biking)을 상기 사용자 활동으로서 결정한다.
또한, 도 4b를 참조하면, 제1 특징(예컨대, v(a)k)이 제1 스레시홀드(ε1) 이상인 경우, 사용자 활동 추정 장치(100)는 제1 특징(예컨대, v(a)k)이 제2 스레시홀드(ε2)인 미만인지 여부를 더 판단(440)한다. 제1 특징이 제2 스레시홀드(ε2)인 미만인 경우, 사용자 활동 추정 장치(100)는 제2-1 특징(예컨대, g(b)k)이 제2-1 스레시홀드(G) 미만인지 여부를 더 판단(450)한다. 제2-1 특징이 제2-1 스레시홀드 이상인 경우, 사용자 활동 추정 장치(100)는 등산하기(claiming)를 상기 사용자 활동으로서 결정한다. 제2-1 특징이 제2-1 스레시홀드 미만인 경우, 사용자 활동 추정 장치(100)는 제 2-2 특징(예컨대, m(a_x)k - m(a_y)k)이 제 2-2 스레시홀드(ρ1) 미만인지 여부를 더 판단(460)한다. 제 2-2 특징이 제 2-2 스레시홀드 미만인 경우, 사용자 활동 추정 장치(100)는 걷기를 상기 사용자 활동으로서 결정한다. 제 2-2 특징이 제 2-2 스레시홀드 이상인 경우, 사용자 활동 추정 장치(100)는 자전거 타기를 상기 사용자 활동으로서 결정한다.
또한, 도 4c를 참조하면, 제 1 특징(예컨대, v(a)k)이 제2 스레시홀드(ε2) 이상인 경우, 사용자 활동 추정 장치(100)는 제3-1 특징(예컨대, m_rk)이 제3-1 스레시홀드(T_R) 미만인지 여부를 더 판단(470)한다. 제3-1 특징이 제3-1 스레시홀드 미만인 경우, 사용자 활동 추정 장치(100)는 탁구 치기(table tennis)를 상기 사용자 활동으로서 결정한다. 제3-1 특징이 제3-1 스레시홀드 이상인 경우, 사용자 활동 추정 장치(100)는 제3-2 특징(예컨대, v(a_x)k- v(a_y)k)이 제3-2 스레시홀드(ε3) 미만인지 여부를 더 판단(480)한다. 제3-2 특징이 제3-2 스레시홀드 미만인 경우, 사용자 활동 추정 장치(100)는 줄넘기(jumping lope)를 상기 사용자 활동으로서 결정한다. 제3-2 특징이 제3-2 스레시홀드 이상인 경우, 사용자 활동 추정 장치(100)는 달리기(running)를 상기 사용자 활동으로서 결정한다.
또한, 사용자 활동 추정 장치(100)는 상술한 방법을 각 모션 특징들 모두에 적용하여 각 모션 특징에 대한 사용자 활동을 결정할 수 있다. 또한, 사용자 활동 추정 장치(100)는 결정된 사용자 활동에 기초하여 최종 사용자 활동을 추정할 수 있다. 예를 들면, 모션 특징의 각각에 대한 사용자 활동들 중 등산 하기가 가장 많은 수의 사용자 활동인 경우, 사용자 활동 추정 장치(100)는 등산 하기를 최종 사용자 활동으로 추정할 수 있다.
또한, 사용자 활동 추정 장치(100)는 미리 결정된 검증 알고리즘을 이용하여 추정된 최종 사용자 활동을 검증할 수 있다. 예를 들면, 사용자 활동 추정 장치(100)는 GPS 센서를 이용하여 GPS 센서 데이터를 더 획득하고, 획득된 GPS 센서에 기초하여 사용자의 위치를 산출하고, 사용자의 위치가 산인지 여부를 판단하여 최종 사용자 활동을 검증할 수 있다.
도 5는 일 실시예에 따른, 본 장치를 이용한 사용자 활동 추정의 실험 결과를 나타내는 도면이다. 보다 상세하게, 도 5a는 피실험자가 6개의 활동(정지, 걷기, 달리기, 자전거 타기, 줄넘기, 탁구 치기)를 순차적으로 수행한 경우에 웨어러블 장치로부터 획득된 모션센서 데이터를 이용하여 상술한 방법에 따라 최종 사용자 활동을 추정한 실험 결과를 나타내는 도면이고, 도 5b는 피실험자가 4개의 활동(걷기, 뛰기, 자전거 타기, 줄넘기)를 순차적으로 수행한 경우에 웨어러블 장치로부터 획득된 모션센서 데이터를 이용하여 상술한 방법에 따라 사용자 활동을 추정한 실험 결과를 나타내는 도면이다. 이때, 도 5a의 피실험자와 도 5b의 피실험자는 다른 피실험자이다.
도 5a 및 5b를 참조하면, 1분 단위의 각 모션 특징으로부터 추정된 사용자 활동들 중 일부는 피실험자의 움직임의 단기적인 변화(예컨대, 자전거 타다가 잠시 멈추기)로 인하여 다른 사용자 활동으로 인식되는 경우가 생겼으나, 10분 동안의 각 모션 특징들을 조합함으로써 추정된 최종 사용자 활동은, 동일한 피실험자인지 여부 또는 피실험자가 수행한 활동의 종류에 관계없이 정확하게 추정됨을 알 수 있다.
도 6은 일 실시예에 따른, 사용자 활동 추정 방법의 순서도이다. 본 순서도에서는 도 1 내지 도 5의 설명과 중복되는 부분에 대한 설명은 생략하도록 한다.
도 6을 참조하면, 사용자 활동 추정 장치(100)는 웨어러블 장치의 모션 센서로부터 미리 설정된 기간 동안의 모션센서 데이터를 획득할 수 있다(S10). 일 실시예에서, 사용자 활동 추정 장치(100)가 모바일 장치에 배치된 경우, 획득부는 웨어러블 장치와의 유/무선 통신을 통해 모션센서 데이터에 대한 데이터를 수신함으로써 모션센서 데이터를 획득할 수 있다.
사용자 활동 추정 장치(100)는 모션센서 데이터를 하나 이상의 시간 간격으로 분해함으로써, 복수의 분해 모션센서 데이터를 생성할 수 있다(S20). 일 실시예에서, 생성부는 획득된 모션센서 데이터를 제1 시간 간격으로 분해함으로써, n개의 분해 모션센서 데이터를 생성할 수 있다. 다른 실시예에서, 생성부는 획득된 모션센서 데이터를 제2 시간 간격으로 더 분해함으로써, m개의 분해 모션센서 데이터를 더 생성할 수 있다.
사용자 활동 추정 장치(100)는 복수의 분해 모션센서 데이터의 각각에 대한 모션 특징을 추출할 수 있다(S30). 일 실시예에서, 추출부는 n개의 분해 모션센서 데이터의 각각에 대한 n개의 모션 특징을 추출할 수 있다. 다른 실시예에서, 추출부는 생성된 n+m개의 분해 모션센서 데이터의 각각에 대한 n+m개의 모션 특징을 추출할 수 있다. 이 경우, 각 모션 특징은 하나 이상의 특징(특징 값)을 포함할 수 있다. 이 경우, 각 모션 특징은 하나 이상의 특징(특징 값)을 포함할 수 있다. 이에 대하여는 표 1에 설명된 바 자세한 설명은 생략한다.
사용자 활동 추정 장치(100)는 미리 결정된 분류 알고리즘에 기초하여 모션 특징들 각각을 분류하고, 분류 결과에 기초하여 모션 특징들 각각에 대응하는 사용자 활동을 결정할 수 있다(S40). 일 실시예에서, 분류부는 추출된 n개의 모션 특징들을 각각 분류하여 대응하는 n개의 사용자 활동을 결정할 수 있다. 다른 실시예에서, 분류부는 추출된 n+m개의 모션 특징들을 각각 분류하여 대응하는 n+m개의 사용자 활동을 결정할 수 있다. 이에 대하여는 도 4a 내지 4c에 설명된 바 자세한 설명은 생략한다.
또한, 사용자 활동 추정 장치(100)는 모션 특징들의 각각의 특징 값이 스레시홀드 값 이상인지 여부를 더 판단할 수 있다. 이때, 분류부는 특징 값이 스레시홀드 값 이상인 모션 특징들에 대하여만 대응하는 사용자 활동을 결정하고, 특징 값이 스레시홀드 값 이상인 모션 특징들에 대하여는 사용자 활동을 결정하지 않을 수 있다.
사용자 활동 추정 장치(100)는 결정된 사용자 활동들에 기초하여 최종 사용자 활동을 추정할 수 있다(S50). 일 실시예에서, 추정부는 결정된 사용자 활동들 중 가장 많은 수를 갖는 사용자 활동을 식별하고, 식별된 사용자 활동을 최종 사용자 활동으로서 결정할 수 있다. 다른 실시예에서, 추정부는 식별된 사용자 활동의 수가 스레시홀드 이상인지 여부를 더 판단할 수 있다. 이때, 추정부는 식별된 사용자 활동의 수가 스레시홀드 이상인 경우에만, 식별된 사용자 활동을 최종 사용자 활동으로서 결정할 수 있다.
또한, 사용자 활동 추정 장치(100)는 추출된 모션 특징에 기초하여 추정된 최종 사용자 활동의 강도 및 모션 횟수를 더 결정할 수 있다. 여기서, 강도는 해당 활동의 강도 값으로서, 예를 들어, 해당 활동 시 소모되는 칼로리 값일 수 있다. 또한, 모션 횟수는 해당 활동에 대응하는 모션 행동의 횟수로서, 예를 들어, 걸음 수, 스윙 횟수, 줄넘기 횟수 등일 수 있다.
또한, 사용자 활동 추정 장치(100)는 사용자로부터 수행 중인 사용자 활동에 대한 정보를 입력 받을 수 있다. 이 경우, 사용자 활동 추정 장치(100)는 입력된 사용자 활동에 대한 정보 및 결정된 사용자 활동들에 대한 정보에 기초하여, 최종 사용자 활동을 추정할 수 있다.
도 7은 다른 실시예에 따른, 사용자 활동 추정 방법의 순서도이다. 본 순서도에서는 도 1 내지 도 6의 설명과 중복되는 부분에 대한 설명은 생략하도록 한다. 또한, S10 내지 S50에 대한 설명은 도 6의 설명과 동일하므로, 이하에서는 S70에 대하여만 설명하도록 한다.
도 7을 참조하면, 사용자 활동 추정 장치(100)는 미리 결정된 검증 알고리즘을 이용하여 최종 사용자 활동을 검증할 수 있다(S70). 일 실시예에서, 사용자 활동 추정 장치(100)는, 최종 사용자 활동을 추정하기 위한 제1 시간 간격과 상이한 제2 시간 간격으로 모션 센서 데이터를 더 분할하고, 이에 기초하여 상술한 방식과 동일한 방식으로 최종 사용자 활동을 더 추정함으로써, 이미 추정된 사용자 활동을 검증할 수 있다. 다른 실시예에서, 사용자 활동 추정 장치(100)는 최종 사용자 활동을 추정하기 위한 제1 모션 센서와 상이한 제2 모션 센서로부터 제2 모션센서 데이터를 획득하고, 획득된 제2 모션센서 데이터에 기초하여 이미 추정된 최종 사용자 활동을 검증할 수 있다.
이와 같은, 사용자 활동 추정 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시예에 한정되지 아니하며, 청구 범위에서 청구하는 요지를 벗어남이 없이 당해 명세서가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
또한, 본 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양 발명의 설명은 보충적으로 적용될 수 있다.

Claims (23)

  1. 웨어러블 장치의 모션 센서로부터 미리 설정된 기간 동안의 모션센서 데이터를 획득하는 모션센서 데이터 획득부;
    상기 모션센서 데이터를 하나 이상의 시간 간격으로 분해함으로써, 복수의 분해 모션센서 데이터를 생성하는 분해 모션센서 데이터 생성부;
    상기 복수의 분해 모션센서 데이터의 각각에 대한 모션 특징을 추출하는 모션 특징 추출부;
    미리 결정된 분류 알고리즘에 기초하여 상기 모션 특징들 각각을 분류하고, 분류 결과에 기초하여 상기 모션 특징들 각각에 대응하는 사용자 활동을 결정하는 모션 특징 분류부; 및
    결정된 사용자 활동들에 기초하여 최종 사용자 활동을 추정하는 사용자 활동 추정부를 포함하는, 사용자 활동 추정 장치.
  2. 제 1 항에 있어서,
    상기 분해 모션센서 데이터 생성부는,
    상기 모션센서 데이터를 제1 시간 간격으로 분해함으로써, n개의 분해 모션센서 데이터를 생성하는, 사용자 활동 추정 장치.
  3. 제 2 항에 있어서,
    상기 분해 모션센서 데이터 생성부는,
    상기 모션센서 데이터를 제2 시간 간격으로 더 분해함으로써, m개의 분해 모션센서 데이터를 더 생성하되, 상기 제2 시간 간격은 상기 제1 시간 간격과 상이한 시간 간격인, 사용자 활동 추정 장치.
  4. 제 3 항에 있어서,
    상기 제2 시간 간격은 상기 제1 시간 간격 보다 더 긴 시간 간격인, 사용자 활동 추정 장치.
  5. 제 1 항에 있어서,
    상기 사용자 활동 추정부는,
    상기 결정된 사용자 활동들 중 최대의 수를 갖는 사용자 활동을 식별하고, 상기 식별된 사용자 활동을 상기 최종 사용자 활동으로서 결정하는, 사용자 활동 추정 장치.
  6. 제 5 항에 있어서,
    상기 사용자 활동 추정부는,
    상기 식별된 사용자 활동의 수가 스레시홀드 이상인지 여부를 더 판단하고, 상기 식별된 사용자 활동의 수가 스레시홀드 이상인 경우에만 상기 식별된 사용자 활동을 상기 최종 사용자 활동으로서 결정하는, 사용자 활동 추정 장치.
  7. 제 1 항에 있어서,
    상기 모션 특징 분류부는,
    상기 모션 특징들의 특징 값이 스레시홀드 이상인지 여부를 판단하고, 상기 특징 값이 스레시홀드 이상인 경우에만 상기 모션 특징에 대응하는 사용자 활동을 결정하는, 사용자 활동 추정 장치.
  8. 제 1 항에 있어서,
    상기 사용자 활동 추정부는,
    상기 추출된 모션 특징들에 기초하여 상기 추정된 최종 사용자 활동의 강도 및 모션 횟수를 더 추정하는, 사용자 활동 추정 장치.
  9. 제 1 항에 있어서,
    사용자로부터 수행 중인 사용자 활동에 대한 정보를 입력 받는 입력부를 더 포함하고,
    상기 사용자 활동 추정부는,
    상기 입력된 사용자 활동에 대한 정보 및 상기 결정된 사용자 활동들에 정보에 기초하여, 상기 최종 사용자 활동을 추정하는, 사용자 활동 추정 장치.
  10. 제 1 항에 있어서,
    미리 결정된 검증 알고리즘을 이용하여 상기 최종 사용자 활동을 검증하는 사용자 활동 검증부를 더 포함하는, 사용자 활동 추정 장치.
  11. 제 10 항에 있어서,
    상기 사용자 활동 검증부는,
    상기 최종 사용자 활동을 추정하기 위한 제1 모션 센서와 상이한 제2 모션 센서로부터 획득된 제2 모션센서 데이터에 기초하여 상기 최종 사용자 활동을 검증하는, 사용자 활동 추정 장치.
  12. 제 10 항에 있어서,
    상기 사용자 활동 검증부는,
    상기 최종 사용자 활동을 추정하기 위한 제1 시간 간격과 상이한 제2 시간 간격으로 분할된 제2 분할 모션센서 데이터에 기초하여 상기 최종 사용자 활동을 검증하는, 사용자 활동 추정 장치.
  13. 웨어러블 장치의 모션 센서로부터 미리 설정된 기간 동안의 모션센서 데이터를 획득하는 단계;
    상기 모션센서 데이터를 하나 이상의 시간 간격으로 분해함으로써, 복수의 분해 모션센서 데이터를 생성하는 단계;
    상기 복수의 분해 모션센서 데이터의 각각에 대한 모션 특징을 추출하는 단계;
    미리 결정된 분류 알고리즘에 기초하여 상기 모션 특징들 각각을 분류하고, 분류 결과에 기초하여 상기 모션 특징들 각각에 대응하는 사용자 활동을 결정하는 단계; 및
    결정된 사용자 활동들에 기초하여 최종 사용자 활동을 추정하는 단계를 포함하는, 사용자 활동 추정 방법.
  14. 제 13 항에 있어서,
    상기 복수의 분해 모션센서 데이터를 생성하는 단계는,
    상기 모션센서 데이터를 제1 시간 간격으로 분해함으로써, n개의 분해 모션센서 데이터를 생성하는, 사용자 활동 추정 방법.
  15. 제 14 항에 있어서,
    상기 복수의 분해 모션센서 데이터를 생성하는 단계는,
    상기 모션센서 데이터를 제2 시간 간격으로 분해함으로써, m개의 분해 모션센서 데이터를 더 생성하되, 상기 제2 시간 간격은 상기 제1 시간 간격과 상이한 시간 간격인, 사용자 활동 추정 방법.
  16. 제 13 항에 있어서,
    상기 최종 사용자 활동을 추정하는 단계는,
    상기 결정된 사용자 활동들 중 최대의 수를 갖는 사용자 활동을 식별하는 단계; 및
    상기 식별된 사용자 활동을 상기 최종 사용자 활동으로서 결정하는 단계를 포함하는, 사용자 활동 추정 방법.
  17. 제 16 항에 있어서,
    상기 최종 사용자 활동을 추정하는 단계는,
    상기 식별된 사용자 활동의 수가 스레시홀드 이상인지 여부를 판단하는 단계를 더 포함하고,
    상기 식별된 사용자 활동을 상기 최종 사용자 활동으로서 결정하는 단계는,
    상기 식별된 사용자 활동의 수가 스레시홀드 이상인 경우에만, 상기 식별된 사용자 활동을 상기 최종 사용자 활동으로서 결정하는 단계를 포함하는, 사용자 활동 추정 방법.
  18. 제 13 항에 있어서,
    상기 모션 특징을 추출하는 단계 이후에,
    상기 모션 특징들의 각각의 특징 값이 스레시홀드 값 이상인지 여부를 판단하는 단계를 더 포함하고,
    상기 사용자 활동을 결정하는 단계는,
    상기 특징 값이 스레시홀드 값 이상인 경우에만 상기 모션 특징에 대응하는 사용자 활동을 결정하는, 사용자 활동 추정 방법.
  19. 제 13 항에 있어서,
    상기 최종 사용자 활동을 추정하는 단계는,
    상기 추출된 모션 특징들에 기초하여 상기 추정된 최종 사용자 활동의 강도 및 모션 횟수를 결정하는 단계를 더 포함하는, 사용자 활동 추정 방법.
  20. 제 13 항에 있어서,
    사용자로부터 수행 중인 사용자 활동에 대한 정보를 입력 받는 단계를 더 포함하고,
    상기 최종 사용자 활동을 추정하는 단계는,
    상기 입력된 사용자 활동에 대한 정보 및 상기 결정된 사용자 활동들에 대한 정보에 기초하여, 상기 최종 사용자 활동을 추정하는, 사용자 활동 추정 방법.
  21. 제 13 항에 있어서,
    상기 최종 사용자 활동을 추정하는 단계 이후에,
    미리 결정된 검증 알고리즘을 이용하여 상기 최종 사용자 활동을 검증하는 단계를 더 포함하는, 사용자 활동 추정 방법.
  22. 제 21 항에 있어서,
    상기 최종 사용자 활동을 검증하는 단계는,
    상기 최종 사용자 활동을 추정하기 위한 제1 모션 센서와 상이한 제2 모션 센서로부터 획득된 제2 모션센서 데이터에 기초하여 상기 최종 사용자 활동을 검증하는, 사용자 활동 추정 방법.
  23. 제 21 항에 있어서,
    상기 최종 사용자 활동을 검증하는 단계는,
    상기 최종 사용자 활동을 추정하기 위한 제1 시간 간격과 상이한 제2 시간 간격으로 분할된 제2 분할 모션센서 데이터에 기초하여 상기 최종 사용자 활동을 검증하는, 사용자 활동 추정 방법.
PCT/KR2016/000294 2015-01-30 2016-01-12 사용자 활동을 추정하는 장치 및 방법 Ceased WO2016122141A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2015-0015045 2015-01-30
KR1020150015045A KR101644417B1 (ko) 2015-01-30 2015-01-30 사용자 활동을 추정하는 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2016122141A1 true WO2016122141A1 (ko) 2016-08-04

Family

ID=56543700

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/000294 Ceased WO2016122141A1 (ko) 2015-01-30 2016-01-12 사용자 활동을 추정하는 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101644417B1 (ko)
WO (1) WO2016122141A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109119172A (zh) * 2018-07-12 2019-01-01 中原工学院 一种基于蜂群算法的人体行为检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011245316A (ja) * 2004-06-18 2011-12-08 Adidas Ag リアルタイム生理学的監視用のシステム及び方法
WO2013103570A1 (en) * 2012-01-04 2013-07-11 Nike International Ltd. Athletic watch
US20140180456A1 (en) * 2010-11-01 2014-06-26 Nike, Inc. Wearable device assembly having athletic functionality and session tracking
US20140288877A1 (en) * 2013-03-15 2014-09-25 Aliphcom Intermediate motion signal extraction to determine activity
KR101461464B1 (ko) * 2014-06-18 2014-11-18 김경태 스마트밴드 및 이의 생체 인증 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101293575B1 (ko) 2012-11-27 2013-08-12 주식회사 휘트닷라이프 사용자의 신체 활동정보 측정시간을 반영하여 칼로리 소모량을 측정하는 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011245316A (ja) * 2004-06-18 2011-12-08 Adidas Ag リアルタイム生理学的監視用のシステム及び方法
US20140180456A1 (en) * 2010-11-01 2014-06-26 Nike, Inc. Wearable device assembly having athletic functionality and session tracking
WO2013103570A1 (en) * 2012-01-04 2013-07-11 Nike International Ltd. Athletic watch
US20140288877A1 (en) * 2013-03-15 2014-09-25 Aliphcom Intermediate motion signal extraction to determine activity
KR101461464B1 (ko) * 2014-06-18 2014-11-18 김경태 스마트밴드 및 이의 생체 인증 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109119172A (zh) * 2018-07-12 2019-01-01 中原工学院 一种基于蜂群算法的人体行为检测方法

Also Published As

Publication number Publication date
KR101644417B1 (ko) 2016-08-03

Similar Documents

Publication Publication Date Title
Mannini et al. Activity recognition using a single accelerometer placed at the wrist or ankle
US9278255B2 (en) System and method for activity recognition
Jensen et al. Classification of kinematic swimming data with emphasis on resource consumption
EP2930690A1 (en) Apparatus and method for analyzing a trajectory
Fan et al. Sensor fusion basketball shooting posture recognition system based on CNN
Groh et al. IMU-based trick classification in skateboarding
WO2022158819A1 (en) Method and electronic device for determining motion saliency and video playback style in video
WO2016175579A1 (en) User interface control using impact gestures
Depari et al. Lightweight machine learning-based approach for supervision of fitness workout
CN115914741B (zh) 基于动作分类的婴儿视频集锦抓取方法、装置及设备
US8803982B2 (en) Information processing apparatus, information processing method, program, and information processing system for determining a subject as being imaged by a plurality of imaging devices
CN110811578A (zh) 计步装置及其计步方法、控制器和可读存储介质
Al Abiad et al. SMARTphone inertial sensors based STEP detection driven by human gait learning
WO2021107734A1 (ko) 골프에 관한 콘텐츠를 추천하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20140083209A (ko) 사용자 동작 인식 장치 및 그 방법
Worsey et al. Automatic classification of running surfaces using an ankle-worn inertial sensor
WO2023163398A1 (en) Systems and methods for video event segmentation
WO2016122141A1 (ko) 사용자 활동을 추정하는 장치 및 방법
CN107247974B (zh) 基于多源数据融合的健身运动识别方法及系统
CN114463785B (zh) 基于传感器与图像处理融合的人体摔倒检测方法和系统
CN109614893B (zh) 基于情境推理的异常行为行踪智能识别方法及装置
CN106599849A (zh) 一种基于动作识别技术的人体步态分析系统
Haider et al. Evaluation of dominant and non-dominant hand movements for volleyball action modelling
KR20100008071A (ko) 하이브리드 센서 기반의 인간행동 감지 시스템 및 방법
WO2025159280A1 (ko) 비디오 분석을 통해 사람의 행동을 검출하는 딥러닝 기반의 행동 검출 모델을 학습하는 방법 및 테스트하는 방법, 그리고, 이를 이용한 학습 장치 및 테스트 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16743619

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16743619

Country of ref document: EP

Kind code of ref document: A1