RU2813471C1 - Methods and systems for identifying user action - Google Patents
Methods and systems for identifying user action Download PDFInfo
- Publication number
- RU2813471C1 RU2813471C1 RU2023101090A RU2023101090A RU2813471C1 RU 2813471 C1 RU2813471 C1 RU 2813471C1 RU 2023101090 A RU2023101090 A RU 2023101090A RU 2023101090 A RU2023101090 A RU 2023101090A RU 2813471 C1 RU2813471 C1 RU 2813471C1
- Authority
- RU
- Russia
- Prior art keywords
- action
- data
- user
- segment
- subdata
- Prior art date
Links
- 230000009471 action Effects 0.000 title claims abstract description 899
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000012216 screening Methods 0.000 claims abstract description 26
- 238000005259 measurement Methods 0.000 claims abstract description 19
- 230000000875 corresponding effect Effects 0.000 claims description 127
- 239000011159 matrix material Substances 0.000 claims description 39
- 239000012634 fragment Substances 0.000 claims description 13
- 230000002596 correlated effect Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 4
- 238000005303 weighing Methods 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 16
- 239000000126 substance Substances 0.000 abstract 1
- 238000012545 processing Methods 0.000 description 127
- 230000033001 locomotion Effects 0.000 description 65
- 230000008569 process Effects 0.000 description 26
- 210000003205 muscle Anatomy 0.000 description 18
- 238000004891 communication Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 6
- 210000000245 forearm Anatomy 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000029058 respiratory gaseous exchange Effects 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000036387 respiratory rate Effects 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 210000003314 quadriceps muscle Anatomy 0.000 description 4
- 241000489861 Maximus Species 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000002976 pectoralis muscle Anatomy 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 102000006822 Agouti Signaling Protein Human genes 0.000 description 1
- 108010072151 Agouti Signaling Protein Proteins 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 210000000852 deltoid muscle Anatomy 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010339 medical test Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
Abstract
Description
Область техники, к которой относится изобретениеField of technology to which the invention relates
Настоящее раскрытие относится к области техники носимых устройств и, в частности, к способам и системам идентификации действия пользователя.The present disclosure relates to the field of wearable technology and, in particular, to methods and systems for identifying user activity.
Уровень техникиState of the art
Учитывая внимание людей к научно обоснованным занятиям спортом и к физическому здоровью, разработка устройств контроля движения при фитнесе получила широкое развитие. В настоящее время основным направлением разработки устройств контроля движения для контроля действия пользователя является анализ данных о действии пользователя, основанный на справочных данных о действии, когда тип действия пользователя известен, с тем, чтобы контролировать, является ли действие пользователя стандартизированным. Поэтому в сценарии практического применения пользователь должен заранее перед тренировкой информировать устройство контроля движения о типе действия при фитнесе, так чтобы устройство контроля движения могло выбрать справочные данные о действии для типа действия, чтобы вести точный контроль действия пользователя. Перед каждым действием пользователя при фитнесе устройству контроля движения должен сообщаться тип действия, что ведет к неудобству для пользователя. Кроме того, существующие устройства контроля движения контролируют действие пользователя не в режиме реального времени, что в результате приводит к тому, что пользователь может принимать информацию, связанную с действием фитнеса после завершения действия фитнеса, что также ведет к неудобству для пользователя.Given people's attention to evidence-based exercise and physical health, the development of motion control devices for fitness has gained momentum. At present, the main development direction of motion control devices for monitoring user action is to analyze user action data based on reference action data when the type of user action is known, so as to control whether the user action is standardized. Therefore, in a practical application scenario, the user must inform the motion control device about the fitness action type in advance before exercise, so that the motion control device can select action reference data for the action type to accurately monitor the user's action. Before each user's fitness action, the motion control device must be informed of the type of action, which leads to inconvenience for the user. In addition, existing motion control devices monitor the user's action not in real time, which results in the user being able to receive information related to the fitness action after completing the fitness action, which also leads to inconvenience for the user.
Поэтому необходимо обеспечить способ и систему идентификации действия пользователя при фитнесе в режиме реального времени, не требующие от пользователя заранее вводить тип действия. Therefore, it is necessary to provide a method and system for identifying a user's fitness activity in real time without requiring the user to input the activity type in advance.
Раскрытие сущности изобретенияDisclosure of the invention
Настоящее раскрытие представляет способ идентификации действия пользователя. В соответствии с одним из подходов настоящего раскрытия способ может содержать следующую операцию. Могут быть получены данные о действии пользователя, собранные из множества мест измерений на пользователе, данные о действии пользователя могут соответствовать неизвестному действию пользователя. Действие пользователя содержит целевое действие, при котором получение данных о действии пользователя может идентифицироваться на основе по меньшей мере одного набора целевых справочных данных о действии, и по меньшей мере один набор целевых справочных данных о действии может соответствовать целевому действию. Информация, связанная с целевым действием, может быть послана пользователю.The present disclosure provides a method for identifying a user action. In accordance with one approach of the present disclosure, the method may comprise the following step. User action data collected from a plurality of measurement locations on the user may be obtained, and the user action data may correspond to an unknown user action. The user action comprises a target action, wherein the acquisition of the user action data may be identified based on at least one set of target action reference data, and the at least one set of target action reference data may correspond to the target action. Information associated with the target action can be sent to the user.
В некоторых вариантах осуществления идентификация того, что действие пользователя содержит целевое действие, может содержать следующие операции. Может быть получено множество наборов возможных справочных данных о действии, причем каждый набор справочных данных о действии соответствует по меньшей мере одному справочному действию. Может выполняться двухуровневая операция отсева, проводимая на множестве наборов возможных справочных данных о действии, на основе данных о действии пользователя, причем двухуровневая процедура отсева может содержать сочетание операции отсева на основе степени различия и операции отсева на основе вероятности. Таким образом может быть определено действие пользователя, содержащее целевое действие, основанное на результате операции двухуровневого отсева.In some embodiments, identifying that a user action contains a target action may comprise the following operations. A plurality of possible action reference data sets may be obtained, with each action reference data set corresponding to at least one action reference data. A two-level screening operation may be performed on a plurality of candidate action reference data sets based on the user action data, wherein the two-level screening procedure may comprise a combination of a degree-of-dissimilarity screening operation and a probability-based screening operation. In this way, a user action can be defined that contains a target action based on the result of the two-level elimination operation.
В некоторых вариантах осуществления идентификация того, что действие пользователя содержит целевое действие, может содержать следующие операции. Может быть получено множество наборов справочных данных о действии, причем каждый набор справочных данных о действии соответствует по меньшей мере одному справочному действию. Каждый набор справочных данных о действии из множества наборов справочных данных о действии в свою очередь может быть выбран в качестве возможных справочных данных о действии. По меньшей мере одна степень различия может быть определена путем посегментного сравнения по меньшей мере одного сегмента субданных идентификации действия возможных справочных данных о действии с соответствующим сегментом субданных о действии пользователя. Комплексная степень различия может быть определена путем взвешивания и суммирования по меньшей мере одной степени различия.In some embodiments, identifying that a user action contains a target action may comprise the following operations. A plurality of action reference data sets may be obtained, with each action reference data set corresponding to at least one action reference data. Each set of action reference data from the plurality of action reference data sets may in turn be selected as candidate action reference data. At least one degree of difference may be determined by segment-by-segment comparison of at least one action identification subdata segment of the candidate action reference data with a corresponding user action subdata segment. The composite degree of difference can be determined by weighing and summing at least one degree of difference.
В некоторых вариантах осуществления каждый набор справочных данных о действии может содержать M фрагментов справочных субданных о действии, причем каждый фрагмент справочных субданных о действии может содержать по меньшей мере один сегмент субданных идентификации действия, где M - целое число, большее 1. Субданные идентификации действия M фрагментов справочных субданных о действии могут формировать интегральные данные идентификации действия, и каждый сегмент субданных идентификации действия может соответствовать по меньшей мере участку справочного действия по меньшей мере в одном месте измерения из множества мест измерения.In some embodiments, each set of action reference data may contain M pieces of action reference subdata, where each piece of action reference subdata may contain at least one action identification subdata segment, where M is an integer greater than 1. Action identification subdata M The action reference subdata fragments may form integral action identification data, and each action identification subdata segment may correspond to at least a portion of the action reference at at least one measurement location of the plurality of measurement locations.
В некоторых вариантах осуществления определение по меньшей мере одной степени различия путем посегментного сравнения по меньшей мере одного сегмента субданных идентификации действия возможных справочных данных о действии с соответствующим сегментом субданных о действии пользователя может содержать следующие операции. Можно выбрать скользящее окно заданной длины на каждом фрагменте субданных идентификации действия, причем скользящее окно может содержать сегмент данных из данных о действии пользователя, собранных в заданном временном интервале. Для скользящего окна в текущий момент может быть определена степень различия между сегментом данных и соответствующими субданными идентификации действия.In some embodiments, determining at least one degree of difference by segment-by-segment comparison of at least one action identification subdata segment of the candidate action reference data with a corresponding user action subdata segment may comprise the following operations. A sliding window of a given length may be selected on each piece of activity identification subdata, where the sliding window may comprise a data segment of user action data collected in a given time interval. For a sliding window, the degree of difference between the data segment and the corresponding action identification subdata can be determined at the current moment.
В некоторых вариантах осуществления идентификация, что действие пользователя содержит целевое действие, дополнительно может содержать следующие операции. Может быть определено, что значение комплексной степени различия больше, чем первое заданное значение. Скользящее окно может быть передвинуто к следующему сегменту данных с заданным размером шага и сравнение может быть повторено.In some embodiments, identifying that a user action contains a target action may further comprise the following operations. It may be determined that the complex difference value is greater than the first predetermined value. The sliding window can be moved to the next data segment with a given step size and the comparison can be repeated.
В некоторых вариантах осуществления продолжительность сбора данных, соответствующая сегменту данных в скользящем окне, может отрицательно коррелироваться со скоростью действия пользователя.In some embodiments, the duration of data collection corresponding to a data segment in a sliding window may be negatively correlated with the speed of the user's action.
В некоторых вариантах осуществления заданный размер шага может удовлетворять одному или более следующих условий. Заданный размер шага может положительно коррелироваться с величиной значения комплексной степени различия в предыдущий момент. Заданный размер шага может положительно коррелироваться с тенденцией изменения значения комплексной степени различия.In some embodiments, a given step size may satisfy one or more of the following conditions. A given step size can be positively correlated with the value of the complex degree of difference at the previous moment. A given step size can be positively correlated with the trend of the complex dissimilarity value.
В некоторых вариантах осуществления сегмент данных может содержать множество точек данных о действии пользователя. Определение по меньшей мере одной степени различия путем сравнения по меньшей мере одного сегмента возможных субданных идентификации действия из числа возможных справочных данных о действии с соответствующим сегментом субданных о действии пользователя может содержать следующие операции. Целевой интервал данных для сравнения может быть выбран из субданных идентификации действия, причем целевой интервал данных для сравнения содержит множество точек данных идентификации. Сегмент данных, соответствующий множеству масштабных шкал, может корректироваться для получения множества отрегулированных сегментов данных. Степень различия между субданными идентификации действия и каждым отрегулированным сегментом данных из множества отрегулированных сегментов данных может быть определена соответственно. Может быть определена минимальная степень различия между субданными идентификации действия и сегментом данных.In some embodiments, a data segment may contain multiple data points about a user action. Determining at least one degree of difference by comparing at least one segment of possible action identification subdata from among the possible action reference data with a corresponding segment of user action subdata may comprise the following operations. The target data interval for comparison may be selected from the action identification subdata, wherein the target data interval for comparison comprises a plurality of identification data points. A data segment corresponding to a plurality of scales may be adjusted to obtain a plurality of adjusted data segments. The degree of difference between the action identification subdata and each adjusted data segment of the plurality of adjusted data segments can be determined accordingly. A minimum degree of difference between the action identification subdata and the data segment may be determined.
В некоторых вариантах осуществления определение по меньшей мере одной степени различия путем посегментного сравнения по меньшей мере одного сегмента субданных идентификации действия из возможных справочных данных о действии с соответствующим сегментом субданных о действии пользователя может содержать следующие операции. Может быть определена матрица расстояний [Dij], где Dij означает расстояние между i-ой точкой данных целевого интервала данных сравнения и j-ой точкой данных сегмента данных. Может быть определено кратчайшее расстояние матрицы расстояний, где кратчайшее расстояние может удовлетворить следующим операциям. Начальная точка пути кратчайшего расстояния может находиться в первой строке матрицы [Dij], две смежные точки на кратчайшем расстоянии могут быть смежными в матрице расстояний, следующая точка на кратчайшем расстоянии может находиться справа, ниже или справа ниже предыдущей точки, конечная точка пути кратчайшего расстояния может находиться в последней строке [Dij], путь кратчайшего расстояния можно иметь наименьшую цену регуляризации, причем цена регуляризации определяется расстояниями между точками на соответствующем пути кратчайшего расстояния матрицы расстояний, и степень различия может быть связана с ценой регуляризации.In some embodiments, determining at least one degree of difference by segment-by-segment comparison of at least one action identification subdata segment from the possible action reference data with a corresponding user action subdata segment may comprise the following operations. A distance matrix [D ij ] may be defined, where D ij denotes the distance between the i-th data point of the target comparison data interval and the j-th data point of the data segment. The shortest distance of the distance matrix can be determined, where the shortest distance can satisfy the following operations. The starting point of the shortest distance path can be in the first row of the matrix [D ij ], two adjacent points at the shortest distance can be adjacent in the distance matrix, the next point at the shortest distance can be to the right, below or right below the previous point, the end point of the shortest distance path may be in the last row of [D ij ], the shortest distance path may have the smallest regularization cost, where the regularization cost is determined by the distances between points on the corresponding shortest distance path of the distance matrix, and the degree of difference may be related to the regularization cost.
В некоторых вариантах осуществления, если первая точка данных сегмента данных может быть определена как точка данных, в которой начинается действие пользователя, начальная точка пути кратчайшего расстояния может быть расстоянием D11 между первой точкой сегмента данных и первой точкой целевого интервала данных сравнения.In some embodiments, if the first data point of a data segment can be determined to be the data point at which a user action begins, the starting point of the shortest distance path may be the distance D 11 between the first point of the data segment and the first point of the target comparison data interval.
В некоторых вариантах осуществления, если последняя точка данных сегмента данных может быть определена как точка данных, в которой заканчивается действие пользователя, то конечная точка пути кратчайшего расстояния может быть расстоянием Dmn между последней точкой сегмента данных и последней точкой целевого интервала данных сравнения.In some embodiments, if the last data point of a data segment can be defined as the data point at which the user's action ends, then the end point of the shortest distance path may be the distance D mn between the last point of the data segment and the last point of the target comparison data interval.
В некоторых вариантах осуществления идентификация того, что действие пользователя содержит целевое действие, дополнительно может содержать следующие операции. N фрагментов возможных справочных данных о действии второго уровня могут выбираться из множества наборов справочных данных о действии. Значение комплексной степени различия возможных справочных данных о действии второго уровня может быть меньше, чем первое заданное значение, и N может быть целым числом больше 1. N расстояний между данными о действии пользователя и N фрагментами возможных справочных данных о действии второго уровня могут соответственно вычисляться. N значений вероятности могут соответственно быть вычислены на основе N расстояний. Возможные справочные данные о действии второго уровня, значение вероятности которых больше, чем второе заданное значение, могут быть выбраны в качестве целевых справочных данные о действии пользователя. Справочное действие, соответствующее целевым справочным данным о действии, может быть определено как целевое действие.In some embodiments, identifying that a user action contains a target action may further comprise the following operations. The N pieces of possible second-level action reference data may be selected from a plurality of sets of action reference data. The complex degree of difference value of the second-level candidate action reference data may be less than the first predetermined value, and N may be an integer greater than 1. N distances between the user action data and N pieces of the second-level candidate action reference data may be calculated accordingly. N probability values can be respectively calculated based on N distances. Candidate second-level action references whose probability value is greater than the second predetermined value may be selected as target user action references. A reference action corresponding to the target action reference data may be defined as a target action.
Другой подход настоящего раскрытия раскрывает систему идентификации действия пользователя. Система идентификации действия пользователя может содержать следующие операции. По меньшей мере один носитель для хранения данных может хранить по меньшей мере один набор команд для получения данных о действии пользователя во время движения пользователя. По меньшей мере один процессор осуществляет связь по меньшей мере с одним носителем и, когда система работает, по меньшей мере один процессор может считывать по меньшей мере один набор команд и выполнять вышеупомянутый способ и способ идентификации целевого действия, раскрытые в вариантах осуществления.Another approach of the present disclosure discloses a system for identifying user action. The user action identification system may contain the following operations. The at least one storage medium may store at least one set of commands for obtaining data about a user's action while the user is moving. The at least one processor communicates with the at least one medium and, when the system is operating, the at least one processor can read the at least one set of instructions and perform the above method and the target action identification method disclosed in the embodiments.
Краткое описание чертежейBrief description of drawings
Настоящее раскрытие может быть дополнительно описано посредством примерных вариантов осуществления, которые могут быть подробно описаны посредством использования сопроводительных чертежей. Эти варианты осуществления не создают ограничения и в этих вариантах осуществления одни и те же ссылочные позиции относятся к одним и тем же структурам, где:The present disclosure may be further described by way of exemplary embodiments, which may be described in detail through the use of the accompanying drawings. These embodiments are not limiting and in these embodiments the same reference numerals refer to the same structures, where:
фиг. 1 - сценарий применения системы контроля движения, соответствующей некоторым вариантам осуществления настоящего раскрытия;fig. 1 illustrates an application scenario for a traffic control system consistent with certain embodiments of the present disclosure;
фиг. 2 - примерные аппаратные средства и/или компоненты программного обеспечения носимого устройства, соответствующие некоторым вариантам осуществления настоящего раскрытия;fig. 2 illustrates exemplary hardware and/or software components of a wearable device corresponding to some embodiments of the present disclosure;
фиг. 3 - примерные компоненты аппаратных средств и/или программного обеспечения вычислительного устройства, соответствующие некоторым вариантам осуществления настоящего раскрытия;fig. 3 illustrates exemplary hardware and/or software components of a computing device corresponding to some embodiments of the present disclosure;
фиг. 4 – примерная структурная схема носимого устройства, соответствующего некоторым вариантам осуществления настоящего раскрытия;fig. 4 is an exemplary block diagram of a wearable device consistent with some embodiments of the present disclosure;
фиг. 5 - блок-схема последовательности выполнения операций примерного процесса определения целевого действия в соответствии с некоторыми вариантами осуществления настоящего раскрытия;fig. 5 is a flowchart of an exemplary process for determining a target action in accordance with some embodiments of the present disclosure;
фиг. 6 – примерная система координат во время движения пользователя, соответствующая некоторым вариантам осуществления настоящей заявки;fig. 6 is an exemplary coordinate system during user movement, corresponding to some embodiments of the present application;
фиг. 7A - примерный сегмент данных идентификации действия в справочных данных о действии и кривая сегмента субданных о действии пользователя, собираемых скользящим окном в данных о действии пользователя по оси времени в соответствии с некоторыми вариантами осуществления настоящего раскрытия;fig. 7A illustrates an example action identification data segment in the action reference data and a segment curve of the user action subdata collected by a sliding window in the time axis user action data in accordance with some embodiments of the present disclosure;
фиг. 7B - матрица расстояний и путь кратчайшего расстояния от левого верхнего угла до правого нижнего угла матрицы расстояний, соответствующие некоторым вариантам осуществления настоящего раскрытия;fig. 7B is a distance matrix and shortest distance path from the upper left corner to the lower right corner of the distance matrix, corresponding to some embodiments of the present disclosure;
фиг. 7C – диаграмма определения комплексной степени различия посредством скользящего окна, когда данные о действии пользователя содержат множество субданных о действии пользователя, соответствующая некоторым вариантам осуществления настоящего раскрытия.fig. 7C is a diagram for determining a complex degree of difference by a sliding window when the user action data contains a plurality of user action subdata, corresponding to some embodiments of the present disclosure.
Осуществление изобретенияCarrying out the invention
Чтобы более ясно проиллюстрировать технические решения вариантов осуществления настоящего раскрытия, ниже кратко представлены чертежи, иллюстрирующие варианты осуществления. Чертежи на последующих иллюстрациях являются просто некоторыми примерами или вариантами осуществления настоящего раскрытия. Специалистами в данной области техники настоящее раскрытие может быть применено к другим подобным сценариям в соответствии с чертежами, не прилагая творческих усилий. Если из контекста явно не следует или контекст не указывает иное, одна и та же ссылочная позиция на чертежах относится к одной и той же конструкции или операции.To more clearly illustrate the technical solutions of the embodiments of the present disclosure, drawings illustrating the embodiments are briefly presented below. The drawings in the following illustrations are merely some examples or embodiments of the present disclosure. Those skilled in the art can apply the present disclosure to other similar scenarios in accordance with the drawings without much creative effort. Unless the context clearly indicates or the context indicates otherwise, the same reference numeral in the drawings refers to the same structure or operation.
Следует понимать, что термины «система», «устройство», «блок» и/или «модуль», используемые здесь, являются способом различения разных компонент, элементов, частей, участков или сборочных узлов различных уровней. Однако, если той же цели можно достигнуть другими выражениями, такие слова могут быть заменены другими выражениями.It should be understood that the terms "system", "device", "unit" and/or "module" as used herein are a way of distinguishing between different components, elements, parts, sections or assemblies of different levels. However, if the same purpose can be achieved by other expressions, such words may be replaced by other expressions.
Как это используется в раскрытии и добавленной формуле изобретения, формы единственного числа содержат формы множественного числа, если содержание явно не диктует иное. В целом, термины «содержащий» и «включающий» только подсказывают этапы и элементы, которые явно определены, и эти этапы и элементы не составляют эксклюзивный список. Способы или устройство могут также содержать другие этапы или элементы.As used in the disclosure and appended claims, the singular forms include the plural forms unless the content clearly dictates otherwise. In general, the terms “comprising” and “including” only suggest steps and elements that are explicitly defined, and these steps and elements do not constitute an exclusive list. The methods or apparatus may also contain other steps or elements.
Блок-схемы последовательности выполнения операций используются в настоящем раскрытии для пояснения операций, выполняемых системой в соответствии с некоторыми вариантами осуществления настоящего раскрытия. Следует понимать, что предшествующие или последующие операции могут не обязательно выполняться точно в указанном порядке. Наоборот, каждый этап может быть выполнен в обратном порядке или одновременно. В то же время, к процедурам могут также быть добавлены другие операции или какой-либо этап или несколько этапов могут быть удалены из процедур.Flowcharts are used in the present disclosure to explain operations performed by a system in accordance with some embodiments of the present disclosure. It should be understood that the preceding or subsequent operations may not necessarily be performed in the exact order specified. Instead, each step can be performed in reverse order or simultaneously. At the same time, other operations may also be added to the procedures, or a step or several steps may be removed from the procedures.
Настоящее раскрытие обеспечивает систему целевого определения действия. Набор команд, хранящихся на носителе данных в системе целевого определения действия, может выполняться для получения данных о действии пользователя во время движения пользователя. Целевая система определения действия может быть применима к носимому устройству (например, на одежде, в браслете и в шлеме), медицинскому тестирующему устройству (например, электромиографический тестер (electromyographic tester, EMG)), фитнес-устройство и т.д. После того, как пользователь надевает устройство, датчики на устройстве могут быть присоединены к множеству мест измерений на теле пользователя и, таким образом, данные о действии пользователя могут собираться датчиками устройства. После того, как датчики собрали данные о действии пользователя, процессор в целевой системе определения действия может связаться с носителем для хранения данных, чтобы получить доступ или считать команды, хранящиеся на носителе и т.д. Когда целевая система определения действия работает, процессор может получать доступ к справочным данным о действии, хранящимся на носителе с известным содержанием о действиях. На основе справочных данных о действии из этого известного содержания о действиях система может выполнить целевую идентификацию действия на данных о действии пользователя, контент о действиях которого неизвестен. После определения целевого действия, система может послать пользователю контент, связанный с целевым действием.The present disclosure provides a system for targeting an action. A set of commands stored on a storage medium in the target action detection system may be executed to obtain data about a user's action while the user is moving. The target action detection system may be applicable to a wearable device (eg, wearable, wristband, and helmet), medical testing device (eg, electromyographic tester (EMG)), fitness device, etc. After the user wears the device, sensors on the device can be attached to a plurality of measurement locations on the user's body and thus data about the user's activity can be collected by the device's sensors. After the sensors have collected data about the user's action, the processor in the target action detection system can communicate with the data storage medium to access or read commands stored on the medium, etc. When the target action determination system is running, the processor may access action reference data stored on a medium with known action content. Based on the action reference data from this known action content, the system can perform target action identification on the action data of a user whose action content is unknown. After determining the target action, the system can send the user content related to the target action.
В некоторых вариантах осуществления настоящего раскрытия система может выполнять целевую идентификацию действия на данных о действии пользователя сразу или в пределах заданного времени, причем заданное время может быть коротким временем, таким как 0,1 секунды или 0,5 секунды. Таким образом, система может осуществлять идентификацию в реальном времени данных о действии пользователя и пользователь может принимать соответствующие материалы о действии сразу после выполнения действия.In some embodiments of the present disclosure, the system may perform target action identification on the user action data immediately or within a predetermined time, where the predetermined time may be a short time such as 0.1 second or 0.5 second. In this way, the system can realize real-time identification of user action data, and the user can receive corresponding action materials immediately after performing the action.
В некоторых вариантах осуществления настоящего раскрытия данные о действии пользователя могут также быть получены другими способами, не собирая их датчиками на устройствах, таких как носимое устройство (например, одежда, браслет, шлем), медицинское устройство обнаружения (например, тестер EMG), фитнес-устройство и т.д. Например, изображения пользователя в режиме видео могут быть проанализированы алгоритмом искусственного интеллекта для получения данных о действии в нескольких местах измерений на теле пользователя. Одним словом, пока данные о действии пользователя могут быть получены в режиме реального времени, способ и система, соответствующие настоящему раскрытию, могут быть конфигурированы для определения целевого действия.In some embodiments of the present disclosure, user activity data may also be obtained by other means without being collected by sensors on devices, such as a wearable device (e.g., clothing, bracelet, helmet), medical detection device (e.g., EMG tester), fitness device, etc. For example, images of a user in video mode can be analyzed by an artificial intelligence algorithm to obtain action data at multiple measurement locations on the user's body. In short, as long as user action data can be obtained in real time, the method and system according to the present disclosure can be configured to determine the target action.
Носитель для хранения данных может содержать распространяющийся сигнал данных, имеющий содержащуюся в нем управляющую программу, например, в основной полосе или как часть несущей волны. Распространяющийся сигнал может принимать различные формы, включая электромагнитную, оптическую и т.д. или их соответствующее сочетание. Компьютерный носитель для хранения данных может быть любым считываемым компьютером носителем, кроме считываемого компьютером носителя, который может осуществлять связь, распространять или передавать программу для ее использования путем связи с системой выполнения команд, оборудованием или устройством. Управляющая программа, записанная на компьютерном носителе, может передаваться посредством любого подходящего носителя, включая радио, кабель, оптоволоконный кабель, радиочастотный носитель и т.п. или их сочетание. Конкретно, носитель может быть оперативной памятью (random-access memory, RAM), постоянной памятью (read only memory, ROM) и т.д. Примеры ROM могут содержать масочную ROM (mask ROM, MROM), программируемую ROM (programmable ROM, PROM), стираемую программируемую ROM (erasable programmable ROM, PEROM), электрически стираемую программируемую ROM (electrically erasable programmable ROM, EEPROM), ROM на компакт-диске (compact disc ROM, CD-ROM), ROM на цифровом универсальном диске и т.д. Примеры RAM могут содержать динамическую RAM (dynamic RAM, DRAM), синхронную динамическую RAM с двойной скоростью (double rate synchronous dynamic RAM, SDRAM DDR), статическую RAM (static RAM, SRAM), тиристорную RAM (thyristor RAM (T-RAM), RAM с нулевой емкостью (zero capacitance, Z-RAM) и т.п.The storage medium may include a propagating data signal having a driver program contained therein, for example, in a baseband or as part of a carrier wave. The propagating signal can take various forms, including electromagnetic, optical, etc. or an appropriate combination thereof. The computer storage medium can be any computer-readable medium, other than a computer-readable medium that can communicate, distribute, or transmit a program for use by communicating with an instruction execution system, hardware, or device. The control program recorded on a computer medium may be transmitted via any suitable medium, including radio, cable, fiber optic cable, radio frequency medium, or the like. or a combination of them. Specifically, the storage medium can be random-access memory (RAM), read-only memory (ROM), etc. Examples of ROMs may include mask ROM (MROM), programmable ROM (PROM), erasable programmable ROM (PEROM), electrically erasable programmable ROM (EEPROM), compact ROM disk (compact disc ROM, CD-ROM), ROM on a digital versatile disk, etc. Examples of RAM may include dynamic RAM (DRAM), double rate synchronous dynamic RAM (SDRAM DDR), static RAM (SRAM), thyristor RAM (T-RAM), RAM with zero capacity (zero capacitance, Z-RAM), etc.
Как пример, процессор может быть многоядерным процессором, одноядерным процессором, распределенным процессором, центральным процессором (central processing unit, CPU), специализированной прикладной интегральной схемой (application-specific integrated circuit, ASIC), специализированным прикладным командным процессором (application-specific instruction processor, ASIP), графическим процессором (graphics processor, GPU), физическим процессором (physical processor, PPU), цифровым сигнальным процессором (digital signal processor, DSP), программируемой логической интегральной схемой (field programmable gate array, FPGA), программируемой логической схемой (programmable logic circuit, PLD), контроллером, модулем микроконтроллера, компьютером с сокращенной системой команд (reduced instruction set computer, RISC), устройством микропроцессора и т.п. или любым их сочетанием.As an example, the processor may be a multi-core processor, a single-core processor, a distributed processor, a central processing unit (CPU), an application-specific integrated circuit (ASIC), an application-specific instruction processor, ASIP), graphics processor (GPU), physical processor (PPU), digital signal processor (DSP), field programmable gate array (FPGA), programmable logic circuit (programmable logic circuit (PLD), controller, microcontroller module, reduced instruction set computer (RISC), microprocessor device, etc. or any combination thereof.
На фиг. 1 схематично представлен сценарий применения системы контроля движения, соответствующей некоторым вариантам осуществления настоящего раскрытия. Как показано на фиг. 1, система 100 определения целевого действия (или система 100) может содержать устройство 110 обработки, сеть 120, носимое устройство 130 и устройство 149 мобильного терминала. Система 100 может получать данные о действии пользователя (например, сигнал EMG, сигнал о позе, данные о напряжении и данные физиологического контроля, такие как сигнал ECG, сигнал частоты дыхания и т.д.), представленные с возможностью охарактеризовать действие пользователя и определить, к какому целевому действию принадлежит действие пользователя при тренировке в соответствии с данными о действии пользователя.In fig. 1 is a schematic representation of an application scenario for a traffic control system consistent with certain embodiments of the present disclosure. As shown in FIG. 1, the target action detection system 100 (or system 100) may include a processing device 110, a network 120, a wearable device 130, and a mobile terminal device 149. System 100 may receive user action data (e.g., EMG signal, posture signal, stress data, and physiological monitoring data such as ECG signal, respiratory rate signal, etc.) provided to characterize the user's action and determine whether which target action the user's training action belongs to according to the user's action data.
Например, система 100 может идентифицировать действие пользователя, выполняемое пользователем при тренировке. Когда пользователь носит на себе носимое устройство 130 для выполнения упражнений фитнеса, носимое устройство 130 может получать данные о действии пользователя. Устройство 110 обработки или устройство 140 мобильного терминала могут принимать и анализировать данные о действии пользователя для идентификации действия пользователя при фитнесе, таких как, является ли действие пользователя при фитнесе жимом лежа, подъемом на бицепс или приседанием и т.д., с тем, чтобы послать пользователю контент, связанный с целевым действием, в котором определенное идентифицированное действие пользователя (например, жим лежа, подъем на бицепс, приседание, и т.д.) является целевым действием. Конкретно, контент, связанный с целевым действием, может содержать название целевого действия, подсказываемое голосом или видео, тип действия, количество действий, время действия, информация о физиологических параметрах пользователя, когда пользователь выполняет действие, и т.д. Дополнительно, система 100 может формировать сигнал обратной связи на действие при фитнесе пользователя, основываясь на результате анализа данных о действии при фитнесе пользователя, таком как, является ли действие при фитнесе пользователя стандартным, и т.д., чтобы руководить фитнесом пользователя.For example, the system 100 may identify a user action performed by the user while exercising. When a user wears the wearable device 130 to perform fitness exercises, the wearable device 130 may receive data about the user's activity. The processing device 110 or the mobile terminal device 140 may receive and analyze user action data to identify the user's fitness action, such as whether the user's fitness action is bench press, curl or squat, etc., so as to send the user content associated with a target action, in which a certain identified action of the user (for example, bench press, curl, squat, etc.) is the target action. Specifically, the content associated with a target action may include the name of the target action as prompted by voice or video, the type of action, the number of actions, the duration of the action, information about the physiological parameters of the user when the user performs the action, etc. Additionally, the system 100 can generate a feedback signal to the user's fitness action based on the result of analyzing the user's fitness action data, such as whether the user's fitness action is standard, etc., to guide the user's fitness.
Как другой пример, система 100 может идентифицировать действие пользователя, выполняемое пользователем при тренировке. Например, когда пользователь носит на себе носимое устройство 130 для выполнения бега, система 100 может получать данные о действии при беге пользователя и определить, что текущим движением пользователя является бег, основываясь на справочных данных о действии. Когда пользователь бежит слишком долго или, когда действие бега является неправильным, устройство фитнеса может по обратной связи сообщить о состоянии движения пользователю, чтобы предложить пользователю скорректировать действие бега или время выполнения бега.As another example, system 100 may identify a user action performed by the user while exercising. For example, when the user wears the wearable device 130 to perform running, the system 100 may receive the user's running action data and determine that the user's current movement is running based on the action reference data. When the user runs for too long or when the running action is incorrect, the fitness device can feedback the motion state to the user to prompt the user to correct the running action or running timing.
В некоторых вариантах осуществления устройство 110 обработки может быть выполнено с возможностью обработки информации и/или данных, связанных с движением пользователя. Например, устройство 110 обработки может принимать сигнал о действии пользователя (например, сигнал EMG, сигнал о позе, сигнал ECG, сигнал о частоте дыхания и т.д.) и дополнительно извлекать информацию о признаках (например, информацию о признаках, соответствующих сигналу EMG или информации о признаках, соответствующих сигналу позы в сигнале действия), соответствующую сигналу действия. В некоторых вариантах осуществления устройство 110 обработки может выполнять специальную обработку сигнала на сигнале EMG или на сигнале телодвижения, собираемых носимым устройством 130, такую как сегментация сигналов, предварительная обработка сигналов (например, процесс коррекции сигнала, процесс фильтрации и т.д.) и т.п. В некоторых вариантах осуществления устройство 110 обработки может также определить, корректно ли действие пользователя на основе сигнала действия пользователя. Например, устройство обработки 110 может определить, является ли действие пользователя правильным, основываясь на информации о признаках (например, на информации об амплитуде, информации о частоте и т.д.), соответствующей сигналу EMG. Как другой пример, устройство 110 обработки может определить, правильно ли действие пользователя, основываясь на информации о признаках (например, угловой скорости, направлении угловой скорости, ускорении угловой скорости, угле, информации о смещении, напряжении, и т.д.), соответствующей сигналу телодвижения. Как дополнительный другой пример, устройство 110 обработки может определить, правильно ли действие пользователя, основываясь на информации о признаках, соответствующей сигналу EMG, и на информации о признаках, соответствующей сигналу телодвижения. В некоторых вариантах осуществления устройство обработки 110 может также определить, удовлетворяет ли информация о физиологических параметрах пользователя во время движения пользователя медицинскому стандарту. В некоторых вариантах осуществления устройство 110 обработки может также выдавать соответствующие команды для отслеживания по обратной связи ситуации с движением пользователя. Например, когда пользователь бежит, система 100 контролирует, что время бега пользователя является слишком долгим. В этом случае, устройство 110 обработки может выдать команду устройству 140 мобильного терминала предложить пользователю скорректировать время бега. Следует заметить, что информация о признаках, соответствующая сигналу телодвижения, не ограничивается вышеупомянутыми угловой скоростью, направлением угловой скорости, ускорением угловой скорости, углом, информацией о смещении, напряжением и т.д., но может также быть другой информацией о признаках. Любая информация о параметрах, которая может отражать относительное движение тела пользователя, может быть информация о признаках, соответствующей сигналу телодвижения. Например, когда датчик позы является тензодатчиком, угол изгиба и направление изгиба в суставе пользователя могут быть получены, измеряя величину сопротивления в тензодатчике, которая изменяется пропорционально длине растяжения.In some embodiments, the processing device 110 may be configured to process information and/or data associated with the user's movement. For example, the processing device 110 may receive a user action signal (for example, an EMG signal, a posture signal, an ECG signal, a respiratory rate signal, etc.) and further extract feature information (for example, feature information corresponding to the EMG signal or feature information corresponding to the pose signal in the action signal) corresponding to the action signal. In some embodiments, processing device 110 may perform special signal processing on the EMG signal or body signal collected by wearable device 130, such as signal segmentation, signal pre-processing (e.g., signal correction process, filtering process, etc.), etc. .P. In some embodiments, processing device 110 may also determine whether the user action is correct based on the user action signal. For example, the processing device 110 may determine whether the user's action is correct based on feature information (eg, amplitude information, frequency information, etc.) corresponding to the EMG signal. As another example, the processing device 110 can determine whether the user's action is correct based on attribute information (eg, angular velocity, angular velocity direction, angular velocity acceleration, angle, displacement information, voltage, etc.) corresponding body signal. As a further other example, the processing device 110 can determine whether the user's action is correct based on the feature information corresponding to the EMG signal and the feature information corresponding to the body signal. In some embodiments, the processing device 110 may also determine whether the physiological parameter information of the user while the user is moving meets a medical standard. In some embodiments, processing device 110 may also issue appropriate commands to feedback the user's movement situation. For example, when the user is running, the system 100 monitors that the user's running time is too long. In this case, the processing device 110 may instruct the mobile terminal device 140 to prompt the user to adjust the running time. It should be noted that the feature information corresponding to the body signal is not limited to the above-mentioned angular speed, angular speed direction, angular speed acceleration, angle, displacement information, voltage, etc., but may also be other feature information. Any parameter information that may reflect the relative movement of the user's body may be feature information corresponding to a body motion signal. For example, when the posture sensor is a strain gauge, the bending angle and bending direction at the user's joint can be obtained by measuring the amount of resistance in the strain gauge, which varies proportionally to the stretch length.
В некоторых вариантах осуществления устройство 110 обработки может быть локальным или удаленным. Например, устройство 110 обработки может через сеть 120 получать доступ к информации и/или данным, хранящимся в носимом устройстве 130 и/или в устройстве 140 мобильного терминала. В некоторых вариантах осуществления устройство 110 обработки может соединиться непосредственно с носимым устройством 130 и/или с устройством 140 мобильного терминала для доступа к хранящихся в них информации и/или данным. Например, устройство 110 обработки может быть расположено в носимом устройстве 130 и реализовывать информационное взаимодействие с устройством 140 мобильного терминала через сеть 120. Как другой пример, устройство 110 обработки может быть расположено в устройстве 140 мобильного терминала и реализовывать информационное взаимодействие с носимым устройством 130 через сеть. В некоторых вариантах осуществления устройство 110 обработки может быть реализовано на облачной платформе.In some embodiments, processing device 110 may be local or remote. For example, processing device 110 may, through network 120, access information and/or data stored in wearable device 130 and/or mobile terminal device 140. In some embodiments, processing device 110 may connect directly to wearable device 130 and/or mobile terminal device 140 to access information and/or data stored therein. For example, the processing device 110 may be located in the wearable device 130 and communicate with the mobile terminal device 140 via the network 120. As another example, the processing device 110 may be located in the mobile terminal device 140 and communicate with the wearable device 130 via the network. . In some embodiments, processing device 110 may be implemented on a cloud platform.
В некоторых вариантах осуществления устройство 110 обработки может обрабатывать данные и/или информацию, связанные с контролем действий, чтобы выполнять одну или более из описанных здесь функций. В некоторых вариантах осуществления устройство 110 обработки может получить сигнал о действии во время движения пользователя, получаемый носимым устройством 130. В некоторых вариантах осуществления устройство 110 обработки может посылать команду управления на носимое устройство 130 или на устройство 140 мобильного терминала. Команда управления может управлять состояниями переключателей носимого устройства 130 и датчиками носимого устройства 130 и может также управлять устройством 140 мобильного терминала для своевременной посылки информации. В некоторых вариантах осуществления устройство 110 обработки может содержать одно или несколько устройств вспомогательной обработки (например, одноядерное процессорное устройство или многоядерное процессорное устройство).In some embodiments, processing device 110 may process data and/or information related to activity monitoring to perform one or more of the functions described herein. In some embodiments, the processing device 110 may receive an action signal while the user is moving received by the wearable device 130. In some embodiments, the processing device 110 may send a control command to the wearable device 130 or to the mobile terminal device 140. The control command may control states of switches of the wearable device 130 and sensors of the wearable device 130, and may also control the mobile terminal device 140 to send information in a timely manner. In some embodiments, processing device 110 may include one or more auxiliary processing devices (eg, a single-core processor device or a multi-core processor device).
Сеть 120 может упрощать обмен данными и/или информацией системы 100 контроля движения. В некоторых вариантах осуществления один или более компонентов системы 100 контроля движения могут посылать данные и/или информацию другим компонентам системы 100 контроля движения через сеть 120. Например, сигнал действия, полученный носимым устройством 130, может передаваться устройству 110 обработки через сеть 120. Как другой пример, результат подтверждения сигнала действия, определенного устройством 110 обработки, может быть передан устройству 140 мобильного терминала через сеть 120. В некоторых вариантах осуществления сеть 120 может быть любым типом проводной или беспроводной сети.The network 120 may facilitate the exchange of data and/or information from the traffic control system 100 . In some embodiments, one or more components of the motion control system 100 may send data and/or information to other components of the motion control system 100 through the network 120. For example, an action signal received by the wearable device 130 may be transmitted to the processing device 110 through the network 120. As another For example, the confirmation result of an action signal determined by processing device 110 may be transmitted to mobile terminal device 140 via network 120. In some embodiments, network 120 may be any type of wired or wireless network.
Носимое устройство 130 может относиться к предмету одежды или устройству с пригодной для ношения функцией. В некоторых вариантах осуществления носимое устройство 130 может содержать, но не ограничиваясь только этим, устройство 130-1 для верхней одежды, устройство 130-2 для брюк, устройство 130-3 для браслета, устройство 130-4 для обуви и т.п. В некоторых вариантах осуществления носимое устройство 130 может содержать М датчиков, где M - целое число больше единицы. Датчики могут получать различные сигналы действия (например, сигнал EMG, сигнал положения, температурная информация, частота биения сердца, сигнал электрокардиограммы и т.д.), формируемые во время движения пользователя. В некоторых вариантах осуществления датчики могут содержать, но не ограничиваясь только этим, один или более из датчика EMG, датчика положения, температурного датчика, датчика влажности, датчика электрокардиограммы, датчика насыщенности крови кислородом, датчика Холла, датчика кожного электричества, датчика вращения и т.п. Например, устройство 130-1 для верхней одежды может содержать датчик EMG, находящийся на месте расположения мышцы (например, бицепс плеча, трицепс плеча, широчайшая мышца спины, трапециевидная мышца, и т.д.) человеческого тела, и датчик EMG может соответствовать коже пользователя и получать сигнал EMG во время движения пользователя. Как другой пример, устройство 130-1 для верхней одежды может содержать датчик электрокардиограммы, расположенный около левой грудной мышцы человеческого тела, и датчик электрокардиограммы может получать электрокардиографический сигнал пользователя. Как еще один другой пример, устройство 130-2 для брюк может содержать датчик позы, находящийся на месте расположения мышцы (например, большой ягодичной мышцы, четырехглавой мышцы бедра, широкого медиалиса, икроножной мышцы и т.д.) человеческого тела, и датчик позы может получать сигнал о позе пользователя. В некоторых вариантах осуществления носимое устройство 130 может также обеспечивать обратную связь по действиям пользователя. Например, когда действие определенного участка тела во время движения пользователя не соответствует стандарту, датчик EMG, соответствующий этому участку, может генерировать сигнал стимуляции (например, стимуляции током или сигнал электрического удара) для напоминания пользователю.Wearable device 130 may refer to an item of clothing or device with a wearable function. In some embodiments, wearable device 130 may include, but is not limited to, outerwear device 130-1, trouser device 130-2, bracelet device 130-3, shoe device 130-4, and the like. In some embodiments, wearable device 130 may include M sensors, where M is an integer greater than one. The sensors can receive various action signals (eg, EMG signal, position signal, temperature information, heart rate, electrocardiogram signal, etc.) generated while the user is moving. In some embodiments, the sensors may comprise, but are not limited to, one or more of an EMG sensor, a position sensor, a temperature sensor, a humidity sensor, an electrocardiogram sensor, a blood oxygen saturation sensor, a Hall sensor, a skin electricity sensor, a rotation sensor, etc. P. For example, the outerwear device 130-1 may include an EMG sensor located at a muscle location (e.g., biceps brachii, triceps brachii, latissimus dorsi, trapezius, etc.) of the human body, and the EMG sensor may correspond to the skin user and receive the EMG signal while the user is moving. As another example, the clothing device 130-1 may include an electrocardiogram sensor located near the left pectoral muscle of the human body, and the electrocardiogram sensor may receive an electrocardiographic signal from the user. As yet another example, the trouser device 130-2 may include a posture sensor located at a muscle location (e.g., gluteus maximus, quadriceps femoris, vastus medialis, gastrocnemius, etc.) of the human body and a posture sensor can receive a signal about the user's posture. In some embodiments, the wearable device 130 may also provide feedback on the user's actions. For example, when the action of a certain body region during the user's movement is not in accordance with the standard, the EMG sensor corresponding to that region can generate a stimulation signal (eg, electric stimulation or electric shock signal) to remind the user.
Следует заметить, что носимое устройство 130 не ограничивается устройством 130-1 для верхней одежды, устройством 130-2 для брюк, устройством 130-3 браслета или устройством 130-4 для обуви, показанными на фиг. 1. Носимое устройство 130 может также содержать другие устройства, используемые для контроля движения, такие как устройство для шлема, устройство для наколенника и т.д., перечень которых здесь не ограничивается. Любой устройство, который может использовать способ контроля движения, представленный в настоящем раскрытии, находится в рамках объема защиты настоящего раскрытия.It should be noted that the wearable device 130 is not limited to the outerwear device 130-1, trouser device 130-2, bracelet device 130-3 or shoe device 130-4 shown in FIG. 1. The wearable device 130 may also include other devices used for motion control, such as a helmet device, a knee pad device, etc., which are not limited to. Any device that can use the motion control method presented in this disclosure is within the scope of protection of this disclosure.
В некоторых вариантах осуществления устройство мобильного терминала 140 может получить информацию или данные в системе 100. В некоторых вариантах осуществления устройство 140 мобильного терминала может получать данные о действии пользователя, обработанные устройством 110 обработки, и возвращать обратно запись действия, основанную на обработанных данных о действии. Примерные режимы обратной связи могут содержать, но не ограничиваясь только этим, речевую подсказку, видеоподсказку, видеопрезентацию, текстовую подсказку и т.п. В некоторых вариантах осуществления пользователь через устройство 140 мобильного терминала может получать запись действия, сделанную во время его собственного движения. Например, устройство 140 мобильного терминала может быть соединено с носимым устройством 130 через сеть 120 (например, проводное соединение, беспроводное соединение). Пользователь может через устройство 140 мобильного терминала получать запись действия во время движения пользователя и запись действия может передаваться устройству 110 обработки через устройство 140 мобильного терминала. В некоторых вариантах осуществления устройство 140 мобильного терминала может содержать мобильное устройство 140-1, планшетный компьютер 140-2, портативный компьютер 140-3 и т.п. или любое их сочетание. В некоторых вариантах осуществления мобильное устройство 140-1 может содержать сотовый телефон, домашнее смарт-устройство, мобильное смарт-устройство, устройство виртуальной реальности, устройство аугментированной реальности и т.д. или любое их сочетание. В некоторых вариантах осуществления домашнее смарт-устройство может содержать устройство управления для смарт-устройства, устройство смарт-контроля, смарт-телевизор, смарт-камеру и т.д. или любое их сочетание. В некоторых вариантах осуществления мобильное смарт-устройство может содержать смартфон, персонального цифрового секретаря (personal digital assistant, PDA), игровое устройство, навигационное устройство, устройство POS, и т.д. или любое их сочетание. В некоторых вариантах осуществления устройство виртуальной реальности и/или устройство аугментированной реальности могут содержать гарнитуру виртуальной реальности, очки виртуальной реальности, очки для виртуальной реальности, шлем аугментированной реальности, очки аугментированной реальности, очки для аугментированной реальности и т.д. или любое их сочетание.In some embodiments, mobile terminal device 140 may obtain information or data from system 100. In some embodiments, mobile terminal device 140 may receive user action data processed by processing device 110 and return back an action record based on the processed action data. Exemplary feedback modes may include, but are not limited to, speech prompt, video prompt, video presentation, text prompt, and the like. In some embodiments, the user, through the mobile terminal device 140, may receive a recording of an activity made while he or she is moving. For example, mobile terminal device 140 may be connected to wearable device 130 via network 120 (eg, wired connection, wireless connection). The user may, through the mobile terminal device 140, receive an action record while the user is moving, and the action record may be transmitted to the processing device 110 through the mobile terminal device 140. In some embodiments, the mobile terminal device 140 may include a mobile device 140-1, a tablet computer 140-2, a laptop computer 140-3, and the like. or any combination thereof. In some embodiments, the mobile device 140-1 may include a cellular phone, a home smart device, a mobile smart device, a virtual reality device, an augmented reality device, etc. or any combination thereof. In some embodiments, a smart home device may include a smart device control device, a smart control device, a smart TV, a smart camera, etc. or any combination thereof. In some embodiments, the mobile smart device may include a smartphone, a personal digital assistant (PDA), a gaming device, a navigation device, a POS device, etc. or any combination thereof. In some embodiments, the virtual reality device and/or augmented reality device may comprise a virtual reality headset, virtual reality glasses, virtual reality glasses, an augmented reality headset, augmented reality glasses, augmented reality glasses, etc. or any combination thereof.
В некоторых вариантах осуществления система 100 контроля движения может также содержать систему 160 представления данных о действии. Система 160 представления данных о действии может быть выполнена с возможностью обработки и отображения информации и/или данных, связанных с действием пользователя. Например, может отображаться, какого рода движение делает пользователь, или информация и/или данные могут быть объединены с виртуальным символом и интуитивно отображаться на интерфейсе пользователя устройства 140 мобильного терминала для упрощения просмотра для пользователя. Например, система 160 представления данных о действии может принимать данные о действии пользователя. Например, данные о действии пользователя могут содержать сигнал действия, такой как сигнал EMG, сигнал позы, сигнал электрокардиограммы, сигнал частоты дыхания и т.д. Как другой пример, данные о действии пользователя могут содержать информацию о признаках (например, информацию о признаках, соответствующих сигналу EMG, информацию о признаках, соответствующих сигналу телодвижения в сигнале действия), получаемую устройством 110 обработки, выполняющим обработку признаков на сигнале действия. Как еще один другой пример, данные о действии пользователя могут содержать сигнал, полученный после того, как устройство 110 обработки выполняет конкретную обработку сигнала, такую как сегментация сигнала, предварительная обработка сигнала (например, процесс коррекции сигнала, процесс фильтрации и т.д.) и т.д. Система 160 представления данных о действии может сравнивать данные о действии пользователя со справочными данными о действии, объединять результат сравнения с виртуальным символом, чтобы формировать анимацию виртуального символа, и отправлять сформированную анимацию на устройство 140 мобильного терминала для отображения. Справочные данные о действии пользователя могут быть описаны подробно в последующих описаниях. Например, когда пользователь делает подъем на бицепс, система 160 представления данных о действии может принимать данные о действии пользователя при выполнении подъема на бицепс, такие как сигнал EMG бицепса плеча, сигнал EMG трапециевидной мышцы, поза при перемещении предплечья и т.д. Система 160 представления данных о действии может сравнивать данные о действии пользователя с множеством наборов справочных данных о действии, хранящихся в системе 100 контроля движения, чтобы определить, что пользователь выполняет действие бицепса плеча. Дополнительно система 160 представления данных о действии может отображать виртуальный символ, который демонстрирует подъем на бицепс, и пользователь может явно и интуитивно просматривать данные о действии пользователя или различие между данными о действии и справочными данными о действии (например, различие в положении и размере мышечных сил, различие в позе при действии и т.д.) посредством анимации виртуального символа для корректировки действия во время движения.In some embodiments, the motion control system 100 may also include an action data reporting system 160. The action data presentation system 160 may be configured to process and display information and/or data associated with a user action. For example, what kind of movement the user is making may be displayed, or information and/or data may be combined with a virtual symbol and intuitively displayed on the user interface of the mobile terminal device 140 to make viewing easier for the user. For example, the action data system 160 may receive data about a user action. For example, the user action data may include an action signal such as an EMG signal, a posture signal, an electrocardiogram signal, a respiratory rate signal, etc. As another example, the user action data may contain feature information (eg, feature information corresponding to the EMG signal, feature information corresponding to the body signal in the action signal) obtained by the processing device 110 performing feature processing on the action signal. As yet another example, the user action data may include a signal obtained after the processing device 110 performs specific signal processing, such as signal segmentation, signal pre-processing (e.g., signal correction process, filtering process, etc.) etc. The action data representation system 160 may compare the user action data with the action reference data, combine the comparison result with the virtual symbol to generate an animation of the virtual symbol, and send the generated animation to the mobile terminal device 140 for display. Reference data about the user action may be described in detail in subsequent descriptions. For example, when the user performs a biceps curl, the action data system 160 may receive data about the user's action while performing a biceps curl, such as a biceps brachii EMG signal, a trapezius muscle EMG signal, a forearm swing posture, etc. The action data system 160 may compare the user's action data with a plurality of sets of action reference data stored in the motion control system 100 to determine that the user is performing a biceps brachii action. Additionally, the action data system 160 may display a virtual symbol that demonstrates a biceps curl, and the user can clearly and intuitively view the user's action data or the difference between the action data and reference action data (e.g., the difference in the position and size of muscle forces , difference in action posture, etc.) by animating the virtual symbol to adjust the action during movement.
В некоторых вариантах осуществления система 160 представления данных о действии может быть интегрирована в устройство 110 обработки. В некоторых вариантах осуществления система 160 представления данных о действии может также быть интегрирована в устройство 140 мобильного терминала. В некоторых вариантах осуществления система 160 представления данных о действии может также существовать независимо от устройства 110 обработки и устройства 140 мобильного терминала. Система представления 160 данных о действии может осуществлять связь с устройством 110 обработки, носимым устройством 130 и устройством 140 мобильного терминала, чтобы передавать и обмениваться информацией и/или данными. В некоторых вариантах осуществления система 160 представления данных о действии может получить доступ к информации и/или данным, хранящимся в устройстве 110 обработки, носимом устройстве 130 и/или в устройстве 140 мобильного терминала, через сеть 120. В некоторых вариантах осуществления носимое устройство 130 может соединяться непосредственно с устройством 110 обработки и/или с устройством 140 мобильного терминала для доступа к информации и/или данным, хранящимся в них. Например, система 160 представления данных о действии может быть расположена в устройстве 110 обработки и осуществлять информационное взаимодействие с носимым устройством 130 и устройством 140 мобильного терминала через сеть 120. Как другой пример, система 160 представления данных о действии может быть расположена в устройстве 140 мобильного терминала и осуществлять информационное взаимодействие с устройством 110 обработки и носимым устройством 130 через сеть. В некоторых вариантах осуществления система 160 представления данных о действии может быть выполнена на облачной платформе и осуществлять информационное взаимодействие с устройством 110 обработки, носимым устройством 130 и устройством 140 мобильного терминала через сеть.In some embodiments, the action data reporting system 160 may be integrated into the processing device 110. In some embodiments, the action data reporting system 160 may also be integrated into the mobile terminal device 140. In some embodiments, the action data reporting system 160 may also exist independent of the processing device 110 and the mobile terminal device 140. The action data reporting system 160 may communicate with the processing device 110, the wearable device 130, and the mobile terminal device 140 to transmit and exchange information and/or data. In some embodiments, the action reporting system 160 may access information and/or data stored in the processing device 110, the wearable device 130, and/or the mobile terminal device 140 via the network 120. In some embodiments, the wearable device 130 may connect directly to the processing device 110 and/or to the mobile terminal device 140 to access information and/or data stored therein. For example, the action reporting system 160 may be located in the processing device 110 and communicates with the wearable device 130 and the mobile terminal device 140 via the network 120. As another example, the action reporting system 160 may be located in the mobile terminal device 140 and communicate with the processing device 110 and the wearable device 130 via the network. In some embodiments, the action reporting system 160 may be implemented on a cloud platform and communicate with the processing device 110, the wearable device 130, and the mobile terminal device 140 via a network.
Для удобства представления, в следующих описаниях в качестве примера для описания может быть взята система 160 представления данных о действии, расположенная в устройстве 140 мобильного терминала.For convenience of presentation, in the following descriptions, the action data reporting system 160 located in the mobile terminal device 140 may be taken as an example for description.
В некоторых вариантах осуществления система 160 представления данных о действии может обрабатывать данные и/или информацию, связанные с представлением данных о действии для выполнения одной или более описанных здесь функций. В некоторых вариантах осуществления система 160 представления данных о действии может получать данные о действии пользователя во время движения пользователя, например, сигнала действия во время движения пользователя, получаемого носимым устройством 130, или данные, получаемые после того, как сигнал действия, полученный во время движения пользователя носимым устройством 130, будет обработан устройством 110 обработки. В некоторых вариантах осуществления система 160 представления данных о действии может посылать команду управления на устройство 140 мобильного терминала для управления отображением интерфейса пользователя устройства 140 мобильного терминала.In some embodiments, the action data presentation system 160 may process data and/or information associated with the action data presentation to perform one or more of the functions described herein. In some embodiments, the action reporting system 160 may receive data about a user's action while the user is moving, such as an action signal while the user is moving received by the wearable device 130, or data received after an action signal received while the user is moving. user of the wearable device 130 will be processed by the processing device 110. In some embodiments, the action reporting system 160 may send a control command to the mobile terminal device 140 to control the display of the user interface of the mobile terminal device 140.
В некоторых вариантах осуществления система 100 может также содержать базу данных. База данных может хранить данные (например, начально заданное пороговое условие и т.д.) и/или команды (например, команды обратной связи). В некоторых вариантах осуществления база данных может хранить данные, полученные от носимого устройства 130 и/или от устройства 140 мобильного терминала. В некоторых вариантах осуществления база данных может хранить информацию и/или команды для выполнения или использования устройством 110 обработки, чтобы выполнять примерные способы, описанные в настоящем раскрытии. В некоторых вариантах осуществления база данных может быть соединена с сетью 120 для осуществления связи с одним или более компонентами системы 100 (например, с устройством 110 обработки, носимым устройством 130, устройством 140 мобильного терминала и т.д.). Один или более компонентов системы 100 могут получать доступ к данным или командам, хранящимся в базе данных, через сеть 120. В некоторых вариантах осуществления база данных может соединиться или осуществлять связь напрямую с одним или несколькими компонентами в системе 100. В некоторых вариантах осуществления база данных может быть частью устройства 110 обработки.In some embodiments, system 100 may also include a database. The database may store data (eg, an initial threshold condition, etc.) and/or commands (eg, feedback commands). In some embodiments, the database may store data received from the wearable device 130 and/or from the mobile terminal device 140. In some embodiments, the database may store information and/or instructions for execution or use by processing device 110 to perform exemplary methods described in the present disclosure. In some embodiments, the database may be coupled to the network 120 to communicate with one or more components of the system 100 (eg, processing device 110, wearable device 130, mobile terminal device 140, etc.). One or more components of the system 100 may access data or commands stored in the database through the network 120. In some embodiments, the database may connect or communicate directly with one or more components in the system 100. In some embodiments, the database may be part of the processing device 110.
На фиг. 2 представлены примерные компоненты аппаратных средств и/или программного обеспечения носимого устройства в соответствии с некоторыми вариантами осуществления настоящего раскрытия. Как показано на фиг. 2, носимое устройство 130 может содержать модуль 210 получения, модуль 220 обработки 220 (также называемый процессором), модуль 230 управления (также упоминаемый как основной контроллер, MCU, контроллер), модуль 240 связи, модуль 250 электропитания и модуль 260 ввода/вывода.In fig. 2 illustrates exemplary hardware and/or software components of a wearable device in accordance with some embodiments of the present disclosure. As shown in FIG. 2, the wearable device 130 may include a receiving module 210, a processing module 220 (also referred to as a processor), a control module 230 (also referred to as a main controller, MCU, controller), a communication module 240, a power supply module 250, and an input/output module 260.
Модуль 210 получения может быть выполнен с возможностью получения сигнала действия во время движения пользователя. В некоторых вариантах осуществления модуль 210 получения может содержать датчик и датчик может быть выполнен с возможностью получения одного или более сигналов действия во время движения пользователя. В некоторых вариантах осуществления датчик может содержать, но не ограничиваясь только этим, один или несколько датчиков из числа датчика EMG, датчика позы, датчика электрокардиограммы, датчика дыхания, температурного датчика, датчика влажности, инерциального датчика, датчика насыщенности крови кислородом, датчика Холла, электрокожного датчика, датчика вращения, и т.п. В некоторых вариантах осуществления сигнал действия может содержать один или более сигналов из числа сигнала EMG, сигнала позы, сигнала электрокардиограммы, частоты дыхания, сигнала температуры, сигнала влажности и т.п. Датчик может помещаться в различные места на носимом устройстве 130 в соответствии с типом сигнала действия, который должен быть получен. Например, в некоторых вариантах осуществления, датчик EMG (также называемый электродом) может быть расположен в месте расположения человеческой мышцы и датчик EMG может быть выполнен с возможностью для получения сигнала EMG во время движения пользователя. Сигнал EMG и соответствующая информация о функции (например, информация о частоте, информация об амплитуде и т.д.) могут отображать состояние мышцы во время движения пользователя. Датчик телодвижения может быть установлен в различных местах человеческого тела (например, в местах, соответствующих туловищу, конечностям и суставам в носимом устройстве 130) и датчик телодвижения может быть выполнен с возможностью для получения сигнала телодвижения во время движения пользователя. Сигнал телодвижения и соответствующая информация о признаке (например, направление угловой скорости, значение угловой скорости, значение ускорения угловой скорости, угол, информация о смещении, напряжение и т.д.) могут отражать телодвижение пользователя. Датчик ECG может быть расположен в месте вокруг грудной клетки человека и датчик ECG может быть выполнен с возможностью получения данных ECG во время движения пользователя. Датчик дыхания может быть расположен в месте вокруг грудной клетки человеческого тела и датчик дыхания может быть выполнен с возможностью получения данных дыхания (например, частота дыхания, амплитуда дыхания и т.д.) во время движения пользователя. Температурный датчик может быть выполнен с возможностью получения температурных данных (например, поверхностной температуры тела) во время движения пользователя. Датчик влажности может быть выполнен с возможностью получения данных влажности внешней среды во время движения пользователя.The receiving module 210 may be configured to receive an action signal while the user is moving. In some embodiments, acquisition module 210 may include a sensor, and the sensor may be configured to receive one or more action signals while the user is moving. In some embodiments, the sensor may comprise, but is not limited to, one or more of an EMG sensor, a posture sensor, an electrocardiogram sensor, a respiration sensor, a temperature sensor, a humidity sensor, an inertial sensor, a blood oxygen saturation sensor, a Hall sensor, an electrodermal sensor, rotation sensor, etc. In some embodiments, the action signal may comprise one or more of an EMG signal, a posture signal, an electrocardiogram signal, a respiratory rate signal, a temperature signal, a humidity signal, and the like. The sensor may be placed at various locations on the wearable device 130 depending on the type of action signal to be received. For example, in some embodiments, an EMG sensor (also referred to as an electrode) may be located at a human muscle location, and the EMG sensor may be configured to receive an EMG signal while the user is moving. The EMG signal and corresponding function information (eg, frequency information, amplitude information, etc.) can indicate the state of the muscle during the user's movement. The body motion sensor may be installed at various locations of the human body (eg, at locations corresponding to the torso, limbs, and joints in the wearable device 130), and the body motion sensor may be configured to receive a body motion signal while the user is moving. The body motion signal and corresponding feature information (eg, angular velocity direction, angular velocity value, angular velocity acceleration value, angle, displacement information, voltage, etc.) may reflect the user's body motion. The ECG sensor may be located at a location around the chest of a person, and the ECG sensor may be configured to acquire ECG data while the user is moving. The respiration sensor may be located at a location around the chest of a human body, and the respiration sensor may be configured to obtain respiration data (eg, respiration rate, respiration amplitude, etc.) while the user is moving. The temperature sensor may be configured to obtain temperature data (eg, surface body temperature) while the user is moving. The humidity sensor may be configured to obtain environmental humidity data while the user is moving.
Модуль 220 обработки может обрабатывать данные, полученные от модуля 210 получения, модуля 230 управления, модуля 240 связи, модуля 250 электропитания и/или модуля 260 ввода/вывода. Например, модуль 220 обработки может обрабатывать сигнал действия во время движения пользователя, поступающий от модуля 210 получения. В некоторых вариантах осуществления модуль 220 обработки может предварительно обрабатывать сигнал действия (например, сигнал EMG, сигнал телодвижения), принятый модулем 210 получения. Например, модуль 220 обработки может выполнять процесс сегментации сигнала EMG или сигнала телодвижения во время движения пользователя. Как другой пример, модуль 220 обработки может выполнять предварительную обработку (например, процесс фильтрации, процесс коррекции сигнала) для сигнала EMG во время движения пользователя, улучшая качество сигнала EMG. Как еще один другой пример, модуль 220 обработки может определить информацию о признаках, соответствующих сигналу телодвижения, основываясь на сигнале телодвижения во время движения пользователя. В некоторых вариантах осуществления модуль 220 обработки может обрабатывать команду или операцию, поступающую от модуля 260 ввода/вывода. В некоторых вариантах осуществления обработанные данные могут храниться в памяти или на жестком диске. В некоторых вариантах осуществления модуль 220 обработки может передавать обработанные данные одному или нескольким компонентам системы 100 контроля движения через модуль 240 связи или через сеть 120. Например, модуль 220 обработки может посылать результат контроля движения пользователя на модуль 230 управления и модуль 230 управления может выполнять последующие операции или команды в соответствии с результатом определения действия.The processing module 220 may process data received from the receiving module 210, the control module 230, the communication module 240, the power supply module 250, and/or the input/output module 260. For example, the processing module 220 may process the action signal while the user is moving from the receiving module 210. In some embodiments, processing module 220 may pre-process an action signal (eg, EMG signal, body signal) received by receiving module 210. For example, processing module 220 may perform a process of segmenting an EMG signal or a body motion signal while the user is moving. As another example, the processing module 220 may perform pre-processing (eg, a filtering process, a signal correction process) on the EMG signal while the user is moving, improving the quality of the EMG signal. As yet another example, processing module 220 may determine feature information corresponding to the motion signal based on the motion signal while the user is moving. In some embodiments, processing module 220 may process a command or operation received from input/output module 260. In some embodiments, the processed data may be stored in memory or on a hard disk. In some embodiments, processing module 220 may transmit processed data to one or more components of motion control system 100 via communication module 240 or network 120. For example, processing module 220 may send a user motion control result to control module 230 and control module 230 may perform subsequent operations or commands according to the result of the action definition.
Модуль 230 управления может соединяться с другими модулями носимого устройства 130. В некоторых вариантах осуществления модуль 230 управления может управлять рабочими состояниями других модулей носимого устройства 130. Например, модуль 230 управления может управлять состоянием источника питания (например, нормальный режим, режим экономии электроэнергии), временем работы источника питания и т.д. модуля 250 электропитания. Как другой пример, модуль 230 управления может управлять модулем 260 ввода/вывода в соответствии с результатом определения действия пользователя, чтобы управлять устройством 140 мобильного терминала для посылки пользователю результата обратной связи движения пользователя. Если с действием у пользователя существует проблема (например, действие не соответствует стандарту) во время движения пользователя, модуль 230 управления может управлять модулем 260 ввода/вывода 260 для управления устройством 140 мобильного терминала, чтобы послать пользователю сигнал обратной связи, так чтобы пользователь мог знать свое собственное состояние движения в режиме реального времени и корректировать действие. В некоторых вариантах осуществления модуль 230 управления может также управлять одним или более датчиками модуля 210 получения или другими модулями для обеспечения обратной связи человеческому телу. Например, если определенная мышца показывает слишком много силы во время движения пользователя, модуль 230 управления может управлять модулем электрода в месте на мышце для электрического стимулирования пользователя, чтобы вовремя подсказать пользователю скорректировать действие.The control module 230 may communicate with other modules of the wearable device 130. In some embodiments, the control module 230 may control the operating states of other modules of the wearable device 130. For example, the control module 230 may control the state of the power source (e.g., normal mode, power saving mode), operating time of the power source, etc. power supply module 250. As another example, the control module 230 may control the input/output module 260 in accordance with the user action determination result to control the mobile terminal device 140 to send the user motion feedback result to the user. If there is a problem with the user's action (for example, the action does not meet the standard) while the user is moving, the control module 230 may control the input/output module 260 to control the mobile terminal device 140 to send a feedback signal to the user so that the user can know your own motion state in real time and adjust the action. In some embodiments, the control module 230 may also control one or more sensors of the receiving module 210 or other modules to provide feedback to the human body. For example, if a certain muscle exhibits too much force during a user's movement, the control module 230 may control the electrode module at a location on the muscle to electrically stimulate the user to prompt the user to correct the action in time.
В некоторых вариантах осуществления модуль 240 связи может быть выполнен с возможностью обмена информацией или данными. В некоторых вариантах осуществления модуль 240 связи может быть выполнен с возможностью осуществления связи между компонентами носимого устройства 130. Например, модуль 210 получения может послать сигнал действия пользователя (например, сигнал EMG, сигнал телодвижения и т.д.) модулю 240 связи и модуль 240 связи может послать сигнал действия на модуль 220 обработки. В некоторых вариантах осуществления модуль 240 связи может также быть выполнен с возможностью осуществления связи между носимым устройством 130 и другими компонентами в системе 100. Например, модуль 240 связи может посылать информацию о состоянии (например, о состоянии переключателя) носимого устройства 130 устройству 110 обработки и устройство 110 обработки может контролировать носимое устройство 130 на основе информации о состоянии. Модуль 240 связи может приспосабливаться под проводные, беспроводные и проводные/беспроводные гибридные технологии.In some embodiments, communication module 240 may be configured to exchange information or data. In some embodiments, the communication module 240 may be configured to communicate between components of the wearable device 130. For example, the receiving module 210 may send a user action signal (e.g., an EMG signal, a body signal, etc.) to the communication module 240 and the module 240 communication may send an action signal to processing module 220. In some embodiments, communication module 240 may also be configured to communicate between wearable device 130 and other components in system 100. For example, communication module 240 may send state information (e.g., switch state) of wearable device 130 to processing device 110 and the processing device 110 may control the wearable device 130 based on the status information. Communication module 240 can accommodate wired, wireless, and wired/wireless hybrid technologies.
В некоторых вариантах осуществления модуль 250 электропитания может обеспечивать электропитание другим компонентам в системе 100.In some embodiments, power module 250 may provide power to other components in system 100.
Модуль 260 ввода/вывода может получать, передавать и посылать сигнал. Модуль 260 ввода/вывода может взаимодействовать через интерфейс или осуществлять связь с другими компонентами в системе 100. Другие компоненты в системе 100 контроля движения могут соединяться или осуществлять связь через модуль 260 ввода/вывода.The input/output module 260 can receive, transmit, and send a signal. The input/output module 260 may interface or communicate with other components in the system 100. Other components in the motion control system 100 may interface or communicate through the input/output module 260.
Следует заметить, что вышеупомянутые описания системы 100 и ее модулей сделаны просто для удобства описаний и не могут ограничивать один или более вариантов осуществления настоящего раскрытия объемом представленных вариантов осуществления. Следует понимать, что специалисты в данной области техники после понимания принципа действия системы могут произвольно объединять различные модули или формировать подсистему для соединения с другими модулями или изымать из нее один или более модулей. Например, модуль 210 получения и модуль 220 обработки могут быть объединены в один модуль, который может иметь функции получения и обработки сигнала действия пользователя. Как другой пример, модуль 220 обработки может обеспечиваться не в носимом устройстве 130, а интегрироваться в устройство 110 обработки. Такие модификации находятся в рамках объема защиты одного или нескольких вариантов осуществления настоящего раскрытия.It should be noted that the above descriptions of the system 100 and its modules are made merely for convenience of description and are not intended to limit one or more embodiments of the present disclosure by the scope of the embodiments presented. It should be understood that those skilled in the art, after understanding the operating principle of the system, can arbitrarily combine various modules or form a subsystem for connection with other modules or remove one or more modules from it. For example, the receiving module 210 and the processing module 220 may be combined into one module, which may have functions of receiving and processing the user action signal. As another example, the processing module 220 may not be provided in the wearable device 130, but be integrated into the processing device 110. Such modifications are within the scope of protection of one or more embodiments of the present disclosure.
На фиг. 3 представлены примерные компоненты аппаратных средств и/или программного обеспечения вычислительного устройства 300, соответствующего некоторым вариантам осуществления настоящего раскрытия. В некоторых вариантах осуществления устройство 110 обработки и/или устройство 140 мобильного терминала могут быть реализованы на вычислительном устройстве 300. В некоторых вариантах осуществления система 160 представления данных о действии может быть реализована на вычислительном устройстве 300. Как показано на фиг. 3, вычислительное устройство 300 может содержать внутреннюю шину 310 связи, процессор 320, постоянную память 330, оперативную память 340, порт 350 связи, интерфейс 360 ввода-вывода, жесткий диск 370 и интерфейс 380 пользователя.In fig. 3 illustrates exemplary hardware and/or software components of a computing device 300 corresponding to some embodiments of the present disclosure. In some embodiments, processing device 110 and/or mobile terminal device 140 may be implemented on computing device 300. In some embodiments, action data reporting system 160 may be implemented on computing device 300. As shown in FIG. 3, computing device 300 may include an internal communication bus 310, a processor 320, a read-only memory 330, a random access memory 340, a communication port 350, an input/output interface 360, a hard disk 370, and a user interface 380.
Внутренняя шина 310 связи может позволять передачу данных среди различных компонент вычислительного устройства 300. Например, процессор 320 может посредством внутренней шины 310 связи посылать данные в память или другим компонентам аппаратных средств, таким как интерфейс 360 ввода-вывода.Internal communication bus 310 may allow data to be transferred among various components of computing device 300. For example, processor 320 may, via internal communication bus 310, send data to memory or other hardware components such as input/output interface 360.
Процессор 320 может выполнить компьютерные команды (управляющую программу) и выполнять функции описанной здесь системы 100 контроля движения. Компьютерные команды могут содержать программу, объект, компонент, структуру данных, процедуру, модуль и функцию (функция относится к конкретной функции, описанной в раскрытии). Например, процессор 320 может обрабатывать сигнал действия (например, сигнал EMG, сигнал телодвижения) полученный из носимого устройства 130 или/и от устройства 140 мобильного терминала системы 100 контроля движения во время движения пользователя, и контролировать действие пользователя в соответствии с сигналом действия во время движения пользователя. Только для иллюстрации, в вычислительном устройстве 300 на фиг. 3 показан только один процессор, но следует заметить, что вычислительное устройство 300 в настоящем раскрытии может также содержать множество процессоров.The processor 320 may execute computer commands (control program) and perform the functions of the motion control system 100 described herein. Computer instructions may comprise a program, object, component, data structure, procedure, module, and function (function refers to a specific function described in the disclosure). For example, the processor 320 may process an action signal (e.g., an EMG signal, a body motion signal) received from the wearable device 130 and/or from the mobile terminal device 140 of the motion control system 100 while the user is moving, and monitor the user's action in accordance with the action signal while user movements. For illustration purposes only, in computing device 300 in FIG. 3 shows only one processor, but it should be noted that the computing device 300 in the present disclosure may also include multiple processors.
Память (например, постоянная память (ROM) 330, оперативная память (RAM) 340, жесткий диск 370 и т.д.) вычислительного устройства 300 может хранить данные, полученные от любого другого компонента системы 100 контроля движения. В некоторых вариантах осуществления память вычислительного устройства 300 может быть расположена в носимом устройстве 130, а также в устройстве 110 обработки.Memory (eg, read-only memory (ROM) 330, random access memory (RAM) 340, hard drive 370, etc.) of computing device 300 may store data received from any other component of motion control system 100. In some embodiments, the memory of the computing device 300 may be located in the wearable device 130 as well as in the processing device 110.
Интерфейс 360 ввода-вывода может быть выполнен с возможностью ввода или вывода сигнал, данных или информации. В некоторых вариантах осуществления интерфейс 360 ввода-вывода может позволить пользователю взаимодействовать с системой 100 контроля движения.The input/output interface 360 may be configured to input or output signal, data, or information. In some embodiments, the input/output interface 360 may allow a user to interact with the motion control system 100.
Жесткий диск 370 может быть выполнен с возможностью хранения информации и данных, сформированных или полученных от устройства 110 обработки. Например, жесткий диск 370 может хранить информацию подтверждения пользователя. В некоторых вариантах осуществления жесткий диск 370 может обеспечиваться в устройстве 110 обработки или в носимом устройстве 130. Интерфейс 380 пользователя может позволять взаимодействие и обмен информацией между вычислительным устройством 300 и пользователем. В некоторых вариантах осуществления интерфейс 380 пользователя может быть выполнен с возможностью представления пользователю записей движения, сформированных системой 100 контроля движения. В некоторых вариантах осуществления интерфейс 380 пользователя может содержать физический дисплей, такой как дисплей с динамиком, жидкокристаллический дисплей, светодиодный дисплей, OLED-дисплей, дисплей с электронными чернилами (E-Ink), и т.п.The hard disk 370 may be configured to store information and data generated by or received from the processing device 110. For example, the hard drive 370 may store user confirmation information. In some embodiments, the hard drive 370 may be provided in the processing device 110 or in the wearable device 130. The user interface 380 may allow interaction and exchange of information between the computing device 300 and the user. In some embodiments, the user interface 380 may be configured to present motion recordings generated by the motion monitoring system 100 to the user. In some embodiments, user interface 380 may include a physical display, such as a speaker display, liquid crystal display, LED display, OLED display, electronic ink (E-Ink) display, and the like.
Например, носимое устройство 130 в системе 100 может принимать любую структуру. Например, носимое устройство 130 может принять структуру носимого устройства 400, показанного на фиг. 4. Для описания носимого устройства 130, носимое устройство 400 на фиг. 4 может использовать в качестве примера одежду. Как показано на фиг. 4, носимое устройство 400 может содержать предмет 410 верхний одежды. Предмет 410 верхней одежды может содержать предмет 4110 верхней одежды, один или несколько модулей 4120 обработки предмета верхней одежды, один или несколько модулей 4130 обратной связи предмета верхней одежды, один или несколько модулей 4140 получения предмета верхней одежды и т.п. Основа 4110 предмет верхней одежды может относиться к одежде, надеваемой на верхнюю часть человеческого тела. В некоторых вариантах осуществления основа 4110 предмета верхней одежды может содержать футболку с коротким рукавом, футболку с длинным рукавом, рубашку, жакет и т.п. Один или более несколько модулей 4120 обработки предмета верхней одежды и один или несколько модулей 4140 получения предмета верхней одежды могут располагаться на основе 4110 предмета верхней одежды в областях, которые соответствуют различным участкам тела человека. Один или более модулей 4130 обратной связи предмета верхней одежды могут располагаться в любом месте на основе 4110 предмета верхней одежды и один или более модулей 4130 обратной связи предмета верхней одежды могут быть выполнены с возможностью возвращения информации о состоянии движения верхней части тела пользователя. Примерные способы обратной связи могут содержать, но не ограничиваясь только этим, речевую подсказку, текстовую подсказку, подсказку давлением, электрическую стимуляцию и т.п. В некоторых вариантах осуществления один или более модулей 4140 получения предмета верхней одежды могут содержать, но не ограничиваясь только этим, один или несколько датчиков из числа датчика телодвижения, датчика ECG, датчика EMG, температурного датчика, датчика влажности, кислотно-щелочного датчика, преобразователя звуковой волны и т.п. Датчики в модуле 4140 получения предмета верхней одежды могут быть помещены в различных местах на теле пользователя в соответствии с различными сигналами, которые должны быть измерены. Например, когда датчик телодвижения выполнен с возможностью получения сигнала телодвижения во время движения пользователя, датчик телодвижения может быть помещен в местах основы 4110 предмета верхней одежды, соответствующих туловищу, рукам и суставам. Как другой пример, когда датчик EMG выполнен с возможностью получения сигнала EMG во время движения пользователя, датчик EMG может быть расположен около мышц, которые должны измеряться пользователем. В некоторых вариантах осуществления датчик телодвижения может содержать, но не ограничиваясь только этим, трехосевой датчик ускорения, трехосевой датчик угловой скорости, датчик магнитной силы и т.д. или любое их сочетание. Например, датчик телодвижения может содержать трехосевой датчик ускорения и трехосевой датчик угловой скорости. В некоторых вариантах осуществления датчик телодвижения может также содержать тензодатчик. Тензодатчик может быть датчиком, действие которого может быть основано на деформации, сформированной силой и деформацией измеряемого объекта. В некоторых вариантах осуществления тензодатчик может содержать, но не ограничиваясь только этим, один или более из таких датчиков, как нагрузочная ячейка тензодатчика, датчика давления на основе тензодатчика, датчик момента на основе тензодатчика, датчик смещения на основе тензодатчика, датчик ускорения на основе тензодатчика и т.п. Например, датчик на основе тензодатчика может быть установлен в месте сустава пользователя и измеряя сопротивления датчика на основе тензодатчика, которое изменяется с увеличением длины, могут быть получены угол изгиба и направление изгиба сустава пользователя. Следует заметить, что в дополнение к вышеупомянутой основе 4110 предмета верхней одежды, модуль 4120 обработки предмета верхней одежды, модуль 4130 обратной связи предмета верхней одежды и модуль 4140 получения предмета верхней одежды, предмет 410 верхней одежды может также содержать другие модули, такие как модуль электропитания, модуль связи, модуль ввода/вывода и т.д. Модуль 4120 обработки предмета верхней одежды может быть подобен модулю 220 обработки на фиг. 2 и модуль 4140 получения предмета верхней одежды может быть подобен модулю 210 получения на фиг. 2. Для дополнительного описания различных модулей предмета 410 верхней одежды, обратитесь к фиг. 2 и его сопутствующим описаниям в настоящем раскрытии, которые здесь не повторяются.For example, wearable device 130 in system 100 may adopt any structure. For example, wearable device 130 may adopt the structure of wearable device 400 shown in FIG. 4. To describe the wearable device 130, the wearable device 400 in FIG. 4 can use clothing as an example. As shown in FIG. 4, wearable device 400 may include an outer garment 410. The outerwear item 410 may include an outerwear item 4110, one or more outerwear processing modules 4120, one or more outerwear feedback modules 4130, one or more outerwear receiving modules 4140, and the like. The outerwear body 4110 may refer to a garment worn on the upper part of the human body. In some embodiments, the outerwear body 4110 may include a short sleeve T-shirt, a long sleeve T-shirt, a shirt, a jacket, or the like. One or more outerwear processing modules 4120 and one or more outerwear receiving modules 4140 may be located on the outerwear body 4110 in areas that correspond to different areas of the human body. One or more outerwear feedback modules 4130 may be located anywhere on the outerwear body 4110, and one or more outerwear feedback modules 4130 may be configured to return information about a motion state of a wearer's upper body. Exemplary feedback methods may include, but are not limited to, speech prompt, text prompt, pressure prompt, electrical stimulation, and the like. In some embodiments, one or more outerwear acquisition modules 4140 may include, but are not limited to, one or more sensors including a body motion sensor, an ECG sensor, an EMG sensor, a temperature sensor, a humidity sensor, an acid-base sensor, an audio transducer waves, etc. The sensors in the outerwear acquisition module 4140 may be placed at various locations on the user's body in accordance with various signals to be measured. For example, when the body motion sensor is configured to receive a body motion signal while the wearer is moving, the body motion sensor may be placed at locations of the garment body 4110 corresponding to the torso, arms, and knuckles. As another example, when the EMG sensor is configured to receive an EMG signal while the user is moving, the EMG sensor may be located near the muscles that are to be measured by the user. In some embodiments, the body motion sensor may include, but is not limited to, a three-axis acceleration sensor, a three-axis angular velocity sensor, a magnetic force sensor, etc. or any combination thereof. For example, the body motion sensor may include a three-axis acceleration sensor and a three-axis angular velocity sensor. In some embodiments, the body motion sensor may also include a strain gauge. A strain gauge may be a sensor whose operation may be based on the deformation generated by the force and deformation of the object being measured. In some embodiments, the load cell may include, but is not limited to, one or more of a load cell load cell, a load cell pressure sensor, a load cell torque sensor, a load cell displacement sensor, a load cell acceleration sensor, and etc. For example, a strain gauge sensor can be installed at a joint location of a user, and by measuring the resistance of the strain gauge sensor, which changes with increasing length, the bending angle and bending direction of the user's joint can be obtained. It should be noted that in addition to the above-mentioned outerwear base 4110, outerwear processing unit 4120, outerwear feedback unit 4130, and outerwear receiving unit 4140, outerwear 410 may also include other modules such as a power supply module , communication module, input/output module, etc. The outerwear processing module 4120 may be similar to the processing module 220 in FIG. 2 and the outerwear receiving module 4140 may be similar to the receiving module 210 in FIG. 2. For a further description of the various modules of the outerwear item 410, refer to FIG. 2 and its accompanying descriptions in this disclosure, which are not repeated here.
На фиг. 5 представлена блок-схема последовательности выполнения операций примерного процесса определения целевого действия, соответствующая согласно некоторым вариантам осуществления настоящего раскрытия. В некоторых вариантах осуществления процесс 500 может быть реализован системой 100. Например, память в устройстве 110 обработки и/или в мобильном устройстве 140 может хранить один или более наборов команд по анализу и идентификации действий. Набор команд может содержать множество команд. Процессор устройства 110 обработки и/или мобильного устройства 140 во времени выполнения может считывать и выполнить множество команд из набора команд и исполнять процесс 500, руководствуясь множеством команд. Процесс 500 может быть завершен в реальном времени или каждая операция может завершаться в различные периоды времени. Процесс 500 может содержать нижеследующие этапы.In fig. 5 is a flowchart of an exemplary target action determination process consistent with some embodiments of the present disclosure. In some embodiments, process 500 may be implemented by system 100. For example, memory in processing device 110 and/or mobile device 140 may store one or more sets of action analysis and identification commands. An instruction set can contain multiple commands. The processor of the processing device 110 and/or the mobile device 140 may, at run time, read and execute a plurality of instructions from the instruction set and execute the process 500 in accordance with the plurality of instructions. Process 500 may complete in real time, or each operation may complete at varying times. Process 500 may comprise the following steps.
На этапе 510 могут быть получены данные о действии пользователя во время движения пользователя. Данные о действии пользователя могут соответствовать действию неизвестного пользователя.At step 510, user action data may be obtained while the user is moving. The user action data may correspond to the action of an unknown user.
Устройство 110 обработки и/или мобильное устройство 140 могут измерять вышеупомянутые данные о действии во множестве мест измерений на пользователе, например, могут получать необработанные данные во время движения пользователя. А именно, устройство 110 обработки и/или мобильное устройство 140 может быть средствами связи соединено с носимым устройством 130 напрямую или через сеть 120. Носимое устройство 130 может иметь множество датчиков. Когда пользователь носит на себе носимое устройство 130, множество датчиков могут быть присоединены ко множеству мест на теле пользователя. Поэтому устройство 110 обработки и/или мобильное устройство 140 могут получать результаты измерений от множества датчиков, присоединенных к пользователю во множестве мест измерений, через соответствующие модули получения для получения данных о действии пользователя.Processing device 110 and/or mobile device 140 may measure the aforementioned action data at multiple measurement locations on the user, for example, may obtain raw data while the user is moving. Namely, the processing device 110 and/or the mobile device 140 may be communicated with the wearable device 130 directly or through a network 120. The wearable device 130 may have a plurality of sensors. When a user wears the wearable device 130, a plurality of sensors may be attached to a plurality of locations on the user's body. Therefore, the processing device 110 and/or the mobile device 140 can obtain measurement results from a plurality of sensors attached to the user at a plurality of measurement locations through respective acquisition modules to obtain data about the user's action.
Данные о действии пользователя могут относиться к данным о действии, формируемым на основе информации о параметрах человеческого тела во время движения пользователя. В некоторых вариантах осуществления информация о параметрах человеческого тела может содержать, но не ограничиваясь только этим, один или более сигналов из числа сигнала EMG, сигнала телодвижения, электрокардиографического сигнала, температурного сигнала, сигнала влажности, концентрации кислорода в крови, частоты дыхания и т.п.User action data may refer to action data generated based on information about human body parameters while the user is moving. In some embodiments, the human body parameter information may comprise, but is not limited to, one or more signals of an EMG signal, a body movement signal, an electrocardiographic signal, a temperature signal, a humidity signal, a blood oxygen concentration, a respiratory rate, and the like. .
Поскольку действие пользователя является результатом координации множества мышц и суставов, соответственно, данные о действии пользователя могут также содержать данные, собираемые множеством датчиками в М местах на теле пользователя, где M - целое число, большее 1. В некоторых вариантах осуществления данные, собранные каждым отдельным датчиком, могут рассматриваться как фрагмент субданных о действии. Например, в некоторых вариантах осуществления множество датчиков в носимом устройстве 130 может получать сигналы от множества частей тела во время движения пользователя. Комбинация сигналов телодвижения множества частей тела может отражать относительную ситуацию с движением между различными частями человеческого тела. Например, датчик EMG в носимом устройстве 130 может получать сигнал EMG во время движения пользователя, датчик телодвижения в носимом устройстве 130 может получать сигнал телодвижения во время движения пользователя, и датчик угла и датчик угловой скорости в носимом устройстве 130 могут получать угол и угловую скорость для каждого сустава во время движения пользователя. Сигнал каждого из вышеупомянутых датчиков регистрируется как фрагмент субданных о действии. Все субданные о действии пользователя могут объединяться для формирования данных о действии.Because a user's action is the result of the coordination of multiple muscles and joints, accordingly, the user's action data may also comprise data collected by a plurality of sensors at M locations on the user's body, where M is an integer greater than 1. In some embodiments, the data collected by each individual sensor can be considered as a piece of subdata about the action. For example, in some embodiments, multiple sensors in wearable device 130 may receive signals from multiple parts of the body as the user moves. The combination of body motion signals from multiple body parts can reflect the relative motion situation between different parts of the human body. For example, an EMG sensor in wearable device 130 may receive an EMG signal while the user is moving, a body motion sensor in wearable device 130 may receive a body motion signal while the user is moving, and an angle sensor and angular velocity sensor in wearable device 130 may receive an angle and angular velocity for each joint as the user moves. The signal from each of the above sensors is recorded as a piece of action subdata. All subdata about a user's action can be combined to form action data.
Например, когда человек выполняет действие по подъему руки, соответствующие данные о действии могут содержать данные об угле и данные угловой скорости плеча, данные об угле и данные угловой скорости между плечом и предплечьем, данные EMG мышцы бицепса плеча, данные EMG дельтовидной мышцы, данные EMG трапециевидной мышцы и данные группы мышц спины и т.д., измеряемые носимым устройством 130. Как другой пример, когда пользователь выполняет фиксацию при грудном жиме сидя, датчик EMG в носимом устройстве 130, соответствующий положению грудной мышцы человеческого тела, широчайшей мышцы спины и т.д., может получать сигнал EMG для соответствующего положения мышц пользователя. Как дополнительный другой пример, когда пользователь выполняет приседание, датчик EMG в носимом устройстве 130, соответствующий положению большой ягодичной мышцы, четырехглавой мышцы бедра человека и т.д., может получать сигнал EMG о соответствующем положении мышцы пользователя и ближайший угловой датчик и датчик угловой скорости могут получать угол и угловую скорость между бедром и икрой. Данные, полученные каждым одиночным датчиком, могут рассматриваться как фрагмент субданных о действии. Поэтому данные о действии пользователя для подъема руки могут также содержать множество субданных о действии пользователя, соответствующих данным, собираемым во множестве мест тела пользователя, когда пользователь выполняет действие по подъему руки.For example, when a person performs the action of raising an arm, the corresponding action data may include angle data and angular velocity data of the shoulder, angle data and angular velocity data between the shoulder and forearm, EMG data of the biceps brachii muscle, EMG data of the deltoid muscle, EMG data trapezius muscle and back muscle group data, etc., measured by the wearable device 130. As another example, when the user performs a seated chest press fixation, the EMG sensor in the wearable device 130 corresponding to the position of the human body's pectoral muscle, latissimus dorsi muscle, etc. .d., can receive the EMG signal for the corresponding muscle position of the user. As a further other example, when the user performs a squat, the EMG sensor in the wearable device 130 corresponding to the position of the gluteus maximus muscle, quadriceps muscle of the person, etc. can receive the EMG signal of the corresponding muscle position of the user and the nearby angular sensor and angular velocity sensor can obtain the angle and angular velocity between the thigh and calf. The data received by each single sensor can be considered as a piece of action subdata. Therefore, the user's arm-raising action data may also include a plurality of user-action sub-data corresponding to data collected at multiple locations on the user's body when the user performs the arm-raising action.
Когда пользователь носит на себе носимое устройство 130, носимое устройство 130 может начинать измерение движения пользователя в любое время и пользователь может начать тренироваться или начинать отдыхать в любое время. Таким образом, устройство 110 обработки и/или мобильное устройство 140 не знают, получает ли носимое устройство 130 фрагмент случайных данных о действии пользователя или вышеупомянутом действии при фитнесе, а также устройство 110 обработки и/или мобильное устройство 140 не знают, когда действие фитнеса началось в полученных данных. Поэтому то, что получает носимое устройство 130, является данными действия, содержание которого неизвестно. То есть, система 100 находится в неизвестном состоянии в отношении того, какой вид движения выполняет пользователь (то есть, содержит ли действие пользователя несколько известных целевых действий и время начала каждого целевого действия) и когда пользователь начинает тренироваться. Поэтому данные о действии также не имеют никакого идентификатора, указывающего контент действия. Просто для удобства описания, настоящее раскрытие может определить, содержат ли данные о действии идентификатор действия как пример для описания того, является ли известным контент данных о действии.When the user wears the wearable device 130, the wearable device 130 can start measuring the user's motion at any time, and the user can start exercising or start resting at any time. Thus, the processing device 110 and/or the mobile device 140 does not know whether the wearable device 130 receives a piece of random data about the user's action or the aforementioned fitness action, nor does the processing device 110 and/or the mobile device 140 know when the fitness action started in the received data. Therefore, what the wearable device 130 receives is action data, the content of which is unknown. That is, the system 100 is in an unknown state regarding what type of movement the user is performing (that is, whether the user's action contains multiple known target actions and the start time of each target action) and when the user begins to exercise. Therefore, the action data also does not have any identifier indicating the content of the action. Just for convenience of description, the present disclosure may determine whether the action data contains an action identifier as an example to describe whether the content of the action data is known.
На этапе 520 на основе одного или более наборов возможных справочных данных о действии, содержание которых известно, выполняя идентификацию действия на данных о действии пользователя, может быть определено, содержит ли действие пользователя справочное действие (т.е. целевое действие), соответствующее одному или более наборам возможных справочных данных о действии.At step 520, based on one or more sets of possible action reference data whose contents are known, by performing action identification on the user action data, it can be determined whether the user action contains a reference action (i.e., a target action) corresponding to one or more sets of possible action reference data.
Целевое действие может относиться к конкретному действию из числа фактических действий, выполняемых пользователем, таких как подъем на бицепс, жим лежа, приседание, удар, отжимание в упоре, становая тяга, укрепление брюшного пресса и т.д. Справочное действие может относиться к стандартному действию с содержанием действия, соответствующего конкретному действию, выполняемому специалистом (таким как тренер и т.д.). В некоторых вариантах осуществления идентификация целевого действия может быть выполнена сразу или в течение заданного времени после того, как получены данные о действии пользователя. Заданное время может быть очень коротким временем, например, в течение одного часа или 0,1, 0,5 секунды. Идентификация целевого действия может также быть выполнена в режиме реального времени с получением данных о действии пользователя. Например, когда пользователь выполняет действие, процессор устройства 110 обработки и/или мобильное устройство 140 могут получить данные о действии пользователя, в то же время растягивая или сжимая данные о действии пользователя до другого масштаба и затем сравнивая их со справочными данными о действии, таким образом, одновременно выполняя идентификацию действия на данных о действии пользователя. Способ сравнения, описанный выше, может быть описан в других частях настоящего раскрытия.The target action may refer to a specific action among the actual actions performed by the user, such as curls, bench press, squats, punches, push-ups, deadlifts, abdominal strengthening, etc. A reference action may refer to a standard action with action content corresponding to a specific action performed by a specialist (such as a trainer, etc.). In some embodiments, identification of the target action may be performed immediately or within a specified time after the user action data is received. The specified time can be a very short time, for example within one hour or 0.1, 0.5 seconds. Identification of the target action can also be performed in real time by obtaining data about the user's action. For example, when a user performs an action, the processor of the processing device 110 and/or the mobile device 140 may obtain data about the user's action while at the same time stretching or compressing the user's action data to a different scale and then comparing it with reference action data, thus , while simultaneously performing action identification on the user action data. The comparison method described above may be described in other parts of the present disclosure.
Справочные данные о действии пользователя могут содержать множество наборов справочных данных о действиях, измеряемых множеством датчиков. При получении справочных данных о действиях, подобных набору данных о действиях пользователя, множество датчиков могут также прикрепляться к М местам измерений на специалисте, например, специалист может носить носимое устройство 130. Затем специалист может выполнять конкретное действие и устройство получения данных (например, устройство 110 обработки и/или мобильное устройство 140 или другие устройства) может принимать соответствующие данные о действии пользователя через соответствующий модуль получения в носимом устройстве 130. Поэтому возможные справочные данные о действии могут быть данными о действия для справочного действия, содержание которого известно и измерено в М местах измерений на специалисте, таких как справочные данные о действии пользователя, помеченных содержанием действия. Например, справочные данные о действии при подъеме плеча могут содержать данные, собранные из того же самого множества мест, что и у тренера по фитнесу. Специалист может быть человеком, который используется в качестве модели для получения справочных данных о действии, таким как тренер по фитнесу. Для данных, полученных каждым датчиком, справочные данные о действии пользователя для подъема руки могут содержать M фрагментов справочных субданных о действии, каждый из которых соответствует данным, полученным в одном из М мест на теле, когда специалист выполняет действие по подъему руки. В некоторых вариантах осуществления М мест измерений на специалисте могут иметь взаимно однозначное соответствие с М мест измерений на пользователе, когда получают данные о действии пользователя. Соответственно, M фрагментов субданных о действии пользователя в данных о действии пользователя могут иметь взаимно однозначное соответствие с M фрагментами справочных субданных о действии.The user action reference data may comprise multiple sets of action reference data measured by a plurality of sensors. When obtaining action reference data similar to the user activity data set, a plurality of sensors may also be attached to M measurement locations on the practitioner, for example, the practitioner may wear a wearable device 130. The practitioner may then perform the specific action and data acquisition device (e.g., device 110 processing and/or mobile device 140 or other devices) may receive corresponding user action data through a corresponding acquisition module in the wearable device 130. Therefore, possible action reference data may be action data for a reference action whose content is known and measured at M locations measurements on the specialist, such as reference data about the user's action, marked with the content of the action. For example, reference data for a shoulder lift action may contain data collected from the same set of locations as the fitness trainer. The specialist may be a person who is used as a model to obtain reference data about the activity, such as a fitness trainer. For the data acquired by each sensor, the user's arm-raising action reference data may comprise M pieces of action reference subdata, each of which corresponds to data acquired at one of the M locations on the body when the practitioner performs the arm-raising action. In some embodiments, the M measurement locations on the practitioner may have a one-to-one correspondence with the M measurement locations on the user when the user's action data is acquired. Accordingly, the M pieces of user action subdata in the user action data may have a one-to-one correspondence with the M pieces of reference action subdata.
Справочные данные о действии могут также формироваться другими способами. Например, данные о действии виртуального человека могут быть получены посредством компьютерного моделирования и справочные данные о действии могут быть получены путем искусственного приспосабливания виртуального человека в видео через технологии искусственного интеллекта (например, искусственно подгоняемого действия г-на Олимпия в демонстрационном видео). Пока определенные данные о действии могут стандартно представлять определенное действие и содержание определенных данных о действии известно, определенные данные о действии могут использоваться в настоящем раскрытии в качестве справочных данных о действии. Как упомянуто выше, просто для удобства описания, настоящее раскрытие может принимать данные о действии пользователя, отмеченные содержанием, в качестве примера для описания данных о действии с известным содержанием.Action reference data may also be generated in other ways. For example, action data of a virtual person can be obtained through computer simulation, and reference action data can be obtained by artificially adjusting the virtual person in a video through artificial intelligence technologies (eg, artificially adjusting Mr. Olympia's action in a demonstration video). As long as certain action data can standardly represent a certain action and the content of the certain action data is known, certain action data can be used in the present disclosure as reference action data. As mentioned above, just for convenience of description, the present disclosure may take user action data tagged with content as an example to describe action data with known content.
На этапе 520 устройство 110 обработки и/или мобильное устройство 140 может получать доступ к справочной базе данных о действии. Справочная база данных о действии может содержать множество наборов справочных данных о действии. Множество наборов справочных данных о действии может соответствовать множеству справочных действий. Например, каждый набор справочных данных о действии может соответствовать одному справочному действию или каждый набор справочных данных о действии может соответствовать множеству справочных действий или каждое справочное действие может соответствовать множеству наборов справочных данных о действии.At step 520, processing device 110 and/or mobile device 140 may access the action reference database. The action reference database may contain multiple sets of action reference data. A plurality of action reference data sets may correspond to a plurality of reference actions. For example, each action reference data set may correspond to one action reference data, or each action reference data set may correspond to multiple action reference data, or each action reference data set may correspond to multiple action reference data sets.
При выполнении идентификации целевого действия на данных о действии пользователя устройство 110 обработки и/или мобильное устройство 140 может идентифицировать данные о действии пользователя, последовательно сравнивая данных о действии пользователя с каждым из множества наборов справочных данных о действии в базе данных справочных действий, используя двухуровневую операцию отсева. Двухуровневая операция отсева может отсеивать множество наборов справочных данных о действии посредством двух различных операций отсева и окончательно определять, какое справочное действие содержит действие пользователя. Например, двухуровневая операция отсева может содержать сочетание операции отсева, основанной на степени различия, и операции отсева, основанной на вероятности.When performing target action identification on user action data, processing device 110 and/or mobile device 140 may identify user action data by sequentially comparing the user action data with each of a plurality of action reference data sets in the reference action database using a two-level operation dropouts. The two-level sifting operation can sift through multiple sets of action reference data through two different sifting operations and finally determine which reference action contains the user action. For example, a two-level screening operation may comprise a combination of a degree-based screening operation and a probability-based screening operation.
А именно, при отсеве на первом уровне устройство 110 обработки и/или мобильное устройство 140 могут выбрать набор возможных справочных данных о действии в качестве возможных справочных данных о действии первого уровня и затем использовать выбранные возможные справочные данные о действии пользователя кандидата для определения степени различия действия с данными о действии пользователя, чтобы определить, является ли различие в значениях данных между данными о действии пользователя и возможными справочными данными о действии первого уровня достаточно малым. Если степень различия между данными о действии пользователя и определенными возможными справочными данными о действии первого уровня меньше, чем заданное значение, возможные справочные данные о действии первого уровня могут перейти на возможные справочные данные о действии второго уровня. Каждые возможные справочные данные о действии второго уровня соответствуют одному или более продвинутым справочным действиям, то есть, справочным действиям второго уровня.Namely, in the first-level screening, the processing device 110 and/or the mobile device 140 may select a set of candidate action references as the candidate action references of the first level, and then use the selected candidate user action references to determine the degree of difference of the action with user action data to determine whether the difference in data values between the user action data and possible first-level reference action data is small enough. If the degree of difference between the user action data and the determined candidate action reference data of the first level is less than a predetermined value, the candidate action reference data of the first level may shift to the candidate action reference data of the second level. Each possible second-level action reference data corresponds to one or more advanced reference actions, that is, second-level reference actions.
Отсев на втором уровне может быть вероятностным отсевом. При отсеве второго уровня устройство 110 обработки и/или мобильное устройство 140 может определять вероятность, что действие пользователя содержит продвинутое справочное действие (справочное действие второго уровня), и затем определять, содержит ли действие пользователя справочное действие второго уровня. Содержит ли действие пользователя целевое действие, соответствующее целевым справочным данным о действии, может быть определено, основываясь на результате отсева второго уровня. Конкретные этапы описываются ниже.Attrition at the second level may be probabilistic attrition. In second-level screening, processing device 110 and/or mobile device 140 may determine the probability that the user action contains an advanced reference action (second-level reference action) and then determine whether the user action contains a second-level reference action. Whether the user action contains a target action corresponding to the target action reference data can be determined based on the result of the second level screening. The specific steps are described below.
На этапе 521 каждый набор справочных данных о действии может быть выбран, в свою очередь, из множества наборов справочных данных о действии в качестве возможных справочных данных о действии первого уровня.At step 521, each action reference data set may be selected, in turn, from the plurality of action reference data sets as candidate first-level action reference data.
На этапе 522 может быть определена степень различия между возможными справочными данными о действии первого уровня и данными о действии пользователя.At step 522, the degree of difference between the possible first-level action reference data and the user action data may be determined.
На этапе 523 может быть сделано заключение, является ли значение степени различия меньшим, чем первое заданное значение. Если значение степени различия больше или равно первому заданному значению, общее различие между действием пользователя и возможными справочными данными о действия первого уровня может считаться относительно большим. Затем может быть выполнена операция 521, то есть, из множества наборов справочных данных о действии в справочной базе данных о действии может быть выбран следующий набор справочных данных в качестве возможных справочных данных о действии первого уровня и следующий набор справочных данных может снова сравниваться с данными о действии пользователя на уровне значения данных. Если значение степени различия следующего набора справочных данных меньше, чем первое заданное значение, общее различие между действием пользователя и возможными справочными данными о действии первого уровня можно считать малым. Затем может быть выполнен этап 524, то есть, возможные справочные данные о действии первого уровня могут быть определены как возможные справочные данные о действии второго уровня, и затем может быть выполнена целевая идентификация данных о действии следующего уровня.At step 523, a judgment may be made as to whether the degree of difference value is less than the first predetermined value. If the difference degree value is greater than or equal to the first specified value, the overall difference between the user action and the possible first level action reference data may be considered relatively large. Then, operation 521 may be performed, that is, from the plurality of sets of action reference data in the action reference database, the next set of reference data may be selected as possible first-level action reference data, and the next set of reference data may again be compared with the action reference data. user action at the data value level. If the difference degree value of the next set of reference data is less than the first specified value, the overall difference between the user action and the possible first level action reference data can be considered small. Next, step 524 may be performed, that is, the candidate action data of the first layer can be determined as the candidate action data of the second layer, and then target identification of the next layer action data can be performed.
На этапе 525 может быть определено расстояние между данными о действии пользователя и каждым из нескольких наборов возможных справочных данных о действии второго уровня.At step 525, a distance between the user action data and each of several sets of possible second-level action reference data may be determined.
На этапе 526 вероятность, что данные о действии пользователя содержат целевое действие, соответствующее возможным справочным данным о действии второго уровня, может быть определена на основе каждого расстояния.At step 526, the probability that the user action data contains a target action corresponding to the possible second-level action reference data can be determined based on each distance.
На этапе 527 принимается решение, превышает ли максимальное значение из числа значений вероятностей второе заданное значение. Если максимальное значение не превышает второе заданное значение, может быть выполнен этап 529, то есть, определяется, что действие пользователя не содержит справочное действие, соответствующее возможным справочным данным о действии второго уровня. Если максимальное значение больше, чем второе заданное значение, этап 528 может быть выполнен, то есть, принимается решение, что действие пользователя содержит справочное действие, соответствующее возможным справочным данным о действии второго уровня с самым высоким значением вероятности, и справочное действие является целевым действием.At step 527, a decision is made whether the maximum value among the probability values is greater than the second predetermined value. If the maximum value does not exceed the second predetermined value, step 529 may be performed, that is, it is determined that the user action does not contain a reference action corresponding to the possible second-level action reference data. If the maximum value is greater than the second predetermined value, step 528 may be executed, that is, it is decided that the user action contains a reference action corresponding to the possible reference action data of the second level with the highest probability value, and the reference action is the target action.
Основание для выбора возможных справочных данных о действии первого уровня может быть случайным и последовательным или может быть выбрано согласно определенному правилу, что не ограничивается в настоящем раскрытии. Например, все справочные данные о действии могут быть заранее пронумерованы в базе справочных данных о действии и затем устройство 110 обработки и/или мобильное устройство 140 может выбрать справочную позицию данных о действии объектом как позицию возможных справочных данных о действии первого уровня, соответствующую номеру.The basis for selecting possible first-level action reference data may be random and sequential, or may be selected according to a specific rule, which is not limited to in the present disclosure. For example, all action reference data may be numbered in advance in the action reference database, and then the processing device 110 and/or mobile device 140 may select the object action data reference position as the possible first-level action reference data position corresponding to the number.
При сравнении возможных справочных данных о действии первого уровня с данными о действии пользователя может быть принят способ сравнения с использованием скользящего окна. Например, устройство 110 обработки и/или мобильное устройство 140 может перемещать скользящее окно по данным о действии пользователя вдоль оси времени и выбирать сегмент данных о действии пользователя в скользящем окне. Поскольку M фрагментов субданных о действии пользователя в данных о действии пользователя собирают параллельно, скользящее окно может действовать на каждом фрагменте субданных о действии пользователя одновременно и скользить по каждому фрагменту субданных о действии пользователя параллельно. Скользящее окно может соответствовать заданному временному интервалу (такому как 0,1 секунды, 0,5 секунды, 1 секунда и т.д.). Поэтому для M фрагментов субданных о действии пользователя скользящее окно может содержать М сегментов данных для данных о действии пользователя, собранных в заданном временном интервале. Устройство 110 обработки и/или мобильное устройство 140 может соответственно сравнивать М сегментов данных о действии с некоторыми или всеми данными M фрагментов справочных субданных о действии, соответствующих возможным справочным данным о действии первого уровня, чтобы получить один или более субрезультатов сравнения и затем определить комплексную степень различия путем взвешивания и суммирования одного или более субрезультатов сравнения. Комплексная степень различия указывает на различие между данными о действии пользователя и справочными данными о действии. Чем меньше значение комплексной степени различия, тем меньше различие, что указывает, что чем ближе сегмент данных о действии пользователя к справочным данным о действии, тем ближе действие пользователя, соответствующее сегменту данных о действии пользователя, к справочному действию, и устройство 110 обработки и/или мобильное устройство 140 может принять решение, что данные о действии пользователя содержат справочное действие. Например, когда пользователь выполняет подъем на бицепсах во время движения пользователя, данные о действии пользователя могут содержать соответствующий сегмент данных о действии пользователя. Когда устройство 110 обработки и/или мобильное устройство 140 сравнивает сегмент данных о действии пользователя, соответствующий подъему на бицепсах, со справочными данными о действии, соответствующими подъему на бицепсах, значение комплексной степени различия может быть очень малым. С другой стороны, меньшее значение комплексной степени различия может указывать, что положение сегмента данных о действии пользователя в данных о действии пользователя находится ближе к месту целевого действия в данных о действии пользователя, то есть, действие пользователя, соответствующее сегменту данных о действии пользователя находится ближе по времени к моменту, когда пользователь выполнит целевое действие. When comparing possible first-level action reference data with user action data, a comparison method using a sliding window may be adopted. For example, processing device 110 and/or mobile device 140 may move a sliding window of user action data along a time axis and select a segment of user action data in the sliding window. Since M pieces of user action subdata in the user action data are collected in parallel, the sliding window can act on each piece of user action subdata simultaneously and slide over each piece of user action subdata in parallel. The sliding window may correspond to a specified time interval (such as 0.1 seconds, 0.5 seconds, 1 second, etc.). Therefore, for M user action subdata pieces, the sliding window may contain M data segments for user action data collected in a given time interval. Processing apparatus 110 and/or mobile device 140 may respectively compare the M action data segments with some or all of the M action reference subdata pieces corresponding to the possible first-level action reference data to obtain one or more comparison subresults and then determine a complex degree differences by weighing and summing one or more subresults of the comparison. The complex degree of difference indicates the difference between the user action data and the reference action data. The smaller the value of the complex degree of difference, the smaller the difference, which indicates that the closer the user action data segment is to the reference action data, the closer the user action corresponding to the user action data segment is to the reference action, and the processing device 110 and/or or the mobile device 140 may decide that the user action data contains a reference action. For example, when a user performs a biceps curl while the user is moving, the user action data may include a corresponding user action data segment. When the processing device 110 and/or the mobile device 140 compares the user action data segment corresponding to the biceps curl with the reference action data corresponding to the biceps curl, the value of the complex degree of difference may be very small. On the other hand, a smaller complex difference value may indicate that the position of the user action data segment in the user action data is closer to the location of the target action in the user action data, that is, the user action corresponding to the user action data segment is closer in time by the time the user completes the target action.
Конкретно, устройство 110 обработки 110 и/или мобильное устройство 140 могут использовать скользящее окно с заданной шириной, чтобы скользить по данным о действиях пользователя вдоль оси времени с заданным размером шага и каждый раз выбирать в скользящем окне сегмент данных о действии пользователя. Например, устройство 110 обработки и/или мобильное устройство 140 могут последовательно выбирать с заданным размером шага сегмент непрерывных данных с заданной длиной данных из данных о действии пользователя. Полагая, что скорость пользователя, выполняющего целевое действие, может отличаться от скорости стандартного действия, выполняемого специалистом, длина скользящего окна может отрицательно коррелироваться со скоростью действия по использованию для возмещения различия. То есть, когда скорость действия пользователя выше, используемая длина скользящего окна короче, а когда скорость действия пользователя медленнее, используемая длина скользящего окна длиннее.Specifically, processing device 110 110 and/or mobile device 140 may use a sliding window of a given width to slide user activity data along a time axis with a given step size and select a segment of user activity data from the sliding window each time. For example, processing device 110 and/or mobile device 140 may sequentially select, with a given step size, a segment of continuous data with a given data length from the user action data. Considering that the speed of a user performing a target action may differ from the speed of a standard action performed by a specialist, the length of the sliding window may be negatively correlated with the speed of the use action to compensate for the difference. That is, when the user's action speed is faster, the usable sliding window length is shorter, and when the user's action speed is slower, the usable sliding window length is longer.
Заданный размер шага может быть постоянной величиной. Поскольку значение комплексной степени различия также обозначает временное расстояние между действием пользователя, соответствующим текущему сегменту данных о действии пользователя, и целевым действием, заданный размер шага, может также регулироваться на основе значения комплексной степени различия. Например, чтобы повысить эффективность идентификации целевого действия, заданный размер шага может положительно коррелироваться с величиной значения комплексной степени различия в предыдущий момент. Положительная корреляция может указывать, что заданный размер пропорционален значению комплексной степени различия в предыдущий момент или можно выбрать размер шага в текущий момент на определенном этапе способом, основанным на значении комплексной степени различия в предыдущий момент, или может быть таким, что размер шага для текущего момента больше, чем размер шага для предыдущего момента на постоянную величину и т.д., что здесь не ограничивается. Заданный размер шага может также положительно коррелироваться с тенденцией изменения значения комплексной степени различия. Например, если различие между комплексным значением степени различия в текущий момент и комплексным значением степени различия в предыдущий момент больше 0, т.е. тенденция изменения комплексной значения степени различия увеличивается, что означает, что действие пользователя, соответствующее текущему сегменту данных о действии пользователя, становится более далеким и удаляется от целевого действия во времени. В этом случае, устройство 110 обработки и/или мобильное устройство 140 может увеличивать размер шага. Если различие между комплексным значением степени различия в текущий момент и комплексным значением степени различия в предыдущий момент меньше 0, это означает, что действие пользователя, соответствующее текущему сегменту данных о действии пользователя, становится во времени все ближе и ближе к целевому действию. В этом случае, устройство 110 обработки и/или мобильное устройство 140 могут уменьшить размер шага. Если различие между комплексным значением степени различия в текущий момент и комплексным значением степени различия в предыдущий момент равно 0, размер шага может оставаться неизменным.The specified step size can be a constant value. Since the complex difference value also denotes the time distance between the user action corresponding to the current user action data segment and the target action, the specified step size can also be adjusted based on the complex difference value. For example, to improve the efficiency of identifying a target action, a given step size can be positively correlated with the value of the complex degree of difference at the previous moment. A positive correlation may indicate that the given size is proportional to the value of the complex degree of difference at the previous moment, or it may be that the current step size at a particular step is chosen in a manner based on the value of the complex degree of difference at the previous moment, or it may be that the step size for the current moment greater than the step size for the previous moment by a constant amount, etc., which is not limited here. A given step size may also be positively correlated with the trend of the complex dissimilarity value. For example, if the difference between the complex value of the degree of difference at the current moment and the complex value of the degree of difference at the previous moment is greater than 0, i.e. the variation trend of the complex difference value increases, which means that the user action corresponding to the current user action data segment becomes more distant and moves away from the target action in time. In this case, the processing device 110 and/or the mobile device 140 may increase the step size. If the difference between the complex difference degree value at the current moment and the complex difference degree value at the previous moment is less than 0, it means that the user action corresponding to the current user action data segment is getting closer and closer to the target action over time. In this case, the processing device 110 and/or the mobile device 140 may reduce the step size. If the difference between the complex value of the degree of difference at the current moment and the complex value of the degree of difference at the previous moment is 0, the step size can remain unchanged.
Так как ширина скользящего окна задается, длина сегмента данных, отсекаемого от данных о действии пользователя, также может быть задана. Поэтому сегмент данных о действии пользователя может соответствовать всем возможным справочным данным о действии первого уровня. Сегмент данных о действии пользователя может также соответствовать участку возможных справочных данных о действии первого уровня. В некоторых вариантах осуществления справочные данные о действии могут содержать один или более сегментов данных идентификации действия. Данные идентификации действия могут быть данными действия (например, данными угловой скорости, данными скорости и т.д.), соответствующими, по меньшей мере, участку характерного действия справочного действия, которое, по существу, выполнено с возможностью представления характерного действия. Характерное действие может быть уникально для справочного действия. Справочное действие может быть определено через участок характерного действия или все данные могут быть определены как справочные данные о действии через данные идентификации действия, так чтобы, когда сегмент данных, подобный данным идентификации действия, появляется в данных о действии пользователя, действие пользователя могло распознаваться как содержащее соответствующее целевое действие. Между тем, данные идентификации действия пользователя могут существовать только на участке справочных субданных о действии справочных данных о действии, или данные идентификации действия могут существовать в каждых справочных субданных о действии. Данные идентификации действия, существующие в справочных субданных о действии, могут упоминаться как субданные идентификации действии.Since the width of the sliding window is specified, the length of the data segment cut from the user action data can also be specified. Therefore, the user action data segment can correspond to all possible first-level action reference data. The user action data segment may also correspond to a portion of possible first-level action reference data. In some embodiments, the action reference data may comprise one or more action identification data segments. The action identification data may be action data (eg, angular velocity data, speed data, etc.) corresponding to at least a characteristic action portion of the reference action, which is substantially configured to represent the characteristic action. A reference action may be unique to a reference action. The reference action may be defined through a characteristic action portion, or all data may be defined as action reference data through the action identification data, so that when a data segment similar to the action identification data appears in the user action data, the user action can be recognized as containing corresponding target action. Meanwhile, the user action identification data may exist only in the action reference subdata portion of the action reference data, or the action identification data may exist in each action reference subdata. Action identification data existing in the action reference subdata may be referred to as action identification subdata.
Для скользящего окна в текущий момент устройство 110 обработки и/или мобильное устройство 140 могут сравнивать М сегментов данных о действии пользователя с соответствующими М фрагментами субданных идентификации действия соответственно для получения соответствующих М степеней различия. М степеней различия могут быть взвешены и просуммированы для получения комплексной степени различия. Если комплексная степень различия меньше, чем первое заданное значение, могут быть определены возможные справочные данные о действии первого уровня, прошедшие отсев первого уровня, и возможные справочные данные о действии первого уровня могут быть выбраны в качестве возможных справочных данных о действии второго уровня. Если значение комплексной степени различия больше, чем первое заданное значение, скользящее окно может скользить к следующему сегменту данных о действии пользователя с заданным размером шага, и затем сравнение может повторяться, пока комплексное значение степени различия не станет меньше, чем первое заданное значение, или пока скользящее окно не продвинется до конца данных о действии пользователя.For a sliding window at a current time, processing device 110 and/or mobile device 140 may compare M segments of user action data with corresponding M pieces of action identification subdata, respectively, to obtain corresponding M degrees of difference. The M degrees of difference can be weighted and summed to produce a complex degree of difference. If the complex difference degree is smaller than the first set value, the candidate action reference data of the first level that has passed the first-level screening can be determined, and the candidate action reference data of the first level can be selected as the candidate action reference data of the second level. If the complex degree of difference value is greater than the first specified value, the sliding window may slide to the next segment of user action data with a given step size, and then the comparison may be repeated until the complex degree of difference value is less than the first specified value, or until the sliding window will not advance to the end of the user action data.
Конкретно, при сравнении определенного сегмента субданных идентификации действия определенного фрагмента возможных справочных данных о действии первого уровня с его соответствующими субданными о действии пользователя, могут быть выполнены следующие операции.Specifically, when comparing a certain segment of the action identification subdata of a certain piece of possible first-level action reference data with its corresponding user action subdata, the following operations may be performed.
Для определенного сегмента субданных идентификации действия в возможных справочных данных о действии первого уровня данные являются двумерными. Например, возможные справочные данные о действии первого уровня для подъема руки могут содержать субданные идентификации действия в различные моменты времени для угла изгиба предплечья относительно плеча. Субданные идентификации действия могут содержать множество значений угла и множество соответствующих моментов времени, поскольку субданные идентификации действия являются двумерными данными. Для таких субданных идентификации действия для единого параметра, когда сегмент субданных идентификации действия включается в один фрагмент возможных справочных данных о действии первого уровня, конкретный процесс получения комплексной степени различия является следующим. На фиг. 7A показан примерный сегмент идентификации данных о действии в справочных данных о действии и кривая сегмента субданных о действии пользователя, собранных скользящим окном в данных о действии пользователя по оси времени в соответствии с некоторыми вариантами осуществления настоящего раскрытия. Субданные идентификации действия в справочных данных о действии могут содержать множество фрагментов данных {aj} = {a1, a2, a3, …an}, где n – целое число, большее 1, каждый фрагмент данных соответствует метке времени и по мере увеличения j момент времени, соответствующий метке времени каждым данным aj последовательно увеличивается. То есть, точки данных в векторе {aj} могут располагаться в хронологическом порядке. Сегмент субданных о действии пользователя может содержать множество фрагментов данных {bi} = {b1, b2, a3, …, bm}, где m - целое число, большее 1, каждый фрагмент данных соответствует метке времени, и когда i увеличивается, временная точка, соответствующая метке времени каждых данных bi, последовательно увеличивается. То есть, точки данных в векторе {bi} могут располагаться в хронологическом порядке. Вообще говоря, длительность, соответствующая скользящему окну, является меньшей, чем длительность, соответствующая субданным идентификации действия, и объем данных, соответствующий скользящему окну, является меньшим, чем объем данных, соответствующий данным автоматической идентификации, то есть, m < n. For a specific activity identification subdata segment in the possible first-level activity reference data, the data is two-dimensional. For example, possible first-level action reference data for raising an arm may include action identification subdata at various times for the angle of forearm relative to the shoulder. The action identification subdata may contain a plurality of angle values and a plurality of corresponding times since the action identification subdata is two-dimensional data. For such action identification subdata for a single parameter, when a segment of action identification subdata is included in one piece of possible first-level action reference data, the specific process for obtaining the complex degree of difference is as follows. In fig. 7A shows an example action data identification segment in the action reference data and a curve of a user action subdata segment collected by a sliding window in the time axis user action data in accordance with some embodiments of the present disclosure. The action identification subdata in the action reference data may contain a plurality of data fragments {a j } = {a 1 , a 2 , a 3 , …a n }, where n is an integer greater than 1, each data fragment corresponds to a timestamp and As j increases, the time instant corresponding to the timestamp of each data a j increases sequentially. That is, the data points in the vector {aj} can be arranged in chronological order. A user action subdata segment may contain multiple data fragments {b i } = {b 1 , b 2 , a 3 , ..., b m }, where m is an integer greater than 1, each data fragment corresponds to a timestamp, and when i increases, the time point corresponding to the timestamp of each data bi is incrementally increased. That is, the data points in the vector {b i } can be arranged in chronological order. Generally speaking, the duration corresponding to the sliding window is less than the duration corresponding to the action identification subdata, and the amount of data corresponding to the sliding window is less than the amount of data corresponding to the automatic identification data, that is, m < n.
Полагая, что частоты выборки и скорости действия справочных данных о действии и данных о действии пользователя являются одинаковыми для одного и того же временного интервала, количество точек данных в справочных данных о действии и количество точек данных о действии пользователя могут быть одинаковыми. Таким образом, сегмент {bi} субданных о действии пользователя может соответствовать данным той же длины в субданных {aj} идентификации действия. То есть, каждая точка данных в {bi} может соответствовать точке данных в {aj}. При определении степени различия между {bi} и {aj}, {bi} необходимо брать только вдоль временной оси t, расстояние одной точки данных может скользить каждый раз, и одно определение степени различия между точкой данных и соответствующей точкой данных в {aj} может определяться каждый раз. Однако, полагая, что частоты выборки и/или скорости действия в справочных данных о действии и в данных о действии пользователя несовместимы, между точками данных о действии пользователя и точками данных справочного действия не существует взаимно однозначного соответствия. В этом случае, отношение время-действие для {bi} должно регулироваться в соответствии с различными масштабами времени для создания отрегулированного отношения действие-время, совместимого с отношением действие-время для справочных данных о действии. Например, если частоты выборки справочных данных о действии и данных о действии пользователя одинаковы, но скорости действия несовместимы, время, затраченное пользователем для выполнения действия, отличается от времени, затраченного соответствующим справочным действием. Например, если частота выборки аппаратных средств равна 100 точек данных в секунду, скорость сгибания сустава при справочном действии изменяется от 0° до 90° за 1 секунду, а скорость действия пользователя может изменяться только от 0° до 45° за 1 секунду для 100 точек данных, справочные данные о действии соответствуют изменению угла на 90°, а данные о действии пользователя соответствуют изменению угла на 45°. Таким образом, отрезок времени {bi} должен регулироваться в соответствии с различными масштабами времени, т.е. {bi} должен расширяться или сжиматься в соответствии с различными масштабами с последующим различением степени различия между обработанной точкой данных и соответствующей точкой данных в {aj} один раз для каждого масштаба, пока не определятся все степени различия, соответствующие всем масштабам. Конкретные операции могут быть описаны следующим образом.Assuming that the sampling rates and action rates of the action reference data and the user action data are the same for the same time interval, the number of data points in the action reference data and the number of user action data points may be the same. Thus, the segment {b i } of the user action subdata can correspond to data of the same length in the action identification subdata {a j }. That is, every data point in { b i } can correspond to a data point in { a j }. When determining the degree of difference between {b i } and {a j }, {b i } only needs to be taken along the time axis t, the distance of one data point can slide each time, and one determination of the degree of difference between a data point and the corresponding data point in { a j } can be determined each time. However, assuming that the sampling rates and/or action rates in the action reference data and the user action data are inconsistent, there is no one-to-one correspondence between the user action data points and the reference action data points. In this case, the time-action relation for {b i } must be adjusted according to different time scales to create an adjusted action-time relation compatible with the action-time relation for the action reference data. For example, if the sampling rates of action reference data and user action data are the same, but the action rates are inconsistent, the time taken by the user to perform the action is different from the time spent by the corresponding reference action. For example, if the hardware sampling rate is 100 data points per second, the joint flexion speed of a reference action changes from 0° to 90° in 1 second, but the user action speed can only change from 0° to 45° in 1 second for 100 points data, reference action data corresponds to an angle change of 90°, and user action data corresponds to an angle change of 45°. Thus, the time interval {b i } must be adjusted according to different time scales, i.e. {b i } must expand or contract according to different scales, then distinguish the degree of difference between the processed data point and the corresponding data point at {a j } once for each scale, until all degrees of difference corresponding to all scales are determined. Specific operations can be described as follows.
Сначала, устройство 110 обработки и/или мобильное устройство 140 может вычислить расстояние Dji между любой точкой bi в субданных о действии пользователя и любой точкой aj в субданных идентификации действия, размещая сегмент {bi} субданных о действии пользователя и субданные {aj} идентификации действия на одной и той же временной оси, и определить матрицу Dm×n расстояний m×n, как показано на фиг. 7B. Каждый элемент в матрице расстояний обозначает расстояние от i-ой (i≤m) точки сегмента субданных действия пользователя до j-ой (i ≤ n) точки субданных идентификации действия в возможных справочных данных о действии первого уровня. Принимая в качестве примера действия пользователя такое действие фитнеса, как подъем на бицепсах, субданные {bi} действия пользователя могут содержать углы между плечом и предплечьем и соответствующие субданные {aj} идентификации действия пользователя в справочных данных могут также содержать углы между плечом и предплечьем. Таким образом, расстояние Dji может указать разницу Dji = | aj-bi | между углом между плечом и предплечьем пользователя и углом, представленным субданными идентификации действия. Расстояние D56 между a5 и b6 и расстоянием D53 между a5 и b3 показана на фиг. 7A. Конечно, расстояние может также быть расстоянием, определенным другими способами. Например, расстояние между любой точкой bi в субданных о действии и любой точкой aj в субданных идентификации действия может быть евклидовым расстоянием, манхэттенским расстоянием, Р-параметрическим расстоянием, косинусным расстоянием, чебышевским расстоянием, марксианским расстоянием, расстоянием редактирования, расстоянием Джеккарда или любым другим корреляционным расстоянием. Таким образом, матрица Dm×n расстояний содержит расстояния точка-точка между всеми точками в сегменте {bi} субданных о действии пользователя во всех масштабах и всех точках в субданных {aj}идентификации действия.First, the processing device 110 and/or the mobile device 140 may calculate the distance D ji between any point b i in the user action subdata and any point a j in the action identification subdata by placing segment {bi} of the user action subdata and subdata {a j } identifying an action on the same time axis, and defining a matrix D of m×n distances m×n, as shown in FIG. 7B. Each element in the distance matrix denotes the distance from the i-th (i≤m) point of the user action subdata segment to the j-th (i ≤ n) point of the action identification subdata in the possible first-level action reference data. Taking a fitness action such as bicep curls as an example of a user action, the user action subdata {b i } may contain the angles between the shoulder and the forearm, and the corresponding user action identification subdata {a j } in the reference data may also contain the angles between the shoulder and the forearm . Thus, the distance D ji can indicate the difference D ji = | a j -b i | between the angle between the user's shoulder and forearm and the angle represented by the action identification subdata. The distance D 56 between a 5 and b 6 and the distance D 53 between a 5 and b 3 is shown in FIG. 7A. Of course, the distance can also be a distance defined in other ways. For example, the distance between any point b i in the action subdata and any point a j in the action identification subdata can be Euclidean distance, Manhattan distance, P-parameter distance, cosine distance, Chebyshev distance, Marxian distance, edit distance, Jackard distance, or any different correlation distance. Thus, the m×n distance matrix D contains point-to-point distances between all points in the user action subdata segment {b i } at all scales and all points in the action identification subdata {a j }.
Во-вторых, устройство 110 обработки и/или мобильное устройство 140 может определить путь Pmin кратчайшего расстояния в матрице Dm×n расстояний, т.е. наименьшую цену регуляризации. Расстояние может быть выражено вектором P = {pk} = {p1, p2, … …, pl}, который является последовательностью, состоящей из некоторых элементов матрицы Dm×n расстояний, где l - количество элементов на расстоянии P. Расстояние P может содержать множество чисел, каждое из которых является элементом (т.е. расстоянием) в Dm×n. Любые два смежных числа являются двумя соседними элементами матрицы Dm×n расстояний и положение следующего числа в последовательности в матрице Dm×n расстояний должно быть справа внизу или внизу справа от соответствующего положения предыдущего числа в последовательности в матрице Dm×n расстояний. Так как время, соответствующее сегменту субданных о действии пользователя в скользящем окне короче, чем время, соответствующее субданным идентификации действия, два конца пути кратчайшего расстояния P могут соответствовать точке b1 первых данных и последней точке bm данных из числа {bi}, то есть, первое число в последовательности равно p1=D1x и последнее число равно pl=Dmy, где x <n, y <n, x и y - положения соответствующих точек данных в {aj}, соответственно. Путь кратчайшего расстояния Pmin является расстоянием с самой маленькой суммой всех элементов среди всех путей, удовлетворяющих вышеупомянутым условиям, то есть, .Secondly, the processing device 110 and/or the mobile device 140 can determine the shortest distance path P min in the m×n distance matrix D, i.e. lowest regularization price. The distance can be expressed by the vector P = {p k } = {p 1 , p 2 , … …, p l }, which is a sequence consisting of some elements of the m×n distance matrix D, where l is the number of elements at distance P. The distance P may contain a set of numbers, each of which is an element (i.e., a distance) in D m×n . Any two adjacent numbers are two adjacent elements of the m×n distance matrix D, and the position of the next number in the sequence in the m×n distance matrix must be lower right or lower right of the corresponding position of the previous number in the sequence in the m×n distance matrix D. Since the time corresponding to the user action subdata segment in the sliding window is shorter than the time corresponding to the action identification subdata, the two ends of the shortest distance path P can correspond to the first data point b 1 and the last data point b m from the number {b i }, then is, the first number in the sequence is p 1 =D 1x and the last number is p l =D my , where x <n, y <n, x and y are the positions of the corresponding data points in {a j }, respectively. The shortest distance path P min is the distance with the smallest sum of all elements among all paths satisfying the above conditions, that is, .
Полагая, что скользящее окно может быть установлено с различной длительностью и различными частотами выборки данных, количество точек данных в сегменте данных о действии пользователя во временном окне может отличаться. Это может заставить отличаться значение пути Р кратчайшего расстояния в зависимости от частоты выборки данных и длительности временного окна датчиков. Принимая эти факторы во внимание, степень f различия может быть определена как , где может быть средневзвешенным значением элементов пути кратчайшего расстояния Pmin, W = {w1, w2, … wl} может быть весовым вектором, состоящим из m элементов с 1 строкой и l столбцами, и является скаляром. Например, степень различия может быть определены как среднее расстояние, то есть, все элементы в W равны 1/l.Assuming that the sliding window can be set with different durations and different data sampling rates, the number of data points in the user action data segment in the time window may differ. This may cause the value of the shortest distance path P to differ depending on the data sampling rate and the length of the sensors' time window. Taking these factors into account, the degree f of the difference can be defined as , Where may be a weighted average of the elements of the shortest distance path P min , W = {w 1 , w 2 , … w l } may be a weight vector consisting of m elements with 1 row and l columns, and is a scalar. For example, the degree of difference can be defined as the average distance, that is, all elements in W are equal to 1/l.
Посредством вышеупомянутого вычисления устройство 110 обработки и/или мобильное устройство 140 могут завершить операции определения степени различия между каждым из множества масштабированных сегментов данных и субданными идентификации действия, соответственно, и определения наименьшей степени различия из числа степеней различия между сегментом данных и субданными идентификации действия.Through the above calculation, the processing apparatus 110 and/or the mobile device 140 can complete the operations of determining the degree of difference between each of the plurality of scaled data segments and the action identification subdata, respectively, and determining the smallest degree of difference among the degrees of difference between the data segment and the action identification subdata.
В некоторых вариантах осуществления, чтобы уменьшить объем вычислений и определить масштаб корректировки субданных о действии пользователя, перед определением степени различия сегмента субданных о действии пользователя внутри скользящего окна, устройство 110 обработки и/или мобильное устройство 140 могут определить целевой интервал данных для сравнения, исходя из субданных идентификации действия, и сравнить только целевой интервал данных для сравнения с сегментом субданных о действии пользователя для получения степени различия. Целевой интервал данных для сравнения может содержать множество точек субданных действия. Целевой интервал данных для сравнения может быть определен на основе следующего соотношения между данными о действия пользователя и субданными идентификации действия, выбранными скользящим окном.In some embodiments, to reduce the amount of computation and determine the scale of adjustment of the user action subdata, before determining the degree of difference of a segment of the user action subdata within a sliding window, the processing device 110 and/or the mobile device 140 may determine a target data interval for comparison based on action identification subdata, and compare only the target comparison data interval with the user action subdata segment to obtain the degree of difference. The target data interval for comparison may contain multiple action subdata points. The target data interval for comparison can be determined based on the following relationship between the user action data and the action identification subdata selected by the sliding window.
1) Начало и конец сегмента данных о действии пользователя, выбранных скользящим окном, точно соответствуют началу и концу субданных идентификации действия, то есть, сегмент данных о действии пользователя является точно полным распределением субданных идентификации действия. В этом случае, устройство 110 обработки и/или мобильное устройство 140 могут сначала определить, что первая точка данных и последняя точка данных пользовательского сегмента данных о действии пользователя, выбранные скользящим окном, соответствуют первой точке данных и последней точке данных соответствующих субданных идентификации действия, соответственно. Целевой интервал данных для сравнения охватывает все субданные идентификации действия. Ограничение расстояния Р может содержать следующее: каждое число из последовательности является элементом Dm×n, любые два смежных числа являются двумя соседними элементами в матрице Dm×n расстояний и положение следующего числа из последовательности в матрице Dm×n расстояний находится справа внизу или внизу справа от соответствующего положение предыдущего числа в матрице Dm×n расстояний. Два конца пути кратчайшего расстояния Р могут соответствовать p1=D11 и pl=Dmn. То есть, путь кратчайшего расстояния P матрицы расстояний является кратчайшим расстоянием от левого верхнего угла до правого нижнего угла матрицы расстояний.1) The beginning and end of the user action data segment selected by the sliding window exactly correspond to the beginning and end of the action identification subdata, that is, the user action data segment is exactly the complete distribution of the action identification subdata. In this case, the processing device 110 and/or the mobile device 140 may first determine that the first data point and the last data point of the user segment of the user action data selected by the sliding window correspond to the first data point and the last data point of the corresponding action identification subdata, respectively. . The target data interval for comparison covers all action identification subdata. A distance constraint P may contain the following: each number in the sequence is an element of D m×n , any two adjacent numbers are two adjacent elements in the distance matrix D m×n , and the position of the next number in the sequence in the distance matrix D m×n is at the bottom right, or below to the right of the corresponding position of the previous number in the matrix D of m×n distances. The two ends of the shortest distance path P can correspond to p 1 =D 11 and p l =D mn . That is, the shortest distance path P of the distance matrix is the shortest distance from the upper left corner to the lower right corner of the distance matrix.
2) Начальная точка субданных о действии пользователя, выбранная скользящим окном, соответствует начальной точке субданных идентификации действия и конечная точка субданных о действии пользователя, выбранная скользящим окном, соответствует определенной точке данных в субданных идентификации действия. То есть, субданные о действии пользователя соответствуют сегменту в субданных идентификации действия после масштабирования и этот сегмент располагается в начальном положении субданных идентификации действия. В этом случае устройство 110 обработки и/или мобильное устройство 140 может сначала решить, что первая точка данных сегмента данных о действии пользователя, выбранная скользящим окном, соответствует первой точке данных, соответствующей субданным идентификации действия. Затем, целевой интервал данных для сравнения может охватывать все субданные идентификации пользователя. Ограничение расстояния Р может содержать следующее: каждое число в последовательности является элементом в Dm×n; любые два смежных числа являются двумя смежными элементами матрицы Dm×n расстояний и положением следующего числа в последовательности матрицы Dm×n расстояний является положение вправо вниз или вниз вправо от соответствующего положения предыдущего числа в матрице Dm×n расстояний Оба конца пути кратчайшего расстояния Р могут соответствовать p1=D11 и pl=Dmy. То есть, путь кратчайшего расстояния P матрицы расстояний является расстоянием от левого верхнего угла матрицы расстояний до определенной точки последней строки вдоль направления вправо вниз.2) The starting point of the user action subdata selected by the sliding window corresponds to the starting point of the action identification subdata, and the ending point of the user action subdata selected by the sliding window corresponds to a certain data point in the action identification subdata. That is, the user action subdata corresponds to a segment in the action identification subdata after scaling, and this segment is located at the starting position of the action identification subdata. In this case, the processing device 110 and/or the mobile device 140 may first decide that the first data point of the user action data segment selected by the sliding window corresponds to the first data point corresponding to the action identification subdata. Then, the target data interval for comparison may cover all user identification subdata. The distance constraint P may contain the following: each number in the sequence is an element in D m×n ; any two adjacent numbers are two adjacent elements of the m×n distance matrix D, and the position of the next number in the sequence of the m×n distance matrix is the position to the right down or down to the right of the corresponding position of the previous number in the m×n distance matrix Both ends of the shortest distance path P can correspond to p 1 =D 11 and p l =D my . That is, the shortest distance path P of the distance matrix is the distance from the upper left corner of the distance matrix to a certain point in the last row along the downward right direction.
3) Начальная точка субданных о действии пользователя, выбранная скользящим окном, соответствует определенным данным субданных идентификации действия и конечная точка субданных о действии пользователя, выбранная скользящим окном, соответствует конечной точке субданных идентификации действия. То есть, после масштабирования субданные о действии пользователя могут быть сегментом данных в конечном положении субданных идентификации действия. В этом случае устройство 110 обработки и/или мобильное устройство 140 могут сначала решить, что последняя точка данных сегмента данных о действии пользователя, выбранная скользящим окном, соответствует последней точке данных соответствующих субданных идентификации действия. Затем целевой интервал данных для сравнения может охватывать все субданные идентификации действия. Ограничение расстояния Р может содержать следующее: каждое число из последовательности является элементом в Dm×n, любые два смежных числа являются двумя смежными элементами матрицы Dm×n расстояний и положением следующего числа из последовательности в матрице Dm×n расстояний является положение направо вниз или вниз направо в соответствующее положение предыдущего числа в матрице Dm×n расстояний. Оба конца пути кратчайшего расстояния Р могут соответствовать p1=D1x и pl=Dmn. То есть, путь кратчайшего расстояния P матрицы расстояний является путем кратчайшего расстояния от определенной точки в первой строке матрицы расстояний до правого нижнего угла.3) The starting point of the user action subdata selected by the sliding window corresponds to the defined action identification subdata data, and the ending point of the user action subdata selected by the sliding window corresponds to the end point of the action identification subdata. That is, after scaling, the user action subdata may be a data segment in the final position of the action identification subdata. In this case, the processing device 110 and/or the mobile device 140 may first decide that the last data point of the user action data segment selected by the sliding window corresponds to the last data point of the corresponding action identification subdata. The target data interval for comparison may then cover all of the action identification subdata. A distance constraint P may contain the following: each number from the sequence is an element in D m×n , any two adjacent numbers are two adjacent elements of the D m×n distance matrix, and the position of the next number from the sequence in the D m×n distance matrix is the down-right position or down to the right to the corresponding position of the previous number in the D m×n distance matrix. Both ends of the shortest distance path P can correspond to p 1 =D 1x and p l =D mn . That is, the shortest distance path P of the distance matrix is the shortest distance path from a certain point in the first row of the distance matrix to the lower right corner.
4) Начальная точка и конечная точка данных субданных о действии пользователя, выбранных скользящим окном, соответствуют двум промежуточным точкам данных субданных идентификации действия, соответственно, а не первой точке данных и не последней точке данных. То есть, начальная точка субданных о действии пользователя, выбранная скользящим окном, не может быть началом субданных идентификации действия и конечная точка субданных о действии пользователя, выбранная скользящим окном, также не может быть концом субданных идентификации действия. После масштабирования субданные о действии пользователя могут быть сегментом данных субданных идентификации действия и этот сегмент может быть расположен в определенном положении в середине субданных идентификации действия. «Промежуточные данные» сегмента данных могут относиться к данным в любом положении кроме начальной точки и конечной точки данных. В этом случае, устройство 110 обработки и/или мобильное устройство 140 может сначала решить, что первая точка данных и последняя точка данных сегмента субданных о действии пользователя, выбранные скользящим окном, не могут быть первой точкой данных и последней точкой данных соответствующих субданных идентификации действия. Затем целевой интервал данных для сравнения может охватывать все субданные идентификации действия за исключением первой точки данных и последней точки данных. Ограничение расстояния Р может содержать следующее: каждое число из последовательности является элементом в Dm×n, любые два смежных числа являются двумя смежными элементами матрицы Dm×n расстояний и положение следующего числа из последовательности в матрице Dm×n расстояний является положением вправо вниз или вниз вправо от соответствующего положения предыдущего числа на матрице Dm×n расстояний. Два конца пути кратчайшего расстояния Р могут соответствовать pl=D1x и pl=Dmy, где . То есть, путь кратчайшего расстояния P матрицы расстояний начинается от определенной точки на середине первой строки матрицы расстояний, проходит до нижнего правого угла и заканчивается в определенной точке в последней строке.4) The starting point and ending data point of the user action subdata selected by the sliding window correspond to the two intermediate data points of the action identification subdata, respectively, and not the first data point and not the last data point. That is, the starting point of the user action subdata selected by the sliding window cannot be the beginning of the action identification subdata, and the ending point of the user action subdata selected by the sliding window also cannot be the end of the action identification subdata. After scaling, the user action subdata may be a data segment of the action identification subdata, and the segment may be located at a certain position in the middle of the action identification subdata. "Intermediate data" of a data segment can refer to data at any position other than the start point and end point of the data. In this case, the processing device 110 and/or the mobile device 140 may first decide that the first data point and the last data point of the user action subdata segment selected by the sliding window cannot be the first data point and the last data point of the corresponding action identification subdata. The target data interval for comparison may then cover all action identification subdata except the first data point and the last data point. The distance constraint P may contain the following: each number from the sequence is an element in D m×n , any two adjacent numbers are two adjacent elements of the m×n distance matrix D, and the position of the next number from the sequence in the m×n distance matrix D is the down-right position or down to the right from the corresponding position of the previous number on the D m×n distance matrix. The two ends of the shortest distance path P can correspond to p l =D 1x and pl=D my , where . That is, the shortest distance path P of the distance matrix starts from a certain point in the middle of the first row of the distance matrix, goes to the lower right corner and ends at a certain point in the last row.
В некоторых вариантах осуществления субданные идентификации действия могут соответствовать действию начала или действию окончания справочного действия. В этом случае, является ли определенная точка в субданных о действии пользователя начальной точкой или конечной точкой действия, может быть определено изменением угловых скоростей перед точкой и после точки. Например, когда точка данных о действии пользователя показывает, что угловая скорость соответствующего действия пользователя равна 0, и угловая скорость точки после точки данных о действии пользователя не равна 0, можно доказать, что пользователь начинает определенное действие фитнеса с точки данных о действии пользователя, так что можно определить, что точка данных о действии пользователя является начальной точкой действия пользователя. Как другой пример, когда угловая скорость точки действия пользователя равна 0, а угловая скорость предыдущей точки не равна 0, можно доказать, что пользователь прекратил действие в этой точке, то есть, может быть определено, что точка действия пользователя является конечной точкой действия.In some embodiments, the action identification subdata may correspond to a start action or an end action of the reference action. In this case, whether a certain point in the user action subdata is the starting point or the ending point of the action can be determined by changing the angular velocities before the point and after the point. For example, when a user action data point shows that the angular velocity of the corresponding user action is 0, and the angular velocity of the point after the user action data point is not 0, it can be proven that the user starts a certain fitness action from the user action data point, so that it can be determined that a user action data point is the starting point of the user action. As another example, when the angular velocity of the user's action point is 0 and the angular velocity of the previous point is not 0, it can be proven that the user has stopped the action at that point, that is, the user's action point can be determined to be the end point of the action.
Следует понимать, что выполнение идентификации целевого действия на данных о действии пользователя может содержать один из следующих двух случаев. 1) Субданные идентификации действия могут сравниваться с субсегментом данных о действии пользователя для получения значения комплексной степени различия. Когда значение комплексной степени различия меньше, чем первое заданное значение, устройство 110 обработки и/или мобильное устройство 140 могут решить, что возможные справочные данные о действии первого уровня являются возможными справочными данными о действии второго уровня. 2) Данные идентификации пользователя могут сравниваться с сегментом данных о действии пользователя для получения значения комплексной степени различия. Когда значение комплексной степени различия больше, чем первое заданное значение, устройство 110 обработки и/или мобильное устройство 140 могут переместить скользящее окно к следующему сегменту данных с заданным размером шага и затем повторить сравнение. Первое заданное значение может быть критерием определения, является ли расстояние между данными о действии пользователя и действием, соответствующим возможным справочным данным о действии первого уровня достаточно малым. Поэтому, когда значение комплексной степени различия меньше, чем первое заданное значение, может быть доказано, что расстояние между данными о действии пользователя и возможными справочными данными о действии первого уровня является относительно малым (то есть, сходство очень высокое), данные о действии пользователя могут рассматриваться как содержащие целевые данные о действии, соответствующие возможным справочным данным о действии первого уровня. В этом случае, возможные справочные данные о действии первого уровня могут быть определены как возможные справочные данные о действии второго уровня. Когда значение комплексной степени различия больше, чем первое заданное значение, схожесть между данными о действии пользователя и возможными справочными данными о действии первого уровня может оказаться очень низкой и данные о действии пользователя могут определены как не содержащие целевые данные о действии, соответствующие справочному действию.It should be understood that performing target action identification on user action data may involve one of the following two cases. 1) The action identification subdata may be compared with the user action data subsegment to obtain a complex degree of difference value. When the complex degree of difference value is smaller than the first set value, the processing device 110 and/or the mobile device 140 may decide that the first level candidate action reference data is the second layer candidate action reference data. 2) The user identification data may be compared with the user action data segment to obtain a complex degree of difference value. When the complex degree of difference value is greater than the first predetermined value, the processing device 110 and/or the mobile device 140 may move the sliding window to the next data segment with a predetermined step size and then repeat the comparison. The first predetermined value may be a criterion for determining whether the distance between the user action data and the action corresponding to the possible first-level action reference data is sufficiently small. Therefore, when the value of the complex degree of difference is smaller than the first specified value, it can be proven that the distance between the user action data and the possible reference action data of the first level is relatively small (that is, the similarity is very high), the user action data can be treated as containing target action data corresponding to possible first-level reference action data. In this case, the candidate action reference data of the first level can be defined as the candidate action reference data of the second level. When the complex degree of difference value is larger than the first set value, the similarity between the user action data and the candidate action reference data of the first level may be very low, and the user action data may be determined to not contain the target action data corresponding to the reference action.
Выше представлен способ определения степени различия между фрагментом субданных о действии пользователя и соответствующими субданными идентификации действия. На фиг. 7C схематично показан процесс определения комплексной степени различия, когда данные о действии пользователя содержат множество фрагментов субданных о действии пользователя, соответствующих некоторым вариантам осуществления настоящего раскрытия.The above presents a method for determining the degree of difference between a piece of user action subdata and the corresponding action identification subdata. In fig. 7C schematically illustrates a process for determining a complex degree of difference when the user action data contains a plurality of pieces of user action subdata corresponding to some embodiments of the present disclosure.
Если данные о действии для определенного действия содержат данные по измерению M параметров и M - целое число, большее 1, данные о действии для упомянутого действия содержат M фрагментов субданных параллельных измерений. Поэтому данные о действии пользователя могут содержать M фрагментов субданных о действии пользователя. Возможные справочные данные о действии первого уровня могут также содержать M фрагментов возможных справочных субданных о действии первого уровня. Каждый фрагмент возможных справочных субданных о действии первого уровня соответствует данным о локальном действии в общих данных о действии, получаемых путем измерения параметров, и содержит, по меньшей мере, сегмент субданных идентификации независимого действия. Все субданные идентификации действия вместе составляют данные идентификации действия для справочного действия.If the action data for a particular action contains measurement data of M parameters and M is an integer greater than 1, the action data for said action contains M parallel measurement subdata fragments. Therefore, the user action data may contain M pieces of user action subdata. The possible first-level action reference data may also contain M pieces of possible first-level action reference subdata. Each piece of possible first-level action reference subdata corresponds to local action data in the general action data obtained by measuring parameters, and contains at least an independent action identification subdata segment. All action identification subdata together constitute the action identification data for the reference action.
Когда возможные справочные субданные о действии первого уровня, соответствующие определенному фрагменту субданных о действии пользователя, содержат сегмент субданных идентификации действия, субрезультат сравнения между субданными о действии пользователя и возможными справочными субданными о действии первого уровня может быть получен на основе следующих операций. Устройство 110 обработки и/или мобильное устройство 140 могут выбрать сегмент данных о действии пользователя из каждого из M фрагментов субданных о действии пользователя, используя скользящее окно, и последовательно сравнить сегменты данных с соответствующими М сегментами субданных идентификации действия в M фрагментах справочных субданных о действии для определения степеней различия, так чтобы могли быть получены субрезультаты сравнения. Затем М субрезультатов сравнения могут взвешиваться и суммироваться для получения комплексной степени различия, и содержат ли данные о действии пользователя целевое действие, может быть определено на основе комплексной степени различия и первом заданном значении. Для каждого фрагмента из M фрагментов субданных о действии пользователя устройство 110 обработки и/или мобильное устройство 140 может получить степень различия между субданными о действии пользователя и субданными идентификации действия на основе способа, описанного выше.When the candidate first-level action reference subdata corresponding to a specific piece of user action subdata contains an action identification subdata segment, a comparison sub-result between the user action subdata and the candidate first-level action reference subdata can be obtained based on the following operations. Processing apparatus 110 and/or mobile device 140 may select a user action data segment from each of the M user action subdata fragments using a sliding window, and sequentially compare the data segments with the corresponding M action identification subdata segments in the M action reference subdata fragments for determining degrees of difference so that sub-results of comparison can be obtained. Then, the M sub-results of the comparison can be weighted and summed to obtain a complex degree of difference, and whether the user action data contains a target action can be determined based on the complex degree of difference and the first predetermined value. For each piece of M pieces of user action subdata, the processing device 110 and/or mobile device 140 can obtain the degree of difference between the user action subdata and the action identification subdata based on the method described above.
Конкретно, для каждого фрагмента из числа M фрагментов субданных о действии пользователя устройство 110 обработки и/или мобильное устройство 140 может собирать сегмент субданных о действии пользователя посредством скользящего окна. Скользящие окна, соответствующие M фрагментам субданных о действии пользователя, могут быть связаны или действовать независимо при скольжении. Каждое скользящее окно может иметь одну и ту же ширину, то есть, сегмент субданных о действии пользователя, соответствующий каждому скользящему окну, может одинаково содержать d (d - целое число, большее 1) точек данных и, как описано выше, каждая точка данных из числа d точек данных соответствует временной отметке. Конечно, ширина различных скользящих окон также может отличаться и объем данных, содержащихся в сегмент субданных о действии пользователя в каждом скользящем окне также может отличаться. Устройство 110 обработки и/или мобильное устройство 140 могут определять общее расстояние между каждой точкой данных сегмента субданных данных о действии пользователя и каждой точкой данных о действии субданных идентификации действия согласно способу, описанному выше. Устройство 110 обработки и/или мобильное устройство 140 может получить минимальную стоимость регуляризации общего расстояния вышеупомянутым способом и затем определить степень различия между сегментом субданных о действии пользователя и субданными идентификации действия. Поскольку существует M фрагментов субданных о действии пользователя, то согласно вышеупомянутому способу устройство 110 обработки и/или мобильное устройство 140 может получить все М степеней различия. Наконец, устройство 110 обработки и/или мобильное устройство 140 могут выполнить взвешенное суммирование для М субрезультатов сравнения, чтобы получить комплексную степень различия.Specifically, for each piece of the M user action subdata pieces, the processing device 110 and/or the mobile device 140 may collect a user action subdata segment through a sliding window. Sliding windows corresponding to M pieces of user action subdata can be linked or act independently when sliding. Each sliding window may have the same width, that is, the user action subdata segment corresponding to each sliding window may equally contain d (d is an integer greater than 1) data points and, as described above, each data point from number d of data points corresponds to a time stamp. Of course, the width of different sliding windows may also differ, and the amount of data contained in the user action subdata segment in each sliding window may also differ. The processing device 110 and/or the mobile device 140 may determine the total distance between each data point of the user action data subdata segment and each action data point of the action identification subdata according to the method described above. The processing device 110 and/or the mobile device 140 may obtain the minimum total distance regularization cost in the above manner and then determine the degree of difference between the user action subdata segment and the action identification subdata. Since there are M pieces of user action subdata, according to the above method, the processing device 110 and/or the mobile device 140 can obtain all M degrees of difference. Finally, processing device 110 and/or mobile device 140 may perform a weighted summation on the M comparison sub-results to obtain a complex degree of difference.
В некоторых вариантах осуществления настоящего раскрытия, после получения значения комплексной степени различия устройство 110 обработки и/или мобильное устройство 140 могут напрямую определить, содержат ли данные о действии пользователя возможные справочные данные о действии первого уровня. Например, устройство 110 обработки и/или мобильное устройство 140 могут установить первое заданное значение для данных идентификации действия и когда значение комплексной степени различия больше, чем первое заданное значение, устройство 110 обработки и/или мобильное устройство 140 могут сдвигать каждое из М скользящих окон к следующему сегменту данных с заданным размером шага и затем сравнение может быть повторено. Если значение комплексной степени различия меньше, чем первое заданное значение, устройство 110 обработки и/или мобильное устройство 140 могут полагать, что набор субданных о действии пользователя может содержать возможные справочные данные о действии первого уровня, и тем самым, вышеупомянутый цикл может считаться законченным.In some embodiments of the present disclosure, after receiving the complex degree of difference value, the processing device 110 and/or the mobile device 140 can directly determine whether the user action data contains possible first-level action reference data. For example, processing device 110 and/or mobile device 140 may set a first set value for the action identification data, and when the complex degree of difference value is greater than the first set value, processing device 110 and/or mobile device 140 may shift each of the M sliding windows to next data segment with a given step size and then the comparison can be repeated. If the complex degree of difference value is less than the first set value, the processing device 110 and/or the mobile device 140 may consider that the user action subdata set may contain possible first-level action reference data, and thus the above loop may be considered complete.
Когда возможные справочные субданные о действии первого уровня, соответствующие фрагменту субданных о действии пользователя, содержат множество сегментов (например, p сегменты, где p - целое число, большее 1) субданных идентификации действия, результат сравнения между субданными о действии пользователя и возможными справочными субданными о действии первого уровня может быть получен на основе следующего способа. Для каждого фрагмента из числа M фрагментов субданных о действии пользователя устройство 110 обработки и/или мобильное устройство 140 может выбрать сегмент субданных о действии пользователя из каждого фрагмента субданных о действии пользователя через скользящее окно. Скользящие окна, соответствующие M фрагментам субданных о действии пользователя, могут быть связаны или действовать независимо при скольжении. Каждое скользящее окно может иметь одинаковую ширину, то есть, сегмент субданных о действии пользователя, соответствующий каждому скользящему окну, может равномерно содержать d (d - целое число, большее 1) точек данных, и, как описано выше, каждая точка d данных из числа точек данных соответствует временной отметке. Конечно, ширина различных скользящих окон может также отличаться и объем данных, содержащихся в сегменте субданных о действии пользователя в каждом скользящем окне, также может отличаться. Устройство 110 обработки и/или мобильное устройство 140 могут вычислить p интегральных расстояний между сегментом субданных о действии пользователя и p сегментами субданных идентификации действия, соответственно основываясь на способе, описанном выше. Устройство 110 обработки и/или мобильное устройство 140 могут определять минимальную стоимость регуляризации p общих расстояний, используя вышеупомянутый способ в качестве субрезультата сравнения между сегментом субданных о действии пользователя и субданными идентификации действия. Поскольку существует M фрагментов субданных о действии пользователя, устройство 110 обработки и/или мобильное устройство 140 могут получать, в целом, М субрезультатов сравнения на основе вышеупомянутого способа. Наконец, устройство 110 обработки и/или мобильное устройство 140 могут выполнить взвешенное суммирование М субрезультатов сравнения, чтобы получить значение комплексной степени различия.When the possible first-level action reference subdata corresponding to a piece of user action subdata contains a plurality of segments (for example, p segments, where p is an integer greater than 1) of the action identification subdata, the result of the comparison between the user action subdata and the possible reference subdata The first level action can be obtained based on the following method. For each fragment of the M user action subdata fragments, the processing device 110 and/or the mobile device 140 may select a user action subdata segment from each user action subdata fragment through a sliding window. Sliding windows corresponding to M pieces of user action subdata can be linked or act independently when sliding. Each sliding window may have the same width, that is, the user action subdata segment corresponding to each sliding window may uniformly contain d (d is an integer greater than 1) data points, and, as described above, each d data point from data points correspond to the timestamp. Of course, the width of different sliding windows may also differ, and the amount of data contained in the user action subdata segment in each sliding window may also differ. Processing apparatus 110 and/or mobile device 140 may calculate p integral distances between the user action subdata segment and p action identification subdata segments, respectively, based on the method described above. The processing device 110 and/or the mobile device 140 may determine the minimum regularization cost p of the total distances using the above method as a sub-result of the comparison between the user action subdata segment and the action identification subdata. Since there are M pieces of user action subdata, the processing device 110 and/or the mobile device 140 can obtain a total of M comparison sub-results based on the above method. Finally, processing device 110 and/or mobile device 140 may perform a weighted summation of the M comparison sub-results to obtain a complex degree of difference value.
В некоторых вариантах осуществления настоящего раскрытия, после получения значения комплексной степени различия устройство 110 обработки и/или мобильное устройство 140 могут напрямую определять, содержит ли набор субданных о действии пользователя возможные справочные данные о действии первого уровня. Например, устройство 110 обработки и/или мобильное устройство 140 могут установить первое заданное значение для данных идентификации действия и когда комплексное значение степени различия больше, чем первое заданное значение, устройство 110 обработки и/или мобильное устройство 140 могут сдвигать каждое из М скользящих окон M к следующему сегменту данных с заданным размером шага и затем сравнение может быть повторено. Если значение комплексных степеней различия меньше, чем первое заданное значение, устройство 110 обработки и/или мобильное устройство 140 могут решить, что возможные справочные данные о действии первого уровня являются возможными справочными данными о действии второго уровня, и, таким образом, вышеупомянутый цикл может быть закончен.In some embodiments of the present disclosure, after receiving the complex degree of difference value, the processing device 110 and/or the mobile device 140 may directly determine whether the user action subdata set contains possible first-level action reference data. For example, the processing device 110 and/or the mobile device 140 may set a first set value for the action identification data, and when the complex degree of difference value is greater than the first set value, the processing device 110 and/or the mobile device 140 may shift each of the M sliding windows M to the next data segment with a given step size and then the comparison can be repeated. If the value of the complex degrees of difference is less than the first set value, the processing device 110 and/or the mobile device 140 may decide that the possible first-level action reference data is the possible second-level action reference data, and thus the above loop can be finished.
В некоторых вариантах осуществления после определения возможных справочных данных о действии второго уровня устройство 110 обработки и/или мобильное устройство 140 могут дополнительно подтвердить, содержит ли действие пользователя справочное действие, соответствующее возможным справочным данным о действии второго уровня.In some embodiments, after determining possible second-level action reference data, processing device 110 and/or mobile device 140 may further confirm whether the user action contains a reference action corresponding to the possible second-level action reference data.
В некоторых вариантах осуществления настоящего раскрытия может также быть установлено второе заданное значение и второе заданное значение может быть заданным значением, связанным с вероятностью. Полагая, что посредством вышеупомянутого процесса устройство 110 обработки и/или мобильное устройство 140 может окончательно решить, что N (N – целое число, большее 1) наборов возможных справочных данных о действии первого уровня являются возможными справочными данными о действии второго уровня. А именно, N расстояний (комплексные результаты сравнения) между данными о действии пользователя и N наборами возможных справочных данных о действии второго уровня могут быть вычислены, соответственно, посредством сравнения и затем N значений вероятности могут быть вычислены, соответственно, через N расстояний, соответственно. Максимальное значение из числа N значений вероятности может сравниваться со вторым заданным значением и может быть определено, содержат ли данные о действии пользователя возможные справочные данные о действии второго уровня, соответствующие максимальному значению вероятности. Вероятность, что данные о действии пользователя содержат целевое действие, соответствующее i-ым вероятным справочным данным о действии второго уровня, может быть выражена следующим образом:In some embodiments of the present disclosure, a second target value may also be set, and the second target value may be a probability related target value. Assuming that through the above process, the processing device 110 and/or the mobile device 140 can finally decide that N (N is an integer greater than 1) sets of possible first-level action reference data are possible second-level action reference data. Namely, N distances (complex comparison results) between user action data and N sets of possible reference second-level action data can be calculated, respectively, by comparison, and then N probability values can be calculated, respectively, through N distances, respectively. The maximum value among the N probability values may be compared with the second predetermined value, and it may be determined whether the user action data contains possible second-level action reference data corresponding to the maximum probability value. The probability that the user action data contains a target action corresponding to the i-th probable reference action data of the second level can be expressed as follows:
где Dj - расстояние (например, вышеупомянутая комплексная стоимость регуляризации или комплексная степень различия) между данными о действии пользователя и j-ыми возможными справочными данными о действии второго уровня. Чем меньше значение расстояния между данными о действии пользователя и возможными справочными данными о действии второго уровня, тем может быть выше вероятность, что данные о действии пользователя содержат целевое действие, соответствующее возможным справочным данным о действии второго уровня. Например, сравнивая данные о действии пользователя с тремя возможными справочными данными о действии второго уровня (то есть, принимая N=3, количество трех возможных справочных данных о действии второго уровня равно 1, 2 и 3, соответственно), может быть получено, что расстояние между данными 1 о действии пользователя и возможными справочными данными о действии второго уровня равно D1, может быть получено, что расстояние между данными 2 о действии пользователя и возможными справочными данными о действии второго уровня равно D2, и может быть получен, что расстояние между данными 3 о действии пользователя и возможными справочными данными о действии второго уровня равно D3. Чем меньше значение расстояния между данными о действии пользователя и возможными справочными данными о действии второго уровня, тем выше может быть вероятность, что данные о действии пользователя содержат целевое действие, соответствующее возможным справочным данным о действии второго уровня. Например, вероятность, что пользовательские данные о действии пользователя содержат целевое действие, соответствующее справочным данным действия кандидата второго уровня 1, может быть определена следующим образом:where D j is the distance (eg, the aforementioned complex regularization cost or complex degree of dissimilarity) between the user action data and the j-th possible second-level reference action data. The smaller the distance value between the user action data and the possible second-level action reference data, the higher the probability that the user action data may contain a target action corresponding to the possible second-level action reference data may be higher. For example, by comparing the user action data with three possible second-level action reference data (that is, taking N=3, the number of three possible second-level action reference data is 1, 2 and 3, respectively), it can be obtained that the distance between the user action data 1 and the possible second-level action reference data is D1, it can be obtained that the distance between the user action data 2 and the possible second-level action reference data is D2, and it can be obtained that the distance between the user action data 3 about the user action and possible reference data about the second level action is equal to D3. The smaller the distance value between the user action data and the possible second-level action reference data, the higher the likelihood that the user action data may contain a target action corresponding to the possible second-level action reference data. For example, the probability that the user action data contains a target action corresponding to the second level candidate action reference data 1 can be determined as follows:
Вероятность, что данные о действии пользователя содержат целевое действие, соответствующее справочным данным 2 о действии, может быть определена следующим образом:The probability that the user action data contains a target action corresponding to action reference data 2 can be determined as follows:
Вероятность, что данные о действии пользователя содержат целевое действие, соответствующее справочным данным 3 о действии, может быть определена следующим образом:The probability that the user action data contains a target action corresponding to reference action data 3 can be determined as follows:
В этом случае, расчетное максимальное значение трех значений вероятности может быть сравниваться со вторым заданным значением. Когда максимальное значение вероятности больше, чем второе заданное значение, принимают решение, что данные о действии пользователя содержат целевое действие, соответствующее возможным справочным данным n о действии второго уровня, и возможные справочные данные n о действии второго уровня являются возможными справочными данными о действии второго уровня, соответствующими максимальному значению вероятности. Когда максимальное значение вероятности меньше, чем заданное значение второго уровня, принимают решение, что данные о действии пользователя не содержат целевое действие, соответствующее справочной базе данных о действии.In this case, the calculated maximum value of the three probability values can be compared with the second target value. When the maximum probability value is greater than the second predetermined value, it is decided that the user action data contains a target action corresponding to the possible second-level action reference data n, and the possible second-level action reference data n is the possible second-level action reference data , corresponding to the maximum probability value. When the maximum probability value is less than the second level predetermined value, it is decided that the user action data does not contain a target action corresponding to the reference action database.
На этапе 530 после определения целевого действия, содержание, связанное с целевым действием, может быть послано пользователю.At step 530, after the target action is determined, content associated with the target action may be sent to the user.
Конкретно, после того, как действие пользователя идентифицировано, действие, состоящее в движении пользователя, может контролироваться и контролируемая информация может быть послана пользователю. Контроль действия, состоящего в движении пользователя, может содержать контроль информации, связанной с действием пользователя. В некоторых вариантах осуществления информация, связанная с действием пользователя, может содержать один или более типов действия пользователя, количество действий, качество действий (например, соответствует ли действие пользователя стандарту), время действия и т.п. Тип действия может относиться к действиям фитнеса, которые пользователь выполняет при тренировке. В некоторых вариантах осуществления тип действия может содержать, но не ограничиваясь только этим, один или несколько из таких действий, как грудной жим сидя, приседания, становая тяга, планка, бег, плавание и т.п. Количество действия может относиться к количеству действий, выполняемых во время движения пользователя. Например, пользователь может выполнить 10 грудных жимов сидя во время движения пользователя и эти 10 раз является количеством действий. Качество действия может относиться к степени стандартности действия при фитнесе, выполняемого пользователем относительно стандартного действия при фитнесе. Например, когда пользователь выполняет действие приседания, устройство 110 обработки может определить тип действия для действия пользователя, основываясь на информации о признаке сигнала действия (сигнала EMG и сигнала телодвижения), соответствующего определенному положению мышц (большая ягодичная мышца, четырехглавая мышца бедра и т.д.), и определить качество действия при действии приседания пользователя, основываясь на сигнале действия для стандартного действия приседания. Время действия может относиться ко времени, соответствующему каждому из одного или более типам действия пользователя или к общему времени процесса движения.Specifically, after the user's action is identified, the action of the user's movement can be monitored and monitored information can be sent to the user. Monitoring the action of the user's movement may comprise monitoring information associated with the user's action. In some embodiments, information associated with a user action may include one or more types of user action, number of actions, quality of actions (e.g., whether the user action meets a standard), time of action, and the like. The action type may refer to fitness actions that the user performs while exercising. In some embodiments, the action type may comprise, but is not limited to, one or more of the following actions: seated chest press, squat, deadlift, plank, running, swimming, and the like. The amount of action may refer to the number of actions performed while the user is moving. For example, a user can perform 10 seated chest presses while the user is moving and these 10 times is the number of actions. Action quality may refer to the degree of standardness of a fitness action performed by a user relative to a standard fitness action. For example, when the user performs the action of squatting, the processing device 110 may determine the action type for the user's action based on the feature information of the action signal (EMG signal and body movement signal) corresponding to a certain muscle position (gluteus maximus, quadriceps femoris, etc. .), and determine the action quality of the user's crouch action based on the action signal for the standard crouch action. The action time may refer to the time corresponding to each of one or more types of user action or to the total time of the movement process.
Подводя итоги, способ и система 100 определения целевого действия, представленные в настоящем раскрытии, могут получить данные о действии во время движения пользователя и затем данные о действии могут сравниваться со справочными данными о действии, помеченными содержанием действия, так чтобы можно было определить, содержит ли движение пользователя целевое действие, которое совпадает со справочным действием. Способ и система могут выполнить идентификацию целевого действия на данных о действии пользователя, не зная (неизвестно, выполнил ли пользователь действие типа аннотации и когда действие типа аннотации было выполнено), какое действие выполнил пользователь, и послать содержание, связанное с целевым действием пользователю после определения целевого действия. Используя вышеупомянутые технические решения, настоящие способы и системы обладают более высоким интеллектом, чем традиционные способы и системы, и улучшают опыт пользователя.To summarize, the target action determination method and system 100 presented in the present disclosure can obtain action data while the user is moving, and then the action data can be compared with reference action data labeled with the content of the action so that it can be determined whether user movement is a target action that coincides with a reference action. The method and system can perform target action identification on user action data without knowing (whether the user performed an annotation type action and when the annotation type action was performed) what action the user performed, and send content associated with the target action to the user after determining target action. Using the above-mentioned technical solutions, the present methods and systems have higher intelligence than traditional methods and systems and improve the user experience.
Описав, таким образом, базовые концепции, специалистам в данной области техники после прочтения этого подробного раскрытия, должно быть достаточно очевидно, что предшествующее подробное раскрытие предназначено для представления посредством примера, но не для ограничения. Различные изменения, улучшения и модификации могут иметь место и предназначены для специалистов в данной области техники, хотя явно это здесь не указывается. Эти изменения, улучшения и модификации предназначены предлагаться этим раскрытием и находятся в рамках сущности и объема примерных вариантов осуществления этого раскрытия.Having thus described the basic concepts, it should be readily apparent to those skilled in the art upon reading this detailed disclosure that the preceding detailed disclosure is intended to be presented by way of example and not limitation. Various changes, improvements and modifications may occur and are intended for those skilled in the art, although not expressly stated herein. These changes, improvements, and modifications are intended to be suggested by this disclosure and are within the spirit and scope of the exemplary embodiments of this disclosure.
Кроме того, для описания вариантов осуществления настоящего раскрытия была использована определенная терминология. Например, термины «один из вариантов осуществления», «вариант осуществления» и/или «некоторые варианты осуществления» означают, что конкретные признак, структура или характеристика, описанные в связи с вариантом осуществления, включаются в состав по меньшей мере одного варианта осуществления настоящего раскрытия. Поэтому подчеркнуто и следует понимать, что две или более ссылки на «вариант осуществления», «один из вариантов осуществления» или «альтернативный вариант осуществления» в различных частях настоящего описания не обязательно все относятся к одному и тому же варианту осуществления. Дополнительно, конкретные признаки, структуры или характеристики могут объединяться как подходящие в одном или нескольких вариантах осуществления настоящего раскрытия.In addition, certain terminology has been used to describe embodiments of the present disclosure. For example, the terms “one embodiment,” “an embodiment,” and/or “certain embodiments” mean that a particular feature, structure, or characteristic described in connection with an embodiment is included in at least one embodiment of the present disclosure . It is therefore emphasized and understood that two or more references to “an embodiment,” “one embodiment,” or “alternative embodiment” in different parts of the present specification do not necessarily all refer to the same embodiment. Additionally, specific features, structures, or characteristics may be combined as appropriate in one or more embodiments of the present disclosure.
Claims (65)
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2021/081931 | 2021-03-19 |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2813471C1 true RU2813471C1 (en) | 2024-02-12 |
Family
ID=
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2280894C2 (en) * | 2001-07-18 | 2006-07-27 | Зао Интел | Method for recognition of gestures in a series of stereo frames |
US8755569B2 (en) * | 2009-05-29 | 2014-06-17 | University Of Central Florida Research Foundation, Inc. | Methods for recognizing pose and action of articulated objects with collection of planes in motion |
CN108764120A (en) * | 2018-05-24 | 2018-11-06 | 杭州师范大学 | A kind of human body specification action evaluation method |
CN107349594B (en) * | 2017-08-31 | 2019-03-19 | 华中师范大学 | A kind of action evaluation method of virtual Dance System |
CN110298221A (en) * | 2018-03-23 | 2019-10-01 | 上海形趣信息科技有限公司 | Self-service body building method, system, electronic equipment, storage medium |
CN110569775A (en) * | 2019-08-30 | 2019-12-13 | 武汉纺织大学 | Method, system, storage medium and electronic device for recognizing human body posture |
US20210016150A1 (en) * | 2019-07-17 | 2021-01-21 | Jae Hoon Jeong | Device and method for recognizing free weight training motion and method thereof |
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2280894C2 (en) * | 2001-07-18 | 2006-07-27 | Зао Интел | Method for recognition of gestures in a series of stereo frames |
US8755569B2 (en) * | 2009-05-29 | 2014-06-17 | University Of Central Florida Research Foundation, Inc. | Methods for recognizing pose and action of articulated objects with collection of planes in motion |
CN107349594B (en) * | 2017-08-31 | 2019-03-19 | 华中师范大学 | A kind of action evaluation method of virtual Dance System |
CN110298221A (en) * | 2018-03-23 | 2019-10-01 | 上海形趣信息科技有限公司 | Self-service body building method, system, electronic equipment, storage medium |
CN108764120A (en) * | 2018-05-24 | 2018-11-06 | 杭州师范大学 | A kind of human body specification action evaluation method |
US20210016150A1 (en) * | 2019-07-17 | 2021-01-21 | Jae Hoon Jeong | Device and method for recognizing free weight training motion and method thereof |
CN110569775A (en) * | 2019-08-30 | 2019-12-13 | 武汉纺织大学 | Method, system, storage medium and electronic device for recognizing human body posture |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4167129A1 (en) | Method and system for recognizing user actions | |
US10512406B2 (en) | Systems and methods for determining an intensity level of an exercise using photoplethysmogram (PPG) | |
Mortazavi et al. | Determining the single best axis for exercise repetition recognition and counting on smartwatches | |
WO2016157217A2 (en) | Technological device to assist user in workouts and healthy living | |
Gupta et al. | Yogahelp: Leveraging motion sensors for learning correct execution of yoga with feedback | |
CN115105819B (en) | Motion monitoring method and system | |
Cheng et al. | Periodic physical activity information segmentation, counting and recognition from video | |
Prudêncio et al. | Physical activity recognition from smartphone embedded sensors | |
US20230210402A1 (en) | Methods and devices for motion monitoring | |
RU2813471C1 (en) | Methods and systems for identifying user action | |
Sun et al. | IoT motion tracking system for workout performance evaluation: a case study on dumbbell | |
Chen | [Retracted] Research on Intelligent Bodybuilding System Based on Machine Learning | |
Viana et al. | GymApp: A real time physical activity trainner on wearable devices | |
Huang et al. | Biomechanical research for running motion based on dynamic analysis of human multi-rigid body model | |
Li et al. | Dynamic monitoring method of physical training intensity based on wearable sensors | |
Ivanov et al. | Recognition and Control of the Athlete's Movements Using a Wearable Electronics System | |
TWI837620B (en) | Method and system for motion monitoring | |
Ameli et al. | Objective clinical fitness assessment using inertial sensors | |
Xurui et al. | Enhancing the Swimmer Movement Techniques Using Cloud Computing and Artificial Intelligence | |
WO2024040547A1 (en) | System, device, and method for monitoring motion | |
US20240075343A1 (en) | System to determine the physical fitness level of a subject and provide a corresponding exercise routine for said subject and method of use. | |
CN116785659A (en) | Motion monitoring method and device | |
CN114984540A (en) | Body-building exercise effect evaluation analysis management system based on artificial intelligence | |
Afandizadeh Zargari | Advanced Machine Learning and AI Techniques for Enhancing Wearable Health Monitoring Systems | |
Ren et al. | Analysis of Dynamic System of Exercise Load Condition Monitoring Based on Characteristic Parameters |