RU2736876C2 - Method and system for tracking movements of a person - Google Patents
Method and system for tracking movements of a person Download PDFInfo
- Publication number
- RU2736876C2 RU2736876C2 RU2018145205A RU2018145205A RU2736876C2 RU 2736876 C2 RU2736876 C2 RU 2736876C2 RU 2018145205 A RU2018145205 A RU 2018145205A RU 2018145205 A RU2018145205 A RU 2018145205A RU 2736876 C2 RU2736876 C2 RU 2736876C2
- Authority
- RU
- Russia
- Prior art keywords
- ultra
- wideband radio
- person
- inertial
- receivers
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/0205—Details
- G01S5/0221—Receivers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/0205—Details
- G01S5/0226—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/0284—Relative positioning
- G01S5/0289—Relative positioning of multiple transceivers, e.g. in ad hoc networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
- G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
- G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
- G06K19/0716—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips at least one of the integrated circuit chips comprising a sensor or an interface to a sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
- G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
- G06K19/0723—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
- G06K7/10366—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves the interrogation device being adapted for miscellaneous applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Theoretical Computer Science (AREA)
- Toxicology (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
Description
Область техники, к которой относится изобретениеThe technical field to which the invention relates
Техническое решение относится к способам сбора, обработки и передачи данных от радио-инерциальных датчиков, предназначено для отслеживания движений человека или объекта внутри и снаружи помещений и может быть использована в таких областях как виртуальная реальность, медицина, киберспорт.The technical solution relates to methods of collecting, processing and transmitting data from radio-inertial sensors, is designed to track the movements of a person or object inside and outside the premises and can be used in such areas as virtual reality, medicine, e-sports.
Уровень техникиState of the art
Задача отслеживания движений человека стоит в таких областях как кинематограф, виртуальная реальность, медицина и спорт. Наибольшее распространение системы отслеживания движений получили в кинематографе, где их применяют для снятия движений с актера и дальнейшего переноса этих движений на вымышленного персонажа. В кинематографе системы отслеживания принято называть системами захвата движений (от англ. motion capture).The task of tracking human movements is in such areas as cinema, virtual reality, medicine and sports. Motion tracking systems are most widely used in cinematography, where they are used to remove movements from an actor and then transfer these movements to a fictional character. In cinematography, tracking systems are usually called motion capture systems.
Известными решениями являются способы отслеживания движений на базе оптической и инерциальной технологий, которые имеют свои достоинства и недостатки.Known solutions are methods for tracking movements based on optical and inertial technologies, which have their own advantages and disadvantages.
Способы отслеживания положения человека или объекта на базе оптических систем известны, например, из заявки на выдачу патента US 20050105772 A1, опубликованной 19.05.2005, из заявки на выдачу патента JP 2005258891 A опубликованной 22.09.2005, и из патента US 7804998 B2 опубликованном 28.09.2010.Methods for tracking the position of a person or object based on optical systems are known, for example, from the patent application US 20050105772 A1 published on May 19, 2005, from the patent application JP 2005258891 A published on 09.22.2005, and from the patent US 7804998 B2 published on September 28. 2010.
В состав оптических систем входит несколько камер инфракрасного диапазона и набор отражающих маркеров, закрепляющихся на специальном костюме, имитирующем скелет. Камеры излучают инфракрасные лучи и принимают отраженные от видимых маркеров отклики. Данные с камер передаются в вычислительные устройства с установленным специальным программным обеспечением. Использование большего числа камер способствует увеличению точности, так как некоторые маркеры в результате движения человека могут пропадать из зоны видимости камер. Известны дальномерные и угломерно-дальномерные оптические системы, пассивные и активные. В пассивных оптических системах маркеры являются простыми отражателями, не излучающими ответные сигналы инфракрасного диапазона. Такие системы используются для захвата движения мимики лица, так как на лице нет возможности размещать отражатели, снабженные передатчиками. В активных системах маркеры снабжены передатчиками, излучаемый сигнал которых промодулирован их индивидуальным идентификатором. Это позволяет отличать маркеры друг от друга на этапе обработки.The optical systems include several infrared cameras and a set of reflective markers attached to a special suit imitating a skeleton. Cameras emit infrared rays and receive responses reflected from visible markers. The data from the cameras is transmitted to computing devices with special software installed. The use of more cameras improves accuracy, as some markers may disappear from the camera's field of view as a result of human movement. Known rangefinder and goniometric rangefinder optical systems, passive and active. In passive optical systems, markers are simple reflectors that do not emit infrared response signals. Such systems are used to capture the movement of facial expressions, since it is not possible to place reflectors equipped with transmitters on the face. In active systems, markers are equipped with transmitters, the emitted signal of which is modulated by their individual identifier. This allows markers to be distinguished from each other during processing.
Основные технические параметры, определяющие количественные, качественные и стоимостные характеристики продукции (в сопоставлении с существующими аналогами, в т.ч. мировыми):The main technical parameters that determine the quantitative, qualitative and cost characteristics of products (in comparison with existing analogues, including world ones):
Точность определения координат (СКО в статике) - 0.1 см - Vicon Prime 41-0.1 смCoordinate determination accuracy (RMS in static) - 0.1 cm - Vicon Prime 41 - 0.1 cm
Задержка - 10-30 мс - Vicon Prime 41 - 5.5 мсLatency - 10-30 ms - Vicon Prime 41 - 5.5 ms
Кадровая частота - 20-200 FPS - Vicon Prime 41 - 30-180 FPSFrame rate - 20-200 FPS - Vicon Prime 41 - 30-180 FPS
Для достижения необходимого темпа получения координат в заявленном техническом решении экстраполируют оценки координат в следящем фильтре на основе показаний инерциальных датчиков.To achieve the required rate of obtaining coordinates in the claimed technical solution, the coordinates estimates in the tracking filter are extrapolated based on the readings of inertial sensors.
Для достижения необходимой точности оценок координат используют совместную обработку радио- и инерциальных измерений (для взаимного устранения характерных недостатков измерений каждого типа), а также увеличение используемой априорной информации, путем закладывания паттернов характерных движений в модель фильтра.To achieve the required accuracy of coordinate estimates, joint processing of radio and inertial measurements is used (for mutual elimination of the characteristic shortcomings of measurements of each type), as well as an increase in the used a priori information, by putting patterns of characteristic movements into the filter model.
Выводы: предлагаемое техническое решение сопоставимо по точности с одним из лучших оптических аналогов, представленным на рынке, но проигрывает заявленному производителем (Vicon) значению задержки. При этом важно отметить физические особенности работы сравниваемых систем. Так, оптические системы чувствительны к световой обстановке и отражающим (зеркальным) поверхностям - их точность падает вплоть до полной потери сигнала. На предлагаемую комплексную систему это никак не влияет. Также существенными недостатками оптической системы является потеря сигнала при заслонении линии визирования - в предлагаемой системе этот эффект выражен значительно слабее.Conclusions: the proposed technical solution is comparable in accuracy with one of the best optical analogs on the market, but loses the delay value declared by the manufacturer (Vicon). It is important to note the physical features of the operation of the compared systems. Thus, optical systems are sensitive to the light environment and reflective (mirror) surfaces - their accuracy drops down to complete signal loss. This does not affect the proposed complex system in any way. Also, a significant disadvantage of the optical system is the loss of a signal when the line of sight is obscured - in the proposed system this effect is much less pronounced.
Также значительным является покрываемое пространство одной камерой/радиомодулем: для оптических систем это определяется используемыми линзами и для сравниваемого варианта это весьма ограниченная область (51° по горизонтали и вертикали). В радиомодулях этот параметр определяется используемой антенной - в предлагаемой системе это почти всенаправленная антенна, позволяющая обеспечить свободное положение в пространстве модулей. Недостатком радиосистемы является чувствительность к металлическим поверхностям, однако проявляющееся за счет этого ухудшение точности улучшают за счет использования инерциальных датчиков.The space covered by one camera / radio module is also significant: for optical systems this is determined by the lenses used and for the compared variant it is a very limited area (51 ° horizontally and vertically). In radio modules, this parameter is determined by the antenna used - in the proposed system it is an almost omnidirectional antenna that allows you to provide a free position in the space of the modules. The disadvantage of the radio system is its sensitivity to metal surfaces, but the resulting deterioration in accuracy is improved by the use of inertial sensors.
Предполагаемая себестоимость одного модуля будет составлять порядка $200, цена одной камеры сравниваемого аналога - $5999The estimated cost of one module will be about $ 200, the price of one camera of the comparable analogue will be $ 5999
Стоимость аппаратной части: $2000-3000 + лицензия на ПО $10000Hardware cost: $ 2000-3000 + software license $ 10000
Для сравнения оптические решения требуют единовременно $25000-$100000 + лицензияFor comparison, optical solutions require a one-time $ 25,000- $ 100,000 + license
Предлагаемое техническое решение на базе радио-измерений имеет следующие преимущества перед оптическими системами:The proposed technical solution based on radio measurements has the following advantages over optical systems:
- авто калибровка (отсутствует у оптических систем);- auto calibration (not available for optical systems);
- система не чувствительна к освещенности рабочей зоны и светоотражающим поверхностям;- the system is not sensitive to the illumination of the working area and reflective surfaces;
- меньше страдает от заслонений, по сравнению с оптическими системами;- it suffers less from obstructions compared to optical systems;
- существенно дешевле: $200 за один модуль против $1-6 тыс.за одну камеру.- much cheaper: $ 200 for one module versus $ 1-6 thousand for one camera.
Способы отслеживания положения человека или объекта на базе инерциальных систем, например, патент US 6428490 B1 08.06.2002.Methods for tracking the position of a person or an object based on inertial systems, for example, patent US 6428490 B1 06/08/2002.
Инерциальные системы строятся на базе измерений датчиков угловых скоростей и линейных ускорений (гироскопов и акселерометров). Такие системы являются автономными, не требующими наличия инфраструктуры опорных маяков. Координаты и пространственные ориентации маркеров, снабженных трехосными акселерометрами и гироскопами, в заданной системе координат в помещении вычисляются в результате интегрирования соответствующих скоростей и ускорений. Для начала использования инерциальных систем необходима калибровка. Измерения таких датчиков являются менее зашумленными, чем радиоизмерения, но имеют «уход» показаний, проявляющийся с течением времени, связанный нестабильностью частоты опорного генератора. Уход измерений определяется классом точности инерциальных датчиков. Уход измерений приводит к накапливающейся ошибке позиционирования маркеров, поэтому инерциальные системы захвата движения требуют периодической корректировки показаний. Корректировка обеспечивается оптическими или радиосистемами. Чем выше класс точности инерциальных датчиков, тем дольше система может функционировать в автономном режиме без корректировки. С увеличением класса точности растет стоимость и габариты таких систем.Inertial systems are based on measurements of angular rate and linear acceleration sensors (gyroscopes and accelerometers). Such systems are self-contained, requiring no reference beacon infrastructure. Coordinates and spatial orientations of markers equipped with triaxial accelerometers and gyroscopes in a given coordinate system in the room are calculated by integrating the corresponding speeds and accelerations. Calibration is required to start using inertial systems. The measurements of such sensors are less noisy than radio measurements, but they have a "drift" of the readings, which manifests itself over time, due to the instability of the frequency of the reference generator. The measurement drift is determined by the accuracy class of the inertial sensors. The drift of measurements leads to an accumulating error in the positioning of markers, therefore inertial motion capture systems require periodic readings. The correction is provided by optical or radio systems. The higher the accuracy class of inertial sensors, the longer the system can function in autonomous mode without correction. With an increase in the accuracy class, the cost and dimensions of such systems increase.
Главным преимуществом заявленного технического решения на базе радио технологий является отсутствие накапливающейся ошибки присущей инерциальным технологиям. Наличие накапливающейся систематической составляющей ошибки вносит определенные ограничения на время работы системы: длительность VR сессии ограничивается примерно 15 минутами, так как далее ошибка начинает влиять на корректность определения координат местоположения.The main advantage of the claimed technical solution based on radio technologies is the absence of accumulating errors inherent in inertial technologies. The presence of an accumulating systematic component of the error introduces certain restrictions on the operating time of the system: the duration of the VR session is limited to about 15 minutes, since then the error begins to affect the correctness of determining the coordinates of the location.
Наиболее близким по своей технической сущности к заявленному техническому решению, является техническое решение, описанное в патенте RU2107328C1, опубликованном 20.03.1998. Это решение основано на определении опорных направлений сегментов тела и дальнейшем расчете взаимных углов сегментов тела, на основании которых предлагается улучшение точности позиционирования тела человека. Данное решение не предъявляет жестких требований к типам используемых измерителей.The closest in technical essence to the claimed technical solution is the technical solution described in patent RU2107328C1, published 03/20/1998. This solution is based on determining the reference directions of the body segments and further calculating the mutual angles of the body segments, on the basis of which it is proposed to improve the positioning accuracy of the human body. This solution does not impose strict requirements on the types of meters used.
Отличие от прототипа заключается в:The difference from the prototype is:
а) Используемых измерителях (сверхширокополосные радио и инерциальные)a) Meters used (ultra-wideband radio and inertial)
б) Оптимальных алгоритмах обработки измеренийb) Optimal algorithms for processing measurements
в) В используемых моделях движения в качестве параметров присутствуют не только углы между суставными точкамиc) In the models of movement used, not only the angles between the articular points are present as parameters
г) Возможно отслеживание не только человека, но и объектов.d) It is possible to track not only a person, but also objects.
Сущность изобретенияThe essence of the invention
Задачей, на решение которой направлено заявленное техническое решение, является отслеживание движений человека или объекта на базе радио-инерциальных датчиков.The task to be solved by the claimed technical solution is tracking the movements of a person or an object based on radio-inertial sensors.
Технический результат заключается в повышении точности определения положения человека или объекта в реальном времени, вследствие чего радио-инерциальные датчики могут применяться для отслеживания движений в виртуальных многопользовательских зонах полного погружения, в медицине и киберспорте.The technical result consists in improving the accuracy of determining the position of a person or an object in real time, as a result of which radio-inertial sensors can be used to track movements in virtual multi-user zones of full immersion, in medicine and e-sports.
Заявленный технический результат обеспечивается за счет того, что в способе отслеживания движений человека или объекта на основе радио-инерциальных датчиков размещают сверхширокополосные радиомаяки по периметру зоны в которой ведется слежение за движениями человека или объекта; закрепляют на человеке или объекте слежения сверхширокополосные радио-инерциальные приемники; излучают периодический импульсный сигнал от стационарных сверхширокополосных радиомаяков; фиксируют сверхширокополосными радио-инерциальными приемниками время прихода импульсов и производят оценку времени распространения сигнала; определяют координаты сверхширокополосных радио-инерциальных приемников на основе полученных оценок с использованием адаптивного фильтра, синтезированного на основе моделей движения человека или объекта, при этом на плоскости определяют точки пересечения двух или более линий положения относительно известных ориентиров, а в пространстве определяют пересечение трех поверхностей положения, причем определяют дополнительную линию положения о местоположении человека или объекта, при этом считывают оценки на выходе сверхширокополосных радио-инерциальных приемников и передают оценки на вход адаптивного фильтра; осуществляют адаптивную фильтрацию на базе моделей движений человека или объекта, и передают данные на выходе фильтра о положении и ориентации человека или объекта в реальном времени на компьютер в машиночитаемом виде.The claimed technical result is provided due to the fact that in the method of tracking the movements of a person or an object based on radio-inertial sensors, ultra-wideband radio beacons are placed along the perimeter of the zone in which the movements of a person or an object are tracked; ultra-wideband radio-inertial receivers are fixed on a person or a tracking object; emit a periodic pulse signal from stationary UWB radio beacons; the time of arrival of pulses is recorded by ultra-wideband radio-inertial receivers and the time of signal propagation is estimated; determine the coordinates of ultra-wideband radio-inertial receivers on the basis of the estimates obtained using an adaptive filter synthesized on the basis of models of human or object movement, while the points of intersection of two or more position lines relative to known landmarks are determined on the plane, and the intersection of three position surfaces is determined in space, moreover, determining an additional line of position about the location of a person or object, while reading the estimates at the output of ultra-wideband radio-inertial receivers and transmitting the estimates to the input of the adaptive filter; carry out adaptive filtering based on models of movements of a person or an object, and transmit data at the output of the filter about the position and orientation of a person or object in real time to a computer in a machine-readable form.
В частном случае реализации заявленного технического решения располагают стационарные сверхширокополосные радиомаяки в количестве не менее 3 штук на нескольких уровнях высоты, чередованием для снижения геометрического фактора.In the particular case of the implementation of the claimed technical solution, stationary ultra-wideband radio beacons are installed in an amount of at least 3 pieces at several height levels, alternating to reduce the geometric factor.
В частном случае реализации заявленного технического решения получают оценки разностей времен распространения сигналов от стационарных сверхширокополосных радиомаяков до сверхширокополосных радио-инерциальных приемников.In the particular case of the implementation of the claimed technical solution, estimates are obtained for the differences in the propagation times of signals from stationary ultra-wideband radio beacons to ultra-wideband radio-inertial receivers.
Заявленный технический результат обеспечивается за счет того, что система отслеживания движений человека или объекта на основе радио-инерциальных датчиков содержит множество каналов, множество сверхширокополосных радио-инерциальных приемников, размещенных на человеке или объекте, множество стационарных сверхширокополосных радиомаяков, расположенных по периметру зоны, блок обработки полученных оценок, источники питания для стационарных сверхширокополосных радиомаяков, при этом в каждом канале расположен квазиоптимальный фильтр, причем каждый фильтр синтезирован по одной из моделей движения.The claimed technical result is provided due to the fact that the system for tracking the movements of a person or an object based on radio-inertial sensors contains many channels, many ultra-wideband radio-inertial receivers placed on a person or object, many stationary ultra-wideband radio beacons located around the perimeter of the zone, a processing unit obtained estimates, power supplies for stationary ultra-wideband radio beacons, with a quasi-optimal filter located in each channel, and each filter is synthesized according to one of the motion models.
В частном случае реализации заявленного технического решения содержит от 1 до 12 сверхширокополосных радио-инерциальных приемников, размещенных на человеке или объекте слежения.In a particular case, the implementation of the claimed technical solution contains from 1 to 12 ultra-wideband radio-inertial receivers located on a person or a tracking object.
В частном случае реализации заявленного технического решения содержит инфраструктуру из 8-10 стационарных сверхширокополосных радиомаяков.In a particular case, the implementation of the claimed technical solution contains an infrastructure of 8-10 stationary ultra-wideband radio beacons.
В частном случае реализации заявленного технического решения содержит блок обработки сигналов сверхширокополосных радио-инерциальных приемников.In a particular case, the implementation of the claimed technical solution contains a signal processing unit for ultra-wideband radio-inertial receivers.
В частном случае реализации заявленного технического решения стационарные сверхширокополосные радиомаяки выполнены в виде радио-инерциальных датчиков.In the particular case of the implementation of the claimed technical solution, stationary ultra-wideband radio beacons are made in the form of radio-inertial sensors.
Для достижения необходимого темпа получения координат в заявленном техническом решении экстраполируют оценки координат в следящем фильтре на основе показаний инерциальных датчиков.To achieve the required rate of obtaining coordinates in the claimed technical solution, the coordinates estimates in the tracking filter are extrapolated based on the readings of inertial sensors.
Краткое описание чертежейBrief Description of Drawings
Детали, признаки, а также преимущества настоящего изобретения следуют из нижеследующего описания вариантов реализации заявленного технического решения с использованием чертежей, на которых показано:Details, features, and advantages of the present invention follow from the following description of embodiments of the claimed technical solution using the drawings, which show:
Фиг. 1 - показаны линии положения в разностно-дальномерных системах;FIG. 1 - shows the lines of position in differential-rangefinder systems;
Фиг. 2 - показан пример расположения маяков по периметру зоны;FIG. 2 shows an example of the location of beacons along the perimeter of the zone;
Фиг. 3 - показана схема цифрового фильтра, в составе блока обработки оценок полученных на выходе приемников.FIG. 3 shows the digital filter circuit, which is part of the block for processing the estimates obtained at the output of the receivers.
На фигурах обозначены следующие позиции:The following positions are indicated in the figures:
1 - маяк; 2 - зона отслеживания; 3 - фильтр, 4 - вычислитель; 5 - перемножитель; 6 - сумматор.1 - beacon; 2 - tracking area; 3 - filter, 4 - calculator; 5 - multiplier; 6 - adder.
Раскрытие изобретенияDisclosure of invention
Для реализации способа отслеживания движений человека или объекта на основе радио-инерциальных датчиков могут быть использованы следующие технические компоненты:To implement the method of tracking the movements of a person or an object based on radio-inertial sensors, the following technical components can be used:
Радио-инерциальные датчики, выполняющие роль маяков. Маяки (1) располагаются по периметру зоны (2) в которой отслеживается движение человека или объекта.Radio-inertial sensors that act as beacons. Beacons (1) are located along the perimeter of the zone (2) in which the movement of a person or object is monitored.
Маяки (1) располагаются таким образом, чтобы обеспечить наилучший геометрический фактор: чередуется высота стоек, на которых располагаются модули.The beacons (1) are positioned in such a way as to provide the best geometric factor: the height of the racks on which the modules are located alternates.
Исходя из проведенных исследований для достижения максимальных показателей качества работы системы на площади от 8 м2 до 3000 м2 необходимо расположить по периметру помещения не менее 8 якорей.Based on the studies carried out, in order to achieve maximum performance indicators of the system operation on an area from 8 m 2 to 3000 m 2 , at least 8 anchors must be placed around the perimeter of the room.
Радио-инерциальные датчики, выполняющие роль приемников. Приемники прикрепляются на тело человека или на объект.Radio-inertial sensors that act as receivers. The receivers are attached to the human body or to an object.
Приемники измеряют разности дальностей до якорей и пересчитывают эти измерения в оценки собственных координат.The receivers measure the range differences to the anchors and convert these measurements into estimates of their own coordinates.
Система является беззапросной. Метод определения координат - разностно-дальномерный. Поясним его суть и особенности.The system is queryless. Coordinate determination method - differential-rangefinder. Let's explain its essence and features.
Разностно-дальномерный метод основан на определении разности расстояний между радиомаяками (неподвижными излучателями сигналов) до потребителя. Разность расстояний рассчитывается исходя из разности моментов времени приема сигнала от каждого маяка [1, 2]. Определение местоположения объекта происходит путем определения точки пересечения двух или более линий (поверхностей) положения, относительно известных ориентиров. Линией (поверхностью) положения называется геометрическое место точек пространства с одинаковым значением навигационного параметра (навигационных параметров). Местоположение объекта определяется координатами точки пересечения двух линий положения (на плоскости) или трех поверхностей положения (в пространстве). В ряде случаев (из-за нелинейности линий положения) две линии положения могут пересекаться в двух или более точках. При этом однозначно найти местоположение можно только, используя дополнительную линию положения или иную информацию о местоположении объекта.Differential rangefinder method is based on determining the difference in distances between radio beacons (stationary signal emitters) to the consumer. The difference in distances is calculated based on the difference in the times of receiving a signal from each beacon [1, 2]. Determining the location of an object occurs by determining the point of intersection of two or more lines (surfaces) of position, relative to known landmarks. The line (surface) of position is the locus of points in space with the same value of the navigation parameter (navigation parameters). The location of an object is determined by the coordinates of the intersection point of two position lines (on a plane) or three position surfaces (in space). In some cases (due to non-linearity of position lines), two position lines may intersect at two or more points. In this case, it is possible to unambiguously find the location only using an additional position line or other information about the object's location.
Линии положения в случае разностно-дальномерных систем (РДС) имеют вид плоских гипербол для случая определения координат на плоскости и гиперболоида для случая определения координат в пространстве. При этом в фокусах гипербол находятся радиомаяки, до которых измеряется разность расстояний (Фиг. 1).The lines of position in the case of difference-ranging systems (RDS) have the form of plane hyperbolas for the case of determining coordinates on a plane and a hyperboloid for the case of determining coordinates in space. In this case, in the foci of the hyperbolas there are radio beacons, to which the difference in distances is measured (Fig. 1).
Цифровой вычислитель, который может быть реализован в виде персонального компьютера, который выполняет, в том числе, следующие алгоритмы:A digital computer that can be implemented in the form of a personal computer, which performs, among other things, the following algorithms:
- алгоритм считывания оценок на выходе приемников и передачи на вход адаптивного фильтра;- an algorithm for reading estimates at the output of receivers and transmitting them to the input of an adaptive filter;
- алгоритм адаптивной фильтрации на базе моделей движений человека или объекта, определяющий координаты приемников на основе полученных оценок;- an adaptive filtering algorithm based on models of human or object movements, which determines the coordinates of receivers based on the estimates obtained;
- алгоритм передачи координат в реальном времени с выхода адаптивного фильтра в машиночитаемом виде.- an algorithm for transmitting coordinates in real time from the output of the adaptive filter in a machine-readable form.
В основе программного обеспечения разрабатываемой системы трекинга лежит нелинейный particle фильтр, оценивающий параметры, входящие в вектор состояния:The software of the developed tracking system is based on a nonlinear particle filter that estimates the parameters included in the state vector:
где χ - вектор координат, V - вектор скорости, q - кватернион вращения, ε - вектора смещения показаний акселерометра и гироскопа.where χ is the coordinate vector, V is the velocity vector, q is the rotation quaternion, ε are the displacement vectors of the accelerometer and gyroscope readings.
Нелинейная связь между компонентами вектора состояния:Non-linear communication between components of the state vector:
В качестве априорных динамических моделей используется библиотека разработанных моделей движения человека.The library of developed models of human movement is used as a priori dynamic models.
Идея заключается в том, что при рассмотрении равномерного движения (в смысле сохранения направления и средней скорости) в нем можно выделить основную гармонику, характерную для координат всех точек тела человека - в такт шагам. Дополнительной информацией, позволяющей повысить точность системы, также является информация о фиксированном расстоянии между суставами (маркерными точками) и ограничениях, налагаемых на движения частей тела (например, сохранение вертикального положения, средние отклонения, жесткость членов тела и пр.).The idea is that when considering uniform motion (in the sense of maintaining direction and average speed), it is possible to single out the fundamental harmonic characteristic of the coordinates of all points of the human body - in time with steps. Additional information that can improve the accuracy of the system is also information about the fixed distance between the joints (marker points) and restrictions imposed on the movements of body parts (for example, maintaining an upright position, average deviations, stiffness of body members, etc.).
Предлагается аппроксимация закона изменения координат (как вертикальной, так и горизонтальной) любой точки в виде суммы двух составляющих:An approximation of the law of change of coordinates (both vertical and horizontal) of any point in the form of the sum of two components is proposed:
- среднего за период наблюдения закона, «тренда»;- average over the period of observation of the law, "trend";
- гармонического колебания с периодом, равным длительности одного (голова, туловище) или двух шагов (ноги, руки).- harmonic oscillations with a period equal to the duration of one (head, trunk) or two steps (legs, arms).
Для горизонтальной координаты (пути) тренд - линейная функция (так как скорость ходьбы принята постоянной). Для вертикальной координаты (высоты) тренд - константа (так как ходьба осуществляется на горизонтальной плоскости). Период гармонических составляющих считается постоянным.For a horizontal coordinate (path), the trend is a linear function (since the walking speed is assumed constant). For a vertical coordinate (height), the trend is a constant (since walking is carried out on a horizontal plane). The period of the harmonic components is considered constant.
Исходя из этих положений были разработаны 12-точечный модели движения всего тела человека для ходьбы и бега.Based on these positions, 12-point models of the movement of the whole human body for walking and running were developed.
Итогом является многоканальная следящая система, в каждом канале которой находится квазиоптимальный фильтр. Каждый фильтр синтезирован по одной из предложенных моделей движения (т.е. каждый фильтр рассчитан на определенную динамику пользователя) (фиг. 2). С учетом того, что динамика пользователя априорно достоверно неизвестна и меняется в течение сессии пользования системой трекинга, на протяжении всей сессии тот или иной фильтр будет более корректно оценивать координаты пользователя. В случае если происходит движение, не заложенное в предложенную библиотеку паттернов, предусмотрено наличие простых фильтров нижних частот (ФНЧ). На этом основании реализован расчет весов конечного вклада оценок каждого фильтра [3]:The result is a multi-channel tracking system, in each channel of which there is a quasi-optimal filter. Each filter is synthesized according to one of the proposed motion models (ie, each filter is designed for a specific user dynamics) (Fig. 2). Taking into account the fact that the dynamics of the user is a priori reliably unknown and changes during the session of using the tracking system, throughout the session one or another filter will more correctly estimate the coordinates of the user. If there is a movement that is not included in the proposed pattern library, there are simple low-pass filters (LPF). On this basis, the calculation of the weights of the final contribution of the estimates of each filter is realized [3]:
где,Where,
- Н - матрица наблюдений;- H - observation matrix;
-
- Dn - матрица дисперсий шумов наблюдений;- D n is the observation noise variance matrix;
-
- у - наблюдаемая реализация на входе приемника.- y is the observed implementation at the input of the receiver.
Заявленное техническое решение на порядок увеличивает точность определения координат, полученных с радио-инерциальных датчиков.The claimed technical solution by an order of magnitude increases the accuracy of determining the coordinates obtained from radio-inertial sensors.
Рассмотрим работу заявленного технического решения на примере отслеживания движений человека для задач в области виртуальной реальности. По периметру зоны (2) отслеживания в которой происходит слежение за движениями человека располагаются маяки (1) (фиг. 1). Каждый маяк (1) подключается к источнику питания. Приемники прикрепляют на тело человека в количестве от 1 до 12 штук в зависимости от задач. При этом, приемники помещаются в небольшие коробки со специальными фиксаторами для удобства крепления на различных частях тела человека. Передача информации с приемников поступает на персональный компьютер. Данные с выхода приемников в режиме реального времени поступают на персональный компьютер, в котором происходит обработка данных с помощью адаптивного фильтра. Координаты, полученные на выходе фильтра, поступают в виртуальную среду. Таким образом, становится возможным видеть собственные движения и взаимодействовать всем телом с виртуальной средой.Let's consider the work of the claimed technical solution using the example of tracking human movements for tasks in the field of virtual reality. Beacons (1) (Fig. 1) are located along the perimeter of the tracking zone (2) in which the human movements are tracked. Each beacon (1) is connected to a power source. Receivers are attached to the human body in an amount of 1 to 12 pieces, depending on the tasks. At the same time, the receivers are placed in small boxes with special clips for easy attachment to various parts of the human body. The transmission of information from the receivers goes to a personal computer. The data from the output of the receivers are sent in real time to a personal computer, where the data is processed using an adaptive filter. The coordinates obtained at the filter output are fed into the virtual environment. Thus, it becomes possible to see one's own movements and interact with the whole body with the virtual environment.
Хотя заявленное техническое решение описано конкретным примером его реализации, это описание не является ограничивающим, но приведено лишь для иллюстрации и лучшего понимания существа технического решения, объем которого определяется прилагаемой формулой.Although the claimed technical solution is described by a specific example of its implementation, this description is not limiting, but is given only to illustrate and better understand the essence of the technical solution, the scope of which is determined by the attached formula.
ИСТОЧНИКИSOURCES
1. Поваляев А.А. Спутниковые радионавигационные системы: время, показания часов, формирование измерений и определение относительных координат.- М.: Радиотехника, 2008.1. Povalyaev A.A. Satellite radio navigation systems: time, clock readings, formation of measurements and determination of relative coordinates, Moscow: Radiotekhnika, 2008.
2. Beck В., Baxley R., Joseph K. Real-time, anchor-free node tracking using ultrawideband range and odometry data. - Ultra-WideBand (ICUWB), 2014 IEEE International Conference.2. Beck B., Baxley R., Joseph K. Real-time, anchor-free node tracking using ultrawideband range and odometry data. - Ultra-WideBand (ICUWB), 2014 IEEE International Conference.
3. Перов А.И. Статистическая теория радиотехнических систем. Учеб. пособие для вузов. - М.: Радиотехника, 2003, 400 с, ил.3. Perov A.I. Statistical theory of radio engineering systems. Textbook. manual for universities. - M .: Radiotekhnika, 2003, 400 s, ill.
Claims (18)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018145205A RU2736876C2 (en) | 2018-12-19 | 2018-12-19 | Method and system for tracking movements of a person |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018145205A RU2736876C2 (en) | 2018-12-19 | 2018-12-19 | Method and system for tracking movements of a person |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2018145205A3 RU2018145205A3 (en) | 2020-06-19 |
| RU2018145205A RU2018145205A (en) | 2020-06-19 |
| RU2736876C2 true RU2736876C2 (en) | 2020-11-23 |
Family
ID=71095509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018145205A RU2736876C2 (en) | 2018-12-19 | 2018-12-19 | Method and system for tracking movements of a person |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2736876C2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2801426C1 (en) * | 2022-09-18 | 2023-08-08 | Эмиль Юрьевич Большаков | Method and system for real-time recognition and analysis of user movements |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113091770B (en) * | 2021-04-02 | 2023-12-15 | 上海有个机器人有限公司 | Zero offset compensation method of inertial measurement sensor |
| CN114562993A (en) * | 2022-02-28 | 2022-05-31 | 联想(北京)有限公司 | Track processing method and device and electronic equipment |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090087029A1 (en) * | 2007-08-22 | 2009-04-02 | American Gnc Corporation | 4D GIS based virtual reality for moving target prediction |
| US7671802B2 (en) * | 2008-03-17 | 2010-03-02 | Disney Enterprises, Inc. | Active player tracking |
| US20150378002A1 (en) * | 2013-06-06 | 2015-12-31 | Zih Corp. | Method, Apparatus And Computer Program Product Improving Real Time Location Systems With Multiple Location Technologies |
| US20170256097A1 (en) * | 2016-03-07 | 2017-09-07 | F3 & Associates | Local positioning system for augmented reality applications |
| WO2017176191A1 (en) * | 2016-04-06 | 2017-10-12 | Advanced Technical Solutions In Scandinavia Ab | A method for generating a 3d combined model that represents a scene |
| RU2657185C1 (en) * | 2017-09-13 | 2018-06-08 | Самсунг Электроникс Ко., Лтд. | High frequency local positioning system |
-
2018
- 2018-12-19 RU RU2018145205A patent/RU2736876C2/en active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090087029A1 (en) * | 2007-08-22 | 2009-04-02 | American Gnc Corporation | 4D GIS based virtual reality for moving target prediction |
| US7671802B2 (en) * | 2008-03-17 | 2010-03-02 | Disney Enterprises, Inc. | Active player tracking |
| US20150378002A1 (en) * | 2013-06-06 | 2015-12-31 | Zih Corp. | Method, Apparatus And Computer Program Product Improving Real Time Location Systems With Multiple Location Technologies |
| US20170256097A1 (en) * | 2016-03-07 | 2017-09-07 | F3 & Associates | Local positioning system for augmented reality applications |
| WO2017176191A1 (en) * | 2016-04-06 | 2017-10-12 | Advanced Technical Solutions In Scandinavia Ab | A method for generating a 3d combined model that represents a scene |
| RU2657185C1 (en) * | 2017-09-13 | 2018-06-08 | Самсунг Электроникс Ко., Лтд. | High frequency local positioning system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2801426C1 (en) * | 2022-09-18 | 2023-08-08 | Эмиль Юрьевич Большаков | Method and system for real-time recognition and analysis of user movements |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2018145205A3 (en) | 2020-06-19 |
| RU2018145205A (en) | 2020-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200064439A1 (en) | Three Dimensional Object-Localization And Tracking Using Ultrasonic Pulses | |
| Liu et al. | Doppler shift mitigation in acoustic positioning based on pedestrian dead reckoning for smartphone | |
| KR20150108402A (en) | Method and apparatus for determination of misalignment between device and pedestrian | |
| US10652696B2 (en) | Method and apparatus for categorizing device use case for on foot motion using motion sensor data | |
| JP6997112B2 (en) | Accelerometer | |
| RU2736876C2 (en) | Method and system for tracking movements of a person | |
| JP6044971B2 (en) | Estimated azimuth angle evaluation apparatus, mobile terminal apparatus, estimated azimuth angle evaluation apparatus control program, computer-readable recording medium, estimated azimuth angle evaluation apparatus control method, and positioning apparatus | |
| Chugunov et al. | ToA positioning algorithm for TDoA system architecture | |
| Kasebzadeh et al. | Improved pedestrian dead reckoning positioning with gait parameter learning | |
| Zihajehzadeh et al. | A magnetometer-free indoor human localization based on loosely coupled IMU/UWB fusion | |
| Venkatnarayan et al. | Enhancing indoor inertial odometry with wifi | |
| Zhou | Pedestrian dead reckoning on smartphones with varying walking speed | |
| Chugunov et al. | Integration of local ultrawideband ToA/AOA phase difference of arrival system and inertial navigation systems | |
| Giarré et al. | Improved PDR localization via UWB-anchor based on-line calibration | |
| CN108882169A (en) | The acquisition methods and device and robot of a kind of WiFi location fingerprint data | |
| Qian et al. | RPNOS: Reliable pedestrian navigation on a smartphone | |
| Brzostowski | Toward the unaided estimation of human walking speed based on sparse modeling | |
| Islam et al. | Full-body tracking using a sensor array system and laser-based sweeps | |
| Aparicio et al. | A survey on acoustic positioning systems for location-based services | |
| Díez et al. | Step length estimation using UWB technology: a preliminary evaluation | |
| Thio et al. | Fusing of a continuous output PDR algorithm with an ultrasonic positioning system | |
| Lategahn et al. | Robust pedestrian localization in indoor environments with an IMU aided TDoA system | |
| Islam et al. | Indoor positioning through integration of optical angles of arrival with an inertial measurement unit | |
| Lategahn et al. | Extended Kalman filter for a low cost TDoA/IMU pedestrian localization system | |
| Mikov et al. | Data processing algorithms for MEMS based multi-component inertial measurement unit for indoor navigation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| HE9A | Changing address for correspondence with an applicant |