WO2024102018A1 - Симуляционный комплекс для обследования брюшной полости - Google Patents

Симуляционный комплекс для обследования брюшной полости Download PDF

Info

Publication number
WO2024102018A1
WO2024102018A1 PCT/RU2022/000376 RU2022000376W WO2024102018A1 WO 2024102018 A1 WO2024102018 A1 WO 2024102018A1 RU 2022000376 W RU2022000376 W RU 2022000376W WO 2024102018 A1 WO2024102018 A1 WO 2024102018A1
Authority
WO
WIPO (PCT)
Prior art keywords
mannequin
tracking
virtual reality
patient
examination
Prior art date
Application number
PCT/RU2022/000376
Other languages
English (en)
French (fr)
Inventor
Залим Замирович БАЛКИЗОВ
Евгений Александрович КОСТЮШОВ
Владимир Александрович БУШУЕВ
Дмитрий Алексеевич ДУДАРЕВ
Александр Николаевич ИСАЕВ
Original Assignee
Общество с ограниченной ответственностью "МедВиар"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from RU2022129353A external-priority patent/RU2798405C1/ru
Application filed by Общество с ограниченной ответственностью "МедВиар" filed Critical Общество с ограниченной ответственностью "МедВиар"
Publication of WO2024102018A1 publication Critical patent/WO2024102018A1/ru

Links

Definitions

  • This technical solution relates to the field of computer technology, in particular, to complexes for training users in physical examination of patients.
  • the solution chosen as the closest analogue is known from the prior art, RLI 2715148 C1, 02/25/2020.
  • This solution relates to the field of computer technology, namely to simulators using virtual reality.
  • the simulator includes a PC with machine-readable media. It consists of a logical part of the simulator and a graphical three-dimensional shell, which are connected to the computer. It also includes peripherals for navigating the virtual environment.
  • the logical part in the form of a software package includes a switching module and an evaluation module connected to each other via a local software interface.
  • the switching VR simulator is designed in such a way that the operator is connected by two-way communication with the instructor and virtual reality glasses.
  • the virtual reality glasses include: a helmet, headphones, a microphone, a manipulator-controller, position trackers and a platform for movement.
  • Virtual reality glasses have a two-way connection to the software system. It consists of a script suite module, a script editor module, and a core core module.
  • the engine module consists of a simulator module, a switching module, an evaluation module and a voice module.
  • the proposed solution is aimed at eliminating the shortcomings of the current level of technology and differs from known solutions in that the proposed complex combines the advantages of virtual reality and highly realistic tactile simulators.
  • the technical result is to ensure safe training of medical personnel.
  • An additional technical result is to expand the arsenal of technical means of the simulation complex.
  • a mannequin containing a system for tracking the position of the mannequin, and the mannequin is equipped with a diaphragm drive , while a stepper motor is attached to the diaphragm drive handle, implemented to reliably simulate breathing; a base platform for installing a mannequin, containing weight sensors for detecting the degree of pressure and an electronic control unit connected to the diaphragm drive and a computer center; a computing center for centralized management, monitoring and accounting of ongoing training sessions, capable of processing incoming data and transferring them to the virtual reality system; a virtual reality system implemented on the basis of complex tactile tracking technology, capable of tracking at least the user’s head and hands
  • the base platform for installing the mannequin contains at least 4 weight sensors for detecting the degree of pressure.
  • An important factor for increasing the level of immersion in a virtual environment is the ability to interactively interact with environmental elements and characters in virtual reality.
  • simulation techniques is driven by the need to ensure patient safety, provide planned practice, and provide sufficient repetition to develop practical skills.
  • Each of the existing simulation modalities has its own limitations, so the technology using simulated patients allows one to practice communication skills, externally imitate some diseases, convey emotions, but does not allow one to simulate acute conditions, practice invasive procedures, and is also limited by the impossibility of simulating a wide range of clinical symptoms.
  • Simulators for practicing physical examination skills allow you to simulate various clinical findings - palpation, for example, space-occupying formations or enlarged internal organs, changes in pulsation; Auscultatory signs of diseases - heart murmurs, pulmonary rales, but at the same time do not allow simulating the patient’s reaction and, as a result, a number of symptoms associated with pain or reflex movements when pressing or tapping in certain anatomical areas.
  • the learning user sees the environment, interactive objects, an animated interactive patient and physically feels the anatomically accurate relief of the body, synchronized with the visual image thanks to the use of data from weight sensors in real time.
  • This approach increases the depth of immersion, expands the possibilities of interaction, and also allows the implementation of systems for automated comprehensive objective assessment of user actions.
  • the solution uses technologies for tracking the user’s head and hands, tracking a mannequin and weight sensors to detect the pressing force on the surface of the mannequin, an electric drive for the movement of the diaphragm simulator, as well as specially created algorithms for applying data from all sensors and a content component, including rendered location, environment models, patient, animations, interfaces, etc.
  • the simulator (through the computing part) performs an accurate assessment of the coordinates and pressure forces applied to the mannequin by the user's hands.
  • algorithms have been developed that combine data from the optical hand tracking system (integrated into the virtual reality helmet) and the pressing force detection. The obtained coordinates and pressure forces are used to visualize the deformations of the virtual patient’s body and its internal organs in virtual reality.
  • a stepper motor is used, mounted on the diaphragm drive handle on the dummy, and an electronic control circuit connected to the computer center.
  • the simulation program has the ability, at certain points in the simulation, to issue control commands to the actuator to drive the diaphragm simulator.
  • the visual content of the simulator is synchronized with the state of the drive.
  • a unique software and hardware component has been developed that combines a synchronized physical model of the patient and a virtual one.
  • the developed content is clinically valid and allows for both training and automated assessment of manual and clinical skills, which increases the objectivity of the assessment and reduces the burden on the teacher.
  • the simulator with a high degree of reliability allows you to simulate more than 60 clinical situations, including normal and various pathologies of the abdominal organs.
  • the scenarios depend on the physical model that is currently installed in the mannequin to enhance the realism of the virtual model.
  • the physical configuration of the mannequin before starting the session is set through the user interface.
  • the base platform (cradle) must include at least 4 weight (force) sensors to determine the degree of pressure and an electronic controller for reading, processing and transmitting data from the sensors.
  • the dummy tray contains integrated strain gauge sensors and a control board.
  • the hardware can be implemented using the following specific elements:
  • Computing center a computing device capable of performing the necessary data processing, for example, a computer with a wireless video signal transmitter and a monitor);
  • Stepper motor • Stepper motor, electronic control unit, and belt drive to the diaphragm shaft.
  • the drive mounted on the mannequin rotates the standard shaft, simulating the patient's breathing.
  • the mannequin is installed on a base platform (cradle), equipped with highly sensitive weight sensors and a stop that follows the shape of the mannequin on the side to relieve the load on the sensors during two-handed palpations.
  • the base platform connects to a computing center (for example, a computer) via a USB interface and transmits real-time data on the position of the user’s hands and weight sensor readings.
  • a computing center for example, a computer
  • a learning user wearing VR glasses sees a lying patient, sees his hands in the area around the patient and can perform palpation in accordance with the scenario.
  • Palpation pressures determined using load sensors are converted into surface deformation of the virtual patient and used by an automated assessment system.
  • the simulator contains a library of sounds characteristic of normal and pathological conditions in accordance with clinical cases and a physical model. Each sound corresponds to a specific point on the virtual patient's body.
  • the degree of pressure is detected using load cells located on the platform and transmitted to an automated scoring system to interpret palpation force and assign skill scores.
  • the location of the applied force is determined using the user's hand tracking system.
  • Detection of the point of pressure is carried out using a system for tracking the position of the hands in space and a system for tracking the position of the mannequin.
  • the data is fed into an automated scoring system to interpret the location, area, and pressure vector of palpation and assign skill scores.
  • Detection of hand position is carried out using an optical tracking system for the position of hands in space based on stereoscopic cameras installed on a virtual reality helmet.
  • the data is transferred to an automated scoring system for the position of the hands in space when performing palpation and assigning scores for the skill.
  • Verbal interaction with the patient It is possible to conduct a dialogue using the dialogue interface.
  • the patient's responses are not only presented in writing, but also realistically voiced for maximum immersion in the virtual environment.
  • a cloud database containing a list of medications, interpretations of examination results, and the correct sequence of actions for the student;
  • the examination and solution of the clinical case is carried out in a virtual environment (without the use of physical surroundings), simulating a real examination room.
  • An automated assessment system and a system of intelligent tips in the training mode help reduce the load on the teacher during the learning process.
  • a patient abdomen simulator is used to perform patient intake and palpation, eliminating the need for patients or actors.
  • Virtual reality is complemented by the tactile sensations of a realistic simulator with changeable pathologies.
  • Anatomical landmarks and visualization of the environment allow you to immerse yourself in solving a clinical case as much as possible.
  • the simulator interface is presented in two parts - the operator (teacher) and the student.
  • the launch is carried out from the operator’s computer.
  • the learner's interface is located entirely in a virtual environment and is interactively adapted.
  • An example of a physical examination of patients with acute abdominal pathology The solution makes it possible to simulate various acute pathologies of the abdominal organs with a high degree of reliability.
  • Clinical cases have been developed containing complete and reliable information about the patient, the results of his research and possible treatment trajectories.
  • a phantom is used - an anatomically correct simulator of the torso of an adult or child, depending on the clinical situation.
  • a library of sounds characteristic of normal and pathological conditions is used in accordance with clinical cases and a physical model. Each sound corresponds to a specific point on the virtual patient’s body and is transmitted directly to the virtual reality helmet.
  • the choice of auscultation point is carried out by applying a stethoscope simulator to the corresponding points on the phantom.
  • Determination of pressure points and force is carried out using a system for tracking the position of the hands in space and a tracking system for the position of the mannequin, as well as weight sensors located on the platform, and is transferred to an automated assessment system for interpreting the force when performing palpation and assigning points for the skill.
  • the location of the applied force is determined using the user's hand tracking system.
  • the virtual patient demonstrates pain upon palpation in a certain area. Pain is presented in the form of various variations of the patient's response with corresponding sounds and demonstration of contraction of the anterior abdominal wall with elevation of the legs and upper body in response to pressure of varying depths.
  • the patient's responses are presented not only in written form, but also realistically voiced for maximum immersion in the virtual environment.
  • Two modes are implemented, used sequentially - training mode and evaluation mode.
  • visual cues are available to the user: areas on the virtual patient’s body available for performing actions (palpation, percussion, auscultation), the direction of hand position.
  • An example of a physical examination of patients with diseases of the cardiovascular system The solution makes it possible to simulate various pathologies of the cardiovascular system with a high degree of reliability. For each pathology, clinical cases have been developed containing complete and reliable information about the patient, the results of his research and possible treatment trajectories.
  • a phantom is used - an anatomically correct imitation of the body of an adult lying on his back - a widely used model of a cardiac patient simulator is used, which most fully and reliably imitates the symptoms of various cardiovascular pathologies - Harvey.
  • a library of symptoms characteristic of normal and pathological conditions is used in accordance with clinical cases and a physical model, including pathological changes in sounds, pulsations at various points, and displacement of the heart impulse. Each sound corresponds to a specific point on the virtual patient's body and is transmitted directly to the stethoscope simulator. The choice of auscultation point is carried out by applying a stethoscope simulator to the corresponding points on the phantom.
  • Determination of selected areas of chest palpation, points of pulsation and auscultation is carried out using a tracking system for the position of the hands in space and a magnetic tracking system built into the mannequin, and is transferred to an automated assessment system to interpret the completeness of the examination and identify pathological formations when performing auscultation and scoring for skill.
  • the system automatically evaluates all user actions and at the end of the session provides results in the form of points with a detailed transcript.
  • Actions assessed may include the sequence of palpation points, the force applied, the accuracy of the positioning of the user's hands relative to the patient's body, diagnosis, elements of examination and interaction with the patient and the environment. Results tables are saved and linked to user accounts.
  • Quantitative parameters necessary for the implementation of the proposed technical solution number of monitored degrees of freedom of movement of the user’s head: 6 (3 movements, 3 rotations); number of monitored degrees of freedom of movement of the mannequin: 6 (3 movements, 3 rotations); tracking data update rate: from 60Hz; range of measured pressing forces on the dummy: 0-10 kgf; sensitivity for determining the coordinates of pressing on the surface of the mannequin: 5mm; data update rate from weight sensors: from 60 GHz;

Landscapes

  • Instructional Devices (AREA)

Abstract

Настоящее техническое решение относится к области вычислительной техники. Симуляционный комплекс для обучения пользователей физикальному обследованию пациентов, выполненный с возможностью физической пальпации, перкуссии и аускультации частей тела, содержит в своем составе связанные между собой: манекен, содержащий систему трекинга положения манекена, причем манекен оснащен приводом диафрагмы, при этом на рукоятке привода диафрагмы закреплен шаговый двигатель, реализованный для достоверной имитации дыхания; платформу-базу для установки манекена, содержащую датчики веса для детектирования степени надавливания и электронный блок управления, связанный с приводом диафрагмы и вычислительным центром; вычислительный центр для централизованного управления, мониторинга и учета проводимых сессий обучения, выполненный с возможностью обработки поступающих данных и передачи их в систему виртуальной реальности; систему виртуальной реальности, реализованную на базе комплексной технологии тактильного трекинга, выполненную с возможностью трекинга, по меньшей мере, головы и рук пользователя.

Description

СИМУЛЯЦИОННЫЙ КОМПЛЕКС ДЛЯ ОБСЛЕДОВАНИЯ БРЮШНОЙ ПОЛОСТИ
ОБЛАСТЬ ТЕХНИКИ
Настоящее техническое решение относится к области вычислительной техники, в частности, к комплексам для обучения пользователей физикальному обследованию пациентов.
УРОВЕНЬ ТЕХНИКИ
Из уровня техники известно решение, выбранное в качестве наиболее близкого аналога, RLI 2715148 С1 , 25.02.2020. Данное решение относится к области вычислительной техники, а именно к симуляторам с использованием виртуальной реальности. Симулятор включает в себя ПК с машиночитаемым носителем. Он состоит из логической части симулятора и графической трехмерной оболочки, которые подключаются к компьютеру. Он также включает периферийные устройства для навигации в виртуальной среде. Логическая часть в виде программного комплекса включает связанные между собой посредством локального программного интерфейса модуль коммутации и модуль оценки. Коммутационный VR-симулятор спроектирован таким образом, что оператор связан двусторонней связью с инструктором и очками виртуальной реальности. В состав очков виртуальной реальности входят: шлем, наушники, микрофон, манипулятор-контроллер, трекеры положения и платформа для передвижения. Очки виртуальной реальности имеют двустороннее подключение к программной системе. Он состоит из модуля набора сценариев, модуля редактора сценариев и базового модуля программного ядра. Модуль двигателя состоит из модуля симулятора, модуля переключения, модуля оценки и голосового модуля.
Предлагаемое решение направлено на устранение недостатков современного уровня техники и отличается от известных решений тем, что предложенный комплекс совмещает преимущества виртуальной реальности и высокореалистичных тактильных симуляторов.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Технической проблемой, на решение которой направлено заявленное решение, является создание симуляционного комплекса для обучения пользователей физикальному обследованию пациентов. Дополнительные варианты реализации настоящего изобретения представлены в зависимых пунктах изобретения.
Технический результат заключается в обеспечении безопасного обучения медицинского персонала. Дополнительный технический результат заключается в расширении арсенала технических средств симуляционного комплекса.
Заявленные технические результаты достигаются за счет разработки симуляционного комплекса для обучения пользователей физикальному обследованию пациентов, выполненному с возможностью физической пальпации, перкуссии и аускультации частей тела, и содержащего в своем составе связанные между собой: манекен, содержащий систему трекинга положения манекена, причем манекен оснащен приводом диафрагмы, при этом на рукоятке привода диафрагмы закреплен шаговый двигатель, реализованный для достоверной имитации дыхания; платформу-базу для установки манекена, содержащую датчики веса для детектирования степени надавливания и электронный блок управления, связанный с приводом диафрагмы и вычислительным центром; вычислительный центр для централизованного управления, мониторинга и учета проводимых сессий обучения, выполненный с возможностью обработки поступающих данных и передачи их в систему виртуальной реальности; систему виртуальной реальности, реализованную на базе комплексной технологии тактильного трекинга, выполненную с возможностью трекинга, по меньшей мере, головы и рук пользователя
В частном варианте реализации описываемого симуляционного комплекса, платформа-база для установки манекена, содержит, по меньшей мере, 4 датчика веса для детектирования степени надавливания.
ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.
Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.
Компьютерные технологии активно используются в образовательном процессе практически по всему миру. Создание обучающих компьютерных симуляторов представляет собой одно из ключевых направлений в компьютеризации обучения. Полное погружение в виртуальную реальность и взаимодействие с ее объектами достигается только при использовании специальных устройств. Такие устройства, которые обеспечивают полное погружение в виртуальную реальность и имитируют взаимодействие человека с ней с помощью органов чувств называют системами виртуальной реальности (VR).
Важным фактором для повышения уровня погружения в виртуальную среду является возможность интерактивного взаимодействия с элементами окружения и персонажами в виртуальной реальности.
Использование симуляционных методик обусловлено необходимостью обеспечения безопасности пациентов, предоставления запланированной практики и достаточного количества повторений для отработки практических умений.
Каждая из существующих модальностей симуляции имеет свои ограничения, так технология с использованием симулированных пациентов позволяет отрабатывать коммуникативные навыки, внешне имитировать некоторые заболевания, передавать эмоции, но не позволяет имитировать острые состояния, отрабатывать инвазивные процедуры, а также ограничена невозможностью имитации широкого спектра клинических симптомов. Тренажеры для отработки навыков физикального осмотра позволяют имитировать различные клинические находки - пальпаторные, например, объемные образования или увеличенные внутренние органы, изменения пульсации; аускультативные признаки заболеваний - сердечные шумы, легочные хрипы, но в то же время не позволяют имитировать реакцию пациента и, как следствие - ряд симптомов, связанных с болезненностью или рефлекторными движениями при нажатии или постукивании в определенных анатомических областях. Демонстрация симптомов и возможность отработки навыков физикального осмотра на реальных пациентах затруднена, поскольку запланировать наличие пациентов со всеми необходимыми для освоения симптомами за время клинической ротации студентов невозможно, большинство пациентов отказываются от взаимодействия со студентами, так как испытывают дискомфорт и болевые ощущения при обследовании студентами. У пациентов с острой патологией помимо болевых ощущений повторные обследования студентами могут привести к осложнениям, а также к задержке оказания необходимой экстренной помощи. В то же время для приобретения устойчивых навыков требуется многократное повторение и возможность наблюдения симптомов у различных пациентов.
Таким образом приобретение навыков физикального осмотра и распознавания патологий студентами медицинских вузов существенно затруднено, что в дальнейшем влечет некорректную интерпретацию информации, полученной при обследовании пациентов.
Благодаря предлагаемого техническому решению, обучающийся пользователь видит окружение, интерактивные предметы, анимированного интерактивного пациента и физически ощущают анатомически достоверный рельеф тела, синхронизированный с визуальной картинкой благодаря использованию данных с датчиков веса в реальном времени. Такой подход увеличивает глубину погружения, расширяет возможности взаимодействия, а также позволяет реализовывать системы автоматизированной комплексной объективной оценки действий пользователя.
Для достижения реализации этого подхода, в решении используются технологии трекинга головы и рук пользователя, трекинга манекена и датчики веса для детектирования усилия нажатия на поверхность манекена, электрический привод движения имитатора диафрагмы, а также специально созданные алгоритмы для применения данных всех датчиков и контентная составляющая, включающая отрисованную локацию, модели окружения, пациента, анимации, интерфейсы и т.д.
Для обеспечения корректной оценки мануальных навыков обучающегося, симулятор (посредством вычислительной части) выполняет точную оценку координат и усилий давлений, прикладываемых к манекену руками пользователя. Для этого разработаны алгоритмы, комбинирующие данные системы оптического трекинга рук (интегрированной в шлем виртуальной реальности) и системы детектирования усилий нажатия. Полученные координаты и усилия давлений используются для визуализации деформаций тела виртуального пациента и его внутренних органов в виртуальной реальности.
Для управления физическим имитатором диафрагмы, применяется шаговый двигатель, закрепленный на рукоятке привода диафрагмы на манекене, и электронная схема управления, подключенная вычислительному центру. Симуляционная программа имеет возможность в определенные моменты симуляции подавать управляющие команды на привод для приведения в движение имитатора диафрагмы. При этом визуальный контент симулятора синхронизирован с состоянием привода.
Разработана уникальная программно-аппаратная часть, сочетающая синхронизированную физическую модель пациента и виртуальную. Разработанный контент клинически достоверен и позволяет проводить как обучение, так и автоматическую оценку мануальных и клинических навыков, что повышает объективность оценки и снижает нагрузку на преподавателя.
Симулятор с высокой степенью достоверности позволяет имитировать более 60 клинических ситуаций, включающих норму и различные патологии органов брюшной полости. Сценарии зависят от физической модели, которая в данный момент установлена в манекене для повышения реалистичности виртуальной модели. Физическая конфигурация манекена перед запуском сессии задается через пользовательский интерфейс.
Платформа-база (ложемент) должна включать, по меньшей мере, 4 датчика веса (усилия) для определения степени надавливания и электронный контроллер для считывания, обработки и передачи данных с датчиков.
Ложемент для манекена содержит интегрированные тензорезистивные датчики и плату управления.
Структура блока управления:
1. Микроконтроллер STM32;
2. Драйвер шагового двигателя;
3. Система питания;
4. Аналого-цифровые преобразователи мостового типа для тензорезистивных датчиков.
Функционал блока управления:
1. Усиление, считывание и оцифровка аналоговых сигналов четырех тензорезистивных датчиков. 2. Преобразование напряжения и управление шаговым мотором привода диафрагмы, закрепленном на манекене.
3. Обмен данными с компьютером через USB интерфейс (передача показаний с датчиков, получение команд на управление приводом).
Аппаратная часть может быть реализована с помощью следующих конкретных элементов:
• Манекен Abdominal Examination Trainer с интегрированным приводом дыхания, без изменений в брюшной полости (для сохранения тактильной достоверности);
• Очки виртуальной реальности Oculus Quest;
• Вычислительный центр (вычислительное устройство, способное осуществлять необходимую обработку данных, например, компьютер с беспроводным передатчиком видеосигнала и монитором);
• Шаговый мотор, электронный блок управления, и ременная передача на вал диафрагмы.
Один из примеров работы предлагаемого технического решения.
• Привод, установленный на манекене, вращает штатный вал, имитируя дыхание пациента.
• Манекен устанавливается на платформу-базу (ложемент), оснащенную высокочувствительными датчиками веса и упором, повторяющим форму манекена с боковой стороны для снятия нагрузки с датчиков при проведении двуручных пальпаций.
• Платформа-база подключается к вычислительному центру (например, к компьютеру) через интерфейс USB и в реальном времени передает данные о положении рук пользователя и показаниях датчиков веса.
• Обучающийся пользователь в VR очках видит лежащего пациента, видит свои руки в области около пациента и может выполнять пальпацию в соответствии со сценарием. Усилия нажатия при пальпации, определенные с помощью датчиков веса, конвертируются в деформацию поверхности тела виртуального пациента и используются системой автоматизированной оценки.
• Внутри виртуальной локации присутствуют интерфейсы для взаимодействия с виртуальным пациентом.
• Внутри виртуальной локации возможно включение режима визуализации внутренних органов пациента. Симулятор содержит библиотеку звуков, характерных для нормального и патологических состояний в соответствии с клиническими кейсами и физической моделью. Каждый звук соответствует определенной точке на теле виртуального пациента.
Детекция степени надавливания осуществляется с помощью датчиков веса, расположенных на платформе, и передается в автоматизированную систему оценки для интерпретации усилия при выполнении пальпации и выставлении баллов за навык. Местоположение применяемого усилия определяется с помощью системы трекинга рук пользователя.
Детекция места надавливания осуществляется с помощью системы трекинга положения рук в пространстве и системы трекинга положения манекена. Данные передаются в автоматизированную систему оценки для интерпретации места, площади и вектора давления при выполнении пальпации и выставлении баллов за навык.
Детекция положения рук осуществляется с помощью системы оптического трекинга положения рук в пространстве на базе стереоскопических камер, установленных на шлеме виртуальной реальности. Данные передаются в автоматизированную систему оценки для положения рук в пространстве при выполнении пальпации и выставлении баллов за навык.
Симуляция физики реакции внутренних органов на давление. Данные о местоположении и силе давления на поверхность живота используются для деформации и перемещения моделей внутренних органов виртуального пациента в режиме визуализации внутренних органов (прозрачный живот).
Помимо физической симуляции в виртуальном окружении, для каждого случая (сценария) разработаны клинические кейсы, содержащие полную и достоверную информацию о пациенте, результатах его исследования, вариантах осмотра и постановки диагноза.
Симуляция боли у пациента. Для демонстрации обратной связи от пациента и проявления эмпатии при обследовании, в состояниях, когда в области передней брюшной стенки предусмотрена болезненность различной степени, виртуальный пациент демонстрирует боль при пальпации в определенной области. Боль представлена в виде различных вариантов звуков пациента и демонстрации сокращения передней брюшной стенки в ответ на надавливание различной степени глубины. Комплексная автоматизированная система оценки. Система представляет собой сбор информации от датчиков физического взаимодействия, пространственной ориентации и действий обучающегося в виртуальной среде. На основании руководящих документов в систему оценки заложен алгоритм эталонного выполнения задания. Предусмотрено ранжирование действий и бездействия обучающегося по степени важности и степени правильности решения клинического кейса.
Пальпаторные анатомические ориентиры. Физическая часть, используемая для моделирования патологий органов брюшной полости широко представлена в США, Европе и Азии. В качестве симуляции физической части выбран тренажер для моделирования патологий органов брюшной полости компании Limp & Things как самый реалистичный, широко распространенный и прошедший валидацию в ведущих медицинских школах США, Европы и Азии. Существует возможностьб интегрировать физические медицинские симуляционные тренажеры и робот- симуляционные комплексы для моделирования патологий органов брюшной полости любого производителя.
Вербальное взаимодействие с пациентом. Предусмотрена возможность ведения диалога с помощью диалогового интерфейса. Ответы пациента не только представлены в письменном виде, но и реалистично озвучены для максимального погружения в виртуальную среду.
Наличие режимов обучение/экзамен.
В режиме обучения пользователю доступны визуальные подсказки: области на теле виртуального пациента доступные для совершения действий (пальпации, перкуссии, аускультации), направление положения рук. В режиме экзамена подсказки отсутствуют. Выполняется автоматизированная оценка решения кейса в соответствии с предусмотренными протоколами. Ограничение сессий по времени в зависимости от продолжительности и задач экзамена.
Система автоматизированной комплексной объективной оценки в ходе симуляционной сессии (по принципам ОСКЭ):
Осуществляется автоматическая оценка по 5 обязательным блокам:
Опрос;
Общий осмотр и объективное обследование;
Дополнительные методы обследования;
Диагноз;
Лечение. Предлагаемое техническое решение также содержит:
Интерфейс корректировки данных для соответствия актуальным рекомендациям локального министерства здравоохранения;
Интерфейс оперативной корректировки параметров оценки в зависимости от учебных целей' и клинических рекомендаций;
Облачную базу данных, содержащую перечень препаратов, интерпретации результатов обследований, правильные последовательности действий' обучающегося;
Отслеживание каждого действия и бездействия обучающегося для определения финального результата.
Визуализация внутренних органов при пальпации. В режиме обучение доступна визуализация внутренних органов. При выполнении пальпации органы могут изменять свою форму, что визуализируется в очках виртуальной реальности.
Визуализация обстановки смотрового кабинета. Выполнение осмотра и решение клинического кейса осуществляется в виртуальной среде (без использования физических предметов антуража), имитирующей реальный смотровой кабинет.
Возможность выполнения других манипуляций (кроме осмотра живота). При решении клинического кейса доступны также: осмотр, пальпация и аускультация других органов и систем: сердечно-сосудистой, дыхательной, лимфатической, пищеварительной, эндокринной.
Имитация дыхания в автоматическом режиме. Имитация дыхания автоматически в соответствии с предустановленным сценарием осуществляется с помощью электропривода, установленного на манекене и соответствующих движений тела пациента в виртуальной среде.
Функции, выполняемые предлагаемым техническим решением.
Отображение локации кабинета врача, пациента и интерфейсов в виртуальной реальности.
Отслеживание движений головы и рук пользователя и манекена, синхронизация позиций с соответствующими объектами в виртуальной реальности.
Обеспечение максимально реалистичной тактильной обратной связи при взаимодействии с телом виртуального пациента с помощью использования высоко реалистичного манекена и интегрированной в него электроники, датчиков и электропривода для имитации дыхания.
Измерение координат и силы нажатия на манекен и проведении пальпации.
Выполнение обучающих и тестирующих сессий, выдача результата комплексной оценки действий пользователя.
Потребительские качества:
Экономия площади. Использование виртуального окружения не требует наличия физической площади большого размера. В одном кабинете могут быть визуализированы различные локации.
Экономия персонала. Автоматизированная система оценки и система интеллектуальных подсказок в режиме обучения позволяют снизить нагрузку на преподавателя в процессе обучения. Для выполнения приема пациента и пальпации используется симулятор живота пациента, что исключает необходимость участия пациентов или актеров.
Высокая реалистичность. Виртуальная реальность дополнена тактильными ощущениями реалистичного тренажера со сменными патологиями. Анатомические ориентиры и визуализация окружения позволяют максимально погрузиться в решение клинического кейса.
Эргономичность. Все части симулятора занимают не более 1 м.кв, площади помещения, датчики располагаются на стенах и очках виртуальной реальности, а мобильная платформа может свободно перемещаться в случае необходимости.
Удобство интерфейса. Интерфейс симулятора представлен двумя частями - оператора (преподавателя) и обучающегося. Запуск осуществляется с компьютера оператора. Интерфейс обучающегося расположен полностью в виртуальной среде и интерактивно адаптирован.
Медицинская достоверность. В комплексе используется физическая часть симулятора живота пациента, которая имеет высокую доказательную базу и полностью соответствует тактильным ощущениям при пальпации живого человека. Наполнение кейса: диалоги, результаты обследований и поведение виртуального пациента соответствуют клиническим ситуациям, которые составлены в соответствии с клиническими рекомендациями и порядками осмотра по профилю заболевания.
Пример физикального обследования пациентов с острой абдоминальной патологией. Решение позволяет с высокой степенью достоверности имитировать различные острые патологии органов брюшной полости. Для каждой патологии разработаны клинические кейсы, содержащие полную и достоверную информацию о пациенте, результатах его исследования и возможных траекториях лечения. Используется фантом - анатомически правильный имитатор туловища взрослого человека или ребенка, в зависимости от клинической ситуации. Используется библиотека звуков, характерных для нормального и патологических состояний в соответствии с клиническими кейсами и физической моделью. Каждый звук соответствует определенной точке на теле виртуального пациента и передается, непосредственно, в шлем виртуальной реальности. Выбор точки аускультации осуществляется прикладыванием имитатора стетоскопа к соответствующим точкам на фантоме.
Определение точек и силы надавливания осуществляется с помощью системы трекинга положения рук в пространстве и системы трекинга положения манекена, а также датчиков веса, расположенных на платформе, и передается в автоматизированную систему оценки для интерпретации усилия при выполнении пальпации и выставлении баллов за навык. Местоположение применяемого усилия определяется с помощью системы трекинга рук пользователя.
Для демонстрации реакции пациента в состояниях, когда в области передней брюшной стенки предусмотрена болезненность различной выраженности, виртуальный пациент демонстрирует боль при пальпации в определенной области. Боль представлена в виде различных вариантов реакции пациента с соответствующими звуками и демонстрацией сокращения передней брюшной стенки с подъемом ног и верхней части туловища в ответ на надавливания различной глубины.
Предусмотрена возможность ведения диалога с помощью диалогового интерфейса. Ответы пациента представлены не только в письменном виде, но и реалистично озвучены для максимального погружения в виртуальную среду.
Реализовано два режима, используемых последовательно - режим обучения и режим оценки. В режиме обучения пользователю доступны визуальные подсказки: области на теле виртуального пациента доступные для совершения действий (пальпации, перкуссии, аускультации), направление положения рук.
В режиме оценки подсказки отсутствуют. Выполняется автоматизированная оценка решения кейса в соответствии с предусмотренными протоколами. Ограничение сессий по времени в зависимости от продолжительности и задач экзамена. Осуществляется автоматическая оценка по 5 обязательным блокам: И Опрос, Общий осмотр и объективное обследование, Дополнительные методы обследования, Диагноз и Лечение.
Пример физикального обследования пациентов с заболеваниями органов сердечно-сосудистой системы. Решение позволяет с высокой степенью достоверности имитировать различные патологии органов сердечно-сосудистой системы. Для каждой патологии разработаны клинические кейсы, содержащие полную и достоверную информацию о пациенте, результатах его исследования и возможных траекториях лечения. Используется фантом - анатомически правильная имитация тела взрослого человека, лежащего на спине - используется широко распространённая модель симулятора кардиологического пациента, наиболее полно и достоверно имитирующего симптомы различных сердечно-сосудистых патологий - Harvey. Используется библиотека симптомов, характерных для нормального и патологических состояний в соответствии с клиническими кейсами и физической моделью, включающая патологические изменения звуков, пульсации в различных точках, смещение сердечного толчка. Каждый звук соответствует определенной точке на теле виртуального пациента и передается непосредственно в имитатор стетоскопа. Выбор точки аускультации осуществляется прикладыванием имитатора стетоскопа к соответствующим точкам на фантоме.
Определение выбранных областей пальпации грудной клетки, точек пульсации и аускультации осуществляется с помощью системы трекинга положения рук в пространстве и системы магнитного трекинга, встроенной в манекен, и передается в автоматизированную систему оценки для интерпретации полноты обследования и выявления патологических образований при выполнении аускультации и выставлении баллов за навык.
В процессе проведения симуляционной сессии, система автоматически оценивает все действия пользователя и в конце сессии выдает результаты в виде баллов с подробной расшифровкой. В число оцениваемых действий могут входить последовательность прохождения точек пальпации, прилагаемые усилия, точность позиционирования рук пользователя относительно тела пациента, постановка диагноза, элементы осмотра и взаимодействия с пациентом и окружением. Таблицы результатов сохраняются и привязываются к учетным записям пользователей.
Настоящее техническое решение позволяет оснащать существующие робототехнические комплексы или манекены тактильным трекингом для интеграции в системы виртуальной реальности. Универсальность технологии позволяет применять комплекс в других сферах. В первую очередь, в промышленности, для управления сложным робототехническим оборудованием, применять в симуляторах сложных технологических объектов и их окружения с поддержкой интеграции систем управления реального времени.
Количественные параметры, необходимые для реализации предлагаемого технического решения: количество отслеживаемых степеней свободы движений головы пользователя: 6 (3 перемещения, 3 вращения); количество отслеживаемых степеней свободы движений манекена: 6 (3 перемещения, 3 вращения); частота обновления данных трекинга: от 60Гц; диапазон измеряемых усилий нажатия на манекен: 0-10 кгс.; чувствительность определения координат нажатия на поверхность манекена: 5мм; частота обновления данных с датчиков веса: от 60Г ц;
Входные воздействия, необходимые для реализации предлагаемого технического решения: движения шлема виртуальной реальности; движения рук пользователя; положение и ориентация манекена; данные датчиков веса для дектирования усилий нажатия на манекен.
Выходные реакции, необходимые для реализации предлагаемого технического решения: изображение в очках виртуальной реальности; звук в наушниках; таблицы результатов прохождения симуляционных сессий.
В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Claims

Формула
1. Симуляционный комплекс для обучения пользователей физикальному обследованию пациентов, выполненный с возможностью физической пальпации, перкуссии и аускультации частей тела, содержащий в своем составе связанные между собой: манекен, содержащий систему трекинга положения манекена, причем манекен оснащен приводом диафрагмы, при этом на рукоятке привода диафрагмы закреплен шаговый двигатель, реализованный для достоверной имитации дыхания; платформу-базу для установки манекена, содержащую датчики веса для детектирования степени надавливания и электронный блок управления, связанный с приводом диафрагмы и вычислительным центром; вычислительный центр для централизованного управления, мониторинга и учета проводимых сессий обучения, выполненный с возможностью обработки поступающих данных и передачи их в систему виртуальной реальности; систему виртуальной реальности, реализованную на базе комплексной технологии тактильного трекинга, выполненную с возможностью трекинга, по меньшей мере, головы и рук пользователя.
2. Симуляционный комплекс по п.1 в котором платформа-база для установки манекена, содержит, по меньшей мере, 4 датчика веса для детектирования степени надавливания.
PCT/RU2022/000376 2022-11-11 2022-12-16 Симуляционный комплекс для обследования брюшной полости WO2024102018A1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2022129353 2022-11-11
RU2022129353A RU2798405C1 (ru) 2022-11-11 Симуляционный комплекс для обследования брюшной полости c применением vr-симуляции на базе комплексной технологии тактильного трекинга

Publications (1)

Publication Number Publication Date
WO2024102018A1 true WO2024102018A1 (ru) 2024-05-16

Family

ID=91033386

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2022/000376 WO2024102018A1 (ru) 2022-11-11 2022-12-16 Симуляционный комплекс для обследования брюшной полости

Country Status (1)

Country Link
WO (1) WO2024102018A1 (ru)

Similar Documents

Publication Publication Date Title
CN111465970B (zh) 用于教导患者护理的增强现实系统
US6428323B1 (en) Medical examination teaching system
Burdea et al. Virtual reality-based training for the diagnosis of prostate cancer
US6758676B2 (en) Interactive education system for teaching patient care
US20030031993A1 (en) Medical examination teaching and measurement system
US9460637B2 (en) Stethoscopy training system and simulated stethoscope
US20130323700A1 (en) Hybrid physical-virtual reality simulation for clinical training capable of providing feedback to a physical anatomic model
WO1999042978A1 (en) Method and apparatus for surgical training and simulating surgery
US20080050711A1 (en) Modulating Computer System Useful for Enhancing Learning
US20150194066A1 (en) Medical device training systems and methods of using
CN105096670A (zh) 一种用于鼻胃管操作实训的智能沉浸式教学系统及装置
Vaughan et al. ParaVR: Paramedic virtual reality training simulator
Yang et al. Immersive virtual reality-based cardiopulmonary resuscitation interactive learning support system
TW201719599A (zh) 互動式心肺復甦術教學輔具裝置及方法
RU2798405C1 (ru) Симуляционный комплекс для обследования брюшной полости c применением vr-симуляции на базе комплексной технологии тактильного трекинга
WO2024102018A1 (ru) Симуляционный комплекс для обследования брюшной полости
TWI467521B (zh) 臨床診斷之學習系統及方法
RU2799123C1 (ru) Способ обучения с использованием взаимодействия с физическими объектами в виртуальной реальности
WO2024102017A1 (ru) Способ обучения навыкам физикального обследования
Coduri et al. RiNeo MR: A mixed reality simulator for newborn life support training
US20230386368A1 (en) Advanced patient simulator
KR102252249B1 (ko) 개선된 인체모형 및 침술 컨트롤러를 구비한 침술훈련시스템
Scerbo et al. Medical simulation
CN114627708A (zh) 一种基于混合现实技术的助产模拟系统及其方法
English et al. Enhancing user presence in a chest tube simulator by Joining virtual reality with a mannequin