WO2024102017A1 - Способ обучения навыкам физикального обследования - Google Patents

Способ обучения навыкам физикального обследования Download PDF

Info

Publication number
WO2024102017A1
WO2024102017A1 PCT/RU2022/000374 RU2022000374W WO2024102017A1 WO 2024102017 A1 WO2024102017 A1 WO 2024102017A1 RU 2022000374 W RU2022000374 W RU 2022000374W WO 2024102017 A1 WO2024102017 A1 WO 2024102017A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
patient
virtual
mannequin
examination
Prior art date
Application number
PCT/RU2022/000374
Other languages
English (en)
French (fr)
Inventor
Залим Замирович БАЛКИЗОВ
Original Assignee
Залим Замирович БАЛКИЗОВ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from RU2022129358A external-priority patent/RU2799123C1/ru
Application filed by Залим Замирович БАЛКИЗОВ filed Critical Залим Замирович БАЛКИЗОВ
Publication of WO2024102017A1 publication Critical patent/WO2024102017A1/ru

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine

Definitions

  • This technical solution relates to the field of computer technology, in particular, to methods of teaching users physical examination skills to recognize pathologies using a virtual reality simulation complex.
  • the solution chosen as the closest analogue is known from the prior art, RU 2715148 C1, 02/25/2020.
  • This solution relates to the field of computer technology, namely to simulators using virtual reality.
  • the simulator includes a PC with machine-readable media. It consists of a logical part of the simulator and a graphical three-dimensional shell, which are connected to the computer. It also includes peripherals for navigating the virtual environment.
  • the logical part in the form of a software package includes a switching module and an evaluation module connected to each other via a local software interface.
  • the commutation VR simulator is designed in such a way that the student is connected by two-way communication with the instructor and virtual reality glasses.
  • the virtual reality glasses include: a helmet, headphones, a microphone, a manipulator-controller, position trackers and a platform for movement.
  • Virtual reality glasses have a two-way connection to the software system. It consists of a script suite module, a script editor module, and a core software module.
  • the engine module consists of a simulator module, a switching module, an evaluation module and a voice module.
  • the proposed solution is aimed at eliminating the shortcomings of the current state of the art and differs from known solutions in that the proposed method combines the advantages of virtual reality and highly realistic tactile simulators.
  • the technical problem that the claimed solution is aimed at is creating a way to teach users skills physical examination to recognize pathologies using a virtual reality simulation complex.
  • the technical result is to ensure safe training for users.
  • An additional technical result is to improve the quality of user training.
  • the evaluated actions may include the sequence of passage of palpation points, the effort applied, the accuracy of the positioning of the user’s hands relative to the patient’s body, diagnosis, elements of examination and interaction with the patient and the environment.
  • An important factor for increasing the level of immersion in a virtual environment is the ability to interactively interact with environmental elements and characters in virtual reality.
  • simulation systems are driven by the need to ensure patient safety by providing planned practice and sufficient repetition for trainees to develop practical skills.
  • Each of the existing simulation modalities has its own limitations, so the technology using simulated patients allows one to practice communication skills, externally imitate some diseases, convey emotions, but does not allow one to simulate acute conditions, practice invasive procedures, and is also limited by the impossibility of simulating a wide range of clinical symptoms.
  • Simulators for practicing physical examination skills allow you to simulate various clinical findings - palpation, for example, space-occupying formations or enlarged internal organs, changes in pulsation; Auscultatory signs of diseases - heart murmurs, pulmonary rales, but at the same time do not allow simulating the patient’s reaction and, as a result, a number of symptoms associated with pain or reflex movements when pressing or tapping in certain anatomical areas.
  • the objective of the present invention is to develop skills in physical examination of patients and recognition of pathologies of various organs and systems.
  • the teaching method is based on visualization of various symptoms in a virtual environment when students interact with simulators and phantoms that imitate various parts of the body. Thanks to the technologies used, the student has the opportunity to observe the symptoms of various diseases, including pain during palpation, percussion and auscultation changes. In addition, the student is not limited in time when performing a physical examination and can repeat the examination many times. The student is offered the opportunity to visualize the pathology of organs when the skin transparency mode is turned on, as well as visual cues, guiding the course of the examination. At the same time, the possibility of simultaneous perception of information through different channels - sensory and visual - makes it possible to improve the memorization of information (Baddeley, 1974, 2007). The multiplier effect of the simultaneous use of different modalities is the basis of the Cognitive Theory of Multimedia Learning (Mayer, 1998), students better transfer the knowledge they acquire in the process of mixed (multimodal) learning
  • the proposed method of training includes training in the following techniques:
  • technologies are used for tracking the user’s head and hands, tracking mannequins and pressure sensors on the surface of the mannequin, as well as specially created algorithms for applying data from all sensors and a content component, including a rendered location, models of the environment, the patient, animations of his movements and reactions , models of pathological changes, etc.
  • Actions assessed may include the sequence of points of palpation, percussion, force applied, the accuracy of the positioning of the user's hands and instruments relative to the patient's body, diagnosis, elements of examination and interaction with the patient and the environment. Results tables are saved and linked to user accounts.
  • Determination of pressure points and force is carried out using a system for tracking the position of the hands in space and a tracking system for the position of the mannequin, as well as pressure sensors located on the platform, and is transferred to an automated assessment system for interpreting the force when performing palpation and assigning points for the skill.
  • the location of the applied force is determined using the user's hand tracking system.
  • the virtual patient demonstrates pain upon palpation in a certain area. Pain is presented in the form of various variants of the patient's reaction with corresponding sounds, facial expressions and demonstration of contraction of the anterior abdominal wall with raising of the legs and upper body in response to pressure of varying depths.
  • the method includes two modes used sequentially - a training mode and an evaluation mode.
  • the training mode visual cues are available to the user: marked areas on the virtual patient’s body available for performing actions (palpation, percussion, auscultation), the direction of hand position. There are no hints in rating mode.
  • An automated assessment of the case solution is performed in accordance with the provided protocols. Time limits on sessions depending on the duration and objectives of the exam. An automatic assessment is carried out in 5 mandatory blocks: Survey, General examination and objective examination, Additional examination methods, Diagnosis and Treatment.
  • Determination of pressure points and force is carried out using a system for tracking the position of the hands in space and a system for tracking the position of the mannequin, as well as pressure sensors located on the platform, and is transferred to an automated assessment system for interpreting the force and identifying pathological formations when performing palpation and assigning points for the practiced skill.
  • Pain is presented in the form of various options for the patient's reaction, accompanied by sounds and demonstration of contraction of the anterior abdominal wall with lifting of the legs and upper body in response to pressure of varying depths.
  • the patient's responses are presented not only in written form, but also realistically voiced for maximum immersion in the virtual environment.
  • the method includes two modes used sequentially - a training mode and an evaluation mode.
  • the training mode the user has access to visualization of internal organs with corresponding pathological changes.
  • organs can change their shape, which is visualized in virtual reality glasses.
  • Visual cues are available: marked areas on the virtual patient’s body available for action (palpation, percussion, auscultation), direction of hand position. There are no hints in rating mode.
  • An automated assessment of the case solution is performed in accordance with the provided protocols. Time limits on sessions depending on the duration and objectives of the exam. An automatic assessment is carried out in 5 mandatory blocks: Survey, General examination and objective examination, Additional examination methods, Diagnosis and Treatment;
  • Determination of selected auscultation points is carried out using a tracking system for the position of the hands in space and a tracking system for the position of the mannequin, and is transferred to an automated assessment system for interpretation completeness of the examination and identification of pathological formations when performing auscultation and assigning points for the skill.
  • the patient's responses are presented not only in text form, but also realistically voiced for maximum immersion in the virtual environment.
  • the method includes two modes used sequentially - a training mode and an evaluation mode.
  • the training mode the user has access to visualization of the respiratory system with corresponding pathological changes.
  • Visual cues are available: areas on the virtual patient’s body available for action (palpation, percussion, auscultation), direction of hand position, stethoscope position. There are no hints in rating mode.
  • An automated assessment of the case solution is performed in accordance with the provided protocols. Time limits on sessions depending on the duration and objectives of the exam. An automatic assessment is carried out in 5 mandatory blocks: Survey, General examination and objective examination, Additional examination methods, Diagnosis and Treatment.
  • Determination of selected areas of chest palpation, pulsation points and auscultation is carried out using a tracking system the position of the hands in space and the magnetic tracking system built into the mannequin, and is transferred to an automated assessment system to interpret the completeness of the examination and identify pathological formations when performing auscultation and assigning points for the skill being practiced.
  • the patient's responses are presented not only in text form, but also realistically voiced for maximum immersion in the virtual environment.
  • a simulator for physical examination of patients with acute abdominal pathology and patients with space-occupying formations in the abdominal cavity allows one to simulate more than 60 clinical situations with a high degree of reliability, including normal conditions and various pathologies of the abdominal organs.
  • the scenarios depend on the physical model that is currently installed in the mannequin to enhance the realism of the virtual model.
  • the physical configuration of the mannequin before starting the session is set through a special user interface.
  • a stepper motor is used, mounted on the diaphragm drive handle on the dummy, and an electronic control circuit connected to the computer center.
  • the simulation program has the ability, at certain points in the simulation, to issue control commands to the actuator to drive the diaphragm simulator.
  • the visual content of the simulator is synchronized with the state of the drive.
  • the base platform (cradle) must include at least 4 pressure (force) sensors to determine the degree of pressure and an electronic controller for reading, processing and transmitting data from the sensors.
  • the dummy tray contains integrated strain gauge sensors and a control board.
  • Computing center a computing device capable of performing the necessary data processing, for example, a gaming computer with a wireless video signal transmitter and a monitor);
  • Stepper motor • Stepper motor, electronic control unit, and belt drive to the diaphragm shaft.
  • the drive mounted on the mannequin rotates the standard shaft, simulating the patient's breathing.
  • the mannequin is installed on a base platform (cradle), equipped with highly sensitive force sensors and a stop that follows the shape of the mannequin on the side to relieve the load on the sensors during two-handed palpations.
  • the base platform connects to a computing center (for example, a gaming computer) via a USB interface and transmits real-time data on the position of the user’s hands and force sensor readings.
  • a computing center for example, a gaming computer
  • the pressure forces during palpation are converted into deformation of the surface of the virtual patient's body and used by the automated assessment system.
  • the simulator through which the proposed technical solution is implemented, contains a library of sounds characteristic of normal and pathological conditions in accordance with clinical cases and a physical model. Each sound corresponds to a specific point on the virtual patient's body.
  • the degree of pressure is detected using pressure sensors located on the platform and transmitted to an automated scoring system to interpret palpation force and assign skill scores.
  • the location of the applied force is determined using the user's hand tracking system.
  • Detection of the point of pressure is carried out using a system for tracking the position of the hands in space and a system for tracking the position of the mannequin.
  • the data is fed into an automated scoring system to interpret the location, area, and pressure vector of palpation and assign skill scores.
  • Detection of hand position is carried out using an optical tracking system for the position of hands in space based on stereoscopic cameras installed on a virtual reality helmet.
  • the data is transferred to an automated scoring system for the position of the hands in space when performing palpation and assigning scores for the skill.
  • the system is a collection of information from sensors of physical interaction, spatial orientation and student actions in a virtual environment. Based on national guidelines, the assessment system includes an algorithm for benchmark task performance. The student's actions and inactions are ranked according to the degree of importance and degree of correctness of the solution to the clinical case.
  • Verbal interaction with the patient It is possible to conduct a dialogue using the dialogue interface.
  • the patient's responses are not only presented in writing, but also realistically voiced for maximum immersion in the virtual environment.
  • the user In the training mode, the user has access to visual cues: marked areas on the virtual patient’s body for performing actions (palpation, percussion, auscultation), an indicator of the direction of hand position. There are no hints in exam mode. An automated assessment of the case solution is performed in accordance with the provided protocols. Time limits on sessions depending on the duration and objectives of the exam.
  • a cloud database containing a list of medications, interpretations of examination results, and the correct sequence of actions for the student;
  • the examination and solution of the clinical case is carried out in a virtual environment (without the use of physical surroundings), simulating a real examination room.
  • An automated assessment system and a system of intelligent tips in the training mode help reduce the load on the teacher during the learning process.
  • a patient abdominal simulator is used to perform patient intake and palpation, eliminating the need for real or standardized patients or actors.
  • Virtual reality is complemented by the tactile sensations of a realistic simulator with changeable pathologies.
  • Anatomical landmarks and visualization of the environment allow you to immerse yourself in solving a clinical case as much as possible.
  • the simulator interface is presented in two parts - the instructor (teacher) and the student.
  • the launch is carried out from the instructor’s computer, and the equipment is calibrated using an application on a mobile phone.
  • the learner's interface is located entirely in a virtual environment and is interactively adapted.
  • the solution uses the physical part of the simulator for examining the abdominal cavity, which has a high evidence base and fully corresponds to the tactile sensations during palpation of a living person.
  • Case content dialogues, examination results and the behavior of the virtual patient corresponds to clinical situations, which are compiled in accordance with clinical recommendations and examination procedures according to the disease profile.
  • the simulator for physical examination of patients with diseases of the respiratory system consists of the following components:
  • the simulator plays sounds characteristic of a given pathology (condition) into the headphones of virtual glasses.
  • the reproduced sound is the sound recorded at a specific auscultatory point on a real patient.
  • the sound being played is selected automatically when the stethoscope touches the corresponding area on the mannequin.
  • the user wearing virtual glasses, sees a simulated patient and elements of his respiratory and cardiovascular systems.
  • the examination follows a pre-created algorithm with text and voice descriptions, hints, animation of certain structures in a separate window for a visual understanding of the mechanisms of the appearance of sound phenomena.
  • the transparency of the chest is determined by the script (assigned by the Teacher from the web interface)
  • the simulator for physical examination of patients with diseases of the cardiovascular system is a mannequin of an adult Caucasian male with a normosthenic build, mounted on a movable trolley-stand in a horizontal position with a raised head end.
  • the computing device tracks the position of the stethoscope in real time at each point of auscultation with a three-dimensional model of the chest displayed. Tracking is done using a network of reed switches located under the mannequin's skin.
  • the physical location of the stethoscope in one area of auscultation is displayed as an animation of the corresponding area on the screen and on a three-dimensional model in virtual glasses.
  • the training mode should be accompanied by a monitor display of detailed anatomy, physiology and pathophysiology of the selected program.
  • the 3D model is displayed from different angles and is accompanied by text comments.
  • the monitor screen displays:
  • the monitor When passing an exam on a selected clinical case, the monitor displays active fields for filling in the examination results by selecting a value from the list:
  • the computer system After completing the clinical case, the computer system generates a final report with the total score and correct answers.
  • Quantitative parameters necessary for the implementation of the proposed technical solution number of monitored degrees of freedom of movement of the user’s head: 6 (3 movements, 3 rotations); number of monitored degrees of freedom of movement of the mannequin: 6 (3 movements, 3 rotations); tracking data update rate: from 60Hz; range of measured pressing forces on the dummy: 0-10 kgf; sensitivity for determining the coordinates of pressing on the surface of the mannequin: 5mm; frequency of data update from force sensors: from 60 Hz;

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Medicinal Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Instructional Devices (AREA)

Abstract

Настоящее техническое решение относится к области вычислительной техники. Способ обучения пользователей навыкам физикального обследования для распознавания патологий с использованием симуляционного комплекса виртуальной реальности включает в себя этапы, на которых: обучающемуся пользователю, в режиме реального времени в очки виртуальной реальности, транслируется анимированный интерактивный пациент, синхронизированный по контурам тела с физическим манекеном, располагаемым в непосредственной близости с обучаемым пользователем, позволяющим пользователю в режиме реального времени тактильно ощущать анатомически достоверный рельеф тела и проводить пальпацию, перкуссию и аускультацию органов, в соответствии с заранее заданными сценариями обследования, причем усилия, оказываемые пользователем при взаимодействии с манекеном при пальпации, перкуссии или аускультации, определяются с помощью датчиков веса и/или магнитных датчиков и конвертируются в деформацию поверхности тела виртуального пациента, за счет чего в очках виртуальной реальности воспроизводится аудио и/или видео поток в виде двигательных, речевых и мимических реакций виртуальных пациентов на воздействия обучаемого, с возможностью визуализации патологических изменений, причем зафиксированные координаты и усилия давлений, прикладываемые пользователем к манекену, используются вычислительной системой для автоматизированной оценки действий пользователя, согласно заранее заданным критериям.

Description

СПОСОБ ОБУЧЕНИЯ НАВЫКАМ ФИЗИКАЛЬНОГО ОБСЛЕДОВАНИЯ
ОБЛАСТЬ ТЕХНИКИ
Настоящее техническое решение относится к области вычислительной техники, в частности, к способам обучения пользователей навыкам физикального обследования для распознавания патологий с использованием симуляционного комплекса виртуальной реальности.
УРОВЕНЬ ТЕХНИКИ
Из уровня техники известно решение, выбранное в качестве наиболее близкого аналога, RU 2715148 С1 , 25.02.2020. Данное решение относится к области вычислительной техники, а именно к симуляторам с использованием виртуальной реальности. Симулятор включает в себя ПК с машиночитаемым носителем. Он состоит из логической части симулятора и графической трехмерной оболочки, которые подключаются к компьютеру. Он также включает периферийные устройства для навигации в виртуальной среде. Логическая часть в виде программного комплекса включает связанные между собой посредством локального программного интерфейса модуль коммутации и модуль оценки. Коммутационный VR-симулятор спроектирован таким образом, что обучающийся связан двусторонней связью с инструктором и очками виртуальной реальности. В состав очков виртуальной реальности входят: шлем, наушники, микрофон, манипулятор-контроллер, трекеры положения платформа для передвижения. Очки виртуальной реальности имеют двустороннее подключение к программной системе. Он состоит из модуля набора сценариев, модуля редактора сценариев и базового модуля программного ядра. Модуль двигателя состоит из модуля симулятора, модуля переключения, модуля оценки и голосового модуля.
Предлагаемое решение направлено на устранение недостатков современного уровня техники и отличается от известных решений тем, что предложенный способ совмещает преимущества виртуальной реальности и высокореалистичных тактильных симуляторов.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Технической проблемой, на решение которой направлено заявленное решение, является создание способа обучения пользователей навыкам физикального обследования для распознавания патологий с использованием симуляционного комплекса виртуальной реальности.
Дополнительные варианты реализации настоящего изобретения представлены в зависимых пунктах изобретения.
Технический результат заключается в обеспечении безопасного обучения пользователей. Дополнительный технический результат заключается в повышении качества обучения пользователей.
Заявленные технические результаты достигаются за счет осуществления способа обучения пользователей навыкам физикального обследования для распознавания патологий с использованием симуляционного комплекса виртуальной реальности, включающего этапы, на которых: обучающемуся пользователю в режиме реального времени в очки виртуальной реальности транслируется анимированный интерактивный пациент, синхронизированный по контурам тела с физическим манекеном, располагаемым в непосредственной близости с обучаемым пользователем, позволяющим пользователю, в режиме реального времени, тактильно ощущать анатомически достоверный рельеф тела и проводить пальпацию, перкуссию и аускультацию органов в соответствии с заранее заданными сценариями обследования, причем усилия, оказываемые пользователем при взаимодействии с манекеном при пальпации, перкуссии или аускультации, определяются с помощью датчиков веса и конвертируются в деформацию поверхности тела виртуального пациента, за счет чего в очках виртуальной реальности воспроизводится аудио и видео поток в виде двигательных, речевых и мимических реакций виртуальных пациентов на воздействия обучаемого, с возможностью визуализации патологических изменений, причем зафиксированные координаты и усилия давлений, прикладываемые пользователем к манекену, используются вычислительной системой для автоматизированной оценки действий пользователя, согласно заранее заданным критериям.
В частном варианте реализации описываемого способа, в число оцениваемых действий могут входить последовательность прохождения точек пальпации, прилагаемые усилия, точность позиционирования рук пользователя относительно тела пациента, постановка диагноза, элементы осмотра и взаимодействия с пациентом и окружением. ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.
Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.
Компьютерные технологии активно используются в образовательном процессе практически по всему миру. Полное погружение в виртуальную реальность и взаимодействие с ее объектами достигается только при использовании специальных устройств. Такие устройства, которые обеспечивают полное погружение в виртуальную реальность и имитируют взаимодействие человека с ней с помощью органов чувств называют системами виртуальной реальности (VR).
Важным фактором для повышения уровня погружения в виртуальную среду является возможность интерактивного взаимодействия с элементами окружения и персонажами в виртуальной реальности.
Использование симуляционных систем обусловлено необходимостью обеспечения безопасности пациентов, путем предоставления запланированной практики и достаточного количества повторений для отработки практических умений обучающимся.
Каждая из существующих модальностей симуляции имеет свои ограничения, так технология с использованием симулированных пациентов позволяет отрабатывать коммуникативные навыки, внешне имитировать некоторые заболевания, передавать эмоции, но не позволяет имитировать острые состояния, отрабатывать инвазивные процедуры, а также ограничена невозможностью имитации широкого спектра клинических симптомов. Тренажеры для отработки навыков физикального осмотра позволяют имитировать различные клинические находки - пальпаторные, например, объемные образования или увеличенные внутренние органы, изменения пульсации; аускультативные признаки заболеваний - сердечные шумы, легочные хрипы, но в то же время не позволяют имитировать реакцию пациента и, как следствие - ряд симптомов, связанных с болезненностью или рефлекторными движениями при нажатии или постукивании в определенных анатомических областях.
Демонстрация симптомов и возможность отработки навыков физикального осмотра на реальных пациентах затруднена, поскольку запланировать наличие пациентов со всеми необходимыми для освоения симптомами за время клинической ротации студентов невозможно, большинство пациентов отказываются от взаимодействия со студентами, так как испытывают дискомфорт и болевые ощущения при обследовании студентами. У пациентов с острой патологией помимо болевых ощущений повторные обследования студентами могут привести к осложнениям, а также к задержке оказания необходимой экстренной помощи. В то же время для приобретения устойчивых навыков требуется многократное повторение и возможность наблюдения симптомов у различных пациентов.
Таким образом приобретение навыков физикального осмотра и распознавания патологий студентами медицинских вузов существенно затруднено, что в дальнейшем влечет некорректную интерпретацию информации, полученной при обследовании пациентов.
Задача настоящего изобретения заключается в отработке навыков физикального осмотра пациентов и распознавания патологий различных органов и систем.
Способ обучения основан на визуализации в виртуальной среде различных симптомов при взаимодействии обучающихся с тренажерами и фантомами, имитирующими различные части тела. Благодаря используемым технологиям, обучающийся имеет возможность наблюдения симптомов различных заболеваний, включая болевые ощущения при пальпации, перкуторные и аускультативные изменения. Кроме того, обучающийся не ограничен во времени при выполнении физикального обследования и может многократно повторять исследования. Обучающемуся предлагается возможность визуализации патологии органов при включении режима прозрачности кожных покровов, а также визуальные подсказки, направляющие ход обследования. При этом возможность одновременного восприятия информации через разные каналы - сенсорный и визуальный, позволяет улучшить запоминание информации (Baddeley, 1974, 2007). Мультиплицирующий эффект при одновременном применении различных модальностей лежит в основе Когнитивной теории мультимедийного обучения (Mayer, 1998), учащиеся лучше передают знания, полученные ими в процессе смешанного (многомодального) обучения
Настоящее техническое решение позволяет добиться устойчивого освоения навыков физикального осмотра и распознавания заболеваний.
Предлагаемый способ обучения включают в себя обучение следующим методикам:
1. Физикальное обследование пациентов с острой абдоминальной патологией;
2. Физикальное обследование пациентов с объемными образованиями в брюшной полости;
3. Физикальное обследование пациентов с заболеваниями органов дыхательной системы;
4. Физикальное обследование пациентов с заболеваниями органов сердечно-сосудистой системы.
За счет предлагаемого технического решения, обучающийся видит окружение, интерактивные предметы, анимированного интерактивного пациента и физически ощущает анатомически достоверный рельеф тела, синхронизированный с визуальной картинкой, что улучшает запоминание информации и ее воспроизведение. Такой подход увеличивает глубину погружения, расширяет возможности взаимодействия, а также позволяет реализовывать системы автоматизированной комплексной объективной оценки действий пользователя.
Для реализации этого подхода используются технологии трекинга головы и рук пользователя, трекинга манекенов и датчики усилия нажатия на поверхность манекена, а также специально созданные алгоритмы для применения данных всех датчиков и контентная составляющая, включающая отрисованную локацию, модели окружения, пациента, анимации его движений и реакций, модели патологических изменений и т.д.
В процессе обучения автоматически оцениваются все действия пользователя и в конце сессии определяются результаты в виде баллов с подробной расшифровкой. В число оцениваемых действий могут входить последовательность точек пальпации, перкуссии, прилагаемые усилия, точность позиционирования рук пользователя и инструментов относительно тела пациента, постановка диагноза, элементы осмотра и взаимодействия с пациентом и окружением. Таблицы результатов сохраняются и привязываются к учетным записям пользователей.
1. Физикальное обследование пациентов с острой абдоминальной патологией. Способ позволяет с высокой степенью достоверности имитировать различные острые патологии органов брюшной полости. Для каждой патологии разработаны клинические кейсы, содержащие полную и достоверную информацию о пациенте, результатах его исследования и возможных траекториях лечения. Используется фантом - анатомически правильный манекен туловища взрослого человека или ребенка, в зависимости от клинической ситуации. Используется библиотека звуков, характерных для нормального и патологических состояний в соответствии с клиническими кейсами и физической моделью. Каждый звук соответствует определенной точке на теле виртуального пациента и передается непосредственно в шлем виртуальной реальности. Выбор точки аускультации осуществляется прикладыванием имитатора стетоскопа к соответствующим точкам на фантоме.
Определение точек и силы надавливания осуществляется с помощью системы трекинга положения рук в пространстве и системы трекинга положения манекена, а также датчиков давления, расположенных на платформе, и передается в автоматизированную систему оценки для интерпретации усилия при выполнении пальпации и выставлении баллов за навык. Местоположение применяемого усилия определяется с помощью системы трекинга рук пользователя.
Для демонстрации реакции пациента в состояниях, когда в области передней брюшной стенки предусмотрена болезненность различной выраженности, виртуальный пациент демонстрирует боль при пальпации в определенной области. Боль представлена в виде различных вариантов реакции пациента с соответствующими звуками, мимикой и демонстрацией сокращения передней брюшной стенки с подъемом ног и верхней части туловища в ответ на надавливания различной глубины.
Предусмотрена возможность ведения диалога с помощью диалогового интерфейса. Ответы пациента представлены не только в письменном виде, но и реалистично озвучены для максимального погружения в виртуальную среду. Способ включает два режима, используемых последовательно - режим обучения и режим оценки. В режиме обучения пользователю доступны визуальные подсказки: размеченные области на теле виртуального пациента доступные для совершения действий (пальпации, перкуссии, аускультации), направление положения рук. В режиме оценки подсказки отсутствуют. Выполняется автоматизированная оценка решения кейса в соответствии с предусмотренными протоколами. Ограничение сессий по времени в зависимости от продолжительности и задач экзамена. Осуществляется автоматическая оценка по 5 обязательным блокам: Опрос, Общий осмотр и объективное обследование, Дополнительные методы обследования, Диагноз и Лечение.
2. Физикальное обследование пациентов с объемными образованиями в брюшной полости. Способ позволяет с высокой степенью достоверности имитировать различные патологии органов брюшной полости, сопровождающиеся изменением объема отдельных органов брюшной полости. Для каждой патологии разработаны клинические кейсы, содержащие полную и достоверную информацию о пациенте, результатах его исследования и возможных траекториях лечения. Используется фантом - анатомически правильный имитатор туловища взрослого человека или ребенка, с возможностью установки различных модулей, имитирующих объемные образования в зависимости от клинической ситуации. Используется библиотека звуков, характерных для нормального и патологических состояний в соответствии с клиническими кейсами и физической моделью. Каждый звук соответствует определенной точке на теле виртуального пациента и передается непосредственно в шлем виртуальной реальности. Выбор точки аускультации осуществляется прикладыванием имитатора стетоскопа к соответствующим точкам на фантоме.
Определение точек и силы надавливания осуществляется с помощью системы трекинга положения рук в пространстве и системы трекинга положения манекена, а также датчиков давления, расположенных на платформе, и передается в автоматизированную систему оценки для интерпретации усилия и выявления патологических образований при выполнении пальпации и выставлении баллов за отрабатываемый навык.
Для демонстрации реакции пациента в состояниях, когда в области передней брюшной стенки предусмотрена болезненность различной выраженности, виртуальный пациент демонстрирует боль при пальпации в определенной области. Боль представлена в виде различных вариантов реакции пациента, сопровождающихся звуками и демонстрации сокращения передней брюшной стенки с подъемом ног и верхней части туловища в ответ на надавливания различной глубины.
Предусмотрена возможность ведения диалога с помощью диалогового интерфейса. Ответы пациента представлены не только в письменном виде, но и реалистично озвучены для максимального погружения в виртуальную среду.
Способ включает два режима, используемых последовательно - режим обучения и режим оценки. В режиме обучения пользователю доступна визуализация внутренних органов с соответствующими патологическими изменениями. При выполнении пальпации органы могут изменять свою форму, что визуализируется в очках виртуальной реальности. Доступны визуальные подсказки: размеченные области на теле виртуального пациента доступные для совершения действий (пальпации, перкуссии, аускультации), направление положения рук. В режиме оценки подсказки отсутствуют. Выполняется автоматизированная оценка решения кейса в соответствии с предусмотренными протоколами. Ограничение сессий по времени в зависимости от продолжительности и задач экзамена. Осуществляется автоматическая оценка по 5 обязательным блокам: Опрос, Общий осмотр и объективное обследование, Дополнительные методы обследования, Диагноз и Лечение;
3. Физикальное обследование пациентов с заболеваниями органов дыхательной системы. Способ позволяет с высокой степенью достоверности имитировать различные патологии органов дыхательной системы. Для каждой патологии разработаны клинические кейсы, содержащие полную и достоверную информацию о пациенте, результатах его исследования и возможных траекториях лечения. Используется фантом - анатомически правильная имитация верхней части тела взрослого человека или ребенка зафиксированный в вертикальном положении. Используется библиотека звуков, характерных для нормального и патологических состояний в соответствии с клиническими кейсами и физической моделью. Каждый звук соответствует определенной точке на теле виртуального пациента и передается непосредственно в шлем виртуальной реальности. Выбор точки аускультации осуществляется прикладыванием имитатора стетоскопа к соответствующим точкам на фантоме.
Определение выбранных точек аускультации осуществляется с помощью системы трекинга положения рук в пространстве и системы трекинга положения манекена, и передается в автоматизированную систему оценки для интерпретации полноты обследования и выявления патологических образований при выполнении аускультации и выставлении баллов за навык.
Предусмотрена возможность ведения диалога с помощью диалогового интерфейса. Ответы пациента представлены не только в текстовом виде, но и реалистично озвучены для максимального погружения в виртуальную среду.
Способ включает два режима, используемых последовательно - режим обучения и режим оценки. В режиме обучения пользователю доступна визуализация органовдыхательной системы с соответствующими патологическими изменениями. Доступны визуальные подсказки: области на теле виртуального пациента доступные для совершения действий (пальпации, перкуссии, аускультации), направление положения рук, положения стетоскопа. В режиме оценки подсказки отсутствуют. Выполняется автоматизированная оценка решения кейса в соответствии с предусмотренными протоколами. Ограничение сессий по времени в зависимости от продолжительности и задач экзамена. Осуществляется автоматическая оценка по 5 обязательным блокам: Опрос, Общий осмотр и объективное обследование, Дополнительные методы обследования, Диагноз и Лечение.
4. Физикальное обследование пациентов с заболеваниями органов сердечно-сосудистой системы. Способ позволяет с высокой степенью достоверности имитировать различные патологии органов сердечно-сосудистой системы. Для каждой патологии разработаны клинические кейсы, содержащие полную и достоверную информацию о пациенте, результатах его исследования и возможных траекториях лечения. Используется фантом - анатомически правильная имитация тела взрослого человека, лежащего на спине -широко распространённая модель симулятора кардиологического пациента, наиболее полно и достоверно имитирующего симптомы различных сердечно-сосудистых патологий - Harvey. Используется библиотека симптомов, характерных для нормального и патологических состояний в соответствии с клиническими кейсами и физической моделью, включающая патологические изменения звуков, пульсации в различных точках, смещение сердечного толчка. Каждый звук соответствует определенной точке на теле виртуального пациента и передается непосредственно в имитатор стетоскопа. Выбор точки аускультации осуществляется прикладыванием имитатора стетоскопа к соответствующим точкам на фантоме.
Определение выбранных областей пальпации грудной клетки, точек пульсации и аускультации осуществляется с помощью системы трекинга положения рук в пространстве и системы магнитного трекинга, встроенной в манекен, и передается в автоматизированную систему оценки для интерпретации полноты обследования и выявления патологических образований при выполнении аускультации и выставлении баллов за отрабатываемый навык.
Предусмотрена возможность ведения диалога с помощью диалогового интерфейса. Ответы пациента представлены не только в текстовом виде, но и реалистично озвучены для максимального погружения в виртуальную среду.
Для всех указанных методик разработана уникальная программноаппаратная часть, сочетающая физическую модель пациента и синхронизированную с ней виртуальную. Разработанный контент клинически достоверен и позволяет проводить как обучение, так и автоматическую оценку мануальных и клинических навыков, что повышает объективность оценки и снижает нагрузку на преподавателя.
Симулятор для физикального обследования пациентов с острой абдоминальной патологией и пациентов с объемными образованиями в брюшной полости с высокой степенью достоверности позволяет имитировать более 60 клинических ситуаций, включающих норму и различные патологии органов брюшной полости. Сценарии зависят от физической модели, которая в данный момент установлена в манекене для повышения реалистичности виртуальной модели. Физическая конфигурация манекена перед запуском сессии задается через специальный пользовательский интерфейс.
Для управления физическим имитатором диафрагмы, применяется шаговый двигатель, закрепленный на рукоятке привода диафрагмы на манекене, и электронная схема управления, подключенная вычислительному центру. Симуляционная программа имеет возможность в определенные моменты симуляции подавать управляющие команды на привод для приведения в движение имитатора диафрагмы. При этом визуальный контент симулятора синхронизирован с состоянием привода.
Платформа-база (ложемент) должна включать, по меньшей мере, 4 датчика давления (усилия) для определения степени надавливания и электронный контроллер для считывания, обработки и передачи данных с датчиков.
Ложемент для манекена содержит интегрированные тензорезистивные датчики и плату управления.
Структура блока управления:
1. Микроконтроллер; 2. Драйвер шагового двигателя;
3. Система питания;
4. Аналого-цифровые преобразователи мостового типа для тензорезистивных датчиков.
Функционал блока управления:
1. Усиление, считывание и оцифровка аналоговых сигналов четырех тензорезистивных датчиков.
2. Преобразование напряжения и управление шаговым мотором привода диафрагмы, закрепленном на манекене.
3. Обмен данными с компьютером через USB интерфейс (передача усилий на датчиках, получение команд на управление приводом)
Аппаратная часть, посредством которой реализуется предлагаемое техническое решение, может быть реализована с помощью следующих конкретных технических элементов:
• Манекен для абдоминального обследования пациента с интегрированным приводом дыхания, без изменений в брюшной полости (для сохранения тактильной достоверности);
• Очки виртуальной реальности Oculus Quest;
• Вычислительный центр (вычислительное устройство, способное осуществлять необходимую обработку данных, например, игровой компьютер с беспроводным передатчиком видеосигнала и монитором);
• Шаговый мотор, электронный блок управления, и ременная передача на вал диафрагмы.
Один из примеров работы предлагаемого технического решения.
• Привод, установленный на манекене, вращает штатный вал, имитируя дыхание пациента.
• Манекен устанавливается на платформу-базу (ложемент), оснащенную высокочувствительными датчиками усилия и упором, повторяющим форму манекена с боковой стороны для снятия нагрузки сдатчиков при проведении двуручных пальпаций.
• Платформа-база подключается к вычислительному центру (например, к игровому компьютеру) через интерфейс USB и в реальном времени передает данные о положении рук пользователя и показаниях датчиков усилия.
• Обучающийся пользователь в VR очках видит лежащего пациента, видит свои руки в области около пациента и может выполнять пальпацию в
И соответствии co сценарием. Усилия нажатия при пальпации, определенные с помощью датчиков, конвертируются в деформацию поверхности тела виртуального пациента и используются системой автоматизированной оценки.
• Внутри виртуальной локации присутствуют интерфейсы для взаимодействия с виртуальным пациентом.
• Внутри виртуальной локации возможно включение режима визуализации внутренних органов пациента
Симулятор, посредством которого реализуется предлагаемое техническое решение, содержит библиотеку звуков, характерных для нормального и патологических состояний в соответствии с клиническими кейсами и физической моделью. Каждый звук соответствует определенной точке на теле виртуального пациента.
Детекция степени надавливания осуществляется с помощью датчиков давления, расположенных на платформе, и передается в автоматизированную систему оценки для интерпретации усилия при выполнении пальпации и выставлении баллов за навык. Местоположение применяемого усилия определяется с помощью системы трекинга рук пользователя.
Детекция места надавливания осуществляется с помощью системы трекинга положения рук в пространстве и системы трекинга положения манекена. Данные передаются в автоматизированную систему оценки для интерпретации места, площади и вектора давления при выполнении пальпации и выставлении баллов за навык.
Детекция положения рук осуществляется с помощью системы оптического трекинга положения рук в пространстве на базе стереоскопических камер, установленных на шлеме виртуальной реальности. Данные передаются в автоматизированную систему оценки для положения рук в пространстве при выполнении пальпации и выставлении баллов за навык.
Симуляция физики реакции внутренних органов на давление. Данные о местоположении и силе давления на поверхность живота используются для деформации и смещения моделей внутренних органов виртуального пациента в режиме визуализации внутренних органов (прозрачный живот).
Помимо физической симуляции в виртуальном окружении, для каждого случая (сценария) разработаны клинические кейсы, содержащие полную и достоверную информацию о пациенте, результатах его исследования, вариантах осмотра и постановки диагноза. Симуляция боли у пациента. Для демонстрации обратной связи от пациента и проявления эмпатии при обследовании, в состояниях, когда в области передней брюшной стенки предусмотрена болезненность различной степени, виртуальный пациент демонстрирует боль при пальпации в определенной области. Боль представлена в виде различных вариантов звуков пациента, изменения мимики и демонстрации сокращения передней брюшной стенки в ответ на надавливание различной степени глубины.
Комплексная автоматизированная система оценки. Система представляет собой сбор информации от датчиков физического взаимодействия, пространственной ориентации и действий обучающегося в виртуальной среде. На основании национальных руководств в систему оценки заложен алгоритм эталонного выполнения задания. Предусмотрено ранжирование действий и бездействия обучающегося по степени важности и степени правильности решения клинического кейса.
Пальпаторные анатомические ориентиры. Физическая часть, используемая для моделирования патологий органов брюшной полости широко представлена в США, Европе и Азии. В качестве симуляции физической части может использоваться тренажер для моделирования патологий органов брюшной полости компании Limbs & Things как самый реалистичный, широко распространенный и прошедший валидацию в ведущих медицинских школах США, Европы и Азии, манекен от KyotoKagaku или любой другое изделие соответствующее заданным требованиям.
Вербальное взаимодействие с пациентом. Предусмотрена возможность ведения диалога с помощью диалогового интерфейса. Ответы пациента не только представлены в письменном виде, но и реалистично озвучены для максимального погружения в виртуальную среду.
Наличие режимов обучение/экзамен.
В режиме обучения пользователю доступны визуальные подсказки: размеченные области на теле виртуального пациента для совершения действий (пальпации, перкуссии, аускультации), указатель направления положения рук. В режиме экзамена подсказки отсутствуют. Выполняется автоматизированная оценка решения кейса в соответствии с предусмотренными протоколами. Ограничение сессий по времени в зависимости от продолжительности и задач экзамена.
Система автоматизированной комплексной объективной оценки в ходе симуляционной сессии (по принципам ОСКЭ): Осуществляется автоматическая оценка по 5 обязательным блокам:
Опрос;
Общий осмотр и объективное обследование;
Дополнительные методы обследования;
Диагноз;
Лечение.
Предлагаемое техническое решение также реализуется посредством:
Интерфейса корректировки данных для соответствия актуальным рекомендациям локального министерства здравоохранения;
Интерфейса оперативной корректировки параметров оценки в зависимости от учебных целей' и клинических рекомендаций;
Облачной базы данных, содержащей перечень препаратов, интерпретации результатов обследований, правильные последовательности действий" обучающегося;
Отслеживания каждого действия и бездействия обучающегося для определения финального результата.
Визуализация внутренних органов при пальпации. В режиме обучения доступна визуализация внутренних органов. При выполнении пальпации органы могут изменять свою форму, что визуализируется в очках виртуальной реальности.
Визуализация обстановки смотрового кабинета. Выполнение осмотра и решение клинического кейса осуществляется в виртуальной среде (без использования физических предметов антуража), имитирующей реальный смотровой кабинет.
Возможность выполнения других манипуляций (кроме осмотра живота). При решении клинического кейса доступны также: визуальный осмотр, пальпация и аускультация других органов и систем: сердечно-сосудистой, дыхательной, лимфатической, пищеварительной, эндокринной.
Имитация дыхания в автоматическом режиме. Имитация дыхания автоматически в соответствии с предустановленным сценарием осуществляется с помощью электропривода, установленного на манекене и соответствующих движений тела пациента в виртуальной среде.
Функции и положительные эффекты, обеспечиваемые предлагаемым техническим решением.
Отображение локации кабинета врача, пациента и интерфейсов в виртуальной реальности. Отслеживание движений головы и рук пользователя и манекена, синхронизация позиций с соответствующими объектами в виртуальной реальности.
Обеспечение максимально реалистичной тактильной обратной связи при взаимодействии с телом виртуального пациента с помощью использования высоко реалистичного манекена и интегрированной в него электроники, датчиков и электропривода для имитации дыхания.
Измерение координат и силы нажатия на манекен и проведении пальпации.
Выполнение учебных и экзаменационных сессий, выдача результата комплексной оценки действий пользователя.
Экономия площади. Использование виртуального окружения не требует наличия физической площади большого размера. В одном кабинете могут быть визуализированы различные локации.
Экономия персонала. Автоматизированная система оценки и система интеллектуальных подсказок в режиме обучения позволяют снизить нагрузку на преподавателя в процессе обучения. Для выполнения приема пациента и пальпации используется тренажёр для обследования брюшной полости пациента, что исключает необходимость участия реальных или стандартизированных пациентов, а также актеров.
Высокая реалистичность. Виртуальная реальность дополнена тактильными ощущениями реалистичного тренажера со сменными патологиями. Анатомические ориентиры и визуализация окружения позволяют максимально погрузиться в решение клинического кейса.
Эргономичность. Все части симулятора занимают не более 1 м.кв, площади помещения, датчики располагаются на платформе и очках виртуальной реальности, а мобильная стойка может свободно перемещаться в случае необходимости.
Удобство интерфейса. Интерфейс симулятора представлен двумя частями - инструктора (преподавателя) и обучающегося. Запуск осуществляется с компьютера инструктора, а калибровка оборудования с помощью приложения на мобильном телефоне. Интерфейс обучающегося расположен полностью в виртуальной среде и интерактивно адаптирован.
Медицинская достоверность. В решении используется физическая часть тренажёра для обследования брюшной полости, которая имеет высокую доказательную базу и полностью соответствует тактильным ощущениям при пальпации живого человека. Наполнение кейса: диалоги, результаты обследований и поведение виртуального пациента соответствуют клиническим ситуациям, которые составлены в соответствии с клиническими рекомендациями и порядками осмотра по профилю заболевания.
Симулятор для физикального обследования пациентов с заболеваниями органов дыхательной системы состоит из следующих компонентов:
• Торс (манекен) человека в натуральную величину на подставке для размещения на горизонтальной поверхности;
• Очки виртуальной реальности;
• Имитатор стетофонендоскопа.
Симулятор воспроизводит звуки, характерные для заданной патологии (состояния), в наушники виртуальных очков. Воспроизводимый звук представляет собой звук, записанный в конкретной аускультативной точке реального пациента.
Выбор воспроизводимого звука происходит автоматически при касании стетоскопом соответствующей зоны на манекене.
Пользователь в виртуальных очках видит симулированного пациента и элементы его дыхательной и сердечно-сосудистой системы.
Возможность регулировки степени прозрачности грудной стенки для визуализации подлежащих структур. Воспроизведение анимации исследуемых структур (движение клапанов, альвеол, бронхиальной стенки и т.д. в отдельном окне) для формирования понимания механизмов возникновения звуковых феноменов.
• Ознакомительный режим.
Предполагает выбор любого состояния из библиотеки со свободным прослушиванием любых зон в произвольном порядке, выбором степени прозрачности грудной клетки, отображением витальных показателей, ознакомлением с дидактическими материалами. Точки аускультации подсвечиваются
• Режим обучения по сценарию.
Предполагает выбор любого состояния из библиотеки, обследование идет по заранее созданному алгоритму с текстовым и голосовым описанием, подсказками, анимация определенных структур в отдельном окне для наглядного понимания механизмов появления звуковых феноменов. Прозрачность грудной клетки определяется сценарием, (назначается Преподавателем из веб-интерфейса)
• Режим практического занятия. Предполагает обследование виртуального пациента согласно выбранному из библиотеки состоянию (назначается Преподавателем из веб-интерфейса). Анимация для наглядного понимания механизмов появления звуковых феноменов. Прозрачность грудной клетки определяется сценарием. В ходе исследования пользователь заполняет протокол аускультации. В конце занятия выдается протокол обследования с указанием верных и неверных действий, интерпретаций.
• Режим экзамена.
Предполагает обследование заданного Администратором виртуального пациента с заполнением протокола аускультации. Подсказки выключены, грудная клетка непрозрачная. (Экзаменационный случай назначается Преподавателем из веб-интерфейса, результат отображается в веб-интерфейсе Преподавателя)
В режиме Практического занятия доступна автоматическая оценка, отслеживание правильной последовательности и времени аускультации в каждой точке.
Симулятор для физикального обследования пациентов с заболеваниями органов сердечно-сосудистой системы представляет собой манекен взрослого мужчины европеоидной расы нормостенического телосложения, закрепленный на подвижной тележке-подставке в горизонтальном положении с приподнятым головным концом.
Вычислительное устройство (компьютер) отслеживает положение стетоскопа в реальном времени в каждой точке аускультации с отображением в виде трехмерной модели грудной клетки. Отслеживание производится с помощью сети герконов, расположенных под кожей манекена.
Физическое нахождение стетоскопа в одной области аускультации отображается в виде анимации соответствующей области на экране и на трехмерной модели в виртуальных очках.
Режим обучения должен сопровождаться отображением на мониторе подробной анатомии, физиологии и патофизиологии выбранной программы.
3D модель отображается с разных ракурсов и сопровождаться текстовыми комментариями.
В режиме обучения на монитор выводятся следующие данные:
- ЧСС;
- ЧДД;
- АД;
- данные о пациенте; - динамическая ЭКГ (12 отведений);
- динамическая ФКГ ;
- пульсовая волна с возможностью масштабирования и выбора интенсивности изображения.
Режим экзамена.
В режиме экзамена на экране монитора отображаются:
- данные студента;
- время выполнения экзамена;
- время фиксации стетоскопа в точке аускультации;
- выбор дополнительных исследований.
При выборе клинического случая в режиме экзамена на мониторе отображаются данные пациента:
- жалобы;
- анамнез заболевания;
- семейный анамнез;
- перенесенные заболевания.
При прохождении экзамена по выбранному клиническому случаю на мониторе отображаются активные поля для заполнения результатов осмотра путем выбора значения из списка:
- ЧДД;
- АД;
- ЧСС;
- вены шеи;
- дефицит пульса;
- внешний вид области сердца.
- Артериальный пульс:
• симметричность;
• ритмичность;
• частота;
• напряжение;
• величина;
• форма.
- Прекордиальная пульсация:
Левый желудочек:
• пальпируется; • локализация;
• площадь;
• высота;
• сила;
• резистентность;
• форма.
Правый желудочек.
• пальпируется.
Легочная артерия.
• пальпируется.
- Венозный пульс на яремной вене.
• форма.
- Предварительная диагностическая гипотеза.
После прохождения клинического случая вычислительной системой осуществляется формирование итоговый отчет с общим баллом и правильными ответами.
Количественные параметры, необходимые для реализации предлагаемого технического решения: количество отслеживаемых степеней свободы движений головы пользователя: 6 (3 перемещения, 3 вращения); количество отслеживаемых степеней свободы движений манекена: 6 (3 перемещения, 3 вращения); частота обновления данных трекинга: от 60Гц; диапазон измеряемых усилий нажатия на манекен: 0-10 кгс.; чувствительность определения координат нажатия на поверхность манекена: 5мм; частота обновления данных с датчиков усилия: от 60Г ц;
Входные воздействия, необходимые для реализации предлагаемого технического решения: движения шлема виртуальной реальности; движения рук пользователя; положение и ориентация манекена; данные датчиков усилий нажатия на манекен.
Выходные реакции, необходимые для реализации предлагаемого технического решения: изображение в очках виртуальной реальности; звук в наушниках; таблицы результатов прохождения симуляционных сессий.
В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Claims

Формула
1. Способ обучения пользователей навыкам физикального обследования для распознавания патологий с использованием симуляционного комплекса виртуальной реальности, включающий этапы, на которых: обучающемуся пользователю в режиме реального времени в очки виртуальной реальности транслируется анимированный интерактивный пациент, синхронизированный по контурам тела с физическим манекеном, располагаемым в непосредственной близости с обучаемым пользователем, позволяющим пользователю, в режиме реального времени, тактильно ощущать анатомически достоверный рельеф тела и проводить пальпацию, перкуссию и аускультацию органов в соответствии с заранее заданными сценариями обследования, причем усилия, оказываемые пользователем при взаимодействии с манекеном при пальпации, перкуссии или аускультации, определяются с помощью датчиков веса и конвертируются в деформацию поверхности тела виртуального пациента, за счет чего в очках виртуальной реальности воспроизводится аудио и видео поток в виде двигательных, речевых и мимических реакций виртуальных пациентов на воздействия обучаемого, с возможностью визуализации патологических изменений, причем зафиксированные координаты и усилия давлений, прикладываемые пользователем к манекену, используются вычислительной системой для автоматизированной оценки действий пользователя, согласно заранее заданным критериям.
2. Способ по п.1 , в котором в число оцениваемых действий могут входить последовательность прохождения точек пальпации, прилагаемые усилия, точность позиционирования рук пользователя относительно тела пациента, постановка диагноза, элементы осмотра и взаимодействия с пациентом и окружением.
PCT/RU2022/000374 2022-11-11 2022-12-16 Способ обучения навыкам физикального обследования WO2024102017A1 (ru)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2022129358A RU2799123C1 (ru) 2022-11-11 Способ обучения с использованием взаимодействия с физическими объектами в виртуальной реальности
RU2022129358 2022-11-11

Publications (1)

Publication Number Publication Date
WO2024102017A1 true WO2024102017A1 (ru) 2024-05-16

Family

ID=91033388

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2022/000374 WO2024102017A1 (ru) 2022-11-11 2022-12-16 Способ обучения навыкам физикального обследования

Country Status (1)

Country Link
WO (1) WO2024102017A1 (ru)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100167248A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Tracking and training system for medical procedures
US20110148794A1 (en) * 2001-05-04 2011-06-23 Immersion Corporation Haptic Interface for Palpation Simulation
CA3050225A1 (en) * 2019-07-19 2021-01-19 Hone Virtual Education Ltd. Methods, systems and devices for simulator-based training devices with biofeedback
US20210343186A1 (en) * 2015-01-10 2021-11-04 University Of Florida Research Foundation, Incorporated Simulation features combining mixed reality and modular tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110148794A1 (en) * 2001-05-04 2011-06-23 Immersion Corporation Haptic Interface for Palpation Simulation
US20100167248A1 (en) * 2008-12-31 2010-07-01 Haptica Ltd. Tracking and training system for medical procedures
US20210343186A1 (en) * 2015-01-10 2021-11-04 University Of Florida Research Foundation, Incorporated Simulation features combining mixed reality and modular tracking
CA3050225A1 (en) * 2019-07-19 2021-01-19 Hone Virtual Education Ltd. Methods, systems and devices for simulator-based training devices with biofeedback

Similar Documents

Publication Publication Date Title
CN111465970B (zh) 用于教导患者护理的增强现实系统
US6428323B1 (en) Medical examination teaching system
US7114954B2 (en) Interaction education system for teaching patient care
Issenberg et al. Simulation and new learning technologies
US20030031993A1 (en) Medical examination teaching and measurement system
US6443735B1 (en) Computerized education system for teaching patient care
US20120270197A1 (en) Physiology simulation garment, systems and methods
JPH0478997B2 (ru)
WO1999042978A1 (en) Method and apparatus for surgical training and simulating surgery
WO2012106706A2 (en) Hybrid physical-virtual reality simulation for clinical training capable of providing feedback to a physical anatomic model
CN107527542B (zh) 基于动作捕捉的叩诊训练系统
US20080050711A1 (en) Modulating Computer System Useful for Enhancing Learning
Vaughan et al. ParaVR: Paramedic virtual reality training simulator
Yang et al. Immersive virtual reality-based cardiopulmonary resuscitation interactive learning support system
CN117576969A (zh) 心肺听诊虚拟仿真训练系统及方法
RU2799123C1 (ru) Способ обучения с использованием взаимодействия с физическими объектами в виртуальной реальности
RU2798405C1 (ru) Симуляционный комплекс для обследования брюшной полости c применением vr-симуляции на базе комплексной технологии тактильного трекинга
TWI467521B (zh) 臨床診斷之學習系統及方法
WO2024102017A1 (ru) Способ обучения навыкам физикального обследования
Chiba et al. Development of learning support system on auscultation for nurse using virtual reality
McKenzie et al. Augmented standardized patients now virtually a reality
WO2024102018A1 (ru) Симуляционный комплекс для обследования брюшной полости
CN114038259A (zh) 一种5g虚拟现实医学超声实训系统及其方法
Scerbo et al. Medical simulation
English et al. Enhancing user presence in a chest tube simulator by Joining virtual reality with a mannequin

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22965308

Country of ref document: EP

Kind code of ref document: A1