WO2023072190A1 - 基于vr的心脏手术模拟方法及装置 - Google Patents

基于vr的心脏手术模拟方法及装置 Download PDF

Info

Publication number
WO2023072190A1
WO2023072190A1 PCT/CN2022/127934 CN2022127934W WO2023072190A1 WO 2023072190 A1 WO2023072190 A1 WO 2023072190A1 CN 2022127934 W CN2022127934 W CN 2022127934W WO 2023072190 A1 WO2023072190 A1 WO 2023072190A1
Authority
WO
WIPO (PCT)
Prior art keywords
instruction
training
instructions
operation instruction
safety
Prior art date
Application number
PCT/CN2022/127934
Other languages
English (en)
French (fr)
Inventor
张晓慎
李小辉
陆华
张琰霖
廖秋英
Original Assignee
暨南大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 暨南大学 filed Critical 暨南大学
Publication of WO2023072190A1 publication Critical patent/WO2023072190A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the instruction type of the historical operation instruction is a repentance instruction or a persistence instruction
  • the operation instruction includes a surgical operation instruction and/or a medication instruction.
  • the surgical operation instructions may include scalpel operation instructions, surgical scissors operation instructions, vascular clamp operation instructions, needle holder operation instructions, surgical forceps operation instructions, catheter operation instructions, guide wire operation instructions, puncture needle operation instructions, At least one of a sheath operation instruction, a balloon operation instruction, and a biopsy needle operation instruction.
  • the medication instruction may include the dosage of any type of medicine operated by at least one of an infusion set, a micropump, and a blood transfusion set.
  • the safety judgment training model includes a safety judgment neural network model and a loss function calculation layer, specifically, the loss function of the loss function calculation layer is a cross-entropy loss function;
  • embodiments of this specification may be provided as methods, systems, or computer program products. Accordingly, the embodiments of the present description may take the form of an entirely hardware embodiment, an entirely software embodiment, or an embodiment combining software and hardware aspects. Furthermore, embodiments of the present description may take the form of a computer program product embodied on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) having computer-usable program code embodied therein.
  • computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
  • Computer-readable media including both permanent and non-permanent, removable and non-removable media, can be implemented by any method or technology for storage of information.
  • Information may be computer readable instructions, data structures, modules of a program, or other data.
  • Examples of computer storage media include, but are not limited to, phase change memory (PRAM), static random access memory (SRAM), dynamic random access memory (DRAM), other types of random access memory (RAM), read only memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Flash memory or other memory technology, Compact Disc Read-Only Memory (CD-ROM), Digital Versatile Disc (DVD) or other optical storage,
  • PRAM phase change memory
  • SRAM static random access memory
  • DRAM dynamic random access memory
  • RAM random access memory
  • ROM read only memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • Flash memory or other memory technology
  • CD-ROM Compact Disc Read-Only Memory
  • DVD Digital Versatile Disc

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Instructional Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于VR的心脏手术模拟方法及装置，其中该方法包括：接收用户传输的操作指令；所述操作指令包括手术操作指令和/或用药指令；根据所述操作指令和预设的响应规则，以及心脏三维模型，生成实时的手术响应画面；所述手术响应画面用于通过VR穿戴设备展示给所述用户；判断所述操作指令是否符合预设的安全规则，若不符合，生成出错提示画面；所述出错提示画面用于通过VR穿戴设备展示给所述用户。可见，本发明能够通过VR技术对心脏手术进行模拟，并对用户的操作进行安全判断，从而能够实现更加逼真的心脏手术模拟效果，且有利于纠正用户在心脏模拟手术中的错误，进而提高利用本发明进行医师培训时的培训效果。

Description

基于VR的心脏手术模拟方法及装置 技术领域
本发明涉及VR技术领域，尤其涉及一种基于VR的心脏手术模拟方法及装置。
背景技术
随着VR技术的发展，VR设备正在被应用在越来越多的领域中。其中，医疗领域也是VR设备的热门应用场景，在手术模拟中，越来越多的机构采用VR设备来为医师提供心脏手术模拟的体验或培训。但现有技术的基于VR的心脏手术模拟思路，普遍仅是利用了VR设备的实时响应功能，但没有对用户的操作进行进一步的分析，可见现有技术存在缺陷，亟待解决。
发明内容
本发明所要解决的技术问题在于，提供一种基于VR的心脏手术模拟方法及装置，能够实现更加逼真的心脏手术模拟效果，且有利于纠正用户在心脏模拟手术中的错误，进而提高利用本发明进行医师培训时的培训效果。
为了解决上述技术问题，本发明第一方面公开了一种基于VR的心脏手术模拟方法，所述方法包括：
接收用户传输的操作指令；所述操作指令包括手术操作指令和/或用药指令；
根据所述操作指令和预设的响应规则，以及心脏三维模型，生成实时的手术响应画面；所述手术响应画面用于通过VR穿戴设备展示给所述用户；
判断所述操作指令是否符合预设的安全规则，若不符合，生成出错提示画面；所述出错提示画面用于通过VR穿戴设备展示给所述用户。
作为一种可选的实施方式，在本发明第一方面中，所述接收用户传输的操作指令之前，所述方法还包括：
接收用户传输的心脏手术类型；
根据所述心脏手术类型，和预设的心脏三维模型，生成心脏模拟手术画面；所述心脏模拟手术画面用于通过VR穿戴设备展示给所述用户。
作为一种可选的实施方式，在本发明第一方面中，所述判断所述操作指令是否符合预设的安全规则，包括：
将所述操作指令输入至训练好的安全判断神经网络模型中，以得到所述操作指令对应的危险概率；所述安全判断神经网络模型为通过包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集训练得到；
当所述危险概率大于预设的概率阈值时，判断所述操作指令不符合预设的安全规则。
作为一种可选的实施方式，在本发明第一方面中，所述安全判断神经网络模型为CNN网络模型，其通过以下步骤训练得到：
确定安全判断训练模型；所述安全判断训练模型包括所述安全判断神经网络模型和损失函数计算层；所述损失函数计算层的损失函数为交叉熵损失函数；
确定包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集；
将所述训练数据集中的所述训练操作指令和所标注的标签以成对标签的形式输入至所述安全判断训练模型进行训练，并在训练过程中使用随机梯度下降法使得所述损失函数层计算出的损失函数值不断下降，优化所述安全判断训练模型直至收敛，以得到训练好的所述安全判断神经网络模型。
作为一种可选的实施方式，在本发明第一方面中，所述确定包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集，包括：
接收所述用户的多个历史操作指令以及对应的后续指令；所述后续指令为在所述历史操作指令的发生时间点的下一个预设时间周期内的一个或多个操作指令；
对于每一所述历史操作指令，根据该历史操作指令对应的所述后续指令，判断该历史操作指令的指令类型为反悔指令或坚持指令；
根据所述用户的多个历史操作指令和对应的指令类型，确定出包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集。
作为一种可选的实施方式，在本发明第一方面中，所述根据该历史操作指令对应的所述后续指令，判断该历史操作指令的指令类型为反悔指令或坚持指令，包括：
判断该历史操作指令对应的所述后续指令是否与该历史操作指令在至少一个操作维度上为相反操作；所述操作维度包括操作方向、操作位置、用药方向、用药位置、用药剂量、操作属性和用药属性中的至少一种；
若判断结果为是，确定该历史操作指令的指令类型为反悔指令；
若判断结果为否，确定该历史操作指令的指令类型为坚持指令。
作为一种可选的实施方式，在本发明第一方面中，所述根据所述用户的多个历史操作指令和对应的指令类型，确定出包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集，包括；
确定出多个操作指令类别；
确定每一所述操作指令类别对应的多个所述历史操作指令的所述指令类型中所述反悔指令的数量占比；
若所述反悔指令的数量占比高于预设的占比阈值，确定所述操作指令类别为危险类别；
若所述反悔指令的数量占比低于预设的占比阈值，确定所述操作指令类别为安全类别；
将所述危险类别对应的多个所述历史操作指令均确定为标注有危险标签的训练操作指令，将所述安全类别对应的多个所述历史操作指令均确定为标注有安全标签的训练操作指令，以得到包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集。
本发明第二方面公开了一种基于VR的心脏手术模拟装置，其包括：
接收模块，用于接收用户传输的操作指令；所述操作指令包括手术操作指令和/或用药指令；
响应模块，用于根据所述操作指令和预设的响应规则，以及心脏三维模型，生成实时的手术响应画面；所述手术响应画面用于通过VR穿戴设备展示给所述用户；
判断模块，用于判断所述操作指令是否符合预设的安全规则，若不符合，生成出错提示画面；所述出错提示画面用于通过VR穿戴设备展示给所述用户。
作为一种可选的实施方式，在本发明第二方面中，所述接收模块还用于接收用户传输的心脏手术类型；响应模块还用于根据所述心脏手术类型，和预设的心脏三维模型，生成心脏模拟手术画面；所述心脏模拟手术画面用于通过VR穿戴设备展示给所述用户。
作为一种可选的实施方式，在本发明第二方面中，所述判断模块判断所述操作指令是否符合预设的安全规则的具体方式，包括：
将所述操作指令输入至训练好的安全判断神经网络模型中，以得到所述操作指令对应的危险概率；所述安全判断神经网络模型为通过包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集训练得到；
当所述危险概率大于预设的概率阈值时，判断所述操作指令不符合预设的安全规则。
作为一种可选的实施方式，在本发明第二方面中，所述安全判断神经网络模型为CNN网络模型，所述装置还包括训练模块，其通过以下步骤训练得到所述安全判断神经网络模型：
确定安全判断训练模型；所述安全判断训练模型包括所述安全判断神经网络模型和损失 函数计算层；所述损失函数计算层的损失函数为交叉熵损失函数；
确定包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集；
将所述训练数据集中的所述训练操作指令和所标注的标签以成对标签的形式输入至所述安全判断训练模型进行训练，并在训练过程中使用随机梯度下降法使得所述损失函数层计算出的损失函数值不断下降，优化所述安全判断训练模型直至收敛，以得到训练好的所述安全判断神经网络模型。
作为一种可选的实施方式，在本发明第二方面中，所述训练模块确定包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集的具体方式，包括：
接收所述用户的多个历史操作指令以及对应的后续指令；所述后续指令为在所述历史操作指令的发生时间点的下一个预设时间周期内的一个或多个操作指令；
对于每一所述历史操作指令，根据该历史操作指令对应的所述后续指令，判断该历史操作指令的指令类型为反悔指令或坚持指令；
根据所述用户的多个历史操作指令和对应的指令类型，确定出包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集。
作为一种可选的实施方式，在本发明第二方面中，所述训练模块根据该历史操作指令对应的所述后续指令，判断该历史操作指令的指令类型为反悔指令或坚持指令的具体方式，包括：
判断该历史操作指令对应的所述后续指令是否与该历史操作指令在至少一个操作维度上为相反操作；所述操作维度包括操作方向、操作位置、用药方向、用药位置、用药剂量、操作属性和用药属性中的至少一种；
若判断结果为是，确定该历史操作指令的指令类型为反悔指令；
若判断结果为否，确定该历史操作指令的指令类型为坚持指令。
作为一种可选的实施方式，在本发明第二方面中，所述训练模块根据所述用户的多个历史操作指令和对应的指令类型，确定出包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集的具体方式，包括；
确定出多个操作指令类别；
确定每一所述操作指令类别对应的多个所述历史操作指令的所述指令类型中所述反悔指令的数量占比；
若所述反悔指令的数量占比高于预设的占比阈值，确定所述操作指令类别为危险类别；
若所述反悔指令的数量占比低于预设的占比阈值，确定所述操作指令类别为安全类别；
将所述危险类别对应的多个所述历史操作指令均确定为标注有危险标签的训练操作指令，将所述安全类别对应的多个所述历史操作指令均确定为标注有安全标签的训练操作指令，以得到包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集。
本发明第三方面公开了另一种基于VR的心脏手术模拟装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的基于VR的心脏手术模拟方法中的部分或全部步骤。
本发明第四方面公开了又一种基于VR的心脏手术模拟装置，所述装置包括相互连接的VR穿戴设备，操作设备和数据处理设备；所述数据处理设备用于执行本发明实施例第一方面公开的基于VR的心脏手术模拟方法中的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，接收用户传输的操作指令；所述操作指令包括手术操作指令和/或用药指令；根据所述操作指令和预设的响应规则，以及心脏三维模型，生成实时的手术响应画面；所述手术响应画面用于通过VR穿戴设备展示给所述用户；判断所述操作指令是否符合预设的安全规则，若不符合，生成出错提示画面；所述出错提示画面用于通过VR穿戴设备展示给所述用户。可见，本发明能够通过VR技术对心脏手术进行模拟，并对用户的操作进行安全判断，从而能够实现更加逼真的心脏手术模拟效果，且有利于纠正用户在心脏模拟手术中的错误，进而提高利用本发明进行医师培训时的培训效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于VR的心脏手术模拟方法的流程示意图；
图2是本发明实施例公开的一种基于VR的心脏手术模拟装置的结构示意图；
图3是本发明实施例公开的另一种基于VR的心脏手术模拟装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图， 对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种基于VR的心脏手术模拟方法及装置，能够通过VR技术对心脏手术进行模拟，并对用户的操作进行安全判断，从而能够实现更加逼真的心脏手术模拟效果，且有利于纠正用户在心脏模拟手术中的错误，进而提高利用本发明进行医师培训时的培训效果。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于VR的心脏手术模拟方法的流程示意图。其中，图1所描述的方法可以应用于相应的VR模拟终端、VR模拟设备或VR模拟服务器中，且该服务器可以是本地服务器，也可以是云服务器。具体地，如图1所示，该基于VR的心脏手术模拟方法可以包括以下操作：
101、接收用户传输的操作指令。
可选的，操作指令包括手术操作指令和/或用药指令。可选的，手术操作指令可以包括手术刀操作指令、手术剪操作指令、血管钳操作指令、持针器操作指令、手术镊操作指令、导管操作指令、导丝操作指令、穿刺针操作指令、血管鞘操作指令、球囊操作指令和活检针操作指令中的至少一种。可选的，用药指令可以包括通过输液器、微量泵和输血器中的至少一种操作的任一药品类型的药品用量。
102、根据操作指令和预设的响应规则，以及心脏三维模型，生成实时的手术响应画面。
可选的，手术响应画面用于通过VR穿戴设备展示给用户。可选的，预设的响应规则可以为三维模型的响应规则，例如操作人员预设的三维模型碰撞移动规则，其用于响应于操作 指令对心脏三维模型进行修改，也可以为基于病理药理的医疗数据展示规则，例如根据医学知识的用药响应规则，其用于响应于用户的用药指令而对一些病理数据做出适应性修改。
103、判断操作指令是否符合预设的安全规则，若不符合，生成出错提示画面。
可选的，出错提示画面用于通过VR穿戴设备展示给用户。
可选的，预设的安全规则可以由医师进行制定，例如其可以包括有特定心脏手术类型中，特定手术操作的操作后果，当该操作后果为危险后果如致死后果时，若操作指令为该特定手术操作，则判断操作指令不符合预设的安全规则，并生成出错提示画面展示给用户。
可见，实施本发明实施例所描述的方法能够通过VR技术对心脏手术进行模拟，并对用户的操作进行安全判断，从而能够实现更加逼真的心脏手术模拟效果，且有利于纠正用户在心脏模拟手术中的错误，进而提高利用本发明进行医师培训时的培训效果。
作为一种可选的实施方式，在上述步骤中的接收用户传输的操作指令之前，该方法还包括：
接收用户传输的心脏手术类型；
根据心脏手术类型，和预设的心脏三维模型，生成心脏模拟手术画面。
可选的，心脏模拟手术画面用于通过VR穿戴设备展示给用户。
可选的，心脏手术类型可以为心脏手术的目的，如搭桥手术或瓣膜置换术，也可以为心脏手术针对的病症，如先天性心脏病、瓣膜性心脏病、冠心病、胸主动脉瘤、心包疾病和心脏肿瘤。可选的，心脏模拟手术画面可以包括有心脏三维模型以及其他周边场景和数据展示，例如可以展示包括有心脏三维模型的人体模型以及心脏数据，其中，人体模型的部分特征以及心脏数据的细节，可以由用户输入的心脏手术类型来确定。
可见，通过实施该可选的实施方式，可以根据心脏手术类型，和预设的心脏三维模型，生成心脏模拟手术画面，从而能够更加精确地确定出逼真的心脏模拟手术画面展示给用户，进而提高利用本发明进行心脏模拟手术时的沉浸感。
作为一种可选的实施方式，在上述步骤中的，判断操作指令是否符合预设的安全规则，包括：
将操作指令输入至训练好的安全判断神经网络模型中，以得到操作指令对应的危险概率；
当危险概率大于预设的概率阈值时，判断操作指令不符合预设的安全规则。
可选的，安全判断神经网络模型为通过包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集训练得到。
可见，通过实施该可选的实施方式，可以将操作指令输入至训练好的安全判断神经网络 模型中，以得到操作指令对应的危险概率，并进一步根据危险概率判断操作指令是否符合预设的安全规则，从而能够利用神经网络算法的优势判断用户的操作正误，有利于纠正用户在心脏模拟手术中的错误，进而提高利用本发明进行医师培训时的培训效果。
作为一种可选的实施方式，安全判断神经网络模型为CNN网络模型，其通过以下步骤训练得到：
确定安全判断训练模型，其中，安全判断训练模型包括安全判断神经网络模型和损失函数计算层，具体的，损失函数计算层的损失函数为交叉熵损失函数；
确定包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集；
将训练数据集中的训练操作指令和所标注的标签以成对标签的形式输入至安全判断训练模型进行训练，并在训练过程中使用随机梯度下降法使得损失函数层计算出的损失函数值不断下降，优化安全判断训练模型直至收敛，以得到训练好的安全判断神经网络模型。
可见，通过实施该可选的实施方式，可以将训练数据集中的训练操作指令和所标注的标签以成对标签的形式输入至安全判断训练模型进行训练，并优化安全判断训练模型直至收敛，以得到训练好的安全判断神经网络模型，从而能够确定出精确高效的神经网络模型，以便于后续利用神经网络算法的优势判断用户的操作正误，进而提高利用本发明进行医师培训时的培训效果。
作为一种可选的实施方式，在上述步骤中的，确定包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集，包括：
接收用户的多个历史操作指令以及对应的后续指令；
对于每一历史操作指令，根据该历史操作指令对应的后续指令，判断该历史操作指令的指令类型为反悔指令或坚持指令；
根据用户的多个历史操作指令和对应的指令类型，确定出包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集。
可选的，后续指令为在历史操作指令的发生时间点的下一个预设时间周期内的一个或多个操作指令。
可见，通过实施该可选的实施方式，可以，根据该历史操作指令对应的后续指令来判断该历史操作指令的指令类型为反悔指令或坚持指令，再通过用户的多个历史操作指令和对应的指令类型确定出训练数据集，从而能够高效确定出有效的训练数据集，以便于后续训练得到精确高效的神经网络模型，有利于后续利用神经网络算法的优势判断用户的操作正误。
作为一种可选的实施方式，在上述步骤中的，根据该历史操作指令对应的后续指令，判 断该历史操作指令的指令类型为反悔指令或坚持指令，包括：
判断该历史操作指令对应的后续指令是否与该历史操作指令在至少一个操作维度上为相反操作；
若判断结果为是，确定该历史操作指令的指令类型为反悔指令；
若判断结果为否，确定该历史操作指令的指令类型为坚持指令。
可选的，操作维度包括操作方向、操作位置、用药方向、用药位置、用药剂量、操作属性和用药属性中的至少一种。可选的，相反操作并不必然用于指代两者物理属性上的相反，也可以用于指代两者在医学概念上的相反，例如，可以将施加用药操作和擦除用药操作确定为相反操作，也可以将第一药品施加操作和第二药片施加操作在第一药品和第二药品可以在医学属性相互抵消时确定为相反操作。
可见，通过实施该可选的实施方式，可以根据该历史操作指令对应的后续指令是否与该历史操作指令在至少一个操作维度上为相反操作来判断该历史操作指令的指令类型为反悔指令或坚持指令，从而能够根据用户自身的操作反应来确定历史操作指令的指令类型，以便于后续能够高效确定出有效的训练数据集，有利于后续训练得到精确高效的神经网络模型。
作为一种可选的实施方式，在上述步骤中的，根据用户的多个历史操作指令和对应的指令类型，确定出包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集，包括；
确定出多个操作指令类别；
确定每一操作指令类别对应的多个历史操作指令的指令类型中反悔指令的数量占比；
若反悔指令的数量占比高于预设的占比阈值，确定操作指令类别为危险类别；
若反悔指令的数量占比低于预设的占比阈值，确定操作指令类别为安全类别；
将危险类别对应的多个历史操作指令均确定为标注有危险标签的训练操作指令，将安全类别对应的多个历史操作指令均确定为标注有安全标签的训练操作指令，以得到包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集。
可见，通过实施该可选的实施方式，可以根据每一操作指令类别对应的多个历史操作指令的指令类型中反悔指令的数量占比判断操作指令类别的类型，再进一步确定出训练操作指令和对应的标注，从而能够根据用户自身的操作反应来确定出有效的训练数据集，有利于后续训练得到精确高效的神经网络模型。
实施例二
请参阅图2，图2是本发明实施例公开的一种基于VR的心脏手术模拟装置的结构示意图。其中，图2所描述的装置可以应用于相应的VR模拟终端、VR模拟设备或VR模拟服务 器，且该服务器可以是本地服务器，也可以是云服务器，本发明实施例不做限定。具体地，如图2所示，该装置可以包括：
接收模块201，用于接收用户传输的操作指令。
可选的，操作指令包括手术操作指令和/或用药指令。可选的，手术操作指令可以包括手术刀操作指令、手术剪操作指令、血管钳操作指令、持针器操作指令、手术镊操作指令、导管操作指令、导丝操作指令、穿刺针操作指令、血管鞘操作指令、球囊操作指令和活检针操作指令中的至少一种。可选的，用药指令可以包括通过输液器、微量泵和输血器中的至少一种操作的任一药品类型的药品用量。
响应模块202，用于根据操作指令和预设的响应规则，以及心脏三维模型，生成实时的手术响应画面。
可选的，手术响应画面用于通过VR穿戴设备展示给用户。可选的，预设的响应规则可以为三维模型的响应规则，例如操作人员预设的三维模型碰撞移动规则，其用于响应于操作指令对心脏三维模型进行修改，也可以为基于病理药理的医疗数据展示规则，例如根据医学知识的用药响应规则，其用于响应于用户的用药指令而对一些病理数据做出适应性修改。
判断模块203，用于判断操作指令是否符合预设的安全规则，若不符合，生成出错提示画面。
可选的，出错提示画面用于通过VR穿戴设备展示给用户。
可选的，预设的安全规则可以由医师进行制定，例如其可以包括有特定心脏手术类型中，特定手术操作的操作后果，当该操作后果为危险后果如致死后果时，若操作指令为该特定手术操作，则判断操作指令不符合预设的安全规则，并生成出错提示画面展示给用户。
可见，实施本发明实施例所描述的装置能够通过VR技术对心脏手术进行模拟，并对用户的操作进行安全判断，从而能够实现更加逼真的心脏手术模拟效果，且有利于纠正用户在心脏模拟手术中的错误，进而提高利用本发明进行医师培训时的培训效果。
作为一种可选的实施方式，接收模块201还用于接收用户传输的心脏手术类型；响应模块202还用于根据心脏手术类型，和预设的心脏三维模型，生成心脏模拟手术画面。
可选的，心脏模拟手术画面用于通过VR穿戴设备展示给用户。
可选的，心脏手术类型可以为心脏手术的目的，如搭桥手术或瓣膜置换术，也可以为心脏手术针对的病症，如先天性心脏病、瓣膜性心脏病、冠心病、胸主动脉瘤、心包疾病和心脏肿瘤。可选的，心脏模拟手术画面可以包括有心脏三维模型以及其他周边场景和数据展示，例如可以展示包括有心脏三维模型的人体模型以及心脏数据，其中，人体模型的部分特征以 及心脏数据的细节，可以由用户输入的心脏手术类型来确定。
可见，通过实施该可选的实施方式，可以根据心脏手术类型，和预设的心脏三维模型，生成心脏模拟手术画面，从而能够更加精确地确定出逼真的心脏模拟手术画面展示给用户，进而提高利用本发明进行心脏模拟手术时的沉浸感。
作为一种可选的实施方式，判断模块203判断操作指令是否符合预设的安全规则的具体方式，包括：
将操作指令输入至训练好的安全判断神经网络模型中，以得到操作指令对应的危险概率；
当危险概率大于预设的概率阈值时，判断操作指令不符合预设的安全规则。
可选的，安全判断神经网络模型为通过包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集训练得到。
可见，通过实施该可选的实施方式，可以将操作指令输入至训练好的安全判断神经网络模型中，以得到操作指令对应的危险概率，并进一步根据危险概率判断操作指令是否符合预设的安全规则，从而能够利用神经网络算法的优势判断用户的操作正误，有利于纠正用户在心脏模拟手术中的错误，进而提高利用本发明进行医师培训时的培训效果。
作为一种可选的实施方式，安全判断神经网络模型为CNN网络模型，该装置还包括训练模块，其通过以下步骤训练得到安全判断神经网络模型：
确定安全判断训练模型，其中，安全判断训练模型包括安全判断神经网络模型和损失函数计算层，具体的，损失函数计算层的损失函数为交叉熵损失函数；
确定包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集；
将训练数据集中的训练操作指令和所标注的标签以成对标签的形式输入至安全判断训练模型进行训练，并在训练过程中使用随机梯度下降法使得损失函数层计算出的损失函数值不断下降，优化安全判断训练模型直至收敛，以得到训练好的安全判断神经网络模型。
可见，通过实施该可选的实施方式，可以将训练数据集中的训练操作指令和所标注的标签以成对标签的形式输入至安全判断训练模型进行训练，并优化安全判断训练模型直至收敛，以得到训练好的安全判断神经网络模型，从而能够确定出精确高效的神经网络模型，以便于后续利用神经网络算法的优势判断用户的操作正误，进而提高利用本发明进行医师培训时的培训效果。
作为一种可选的实施方式，训练模块确定包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集的具体方式，包括：
接收用户的多个历史操作指令以及对应的后续指令；
对于每一历史操作指令，根据该历史操作指令对应的后续指令，判断该历史操作指令的指令类型为反悔指令或坚持指令；
根据用户的多个历史操作指令和对应的指令类型，确定出包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集。
可选的，后续指令为在历史操作指令的发生时间点的下一个预设时间周期内的一个或多个操作指令。
可见，通过实施该可选的实施方式，可以，根据该历史操作指令对应的后续指令来判断该历史操作指令的指令类型为反悔指令或坚持指令，再通过用户的多个历史操作指令和对应的指令类型确定出训练数据集，从而能够高效确定出有效的训练数据集，以便于后续训练得到精确高效的神经网络模型，有利于后续利用神经网络算法的优势判断用户的操作正误。
作为一种可选的实施方式，训练模块根据该历史操作指令对应的后续指令，判断该历史操作指令的指令类型为反悔指令或坚持指令的具体方式，包括：
判断该历史操作指令对应的后续指令是否与该历史操作指令在至少一个操作维度上为相反操作；
若判断结果为是，确定该历史操作指令的指令类型为反悔指令；
若判断结果为否，确定该历史操作指令的指令类型为坚持指令。
可选的，操作维度包括操作方向、操作位置、用药方向、用药位置、用药剂量、操作属性和用药属性中的至少一种。可选的，相反操作并不必然用于指代两者物理属性上的相反，也可以用于指代两者在医学概念上的相反，例如，可以将施加用药操作和擦除用药操作确定为相反操作，也可以将第一药品施加操作和第二药片施加操作在第一药品和第二药品可以在医学属性相互抵消时确定为相反操作。
可见，通过实施该可选的实施方式，可以根据该历史操作指令对应的后续指令是否与该历史操作指令在至少一个操作维度上为相反操作来判断该历史操作指令的指令类型为反悔指令或坚持指令，从而能够根据用户自身的操作反应来确定历史操作指令的指令类型，以便于后续能够高效确定出有效的训练数据集，有利于后续训练得到精确高效的神经网络模型。
作为一种可选的实施方式，训练模块根据用户的多个历史操作指令和对应的指令类型，确定出包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集的具体方式，包括；
确定出多个操作指令类别；
确定每一操作指令类别对应的多个历史操作指令的指令类型中反悔指令的数量占比；
若反悔指令的数量占比高于预设的占比阈值，确定操作指令类别为危险类别；
若反悔指令的数量占比低于预设的占比阈值，确定操作指令类别为安全类别；
将危险类别对应的多个历史操作指令均确定为标注有危险标签的训练操作指令，将安全类别对应的多个历史操作指令均确定为标注有安全标签的训练操作指令，以得到包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集。
可见，通过实施该可选的实施方式，可以根据每一操作指令类别对应的多个历史操作指令的指令类型中反悔指令的数量占比判断操作指令类别的类型，再进一步确定出训练操作指令和对应的标注，从而能够根据用户自身的操作反应来确定出有效的训练数据集，有利于后续训练得到精确高效的神经网络模型。
实施例三
请参阅图3，图3是本发明实施例公开的另一种基于VR的心脏手术模拟装置的结构示意图。如图3所示，该装置可以包括：
存储有可执行程序代码的存储器301；
与存储器301耦合的处理器302；
处理器302调用存储器301中存储的可执行程序代码，执行本发明实施例一公开的基于VR的心脏手术模拟方法中的部分或全部步骤。
实施例四
本发明实施例公开了一种计算机存储介质，该计算机存储介质存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一公开的基于VR的心脏手术模拟方法中的部分或全部步骤。
实施例五
本发明实施例公开了又一种基于VR的心脏手术模拟装置，该装置可以包括相互连接的VR穿戴设备，操作设备和数据处理设备，其中数据处理设备用于执行本发明实施例一公开的基于VR的心脏手术模拟方法中的部分或全部步骤。可选的，该数据处理设备可以包括用于渲染虚拟仿真场景的仿真服务器、与仿真服务器相接且用于存储虚拟环境数据的虚拟数据库，以及与仿真服务器相接且用于生成实际操作场景的实景数据生成单元。可选的，该操作设备可以包括用于对心脏模型进行仿真手术操作的手术操作装置和用于对心脏模型进行仿真用药的用药操作装置。该虚拟数据库接有通信接口，该手术操作装置和该实景数据生成单元之间依次接有操作数据采集装置和操作数据通信模块，该用药操作装置和实景数据生成单元之间依次接有用药流量采集装置和用药流量通信模块，该仿真服务器的输出端接有VR仿 真显示平台、仿真声效模块和该VR穿戴设备。可选的，手术操作装置分为两种，一种是常规外科手术装置，常规外科手术装置包括但不限于手术刀、手术剪、血管钳、持针器和手术镊。另外一种是介入式手术装置，包括但不限于导管、导丝、穿刺针、血管鞘、球囊和活检针。可选的，作数据采集装置采集手术操作装置的动作状态数据，并将动作状态数据传输通过操作数据通信模块传输给实景数据生成单元，用药流量采集装置采集用药操作装置的用药流量，并将用药流量通过用药流量通信模块传输给实景数据生成单元。可选的，生成单元包括OpenSceneGraph三维引擎、并采用Vitual PlanetBuilder工具。可选的，实景数据生成单元可根据操作数据采集装置和用药流量采集装置的实际姿态生成模拟仿真姿态。可选的，为了增强模拟手术的真实性，操作数据通信模块和用药流量通信模块均采用无线网络通信模块。可选的，虚拟数据库中存储有手术场景、手术操作模型和用药操作模型，该手术操作模型包括手术操作装置虚拟模型和手术操作姿态数据，用药操作模型包括用药操作装置虚拟模型和用药数据，心脏模拟数据包括心脏生理参数和与该心脏生理参数相对于的心脏仿真姿态数据。可选的，仿真服务器结合实景数据生成单元生成的模拟仿真姿态和虚拟数据库中的手术场景、手术操作模型和用药操作模型，渲染获得虚实混合仿真场景，从而实现实际操作与虚拟场景相结合的技术效果，从而让户可直观清晰的感知到不同的手术操作、不同的药剂、不同的药剂用量对心脏生理参数产生的医学效应，适用于医学解剖、医学认知、手术模拟练习等场景，有助于术前方案设计，有利于外科医师在实践中成长，使用效果好。可选的，，该操作数据采集装置包括微控制器，以及与该微控制器相接的三轴加速度传感器、影像定位模块和位移传感器。可选的，影像定位模块包括定位摄像头和与该定位摄像头相接的图像处理模块。可选的，三轴加速度传感器用于检测手术操作装置在空间XYZ方向上的姿态，影像定位模块用于检测手术操作装置相对于心脏模型的位置，位移传感器用于检测手术操作装置的位移。根据三轴加速度传感器、影像定位模块和位移传感器的检测结果，可以判断出手术操作装置的空间姿态以及动作。可选的，该用药操作装置包括输液器、微量泵和输血器。实际使用时，通过使用不同的用药操作装置可对心脏三维模型中的心脏或静脉或动脉注射不同的药物或血液，方便使用者直观清晰的观测不同的药物对心肌细胞收缩的影响、对心律的影响、对心室颤动的影响等。可选的，用药流量采集装置检测用药操作装置的给药剂量，因此可通过设置用药流量采集装置可使使用者直观清晰的观测不同剂量的药物对心肌细胞收缩的影响、对心律的影响、对心室颤动的影响等。可选的，该VR穿戴设备为头戴式VR设备。可选的，VR穿戴设备为头戴式VR眼镜，可直观感知VR影像，模拟现实操作。
上述对本说明书特定实施例进行了描述，其它实施例在所附权利要求书的范围内。在一 些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，附图中描绘的过程不一定必须按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书实施例提供的装置、设备、非易失性计算机可读存储介质与方法是对应的，因此，装置、设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、设备、非易失性计算机存储介质的有益技术效果。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式 工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相 参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
最后应说明的是：本发明实施例公开的一种基于VR的心脏手术模拟方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (7)

  1. 一种基于VR的心脏手术模拟方法，其特征在于，所述方法包括：
    接收用户传输的操作指令；所述操作指令包括手术操作指令和/或用药指令；
    根据所述操作指令和预设的响应规则，以及心脏三维模型，生成实时的手术响应画面；所述手术响应画面用于通过VR穿戴设备展示给所述用户；
    判断所述操作指令是否符合预设的安全规则，若不符合，生成出错提示画面；所述出错提示画面用于通过VR穿戴设备展示给所述用户；
    所述判断所述操作指令是否符合预设的安全规则，包括：
    将所述操作指令输入至训练好的安全判断神经网络模型中，以得到所述操作指令对应的危险概率；所述安全判断神经网络模型为通过包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集训练得到；
    当所述危险概率大于预设的概率阈值时，判断所述操作指令不符合预设的安全规则；
    所述安全判断神经网络模型为CNN网络模型，其通过以下步骤训练得到：
    确定安全判断训练模型；所述安全判断训练模型包括所述安全判断神经网络模型和损失函数计算层；所述损失函数计算层的损失函数为交叉熵损失函数；
    确定包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集；
    将所述训练数据集中的所述训练操作指令和所标注的标签以成对标签的形式输入至所述安全判断训练模型进行训练，并在训练过程中使用随机梯度下降法使得所述损失函数层计算出的损失函数值不断下降，优化所述安全判断训练模型直至收敛，以得到训练好的所述安全判断神经网络模型；
    所述确定包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集，包括：
    接收所述用户的多个历史操作指令以及对应的后续指令；所述后续指令为在所述历史操作指令的发生时间点的下一个预设时间周期内的一个或多个操作指令；
    对于每一所述历史操作指令，根据该历史操作指令对应的所述后续指令，判断该历史操作指令的指令类型为反悔指令或坚持指令；
    根据所述用户的多个历史操作指令和对应的指令类型，确定出包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集。
  2. 根据权利要求1所述的基于VR的心脏手术模拟方法，其特征在于，所述接收用户传输的操作指令之前，所述方法还包括：
    接收用户传输的心脏手术类型；
    根据所述心脏手术类型，和预设的心脏三维模型，生成心脏模拟手术画面；所述心脏模拟手术画面用于通过VR穿戴设备展示给所述用户。
  3. 根据权利要求1所述的基于VR的心脏手术模拟方法，其特征在于，所述根据该历史操作指令对应的所述后续指令，判断该历史操作指令的指令类型为反悔指令或坚持指令，包括：
    判断该历史操作指令对应的所述后续指令是否与该历史操作指令在至少一个操作维度上为相反操作；所述操作维度包括操作方向、操作位置、用药方向、用药位置、用药剂量、操作属性和用药属性中的至少一种；
    若判断结果为是，确定该历史操作指令的指令类型为反悔指令；
    若判断结果为否，确定该历史操作指令的指令类型为坚持指令。
  4. 根据权利要求1所述的基于VR的心脏手术模拟方法，其特征在于，所述根据所述用户的多个历史操作指令和对应的指令类型，确定出包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集，包括；
    确定出多个操作指令类别；
    确定每一所述操作指令类别对应的多个所述历史操作指令的所述指令类型中所述反悔指令的数量占比；
    若所述反悔指令的数量占比高于预设的占比阈值，确定所述操作指令类别为危险类别；
    若所述反悔指令的数量占比低于预设的占比阈值，确定所述操作指令类别为安全类别；
    将所述危险类别对应的多个所述历史操作指令均确定为标注有危险标签的训练操作指令，将所述安全类别对应的多个所述历史操作指令均确定为标注有安全标签的训练操作指令，以得到包括有多个标注有安全标签或危险标签的训练操作指令的训练数据集。
  5. 一种基于VR的心脏手术模拟装置，其特征在于，用于实现如权利要求1～4任一项所述的心脏手术模拟方法，所述装置包括：
    接收模块，用于接收用户传输的操作指令；所述操作指令包括手术操作指令和/或用药指令；
    响应模块，用于根据所述操作指令和预设的响应规则，以及心脏三维模型，生成实时的 手术响应画面；所述手术响应画面用于通过VR穿戴设备展示给所述用户；
    判断模块，用于判断所述操作指令是否符合预设的安全规则，若不符合，生成出错提示画面；所述出错提示画面用于通过VR穿戴设备展示给所述用户。
  6. 一种基于VR的心脏手术模拟装置，其特征在于，所述装置包括：
    存储有可执行程序代码的存储器；
    与所述存储器耦合的处理器；
    所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-4任一项所述的基于VR的心脏手术模拟方法。
  7. 一种基于VR的心脏手术模拟装置，其特征在于，所述装置包括相互连接的VR穿戴设备，操作设备和数据处理设备；所述数据处理设备用于执行如权利要求1-4任一项所述的基于VR的心脏手术模拟方法。
PCT/CN2022/127934 2021-10-28 2022-10-27 基于vr的心脏手术模拟方法及装置 WO2023072190A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111260819.8 2021-10-28
CN202111260819.8A CN114167974B (zh) 2021-10-28 2021-10-28 基于vr的心脏手术模拟方法及装置

Publications (1)

Publication Number Publication Date
WO2023072190A1 true WO2023072190A1 (zh) 2023-05-04

Family

ID=80477446

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/127934 WO2023072190A1 (zh) 2021-10-28 2022-10-27 基于vr的心脏手术模拟方法及装置

Country Status (2)

Country Link
CN (1) CN114167974B (zh)
WO (1) WO2023072190A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116469292A (zh) * 2023-06-20 2023-07-21 长沙图灵教育科技有限公司 一种电商仿真教学管理系统及教学培训方法
CN117558135A (zh) * 2024-01-12 2024-02-13 广州卓勤信息技术有限公司 一种基于交通信息模拟的园区交通控制方法及系统
CN117934233A (zh) * 2024-03-21 2024-04-26 中山市人民医院 一种基于vr的ecmo麻醉操作培训方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114167974B (zh) * 2021-10-28 2022-08-09 暨南大学 基于vr的心脏手术模拟方法及装置
CN114842704B (zh) * 2022-05-10 2024-03-29 上海微创医疗机器人（集团）股份有限公司 培训系统及培训方法
CN117950192A (zh) * 2024-03-26 2024-04-30 中山市人民医院 一种基于vr的仿真ecmo操作方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110335516A (zh) * 2019-06-27 2019-10-15 王寅 一种vr心脏手术模拟系统及其模拟方法
CN110400620A (zh) * 2019-07-25 2019-11-01 上海交通大学医学院附属上海儿童医学中心 一种心脏三维模型构建方法及模拟心脏手术指导系统
KR20200083715A (ko) * 2018-12-28 2020-07-09 (주)스코넥엔터테인먼트 자기장 수술도구를 이용한 정형외과 고관절 전(반)치환술 수술용 가상현실 시뮬레이터
CN114167974A (zh) * 2021-10-28 2022-03-11 暨南大学 基于vr的心脏手术模拟方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410337A (zh) * 2017-08-15 2019-03-01 北京蜂鸟互动科技有限公司 一种基于vr模型的人工智能医疗系统实现方法、系统
DE102020106607A1 (de) * 2020-03-11 2021-09-16 Carl Zeiss Meditec Ag Maschinelles Lernsystem für eine Zustandserkennung einer Operation und Assistenzfunktion
CN113223387A (zh) * 2021-03-31 2021-08-06 苗磊 一种基于vr技术的神经外科手术模拟操作模型
CN113421346B (zh) * 2021-06-30 2023-02-17 暨南大学 一种增强驾驶感的ar-hud抬头显示界面的设计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200083715A (ko) * 2018-12-28 2020-07-09 (주)스코넥엔터테인먼트 자기장 수술도구를 이용한 정형외과 고관절 전(반)치환술 수술용 가상현실 시뮬레이터
CN110335516A (zh) * 2019-06-27 2019-10-15 王寅 一种vr心脏手术模拟系统及其模拟方法
CN110400620A (zh) * 2019-07-25 2019-11-01 上海交通大学医学院附属上海儿童医学中心 一种心脏三维模型构建方法及模拟心脏手术指导系统
CN114167974A (zh) * 2021-10-28 2022-03-11 暨南大学 基于vr的心脏手术模拟方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116469292A (zh) * 2023-06-20 2023-07-21 长沙图灵教育科技有限公司 一种电商仿真教学管理系统及教学培训方法
CN116469292B (zh) * 2023-06-20 2023-08-25 长沙图灵教育科技有限公司 一种电商仿真教学管理系统及教学培训方法
CN117558135A (zh) * 2024-01-12 2024-02-13 广州卓勤信息技术有限公司 一种基于交通信息模拟的园区交通控制方法及系统
CN117558135B (zh) * 2024-01-12 2024-04-09 广州卓勤信息技术有限公司 一种基于交通信息模拟的园区交通控制方法及系统
CN117934233A (zh) * 2024-03-21 2024-04-26 中山市人民医院 一种基于vr的ecmo麻醉操作培训方法

Also Published As

Publication number Publication date
CN114167974A (zh) 2022-03-11
CN114167974B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
WO2023072190A1 (zh) 基于vr的心脏手术模拟方法及装置
US11666385B2 (en) Systems and methods for augmented reality guidance
US20230289664A1 (en) System for monitoring object inserted into patient's body via image processing
EP3402408B1 (en) Automated probe steering to clinical views using annotations in a fused image guidance system
CN110946651A (zh) 解剖项的计算机可视化
JP2019537459A (ja) 仮想現実環境または拡張現実環境の中の手術室内での医療シミュレーションのための方法およびシステム
WO2018048753A1 (en) Systems and methods for prevention of surgical mistakes
CN110335516B (zh) 一种采用vr心脏手术模拟系统进行vr心脏手术模拟的方法
Bigdelou et al. An adaptive solution for intra-operative gesture-based human-machine interaction
de Oliveira et al. A hand‐eye calibration method for augmented reality applied to computer‐assisted orthopedic surgery
CN113269995B (zh) 一种基于mr的b超引导下穿刺法腹膜透析置管术模拟训练系统
CN110301013A (zh) 用于手术室中的预测性工作流程的增强现实
CN116313028A (zh) 医疗辅助设备、方法及计算机可读存储介质
CN115251943A (zh) 心脏图形显示系统
JP2022541233A (ja) 外科手術のためのパラメータを推奨するためのシステムおよび方法
US11798249B1 (en) Using tangible tools to manipulate 3D virtual objects
CN115804652A (zh) 手术操作系统及方法
Beyar et al. Robotics, imaging, and artificial intelligence in the catheterisation laboratory: Cath lab robotics, imaging, and AI
CN209607181U (zh) 一种dsa血管造影机的模拟装置
Hannema Interaction in virtual reality
CN113710190A (zh) 评估导丝移动路径的装置及方法
Chen et al. Virtual‐reality simulator system for double interventional cardiac catheterization using fractional‐order vascular access tracker and haptic force producer
CN114972241A (zh) 基于残差神经网络胎儿超声切面量化质控考核方法及装置
Kunz et al. Multimodal risk-based path planning for neurosurgical interventions
El-Khalili Surgical Training on the World Wide Web

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22886065

Country of ref document: EP

Kind code of ref document: A1