WO2020213484A1 - 手術評価システム - Google Patents

手術評価システム Download PDF

Info

Publication number
WO2020213484A1
WO2020213484A1 PCT/JP2020/015709 JP2020015709W WO2020213484A1 WO 2020213484 A1 WO2020213484 A1 WO 2020213484A1 JP 2020015709 W JP2020015709 W JP 2020015709W WO 2020213484 A1 WO2020213484 A1 WO 2020213484A1
Authority
WO
WIPO (PCT)
Prior art keywords
surgical
model
markers
calculation unit
evaluation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/015709
Other languages
English (en)
French (fr)
Inventor
山田 敏之
貴士 光部
大造 林田
松本 直樹
伊藤 正博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JSR Corp
Keio University
Original Assignee
JSR Corp
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JSR Corp, Keio University filed Critical JSR Corp
Priority to JP2021514899A priority Critical patent/JPWO2020213484A1/ja
Publication of WO2020213484A1 publication Critical patent/WO2020213484A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes

Definitions

  • An embodiment of the present invention relates to a surgical evaluation system.
  • evaluation by a skilled doctor requires labor and is difficult to quantify because the subjectivity of the doctor himself is included. Evaluation by multiple people may be performed to reduce the influence of subjectivity, but it is difficult to carry out continuously because of the labor involved.
  • An object of the present invention is to provide a surgical evaluation system capable of quantitatively evaluating surgical skills.
  • the surgical evaluation system 1 includes a surgical instrument detection unit 12 and a calculation unit 201.
  • the surgical tool detection unit 12 detects the positions of the surgical tool markers 40A and 40B installed on the medical surgical tools 40 and 41 used by the user over time.
  • the calculation unit 201 calculates motion data representing the motions of the medical instruments 40, 40 based on the changes over time in the positions of the markers 40A and 40B.
  • FIG. 1 is a diagram showing an example of a schematic configuration of a surgical training system according to an embodiment.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the information processing apparatus according to the embodiment.
  • FIG. 3 is a diagram showing an example of an instrument for surgical training according to the embodiment.
  • FIG. 4 is a diagram showing an example of an instrument for surgical training according to the embodiment.
  • FIG. 5 is a diagram showing an example of a biological model according to the embodiment.
  • FIG. 6 is a diagram showing an example of a biological model according to the embodiment.
  • FIG. 7 is a diagram showing an example of processing of the calculation unit according to the embodiment.
  • FIG. 8 is a diagram showing an example of processing of the calculation unit according to the embodiment.
  • FIG. 1 is a diagram showing an example of a schematic configuration of a surgical training system according to an embodiment.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the information processing apparatus according to the embodiment.
  • FIG. 3 is a diagram showing an example
  • FIG. 9 is a diagram showing an example of processing of the calculation unit according to the embodiment.
  • FIG. 10 is a diagram showing an example of processing of the evaluation unit according to the embodiment.
  • FIG. 11 is a flowchart showing an operation example of the surgical training system according to the embodiment.
  • FIG. 12 is a diagram showing an example of an instrument for surgical training according to the second embodiment.
  • FIG. 13 is a diagram showing an example of comparison results by the evaluation unit according to the second embodiment.
  • FIG. 14 is a flowchart showing an operation example of the surgical training system according to the second embodiment.
  • FIG. 15 is a diagram showing an example of a medical surgical instrument according to another embodiment.
  • FIG. 1 is a diagram showing an example of a schematic configuration of the surgical training system 1 according to the embodiment.
  • the surgical training system 1 includes a model sensor 11, a surgical instrument sensor 12, and an information processing device 20.
  • Each device illustrated in FIG. 1 is in a state of being able to communicate directly or indirectly with each other by a network such as a LAN (Local Area Network) or a WAN (Wide Area Network).
  • the surgical training system 1 is an example of a surgical evaluation system.
  • the model sensor 11 is a sensor that detects the positions of the model markers 60 to 68 arranged on the biological model 50 used for surgical training over time.
  • the model sensor 11 is a camera and detects an AR marker for an image recognition type AR (Augmented Reality) system.
  • the model sensor 11 is an example of a model detection unit.
  • the model sensor 11, the biological model 50, and the model markers 60 to 68 will be described later.
  • the surgical tool sensor 12 is a sensor that detects the positions of the surgical tool markers 40A and 41A installed on the medical surgical tools 40 and 41 used for surgical training over time.
  • the surgical instrument sensor 12 is a camera and detects an AR marker for an image recognition type AR system.
  • the surgical tool sensor 12 is an example of a surgical tool detection unit.
  • the surgical instrument sensor 12, the medical surgical instrument 40, 41, and the surgical instrument marker 40A, 41A will be described later.
  • the model sensor 11 and the surgical tool sensor 12 can be any sensor as long as it can detect the position information of the biological model 50 or the medical surgical tools 40 and 41, such as a magnetic sensor.
  • the information processing device 20 is, for example, a computer such as a personal computer or a workstation, and analyzes a user's technique in surgical training based on the position information detected by the model sensor 11 and the surgical instrument sensor 12.
  • the information processing device 20 includes a calculation unit 201 and an evaluation unit 202.
  • the functions of the information processing device 20 are not limited to the calculation unit 201 and the evaluation unit 202.
  • the calculation unit 201 and the evaluation unit 202 will be described later.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the information processing device 20 according to the embodiment.
  • the information processing device 20 includes a CPU (Central Processing Unit) 21, a ROM (Read Only Memory) 22, a RAM (Random Access Memory) 23, an auxiliary storage device 24, and an input device 25.
  • a display device 26 and an external I / F (Interface) 27 are provided.
  • the CPU 21 is a processor (processing circuit) that comprehensively controls the operation of the information processing device 20 by executing a program and realizes various functions of the information processing device 20. Various functions of the information processing device 20 will be described later.
  • the ROM 22 is a non-volatile memory and stores various data (information written at the manufacturing stage of the information processing device 20) including a program for activating the information processing device 20.
  • the RAM 23 is a volatile memory having a working area of the CPU 21.
  • the auxiliary storage device 24 stores various data such as a program executed by the CPU 21.
  • the auxiliary storage device 24 is composed of, for example, an HDD (Hard Disc Drive), an SSD (Solid State Drive), or the like.
  • the input device 25 is a device for an operator using the information processing device 20 to perform various operations.
  • the input device 25 is composed of, for example, a mouse, a keyboard, a touch panel, or hardware keys.
  • the operator corresponds to, for example, a medical person such as a doctor.
  • the display device 26 displays various information.
  • the display device 26 displays image data, model data, a GUI (Graphical User Interface) for receiving various operations from an operator, a medical image, and the like.
  • the display device 26 is composed of, for example, a liquid crystal display, an organic EL (Electro Luminescence) display, or a cathode ray tube display.
  • the input device 25 and the display device 26 may be integrally configured, for example, in the form of a touch panel.
  • the external I / F27 is an interface for connecting (communication) with an external device such as a medical image diagnostic device 10 or a modeling device.
  • FIGS. 3 and 4 are diagrams showing an example of an instrument for surgical training according to the embodiment.
  • FIG. 3 shows a side view of the housing 30 included in the surgical training set
  • FIG. 4 shows a front view of the housing 30.
  • the configurations shown in FIGS. 3 and 4 are merely examples, and various structures and their dimensions can be arbitrarily changed as long as they do not affect the functions according to the present embodiment.
  • the housing 30 is formed of a bottom plate 31, a front plate 32, a rear plate 33, and an upper plate 34.
  • the front plate 32 is provided with holes 32A for a user (for example, a doctor) performing surgical training to visually recognize the inside of the housing 30 and for the user to insert medical instruments 40, 41 (forceps). .. Further, the front plate 32 is fixed at an arbitrary angle so that the user can easily see the inside of the housing 30.
  • a side wall may be provided on the side surface of the housing 30.
  • the housing 30 includes a model sensor 11, a support member 35, and a biological model 50.
  • the model sensor 11 is installed at a position where the back surface of the biological model 50 can be photographed (for example, inside the rear plate 33). Further, it is preferable that the model sensor 11 is installed so that the line-of-sight direction of the camera is perpendicular to the biological model 50.
  • the support member 35 is a member for supporting the biological model 50.
  • the biological model 50 is an alternative structure that imitates a part of the living body to be operated on, such as skin and organs.
  • FIGS. 5 and 6 are diagrams showing an example of the biological model 50 according to the embodiment.
  • FIG. 5 shows the front surface of the biological model 50 for suturing training
  • FIG. 6 shows the back surface of the biological model 50.
  • the front surface of the biological model 50 is a surface that the user visually recognizes during training
  • the back surface is a surface opposite to the front surface.
  • the configurations shown in FIGS. 5 and 6 are merely examples, and the types, shapes, dimensions, etc. of the biological model 50 and the model markers 60 to 68 are arbitrary as long as they do not affect the functions according to the present embodiment. Can be changed to.
  • the biological model 50 is a surface-shaped structure that imitates a part of the heart, and a cruciform wound (cut 50A) is formed.
  • the thickness of the surface-shaped structure that imitates a part of the heart is, for example, 0.1 mm or more and 10 mm or less.
  • the biological model 50 is formed of a soft material such as silicone rubber.
  • a plurality of model markers 60 to 68 are arranged.
  • the markers 60 to 68 for each model are, for example, AR markers, and are discretely arranged on the surface (front surface) facing the surface (front surface) on which the surgical training is performed.
  • the operator can perform surgical training in an environment close to that at the time of surgery without visually recognizing the markers 60 to 68 for each model.
  • the model marker 60 is a reference marker for reference. The function of the reference marker will be described later.
  • the markers 60 to 68 for each model may be directly printed on the biological model 50, or may be printed on the sticker and then attached.
  • the surface is an example of the first surface.
  • the back surface is an example of the second surface.
  • the processing content in which the surgical training system 1 detects the positions of various instruments for surgical training and provides a training environment for high-quality surgical skills will be described.
  • the model sensor 11 photographs, for example, a plurality of model markers 60 to 68 arranged on the back surface of the biological model 50 over time.
  • the model sensor 11 analyzes the captured image by an image recognition technique, and detects the coordinate information of each model marker 60 to 68 in the image over time.
  • the model sensor 11 outputs the detected coordinate information of each model marker 60 to 68 to the information processing device 20. In this way, the model sensor 11 detects the positions of the plurality of model markers 60 to 68 arranged on the biological model 50.
  • the surgical instrument sensor 12 is arranged at a position where, for example, the medical surgical instruments 40, 41 and the surgical instrument markers 40A, 41A can be photographed, and the surgical instrument markers 40A, 41A are photographed over time.
  • the surgical instrument sensor 12 analyzes the captured image by an image recognition technique, and detects the positions and orientations of the surgical instrument markers 40A and 41A in the image over time.
  • the surgical instrument sensor 12 outputs the positions and orientations of the detected surgical instrument markers 40A and 41A to the information processing device 20. In this way, the surgical instrument sensor 12 detects the positions of the surgical instrument markers 40A and 41A arranged on the biological model 50, respectively.
  • an image recognition technique for detecting the coordinate information of the model markers 60 to 68 and the surgical tool markers 40A and 41A a known technique can be appropriately selected and applied. Further, the analysis by the image recognition technique may be executed inside the information processing apparatus 20.
  • the calculation unit 201 calculates deformation data representing the deformation of the biological model 50 based on the time-dependent changes in the positions of the plurality of model markers 60 to 68. For example, the calculation unit 201 calculates the deformation data based on the difference between the positions of the plurality of model markers 61 to 68 and the positions of the reference markers (model markers 60). That is, the difference from the position of the reference marker can be used to cancel the overall movement component of the biological model 50 in surgical training.
  • the reference marker is preferably placed at a position that is not easily affected by the deformation of the biological model due to surgical training.
  • the calculation unit 201 provides deformation data such as distortion of markers 61 to 68 for each model, acceleration of strain, jerk of strain, direction of distortion, positional relationship of markers 61 to 68 for each model, and At least one of the shapes of the markers 61 to 68 for each model is calculated.
  • the "distortion” corresponds to the amount of movement (displacement amount) of the markers 61 to 68 for each model from the origin (initial position).
  • FIG. 7 to 9 are diagrams showing an example of processing of the calculation unit 201 according to the embodiment.
  • the marker position 61'and the marker position 63' are the positions of the model marker 61 and the model marker 63 after t seconds, respectively.
  • the "position after t seconds" is, for example, a position in the image of the frame immediately after, but is not limited to this, and may be a position in the image after several frames.
  • the calculation unit 201 calculates the distance between the model marker 61 and the marker position 61'as "distortion”. Then, the calculation unit 201 calculates the differential value regarding the time of distortion as the “velocity”. Further, the calculation unit 201 calculates the differential value of the velocity with respect to the time as “acceleration”. Further, the calculation unit 201 calculates the differential value regarding the acceleration time as the “jerk”. Further, the calculation unit 201 calculates the moving direction (right direction in the drawing) of the model marker 61 as the “distortion direction”.
  • the calculation unit 201 calculates the distance between the model marker 61 and the model marker 63 as the "positional relationship" between the model marker 61 and the model marker 63. This positional relationship changes to the distance between the marker position 61'and the marker position 63'after t seconds.
  • the calculation unit 201 calculates the distortion in the depth direction of the markers 60 to 68 for each model based on the change in the enlargement ratio. For example, as shown in FIG. 8, when the model marker 61 is enlarged after t seconds, the calculation unit 201 calculates the distortion in the depth direction according to the change in the enlargement ratio. In this case, the correspondence between the distortion in the depth direction of the markers 60 to 68 for each model and the amount of change in the enlargement ratio is measured in advance.
  • the calculation unit 201 calculates the shapes of the markers 60 to 68 for each model. As shown in FIG. 9, when the model marker 61 is crushed in the vertical direction after t seconds, it can be seen that the model marker 61 receives external pressure from the vertical direction. In this case, the calculation unit 201 calculates the rate of change of the model marker 61 in the vertical direction as the "shape" of the model marker 61.
  • the "shape” is not limited to the “crushing" of the model marker, but the "elongation” of the model marker can also be used.
  • the calculation unit 201 uses at least one of the distortion, the acceleration of the strain, the jerk of the strain, the direction of the strain, the positional relationship of the markers 61 to 68 for each model, and the shapes of the markers 61 to 68 for each model as deformation data. One calculates the number of times that a predetermined condition is satisfied. For example, the calculation unit 201 calculates the “number of sudden accelerations” by counting the number of times the acceleration exceeds a predetermined threshold value during surgical training.
  • the calculation unit 201 describes the "number of times the threshold value is exceeded” and / or “threshold value” regarding the strain, the speed of strain, the jerk of strain, and the positional relationship of the markers 61 to 68 for each model. It is possible to calculate the number of times the number has fallen below. Further, the "number of times a predetermined condition is satisfied” is not limited to the comparison with the threshold value, and can be set as a condition of a change in shape such as "the number of times the model marker is crushed in the vertical direction”. ..
  • the calculation unit 201 calculates motion data representing the motions of the medical instruments 40 and 41 based on the changes over time in the positions of the markers 40A and 41A for the surgical instruments. For example, the positional relationship between the medical instrument 40 and the marker 40A for the surgical instrument is known. Therefore, the calculation unit 201 converts the position and orientation of the surgical tool marker 40A into the position and orientation of the medical surgical tool 40 based on this positional relationship. Similarly, the calculation unit 201 converts the position and orientation of the surgical instrument marker 41A into the position and orientation of the medical instrument 41.
  • the calculation unit 201 uses at least one of the movement amount of the medical instruments 40 and 41, the acceleration of the movement amount, the jerk of the movement amount, the direction of movement, and the change in the direction of the medical instruments 40 and 41 as motion data. Calculate one.
  • the calculation unit 201 calculates the deformation data of the biological model 50 and the operation data of the medical instruments 40 and 41, respectively. Then, the calculation unit 201 outputs the calculated deformation data and operation data to the evaluation unit 202.
  • the calculation unit 201 can calculate various parameters other than the above parameters.
  • the calculation unit 201 may calculate the start time and the end time of the surgical training by using a predetermined operation as a trigger.
  • the calculation unit 201 sets the time when the two medical instruments 40 and 41 enter the inside of the housing 30 from the holes 32A as the "start time”, and sets the two medical instruments 40 and 41 from the holes 32A.
  • the time when the body 30 goes out of the body 30 is calculated as the "end time”.
  • the calculated start time and end time can be used for specifying the range of the image to be evaluated, measuring the time required for the procedure, and the like.
  • each parameter was calculated for each model marker 61 to 68, but the embodiment is not limited to this.
  • the calculation unit 201 may set virtual points such as the midpoints of the markers 61 to 68 for each model, and calculate each of the above-mentioned parameters for the set virtual points.
  • the evaluation unit 202 evaluates the surgical skill of the user who executes the surgical training based on the deformation data and the motion data. For example, the evaluation unit 202 evaluates the user's surgical skill for each determination item set according to the surgical scenario to be evaluated in the surgical training.
  • FIG. 10 is a diagram showing an example of processing of the evaluation unit 202 according to the embodiment.
  • the evaluation unit 202 has "tissue protection", “right hand forceps", and “left hand forceps” of the user's procedure for two determination items of "horizontal direction” and “vertical direction”. Is evaluated on a scale of 5 from “A” to "E". The highest evaluation value among "A” to “E” is "A”, and the evaluation value decreases in the order of "B", "C", “D”, and "E".
  • lateral direction is a determination item related to lateral stitching in the surgical scenario of "suture of a cruciform wound”.
  • Vertical is a determination item related to vertical suture in the surgical scenario of "suture of a cruciform wound”.
  • tissue protection is an evaluation result indicating the lightness of the load applied to the living tissue of the patient by the procedure.
  • the "right hand forceps” is an evaluation result showing the smoothness of the movement of the forceps (medical surgical tool 40) operated by the user's right hand.
  • the “left hand forceps” is an evaluation result showing the stability of the movement of the forceps (medical surgical tool 41) operated by the user's left hand.
  • the evaluation unit 202 calculates the evaluation value of "organizational protection" so that the smaller the total value of the strains of the markers 61 to 68 for each model, the higher the evaluation value. This is because it is considered that the smaller the strain, the lighter the load on the patient's living tissue.
  • the evaluation unit 202 evaluates the "right hand forceps" so that the smoother the locus of movement of the medical instrument 40 and the more constant the moving speed of the medical instrument 40, the higher the evaluation value. Calculate the value. This is based on the finding that the forceps of the right hand move smoothly as a skilled doctor, and not as smoothly as an inexperienced doctor.
  • the evaluation unit 202 calculates the evaluation value of the "left hand forceps" so that the smaller the deviation in the position and direction of the medical instrument 41, the higher the evaluation value. This is based on the finding that a skilled doctor has less blurring (position change) of the forceps on the left hand, and an inexperienced doctor has a larger blurring.
  • the evaluation unit 202 evaluates the user's surgical skill based on the deformation data and the motion data. Then, the evaluation unit 202 displays the evaluation result on the display device 26 and stores it in various storage devices.
  • the evaluation unit 202 can calculate the evaluation value by appropriately selecting or combining various parameters calculated by the calculation unit 201.
  • the evaluation unit 202 may calculate the evaluation value of "organizational protection" so that the evaluation value becomes higher as the number of sudden accelerations of the markers 61 to 68 for each model is smaller.
  • FIG. 11 is a flowchart showing an operation example of the surgical training system 1 according to the embodiment. Since the specific contents of each step are as described above, detailed description thereof will be omitted as appropriate.
  • the model sensor 11 and the surgical tool sensor 12 detect the positions of the model markers 60 to 68 and the positions of the surgical tool markers 40A and 41A over time (step S101). Subsequently, the calculation unit 201 calculates the deformation data of the biological model 50 based on the change over time in the positions of the model markers 60 to 68 (step S102). Further, the calculation unit 201 calculates the operation data of the medical surgical instruments 40 and 41 based on the time-dependent changes in the positions of the surgical instrument markers 40A and 41A (step S103). Then, the evaluation unit 202 evaluates the user's surgical skill based on the deformation data and the motion data (step S104). Then, the evaluation unit 202 outputs the evaluation result (step S105), and ends the process.
  • processing procedure shown in FIG. 11 is merely an example, and is not limited to the contents shown in the figure.
  • other processing procedures can be added (inserted) or the order of each processing can be changed as long as there is no contradiction in the processing contents.
  • the model sensor 11 detects the position of the model marker placed on the biological model used for the surgical training over time.
  • the calculation unit 201 calculates deformation data representing the deformation of the biological model 50 based on the change over time in the position of the model marker. According to this, the surgical training system 1 can provide a training environment for high-quality surgical skills.
  • the surgical training is performed using the biological model 50
  • the user can obtain a feeling associated with the procedure.
  • the procedure using the biological model 50 is automatically detected and the physical quantity is calculated and evaluated from the detected position information, highly quantitative evaluation can be performed.
  • Module 1 of the first embodiment In the first embodiment, the case where two cameras (model sensor 11 and surgical instrument sensor 12) are used has been illustrated, but the embodiment is not limited to this. For example, there may be one camera. When there is one camera, for example, the model markers 60 to 68 are discretely arranged on the surface (surface) to which the surgical training is performed. Then, the surgical tool markers 40A and 41A and the model markers 60 to 68 are detected over time by one camera. The method of analyzing each of the detected markers is the same as that of the first embodiment.
  • the device configuration can be simplified and the manufacturing cost can be suppressed.
  • FIG. 12 is a diagram showing an example of an instrument for surgical training according to the second embodiment.
  • FIG. 12 shows a side view of the housing 30 included in the surgical training set.
  • the configuration shown in FIG. 12 is merely an example, and various structures and their dimensions can be arbitrarily changed as long as they do not affect the functions according to the present embodiment.
  • the surgical training instrument shown in FIG. 12 is basically the same as the surgical training instrument shown in FIG. 3, except that the camera 13 is provided.
  • the camera 13 is a camera for capturing an image of a target site for surgery.
  • the camera 13 provides an image corresponding to an image from an endoscope in an actual operation. That is, the user can perform the training in the same environment as the endoscopic surgery by performing the procedure while viewing the image captured by the camera 13.
  • FIG. 12 shows the surgical instrument sensor 12, which is for clarifying that the surgical instrument sensor 12 is arranged at a position where the positions of the surgical instrument markers 40A and 41A can be detected.
  • the configuration of the surgical instrument sensor 12 is the same as the configuration of the surgical instrument sensor 12 shown in FIG. That is, the surgical instrument sensor 12 detects the position of the surgical instrument marker installed on the medical instrument used by the user over time.
  • the model sensor 11 shown in FIG. 12 does not have to be installed.
  • the information processing device 20 includes a calculation unit 201 and an evaluation unit 202.
  • the calculation unit 201 can execute the same processing as the calculation unit 201 shown in FIG. 1, but it is not necessary to execute the processing for calculating the deformation data.
  • the evaluation unit 202 can execute the same process as the evaluation unit 202 shown in FIG. 1, but it is not necessary to execute the process of evaluating based on the deformation data.
  • the calculation unit 201 calculates motion data representing the motions of the medical instruments 40 and 41 based on the changes over time in the positions of the markers 40A and 41A for the surgical instruments. For example, the calculation unit 201 calculates statistical values representing changes over time in physical quantities with respect to the positions of the surgical instrument markers 40A and 41A as motion data.
  • the calculation unit 201 may use physical quantities such as "elapsed time”, “total distance per unit time”, “forcer rotation”, “forcer hand position”, “forcer direction”, “velocity”, and “velocity vector”. Calculate at least one of "acceleration” and "acceleration vector”.
  • the “elapsed time” represents the time elapsed since the procedure was started.
  • the “total distance per unit time” represents the distance that the center position (or marker position) of the forceps (medical instruments 40, 41) has moved at an arbitrary time interval (for example, sampling interval).
  • “Forceps rotation” represents a position (rotation angle) of the forceps in the rotation direction. The “rotation” corresponds to the rotation of the medical instruments 40 and 41 with the main axis as the rotation axis.
  • the “forceps hand position” represents the position (coordinates) of the forceps handle.
  • “Forceps direction” represents the direction of forceps.
  • Velocity represents the time derivative value of the position change of the center position (or marker position) of the forceps (scalar amount).
  • Velocity vector represents velocity and its direction (vector quantity).
  • Accelation represents the time derivative of velocity (scalar quantity).
  • the “vector of acceleration” represents the acceleration and its direction (vector quantity).
  • the calculation unit 201 calculates a statistical value representing a change over time in the physical quantity as operation data.
  • the calculation unit 201 calculates statistical values such as an average value, a variance value, and a moving variance value for each of the above physical quantities.
  • the calculation unit 201 may calculate the statistical value after performing a predetermined calculation (time differentiation, integration, etc.) on each of the above physical quantities.
  • the calculation unit 201 uses the motion data as the standard deviation of the differential values of the rotation angles (forcer rotation) of the medical instruments 40 and 41 and the standard deviation of the hand positions (forcer hand positions) of the medical instruments 40 and 41. At least one statistical value is calculated out of the mean value and the standard deviation of the standard deviations of the hand positions (forcer hand positions) of the medical instruments 40 and 41. Further, the calculation unit 201 calculates the average value of the accelerations of the medical instruments 40 and 41 as motion data.
  • calculation unit 201 can calculate not only the above-mentioned statistical values but also arbitrary statistical values as operation data.
  • the evaluation unit 202 evaluates the user's surgical skill based on the motion data. For example, the evaluation unit 202 describes the user's surgical skills as “overall efficiency / impression”, “force sensitivity (sensitivity)”, “left-right coordination”, “tissue handling”, and “thread management”. Evaluate at least one evaluation value (item) of "needle approach angle” and "needle pulling action”.
  • all efficiency / impression represents the efficiency / impression of movement throughout the procedure.
  • Force sensitivity (delicateness) represents the delicacy of the procedure.
  • Left-right coordination represents the coordination of the left and right medical instruments 40 and 41.
  • Haandling of tissue represents the smooth handling of living tissue (or biological model 50).
  • Thread management represents the appropriateness of suture management.
  • the “needle entry angle” represents the appropriateness of the angle at which the suture needle is inserted.
  • the “needle pulling action” represents the smoothness of the suture needle pulling action.
  • the evaluation unit 202 delicates the user's procedure based on three parameters: the standard deviation of the differential value of the forceps rotation, the average value of the standard deviation of the forceps hand position, and the standard deviation of the forceps hand position standard deviation. Evaluate the deviation as a surgical skill. Specifically, the evaluation unit 202 calculates the average value of three parameters: the standard deviation of the differential value of the forceps rotation, the average value of the standard deviation of the forceps hand position, and the standard deviation of the forceps hand position standard deviation. .. Then, the evaluation unit 202 calculates the evaluation value “force sensitivity (delicateness)” so that the smaller the calculated average value, the higher the value.
  • the evaluation unit 202 evaluates the left-right coordination as a surgical skill based on the average value of the acceleration of the forceps. Specifically, the evaluation unit 202 calculates the evaluation value "left-right coordination" so that the smaller the average value of the acceleration of the forceps, the higher the value.
  • the evaluation unit 202 evaluates the user's surgical skill by calculating the evaluation value based on the motion data.
  • the evaluation value calculated by the evaluation unit 202 may be presented to the user as a numerical value as it is, or may be presented to the user as a determination result determined in several stages based on the magnitude of the numerical value.
  • the evaluation unit 202 evaluates the surgical skills for each of the plurality of users
  • the evaluation unit 202 compares the surgical skills of each of the plurality of users and outputs the comparison result. For example, the evaluation unit 202 displays the evaluation results of the surgical skills of each of the plurality of users in parallel.
  • FIG. 13 is a diagram showing an example of the comparison result by the evaluation unit 202 according to the second embodiment.
  • FIG. 13 illustrates a case where surgical skills are evaluated and compared for two doctors, doctor A and doctor B.
  • the case where the surgical skill is evaluated in three stages of "A", "B", and “C” is illustrated. In this case, it is shown that the evaluation of "A” is the highest, followed by the evaluation of "B” and "C” in that order.
  • the evaluation unit 202 displays a list of evaluation results of the surgical skills of doctor A and doctor B.
  • This list includes "overall efficiency / impression”, “force sensitivity (sensitivity)”, “left-right coordination”, “tissue handling”, “thread management”, “needle entry angle”, and The evaluation results of doctor A and doctor B are included for each of the seven items of "needle pulling action”.
  • the processing content of the evaluation unit 202 described above is merely an example, and is not limited to this.
  • the evaluation unit 202 does not necessarily have "overall efficiency / impression”, “force sensitivity (delicateness)", “left-right coordination”, “tissue handling”, “thread management”, and “needle entry angle”. It is not necessary to evaluate all seven items of "the operation of pulling out the needle”. The evaluation unit 202 can evaluate any of these seven items.
  • the evaluation unit 202 calculates the "force sensitivity (delicateness)" of the standard deviation of the differential value of the force rotation, the average value of the standard deviation of the forceps hand position, and the standard deviation of the forceps hand position. It is not necessary to use all three parameters of. For example, the evaluation unit 202 can calculate the "force sensitivity (delicateness)" based on any one or two parameters out of these three parameters.
  • comparison result presented by the evaluation unit 202 is not limited to the list shown in FIG.
  • the comparison result may be presented by a graph or numerical values. Further, the comparison result may be presented as a difference in the evaluation value between the doctor A and the doctor B.
  • the output destination of the evaluation result and the comparison result by the evaluation unit 202 is not limited to the display device 26.
  • the evaluation unit 202 stores the evaluation result and the comparison result in a storage device (ROM22, RAM23, auxiliary storage device 24, etc.), transfers the evaluation result and the comparison result to the external device via the external I / F27, and displays the evaluation result at the transfer destination. It is also possible to do it.
  • FIG. 14 is a flowchart showing an operation example of the surgical training system 1 according to the second embodiment. Since the specific contents of each step are as described above, detailed description thereof will be omitted as appropriate.
  • the surgical instrument sensor 12 detects the positions of the surgical instrument markers 40A and 41A over time (step S201). Subsequently, the calculation unit 201 calculates the operation data of the medical surgical instruments 40 and 41 based on the time-dependent changes in the positions of the surgical instrument markers 40A and 41A (step S202). Then, the evaluation unit 202 evaluates the user's surgical skill based on the motion data (step S203). Then, the evaluation unit 202 outputs the evaluation result (step S204), and ends the process.
  • processing procedure shown in FIG. 14 is merely an example, and is not limited to the contents shown in the figure.
  • other processing procedures can be added (inserted) or the order of each processing can be changed as long as there is no contradiction in the processing contents.
  • the surgical instrument sensor 12 detects the position of the surgical instrument marker installed on the medical instrument used by the user over time.
  • the calculation unit 201 calculates motion data representing the motion of the medical instrument based on the change over time in the position of the marker for the surgical instrument. According to this, the surgical training system 1 can quantitatively evaluate the surgical skill.
  • the surgical training system 1 when the surgical skills are evaluated for each of a plurality of users, the surgical skills of each of the plurality of users are compared and the comparison result is output. This is expected to make each doctor more competitive and motivated to improve surgical skills.
  • the surgical training system 1 does not necessarily have to include the evaluation unit 202.
  • the surgical training system 1 may present the physical quantity calculated by the calculation unit 201 to the user as it is. As a result, the user can browse the physical quantity with high quantitative property, and can perform self-evaluation of the surgical training.
  • FIG. 15 is a diagram showing an example of a medical surgical instrument according to another embodiment.
  • FIG. 15 illustrates a medical device provided with a finger hole and a finger hook.
  • the medical instrument 70 has a plurality of surgical instrument markers 81, 82, 83, 84, 85 in the area 80 of the spindle.
  • the positions of the medical instrument 70 in the rotation direction are different from each other for each of the plurality of surgical instrument markers 81, 82, 83, 84, 85. Specifically, the positions of the medical instrument 70 in the rotational direction and the positions in the longitudinal direction of the plurality of surgical instrument markers 81, 82, 83, 84, and 85 are different from each other.
  • any one of the plurality of surgical tool markers 81, 82, 83, 84, 85 is detected by the surgical tool sensor 12, the detection position of the marker and the marker and the medical surgical tool 70 The position and orientation of the medical instrument 70 can be detected based on the positional relationship.
  • the method of arranging the plurality of surgical tool markers 81, 82, 83, 84, 85 is also applicable to medical surgical tools that are not provided with finger holes or finger hooks.
  • the present invention is not limited to this.
  • the final state (suture state) of the suture sewn to the patient (or biological model) can be imaged with a camera or the like and evaluated on the image.
  • the programs executed by the information processing devices 10 and 40 of the above-described embodiments are files in an installable format or an executable format, and are CD-ROM, flexible disk (FD), CD-R, DVD, USB ( It may be configured to be recorded and provided on a computer-readable recording medium such as USB (Universal Serial Bus), or may be configured to be provided or distributed via a network such as the Internet. Further, various programs may be provided by being incorporated in advance in a non-volatile storage medium such as a ROM.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Instructional Devices (AREA)

Abstract

実施形態に係る手術評価システム1は、術具用検知部12と、算出部201とを備える。術具用検知部12は、ユーザにより用いられる医療術具40,41に設置された術具用マーカー40A,40Bの位置を経時的に検知する。算出部201は、前記術具用マーカー40A,40Bの位置の経時的変化に基づいて、前記医療術具40,40の動作を表す動作データを算出する。

Description

手術評価システム
 本発明の実施形態は、手術評価システムに関する。
 従来、医師の手術スキルを向上させるため、様々なトレーニング方法が提案されている。例えば、生体をグラフィックで仮想的に表示させ、そのグラフィックに対する手技の動作を検出して評価する技術が知られている。
 また、医師の手術スキルを向上させるため、実際の手術の様子を熟練の医師等が観察し、評価することも行われている。この評価結果は、術者である医師や他の医師に共有され、手術スキルの向上に利用される。
国際公開第2017/126313号
 しかしながら、従来の技術では、手術スキルのトレーニングとして必ずしも十分ではなかった。例えば、グラフィックに対する動作では手技に伴う感触が得られないため、実際の手術環境とはギャップがある。また、このような環境下で行われた動作を評価しても、十分な評価が行われるとは言い難い。
 また、熟練の医師による評価には労力を要するとともに、医師本人の主観が含まれるため定量化が難しい。主観の影響を低減させるために複数人による評価が行われる場合があるが、労力がかかるため継続的に実施することは難しい。
 本発明は、手術スキルを定量的に評価することができる手術評価システムを提供することを目的とする。
 実施形態に係る手術評価システム1は、術具用検知部12と、算出部201とを備える。術具用検知部12は、ユーザにより用いられる医療術具40,41に設置された術具用マーカー40A,40Bの位置を経時的に検知する。算出部201は、前記術具用マーカー40A,40Bの位置の経時的変化に基づいて、前記医療術具40,40の動作を表す動作データを算出する。
 本発明によれば、手術スキルを定量的に評価することができる手術評価システムを提供することができる。
図1は、実施形態に係る手術トレーニングシステムの概略構成の一例を示す図である。 図2は、実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。 図3は、実施形態に係る手術トレーニング用の器具の一例を示す図である。 図4は、実施形態に係る手術トレーニング用の器具の一例を示す図である。 図5は、実施形態に係る生体モデルの一例を示す図である。 図6は、実施形態に係る生体モデルの一例を示す図である。 図7は、実施形態に係る算出部の処理の一例を示す図である。 図8は、実施形態に係る算出部の処理の一例を示す図である。 図9は、実施形態に係る算出部の処理の一例を示す図である。 図10は、実施形態に係る評価部の処理の一例を示す図である。 図11は、実施形態に係る手術トレーニングシステムの動作例を示すフローチャートである。 図12は、第2の実施形態に係る手術トレーニング用の器具の一例を示す図である。 図13は、第2の実施形態に係る評価部による比較結果の一例を示す図である。 図14は、第2の実施形態に係る手術トレーニングシステムの動作例を示すフローチャートである。 図15は、その他の実施形態に係る医療術具の一例を示す図である。
 以下、図面を参照して、本発明に係る手術評価システムを説明する。なお、以下の各実施形態は、以下の説明に限定されるものではない。また、各実施形態は、処理内容に矛盾が生じない範囲で他の実施形態や従来技術との組み合わせが可能である。
 なお、以下の実施形態では、手術トレーニングの一例として、鉗子を用いて十字形の創傷を縫合するトレーニングが適用される場合を説明する。しかし、実施形態はこれに限定されるものではなく、曲線形状の創傷を縫合する手術トレーニングや、縫合以外の手術トレーニングに対しても同様に適用可能である。
(第1の実施形態)
 図1は、実施形態に係る手術トレーニングシステム1の概略構成の一例を示す図である。図1に示すように、実施形態に係る手術トレーニングシステム1は、モデル用センサ11と、術具用センサ12と、情報処理装置20とを含む。図1に例示する各装置は、LAN(Local Area Network)やWAN(Wide Area Network)等のネットワークにより、直接的、又は間接的に相互に通信可能な状態となっている。なお、手術トレーニングシステム1は、手術評価システムの一例である。
 モデル用センサ11は、手術トレーニングに用いられる生体モデル50に配置されたモデル用マーカー60~68の位置を経時的に検知するセンサである。例えば、モデル用センサ11は、カメラであり、画像認識型AR(Augmented Reality)システム用のARマーカーを検知する。なお、モデル用センサ11は、モデル用検知部の一例である。また、モデル用センサ11、生体モデル50、及びモデル用マーカー60~68については後述する。
 術具用センサ12は、手術トレーニングに用いられる医療術具40,41に設置された術具用マーカー40A,41Aの位置を経時的に検知するセンサである。例えば、術具用センサ12は、カメラであり、画像認識型ARシステム用のARマーカーを検知する。なお、術具用センサ12は、術具用検知部の一例である。また、術具用センサ12、医療術具40,41、及び術具用マーカー40A,41Aについては後述する。
 なお、本実施形態では、モデル用センサ11及び術具用センサ12としてカメラが利用される場合を説明するが、実施形態はこれに限定されるものではない。例えば、モデル用センサ11及び術具用センサ12は、磁気センサなど、生体モデル50又は医療術具40,41の位置情報を検知可能なセンサであれば任意のセンサを適用可能である。
 情報処理装置20は、例えば、パーソナルコンピュータやワークステーション等のコンピュータであり、モデル用センサ11及び術具用センサ12により検知される位置情報に基づいて、手術トレーニングにおけるユーザの手技を解析する。情報処理装置20は、算出部201と、評価部202とを備える。なお、情報処理装置20が有する機能は、算出部201及び評価部202に限られるものではない。また、算出部201及び評価部202については後述する。
 図2は、実施形態に係る情報処理装置20のハードウェア構成の一例を示す図である。図2に示すように、情報処理装置20は、CPU(Central Processing Unit)21と、ROM(Read Only Memory)22と、RAM(Random Access Memory)23と、補助記憶装置24と、入力装置25と、表示装置26と、外部I/F(Interface)27とを備える。
 CPU21は、プログラムを実行することにより、情報処理装置20の動作を統括的に制御し、情報処理装置20が有する各種の機能を実現するプロセッサ(処理回路)である。情報処理装置20が有する各種の機能については後述する。
 ROM22は、不揮発性のメモリであり、情報処理装置20を起動させるためのプログラムを含む各種データ(情報処理装置20の製造段階で書き込まれる情報)を記憶する。RAM23は、CPU21の作業領域を有する揮発性のメモリである。補助記憶装置24は、CPU21が実行するプログラム等の各種データを記憶する。補助記憶装置24は、例えばHDD(Hard Disc Drive)、SSD(Solid State Drive)等で構成される。
 入力装置25は、情報処理装置20を使用する操作者が各種の操作を行うためのデバイスである。入力装置25は、例えばマウス、キーボード、タッチパネル又はハードウェアキーで構成される。なお、操作者は、例えば、医師等の医療関係者等に対応する。
 表示装置26は、各種情報を表示する。例えば、表示装置26は、画像データやモデルデータ、操作者から各種操作を受け付けるためのGUI(Graphical User Interface)や、医用画像等を表示する。表示装置26は、例えば液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ又はブラウン管ディスプレイで構成される。なお、例えばタッチパネルのような形態で、入力装置25と表示装置26とが一体に構成されても良い。
 外部I/F27は、医用画像診断装置10や造形装置等の外部装置と接続(通信)するためのインタフェースである。
 ここで、手術トレーニングに利用される各種の器具について、図3~図6を参照しつつ説明する。
 図3及び図4は、実施形態に係る手術トレーニング用の器具の一例を示す図である。図3には、手術トレーニング用セットに含まれる筐体30の側面図を示し、図4には、筐体30の正面図を示す。なお、図3及び図4に図示した構成はあくまで一例であり、各種の構造物やその寸法などは、本実施形態に係る機能に影響を与えない範囲で任意に変更可能である。
 図3及び図4に示すように、筐体30は、底板31、前板32、後板33、及び上板34により形成される。前板32には、手術トレーニングを実行するユーザ(例えば医師)が筐体30の内部を視認したり、ユーザが医療術具40,41(鉗子)を挿入したりするための孔32Aが設けられる。また、前板32は、ユーザが筐体30の内部を視認しやすいように任意の角度で固定される。なお、筐体30の側面には、側壁が設けられても良い。
 また、筐体30は、モデル用センサ11、支持部材35、及び生体モデル50を備える。モデル用センサ11は、生体モデル50の裏面を撮影可能な位置(例えば、後板33の内側)に設置される。また、モデル用センサ11は、カメラの視線方向が生体モデル50に対して垂直になるように設置されるのが好適である。支持部材35は、生体モデル50を支持するための部材である。生体モデル50は、皮膚や臓器など、手術対象となる生体の一部を模した代替構造物である。
 図5及び図6は、実施形態に係る生体モデル50の一例を示す図である。図5には、縫合のトレーニングを行うための生体モデル50の表面を示し、図6には、その生体モデル50の裏面を示す。なお、生体モデル50の表面とは、ユーザがトレーニング中に視認する面であり、裏面とは、表面の反対側の面である。また、図5及び図6に図示した構成はあくまで一例であり、生体モデル50及びモデル用マーカー60~68の種類、形状、寸法などは、本実施形態に係る機能に影響を与えない範囲で任意に変更可能である。
 図5及び図6に示すように、例えば、生体モデル50は、心臓の一部を模した面形状の構造物であり、十字形の創傷(切れ目50A)が形成される。心臓の一部を模した面形状の構造物の厚みは、例えば、0.1mm以上10mm以下である。生体モデル50は、シリコーンゴムなどの軟素材によって形成される。
 また、生体モデル50は、複数のモデル用マーカー60~68が配置される。各モデル用マーカー60~68は、例えば、ARマーカーであり、手術トレーニングが施される面(表面)と対向する側の面(裏面)に離散的に配置される。これにより、操作者は各モデル用マーカー60~68を視認することなく、手術時に近い環境で手術トレーニングを行うことが可能となる。モデル用マーカー60~68のうち、モデル用マーカー60は、参照用の基準マーカーである。基準マーカーの機能については後述する。なお、各モデル用マーカー60~68は、生体モデル50に直接プリントされても良いし、シールにプリントされてから貼付されても良い。また、表面は、第1の面の一例である。また、裏面は、第2の面の一例である。
 図1の説明に戻り、手術トレーニングシステム1が手術トレーニング用の各種の器具の位置を検知して、高品質な手術スキルのトレーニング環境を提供する処理内容について説明する。
 モデル用センサ11は、例えば、生体モデル50の裏面に配置された複数のモデル用マーカー60~68を経時的に撮影する。モデル用センサ11は、撮影した画像を画像認識技術により解析し、画像内における各モデル用マーカー60~68の座標情報を経時的に検出する。モデル用センサ11は、検出した各モデル用マーカー60~68の座標情報を、情報処理装置20へ出力する。このように、モデル用センサ11は、生体モデル50に配置された複数のモデル用マーカー60~68それぞれの位置を検知する。
 術具用センサ12は、例えば、医療術具40,41及び術具用マーカー40A,41Aを撮影可能な位置に配置され、術具用マーカー40A,41Aを経時的に撮影する。術具用センサ12は、撮影した画像を画像認識技術により解析し、画像内における各術具用マーカー40A,41Aの位置及び向きを経時的に検出する。術具用センサ12は、検出した各術具用マーカー40A,41Aの位置及び向きを、情報処理装置20へ出力する。このように、術具用センサ12は、生体モデル50に配置された術具用マーカー40A,41Aそれぞれの位置を検知する。
 なお、モデル用マーカー60~68及び術具用マーカー40A,41Aの座標情報を検出するための画像認識技術としては、公知の技術を適宜選択して適用可能である。また、画像認識技術による解析は、情報処理装置20の内部で実行されても良い。
 算出部201は、複数のモデル用マーカー60~68それぞれの位置の経時的変化に基づいて、生体モデル50の変形を表す変形データを算出する。例えば、算出部201は、複数のモデル用マーカー61~68それぞれの位置と、基準マーカー(モデル用マーカー60)の位置との差分に基づいて、変形データを算出する。つまり、基準マーカーの位置との差分を利用することで、手術トレーニングにおける生体モデル50の全体的な移動成分をキャンセルすることができる。なお、基準マーカーは、手術トレーニングによる生体モデルの変形の影響を受け難い位置に配置されるのが好適である。
 具体例を挙げると、算出部201は、変形データとして、各モデル用マーカー61~68の歪み、歪みの加速度、歪みの躍度、歪みの方向、各モデル用マーカー61~68の位置関係、及び各モデル用マーカー61~68の形状のうち少なくとも一つを算出する。ここで、「歪み」とは、各モデル用マーカー61~68の原点(初期位置)からの移動量(変位量)に対応する。
 図7~図9は、実施形態に係る算出部201の処理の一例を示す図である。図7において、マーカー位置61’及びマーカー位置63’は、それぞれモデル用マーカー61及びモデル用マーカー63のt秒後の位置である。なお、「t秒後の位置」とは、例えば直後のフレームの画像における位置であるが、これに限定されるものではなく、数フレーム後の画像における位置であっても良い。
 図7に示す例では、算出部201は、モデル用マーカー61とマーカー位置61’との間の距離を「歪み」として算出する。そして、算出部201は、歪みの時間に関する微分値を「速度」として算出する。また、算出部201は、速度の時間に関する微分値を「加速度」として算出する。また、算出部201は、加速度の時間に関する微分値を「躍度」として算出する。また、算出部201は、モデル用マーカー61の移動方向(図中の右方向)を「歪みの方向」として算出する。
 また、算出部201は、モデル用マーカー61とモデル用マーカー63との間の距離を、モデル用マーカー61及びモデル用マーカー63の「位置関係」として算出する。この位置関係は、t秒後には、マーカー位置61’とマーカー位置63’との間の距離に変化する。
 また、算出部201は、拡大率の変化に基づいて、各モデル用マーカー60~68の奥行方向の歪みを算出する。例えば、図8に示すように、モデル用マーカー61がt秒後に拡大した場合には、算出部201は、拡大率の変化に応じた奥行方向の歪みを算出する。この場合、各モデル用マーカー60~68の奥行方向の歪みと、拡大率の変化量との対応関係が予め測定されている。
 また、算出部201は、各モデル用マーカー60~68の形状を算出する。図9に示すように、モデル用マーカー61がt秒後に縦方向に潰れた場合には、モデル用マーカー61が上下方向から外圧を受けたことがわかる。この場合、算出部201は、モデル用マーカー61の上下方向における変化率を、モデル用マーカー61の「形状」として算出する。なお、「形状」としては、モデル用マーカーの「潰れ」に限らず、モデル用マーカーの「伸び」を利用することも可能である。
 また、算出部201は、変形データとして、歪み、歪みの加速度、歪みの躍度、歪みの方向、各モデル用マーカー61~68の位置関係、及び各モデル用マーカー61~68の形状のうち少なくとも一つが、所定の条件を満たした回数を算出する。例えば、算出部201は、手術トレーニング中に、加速度が所定の閾値を超えた回数をカウントすることで、「急加速の回数」を算出する。なお、急加速の回数に限らず、算出部201は、歪み、歪みの速度、歪みの躍度、各モデル用マーカー61~68の位置関係について、「閾値を超えた回数」及び/又は「閾値を下回った回数」を算出可能である。また、「所定の条件を満たした回数」は、閾値との比較に限らず、例えば、「モデル用マーカーが縦方向に潰れた回数」など、形状の変化を条件として設定することも可能である。
 更に、算出部201は、術具用マーカー40A,41Aそれぞれの位置の経時的変化に基づいて、医療術具40,41の動作を表す動作データを算出する。例えば、医療術具40と術具用マーカー40Aとの位置関係は、既知である。そこで、算出部201は、この位置関係に基づいて、術具用マーカー40Aの位置及び向きを、医療術具40の位置及び向きに変換する。また、算出部201は、同様に、術具用マーカー41Aの位置及び向きを、医療術具41の位置及び向きに変換する。
 また、算出部201は、動作データとして、医療術具40,41の移動量、移動量の加速度、移動量の躍度、移動の方向、医療術具40,41の方向の変化のうち少なくとも一つを算出する。
 このように、算出部201は、生体モデル50の変形データと、医療術具40,41の動作データとをそれぞれ算出する。そして、算出部201は、算出した変形データ及び動作データを、評価部202へ出力する。
 なお、算出部201は、上記のパラメータ以外にも、様々はパラメータを算出可能である。例えば、算出部201は、所定の動作をトリガーとして、手術トレーニングの開始時刻及び終了時刻を算出しても良い。一例としては、算出部201は、2つの医療術具40,41が孔32Aから筐体30の内部へ入った時点を「開始時刻」とし、2つの医療術具40,41が孔32Aから筐体30の外部へ出た時点を「終了時刻」として算出する。算出された開始時刻及び終了時刻は、評価対象となる画像の範囲の特定や、手技の所要時間の計測などに利用可能である。
 また、上記の例では、各モデル用マーカー61~68について各パラメータを算出したが、実施形態はこれに限定されるものではない。例えば、算出部201は、各モデル用マーカー61~68の中点などの仮想的な点を設定し、設定した仮想的な点に対して上述した各パラメータを算出しても良い。
 評価部202は、変形データ及び動作データに基づいて、手術トレーニングを実行するユーザの手術スキルを評価する。例えば、評価部202は、手術トレーニングにおいて評価対象となる手術シナリオに応じて設定された判定項目ごとに、ユーザの手術スキルを評価する。
 図10は、実施形態に係る評価部202の処理の一例を示す図である。図10に示すように、例えば、評価部202は、「横方向」及び「縦方向」の2つの判定項目について、ユーザの手技の「組織愛護性」、「右手鉗子」、及び「左手鉗子」を「A」~「E」の5段階で評価する。なお、「A」~「E」のうち最も評価値が高いのは「A」であり、「B」、「C」、「D」、「E」の順に評価値が低くなる。
 図10において、「横方向」は、「十字形の創傷の縫合」という手術シナリオのうち、横方向の縫合に関する判定項目である。「縦方向」は、「十字形の創傷の縫合」という手術シナリオのうち、縦方向の縫合に関する判定項目である。また、「組織愛護性」は、手技により患者の生体組織へかかる負荷の軽さを示す評価結果である。「右手鉗子」は、ユーザの右手で操作された鉗子(医療術具40)の動きの滑らかさを示す評価結果である。「左手鉗子」は、ユーザの左手で操作された鉗子(医療術具41)の動きの安定性を示す評価結果である。
 例えば、評価部202は、各モデル用マーカー61~68の歪みの合計値が小さいほど評価値が高くなるように、「組織愛護性」の評価値を算出する。これは、歪みが少ないほど患者の生体組織への負荷が軽いと考えられるからである。
 また、評価部202は、医療術具40の移動の軌跡が滑らかであるほど、及び、医療術具40の移動の速度が一定であるほど評価値が高くなるように、「右手鉗子」の評価値を算出する。これは、熟練の医師ほど右手の鉗子が滑らかに動いており、未熟な医師ほど動きが滑らかでないという知見に基づく。
 また、評価部202は、医療術具41の位置及び方向のブレが少ないほど評価値が高くなるように、「左手鉗子」の評価値を算出する。これは、熟練の医師ほど左手の鉗子のブレ(位置変化)が小さく、未熟な医師ほどブレが大きいという知見に基づく。
 このように、評価部202は、変形データ及び動作データに基づいて、ユーザの手術スキルを評価する。そして、評価部202は、評価結果を表示装置26に表示させたり、各種の記憶装置に格納したりする。
 なお、上記の説明はあくまで一例であり、実施形態はこれに限定されるものではない。例えば、評価部202は、算出部201によって算出された各種のパラメータを適宜選択又は組み合わせて評価値を算出可能である。一例としては、評価部202は、各モデル用マーカー61~68の急加速の回数が少ないほど評価値が高くなるように、「組織愛護性」の評価値を算出してもよい。
 また、上記の説明では、各モデル用マーカー61~68のパラメータを統合して評価する場合を説明したが、モデル用マーカー61~68ごとに評価することも可能である。これにより、例えば、十字形の創傷の縫合を全体的に評価するだけでなく、縫合箇所ごとに評価することが可能となる。
 また、上記の説明では、変形データ及び動作データを個別に評価する場合を説明したが、これらを統合して評価することも可能である。
 図11は、実施形態に係る手術トレーニングシステム1の動作例を示すフローチャートである。なお、各ステップの具体的な内容は上述した通りであるので、詳細な説明は適宜省略する。
 図11に示すように、モデル用センサ11及び術具用センサ12は、モデル用マーカー60~68の位置、及び、術具用マーカー40A,41Aの位置を経時的に検知する(ステップS101)。続いて、算出部201は、モデル用マーカー60~68の位置の経時的変化に基づいて、生体モデル50の変形データを算出する(ステップS102)。また、算出部201は、術具用マーカー40A,41Aの位置の経時的変化に基づいて、医療術具40,41の動作データを算出する(ステップS103)。そして、評価部202は、変形データ及び動作データに基づいて、ユーザの手術スキルを評価する(ステップS104)。そして、評価部202は、評価結果を出力させ(ステップS105)、処理を終了する。
 なお、図11に示した処理手順はあくまで一例であり、図示の内容に限定されるものではない。例えば、処理内容に矛盾が生じない範囲で、他の処理手順を追加(挿入)したり、各処理の順番を入れ替えたりすることができる。
 上述してきたように、実施形態に係る手術トレーニングシステム1において、モデル用センサ11は、手術トレーニングに用いられる生体モデルに配置されたモデル用マーカーの位置を経時的に検知する。また、算出部201は、モデル用マーカーの位置の経時的変化に基づいて、生体モデル50の変形を表す変形データを算出する。これによれば、手術トレーニングシステム1は、高品質な手術スキルのトレーニング環境を提供することができる。
 例えば、実施形態に係る手術トレーニングシステム1では、生体モデル50を用いて手術トレーニングを行うため、ユーザは、手技に伴う感触が得られる。また、生体モデル50を用いた手技を自動検知し、検知した位置情報から物理量を算出して評価するので、定量性の高い評価を行うことができる。
(第1の実施形態の変形例1)
 第1の実施形態では、カメラを2台(モデル用センサ11及び術具用センサ12)利用する場合を例示したが、実施形態はこれに限定されるものではない。例えば、カメラは1台であってもよい。カメラが1台である場合には、例えば、モデル用マーカー60~68は、手術トレーニングが施される面(表面)に離散的に配置される。そして、1台のカメラによって、術具用マーカー40A,41Aとモデル用マーカー60~68とが経時的に検知される。検知された各マーカーの解析方法は、第1の実施形態と同様である。
 このように、カメラを1台とすることにより、装置構成がシンプルになるとともに、製造コストを抑えることができる。また、2台のカメラを利用する場合には、互いのカメラの位置や光源の位置の設定に手間がかかるが、カメラを1台とすることにより、この手間を低減することができる。また、2台のカメラや光源の位置ずれ等に起因する読み取りエラーを低減できるとともに、処理対象となるデータ量が低減して処理速度が向上すると考えられる。
(第1の実施形態の変形例2)
 また、第1の実施形態では、基準マーカー(モデル用マーカー60)を用いる場合を説明したが、必ずしも基準マーカーが利用されなくても良い。基準マーカーが利用されない場合には、複数のモデル用マーカー61~68の位置変化を経時的に個別に追跡することで、生体モデル50に対する医師の手技を評価することができる。
(第2の実施形態)
 第1の実施形態では、生体モデル50の変形に基づいて手技(手術スキル)を評価する場合を説明したが、実施形態はこれに限定されるものではない。例えば、生体モデル50の変形を用いずに、医療術具40,41の動作に基づいて手技を評価することも可能である。そこで、第2の実施形態では、生体モデル50の変形を用いずに、医療術具40,41の動作に基づいて手技を評価する場合を説明する。なお、第2の実施形態では、第1の実施形態との相違点について説明する。
 第2の実施形態では、第1の実施形態にて説明した手術トレーニングシステム1と同様のシステムを用いる場合を説明するが、実施形態はこれに限定されるものではない。例えば、生体モデル50に対する手技ではなく、実際の手術における手技を評価することも可能である。
 図12は、第2の実施形態に係る手術トレーニング用の器具の一例を示す図である。図12には、手術トレーニング用セットに含まれる筐体30の側面図を示す。なお、図12に図示した構成はあくまで一例であり、各種の構造物やその寸法などは、本実施形態に係る機能に影響を与えない範囲で任意に変更可能である。
 図12に示す手術トレーニング用の器具は、図3に示した手術トレーニング用の器具と基本的に同様であるが、カメラ13を備える点が相違する。
 カメラ13は、手術の対象部位を撮像するためのカメラである。例えば、カメラ13は、実際の手術における内視鏡からの画像に相当する画像を提供する。つまり、ユーザは、カメラ13によって撮像された画像を閲覧しながら手技を行うことで、内視鏡手術と同様の環境でトレーニングを行うことができる。
 なお、図12には、術具用センサ12を図示したが、これは術具用センサ12が術具用マーカー40A,41Aの位置を検知可能な位置に配置されることを明示するためのものであり、術具用センサ12の構成は図1に示した術具用センサ12の構成と同様である。つまり、術具用センサ12は、ユーザにより用いられる医療術具に設置された術具用マーカーの位置を経時的に検知する。
 また、第2の実施形態では生体モデル50の変形を用いないので、図12に示したモデル用センサ11は設置されていなくても良い。
 このような構成のもと、第2の実施形態に係る情報処理装置20は、算出部201及び評価部202を備える。なお、算出部201は、図1に示した算出部201と同様の処理を実行可能であるが、変形データを算出する処理を実行しなくても良い。また、評価部202は、図1に示した評価部202と同様の処理を実行可能であるが、変形データに基づいて評価する処理を実行しなくても良い。
 算出部201は、術具用マーカー40A,41Aの位置の経時的変化に基づいて、医療術具40,41の動作を表す動作データを算出する。例えば、算出部201は、動作データとして、術具用マーカー40A,41Aの位置に関する物理量の経時的変化を表す統計値を算出する。
 例えば、算出部201は、物理量として、「経過時間」、「単位時間当たりの総距離」、「鉗子回旋」、「鉗子手元位置」、「鉗子方向」、「速度」、「速度のベクトル」、「加速度」、及び「加速度のベクトル」のうち少なくとも一つを算出する。
 ここで、「経過時間」は、手技を開始してから経過した時間を表す。「単位時間当たりの総距離」は、鉗子(医療術具40,41)の中心位置(或いはマーカー位置)が任意の時間間隔(例えば、サンプリング間隔)ごとに移動した距離を表す。「鉗子回旋」は、鉗子の回旋方向における位置(回旋角度)を表す。なお、「回旋」とは、医療術具40,41の主軸を回転軸とする回転に相当する。「鉗子手元位置」は、鉗子の持ち手の位置(座標)を表す。「鉗子方向」は、鉗子の方向を表す。「速度」は、鉗子の中心位置(或いはマーカー位置)の位置変化の時間微分値を表す(スカラー量)。「速度のベクトル」は、速度及びその方向を表す(ベクトル量)。「加速度」は、速度の時間微分値を表す(スカラー量)。「加速度のベクトル」は、加速度及びその方向を表す(ベクトル量)。これらの解析により、部位ごとの得手不得手や術者の癖の定量化が期待される。
 そして、算出部201は、物理量の経時的変化を表す統計値を動作データとして算出する。一例としては、算出部201は、上記の各物理量について、平均値、分散値、及び移動分散値等の統計値を算出する。なお、算出部201は、上記の各物理量に対して所定の演算(時間微分、積分など)を行った上で、統計値を算出しても良い。
 例えば、算出部201は、動作データとして、医療術具40,41の回旋角度(鉗子回旋)の微分値の標準偏差、医療術具40,41の手元の位置(鉗子手元位置)の標準偏差の平均値、及び、医療術具40,41の手元の位置(鉗子手元位置)の標準偏差の標準偏差のうち、少なくとも一つの統計値を算出する。また、算出部201は、動作データとして、医療術具40,41の加速度の平均値を算出する。
 なお、上記の算出部201の処理内容はあくまで一例であり、これに限定されるものではない。例えば、算出部201は、上述した統計値に限らず、任意の統計値を動作データとして算出することが可能である。
 評価部202は、動作データに基づいて、ユーザの手術スキルを評価する。例えば、評価部202は、ユーザの手術スキルとして、「全体的な効率・印象」、「力の感度(繊細さ)」、「左右協調性」、「組織の取り扱い」、「糸の管理」、「針の進入角度」、及び「針を抜く動作」のうち少なくとも一つの評価値(項目)を評価する。
 ここで、「全体的な効率・印象」は、手技全体を通じた動作の効率性・印象を表す。「力の感度(繊細さ)」は、手技の繊細さを表す。「左右協調性」は、左右の医療術具40,41の協調性を表す。「組織の取り扱い」は、生体組織(又は生体モデル50)の取り扱いの円滑さを表す。「糸の管理」は、縫合糸の管理の適正さを表す。「針の進入角度」は、縫合針を刺入する角度の適正さを表す。「針を抜く動作」は、縫合針を抜く動作の円滑さを表す。
 例えば、評価部202は、鉗子回旋の微分値の標準偏差、鉗子手元位置の標準偏差の平均値、及び、鉗子手元位置の標準偏差の標準偏差の3つのパラメータに基づいて、ユーザの手技の繊細さを手術スキルとして評価する。具体的には、評価部202は、鉗子回旋の微分値の標準偏差、鉗子手元位置の標準偏差の平均値、及び、鉗子手元位置の標準偏差の標準偏差の3つのパラメータの平均値を算出する。そして、評価部202は、算出した平均値が小さいほど高い値となるように、評価値「力の感度(繊細さ)」を算出する。
 また、評価部202は、鉗子の加速度の平均値に基づいて、左右協調性を手術スキルとして評価する。具体的には、評価部202は、鉗子の加速度の平均値が小さいほど高い値となるように、評価値「左右協調性」を算出する。
 このように、評価部202は、動作データに基づいて評価値を算出することで、ユーザの手術スキルを評価する。なお、評価部202によって算出される評価値は、数値としてそのままユーザに提示されても良いし、数値の大きさに基づいて何段階かに判定された判定結果としてユーザに提示されても良い。
 また、評価部202は、複数のユーザそれぞれについて手術スキルを評価した場合に、複数のユーザそれぞれの手術スキルを比較し、比較結果を出力する。例えば、評価部202は、複数のユーザそれぞれの手術スキルの評価結果を並列表示する。
 図13は、第2の実施形態に係る評価部202による比較結果の一例を示す図である。図13では、医師A及び医師Bの2人の医師について手術スキルが評価され、比較された場合を例示する。なお、図13の例では、手術スキルが「A」、「B」、及び「C」の3段階で評価された場合を例示する。この場合、「A」の評価が最も高く、次いで「B」、「C」の順に評価が下がることを示す。
 図13に示すように、評価部202は、医師A及び医師Bの手術スキルの評価結果の一覧を表示する。この一覧には、「全体的な効率・印象」、「力の感度(繊細さ)」、「左右協調性」、「組織の取り扱い」、「糸の管理」、「針の進入角度」、及び「針を抜く動作」の7項目それぞれについて、医師A及び医師Bの評価結果が含まれる。
 なお、上記の評価部202の処理内容はあくまで一例であり、これに限定されるものではない。例えば、評価部202は、必ずしも「全体的な効率・印象」、「力の感度(繊細さ)」、「左右協調性」、「組織の取り扱い」、「糸の管理」、「針の進入角度」、及び「針を抜く動作」の7項目全てについて評価しなくても良い。評価部202は、これら7項目のうち任意の項目について評価することができる。
 また、評価部202は、「力の感度(繊細さ)」の算出において、鉗子回旋の微分値の標準偏差、鉗子手元位置の標準偏差の平均値、及び、鉗子手元位置の標準偏差の標準偏差の3つのパラメータの全てを用いなくても良い。例えば、評価部202は、これら3つのパラメータのうち任意の1~2個のパラメータに基づいて、「力の感度(繊細さ)」を算出することができる。
 また、評価部202により提示される比較結果は、図13の一覧に限定されるものではない。比較結果は、グラフや数値により提示されても良い。また、比較結果は、医師Aと医師Bとの間の評価値の差分として提示されても良い。
 また、評価部202による評価結果及び比較結果の出力先は、表示装置26に限定されるものではない。例えば、評価部202は、評価結果及び比較結果を記憶装置(ROM22、RAM23、補助記憶装置24等)に格納したり、外部I/F27を介して外部装置へ転送し、転送先にて表示させたりすることも可能である。
 図14は、第2の実施形態に係る手術トレーニングシステム1の動作例を示すフローチャートである。なお、各ステップの具体的な内容は上述した通りであるので、詳細な説明は適宜省略する。
 図14に示すように、術具用センサ12は、術具用マーカー40A,41Aの位置を経時的に検知する(ステップS201)。続いて、算出部201は、術具用マーカー40A,41Aの位置の経時的変化に基づいて、医療術具40,41の動作データを算出する(ステップS202)。そして、評価部202は、動作データに基づいて、ユーザの手術スキルを評価する(ステップS203)。そして、評価部202は、評価結果を出力させ(ステップS204)、処理を終了する。
 なお、図14に示した処理手順はあくまで一例であり、図示の内容に限定されるものではない。例えば、処理内容に矛盾が生じない範囲で、他の処理手順を追加(挿入)したり、各処理の順番を入れ替えたりすることができる。
 上述してきたように、第2の実施形態に係る手術トレーニングシステム1において、術具用センサ12は、ユーザにより用いられる医療術具に設置された術具用マーカーの位置を経時的に検知する。また、算出部201は、術具用マーカーの位置の経時的変化に基づいて、医療術具の動作を表す動作データを算出する。これによれば、手術トレーニングシステム1は、手術スキルを定量的に評価することができる。
 また、例えば、第2の実施形態に係る手術トレーニングシステム1では、複数のユーザそれぞれについて手術スキルが評価された場合に、複数のユーザそれぞれの手術スキルを比較し、比較結果を出力する。これにより、それぞれの医師に競争心を抱かせ、手術スキルの向上意欲を高めることが期待される。
(その他の実施形態)
 上述した実施形態以外にも、種々の異なる形態にて実施されてもよい。
 例えば、上記の実施形態では、評価部202を備える場合を説明したが、手術トレーニングシステム1は、必ずしも評価部202を備えていなくてもよい。例えば、手術トレーニングシステム1は、算出部201によって算出された物理量をそのままユーザに提示しても良い。これにより、ユーザは、定量性の高い物理量を閲覧することができるので、手術トレーニングの自己評価を行うことができる。
(術具用マーカーの位置)
 上述した実施形態では、術具用マーカー40A,41Aが医療術具40,41の後端(患者から見た遠位端)に設置される場合を説明したが、実施形態はこれに限定されるものではない。例えば、医師が把持するための指穴や指掛けが設けられた医療術具では、その後端に術具用マーカーを取り付けられない場合がある。そこで、医療術具の主軸(本体)に術具用マーカーを設ける場合を説明する。
 図15は、その他の実施形態に係る医療術具の一例を示す図である。図15には、指穴や指掛けが設けられた医療術具を例示する。図15に示すように、医療術具70は、主軸の領域80において複数の術具用マーカー81,82,83,84,85を有する。
 複数の術具用マーカー81,82,83,84,85それぞれは、医療術具70の回旋方向における位置が互いに異なる。具体的には、複数の術具用マーカー81,82,83,84,85それぞれは、医療術具70の回旋方向における位置と、長手方向における位置とが互いに異なる。
 これにより、複数の術具用マーカー81,82,83,84,85のうちいずれかが術具用センサ12によって検知されれば、そのマーカーの検知位置と、そのマーカーと医療術具70との位置関係に基づいて、医療術具70の位置及び向きを検知することができる。なお、複数の術具用マーカー81,82,83,84,85の配置方法は、指穴や指掛けが設けられていない医療術具に対しても適用可能である。
(縫合状態の評価)
 また、上述した実施形態では、生体モデルの変形や医療術具の動作に基づいて評価する場合を説明したが、これに限定されるものではない。例えば、患者(又は生体モデル)に対して縫い付けられた縫合糸の最終的な状態(縫合状態)をカメラ等で画像化し、画像上で評価することが可能である。
 以上説明した実施形態によれば、高品質な手術スキルのトレーニング環境を提供することができる手術トレーニングシステムを提供することができる。
 上述の実施形態は、以上の変形例と任意に組み合わせることができるし、以上の変形例同士を任意に組み合わせても良い。
 また、上述した実施形態の情報処理装置10,40で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD、USB(Universal Serial Bus)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成しても良いし、インターネット等のネットワーク経由で提供または配布するように構成しても良い。また、各種プログラムを、例えばROM等の不揮発性の記憶媒体に予め組み込んで提供するように構成しても良い。

Claims (17)

  1.  ユーザにより用いられる医療術具に設置された術具用マーカーの位置を経時的に検知する術具用検知部と、
     前記術具用マーカーの位置の経時的変化に基づいて、前記医療術具の動作を表す動作データを算出する算出部と
     を備える、手術評価システム。
  2.  前記算出部は、前記動作データとして、前記術具用マーカーの位置に関する物理量の経時的変化を表す統計値を算出する、
     請求項1に記載の手術評価システム。
  3.  前記動作データに基づいて、前記ユーザの手術スキルを評価する評価部を更に備える、
     請求項1又は2に記載の手術評価システム。
  4.  前記算出部は、前記動作データとして、前記医療術具の回旋角度の微分値の標準偏差、前記医療術具の手元の位置の標準偏差の平均値、及び、前記医療術具の手元の位置の標準偏差の標準偏差のうち少なくとも一つの統計値を算出し、
     前記評価部は、前記統計値に基づいて、前記ユーザの手技の繊細さを前記手術スキルとして評価する、
     請求項3に記載の手術評価システム。
  5.  前記算出部は、前記動作データとして、前記医療術具の加速度の平均値を算出し、
     前記評価部は、前記医療術具の加速度の平均値に基づいて、前記ユーザの左右の前記医療術具の協調性を前記手術スキルとして評価する、
     請求項3又は4に記載の手術評価システム。
  6.  前記評価部は、複数のユーザそれぞれについて前記手術スキルを評価した場合に、前記複数のユーザそれぞれの手術スキルを比較し、比較結果を出力する、
     請求項3~5のいずれか一つに記載の手術評価システム。
  7.  前記医療術具は、前記術具用マーカーが複数配置され、
     前記複数の術具用マーカーそれぞれは、前記医療術具の回旋方向における位置が互いに異なる、
     請求項1~6のいずれか一つに記載の手術評価システム。
  8.  手術トレーニングに用いられる生体モデルに配置されたモデル用マーカーの位置を経時的に検知するモデル用検知部を更に備え、
     前記算出部は、前記モデル用マーカーの位置の経時的変化に基づいて、前記生体モデルの変形を表す変形データを算出する
     請求項1~7のいずれか一つに記載の手術評価システム。
  9.  前記動作データ及び前記変形データに基づいて、前記ユーザの手術スキルを評価する評価部を更に備える、
     請求項8に記載の手術評価システム。
  10.  手術トレーニングに用いられる生体モデルに配置されたモデル用マーカーの位置を経時的に検知するモデル用検知部と、
     前記モデル用マーカーの位置の経時的変化に基づいて、前記生体モデルの変形を表す変形データを算出する算出部と
     を備える、手術評価システム。
  11.  前記生体モデルは、前記モデル用マーカーが複数配置され、
     前記モデル用検知部は、前記生体モデルに配置された複数のモデル用マーカーそれぞれの位置を検知し、
     前記算出部は、前記複数のモデル用マーカーそれぞれの位置の経時的変化に基づいて、前記変形データを算出する、
     請求項10に記載の手術評価システム。
  12.  前記生体モデルは、更に、基準マーカーが配置され、
     前記モデル用検知部は、更に、前記基準マーカーの位置を経時的に検知し、
     前記算出部は、前記複数のモデル用マーカーそれぞれの位置と、前記基準マーカーの位置との差分に基づいて、前記変形データを算出する、
     請求項11に記載の手術評価システム。
  13.  前記生体モデルは、前記手術トレーニングが施される第1の面と、前記第1の面と対向する側の第2の面とを有する面形状の構造物であり、
     前記複数のモデル用マーカー及び基準マーカーは、前記第2の面に配置される、
     請求項12に記載の手術評価システム。
  14.  前記算出部は、前記変形データとして、各モデル用マーカーの歪み、前記歪みの加速度、前記歪みの躍度、前記歪みの方向、各モデル用マーカーの位置関係、及び各モデル用マーカーの形状のうち少なくとも一つを算出する、
     請求項10~13のいずれか一つに記載の手術評価システム。
  15.  前記算出部は、前記変形データとして、前記歪み、前記加速度、前記躍度、前記方向、前記位置関係、及び前記形状のうち少なくとも一つが、所定の条件を満たした回数を算出する、
     請求項14に記載の手術評価システム。
  16.  前記変形データに基づいて、前記手術トレーニングを実行するユーザの手術スキルを評価する評価部を更に備える、
     請求項10~15のいずれか一つに記載の手術評価システム。
  17.  前記評価部は、前記手術トレーニングにおいて評価対象となる手術シナリオに応じて設定された判定項目ごとに、前記ユーザの手術スキルを評価する、
     請求項16に記載の手術評価システム。
PCT/JP2020/015709 2019-04-19 2020-04-07 手術評価システム Ceased WO2020213484A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021514899A JPWO2020213484A1 (ja) 2019-04-19 2020-04-07

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019079830 2019-04-19
JP2019-079830 2019-04-19

Publications (1)

Publication Number Publication Date
WO2020213484A1 true WO2020213484A1 (ja) 2020-10-22

Family

ID=72837843

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/015709 Ceased WO2020213484A1 (ja) 2019-04-19 2020-04-07 手術評価システム

Country Status (2)

Country Link
JP (1) JPWO2020213484A1 (ja)
WO (1) WO2020213484A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113017830A (zh) * 2021-02-23 2021-06-25 刘睿 一种基于视频识别的显微外科吻合操作评分系统
CN113223342A (zh) * 2021-05-11 2021-08-06 浙江大学医学院附属邵逸夫医院 一种基于虚拟现实技术的手术仪器操作训练系统及其设备
CN113971896A (zh) * 2021-11-17 2022-01-25 苏州大学 一种手术训练系统及训练方法
WO2023189462A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法、並びにプログラム
CN117708408A (zh) * 2022-09-15 2024-03-15 武汉联影智融医疗科技有限公司 医生评价及推荐方法、系统、设备和介质
EP4312865A4 (en) * 2021-05-12 2025-02-12 Orbsurgical Ltd. MACHINE LEARNING-BASED CHARACTERIZATION OF SURGICAL INSTRUMENTS

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003265616A (ja) * 2002-03-13 2003-09-24 Terumo Corp ガイドワイヤ
JP2009236963A (ja) * 2008-03-25 2009-10-15 Panasonic Electric Works Co Ltd 内視鏡手術用トレーニング装置、内視鏡手術用技能評価方法
JP2012081136A (ja) * 2010-10-13 2012-04-26 Toshiba Corp ステントおよびx線診断装置
JP2012521568A (ja) * 2009-03-20 2012-09-13 ジョンズ ホプキンス ユニバーシティ 技術的技能を定量化する方法及びシステム
JP2015196075A (ja) * 2014-04-03 2015-11-09 学校法人産業医科大学 内視鏡用訓練装置および内視鏡用訓練プログラム
JP2016036515A (ja) * 2014-08-07 2016-03-22 株式会社東芝 X線診断装置
WO2019008737A1 (ja) * 2017-07-07 2019-01-10 オリンパス株式会社 内視鏡用トレーニングシステム
JP2019510604A (ja) * 2016-03-24 2019-04-18 エヌビュー メディカル インク 画像再構築のためのシステム及び方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003265616A (ja) * 2002-03-13 2003-09-24 Terumo Corp ガイドワイヤ
JP2009236963A (ja) * 2008-03-25 2009-10-15 Panasonic Electric Works Co Ltd 内視鏡手術用トレーニング装置、内視鏡手術用技能評価方法
JP2012521568A (ja) * 2009-03-20 2012-09-13 ジョンズ ホプキンス ユニバーシティ 技術的技能を定量化する方法及びシステム
JP2012081136A (ja) * 2010-10-13 2012-04-26 Toshiba Corp ステントおよびx線診断装置
JP2015196075A (ja) * 2014-04-03 2015-11-09 学校法人産業医科大学 内視鏡用訓練装置および内視鏡用訓練プログラム
JP2016036515A (ja) * 2014-08-07 2016-03-22 株式会社東芝 X線診断装置
JP2019510604A (ja) * 2016-03-24 2019-04-18 エヌビュー メディカル インク 画像再構築のためのシステム及び方法
WO2019008737A1 (ja) * 2017-07-07 2019-01-10 オリンパス株式会社 内視鏡用トレーニングシステム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113017830A (zh) * 2021-02-23 2021-06-25 刘睿 一种基于视频识别的显微外科吻合操作评分系统
CN113223342A (zh) * 2021-05-11 2021-08-06 浙江大学医学院附属邵逸夫医院 一种基于虚拟现实技术的手术仪器操作训练系统及其设备
CN113223342B (zh) * 2021-05-11 2023-06-16 浙江大学医学院附属邵逸夫医院 一种基于虚拟现实技术的手术仪器操作训练系统及其设备
EP4312865A4 (en) * 2021-05-12 2025-02-12 Orbsurgical Ltd. MACHINE LEARNING-BASED CHARACTERIZATION OF SURGICAL INSTRUMENTS
CN113971896A (zh) * 2021-11-17 2022-01-25 苏州大学 一种手术训练系统及训练方法
CN113971896B (zh) * 2021-11-17 2023-11-24 苏州大学 一种手术训练系统及训练方法
WO2023189462A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法、並びにプログラム
CN117708408A (zh) * 2022-09-15 2024-03-15 武汉联影智融医疗科技有限公司 医生评价及推荐方法、系统、设备和介质

Also Published As

Publication number Publication date
JPWO2020213484A1 (ja) 2020-10-22

Similar Documents

Publication Publication Date Title
JP7662716B2 (ja) 訓練又は支援機能を有する手術システム
CN112804958B (zh) 指示器系统
US20250054147A1 (en) Composite medical imaging systems and methods
KR101975808B1 (ko) 최소 침습 수술 기량의 평가 또는 개선을 위한 시스템 및 방법
Talasaz et al. Integration of force reflection with tactile sensing for minimally invasive robotics-assisted tumor localization
KR101811888B1 (ko) 연상 능력 검사 및/또는 훈련
US20200113636A1 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
US11779412B2 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
US9332965B2 (en) Method and apparatus for managing and displaying ultrasound image according to an observation operation
US12489960B2 (en) Communication of detected grasping forces in a surgical robotic platform
US11771508B2 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
KR20230054760A (ko) 수술 절차 아틀라스를 갖는 수술시스템의 구성
JP2014520279A (ja) タスク軌跡を分析する方法およびシステム
WO2017098503A1 (en) Database management for laparoscopic surgery
Lee et al. Learning to estimate palpation forces in robotic surgery from visual-inertial data
EP3414753A1 (en) Autonomic goals-based training and assessment system for laparoscopic surgery
JP2023513598A (ja) 気道管理仮想現実訓練
Konstantinova et al. Evaluating manual palpation trajectory patterns in tele-manipulation for soft tissue examination
Nicolaou et al. A Study of saccade transition for attention segregation and task strategy in laparoscopic surgery
Konstantinova et al. Force-velocity modulation strategies for soft tissue examination
Dori et al. Speckle tracking technology for quantifying lung sliding
CN113889224A (zh) 手术操作预估模型的训练及手术操作指示方法
JP7495216B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
US20250014295A1 (en) Systems and methods for determining material property values for a three-dimensional virtual model of an anatomical object
Quinones et al. Kinematic analysis of lumbar pedicle screw placement using an artificial intelligence framework

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20792169

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021514899

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20792169

Country of ref document: EP

Kind code of ref document: A1