WO2021177302A1 - 手術トレーニング情報作成装置、手術トレーニング情報作成プログラム及び手術トレーニング装置 - Google Patents

手術トレーニング情報作成装置、手術トレーニング情報作成プログラム及び手術トレーニング装置 Download PDF

Info

Publication number
WO2021177302A1
WO2021177302A1 PCT/JP2021/007948 JP2021007948W WO2021177302A1 WO 2021177302 A1 WO2021177302 A1 WO 2021177302A1 JP 2021007948 W JP2021007948 W JP 2021007948W WO 2021177302 A1 WO2021177302 A1 WO 2021177302A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
endoscopic
history
movement
forceps
Prior art date
Application number
PCT/JP2021/007948
Other languages
English (en)
French (fr)
Inventor
英由樹 安藤
前田　太郎
正紘 古川
Original Assignee
国立大学法人大阪大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人大阪大学 filed Critical 国立大学法人大阪大学
Publication of WO2021177302A1 publication Critical patent/WO2021177302A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/24—Use of tools
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip

Definitions

  • the present invention relates to a surgical training information creation device, a surgical training information creation program, and a surgical training device for training endoscopic surgery.
  • the follow-up training system that applies the visual field sharing method can obtain real-time feedback of errors by superimposing the movements of the expert and the movements of the expert, so that the movements of the expert are always superimposed on the movements of the expert. be able to. Therefore, out of the four steps of "seeing, remembering, demonstrating, and modifying", which are the procedures of the usual training method, it is not necessary to "remember", and "seeing, demonstrating, and modifying" can be performed at the same time. can.
  • a coelomic mirror-following training system that applies a field-of-view sharing method has been proposed as a simulator in the medical field.
  • Patent Document 1 a training device for learning a technique is proposed by superimposing and synthesizing a forceps image operated by a practitioner on a surgical image (video) of a skilled person recorded in the past and chasing it (for example).
  • Patent Document 1 the movement locus of the endoscopic camera is acquired in advance together with the surgical image of a skilled person as a teaching material, and the movement of the endoscopic camera for practice is matched with the movement locus of the endoscopic camera during surgery during training. By doing so, the change in the appearance of the teaching material image due to the movement of the endoscopic camera is reproduced on the display during practice to enhance the practice effect, and the evaluation is performed by measuring the movement trajectory of the forceps. ing.
  • Endoscopic cameras are generally used as equipment for recording moving images, but equipment for measuring and recording the movement trajectory of endoscopic cameras has not become widespread. Therefore, in order to separately record the movement locus, the measuring instrument is brought into the operating room, and there is a cost (pharmaceutical method) associated with it. Therefore, in order to use the surgical video as a teaching material for the training system, the movement locus is recorded. It is difficult to provide equipment that constantly measures and makes available.
  • the present invention has been made in view of the above, and the movement of the endoscopic camera for practice is accurately measured in the history of the movement of the endoscopic camera that has taken the surgical image by applying the restraint conditions peculiar to the endoscopic surgery. It proposes a surgical training information creation device, a surgical training information creation program, and a surgical training device that can be well matched.
  • the surgical training information creating device calculates the motion information of the endoscopic camera from the surgical images taken by the endoscopic camera inserted from each port and the endoscopic surgery performed by using a plurality of forceps. It is a surgical training information creation device for performing surgical training, and the restraint condition that the positions of the first and second forceps images taken by the endoscopic camera during the luminoscopy operation at predetermined time intervals and the forceps pass through the port. It is provided with a camera history calculation means for calculating the movement history of the endoscopic camera by using the camera history calculation means.
  • the surgical training information creation program provides information on the movement of the endoscopic camera from surgical images taken by a endoscopic camera inserted from each port and a body cavity surgery performed using a plurality of forceps. It is a surgical training information creation program for calculating The computer functions as a camera history calculation means for calculating the movement history of the endoscopic camera using the conditions.
  • an endoscopic camera and a plurality of forceps are inserted into the body cavity from each corresponding port, and the endoscopic surgery is performed using each forceps while taking a picture with the endoscopic camera. Is done.
  • the endoscopic camera is moved as appropriate to provide an image that makes it easier to see the treatment site and treatment status.
  • information on the movement of the endoscopic camera is calculated by the camera history calculating means from the surgical image taken by the endoscopic camera.
  • the camera history calculation means utilizes the position of the first and second forceps images taken by the endoscopic camera during endoscopic surgery at predetermined time intervals and the restraint condition that the forceps pass through the port.
  • the surgical training device reproduces a surgical practice space simulating a laparoscopic surgery in a surgical training device for practicing endoscopic surgery performed with an endoscopic camera inserted from each port and a plurality of forceps.
  • a practice device for performing surgery a practice endoscopic camera for imaging the surgical practice space, a drive unit for movably supporting the practice endoscopic camera in the practice device, and the inside of the surgery during the endoscopic surgery.
  • the image synthesizing means for synthesizing the surgical image taken by the endoscopic camera and the practice image captured by the practice endoscopic camera and displaying it on the display unit, and the endoscopic camera during the endoscopic surgery.
  • a storage unit that stores the history of movement of the endoscopic camera calculated based on the first and second forceps images captured, and a history of movement of the endoscopic camera read from the storage unit. It is provided with a drive instruction signal generation means that generates a drive instruction signal for moving the practice endoscopic camera according to the above and outputs the drive instruction signal to the drive unit.
  • the practice endoscopic camera is moved so as to match the movement of the endoscopic camera that captured the surgical image, so that surgical training can be performed with a simple configuration. It will be possible.
  • FIG. 1 is a schematic configuration diagram showing an embodiment of a surgical training device according to the present invention.
  • the surgical training device 1 includes a practice operation unit 10 mounted on the practice table 11 and an information processing device 20. Further, a display unit 31 for displaying an image is arranged at an appropriate position in the vicinity of the practice operation unit 10, preferably on the front side.
  • a dry box 12 simulating the body of a patient and a movement driving unit 15 in front of the dry box 12 are installed.
  • the dry box 12 has a part of a living body, for example, an upper surface portion 121 of a convex curved surface simulating the abdomen.
  • the upper surface portion 121 is made of an opaque or translucent member, and a plurality of circular hole ports 122 are formed at appropriate positions.
  • a film material such as a resin material is attached to the port 122, and in the center thereof, a cross shape functionally simulating a cylindrical trocar for inserting and removing forceps 131 and an endoscopic camera 14 corresponding to various surgical instruments.
  • a notch is formed.
  • the forceps 131 is inserted from the outside via the port 122.
  • the forceps 131 is a long body, has an operation portion at the base end portion, has a pair of holding members that can be opened and closed as an example at the tip end portion, and has a peritoneum, a mesentery, or a blood vessel as an affected organ. It is used assuming the case of peeling from.
  • the practice endoscope camera 14 is a robust long body having a predetermined diameter, and is inserted into the dry box 12 via a port 122 in the center on the front side of the dry box 12.
  • the practice endoscope camera 14 is attached to the tip of the motion drive unit 15, and the imaging unit 141 and imaging capable of capturing a moving image such as a CCD at the tip of a long body.
  • a light source 142 such as an LED that illuminates a range is provided, and the movement of a surgical instrument such as forceps 131 is imaged during practice so that the practitioner can observe the practice space.
  • the inner wall of the dry box 12 is light-shielded, for example, painted in black or covered with a black curtain, and only the surgical instrument is imaged by the light source 142, and other members are unnecessarily practiced. I try not to be reflected inside.
  • the movement drive unit 15 reproduces the movement of the endoscopic camera that captured the surgical image as the created teaching material image on the endoscopic camera 14 for practice, and the details will be described later in FIG.
  • the information processing device 20 exchanges information with the practice operation unit 10, outputs the surgical image and the practice image to the display unit 31 in synchronization, and performs a composite display.
  • the teaching material may be an image captured by a simulated operation using a dummy (for example, a pig), but it is more preferable to use an image captured during an actual operation.
  • a dummy for example, a pig
  • an image taken in frame units by an endoscopic camera during a coelomic surgery is electronically stored in a teaching material image storage unit.
  • the teaching material is only the instrument used in the coelomic surgery, and no special instrument is required for creating the teaching material. Therefore, endoscopic camera images of coelomic surgery performed in the past are also available.
  • the teaching material video storage unit 3 in which the teaching material video is stored is connected to the information creation device 5 by wire or wirelessly.
  • the teaching material video stored in the teaching material video storage unit 3 is read out from the teaching material video storage unit 3 and processed by the information creation device 5 as described later.
  • the information creating device 5 also creates a history of the movement of the endoscopic camera (hereinafter referred to as “camera history”) as teaching material information from the surgical image which is the teaching material.
  • FIG. 2 is a schematic configuration diagram of a motion drive unit that employs a parallel link mechanism.
  • the motion drive unit 15 employs a known parallel link mechanism.
  • the parallel link mechanism constituting the motion drive unit 15 has, for example, a disk-shaped base portion 151, a movable portion 152, and a base portion 151 and a movable portion, which are vertically supported by the main body portion shown in the drawing. It is provided with three link portions 153 that are connected to 152 and each have one degree of freedom with respect to the foundation portion 151, and actuators 154 such as three motors that rotate and drive the base end side of each of the link portions 153. ing.
  • Each of the link portions 153 is a drive link rotatably connected to the base portion 151, a passive link connected to the drive link via a spherical joint, and a movable portion 152 connected to the passive link via a spherical joint. It has.
  • the actuator 154 may have a cylinder structure that expands and contracts the length dimension of the drive link connected to the base portion 151.
  • the position of the movable portion 152 in space can be set by the actuator 154.
  • a practice endoscope camera 14 is rotatably supported on the movable portion 152 via an actuator 155 for rotation such as a motor.
  • the base of the endoscopic camera 14 is attached to the actuator 155 of the movable portion 152, inserted into the dry box 12 via the port 122, and moved forward by moving and rotating (rotating) to an arbitrary position in the practice space. Performs imaging operation (camera line of sight).
  • the endoscope camera 14 obtains a drive amount from the calculated camera history using inverse kinematics, and outputs the drive amount to the actuators 154 and 155 to create teaching materials.
  • the endoscopic camera history can be reproduced.
  • FIG. 3 is a block diagram showing an embodiment of an information creation device 5 that creates a camera history from a surgical image targeted as a teaching material.
  • the information creation device 5 is composed of a computer having a processor, and includes a learned model 4, a control unit 51, a teaching material storage unit 52, and a storage unit 53.
  • the trained model 4 is a program that executes a process of obtaining predetermined information for an input video, simulating an input / output layer and a neural network having one or a plurality of intermediate layers between them, and machine learning (reinforcement learning). , Including deep learning), and includes parameters that are weights associated with each edge of each layer.
  • the trained model 4 is created by using machine learning.
  • an image of forceps is extracted from surgical images for one or more teaching materials, and two specific points in a preset longitudinal direction in the forceps image are extracted, and they are extracted.
  • the trained model 4 is constructed by executing learning to acquire parameters as feature quantities so as to output the display position coordinates of.
  • the teaching material storage unit 52 stores the teaching material video read from the teaching material video storage unit 3 and the camera history information created from the teaching material video at predetermined time intervals.
  • the storage unit 53 includes a memory area for storing a processing program and necessary data, and a work area for executing information processing.
  • the control unit 51 corresponds to the camera history calculation means, and executes the program read from the storage unit 53 by the processor using the data read from the trained model 4, so that the reproduction processing unit 511, the forceps image extraction unit 512, It functions as a two-point extraction unit 513, an estimated port position calculation unit 514, and a camera history calculation unit 515.
  • the reproduction processing unit 511 outputs a time-series surgical image read from the teaching material image storage unit 3 by wire or wirelessly to the forceps image extraction unit 512 and the two-point extraction unit.
  • the forceps image extraction unit 512 extracts the forceps image at predetermined time intervals from the input time-series surgical images by executing the program simulating the above-mentioned neural network by applying the learned parameters.
  • the predetermined time may be on a scale of one or more frame times or seconds.
  • FIG. 4 shows an image of an endoscopic camera at the time of surgery as an example of a teaching material image.
  • the endoscopic camera enters the back side. This is the case when it is (moved).
  • FIG. 4 shows a surgical example of the sigmoid colon as an example of surgery.
  • the endoscopic camera is positioned at a shallow position where almost the entire colon image B1 can be seen, and in FIG. 4 (B), the endoscopic camera is further inserted, that is, the rectal image. It is closer to the site of B2 and S-shaped colon image B3.
  • the image size (magnification) of the surgical site changes with the movement of the endoscopic camera, and as a result, the appearance and display position of the forceps images 61 and 62, which are surgical instruments on the screen, also change. ing.
  • the two-point extraction unit 513 identifies the positions of two preset long points on the forceps images 61 and 62 from the forceps images 61 and 62 extracted by the forceps image extraction unit 512, and displays the display coordinates of the points. Is used as the position information, and here, it is calculated in two dimensions.
  • the estimated port position calculation unit 514 calculates the position of the hole opened in the abdomen by inserting the endoscopic camera at the time of surgery as the "estimated port position" based on the position information calculated by the two-point extraction unit 513.
  • FIG. 5 is for explaining the calculation process of the estimated port position required for creating the camera history from the forceps image in the surgical image, which is executed by the two-point extraction unit 513 and the estimated port position calculation unit 514 at predetermined time intervals. It is a figure.
  • the actual forceps are inserted into at least two holes made in the patient's abdomen, etc., and inserted into them for the operation in the abdominal cavity. Since each hole into which the forceps is inserted is formed in the abdomen, their positions are basically the same. In addition, the endoscopic camera monitors the tip of the forceps, and the hole in the abdomen is not normally projected and is not recognized.
  • forceps images 61 and 62 (see, for example, FIG. 4) in the surgical image are displayed on the display unit 31.
  • the forceps images 61 and 62 are read out at predetermined time intervals, for example, at the time t1 (indicated by a broken line) on the immediately preceding side and the time t2 (indicated by a solid line) this time.
  • the display coordinate positions of the two specific points at the times t1 and t2 and the forceps images 61 and 62 are calculated as F_m1, F_m2, F_n1 and F_n2, respectively.
  • F_m1 and F_m2 are the position information of the time t1
  • F_n1 and F_n2 are the position information of the time t2.
  • the two forceps images 61 at the times t1 and t2 should intersect at the hole formed in the abdomen (geometric restraint condition), and therefore at the time t1.
  • the straight line "straight line 1" passing through the two points F_m1 and F_m2 and the straight line “straight line 2" passing through the two points F_n1 and F_n2 at time t2 are the estimated port positions P1 corresponding to the holes.
  • the estimated port position P1 is calculated as the intersection P1 (Px, Py) of the "straight line type 1" and the "straight line type 2".
  • the other estimated port position P2 is calculated as the intersection P2 (Px, Py).
  • the camera history calculation unit 515 sequentially uses the position information of the estimated port positions P1 and P2 calculated at the times t1 and t2 at predetermined time intervals, and the motion information of the endoscopic camera, that is, the movement and rotation (angle). Is identified, and the camera history, which is the movement based on the endoscopic camera, is sequentially calculated.
  • FIG. 6 is a diagram for explaining a determination method for identifying motion information (movement, rotation) in the camera history, in which (A) is translation, (B) is rotation, and (C) is expansion / contraction (insertion / removal).
  • A is translation
  • B is rotation
  • C expansion / contraction
  • FIG. 6 in order from the upper side, the estimated port positions P1 and P2 and the straight line L passing through them, the endoscopic camera and the abdominal hole at the time of surgery, the estimated port positions P1 and P2 at time t1, the straight line L1, and the time t2.
  • the estimated port positions P1 and P2, the straight line L2, and the movement identification contents are shown. As shown in FIG.
  • the translational movement of the straight lines L1 and L2 means a state in which the endoscope camera moves in a direction orthogonal to the camera line of sight with the hole (port) as a fulcrum.
  • FIG. 6 (B) when the angle ⁇ formed by the straight lines L1 and L2 is generated (rotated), the endoscopic camera rotates (rotates around the axis) without moving as shown in FIG. 6 (A). (Rotated to).
  • FIG. 6C when the distance between the estimated port positions P1 and P2 at time t2 is larger (or smaller) than the distance between the estimated port positions P1 and P2 at time t1. The state in which the endoscopic camera moves forward (backward) in the direction of the camera's line of sight.
  • FIG. 7 is a flowchart showing an example of the calculation process of camera movement / rotation (oblique angle) performed by the information creation device 5.
  • the teaching material image stored in the teaching material image storage unit 3 is read out by the information creation device 5 (step S1), and each time a predetermined time elapses from the start of reading, the forceps image extraction unit 512 uses the forceps image extraction unit 512 to generate a learned model.
  • the forceps image is extracted from the teaching material image (step S3), and the display positions of two specific points on each forceps image are extracted from each forceps image by the two-point extraction unit 513 (step S5).
  • step S7 the display positions of the two points of the forceps image at the times t1 and t2 are sequentially obtained.
  • step S9 the estimated port positions P1 and P2 are sequentially calculated using the information on the display positions at the times t1 and t2 (step S7).
  • step S9 the movement of the endoscopic camera is identified, replaced with the amount of movement based on the endoscopic camera (step S9), and stored in the teaching material storage unit in association with the time information (step S11).
  • FIG. 8 is a flowchart showing a detailed example of the replacement process for camera movement / rotation (hidden angle) performed in step S9 of FIG. 7.
  • the straight line connecting the estimated port positions P1 and P2 is represented by the equation (1). That is, based on the general formula shown in the formula (1), the straight line 1 (see the formula (2)) connecting the estimated port positions P1 and P2 at the time t1 is, in detail, according to the calculation shown in Equation 2. It is expressed as equation (3).
  • the endoscopic camera will be moved (corresponding to [1] translation or [3] enlargement / reduction (insertion / removal)). Therefore, the change Dt2 of the distances Dt1 and Dt2 between the two points P1 and P2 at the times t1 and t2 is calculated by using the general formula for obtaining the distance between the two points. Specifically, the equations (7) and (8) in Equation 5 and then the equation (9) are executed to identify the movement of the camera.
  • step S21 it is then determined whether or not the formed angle ⁇ is ⁇ 90 ° (step S23). If so, it is identified as [2] rotation and obtained at time t1. That is, the positive / negative angle is determined with reference to the angle ⁇ formed immediately before, and is stored as the camera history (step S25).
  • step S27 it is determined whether or not the formed angle ⁇ is 0 ° (step S27), and if the formed angle ⁇ is not 0 °, it is identified as [2] rotation and described above.
  • the angle ⁇ is stored as a camera history (step S29).
  • step S37 it is determined whether or not the distance difference Dd> 0 (step S37), and if the distance difference Dd> 0, it is identified as [3] insertion / removal and the depth side.
  • the amount of movement corresponding to the distance difference Dd is calculated and stored as a camera history (step S39).
  • the distance difference Dd> 0 it is identified as [3] insertion / removal, the amount of movement corresponding to the distance difference Dd to the front side is calculated, and stored as a camera history (step S41).
  • the function of the information creation device 5 may be a mode that can be executed by the processor of the information processing device 20.
  • FIG. 9 is a block diagram showing an embodiment of the information processing device 20 in the surgical training device 1.
  • the information processing device 20 includes, for example, a control unit 24 composed of a computer having a processor.
  • the control unit 24 is connected to a display unit 31, a video compositing unit 25, an endoscope camera 14 for practice, and a motion drive unit 15. Further, the control unit 24 is connected to an operation unit 21, a storage unit 22 for storing a processing program, and a teaching material storage unit 52.
  • the operation unit 21 gives instructions such as various settings, practice start and end.
  • the teaching material storage unit 52 is shown in FIG. 3 and was obtained when the teaching material was created.
  • the camera history storage unit 522 may store the calculation result of the inverse kinematics described above. In this case, it can be directly output as a drive instruction signal to the actuators 154 and 155 of the drive unit 15.
  • the teaching material storage unit 52 is, for example, a USB memory or the like, the USB memory can be applied as the teaching material storage unit 52.
  • the video compositing unit 25 includes a video RAM (not shown), and synchronizes the captured image from the practice endoscopic camera 14 with the surgical image from the teaching material image storage unit 521 of the teaching material storage unit 52. It is read to. As is known, the image written in the video RAM is read out by the display unit 31 at a predetermined frame period (for example, 1/60 second) and displayed as a composite image as a video image.
  • a predetermined frame period for example, 1/60 second
  • the control unit 24 functions as a video composition processing unit 241 and a camera drive instruction signal generation unit 242 and an evaluation unit 243 by reading and executing the processing program stored in the storage unit 22.
  • the image compositing processing unit 241 sequentially reads out the surgical image from the teaching material image storage unit 521 in the temporal direction, outputs it to the image compositing unit 25, and alternately time-divides the self-image captured by the practice endoscope camera 14. The process of compositing and writing to the video RAM is performed.
  • the video composition may be a visual field composition method in which the two images are superimposed in addition to the mode in which the two images are displayed alternately in a time division manner.
  • the time division method is a method in which the teaching material image and the self-image are alternately switched for each predetermined number of frames and output to the display unit 31 for display to evoke a sense of self-other fusion. It is a method of displaying.
  • the camera drive instruction signal generation unit 242 reads the camera history information from the camera history storage unit 522 at the predetermined time cycle in synchronization with the reading of the surgical image from the teaching material image storage unit 521, and uses it as a camera drive instruction signal. Output to the motion drive unit 15.
  • the motion drive unit 15 moves the practice endoscope camera 14 according to the drive signal of camera movement / rotation from the camera history storage unit 522, thereby moving the image pickup unit 141 at the tip of the practice endoscope camera 14. Match with the endoscopic camera when creating the teaching material.
  • the display unit 31 displays an image in which the viewpoint and the line of sight match between the time of creating the teaching material and the time of practicing, and under that situation, the surgical training of moving one's own forceps according to the movement of the forceps image of the teaching material is performed.
  • the practice endoscope camera 14 it is preferable to initialize the practice endoscope camera 14 (automatically or manually match the position of the teaching material endoscope camera at the start of the teaching material image).
  • the evaluation unit 243 evaluates the level of followability of the self-operated image to the teaching material image by various methods. For example, the display position of the forceps image in the teaching material image and the image taken by the endoscopic camera 14 for practice. The distance difference between the display position and the forceps image is calculated, and skillful evaluation is performed based on the magnitude of the distance difference.
  • FIG. 10A and 10B are diagrams showing an example of a composite image during practice, in which FIG. 10A is a state in which the image is combined with the image in FIG. 4A, and FIG. 10B is a state in which the image is combined with the image in FIG. 4B. Is shown.
  • the image is displayed on the display unit 31 at the viewpoint and the angle of rotation that match those at the time of creating the teaching material. ..
  • the forceps images 161, 162 are images of forceps operated by the practitioner.
  • the appearance of the forceps images 61 and 62 on the teaching material side changes significantly, for example, between FIGS. 10 (A) and 10 (B) due to insertion / removal (enlargement / reduction).
  • the forceps images 161, 162 are always visible with the same position reference as the endoscope camera on the teaching material side.
  • the training of the operation according to the movement of the forceps images 61 and 62 on the teaching material side becomes significant.
  • FIG. 11 is a flowchart showing an example of video composition display processing during practice.
  • the teaching material video and the practice video are played back in synchronization, for example, in a time-division display (step S51).
  • the drive instruction signal that becomes the movement amount and rotation (settled angle) of the camera according to the timekeeping information of the teaching material image is read from the camera history, and the drive instruction signal is output (step). S53).
  • the evaluation of surgical training is performed by, for example, a separate evaluation program.
  • the predetermined time in the present embodiment does not have to be constant, and efficiency is achieved by checking the surgical image as a teaching material, that is, the movement of the endoscopic camera, and changing the predetermined time or making it changeable in the middle. Camera history may be created.
  • a parallel link mechanism is adopted as the movement drive unit 15, but the present invention is not limited to this, and a gimbal mechanism is mounted on a base that expands and contracts or slides, and a practice endoscope camera 14 is mounted on this gimbal mechanism. Then, it may be configured to enable rotation in the advancing / retreating direction and in all directions.
  • the trained model 4 is used to output the display coordinates of two specific points set in advance in the longitudinal direction on the forceps image.
  • the forceps image is not limited to two predetermined points in the longitudinal direction, and (1) one point may be a specific point and the other points may be arbitrary points, and (2). Both of the two points may be arbitrary points in the longitudinal direction on the forceps image. In this way, two points with high visibility can be appropriately selected.
  • the operation of the sigmoid colon has been described as an example of the coelomic surgery, but in the case of the coelomic surgery, it can be applied to various surgical trainings in general.
  • the present invention creates a camera history of an endoscopic camera for training from surgical videos accumulated in the past for robot-assisted surgery, as in the case of performing direct surgery as described above. It can be utilized.
  • the surgical training information creation device is the endoscopic camera based on the surgical images taken by the endoscopic camera inserted from each port and the endoscopic surgery performed by using a plurality of forceps.
  • a surgical training information creation device that calculates information on the movement of It is preferable to provide a camera history calculation means for calculating the movement history of the endoscopic camera by utilizing the constraint condition of passing through.
  • the surgical training information creation program provides information on the movement of the endoscopic camera from surgical images taken by a endoscopic camera inserted from each port and a body cavity surgery performed using a plurality of forceps. It is a surgical training information creation program for calculating It is preferable to make the computer function as a camera history calculation means for calculating the movement history of the endoscopic camera using the conditions.
  • an endoscopic camera and a plurality of forceps are inserted into the body cavity from each corresponding port, and the endoscopic surgery is performed using each forceps while taking a picture with the endoscopic camera. Is done.
  • the endoscopic camera is moved as appropriate to provide an image that makes it easier to see the treatment site and treatment status.
  • information on the movement of the endoscopic camera is calculated by the camera history calculating means from the surgical image taken by the endoscopic camera.
  • the camera history calculation means uses the positions of the first and second forceps images taken by the endoscopic camera during endoscopic surgery at predetermined time intervals and the restraint condition that the forceps pass through the port. Calculate the history of camera movement (that is, back calculation).
  • the position of the port opened on the body surface (where the forceps are inserted) does not change, which is not the object to be photographed by the endoscopic camera, as a teaching material other than the surgical image.
  • the feature is that information is not required. Therefore, it is possible to accurately match the movement of the endoscopic camera for practice with the movement history of the endoscopic camera that has captured the surgical image by utilizing the restraint condition peculiar to the endoscopic surgery.
  • the camera history calculation means calculates the history of movement and rotation of the endoscope camera as the history of movement of the endoscope camera. According to this configuration, it is possible to follow the movement and rotation of the endoscopic camera.
  • the movement includes a plane direction orthogonal to the line of sight and a line-of-sight direction
  • the rotation refers to rotation around the line of sight, and may also include composition.
  • the camera history calculation means extracts the first and second forceps images from the surgical images taken by the endoscopic camera at predetermined time intervals, and from the position information of each extracted forceps image, the first and second forceps images are used. It is preferable to calculate the position of each inserted port and calculate the history of movement of the endoscope camera from the calculated position information of each port. According to this configuration, the position of each port can be obtained from the restraint condition between the forceps image taken at a predetermined time and the port, and as a result, the history of the movement of the endoscopic camera can be calculated.
  • the camera history calculation means is the first and second forceps images taken by the endoscopic camera during the endoscopic surgery, and each forceps is extracted from each forceps image for two times at predetermined time intervals.
  • the positions of the inserted first and second ports are estimated, and the amount of change in the two straight lines connecting the first and second ports calculated from the estimated position information for each of the two times at predetermined time intervals is calculated. It is preferable to calculate and calculate the history of the movement of the endoscopic camera from the amount of change. According to this configuration, the position of each port can be obtained from the constraint condition between the forceps image taken at a predetermined time and the port, and as a result, the movement history of the endoscopic camera can be calculated.
  • the surgical training device reproduces a surgical practice space simulating endoscopic surgery in a surgical training device for practicing endoscopic surgery performed with an endoscopic camera inserted from each port and a plurality of forceps.
  • a practice device for performing surgery a practice endoscopic camera for imaging the surgical practice space, a drive unit for movably supporting the practice endoscopic camera in the practice device, and the inside of the body during the endoscopic surgery.
  • the image synthesizing means for synthesizing the surgical image taken by the endoscopic camera and the practice image captured by the endoscopic camera for practice and displaying it on the display unit, and the endoscopic camera during the endoscopic surgery.
  • a storage unit that stores the movement history of the endoscope camera calculated based on the captured first and second forceps images, and a movement history of the endoscope camera read from the storage unit. It is preferable to provide a drive instruction signal generation means that generates a drive instruction signal for moving the practice endoscope camera according to the above and outputs the drive instruction signal to the drive unit.
  • the practice endoscopic camera is moved so as to match the movement of the endoscopic camera that captured the surgical image, so that surgical training can be performed with a simple configuration. It will be possible.
  • the history of movement of the endoscope camera is the history of movement and rotation of the endoscope camera
  • the instruction signal generation means generates a drive instruction signal from the calculated history of movement and rotation. Is preferable. According to this configuration, it is possible to follow the movement and rotation of the endoscopic camera.
  • the image synthesizing means displays the surgical image and the practice image on the display unit in a time-division display. According to this configuration, it is possible to evoke a feeling of self-other fusion by alternately switching and displaying the surgical image and the self-image for each predetermined number of frames, and it is possible to improve the training efficiency.
  • the drive unit is composed of a parallel link mechanism. According to this configuration, the movement and rotation of the endoscopic camera that captured the surgical image can be reproduced by the practice endoscopic camera.
  • the present invention includes the surgical training information creating device, and the storage unit stores the movement history of the endoscopic camera calculated by the camera history calculating means. According to this configuration, training can be performed as it is by calculating and reading the movement history of the endoscopic camera with the surgical training device.
  • Surgical training device 5 Information creation device (Surgery training information creation device) 10 Practice operation unit (practice device) 12 Dry box (practice device) 122 ports (practice device) 131 Forceps 14 Endoscopic camera for practice 15 Movement drive unit (drive unit) 31 Display unit 20 Information processing device 51 Control unit (camera history calculation means) 521 Teaching material video storage unit 522 Camera history storage unit (memory unit) 24 Control unit 241 Video compositing processing unit (Video compositing means) 25 Video compositing unit (video compositing means) 242 Camera drive instruction signal generation unit (drive instruction signal generation means) 451 camera history

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medical Informatics (AREA)
  • Medicinal Chemistry (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Endoscopes (AREA)

Abstract

情報作成装置（５）は、各ポートから挿入された内視鏡カメラ及び鉗子を用いて行う腹腔鏡手術で撮影された手術映像から内視鏡カメラの動きの情報を算出するもので、腹腔鏡手術中の内視鏡カメラで所定時間をおいて撮影された第１、第２の鉗子映像の位置及び鉗子がポートを通るという拘束条件を利用して内視鏡カメラの動きの履歴を算出する制御部（５１）を備えた。これにより、練習用の内視鏡カメラの動きを、体腔鏡手術特有の拘束条件を利用して手術映像を撮影した内視鏡カメラの動きの履歴に精度良く合わせる。

Description

手術トレーニング情報作成装置、手術トレーニング情報作成プログラム及び手術トレーニング装置
　本発明は、内視鏡下での体腔鏡手術をトレーニングする手術トレーニング情報作成装置、手術トレーニング情報作成プログラム及び手術トレーニング装置に関する。
　視野共有手法を応用した追従型トレーニングシステムは、熟練者の動作と自身の動作とを重畳させることで、誤差のリアルタイムフィードバックを得ることができるため、常に自身の動作を熟練者の動作に重ね合わせることができる。そのため、通常の訓練手法の手順である「見る、覚える、実演する、修正する」という４ステップのうち、「覚える」ことを不要とし、さらに「見る、実演する、修正する」を同時に行うことができる。近年のバーチャルリアリティ技術の発展に伴い、医療分野におけるシミュレータとして視野共有手法を応用した体腔鏡追従型トレーニングシステムが提案されている。
　教材とする手術環境を再現することが望ましいが、複雑な体腔内を再現するのは難しい。そのため、過去に記録された熟練者の手術映像（動画）に対して、練習者の操作する鉗子映像を重畳合成して、これを追いかけることで技術を習得するトレーニング装置が提案されている（例えば特許文献１）。特許文献１では、教材用となる熟練者の手術映像と共に内視鏡カメラの移動軌跡を予め取得し、トレーニング時に練習用内視鏡カメラの移動を手術時の内視鏡カメラの移動軌跡に合わせることで、内視鏡カメラの移動に伴う教材映像の見え方の変化を練習時の表示に再現して練習効果を高めるようにし、かつ鉗子の移動軌跡を計測することでその評価を行うようにしている。
特開２０１６－１４８７６５号公報
　内視鏡カメラは動画を記録する設備として一般的であるが、内視鏡カメラの移動軌跡を計測し、記録する設備までは普及していない。従って、移動軌跡を別途記録するためには手術室への計測器の持ち込み、また、それに伴うコスト（薬機法）があることから、手術動画をトレーニングシステムの教材とするために、移動軌跡を常時計測し、利用可能にする設備を設けることは困難である。
　ところで、記録された熟練者の手術動画のみから、画像処理によって内視鏡カメラの軌跡が取得できれば、上記課題は解消すると考えられる。画像処理によって内視鏡カメラの動きや、特定の物体の認識を行う技術については、公知のVisual SLAM（Simultaneous Localization andMapping）処理を利用することが考えられる。この処理によれば、内視鏡カメラで撮影された手術映像から環境、すなわち生体内の内臓その他の３次元情報と内視鏡カメラの位置・姿勢とを同時に推定可能となる。また、他に深層学習による画像認識技術を利用するものが知られている。しかしながら、SLAM処理、及び深層学習による画像認識処理のみでは利用可能な精度が得られず、手術用トレーニングシステムへの適用には限界がある。
　本発明は、上記に鑑みてなされたもので、練習用の内視鏡カメラの動きを、体腔鏡手術特有の拘束条件を適用して手術映像を撮影した内視鏡カメラの動きの履歴に精度良く合わせることが可能な手術トレーニング情報作成装置、手術トレーニング情報作成プログラム及び手術トレーニング装置を提案するものである。
　本発明に係る手術トレーニング情報作成装置は、各ポートから挿入された内視鏡カメラ及び複数の鉗子を用いて行う体腔鏡手術で撮影された手術映像から前記内視鏡カメラの動きの情報を算出する手術トレーニング情情報作成装置であって、前記体腔鏡手術中の前記内視鏡カメラで撮影された第１、第２の鉗子映像の所定時間毎の位置及び鉗子がポートを通るという拘束条件を利用して前記内視鏡カメラの動きの履歴を算出するカメラ履歴算出手段を備えたものである。
　また、本発明に係る手術トレーニング情報作成プログラムは、各ポートから挿入された内視鏡カメラ及び複数の鉗子を用いて行う体腔鏡手術で撮影された手術映像から前記内視鏡カメラの動きの情報を算出する手術トレーニング情情報作成プログラムであって、前記体腔鏡手術中の前記内視鏡カメラで撮影された第１、第２の鉗子映像の所定時間毎の位置及び鉗子がポートを通るという拘束条件を利用して前記内視鏡カメラの動きの履歴を算出するカメラ履歴算出手段としてコンピュータを機能させるものである。
　これらの発明によれば、体腔鏡手術では内視鏡カメラ及び複数の鉗子は、対応する各ポートから体腔内に挿入されており、内視鏡カメラで撮影しながら各鉗子を用いて体腔鏡手術が行われる。体腔鏡手術中は、内視鏡カメラを適宜動かして施術部位及び施術状況をより視認し易い映像を提供する。このとき、内視鏡カメラで撮影された手術映像から前記内視鏡カメラの動きの情報がカメラ履歴算出手段で算出される。カメラ履歴算出手段は、体腔鏡手術中の内視鏡カメラで撮影された第１、第２の鉗子映像の所定時間毎の位置及び鉗子がポートを通るという拘束条件を利用して前記内視鏡カメラの動きの履歴を算出（すなわち逆算）する。これによれば、特に内視鏡カメラでの撮影対象でない、体表に開口された（鉗子が挿入される）ポートの位置は変わらないとの条件を利用することで、教材として手術映像以外の情報を不要とする点に特徴がある。従って、練習用の内視鏡カメラの動きを、体腔鏡手術特有の前記拘束条件を利用して手術映像を撮影した内視鏡カメラの動きの履歴に精度良く合わせることが可能となる。
　また、本発明に係る手術トレーニング装置は、各ポートから挿入された内視鏡カメラ及び複数の鉗子で行う体腔鏡手術に対する練習を行う手術トレーニング装置において、体腔鏡手術を模擬した手術練習空間を再現する練習器と、前記手術練習空間を撮像する練習用内視鏡カメラと、前記練習用内視鏡カメラを前記練習器内で動き可能に支持する駆動部と、前記体腔鏡手術中の前記内視鏡カメラで撮影された手術映像と前記練習用内視鏡カメラで撮像された練習映像とを合成して表示部に表示する映像合成手段と、前記体腔鏡手術中の前記内視鏡カメラで撮影された第１、第２の鉗子映像に基づいて算出された前記内視鏡カメラの動きの履歴を記憶する記憶部と、前記記憶部から読み出された前記内視鏡カメラの動きの履歴に従って前記練習用内視鏡カメラを動かす駆動指示信号を生成し、前記駆動部に出力する駆動指示信号生成手段とを備えたものである。
　本発明によれば、体腔鏡手術の練習において、練習用内視鏡カメラを、手術映像を撮影した内視鏡カメラの動きと一致するように動かすようにしたので、簡易な構成で手術トレーニングが可能となる。
　本発明によれば、練習用の内視鏡カメラの動きを、体腔鏡手術特有の前記拘束条件を利用して手術映像を撮影した内視鏡カメラの動きの履歴に精度良く合わせることが可能となる。
本発明に係る手術トレーニング装置の一実施形態を示す概略構成図である。 パラレルリンク機構を採用した動き駆動部の概略構成図である。 教材対象の手術映像からカメラ履歴を作成する情報作成装置の一実施形態を示すブロック図である。 手術時の内視鏡カメラの教材映像例を示す図で、（Ａ）は内視鏡カメラが手前側にある場合、（Ｂ）は内視鏡カメラが奥側に進入された場合である。 カメラ履歴の作成に必要な推定ポート位置の算出を説明する図である。 カメラ履歴における動き情報（移動、回転）を識別する判定方法を説明する図で、（Ａ）は並進、（Ｂ）は回転、（Ｃ）は拡縮（抜き差し）を示している。 カメラ移動・回転（なす角）の算出処理の一例を示すフローチャートである。 カメラ移動・回転（なす角）への置換処理の一例を示すフローチャートである。 情報処理装置の一実施形態を示すブロック図である。 練習時の合成映像例を示す図で、（Ａ）は図４（Ａ）の映像と合成されている状態、（Ｂ）は図４（Ｂ）の映像と合成されている状態を示している。 練習時の映像合成表示処理の一例を示すフローチャートである。
　図１は、本発明に係る手術トレーニング装置の一実施形態を示す概略構成図である。手術トレーニング装置１は、練習台１１上に搭載された練習操作部１０と、情報処理装置２０とを備えている。また、練習操作部１０の近傍適所、好ましくは前側には、映像を表示する表示部３１が配置されている。練習台１１上には、患者の胴体を模擬したドライボックス１２と、ドライボックス１２の手前の動き駆動部１５とが設置されている。
　ドライボックス１２は、生体の一部、例えば腹部を模擬した凸状曲面の上面部１２１を有している。上面部１２１は、不透明乃至は半透明の部材で構成され、適所に円孔のポート１２２が複数形成されている。ポート１２２には樹脂材等の膜材が貼られ、その中央には、各種の手術器具に対応する鉗子１３１や内視鏡カメラ１４を抜き差しする円筒状のトロカーを機能的に模擬した十字状の切り込みが形成されている。
　鉗子１３１は、ポート１２２を介して外方から挿通される。鉗子１３１は、公知のように長尺体で、基端部に操作部を有し、先端部に一例として開閉可能な一対の挟持部材を有して、腹膜、腸間膜又は血管を患部臓器から剥離する場合等を想定して使用される。練習用の内視鏡カメラ１４は、所定径を有する堅牢な長尺体で、ドライボックス１２の手前側中央のポート１２２を介してドライボックス１２内に挿通されている。
　練習用の内視鏡カメラ１４は、図２に示すように、動き駆動部１５の先端部に取り付けられており、長尺体の先端にＣＣＤ等の動画撮影を可能にする撮像部１４１及び撮像範囲を照明する、例えばＬＥＤ等の光源１４２を備え、練習時に鉗子１３１等の手術器具の動きを撮像して、練習者に練習空間を観察可能にする。ドライボックス１２は、クロマキー処理の代用構造として、内壁が遮光処理、例えば黒色で塗装したり、暗幕で覆ったりして、光源１４２によって手術器具のみを撮像し、不必要に他の部材が練習映像内に映り込まないようにしている。
　動き駆動部１５は、作成された教材映像としての手術映像を撮像した内視鏡カメラの動きを、練習用の内視鏡カメラ１４に再現させるもので、詳細は図２で後述する。情報処理装置２０は、練習操作部１０との間で情報の授受を行うと共に、表示部３１に手術映像と練習映像とを同期して出力して合成表示を行う。
　まず、教材の作成について説明する。教材は、ダミー（例えば豚等）を用いた模擬手術の撮像映像でもよいが、実際の手術の際の撮像映像を採用することがより好ましい。例えば体腔鏡手術中に内視鏡カメラによってフレーム単位で撮影された映像は、教材映像記憶部に電子的に記憶される。本実施形態では、教材は、体腔鏡手術で用いられる器具のみで足り、教材作成用として特別な器具は不要である。従って、過去に行われた体腔鏡手術の内視鏡カメラ映像も利用可能である。教材映像から教材を作成する場合には、図３に示すように、教材映像が記憶されている教材映像記憶部３を情報作成装置５に有線又は無線で接続する。そして、教材映像記憶部３に記憶された教材映像は教材映像記憶部３から読み出されて、後述するように情報作成装置５で処理される。なお、情報作成装置５は、図３で説明するように、教材である手術映像から内視鏡カメラの動きの履歴（以下、「カメラ履歴）という。）も教材情報として作成する。
　図２は、パラレルリンク機構を採用した動き駆動部の概略構成図である。動き駆動部１５は、本実施形態では、公知のパラレルリンク機構を採用している。動き駆動部１５を構成するパラレルリンク機構は、公知のように、図略の本体部に鉛直方向に支持された、例えば円盤状の基礎部１５１と、可動部１５２と、基礎部１５１と可動部１５２とを連結し、基礎部１５１に対してそれぞれ１自由度を有する３個のリンク部１５３と、リンク部１５３それぞれの基端側を回動駆動する３個のモータ等のアクチュエータ１５４とを備えている。リンク部１５３のそれぞれは、基礎部１５１に回動可能に連結された駆動リンク、駆動リンクに球状ジョイントを介して連結された受動リンク、及び受動リンクに球状ジョイントを介して連結された可動部１５２を備えている。アクチュエータ１５４は、モータの他、基礎部１５１に連結された駆動リンクの長さ寸法を伸縮させるシリンダ構造でもよい。
　可動部１５２は、アクチュエータ１５４によって空間上での位置が設定可能にされる。また、可動部１５２には、モータ等の回転用のアクチュエータ１５５を介して練習用の内視鏡カメラ１４が軸回りに回転可能に支持されている。内視鏡カメラ１４は、基部が可動部１５２のアクチュエータ１５５に取付けられ、ポート１２２を介してドライボックス１２内に挿入されて、練習空間内の任意の位置への移動及び回転（自転）によって前方（カメラ視線）の撮像動作を行う。
　なお、内視鏡カメラ１４は、後述するように、算出されたカメラ履歴から逆運動学を利用して駆動量を得、かかる駆動量をアクチュエータ１５４，１５５に出力することで、教材作成時の内視鏡カメラ履歴を再現することができる。
　図３は、教材対象の手術映像からカメラ履歴を作成する情報作成装置５の一実施形態を示すブロック図である。情報作成装置５は、プロセッサを有するコンピュータで構成され、学習済みモデル４、制御部５１、教材記憶部５２及び記憶部５３を備えている。学習済みモデル４は、入出力層、及びその間の１乃至複数の中間層を有するニューラルネットワークなどを模擬した、入力映像に対して所定の情報を得る処理を実行するプログラム、及び機械学習（強化学習、深層学習含む）を経て各層の各エッジに対応付けられた重み付けであるパラメータを含む。本実施形態では、機械学習を利用して学習済みモデル４が作成されている。すなわち、例えば教師あり学習などを適用して、１又は複数の教材用の手術映像から鉗子の映像を抽出し、さらに鉗子映像中の予め設定した長手方向の特定の２点を抽出して、それらの表示位置座標を出力するように、特徴量としてのパラメータを習得する学習を実行して、学習済みモデル４を構築したものである。
　教材記憶部５２は、教材映像記憶部３から読み出された教材映像、及び当該教材映像から作成される所定時間毎のカメラ履歴の情報を記憶する。記憶部５３は、処理プログラムや必要なデータを記憶するメモリエリア及び情報処理を実行するワークエリアを備える。
　制御部５１は、カメラ履歴算出手段に対応し、記憶部５３から読み出したプログラムを学習済みモデル４から読み出したデータを用いてプロセッサによって実行することで、再生処理部５１１、鉗子映像抽出部５１２、２点抽出部５１３、推定ポート位置算出部５１４及びカメラ履歴算出部５１５として機能する。
　再生処理部５１１は、教材映像記憶部３から有線、無線で読み出された時系列の手術映像を鉗子映像抽出部５１２及び２点抽出部に出力する。
　鉗子映像抽出部５１２は、前記したニューラルネットワークを模擬したプログラムを、学習済みパラメータを適用して実行することで、入力される時系列の手術映像中から所定時間毎に鉗子映像を抽出する。なお、所定時間は、１又は複数のフレーム時間、乃至秒単位のスケールであってもよい。
　図４は、教材映像例として手術時の内視鏡カメラの映像を示すもので、（Ａ）は内視鏡カメラが手前側にある場合、（Ｂ）は内視鏡カメラが奥側に進入（移動）された場合である。図４は、手術の一例としてのＳ字結腸の術例を示している。図４（Ａ）では、大腸映像Ｂ１のほぼ全体が見える浅い位置に内視鏡カメラが位置付けられており、図４（Ｂ）では、内視鏡カメラがさらに奥へ差し込まれて、すなわち直腸映像Ｂ２とＳ字結腸映像Ｂ３との部位により接近している。このように内視鏡カメラの移動などに伴って、手術部位の映像サイズ（倍率）が変化し、その結果、画面内の術器具である鉗子映像６１，６２も見え方、表示位置が変化している。
　２点抽出部５１３は、鉗子映像抽出部５１２で抽出された鉗子映像６１，６２から、鉗子映像６１，６２上の予め設定した長尺方向の２点の位置を特定し、その点の表示座標を位置情報として、ここでは２次元で算出する。
　推定ポート位置算出部５１４は、２点抽出部５１３で算出された位置情報に基づいて手術時の内視鏡カメラを挿入した、腹部に開口した穴の位置を「推定ポート位置」として算出する。
　図５は、２点抽出部５１３及び推定ポート位置算出部５１４によって所定時間毎に実行される、手術映像中の鉗子映像からカメラ履歴の作成に必要な推定ポート位置の算出処理を説明するための図である。
　手術においては、実際の鉗子は、患者の腹部などに開けられた少なくとも２つの穴にトロカーが挿入され、それらに差し込まれて腹腔内で施術に供される。鉗子が差し込まれる各穴は腹部に形成されたものであるから、それらの位置は基本的に変わらない。また、内視鏡カメラは鉗子の先端をモニタするものであり、腹部の穴は通常映されず、認識されない。
　図５において、表示部３１には、手術映像中の鉗子映像６１，６２（例えば図４参照）が表示されている。鉗子映像６１，６２は、所定時間毎に、例えば直前側の時刻ｔ１（破線で示す）と今回の時刻ｔ２（実線で示す）で読み出されている。そして、時刻ｔ１、ｔ２、かつ各鉗子映像６１，６２の特定の２点の表示座標位置が、それぞれF_m1，F_m2，F_n1，F_n2として算出されている。ただし、F_m1，F_m2は時刻ｔ１、F_n1，F_n2は時刻ｔ２の位置情報である。
　ここで、鉗子映像６１に注目すると、前述したように、時刻ｔ１とｔ２における２つの鉗子映像６１は、腹部に開けられた穴で交差する（幾何的拘束条件）はずであるから、時刻ｔ１での２点の位置F_m1，F_m2を通る直線「直線式１」と、時刻ｔ２での２点の位置F_n1，F_n2を通る直線「直線式２」とは、前記穴に対応する推定ポート位置Ｐ１で交差するという前記拘束条件に従う。そして、この拘束条件に従って、推定ポート位置Ｐ１は「直線式１」と「直線式２」との交点P1 (Px,Py)として算出される。なお、同様にして、他方の推定ポート位置Ｐ２は、交点P2 (Px,Py)として算出される。
　カメラ履歴算出部５１５は、所定時間毎に順次、時刻ｔ１、ｔ２で算出された推定ポート位置Ｐ１，Ｐ２の位置情報を用いて、内視鏡カメラの動き情報、すなわち移動、回転（なす角）を識別し、さらに内視鏡カメラを基準とした動きであるカメラ履歴として順次算出する。
　図６は、カメラ履歴における動き情報（移動、回転）を識別する判定方法を説明する図で、（Ａ）は並進、（Ｂ）は回転、（Ｃ）は拡縮（抜き差し）という動きを示している。図６には、上側から順番に、推定ポート位置Ｐ１，Ｐ２及びそれを通る直線Ｌ、手術時の内視鏡カメラ及び腹部の穴、時刻ｔ１における推定ポート位置Ｐ１，Ｐ２、直線Ｌ１、時刻ｔ２における推定ポート位置Ｐ１，Ｐ２、直線Ｌ２、及び、動きの識別内容が示されている。図６（Ａ）に示すように、直線Ｌ１，Ｌ２が並進移動したときとは、穴（ポート）を支点に内視鏡カメラが、カメラ視線に直交する方向に移動した状態をいう。図６（Ｂ）に示すように、直線Ｌ１，Ｌ２がなす角θを生じた（回転した）ときとは、図６（Ａ）のように移動することなく内視鏡カメラが回転（軸回りに回転）した状態をいう。図６（Ｃ）に示すように、時刻ｔ１における推定ポート位置Ｐ１，Ｐ２間の距離に比して、時刻ｔ２における推定ポート位置Ｐ１，Ｐ２間の距離が大きい（又は、小さい）ときとは、内視鏡カメラがカメラ視線の方向に前進（後退）した状態をいう。
　図７は、情報作成装置５で行われる、カメラ移動・回転（なす角）の算出処理の一例を示すフローチャートである。まず、教材映像記憶部３に記憶されている教材映像が情報作成装置５に読み出され（ステップＳ１）、読み出し開始から所定時間が経過する度に、鉗子映像抽出部５１２により、学習済みモデルを用いて教材映像中から鉗子映像の抽出が行われ（ステップＳ３）、さらに２点抽出部５１３により各鉗子映像から各鉗子映像上の特定の２点の表示位置が抽出される（ステップＳ５）。このようにして、鉗子映像の２点の時刻ｔ１、ｔ２の表示位置が順次得られる。続いて、時刻ｔ１、ｔ２の表示位置の情報を用いて推定ポート位置Ｐ１，Ｐ２が順次算出される（ステップＳ７）。次いで、内視鏡カメラの動きが識別されて内視鏡カメラを基準とした動き量に置換されて（ステップＳ９）、教材記憶部に時間情報と対応付けられて保管される（ステップＳ１１）。
　図８は、図７のステップＳ９で行われる、カメラ移動・回転（なす角）への置換処理の詳細な一例を示すフローチャートである。カメラ移動・回転の識別及びカメラ履歴を取得するために、本実施形態では、所定時間毎に算出される推定ポート位置Ｐ１，Ｐ２に対し、両位置Ｐ１，Ｐ２を結ぶ直線を求めて分析する必要がある。今、推定ポート位置Ｐ１，Ｐ２を以下のように示す。
Figure JPOXMLDOC01-appb-M000001
　このように、推定ポート位置Ｐ１，Ｐ２を結ぶ直線が、式（１）で表される。すなわち、式（１）に示す一般式に基づいて、時刻ｔ１での推定ポート位置Ｐ１，Ｐ２を結ぶ直線１（式（２）参照）は、詳細には、数２で示す計算に従えば、式（３）として表される。
Figure JPOXMLDOC01-appb-M000002
　次に、数３において、直線２が求められる。
Figure JPOXMLDOC01-appb-M000003
　すなわち、時刻ｔ２において、式（４）から直線２が、式（５）のように得られる。その結果、時刻ｔ１、ｔ２における２つの直線（直線１、直線２）を表す式が求まる。
　続いて、直線１と直線２の交叉角度、すなわち、なす角θが、式（６）で表される。
Figure JPOXMLDOC01-appb-M000004
　以上から、なす角θを求める。なお、なす角θを求める場合、切片は無視できるので、k1＝0，k2＝0とすると、ax＋by＝0，cx＋dy＝0となるから、式（６）から、内視鏡カメラはθだけ回転したことが求まる（内視鏡カメラの[2]回転に対応）。
　このとき、ad－bc＝0であれば、θ＝0なので、回転していない（非回転条件）。また、ac＋bd＝0であれば、θ＝90°もしくは、-90°の状態となり、所定時間前（直前の時刻）におけるθの算出結果を参照して、どちらかを、例えばより近い方の符号として求めることができる。
　さらに、非回転条件の場合は、内視鏡カメラの移動（[1]並進、又は[3]拡大縮小（抜き差し）に対応）となる。そこで、２点間距離を求める一般的な公式を利用して、時刻ｔ１とｔ２における２点Ｐ１，Ｐ２間の距離Ｄt1，Ｄt2の変化Ｄt2を計算する。具体的には、数５における式（７），（８）、次いで式（９）が実行されて、カメラの移動を識別する。
Figure JPOXMLDOC01-appb-M000005
　以上の処理を参照しつつ、図８に戻って説明を続ける。ステップＳ２１で、なす角θが求まると、次いで、なす角θが±90°か否かが判定され（ステップＳ２３）、そうであれば、[2]回転と識別され、時刻ｔ１で得られた、すなわち直前のなす角θを参照して、正負を決定し、カメラ履歴として記憶する（ステップＳ２５）。
　一方、なす角θが±90°でなければ、なす角θが0°か否かが判定され（ステップＳ２７）、なす角θが0°でなければ、[2]回転と識別され、前記なす角θをカメラ履歴として記憶する（ステップＳ２９）。
　また、なす角θが0°であれば、前述した式（７），（８）を実行し、次いで式（９）を実行して距離差Ddを算出する（ステップＳ３１）。そして、距離差Dd＝0か否かが判定され（ステップＳ３３）、距離差Dd＝0であれば、[1]並進と識別されて、推定ポート位置P1の時刻t1，t2のx成分の差分、及び 推定ポート位置P1の時刻t1，t2のy成分の差分をそれぞれ算出し、カメラ履歴として記憶する（ステップＳ３５）。
　一方、距離差Dd＝0でなければ、次に、距離差Dd＞0か否かが判定され（ステップＳ３７）、距離差Dd＞0でなければ、[3]抜き差しと識別され、奥行き側への距離差Ddに対応した移動量を算出して、カメラ履歴として記憶する（ステップＳ３９）。
　また、距離差Dd＞0であれば、[3]抜き差しと識別され、手前側への距離差Ddに対応した移動量を算出して、カメラ履歴として記憶する（ステップＳ４１）。
　以上の処理を所定時間毎（すなわち、順次t1，t2，t1，…）に識別し、かつカメラ履歴の駆動量に置換して記憶することもできる。なお、カメラ基準に置換して記憶するか、算出値をそのまま記憶し、トレーニングでのカメラ履歴の読み出し時にカメラ基準に置換する態様でもよい。なお、情報作成装置５の機能は、情報処理装置２０のプロセッサで実行可能な態様としてもよい。
　図９は、手術トレーニング装置１における情報処理装置２０の一実施形態を示すブロック図である。情報処理装置２０は、例えばプロセッサを有するコンピュータから構成される制御部２４を備えている。制御部２４は、表示部３１、映像合成部２５、練習用の内視鏡カメラ１４、及び動き駆動部１５と接続されている。また、制御部２４は、操作部２１、処理プログラムを記憶する記憶部２２、及び教材記憶部５２と接続されている。
　操作部２１は、各種の設定、練習開始、終了等の指示を行う。教材記憶部５２は、図３に示したもので、教材作成時に得られたものである。カメラ履歴記憶部５２２には、前述した逆運動学の演算結果を記憶する態様でもよい。この場合、駆動指示信号としてそのまま動き駆動部１５のアクチュエータ１５４，１５５に出力できる。なお、教材記憶部５２が、例えばＵＳＢメモリ等の場合には、当該ＵＳＢメモリを教材記憶部５２として適用可能である。
　映像合成部２５は、ビデオＲＡＭ（図略）を備え、練習用の内視鏡カメラ１４からの撮像映像と、教材記憶部５２の教材映像記憶部５２１からの手術映像とを同期してビデオＲＡＭに読み出すものである。ビデオＲＡＭに書き込まれた画像は、公知のように所定のフレーム周期（例えば１／６０秒）で表示部３１に読み出されてビデオ映像として合成画像として表示される。
　制御部２４は、記憶部２２に記憶されている処理プログラムを読み出して実行することで、映像合成処理部２４１、カメラ駆動指示信号生成部２４２及び評価部２４３として機能する。映像合成処理部２４１は、教材映像記憶部５２１から手術映像を経時方向に順次読み出して映像合成部２５に出力し、練習用の内視鏡カメラ１４で撮像した自己映像と交互に時分割合成するべく合成して、ビデオＲＡＭに書き込む処理を行う。なお、映像合成は、２つの映像を時分割で交互に表示させる態様の他、２つの映像を重ね合わせる視野合成法でもよい。この場合、ドライボックス１２の内壁を暗幕で覆っているので、表示部３１の画面には、背景として教材側の手術部位のみが表示された状態となり、手術部位の視認がより容易となる。時分割法は、教材映像と自己映像とをそれぞれ所定フレーム数毎に交互に切り替えて表示部３１に出力して表示して自他融合感を想起させる方法であり、視野合成は、単に重畳して表示する方法である。
　カメラ駆動指示信号生成部２４２は、教材映像記憶部５２１から手術映像の読み出しと同期して、前記した所定時間の周期でカメラ履歴記憶部５２２からカメラ履歴の情報を読み出し、カメラの駆動指示信号として動き駆動部１５に出力する。動き駆動部１５は、カメラ履歴記憶部５２２からのカメラ移動・回転の駆動信号に従って練習用内視鏡カメラ１４を動かすことで、練習用内視鏡カメラ１４の先端部の撮像部１４１の動きを教材作成時の内視鏡カメラと一致させる。これにより、表示部３１には、教材作成時と練習時との視点及び視線の一致した映像が表示され、その状況下で、教材の鉗子映像の動きに合わせて自己の鉗子を動かす手術トレーニングによって、内視鏡カメラの移動などに伴う見え方の変化に適応できて効果的な練習が可能となる。なお、練習開始に際しては、練習用内視鏡カメラ１４の初期化（教材映像開始時の教材用の内視鏡カメラの位置との自動的乃至マニュアル操作による一致化処理）を行うことが好ましい。
　評価部２４３は、教材映像に対する自己の操作映像の追従性の高低を種々の方法で評価するもので、例えば教材映像中の鉗子映像の表示位置と練習用の内視鏡カメラ１４で撮影された鉗子映像との表示位置の距離差を計算し、その距離差の大小によって巧拙の評価を行う。
　図１０は、練習時の合成映像例を示す図で、（Ａ）は図４（Ａ）の映像と合成されている状態、（Ｂ）は図４（Ｂ）の映像と合成されている状態を示している。
　動き駆動部１５によって練習用の内視鏡カメラ１４の位置が、教材作成時の動き履歴を再現する結果、表示部３１には教材作成時と一致した視点及び回転角で映像が表示されている。図中、鉗子映像１６１，１６２は、練習者が操作している鉗子の映像である。教材側の内視鏡カメラの移動などに伴って教材側の鉗子映像６１，６２の見え方が、例えば抜き差し（拡大縮小）によって図１０（Ａ）、（Ｂ）間のように、大きく変わっても、その動きに練習用の内視鏡カメラ１４の視点及び回転角を一致させて再現するので、鉗子映像１６１，１６２が常に教材側の内視鏡カメラと同じ位置基準で見えることとなり、その結果、教材側の鉗子映像６１，６２の動きに合わせる操作のトレーニングが有意となる。
　図１１は、練習時の映像合成表示処理の一例を示すフローチャートである。まず、教材映像と練習映像とが同期、例えば時分割表示にて再生される（ステップＳ５１）。次いで、所定時間毎に、カメラ履歴から教材映像の計時情報に応じたカメラの移動量、回転（なす角）となる駆動指示信号が読み出されて、駆動用の指示信号が出力される（ステップＳ５３）。そして、合成表示の終了か否かが判定され、教材映像が最後まで再生された場合、又は練習者による中止の指示操作を受けるまでステップＳ５１に戻って同様な合成表示処理が継続される。なお、手術トレーニングの評価は、例えば別途の評価プログラムで実行される。
　なお、本実施形態では、２Ｄの内視鏡カメラで説明したが、近年の内視鏡手術で採用される３Ｄのカメラを用いる態様にも同様に適用できる。
　本実施形態における所定時間は一定である必要はなく、教材となる手術映像、すなわち内視鏡カメラの動きを確認して、所定時間を変更したり、あるいは途中で変更可能にするなどして効率的なカメラ履歴を作成するようにしてもよい。
　本実施形態では、動き駆動部１５としてパラレルリンク機構を採用したが、これに限定されず、伸縮あるいはスライドする基台にジンバル機構を搭載し、このジンバル機構に練習用内視鏡カメラ１４を装着して、進退方向、全方向への回動を可能にする構成としてもよい。
　本実施形態では、学習済みモデル４を用いて鉗子映像上の長手方向の予め設定した特定の２点の表示座標を出力するようにしたが、これに代えて、画像認識技術を適用したものでもよい。また、各鉗子映像上の長手方向の予め設定した特定の２点に限らず、（１）１点については特定の点とし、他の点を任意の点としてもよく、さらには、（２）２点のいずれも鉗子映像上の長手方向の任意の点としてもよい。このようにすれば、視認性の高い２点が適宜選択可能となる。
　また、本実施形態では、体腔鏡手術の一例としてＳ字結腸の手術で説明したが、その他、体腔鏡手術であれば、種々の手術トレーニングの全般に適用可能である。
　また、本発明は、前述したような直に手術を行う場合と同様に、ロボット支援手術についても、過去に蓄積されてきた手術動画からトレーニングのための内視鏡カメラのカメラ履歴を作成し、活用することができる。
　以上説明したように、本発明に係る手術トレーニング情報作成装置は、各ポートから挿入された内視鏡カメラ及び複数の鉗子を用いて行う体腔鏡手術で撮影された手術映像から前記内視鏡カメラの動きの情報を算出する手術トレーニング情情報作成装置であって、前記体腔鏡手術中の前記内視鏡カメラで撮影された第１、第２の鉗子映像の所定時間毎の位置及び鉗子がポートを通るという拘束条件を利用して前記内視鏡カメラの動きの履歴を算出するカメラ履歴算出手段を備えることが好ましい。
　また、本発明に係る手術トレーニング情報作成プログラムは、各ポートから挿入された内視鏡カメラ及び複数の鉗子を用いて行う体腔鏡手術で撮影された手術映像から前記内視鏡カメラの動きの情報を算出する手術トレーニング情情報作成プログラムであって、前記体腔鏡手術中の前記内視鏡カメラで撮影された第１、第２の鉗子映像の所定時間毎の位置及び鉗子がポートを通るという拘束条件を利用して前記内視鏡カメラの動きの履歴を算出するカメラ履歴算出手段としてコンピュータを機能させることが好ましい。
　これらの発明によれば、体腔鏡手術では内視鏡カメラ及び複数の鉗子は、対応する各ポートから体腔内に挿入されており、内視鏡カメラで撮影しながら各鉗子を用いて体腔鏡手術が行われる。体腔鏡手術中は、内視鏡カメラを適宜動かして施術部位及び施術状況をより視認し易い映像を提供する。このとき、内視鏡カメラで撮影された手術映像から前記内視鏡カメラの動きの情報がカメラ履歴算出手段で算出される。カメラ履歴算出手段は、体腔鏡手術中の内視鏡カメラで撮影された第１、第２の鉗子映像の所定時間毎の位置及び鉗子がポートを通るという拘束条件を利用して前記内視鏡カメラの動きの履歴を算出（すなわち逆算）する。これによれば、特に内視鏡カメラでの撮影対象でない、体表に開口された（鉗子が挿入される）ポートの位置は変わらないとの条件を利用することで、教材として手術映像以外の情報を不要とする点に特徴がある。従って、練習用の内視鏡カメラの動きを、体腔鏡手術特有の前記拘束条件を利用して手術映像を撮影した内視鏡カメラの動きの履歴に精度良く合わせることが可能となる。
　また、前記カメラ履歴算出手段は、前記内視鏡カメラの動きの履歴として、前記内視鏡カメラの移動及び回転の履歴を算出することが好ましい。この構成によれば、内視鏡カメラの移動及び回転の動きに対して追従可能になる。なお、ここに、移動は、視線に直交する面方向と視線方向とを含み、回転は、視線回りの回転をいい、また合成を含めてもよい。
　また、前記カメラ履歴算出手段は、前記内視鏡カメラで撮影された手術映像中から前記第１、第２の鉗子映像を所定時間毎に抽出し、抽出された各鉗子映像の位置情報から、挿入された各ポートの位置を算出し、算出された各ポートの位置情報から前記内視鏡カメラの動きの履歴を算出することが好ましい。この構成によれば、所定時間を置いて撮影された鉗子映像とポートとにおける拘束条件から各ポート位置が求まり、その結果、内視鏡カメラの動きの履歴が算出可能となる。
　また、前記カメラ履歴算出手段は、前記体腔鏡手術中の前記内視鏡カメラで撮影された前記第１、第２の鉗子映像であって所定時間毎の２回分の各鉗子映像から各鉗子を挿入した第１、第２のポートの位置を推定すると共に、前記所定時間毎の２回分の各推定位置情報から算出される前記第１、第２のポートを結ぶ２本の直線の変化量を算出し、前記変化量から前記内視鏡カメラの動きの履歴を算出することが好ましい。この構成によれば、所定時間を置いて撮影された鉗子映像とポートとの間の拘束条件から各ポート位置が求まり、その結果、内視鏡カメラの動きの履歴が算出可能となる。
　また、本発明に係る手術トレーニング装置は、各ポートから挿入された内視鏡カメラ及び複数の鉗子で行う体腔鏡手術に対する練習を行う手術トレーニング装置において、体腔鏡手術を模擬した手術練習空間を再現する練習器と、前記手術練習空間を撮像する練習用内視鏡カメラと、前記練習用内視鏡カメラを前記練習器内で動き可能に支持する駆動部と、前記体腔鏡手術中の前記内視鏡カメラで撮影された手術映像と前記練習用内視鏡カメラで撮像された練習映像とを合成して表示部に表示する映像合成手段と、前記体腔鏡手術中の前記内視鏡カメラで撮影された第１、第２の鉗子映像に基づいて算出された前記内視鏡カメラの動きの履歴を記憶する記憶部と、前記記憶部から読み出された前記内視鏡カメラの動きの履歴に従って前記練習用内視鏡カメラを動かす駆動指示信号を生成し、前記駆動部に出力する駆動指示信号生成手段とを備えることが好ましい。
　本発明によれば、体腔鏡手術の練習において、練習用内視鏡カメラを、手術映像を撮影した内視鏡カメラの動きと一致するように動かすようにしたので、簡易な構成で手術トレーニングが可能となる。
　また、前記内視鏡カメラの動きの履歴は、前記内視鏡カメラの移動及び回転の履歴であり、前記指示信号生成手段は、前記算出された移動及び回転の履歴から駆動指示信号を生成することが好ましい。この構成によれば、内視鏡カメラの移動及び回転の動きに対して追従可能になる。
　また、前記映像合成手段は、前記手術映像と前記練習映像とを時分割表示で表示部に表示することが好ましい。この構成によれば、手術映像と自己映像とをそれぞれ所定フレーム数毎に交互に切り替えて表示することで自他融合感を想起させることができ、トレーニング効率を高めることが可能となる。
　また、前記駆動部は、パラレルリンク機構で構成されたものであることが好ましい。この構成によれば、手術映像を撮像した内視鏡カメラの移動及び回転を練習用内視鏡カメラで再現できる。
　また、本発明は、前記手術トレーニング情報作成装置を備え、前記記憶部は、前記カメラ履歴算出手段で算出された前記内視鏡カメラの動きの履歴を記憶することが好ましい。この構成によれば、手術トレーニング装置で内視鏡カメラの動きの履歴を算出し、かつ読み出すことでそのままトレーニングを行うことができる。
　１　手術トレーニング装置
　５　　情報作成装置（手術トレーニング情報作成装置）
　１０　練習操作部（練習器）
　１２　ドライボックス（練習器）
　１２２　ポート（練習器）
　１３１　鉗子
　１４　練習用の内視鏡カメラ
　１５　動き駆動部（駆動部）
　３１　表示部
　２０　情報処理装置
　５１　制御部（カメラ履歴算出手段）
　５２１　教材映像記憶部
　５２２　カメラ履歴記憶部（記憶部）
　２４　制御部
　２４１　映像合成処理部（映像合成手段）
　２５　映像合成部（映像合成手段）
　２４２　カメラ駆動指示信号生成部（駆動指示信号生成手段）
　４５１　カメラ履歴

Claims (10)

  1. 　各ポートから挿入された内視鏡カメラ及び複数の鉗子を用いて行う体腔鏡手術で撮影された手術映像から前記内視鏡カメラの動きの情報を算出する手術トレーニング情情報作成装置であって、
    　前記体腔鏡手術中の前記内視鏡カメラで撮影された第１、第２の鉗子映像の所定時間毎の位置及び鉗子がポートを通るという拘束条件を利用して前記内視鏡カメラの動きの履歴を算出するカメラ履歴算出手段を備えた手術トレーニング情報作成装置。
  2. 　前記カメラ履歴算出手段は、前記内視鏡カメラの動きの履歴として、前記内視鏡カメラの移動及び回転の履歴を算出するものである請求項１に記載の手術トレーニング情報作成装置。
  3. 　前記カメラ履歴算出手段は、前記内視鏡カメラで撮影された手術映像中から前記第１、第２の鉗子映像を所定時間毎に抽出し、抽出された各鉗子映像の位置情報から、挿入された各ポートの位置を算出し、算出された各ポートの位置情報から前記内視鏡カメラの動きの履歴を算出する請求項１に記載の手術トレーニング情報作成装置。
  4. 　前記カメラ履歴算出手段は、前記体腔鏡手術中の前記内視鏡カメラで撮影された前記第１、第２の鉗子映像であって所定時間毎の２回分の各鉗子映像から各鉗子を挿入した第１、第２のポートの位置を推定すると共に、前記所定時間毎の２回分の各推定位置情報から算出される前記第１、第２のポートを結ぶ２本の直線の変化量を算出し、前記変化量から前記内視鏡カメラの動きの履歴を算出する請求項１に記載の手術トレーニング情報作成装置。
  5. 　各ポートから挿入された内視鏡カメラ及び複数の鉗子を用いて行う体腔鏡手術で撮影された手術映像から前記内視鏡カメラの動きの情報を算出する手術トレーニング情情報作成プログラムであって、
    　前記体腔鏡手術中の前記内視鏡カメラで撮影された第１、第２の鉗子映像の所定時間毎の位置及び鉗子がポートを通るという拘束条件を利用して前記内視鏡カメラの動きの履歴を算出するカメラ履歴算出手段としてコンピュータを機能させる手術トレーニング情報作成プログラム。
  6. 　各ポートから挿入された内視鏡カメラ及び複数の鉗子で行う体腔鏡手術に対する練習を行う手術トレーニング装置において、
    　体腔鏡手術を模擬した手術練習空間を再現する練習器と、
    　前記手術練習空間を撮像する練習用内視鏡カメラと、
    　前記練習用内視鏡カメラを前記練習器内で動き可能に支持する駆動部と、
    　前記体腔鏡手術中の前記内視鏡カメラで撮影された手術映像と前記練習用内視鏡カメラで撮像された練習映像とを合成して表示部に表示する映像合成手段と、
    　前記体腔鏡手術中の前記内視鏡カメラで撮影された第１、第２の鉗子映像に基づいて算出された前記内視鏡カメラの動きの履歴を記憶する記憶部と、
    　前記記憶部から読み出された前記内視鏡カメラの動きの履歴に従って前記練習用内視鏡カメラを動かす駆動指示信号を生成し、前記駆動部に出力する駆動指示信号生成手段とを備えた手術トレーニング装置。
  7. 　前記内視鏡カメラの動きの履歴は、前記内視鏡カメラの移動及び回転の履歴であり、
    　前記指示信号生成手段は、前記算出された移動及び回転の履歴から駆動指示信号を生成する請求項６に記載の手術トレーニング装置。
  8. 　前記映像合成手段は、前記手術映像と前記練習映像とを時分割表示で表示部に表示する請求項６又は７に記載の手術トレーニング装置。
  9. 　前記駆動部は、パラレルリンク機構で構成されたものであることを特徴とする請求項６～８のいずれかに記載の手術トレーニング装置。
  10. 　請求項１～４のいずれかに記載の手術トレーニング情報作成装置を備え、
    　前記記憶部は、前記カメラ履歴算出手段で算出された前記内視鏡カメラの動きの履歴を記憶するものである請求項６～９のいずれかに記載の手術トレーニング装置。
PCT/JP2021/007948 2020-03-04 2021-03-02 手術トレーニング情報作成装置、手術トレーニング情報作成プログラム及び手術トレーニング装置 WO2021177302A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020036763 2020-03-04
JP2020-036763 2020-03-04

Publications (1)

Publication Number Publication Date
WO2021177302A1 true WO2021177302A1 (ja) 2021-09-10

Family

ID=77612625

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007948 WO2021177302A1 (ja) 2020-03-04 2021-03-02 手術トレーニング情報作成装置、手術トレーニング情報作成プログラム及び手術トレーニング装置

Country Status (1)

Country Link
WO (1) WO2021177302A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005077253A1 (ja) * 2004-02-18 2005-08-25 Osaka University 内視鏡システム
JP2016148765A (ja) * 2015-02-12 2016-08-18 国立大学法人大阪大学 手術トレーニング装置
WO2021054419A1 (ja) * 2019-09-20 2021-03-25 株式会社Ｍｉｃｏｔｏテクノロジー 内視鏡画像処理システム及び内視鏡画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005077253A1 (ja) * 2004-02-18 2005-08-25 Osaka University 内視鏡システム
JP2016148765A (ja) * 2015-02-12 2016-08-18 国立大学法人大阪大学 手術トレーニング装置
WO2021054419A1 (ja) * 2019-09-20 2021-03-25 株式会社Ｍｉｃｏｔｏテクノロジー 内視鏡画像処理システム及び内視鏡画像処理方法

Similar Documents

Publication Publication Date Title
US11935429B2 (en) Endoscope simulator
Chen et al. SLAM-based dense surface reconstruction in monocular minimally invasive surgery and its application to augmented reality
US20190200003A1 (en) System and method for 3d space-dimension based image processing
Bro-Nielsen et al. Preop [TM] Endoscopic Simulator: A PC-Based Immersive Training System for Bronchoscopy
JP6521511B2 (ja) 手術トレーニング装置
KR20030083695A (ko) 외과적 치료의 시뮬레이션 방법 및 시스템
KR101816172B1 (ko) 의료 훈련 시뮬레이션 시스템 및 방법
JP2005525598A (ja) 手術トレーニングシミュレータ
JP4834424B2 (ja) 情報処理装置、情報処理方法、及びプログラム
CN105078580B (zh) 手术机器人系统及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法
Kancherla et al. A novel virtual reality tool for teaching dynamic 3D anatomy
JP5024766B2 (ja) 三次元表示装置
CN101069655A (zh) 用于腔体器官的虚拟内窥镜检查的方法和装置
WO2020243425A1 (en) Composite medical imaging systems and methods
WO2021177302A1 (ja) 手術トレーニング情報作成装置、手術トレーニング情報作成プログラム及び手術トレーニング装置
Jiang et al. Enhancing a laparoscopy training system with augmented reality visualization
JP7201998B2 (ja) 手術トレーニング装置
JP2008058364A (ja) 手術用トレーニング装置
Salb et al. Intraoperative presentation of surgical planning and simulation results using a stereoscopic see-through head-mounted display
Wytyczak-Partyka et al. A novel interaction method for laparoscopic surgery training
KR20150007517A (ko) 실감형 시각정보를 이용한 수술동작 지시방법
US20220414914A1 (en) Systems and methods for determining a volume of resected tissue during a surgical procedure
US20240177427A1 (en) Mixed Reality Combination System
CN115836915A (zh) 手术器械操控系统和手术器械操控系统的控制方法
Molenaar Image analysis of endoscopic camera steering: robotic versus human controlled: a phantom study

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21764319

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21764319

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP