WO2021152785A1 - 動画再生システム - Google Patents

動画再生システム Download PDF

Info

Publication number
WO2021152785A1
WO2021152785A1 PCT/JP2020/003482 JP2020003482W WO2021152785A1 WO 2021152785 A1 WO2021152785 A1 WO 2021152785A1 JP 2020003482 W JP2020003482 W JP 2020003482W WO 2021152785 A1 WO2021152785 A1 WO 2021152785A1
Authority
WO
WIPO (PCT)
Prior art keywords
reproduction
unit
event
time
moving image
Prior art date
Application number
PCT/JP2020/003482
Other languages
English (en)
French (fr)
Inventor
直 小林
尚紀 北村
勇太 熊頭
Original Assignee
株式会社インキュビット
直 小林
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社インキュビット, 直 小林 filed Critical 株式会社インキュビット
Priority to PCT/JP2020/003482 priority Critical patent/WO2021152785A1/ja
Priority to PCT/JP2020/041295 priority patent/WO2021152948A1/ja
Priority to JP2020573056A priority patent/JP6875038B1/ja
Priority to US17/794,441 priority patent/US20230069802A1/en
Priority to CN202080094964.0A priority patent/CN115023172A/zh
Priority to JP2021027652A priority patent/JP6887193B1/ja
Priority to JP2021065304A priority patent/JP2021119986A/ja
Publication of WO2021152785A1 publication Critical patent/WO2021152785A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/782—Television signal recording using magnetic recording on tape
    • H04N5/783—Adaptations for reproducing at a rate different from the recording rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Definitions

  • the present invention relates to a moving image playback system.
  • Patent Document 1 proposes to reproduce a part of the surgical video.
  • Patent Document 1 it is possible to confirm the necessary part by reproducing from the feature point, but even if the scene where the incident such as bleeding occurs is simply reproduced, the part causing the incident is grasped. Things are often difficult.
  • the present invention has been made in view of such a background, and an object of the present invention is to provide a technique for facilitating an understanding of an event during surgery.
  • the main invention of the present invention for solving the above problems is a moving image reproduction system, which is a moving image acquisition unit that acquires a moving image of a surgical field under a microscope operation, and analyzes the moving image to obtain the moving image.
  • the partial moving image is produced by an event detection unit that detects a predetermined event in the surgical field, a partial moving image extraction unit that extracts a partial moving image during a period including the detection time of the event from the moving image, and a plurality of playback methods. It is characterized by including an event reproduction unit for reproducing an image.
  • the present invention includes, for example, the following configuration.
  • a moving image acquisition unit that acquires moving images of the surgical field under arthroscopic surgery,
  • An event detection unit that analyzes the moving image and detects a predetermined event in the surgical field,
  • a partial moving image extraction unit that extracts a partial moving image during a period including the detection time of the event from the moving image, and a partial moving image extraction unit.
  • An event playback unit that reproduces the partial moving image by each of a plurality of playback methods, A video playback system characterized by being equipped with.
  • a video playback system characterized by being equipped with.
  • the reproduction method includes at least two of normal reproduction, slow reproduction, repeated reproduction, and reverse reproduction.
  • the event reproduction unit selects the type of the plurality of regeneration methods according to at least one of the type of the organ to be operated on, the surgical method related to the treatment, and the parameter related to the event.
  • the event regeneration unit has a regeneration speed according to the regeneration method and a period from the detection time according to at least one of the type of the organ to be operated on, the surgical procedure related to the treatment, and the parameters related to the event.
  • a video playback system featuring. [Item 5] The video playback system according to item 1. The event is bleeding from the surgical subject and The event detection unit further detects the amount of bleeding and The reproduction method includes the slow reproduction of the city at least. The event reproduction unit determines the reproduction speed of the slow reproduction at least according to the amount of bleeding.
  • the surgical support system according to item 1. The number of types of the plurality of reproduction methods, the reproduction speed according to the reproduction method, the time from the detection time to the start time of the period, the time from the detection time to the end point of the period, and the reproduction direction are small. Further provided with a setting unit for setting either of A surgical support system featuring.
  • the setting unit includes the types of the plurality of reproduction methods, the reproduction speed related to the reproduction method, the time from the detection time to the start time of the period, and the detection time to the start time. To change either the time to the end of the period and the playback direction, at least.
  • the surgery support system of the present embodiment supports arthroscopic surgery, and in particular, outputs a moving image of the surgical field and, for example, when an event such as local bleeding occurs, the event occurs. It can also be a moving image playback system that plays back the scene including the time of occurrence.
  • FIG. 1 is a conceptual diagram illustrating an outline of a surgical system according to the present embodiment.
  • the surgical system 1 includes a surgical unit 10, an operating unit 20, and a control unit 30 that controls the surgical unit 10 and the operating unit 20.
  • FIG. 2 is a block diagram illustrating an outline of the surgical system according to the present embodiment.
  • the surgical unit 10 performs surgical treatment on the patient 100 to be operated on.
  • the surgical unit 10 is the instrument unit 11 which is the treatment unit, the sensor unit 12 which is also the treatment unit, and the image acquisition unit.
  • a certain endoscopic camera 13 is provided.
  • the instrument unit 11 is composed of a movable arm and a surgical instrument attached to the tip of the movable arm.
  • surgical instruments for example, scalpels (electric scalpels, etc.), scissors, forceps, needle holders, tweezers, etc. are assumed, but various surgical instruments other than these are attached depending on the application.
  • various sensors such as a pressure sensor, a gyro sensor, an acceleration sensor, and a temperature sensor for detecting the state of the instrument unit 11 are adopted.
  • the configuration of the endoscope camera 13 will be described later.
  • the operation unit 20 receives an operation from the surgeon 110 who is an operator for the operation unit 10, and in the present embodiment, the operation unit 20 includes a display 21, a controller 22, and a speaker 23, which are display units.
  • the display 21 provides various information to the surgeon 110, and in the present embodiment, a technique for implementing a VR (Virtual Reality) HMD (Head Mount Display) is adopted, and the surgeon 110 It is possible to stereoscopically view the area to be visually recognized by using the parallax between the eyes.
  • VR Virtual Reality
  • HMD Head Mount Display
  • the controller unit 22 is implemented by an input device such as a joystick or a foot pedal, and the speaker 23 provides various information to the surgeon 110 by voice or the like.
  • FIG. 3 is a block diagram illustrating a hardware configuration example of the control unit 30.
  • the control unit 30 includes a processor 31, a memory 32, a storage 33, a transmission / reception unit 34, and an input / output unit 35 as main configurations, and these are electrically connected to each other via a bus 36.
  • the processor 31 is an arithmetic unit that controls the operation of the control unit 30, controls the transmission and reception of data between each element, and performs processing necessary for executing an application program.
  • the processor 31 is, for example, a CPU (Central Processing Unit), and executes each process by executing an application program or the like stored in the storage 33 and expanded in the memory 32, which will be described later.
  • a CPU Central Processing Unit
  • the memory 32 includes a main storage device composed of a volatile storage device such as a DRAM (Dynamic Random Access Memory), and an auxiliary storage device composed of a non-volatile storage device such as a flash memory or an HDD (Hard Disk Drive). ..
  • a volatile storage device such as a DRAM (Dynamic Random Access Memory)
  • auxiliary storage device composed of a non-volatile storage device such as a flash memory or an HDD (Hard Disk Drive). ..
  • BIOS Basic Input / Output System
  • the storage 33 stores application programs, data used for various processes, and the like.
  • a video processing program that performs various types of processing is stored. Details of this video processing program will be described later.
  • the transmission / reception unit 34 connects the control unit 30 to the Internet.
  • the transmission / reception unit 34 may be provided with a short-range communication interface such as Bluetooth (registered trademark) or BLE (Bluetooth Low Energy).
  • control unit 30 is connected to the surgery unit 10 and the operation unit 20 via the transmission / reception unit 34.
  • Information input devices such as keyboards and mice and output devices such as displays are connected to the input / output unit 35 as needed.
  • the bus 36 transmits, for example, an address signal, a data signal, and various control signals between the connected processor 31, memory 32, storage 33, transmission / reception unit 34, and input / output unit 35.
  • FIG. 4 is a block diagram illustrating a software configuration example of the control unit 30.
  • the control unit 30 includes an operation input unit 311, a time-of-generation identification unit 312, a partial moving image extraction unit 313, a playback unit 314, a video storage unit 331, a parameter storage unit 332, and a setting storage unit 333.
  • the video recording unit 331 records the video M acquired by the endoscope camera 13 and displayed on the display 21 in real time as the recorded video M1.
  • FIG. 5 is a block diagram illustrating an outline of the configuration of the image M acquired from the endoscope camera 13.
  • the endoscopic camera 13 captures the surgical procedure O for the patient 100 by the instrument unit 11 and acquires it as an image M.
  • the image M acquired by the endoscope camera 13 is composed of a plurality of frames F, and is sequentially displayed on the display 21 in the acquired real time, and the image M displayed on the display 21 is recorded on the image recording unit 331. It will be recorded as video M1.
  • the surgical system 1 does not incise the body by making a plurality of small holes of about 3 mm to 10 mm in the body of the patient 100 so as to reach the abdominal cavity and the thoracic cavity of the patient 100.
  • the surgical instruments of the endoscopic camera 13 and the instrument unit 11 are inserted through the holes, and endoscopic surgery is performed with minimal invasiveness under the endoscope.
  • the operation input unit 311 receives various operations input from the operation unit 20 by the surgeon 110.
  • the occurrence time identification unit 312 specifies the time when the event occurs from the recorded video M1 (hereinafter, referred to as the event occurrence time).
  • the occurrence time identification unit 312 generates an event in the frame by, for example, performing image analysis on each frame F constituting the recorded image M1 and extracting a feature amount (for example, red color of bleeding) of the image indicating the event. It is possible to determine whether or not the event is occurring, and specify the time point of the earliest frame F in the period in which the same series of events are continuous as the event occurrence time point.
  • the time-of-occurrence identification unit 312 can be implemented by, for example, an artificial intelligence module that autonomously identifies event-related frames by machine learning.
  • an artificial intelligence module that autonomously identifies event-related frames by machine learning.
  • various algorithms such as a neural network, a random forest, and an SVM (support vector machine) are appropriately used.
  • FIG. 6 is a diagram illustrating the occurrence of an event.
  • FIG. 7 is a diagram for explaining the frame F1 when an event occurs.
  • the time-of-occurrence identification unit 312 unexpectedly affects the patient 100 when performing surgical treatment on the affected area T of the patient 100 with the surgical instruments 11a and 11b of the instrument unit 11 of the surgical unit 10.
  • a situation for example, local bleeding occurs and bleeding B is displayed on the image M displayed in real time on the display 21, as shown in FIG. 7, the frame constituting the recorded image M1.
  • event F1 in which the occurrence of bleeding B is recorded can be identified.
  • the state before the blood flowed out and the bleeding B spread, and the initial stage of the bleeding B where the blood had just exuded that is, the state immediately after the bleeding B occurred was recorded. become.
  • the partial video extraction unit 313 extracts a partial video (frames included in the period) of the period including the time when the event occurs.
  • the partial moving image extraction unit 313 sets the time point of the frame FS at the time point i1 before the frame F1 at the event occurrence time t0 as the start frame, and is after the time i2 from the frame F1 at the event occurrence time point t0.
  • Time point frame Each frame from the start frame to the end frame can be extracted as a partial moving image, with the time point of the FE as the end frame. That is, the partial moving image extraction unit 313 can extract the partial moving image from the recorded video M1 in the period from the start time t0-i1 to the end time t0 + i2.
  • the parameter storage unit 332 stores various parameters such as time i1 and i2.
  • the parameter storage unit 332 stores parameters such as the previous time, the later time, the reproduction speed, and the number of reproductions.
  • the front time is time i1
  • the back time is time i2.
  • the reproduction speed is a reproduction speed when a partial moving image is slowly reproduced by the reproduction unit 314 described later.
  • the number of reproductions is the number of repetitions when the partial moving image is repeatedly reproduced by the reproduction unit 314 described later.
  • the playback unit 314 plays a partial moving image.
  • the reproduction unit 314 reproduces the partial moving image by a plurality of reproduction methods.
  • the plurality of reproduction methods include at least two of normal reproduction, slow reproduction, repeated reproduction, and reverse reproduction. That is, the reproduction unit 314 can reproduce the scene including the time when the event occurs a plurality of times while changing the reproduction method.
  • Various parameters related to the reproduction method are stored in the parameter storage unit 332.
  • the reproduction unit 314 can display a partial image as a wipe on the display 21 viewed by the surgeon 110.
  • FIG. 8 is a diagram showing an example of frame F1 at the time of event occurrence.
  • FIG. 8 shows an example at the time when the occurrence of bleeding B was recognized.
  • FIG. 9 is a diagram showing an example of a display 21 on which the wipe image W is displayed. In the example of FIG. 9, the frame F1 at the time of event occurrence is displayed as the wipe image W.
  • the reproduction unit 314 can reproduce a partial moving image by a combination of different reproduction methods depending on the type of operation of the surgical instrument of the instrument unit 11.
  • the playback method to be played back is stored in the setting storage unit 333, which will be described later.
  • the setting storage unit 333 stores a plurality of playback methods (lists) in association with the operation type.
  • the operation type includes, for example, excision, peeling, traction, suturing, suction, and the like, and these can be specified by, for example, image analysis using machine learning. Further, it may be specified by the type of surgical instrument attached to the instrument unit 11, the operation input signal of the surgeon 110 received by the operation input unit 311, or the like.
  • FIG. 10 is a diagram illustrating processing performed in the surgical system of the present embodiment. The figure shows the flow of operation of the control unit 30.
  • the occurrence time point specifying unit 312 specifies the time point (frame) at which the event occurred from the recorded video M1 (S401), and also specifies the operation type of the surgical instrument of the instrument unit 11 (S402). For example, the generation time identification unit 312 can specify the operation type by analyzing the image.
  • the partial moving image extraction unit 313 reads the parameter and playback method list from the parameter storage unit 332 and the setting storage unit 333 (S403), the time before (i1) and the time after (i2) of the read parameter, and the specified event occurrence time point.
  • the period (t0-i1 to t0 + i2) to be extracted from t0 is calculated, and the partial moving image of the calculated period is extracted from the recorded video M1 (S404).
  • the playback unit 314 extracts the next playback method from the playback methods included in the playback method list (S405), and if there is a next playback method (S406: NO), reproduces the partial moving image by the next playback method (S406: NO). S407).
  • the parameters of the reproduction method production speed of slow reproduction, number of reproductions of repeated reproduction, etc.
  • the reproduction unit 314 may superimpose and output a partial image on the real-time image from the endoscope camera 13 as a wipe W as shown in FIG. 9, or provide a sub-display or the like different from the display 21 and partially display the sub-display. The image may be output.
  • a partial moving image of a period including the time when the event occurs can be output.
  • an event for example, bleeding
  • the space for example, abdominal cavity
  • a partial moving image of a period including the time when the event occurs That is, the event occurrence scene
  • the event occurrence scene can be output.
  • a partial moving image of a period including an initial time point (event occurrence time point) when bleeding B occurs is wiped as shown in FIG.
  • the surgeon 110 can easily identify, for example, the bleeding site where the bleeding B is occurring. It is also possible to identify the cause of how bleeding B occurs, and take appropriate measures. This is due to the following reasons, for example, in the case of bleeding.
  • the surgical system of the present embodiment it is possible to confirm a partial moving image of a period including the time when an event such as bleeding B occurs by a plurality of reproduction methods. Therefore, as compared with the case where the past scene is simply confirmed once, the event occurrence position and the occurrence cause can be easily and surely grasped by performing the display a plurality of times as in the present embodiment.
  • the same event can be confirmed from different viewpoints, so that the event occurrence location (for example, bleeding location) and the event occurrence factor (for example, bleeding) can be confirmed. The cause) can be grasped more easily and surely.
  • FIG. 11 is a diagram showing a software configuration example of the control unit 30 according to the second embodiment.
  • the reproduction speed of slow reproduction (or fast-forward reproduction may be used) is set as a parameter in the parameter storage unit 332, but in the second embodiment, the reproduction speed is set according to the amount of bleeding. Can be changed.
  • the control unit 30 includes a bleeding amount detecting unit 315 in addition to the configuration of the control unit 30 of the first embodiment described above (see FIG. 4).
  • the bleeding amount detection unit 315 analyzes the image of each frame F of the recorded image M1 and estimates the amount of blood contained in the image.
  • the bleeding amount detection unit 315 may be, for example, a bleeding amount (or a bleeding area, that is, a ratio of blood covering in the target area of surgery, depending on the number of bleeding color pixels included in the image. ) Etc. can be calculated.
  • the regeneration unit 314 of the second embodiment changes the regeneration speed according to the amount of bleeding. Specifically, the regeneration unit 314 can reduce the regeneration speed as the amount of bleeding (or bleeding area) increases. Further, the regeneration unit 314 is set to reduce the regeneration speed as the bleeding amount (or bleeding area) changes in time series (for example, the amount of increase in the bleeding amount per unit time) is larger (the bleeding rate is faster). Can be done.
  • FIG. 12 is a diagram showing a flow of processing according to the second embodiment. The difference from the process of the first embodiment (FIG. 10) will be described.
  • the bleeding amount detection unit 315 detects the bleeding amount (or bleeding rate) from the partial moving image (S421), and the regenerating unit 314 regenerates as the bleeding amount (or bleeding rate) increases (or is faster). The speed can be reduced (S422). Then, in step S407, the partial moving image is reproduced at the adjusted reproduction speed.
  • the bleeding amount detection unit 315 detects the bleeding amount (or bleeding rate) from the partial moving image (S421), and the regenerating unit 314 regenerates as the bleeding amount (or bleeding rate) increases (or is faster). The speed can be reduced (S422).
  • step S407 the partial moving image is reproduced at the adjusted reproduction speed.
  • reproduction unit 314 may change the reproduction speed only when the reproduction method is slow reproduction, or may change the reproduction speed for all the reproduction methods.
  • FIG. 13 is a diagram showing a software configuration example of the control unit 30 according to the third embodiment.
  • the reproduction speed of the partial moving image is constant, but in the third embodiment, the reproduction speed can be reduced for a shorter period before and after the event occurrence even in the partial moving image.
  • the parameters stored in the parameter storage unit 332 include the pre-time, the post-time, and the reproduction. Memorize 2 sets of speed.
  • the first set of the front time 1 (i1 (1)), the back time 1 (i2 (1)) and the playback speed 1 and the front time 2 (i1 (2)) and the back time 2 (i2) (2)) and the second set of the reproduction speed 2 are registered in the parameter storage unit 332.
  • the period of the second set is shorter than the period of the first set, and both the period of the first set and the period of the second set include the event disclosure time point (frame F1). Further, the reproduction speed 2 of the second set is slower than the reproduction speed 2 of the first set.
  • FIG. 14 is a diagram illustrating a processing flow of the control unit 30 according to the third embodiment. The difference from the process of the first embodiment (FIG. 10) will be described.
  • steps S441 to S441 are executed instead of the reproduction process of step S407.
  • the reproduction speed 1 of the first set is the period from the start time t0-t1 (1) similar to the start time t0-t1 of the first embodiment to the start time t0-t1 (2) of the second set.
  • S441 the period from the start time t0-t1 (2) of the second set to the end time t0 + t2 (2) of the second set is reproduced at the reproduction speed 2 of the second set (S442), and the second set.
  • the period from the end point t0 + t2 (2) of the set to the end point t0 + t2 (1) of the first set can be reproduced at the reproduction speed 1 of the first set (S443).
  • the period of the second set which is shorter than the period of the first set, including the time when the event occurs, can be reproduced at a slower speed.
  • the bleeding amount detection unit 315 is provided as in the second embodiment, and the regeneration speed 2 is regenerated at a speed corresponding to the bleeding amount or the bleeding rate for the period related to the second set. You may do it.
  • FIG. 15 is a diagram showing a software configuration example of the control unit 30 according to the fourth embodiment.
  • various parameters related to the reproduction method pre-time, post-time, reproduction direction, reproduction speed, number of reproductions, etc.
  • the parameter storage unit 332' stores various parameters in association with the reproduction method ID indicating the reproduction method.
  • the control unit 30 includes a setting unit 316 that receives an input of a parameter stored in the parameter storage unit 332'.
  • the setting unit 316 can register the parameters in advance, and can also change the parameters during the operation or the playback of the moving image.
  • FIG. 16 is a diagram illustrating a processing flow of the control unit 30 according to the fourth embodiment. The difference from the process of the first embodiment (FIG. 10) will be described.
  • the setting unit 316 receives the input of the parameter for each reproduction method in advance and registers it in the parameter history unit 332'(S461). Then, in step S403, only the reproduction method list is read (S403'), and before step S407 at the time of reproduction, the reproduction unit 315 reads and reads the parameters corresponding to the reproduction method from the parameter storage unit 332'(S462). A partial moving image is played back using the parameters (S407').
  • FIG. 17 is a diagram showing an overall configuration of the surgical system 1 according to the fifth embodiment.
  • the surgeon 110 directly operates the surgical instrument to the patient 100 instead of the remote control. It may be laparotomy or laparoscopic surgery.
  • the control device 30 of each of the above-described embodiments can be used to reproduce the scene including the time when the event occurs a plurality of times while changing the reproduction method.
  • the event is bleeding B from a site near the affected part X of the patient 100 has been described, but for example, damage, mistreatment, or other abnormality may be detected.
  • This surgical system can be applied not only to surgery but also to all the procedures that may cause the above-mentioned accidents. For example, diagnosis, examination, diagnostic puncture / sample collection, imaging examination, medication / injection (including blood transfusion). ), Rehabilitation, anesthesia, radiotherapy, use of medical equipment, etc., as long as it can include accidents caused by or suspected to be caused by medical treatment.
  • the number of surgical systems in surgery is not limited to one, and there may be multiple.
  • the movements of the operation unit and the work unit may be synchronized with each other, or they function independently (so that the movements of the first surgical device and the second surgical device are not linked). It may be a matter of fact.
  • the surgical target of this system is not limited to the human body, but may be an animal, an object as a training target, a plant, or the like.
  • the same effect can be obtained by detecting digestive juice, bile, etc. discharged due to damage to organs, digestive tract, etc. instead of the amount of bleeding.
  • the event is an incident such as bleeding, but for example, a specific operation with a surgical instrument may be detected as an event.
  • a specific operation with a surgical instrument may be detected as an event.
  • a real-time image during the operation for the patient 100 is assumed, but it is also useful in a situation where the recorded image M1 recording the operation situation is viewed later.
  • it can be used when the surgeon 110 browses the recorded video M1 of the surgery performed by himself or another surgeon and refers to the cause and location of the event for future surgery. Is.
  • Surgical system 10 Surgical unit 11 Instrument department (Treatment department) 13 Endoscopic camera (video acquisition section) 20 Operation unit 21 Display (display unit) 30 Control unit 33 Storage 311 Operation input unit 312 Occurrence time identification unit 313 Partial video extraction unit 314 Playback unit 331 Video storage unit 332 Parameter storage unit 333 Setting storage unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Endoscopes (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

手術中のイベントを理解しやすくすることができるようにする。　動画再生システムであって、鏡視下手術の術野を撮影した動画像を取得する動画像取得部と、動画像を解析して術野における所定のイベントを検出するイベント検出部と、イベントの検出時点を含む期間の部分動画像を動画像から抽出する部分動画像抽出部と、複数の再生方式のそれぞれにより部分動画像を再生するイベント再生部と、を備えることを特徴とする。

Description

動画再生システム
　本発明は、動画再生システムに関する。
　特許文献１では、手術動画の一部を再生することが提案されている。
特開２０１１－３６３７０号公報
　特許文献１では、特徴点から再生を行うことで必要な部分を確認することが可能となるものの、出血などのインシデントが発生したシーンを単に再生しても、インシデントの原因となる部分を把握することは難しいことが多い。
　本発明はこのような背景を鑑みてなされたものであり、手術中のイベントを理解しやすくする技術を提供することを目的とする。
　上記課題を解決するための本発明の主たる発明は、動画再生システムであって、鏡視下手術の術野を撮影した動画像を取得する動画像取得部と、前記動画像を解析して前記術野における所定のイベントを検出するイベント検出部と、前記イベントの検出時点を含む期間の部分動画像を前記動画像から抽出する部分動画像抽出部と、複数の再生方式のそれぞれにより前記部分動画像を再生するイベント再生部と、を備えることを特徴とする。
　本発明によれば、手術中のイベントを理解しやすくすることができる。
本実施の形態に係る手術システムの概略を説明する概念図である。 本実施の形態に係る手術システムの概略を説明するブロック図である。 制御ユニット３０のハードウェア構成例を説明するブロック図である。 制御ユニット３０のソフトウェア構成例を説明するブロック図である。 内視鏡カメラ１３から取得する映像Ｍの構成の概略を説明するブロック図である。 イベントの発生を説明する図である。 イベント発生時のフレームＦ１を説明する図である。 イベント発生時点のフレームＦ１の一例を示す図である。 ワイプ画像Ｗが表示されたディスプレイ２１の例を示す図である。 本実施形態の手術システムにおいて実行される処理について説明する図である。 第２実施形態に係る制御ユニット３０のソフトウェア構成例を示す図である。 第２実施形態に係る処理の流れを示す図である。 第３実施形態に係る制御ユニット３０のソフトウェア構成例を示す図である。 第３実施形態に係る制御ユニット３０の処理の流れを説明する図である。 第４実施形態に係る制御ユニット３０のソフトウェア構成例を示す図である。 第４実施形態に係る制御ユニット３０の処理の流れを説明する図である。 第５実施形態に係る手術システム１の全体構成を示す図である。
＜発明の概要＞
　本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
［項目１］
　鏡視下手術の術野を撮影した動画像を取得する動画像取得部と、
　前記動画像を解析して前記術野における所定のイベントを検出するイベント検出部と、
　前記イベントの検出時点を含む期間の部分動画像を前記動画像から抽出する部分動画像抽出部と、
　複数の再生方式のそれぞれにより前記部分動画像を再生するイベント再生部と、
　を備えることを特徴とする動画再生システム。
［項目２］
　項目１に記載の動画再生システムであって、
　前記再生方式には、通常再生、スロー再生、繰り返し再生、及び逆再生の少なくとも２つを含むこと、
　を特徴とする動画再生システム。
［項目３］
　項目１に記載の動画再生システムであって、
　前記イベント再生部は、前記手術対象となる臓器の種別、前記処置に係る術式、及び前記イベントに係るパラメータの少なくともいずれかに応じて、前記複数の再生方式の種類を選択すること、
　を特徴とする動画再生システム。
［項目４］
　項目１に記載の動画再生システムであって、
　前記イベント再生部は、前記手術対象となる臓器の種別、前記処置に係る術式、及び前記イベントに係るパラメータの少なくともいずれかに応じて、前記再生方式に係る再生速度、前記検出時点から前記期間の開始時点までの時間、前記検出時点から前記期間の終了時点までの時間、及び再生方向、の少なくとのいずれかを選択すること、
　を特徴とする動画再生システム。
［項目５］
　項目１に記載の動画再生システムであって、
　前記イベントは前記手術対象からの出血であり、
　前記イベント検出部はさらに出血量を検出し、
　前記再生方式には少なく都の前記スロー再生が含まれ、
　前記イベント再生部は、少なくとも前記出血量に応じて前記スロー再生の再生速度を決定すること、
　を特徴とする動画再生システム。
［項目６］
　項目１に記載の手術支援システムであって、
　前記イベント再生部は、前記期間である第１の期間中であって、前記第１の期間よりも短く、かつ、前記検出時点を含む第２の期間について、前記部分動画像の再生速度を他の期間よりも下げて再生すること、
　を特徴とする手術支援システム。
［項目７］
　項目１に記載の手術支援システムであって、
　前記複数の再生方式の種類、ならびに、前記再生方式に係る再生速度、前記検出時点から前記期間の開始時点までの時間、前記検出時点から前記期間の終了時点までの時間、及び再生方向、の少なくとのいずれかを設定する設定部をさらに備えること、
　を特徴とする手術支援システム。
［項目８］
　項目７に記載の手術支援システムであって、
　前記設定部は、前記イベント再生部による再生開始後に、前記複数の再生方式の種類、ならびに、前記再生方式に係る再生速度、前記検出時点から前記期間の開始時点までの時間、前記検出時点から前記期間の終了時点までの時間、及び再生方向、の少なくとのいずれかの変更を行うこと、
　を特徴とする手術支援システム。
＜システム概要＞
　以下、本発明の一実施形態に係る手術システムについて説明する。本実施形態の手術支援システムは、鏡視下手術の支援を行うものであり、とくに術野を撮影した動画像を出力するとともに、例えば局所的な出血などのイベントが発生した場合に、そのイベント発生時を含むシーンを再生する動画再生システムでもありうる。
＜第１実施形態＞
　図１は、本実施の形態に係る手術システムの概略を説明する概念図である。図示のように、手術システム１は、手術ユニット１０、操作ユニット２０、及び手術ユニット１０と操作ユニット２０とを制御する制御ユニット３０を備える。
　図２は、本実施の形態に係る手術システムの概略を説明するブロック図である。
　手術ユニット１０は、手術対象である患者１００に外科的処置を行うものであり、本実施の形態では、処置部であるインスツルメント部１１、同じく処置部であるセンサ部１２及び映像取得部である内視鏡カメラ１３を備える。
　インスツルメント部１１は、可動アーム及び可動アームの先端に装着される手術器具によって構成される。手術器具としては、例えばメス（電気メス等）、剪刀、鉗子、持針器やピンセット等が想定されるが、用途に応じてこれら以外の各種の手術器具が装着される。
　センサ部１２は、例えば、インスツルメント部１１の状態を検知するための圧力センサ、ジャイロセンサ、加速度センサ、温度センサ等の各種のセンサが採用される。
　内視鏡カメラ１３の構成については、後述する。
　操作ユニット２０は、手術ユニット１０に対するオペレータである執刀医１１０からの操作を受け付けるものであり、本実施の形態では、表示部であるディスプレイ２１、コントローラ部２２及びスピーカ２３を備える。
　ディスプレイ２１は、執刀医１１０に各種の情報を提供するものであって、本実施の形態では、ＶＲ（Ｖｅｒｔｕａｌ　Ｒｅａｌｉｔｙ）のＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔ　Ｄｉｓｐｌａｙ）を実装する技術が採用されており、執刀医１１０の両目による視差を利用して、視認する領域の立体視が可能である。
　コントローラ部２２は、本実施の形態では、ジョイスティックやフットペダル等の入力機器によって実装され、スピーカ２３は、音声等によって執刀医１１０に各種の情報を提供する。
＜制御ユニット３０ハードウェア＞
　図３は、制御ユニット３０のハードウェア構成例を説明するブロック図である。図示のように、制御ユニット３０は、プロセッサ３１、メモリ３２、ストレージ３３、送受信部３４、及び入出力部３５を主要構成として備え、これらが互いにバス３６を介して電気的に接続される。
　プロセッサ３１は、制御ユニット３０の動作を制御し、各要素間におけるデータの送受信の制御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。
　このプロセッサ３１は、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、後述するストレージ３３に格納されてメモリ３２に展開されたアプリケーションプログラム等を実行して各処理を行う。
　メモリ３２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶装置を備える。
　このメモリ３２は、プロセッサ３１の作業領域として使用される一方、制御ユニット３０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ／Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）、及び各種の設定情報等が格納される。
　ストレージ３３は、アプリケーションプログラムや各種の処理に用いられるデータ等が格納されている。本実施の形態では、各種の処理を行う映像処理プログラムが格納されている。この映像処理プログラムの詳細については、後述する。
　送受信部３４は、制御ユニット３０をインターネットに接続する。この送受信部３４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ　Ｌｏｗ　Ｅｎｅｒｇｙ）といった近距離通信インターフェースを具備するものであってもよい。
　本実施の形態では、この送受信部３４を介して、制御ユニット３０が手術ユニット１０及び操作ユニット２０と接続される。
　入出力部３５には、必要に応じて、キーボードやマウスといった情報入力機器やディスプレイ等の出力機器が接続される。
　バス３６は、接続したプロセッサ３１、メモリ３２、ストレージ３３、送受信部３４及び入出力部３５の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。
＜制御ユニット３０ソフトウェア＞
　図４は、制御ユニット３０のソフトウェア構成例を説明するブロック図である。図示のように、制御ユニット３０は、操作入力部３１１、発生時点特定部３１２、部分動画抽出部３１３、再生部３１４、映像記憶部３３１、パラメータ記憶部３３２、設定記憶部３３３を備える。
　映像記録部３３１は、内視鏡カメラ１３で取得してディスプレイ２１に実時間で表示された映像Ｍを記録映像Ｍ１として記録する。
　図５は、内視鏡カメラ１３から取得する映像Ｍの構成の概略を説明するブロック図である。図示のように、内視鏡カメラ１３は、インスツルメント部１１による患者１００に対する外科的措置Ｏを撮像して映像Ｍとして取得するものである。内視鏡カメラ１３で取得する映像Ｍは、複数のフレームＦによって構成され、取得する実時間において逐次、ディスプレイ２１に表示されるとともに、ディスプレイ２１に表示された映像Ｍが映像記録部３３１に記録映像Ｍ１として記録されることになる。
　このような構成を有する本実施の形態に係る手術システム１は、患者１００の腹腔や胸腔に到達するように患者１００の身体に３ｍｍ～１０ｍｍ程度の複数の小さな孔をあけて、身体を切開しないでその孔から内視鏡カメラ１３やインスツルメント部１１の手術器具を挿入して、内視鏡下において低侵襲で内視鏡外科手術を実行するものである。
　操作入力部３１１は、執刀医１１０による操作ユニット２０から入力される各種の操作を受け付ける。
　発生時点特定部３１２は、記録映像Ｍ１からイベントが発生した時点（以下、イベント発生時点という。）を特定する。発生時点特定部３１２は、たとえば、記録映像Ｍ１を構成する各フレームＦを画像解析し、イベントを示す画像の特徴量（たとえば、出血の赤色など）を抽出することにより、当該フレームにおいてイベントが発生しているか否かを判定し、一連の同一イベントが連続する期間の最先のフレームＦの時点をイベント発生時点として特定することができる。
　発生時点特定部３１２は、たとえば、機械学習によってイベント関連フレームを自律的に特定する人工知能モジュールによって実装することができる。機械学習を行う手法としては、ニューラルネットワーク、ランダムフォレスト、ＳＶＭ（ｓｕｐｐｏｒｔ　ｖｅｃｔｏｒ　ｍａｃｈｉｎｅ）等、各種のアルゴリズムが適宜用いられる。
　図６は、イベントの発生を説明する図である。図７は、イベント発生時のフレームＦ１を説明する図である。
　図６で示すように、発生時点特定部３１２は、手術ユニット１０のインスツルメント部１１の手術器具１１ａ、１１ｂで患者１００の患部Ｔに外科的処置を行っている際に患者１００に不測の事態（イベント）、例えば局所的な出血が発生して、ディスプレイ２１に実時間で表示される映像Ｍに出血Ｂが表示されたときに、図７で示すように、記録映像Ｍ１を構成するフレームＦから、出血Ｂの発生が記録されたイベントＦ１を特定することができる。イベントの発生したフレームＦ１には、血液が流出して出血Ｂが広がる前であって血液が滲み出したばかりの出血Ｂの初期の段階、すなわち出血Ｂが発生した直後の状態が記録されていることになる。
　部分動画抽出部３１３は、イベント発生時点を含む期間の部分動画（当該期間に含まれるフレーム）を抽出する。図７の例では、部分動画抽出部３１３は、イベント発生時点ｔ０のフレームＦ１から時間ｉ１だけ前の時点のフレームＦＳの時点を開始フレームとし、イベント発生時点ｔ０のフレームＦ１から時間ｉ２だけ後の時点のフレームＦＥの時点を終了フレームとして、開始フレームから終了フレームまでの各フレームを部分動画として抽出することができる。すなわち、部分動画抽出部３１３は、記録映像Ｍ１から開始時点ｔ０－ｉ１から終了時点ｔ０＋ｉ２までの期間の部分動画を抽出することができる。
　パラメータ記憶部３３２は、時間ｉ１及びｉ２などの各種パラメータを記憶する。図４の例では、パラメータ記憶部３３２は、前時間、後時間、再生スピード、再生回数などのパラメータを記憶している。例えば、前時間は、時間ｉ１であり、後時間は時間ｉ２である。再生スピードは、後述する再生部３１４により部分動画をスロー再生などする場合の再生スピードである。再生回数は後述する再生部３１４により部分動画を繰り返し再生する場合の繰り返し回数である。
　再生部３１４は、部分動画を再生する。本実施形態では、再生部３１４は、複数の再生方式で部分動画を再生する。複数の再生方式には、通常再生、スロー再生、繰り返し再生、及び逆再生の少なくとも２つが含まれる。すなわち、再生部３１４は、イベント発生時点を含むシーンを再生方式を変えながら複数回再生することができる。再生方式に係る各種のパラメータ（例えば、スロー再生の再生スピード、繰り返し再生の再生回数など）はパラメータ記憶部３３２に記憶されている。
　再生部３１４は、執刀医１１０が閲覧しているディスプレイ２１に部分画像をワイプとして表示することができる。図８は、イベント発生時点のフレームＦ１の一例を示す図である。図８では、出血Ｂの発生が認識された時点の例が示されている。図９は、ワイプ画像Ｗが表示されたディスプレイ２１の例を示す図である。図９の例では、イベント発生時点のフレームＦ１がワイプ画像Ｗとして表示されている。
　また、再生部３１４は、インスツルメント部１１の手術器具の操作の種類に応じて異なる再生方式の組み合わせで部分動画を再生することができる。どのような再生方式で再生をするかは、後述する設定記憶部３３３に記憶される。
　図４の例では、設定記憶部３３３は、操作種別に対応付けて、複数の再生方式（リスト）を記憶している。操作種別には、たとえば、切除、剥離、牽引、縫合、吸引などがあり、これらは、例えば、機械学習を用いた画像解析により特定することができる。また、インスツルメント部１１に取り付けられている手術器具の種類や、操作入力部３１１が受け付けた執刀医１１０の操作入力信号などにより特定するようにしてもよい。
＜処理＞
　図１０は、本実施形態の手術システムにおいて実行される処理について説明する図である。同図には、制御ユニット３０の動作の流れが示されている。
　発生時点特定部３１２は、記録映像Ｍ１からイベントの発生した時点（フレーム）を特定するとともに（Ｓ４０１）、インスツルメント部１１の手術器具の操作種別を特定する（Ｓ４０２）。例えば、発生時点特定部３１２は、画像を解析することにより操作種別を特定することができる。
　部分動画抽出部３１３は、パラメータ及び再生方式リストをパラメータ記憶部３３２及び設定記憶部３３３から読み出し（Ｓ４０３）、読み出したパラメータの前時間（ｉ１）及び後時間（ｉ２）と、特定したイベント発生時点ｔ０とから抽出する期間（ｔ０－ｉ１～ｔ０＋ｉ２）を計算し、計算した期間の部分動画を記録映像Ｍ１から抽出する（Ｓ４０４）。
　再生部３１４は、再生方式リストに含まれている再生方式から次の再生方式を取り出し（Ｓ４０５）、次の再生方式があれば（Ｓ４０６：ＮＯ）、次の再生方式で部分動画を再生する（Ｓ４０７）。ここで再生方式のパラメータ（スロー再生の再生スピード、繰り返し再生の再生回数など）は、上記読み出したパラメータを用いる。再生部３１４は、図９に示すようなワイプＷとして部分画像を内視鏡カメラ１３からのリアルタイム映像に重畳出力してもよいし、ディスプレイ２１とは異なるサブディスプレイなどを設け、サブディスプレイに部分画像を出力するようにしてもよい。
　以上のようにして、本実施形態の手術システムによれば、手術対象の空間（例えば腹腔等）において発生したイベント（例えば出血等）を検出した場合に、イベント発生時点を含む期間の部分動画、すなわちイベント発生シーンを出力することができる。例えば、図６の例のように、出血Ｂが発生して広がっている状態において、出血Ｂが発生した初期の時点（イベント発生時点）を含む期間の部分動画を、図９に示すようにワイプで確認することにより、執刀医１１０は、例えば出血Ｂが発生している出血部位を容易に特定することができる。また出血Ｂがどのように発生したかの原因を特定することも可能となり、適切な処置を講じることができる。これは、例えば出血の場合次のような理由による。すなわち、出血は体内の組織を切除器具ではさみ、アクティベイトして組織が破綻したあとに起こると仮定すると、はさむまでの動作やアクティベイト中の時間は通常の速度で把握可能であるものの、組織が破綻して出血点から出血が広がる過程は極めて短時間で起こる事象であるため、このシーンの再生速度を遅くすることにより、理解が容易になる。また逆再生することで広がった血液が一点に集約し、出血点の位置を把握することが容易になる。さらには、このように再生速度を部分的に遅くしたり、逆再生を行ったりすることにより、出血等のイベントの発生箇所や発生原因を特定することが容易になるのである。
　また、本実施形態の手術システムによれば、複数の再生方式で出血Ｂ等のイベント発生時点を含む期間の部分動画を確認することができる。したがって、単に一度過去のシーンを確認する場合に比べて、本実施形態のように複数回の表示を行うことで、イベントの発生位置や発生原因を容易かつ確実に把握することができる。また、本実施期待のように異なる再生方式で同じシーンを再生することにより、同じイベントを異なる見方で確認することができるので、イベントの発生箇所（例えば出血箇所）やイベントの発生要因（例えば出血原因）をより容易かつ確実に把握することができる。
＜第２実施形態＞
　図１１は、第２実施形態に係る制御ユニット３０のソフトウェア構成例を示す図である。上記第１実施形態では、スロー再生（又は早回し再生でもよい）の再生スピードはパラメータ記憶部３３２にパラメータとして設定されているものとしたが、第２実施形態では、出血量に応じて再生速度を変化させることができる。
　第２実施形態に係る制御ユニット３０は、上述した第１実施形態の制御ユニット３０の構成（図４参照）に加えて、出血量検出部３１５を備える。出血量検出部３１５は、記録映像Ｍ１の各フレームＦの画像を解析し、画像に含まれている血の量を推定する。出血量検出部３１５は、例えば、画像に含まれている出血の色の画素の数に応じて出血量（又は出血面積、すなわち手術の対象領域において血が覆っている割合であってもよい。）などを計算することができる。また、第２実施形態の再生部３１４は、出血量に応じて再生スピードを変化させる。具体的には、再生部３１４は、出血量（又は出血面積）が多いほど再生スピードを下げるようにすることができる。また、再生部３１４は、出血量（又は出血面積）の時系列な変化（例えば、出血量の単位時間あたりの増加量）が大きい（出血の速度が速い）ほど再生スピードを下げるようにすることができる。
　図１２は、第２実施形態に係る処理の流れを示す図である。第１実施形態の処理（図１０）との違いについて説明する。第２実施形態では、出血量検出部３１５は、部分動画から出血量（又は出血速度）を検出し（Ｓ４２１）、再生部３１４は、出血量（又は出血速度）が多い（又は速い）ほど再生スピードを下げることができる（Ｓ４２２）。そしてステップＳ４０７において、調整された再生スピードで部分動画が再生される。これにより、大量または高速な出血時には、出血時点（イベント発生時点）のシーンをよりゆっくりと再生することができるので、出血箇所や出血原因をより容易かつ確実に特定することが可能となる。
　なお、再生部３１４は、再生方式がスロー再生の場合にのみ、再生スピードを変えるようにしてもよいし、全ての再生方式について再生スピードを変えるようにしてもよい。
＜第３実施形態＞
　図１３は、第３実施形態に係る制御ユニット３０のソフトウェア構成例を示す図である。上記第１実施形態では、部分動画の再生スピードは一定であるものとしたが、第３実施形態では、部分動画の中でもイベント発生時点前後のより短い期間については、再生スピードを下げることができる。
　第２実施形態に係る制御ユニット３０では、上述した第１実施形態の制御ユニット３０の構成（図４参照）に比べて、パラメータ記憶部３３２に記憶されるパラメータとして、前時間、後時間及び再生スピードのセットを２セット記憶する。図１３の例では、前時間１（ｉ１（１））、後時間１（ｉ２（１））及び再生スピード１の第１セットと、前時間２（ｉ１（２））、後時間２（ｉ２（２））及び再生スピード２の第２セットとがパラメータ記憶部３３２に登録されている。第１セットの期間よりも第２セットの期間が短く、第１セットの期間及び第２セットの期間のいずれにもイベント開示時点（フレームＦ１）が含まれる。また、第２セットの再生スピード２は、第１セットの再生スピード２よりも遅い。
　図１４は、第３実施形態に係る制御ユニット３０の処理の流れを説明する図である。第１実施形態の処理（図１０）との違いについて説明する。第３実施形態では、ステップＳ４０７の再生処理に代えて、ステップＳ４４１ないしＳ４４１を実行する。ステップＳ４４１では、第１実施形態の開始時点ｔ０－ｔ１と同様の開始時点ｔ０－ｔ１（１）から、第２セットの開始時点ｔ０－ｔ１（２）までの期間を第１セットの再生速度１で再生し（Ｓ４４１）、第２セットの開始時点ｔ０－ｔ１（２）から第２セットの終了時点ｔ０＋ｔ２（２）までの期間を第２セットの再生速度２で再生し（Ｓ４４２）、第２セットの終了時点ｔ０＋ｔ２（２）から第１セットの終了時点ｔ０＋ｔ２（１）までの期間を第１セットの再生速度１で再生さうる（Ｓ４４３）。これにより、イベント発生時点を含む、第１セットの期間よりも短い第２セットの期間について、よりゆっくりとした速度で再生することができる。
　なお、第３実施形態においても、第２実施形態と同様に出血量検出部３１５を備えるようにし、再生スピード２を出血量または出血速度に応じた速度で第２セットに係る期間を再生するようにしてもよい。
　また、第１セットに係る再生スピード１を、通常速度（実時間）よりも速い速度に設定するようにして、イベント発生時点を含むシーン以外を早回しで再生することもできる。
＜第４実施形態＞
　図１５は、第４実施形態に係る制御ユニット３０のソフトウェア構成例を示す図である。第４実施形態では、再生方式に係る各種のパラメータ（前時間、後時間、再生方向、再生スピード、再生回数等）を設定変更可能としている。第４実施形態では、パラメータ記憶部３３２’は、再生方式を示す再生方式ＩＤに対応付けて、各種のパラメータを記憶する。また、制御ユニット３０は、パラメータ記憶部３３２’に記憶されるパラメータの入力を受け付ける設定部３１６を備える。設定部３１６は、事前にパラメータの登録を行うことができ、また、手術中または動画の再生中にパラメータの変更を行うこともできる。
　図１６は、第４実施形態に係る制御ユニット３０の処理の流れを説明する図である。第１実施形態の処理（図１０）との違いについて説明する。第４実施形態では、事前に設定部３１６が再生方式ごとのパラメータの入力を受け付けてパラメータ既往部３３２’に登録を行う（Ｓ４６１）。そして、ステップＳ４０３では、再生方式リストのみを読み出し（Ｓ４０３’）、再生時のステップＳ４０７の前に、再生部３１５は、再生方式に対応するパラメータをパラメータ記憶部３３２’から読み出し（Ｓ４６２）、読み出したパラメータを用いて部分動画を再生する（Ｓ４０７’）。
　これにより、再生方式に応じた再生速度や再生期間などを自由に設定することができる。
＜第５実施形態＞
　図１７は、第５実施形態に係る手術システム１の全体構成を示す図である。第５実施形態では、遠隔操作ではなく、患者１００に執刀医１１０が直接手術器具を操作する状況を想定している。なお、開腹手術であってもよいし、腹腔鏡手術であってもい。このような場合であっても、上述した各実施形態の制御装置３０を用いて、イベントの発生時点を含むシーンを、再生方式を変えながら複数回再生することが可能となる。
　以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
　例えば、上記実施形態では、イベントが患者１００の患部Ｘの近傍の部位からの出血Ｂである場合を説明したが、例えば、損傷、誤処置、その他の異常 を検知することとしてもよい。
　本手術システムは、手術のみならず、上述した事故が起こる可能性のある処置全てに適用可能であり、例示すれば、診察、検査、診断穿刺・検体採取、画像検査、投薬・注射（輸血含む）、リハビリテーション、麻酔、放射線治療、医療機器の使用等、医療に起因し、又は起因すると疑われる事故を含み得る処置であれば、どのようなものであってもよい。
　手術における手術システムの数は１台に限られず、複数台あってもよい。この場合、操作ユニットと作業ユニットの動きは夫々同期していてもよいし、別個独立に機能（１台目の手術装置と２台目の手術装置との動きは連動していないように）することとしてもよい。
　また、本システムの手術対象は人体だけに限らず、動物、練習対象としての物体、植物等であってもよい。
　また、上述した各実施形態において、出血量に代えて、臓器や消化器管などの損傷により排出される消化液や胆汁などを検出するようにしても同様の作用効果を得ることができる。
　また、上述した各実施形態において、イベントは出血等のインシデントであることを想定したが、たとえば、手術器具による特定の操作をしたことをイベントとして検出するようにしてもよい。例えば、縫合器（ホチキス）で縫合・吻合したことをイベントとして検出し、縫合・吻合時の状況を再生するようにすることもできる、これにより、処置が正しくできたかどうかを確認することができる。
　また、本実施形態では、患者１００に対する手術中のリアルタイム画像を想定していたが、手術状況を録画した記録映像Ｍ１を後から閲覧する状況においても有用である。例えば、執刀医１１０が自身又は他の執刀医の行った手術の記録映像Ｍ１を閲覧し、今後の手術に向けて、イベントの発生原因や発生箇所などを参考にする場合にも用いることが可能である。
　　１　　手術システム
　　１０　　手術ユニット
　　１１　　インスツルメント部（処置部）
　　１３　　内視鏡カメラ（映像取得部）
　　２０　　操作ユニット
　　２１　　ディスプレイ（表示部）
　　３０　　制御ユニット
　　３３　　ストレージ
　　３１１　操作入力部
　　３１２　発生時点特定部
　　３１３　部分動画抽出部
　　３１４　再生部
　　３３１　映像記憶部
　　３３２　パラメータ記憶部
　　３３３　設定記憶部

Claims (8)

  1. 　鏡視下手術の術野を撮影した動画像を取得する動画像取得部と、
    　前記動画像を解析して前記術野における所定のイベントを検出するイベント検出部と、
    　前記イベントの検出時点を含む期間の部分動画像を前記動画像から抽出する部分動画像抽出部と、
    　複数の再生方式のそれぞれにより前記部分動画像を再生するイベント再生部と、
    　を備えることを特徴とする動画再生システム。
  2. 　請求項１に記載の動画再生システムであって、
    　前記再生方式には、通常再生、スロー再生、繰り返し再生、及び逆再生の少なくとも２つを含むこと、
    　を特徴とする動画再生システム。
  3. 　請求項１に記載の動画再生システムであって、
    　前記イベント再生部は、前記手術対象となる臓器の種別、前記処置に係る術式、及び前記イベントに係るパラメータの少なくともいずれかに応じて、前記複数の再生方式の種類を選択すること、
    　を特徴とする動画再生システム。
  4. 　請求項１に記載の動画再生システムであって、
    　前記イベント再生部は、前記手術対象となる臓器の種別、前記処置に係る術式、及び前記イベントに係るパラメータの少なくともいずれかに応じて、前記再生方式に係る再生速度、前記検出時点から前記期間の開始時点までの時間、前記検出時点から前記期間の終了時点までの時間、及び再生方向、の少なくとのいずれかを選択すること、
    　を特徴とする動画再生システム。
  5. 　請求項１に記載の動画再生システムであって、
    　前記イベントは前記手術対象からの出血であり、
    　前記イベント検出部はさらに出血量を検出し、
    　前記再生方式には少なく都の前記スロー再生が含まれ、
    　前記イベント再生部は、少なくとも前記出血量に応じて前記スロー再生の再生速度を決定すること、
    　を特徴とする動画再生システム。
  6. 　請求項１に記載の手術支援システムであって、
    　前記イベント再生部は、前記期間である第１の期間中であって、前記第１の期間よりも短く、かつ、前記検出時点を含む第２の期間について、前記部分動画像の再生速度を他の期間よりも下げて再生すること、
    　を特徴とする手術支援システム。
  7. 　請求項１に記載の手術支援システムであって、
    　前記複数の再生方式の種類、ならびに、前記再生方式に係る再生速度、前記検出時点から前記期間の開始時点までの時間、前記検出時点から前記期間の終了時点までの時間、及び再生方向、の少なくとのいずれかを設定する設定部をさらに備えること、
    　を特徴とする手術支援システム。
  8. 　請求項７に記載の手術支援システムであって、
    　前記設定部は、前記イベント再生部による再生開始後に、前記複数の再生方式の種類、ならびに、前記再生方式に係る再生速度、前記検出時点から前記期間の開始時点までの時間、前記検出時点から前記期間の終了時点までの時間、及び再生方向、の少なくとのいずれかの変更を行うこと、
    　を特徴とする手術支援システム。
PCT/JP2020/003482 2020-01-30 2020-01-30 動画再生システム WO2021152785A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
PCT/JP2020/003482 WO2021152785A1 (ja) 2020-01-30 2020-01-30 動画再生システム
PCT/JP2020/041295 WO2021152948A1 (ja) 2020-01-30 2020-11-05 コンピュータプログラム及び映像再生方法
JP2020573056A JP6875038B1 (ja) 2020-01-30 2020-11-05 コンピュータプログラム及び映像再生方法
US17/794,441 US20230069802A1 (en) 2020-01-30 2020-11-05 Recording Medium and Image Playback Method
CN202080094964.0A CN115023172A (zh) 2020-01-30 2020-11-05 计算机程序和影像播放方法
JP2021027652A JP6887193B1 (ja) 2020-01-30 2021-02-24 コンピュータプログラム及び映像再生方法
JP2021065304A JP2021119986A (ja) 2020-01-30 2021-04-07 コンピュータプログラム及び映像再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/003482 WO2021152785A1 (ja) 2020-01-30 2020-01-30 動画再生システム

Publications (1)

Publication Number Publication Date
WO2021152785A1 true WO2021152785A1 (ja) 2021-08-05

Family

ID=76310209

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2020/003482 WO2021152785A1 (ja) 2020-01-30 2020-01-30 動画再生システム
PCT/JP2020/041295 WO2021152948A1 (ja) 2020-01-30 2020-11-05 コンピュータプログラム及び映像再生方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/041295 WO2021152948A1 (ja) 2020-01-30 2020-11-05 コンピュータプログラム及び映像再生方法

Country Status (2)

Country Link
JP (2) JP6887193B1 (ja)
WO (2) WO2021152785A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090187071A1 (en) * 2008-01-23 2009-07-23 Intromedic Co., Ltd. Capsule endoscope system and method for implementing time shift function therein
JP2011036370A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
WO2015020093A1 (ja) * 2013-08-08 2015-02-12 オリンパスメディカルシステムズ株式会社 手術画像観察装置
JP2017093996A (ja) * 2015-11-27 2017-06-01 オリンパス株式会社 内視鏡システム及びその表示方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4574983B2 (ja) * 2003-11-04 2010-11-04 オリンパス株式会社 画像表示装置、画像表示方法、及び画像表示プログラム
JP5160276B2 (ja) * 2008-03-24 2013-03-13 富士フイルム株式会社 画像表示方法及び装置
WO2013088444A2 (en) * 2011-12-15 2013-06-20 Given Imaging Ltd. Device, system and method for in-vivo detection of bleeding in the gastrointestinal tract
WO2014018448A1 (en) * 2012-07-25 2014-01-30 Intuitive Surgical Operations, Inc. Efficient and interactive bleeding detection in a surgical system
JP6265627B2 (ja) * 2013-05-23 2018-01-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP2021112220A (ja) * 2018-04-17 2021-08-05 ソニーグループ株式会社 画像処理システム、画像処理装置、画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090187071A1 (en) * 2008-01-23 2009-07-23 Intromedic Co., Ltd. Capsule endoscope system and method for implementing time shift function therein
JP2011036370A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
WO2015020093A1 (ja) * 2013-08-08 2015-02-12 オリンパスメディカルシステムズ株式会社 手術画像観察装置
JP2017093996A (ja) * 2015-11-27 2017-06-01 オリンパス株式会社 内視鏡システム及びその表示方法

Also Published As

Publication number Publication date
WO2021152948A1 (ja) 2021-08-05
JP2021119986A (ja) 2021-08-19
JP6887193B1 (ja) 2021-06-16
JP2021121095A (ja) 2021-08-19

Similar Documents

Publication Publication Date Title
RU209329U1 (ru) Автоматическое дополнение эндоскопического видеоизображения
US9192447B2 (en) Surgical robot system and method of controlling the same
Padoy et al. On-line Recognition of Surgical Activity for Monitoring in the Operating Room.
WO2015020093A1 (ja) 手術画像観察装置
KR20170095992A (ko) 헤드 장착식 컴퓨팅 장치, 방법 및 컴퓨터 프로그램 제품
JP2024041891A (ja) コンピュータプログラム、学習モデルの生成方法、及び支援装置
JP2017093996A (ja) 内視鏡システム及びその表示方法
WO2021152785A1 (ja) 動画再生システム
JP7493285B2 (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
JP6875038B1 (ja) コンピュータプログラム及び映像再生方法
JP2022541887A (ja) 不明瞭な視覚の間の内視鏡手術における器具ナビゲーション
WO2018043585A1 (ja) 内視鏡装置、情報処理装置およびプログラム
CN112419826A (zh) 虚拟仿真腹腔镜手术内窥镜操作训练方法及系统
RU216092U1 (ru) Автоматическое дополнение эндоскопического видеоизображения
RU214412U1 (ru) Автоматическое дополнение эндоскопического видеоизображения
JP7527634B2 (ja) 検査支援装置、検査支援装置の作動方法および検査支援プログラム
CN115836915A (zh) 手术器械操控系统和手术器械操控系统的控制方法
JP2024513991A (ja) トリガイベントに基づいて術野のディスプレイオーバーレイを変更するためのシステム及び方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20916479

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20916479

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP