WO2021106859A1 - 器具監視装置および器具監視方法 - Google Patents

器具監視装置および器具監視方法 Download PDF

Info

Publication number
WO2021106859A1
WO2021106859A1 PCT/JP2020/043627 JP2020043627W WO2021106859A1 WO 2021106859 A1 WO2021106859 A1 WO 2021106859A1 JP 2020043627 W JP2020043627 W JP 2020043627W WO 2021106859 A1 WO2021106859 A1 WO 2021106859A1
Authority
WO
WIPO (PCT)
Prior art keywords
instrument
unit
image
lost
time point
Prior art date
Application number
PCT/JP2020/043627
Other languages
English (en)
French (fr)
Inventor
嘉之 山海
Original Assignee
Cyberdyne株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cyberdyne株式会社 filed Critical Cyberdyne株式会社
Priority to US17/776,957 priority Critical patent/US20220392227A1/en
Priority to EP20893264.0A priority patent/EP4066773A4/en
Publication of WO2021106859A1 publication Critical patent/WO2021106859A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/04—Surgical instruments, devices or methods, e.g. tourniquets for suturing wounds; Holders or packages for needles or suture materials
    • A61B17/06—Needles ; Sutures; Needle-suture combinations; Holders or packages for needles or suture materials
    • A61B17/06114—Packages or dispensers for needles or sutures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0804—Counting number of instruments used; Instrument detectors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0804—Counting number of instruments used; Instrument detectors
    • A61B2090/0805—Counting number of instruments used; Instrument detectors automatically, e.g. by means of magnetic, optical or photoelectric detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Definitions

  • the present invention relates to an instrument monitoring device and an instrument monitoring method, and is suitable for application to an instrument monitoring device and an instrument monitoring method for preventing loss of a minute instrument such as a suture needle used in surgery. ..
  • Patent Document 1 a system for tracking the use of various surgical instruments throughout a series of procedures by a doctor in an operating room has been proposed (see Patent Document 1).
  • the system captures data related to the distribution and storage of suture needles during a series of procedures by a physician and manages the amount of time multiple suture needles removed from the suture pack are transferred into the needle receiver. It has been done.
  • Patent Document 1 it is a method of tracking and comparing the number of suture needles distributed and the number of suture needles stored, and it is possible to automatically count all suture needles in the operating room. However, it can only be determined whether or not the suture needle is finally lost.
  • the present invention has been made in consideration of the above points, and it is necessary to constantly monitor the instruments so that they are not lost until a plurality of instruments handled by the operator are sequentially extracted and accommodated in the work room. It is an attempt to propose an instrument monitoring device and an instrument monitoring method that can be used.
  • each of the instruments is sequentially extracted from an instrument holding portion in which a plurality of instruments are held.
  • the instrument monitoring device that monitors each instrument until it is stored in the instrument counter, a plurality of imaging units that image the work room from multiple directions centering on the operator's hand and the object, and a plurality of imaging units.
  • an image recognition unit that recognizes an image for each imaging unit while assigning identifiers in the order of extraction from the instrument holding unit, and each instrument that is image-recognized by the image recognition unit.
  • the movement locus storage unit that stores the trace data representing the movement locus of each instrument in association with the corresponding identifier while tracking the movement position of each instrument for each imaging unit, and the movement locus storage unit stores the trace data.
  • the loss judgment unit that determines that the device has been lost and the loss judgment at the second time point that has passed a predetermined time or more from the first time point when the image recognition unit determines that image recognition is not performed at all.
  • the trace data corresponding to the alert time from immediately before to immediately after the first time point is read from the movement locus storage unit based on the corresponding identifier, and the equipment based on the trace data It is provided with a movement locus display unit that displays the movement locus on the screen.
  • the instrument monitoring device when the operator sequentially extracts and handles a plurality of instruments, the movement locus of the corresponding instrument at the second time point determined to be lost is displayed as an image from immediately before to immediately after the first time point. Therefore, it is possible to present the situation before and after the loss of the appliance, which is highly likely to be lost, to the worker.
  • a predetermined utterance content related to the instrument is extracted and recognized from the utterance of the worker.
  • the loss judgment unit receives the recognition result of the utterance content related to the device from the voice recognition unit between the first time point and the second time point, the loss judgment unit is provided with the voice recognition unit. Even if there was, I tried to judge that the equipment was lost. As a result, in the instrument monitoring device, it is possible to prevent the occurrence of a problem due to the loss of the instrument by instantly responding to the loss when the worker becomes aware that the instrument has been lost.
  • the movement locus display unit displays the movement locus of the device determined to be lost by the loss determination unit on the screen while switching for each imaging unit in units of alert time.
  • the movement locus display unit displays the movement locus of the instrument in the imaging unit designated by the operator on the screen while repeating it in units of alert time.
  • the instrument monitoring device can visually confirm the imaged contents of the instrument, which is likely to be finally lost by the operator, in repeat units from immediately before to immediately after the first time point.
  • the loss determination unit determines that the image recognition unit does not recognize the image at all
  • the operator is notified by voice and / or light emission of the corresponding device.
  • a loss notification unit is provided to notify the possibility of loss.
  • the worker can confirm the presence or absence of the corresponding equipment during the work by receiving a notification to that effect at the first time when it is determined that the equipment is highly likely to be lost. it can.
  • the loss determination unit determines that each instrument whose trace data is stored by the movement locus storage unit is not stored in the instrument counter after the work is completed, the loss determination unit determines that the instrument has been lost. I did. As a result, in the instrument monitoring device, the operator can confirm that there is an instrument that is not housed in the instrument counter.
  • each of the instruments is sequentially extracted from an instrument holding unit in which a plurality of instruments are held and used as an instrument counter.
  • the imaging range of each imaging unit is captured while a plurality of imaging units image the work room from multiple directions centering on the operator's hand and the object.
  • the trace data representing the movement locus of each instrument is stored in association with the corresponding identifier, and the trace data is stored in the second step.
  • the third step which determines that the device has been lost
  • the device, which is determined to have been lost by the third step at the second time point, which is more than a predetermined time after the first time point when it is judged that the device is not recognized.
  • a fourth step is provided in which the trace data corresponding to the alert time from immediately before to immediately after the first time point is read out based on the identifier, and the movement trajectory of the instrument based on the trace data is displayed on the screen.
  • the instrument monitoring device when the operator sequentially extracts and handles a plurality of instruments, the movement locus of the corresponding instrument at the second time point determined to be lost is displayed as an image from immediately before to immediately after the first time point. Therefore, it is possible to present the situation before and after the loss of the appliance, which is highly likely to be lost, to the worker.
  • an instrument monitoring device and an instrument monitoring method capable of solving a loss problem at an early stage while constantly monitoring a plurality of instruments handled by a worker in a work room.
  • FIGS. 1 and 2 show the needle monitoring device 1 according to the present embodiment as a whole, and the doctor is for a patient lying on the operating table 2 in the operating room.
  • a plurality of imaging units 3A to 3D composed of CMOS image sensors are adapted to image the operating room from multiple directions centered on the doctor's hand and the patient.
  • the needle monitoring device 1 has an image display unit 4 provided with an image display and a speaker, and displays a data group image representing various data such as an electrocardiogram detected from a patient during surgery on the image display at the same time. The sound accompanying to is generated from the speaker.
  • Needle monitoring apparatus 1 includes a needle holding portion 10 in which a plurality of suture needles N 1 ⁇ N X is held, and a needle counter 12 to which the respective needles N 1 ⁇ N X are housed respectively are sequentially extracted ..
  • the needle monitoring device 1 includes a control unit 20 composed of a CPU (Central Processing Unit) that controls the entire device, an image processing unit 21 that processes imaging results by a plurality of imaging units 3A to 3D as image data, respectively.
  • the image data for each of the imaging units 3A to 3D by the image processing unit 21 is stored in the image storage unit 22 including, for example, an SSD (Solid State Drive).
  • the control unit 20 moves each suture needle N within the imaging range of each of the imaging units 3A to 3D based on the image data of each frame image corresponding to each imaging unit 3A to 3D read from the image storage unit 22. the 1 ⁇ N X, each image recognized while assigning an ID number (identifier) to extracting order from needle carrier 10.
  • the control unit 20 for each needle N 1 ⁇ N X that image recognition, while the movement position of each needle N 1 ⁇ N X tracked respectively for each imaging unit 3A ⁇ 3D, the respective needle N 1 the trace data representing the moving locus of ⁇ N X, in association with the corresponding ID number are stored in the data storage unit (moving locus storing unit) 23.
  • Control unit 20 for each needle N 1 ⁇ N X where the data storage unit 22 trace data is stored, the was determined not to be at all image recognition based on image data for each imaging unit 3A ⁇ 3D 1 in the second time it has elapsed a predetermined time from the time, determines that the suture needle N 1 ⁇ N X is lost.
  • the control unit 20, the suture needle N 1 ⁇ N X determines that it has lost reads the trace data corresponding to the alert time until immediately after the immediately preceding first time point based on the corresponding ID number from the data storage unit 23 Te, the movement locus of the sewing needle N 1 ⁇ N X based on the trace data to the screen display on the video display unit 4.
  • the control unit 20 at the first time when the control unit 20 is determined not to be at all the image recognition for each needle N 1 ⁇ N X, either one of the voice and emission to the physician or both Accordingly, it may be provided with a lost notifying unit 25 for notifying the lost potential of the corresponding suture needle N K.
  • the loss notification unit 25 is equipped with an LED lamp, a speaker, and the like, and outputs a preset light emission pattern and voice content according to the control of the control unit 20.
  • the suture needle N 1 ⁇ N X trace data is stored in the data storage unit 23, if it is determined not to be accommodated in the needle counter 11 after surgery, the suture needle is lost I tried to judge that it was done. As a result, in the needle monitoring device 1, the doctor can confirm that there is a suture needle that is not housed in the needle counter 11.
  • the control unit 20 has a plurality of suture needles moved from the needle holding unit 10 to the needle counter 11 based on each image data acquired from the plurality of imaging units 3A to 3D. respectively detect N 1 ⁇ N X.
  • the suture needle N 1 ⁇ N X to be image recognition subject leaving the database in advance registers the image of those of all types and sizes that may be used in the reference data storage unit 30.
  • suture needles are classified into round needles, inverted square needles, square needles, flat needles, tip square needles, blunt needles, etc. for the purpose of guiding sutures accurately and smoothly.
  • the body shape is classified into straight needles, suture needles, tip-curved needles, curved needles (weak, medium, strong, strong and strong).
  • the hole for passing the suture is classified into a bullet hole (spring hole) and a normal hole (nami hole).
  • the suture needle has various combinations of tip shape, body shape and hole depending on the surgical target, and has various sizes (overall length) depending on the symptom of the surgical target.
  • Control unit 20 is to acquire the needle area image including a suture needle N K from the captured image, since the image size of the needle area which varies according to the distance and angle of the imaging unit 3A ⁇ 3D at the time of imaging , Perform scaling processing to match the set image size.
  • control unit 20 a display screen displayed on the image display of image display unit 4, may be superimposed on the image of the needle N K displaying needle area frame.
  • Control unit 20 the components of the suture needle N K from the needle area image including the needle N K multiple detection (tip shape, body shape, holes) the end point of the feature point, relative to the respective feature points
  • a predetermined rectangular image (for example, in units of 5 ⁇ 5 pixels) is cut out as a partial area image from the needle area image based on the geometrical positional relationship (step SP2).
  • a pixel having a large difference from a neighboring pixel may be extracted.
  • a pixel having a large high frequency component obtained by applying an FFT (Fast Fourier transform) to the image data may be extracted.
  • FFT Fast Fourier transform
  • the control unit 20 creates a 25-dimensional (5 ⁇ 5 mesh) feature vector as a partial feature quantity based on the brightness value extracted from the partial region image and the gradient histogram in the edge direction representing the edge, and stores the reference data.
  • the partial features for example, Gabor Jet, Haar Wavelett, Gaussian Derivatives, SIFT features, and the like can be used.
  • the control unit 20 calculates the similarity in all combinations of the partial feature amounts stored in the reference data storage unit 30, and stores it in the reference data storage unit 30 as the similarity distribution of the partial feature amounts (step SP4). At that time, the control unit 20 performs the similarity calculation process using the Euclidean distance, the Mahalanobis distance, and the like as a measure of the similarity between the partial features.
  • the control unit 20 calculates P ⁇ Q similarity.
  • Control unit 20 from the similarity stored in the reference data storage unit 30, obtains the similarity between the suture needle N K image data and the reference data to be input (step SP5). First, the control unit 20 selects the value having the highest similarity among the similarity calculated for each subregion as the similarity representing the subregion. Subsequently, the control unit 20 obtains the sum of the maximum similarity in all the partial regions for each partial region, and outputs it as the similarity between the input image data of the suture needle and the reference data.
  • Control unit 20 the image data of the suture needle N K inputted based on the similarity obtained, the reference data of a plurality of types and is classified to the size the needle N K stored in the reference data storage unit 30
  • the similarity is compared with, and the group discrimination method realized by statistical methods such as the support vector machine method and the nuclear nonlinear discriminant analysis method is used to correspond to the reference data having the maximum similarity.
  • the control unit 20 proceeds to step SP7 and ends the image recognition processing procedure RT1.
  • control unit 20 and the needle image N 1 ⁇ N X included in each image data obtained from a plurality of the imaging unit 3A ⁇ 3D, the suture needle according to the reference data registered in advance image of feature points extracted from each, by matching by comparing the partial characteristic amounts among the surrounding, can image recognize each needle N 1 ⁇ N X.
  • FIG. 4 shows a flowchart showing the tracking process of each suture needle N1 to NX.
  • the control unit 20 enters the tracking processing procedure RT2 from step SP10, and recognizes the captured images obtained from the plurality of imaging units 3A to 3D for each of the imaging units 3A to 3D. setting a plurality of focus points to each surgical needle N 1 ⁇ N X that (step SP11).
  • control unit 20 sets each attention point set in the previous frame image based on the motion vector calculated by comparing the frame images before and after in chronological order with respect to each attention point in the captured images having different imaging time points.
  • the position (movement direction and movement amount) in the frame image after the point is estimated (step SP12).
  • the front frame image and the rear frame image do not have to be in a relationship immediately before or after, but may be any frame image among several frames before and after.
  • the motion vector may be calculated by a method such as block matching or a gradient method.
  • control unit 20 by analyzing the motion vector to be time-sequentially calculating, respectively to track the movement position of each needle N 1 ⁇ N X for each imaging unit 3A ⁇ 3D (step SP13). That is, the control unit 20, based on the motion vector, the distribution of the velocity direction and velocity by the histogram the direction and speed (movement amount) of movement for each point of interest is set to each surgical needle N 1 ⁇ N X Is analyzed to determine whether or not each suture needle is present in the captured image.
  • a time series graph, a two-dimensional mapping, a radar chart, or the like may be appropriately selected according to the characteristics of the movement to be analyzed.
  • the control unit 20 proceeds to step SP13 and ends the tracking processing procedure RT2.
  • the trace data representing the movement locus of each of the suture needle N 1 ⁇ N X It is stored in the data storage unit 23 in association with the corresponding ID number.
  • each needle N 1 ⁇ N X where the data storage unit 23 trace data is stored, based on the image data for each imaging unit 3A ⁇ 3D in the second time it has elapsed a predetermined time from the first time it is determined not to be at all the image recognition, determines that the suture needle N 1 ⁇ N X is lost.
  • the predetermined time from the first time point to the second time point is set in the range of several seconds to several tens of seconds, but the doctor may freely set the time according to his / her skill and the like.
  • the control unit 20, the suture needle N 1 ⁇ N X determines that it has lost reads the trace data corresponding to the alert time until immediately after the immediately preceding first time point based on the corresponding ID number from the data storage unit 23 Te, the movement locus of the sewing needle N 1 ⁇ N X based on the trace data to the screen displayed on the image display of image display unit 4.
  • the needle monitoring device 1 when handling sequentially extracting physician multiple needle N 1 ⁇ N X, first time a movement locus of the sewing needle N K corresponding second when it is judged to have lost By displaying the image from immediately before to immediately after, the situation before and after the loss of the equipment, which is highly likely to be lost, is presented to the operator.
  • the needle monitoring device 1 for monitoring the respective needle N 1 ⁇ N X has dealt with the case of applying the instrument monitoring system according to the present invention, the present invention is not limited thereto, be applied to other surgical instruments such as scalpel or forceps other than the suture needle N 1 ⁇ N X Good.
  • an instrument monitoring device when a worker performs a predetermined work on an object in a work room, each of the instruments is sequentially extracted from an instrument holding unit in which a plurality of instruments are held, and each instrument counter is used. It can be widely applied to production lines such as assembly of parts transportation, maintenance work of automobiles, aircraft, etc., various precision work, etc., as long as it monitors each of the appliances until it is housed in.
  • imaging units 3A to 3D for imaging from multiple directions centering on the hand of the doctor (worker) and the patient (object) are installed in the operating room (working room).
  • the number of imaging units may be 2 to 3 or 5 or more, depending on the work situation of the doctor (worker) and the number of suture needles (instruments). A desired number of units may be installed accordingly.
  • the image recognition unit for image recognition for each of the image pickup units 3A to 3D is composed of the control unit 20 and the image processing unit 21 has been described, but the present invention is not limited to this.
  • the unit 21 may be provided for each of the imaging units 3A to 3D, or the image recognition function may be provided as a separate circuit from the control unit 20.
  • the data storage unit trace data by (moving locus storing unit) 23 for each needle (instrument) N 1 ⁇ N X stored, and judged not to be at all the image recognition 1
  • the case where the control unit 20 executes the loss determination unit for determining that the device has been lost at the second time point when a predetermined time or more has passed from the time point has been described, but the present invention is not limited to this, and is different from the control unit 20.
  • a circuit may be provided and executed.
  • the needle monitoring device 50 uses a sound collecting unit 51 composed of a microphone for collecting the ambient sound of the doctor and the sound collecting unit 51 via the sound collecting unit 51. from collected the ambient sound, and a voice recognition unit 52 for recognizing and extracting a predetermined speech contents related suture needle (instrument) N 1 ⁇ N X of the utterance physician.
  • the voice recognition unit 52 analyzes voice data representing ambient sounds, extracts voice features representing utterances of doctors, and performs voice recognition processing including morphological analysis on the contents of the utterances to obtain text information. Convert.
  • the voice recognition unit 52 uses a learning model such as SVM (Support Vector Machine) to estimate the feelings of the doctor who spoke (the feelings of impatience for the loss of the suture needle).
  • SVM is one of the pattern recognition models, and it is possible to estimate the emotions of doctors by classifying voice data according to attributes.
  • SVM as previously learned data, speech contents regarding suture needle (instrument) N 1 ⁇ N X (e.g., "needle where?", Etc.) and a plurality prepared, classifies the speech data for each emotion By doing so, the threshold of a specific emotion is calculated.
  • the audio data using, storing a learning model that was learned speech content about the suture needle N 1 ⁇ N X in the reference data storage unit 30.
  • the voice recognition unit 52 converts the utterance content including the word "needle" in the above-mentioned text information from the utterance voice of the doctor into a vector having the utterance speed and intonation as elements. For example, when the voice "Where is the hand?" Uses the number of seconds required for utterance as the utterance speed and the change in the amplitude of the voice is used as the intonation, the vector of the voice is called the number of seconds of utterance and the spectrum value. It can be expressed in form. Vector of the speech depending on whether located anywhere on the vector space SVM stipulated estimates impatience feelings toward loss of needles N 1 ⁇ N X.
  • the voice recognition unit 52 as can be recognized by extracting a predetermined speech contents regarding needle N 1 ⁇ N X of the utterance physician.
  • the control unit (loss determination unit) 20 between the first time point to the second time point, when receiving the recognition result of the speech content about the suture needle N 1 ⁇ N X from the voice recognition unit 52, the second even before the 2 time has elapsed, the suture needle N 1 ⁇ N X is determined to be lost.
  • the needle monitoring device 50 the loss and respond to instantaneously when conscious doctor loses a suture needle N 1 ⁇ N X, problems occur due to the loss of the needle N 1 ⁇ N X It is possible to prevent it in advance.
  • the control unit 20 and the image display unit 4 are configured as the movement locus display unit that reads from the (movement locus storage unit) 23 and displays the movement locus of the instrument based on the trace data on the screen.
  • the present invention is not limited to this, and the movement locus display function may be mounted only on the image display unit 4.
  • the control unit 20, a lost movement trajectory of the suture needle (instrument) N K it is determined that may be screen while switching each imaging unit 3A ⁇ 3D with caution hours.
  • the needle monitoring apparatus 1 if there is any high suture needle (instrument) N K might have eventually lost imaging range of which the imaging unit 3A ⁇ 3D doctor (operator) is, the imaging It can be confirmed for each part 3A to 3D.
  • control unit the movement locus of the sewing needle (instrument) N K in the specified imaging unit 3A ⁇ 3D by a doctor (operator), while repeat with caution time unit may be displayed on the screen.
  • the needle monitoring apparatus 1, many times the repeat units until just after the imaging content of the high suture needle (instrument) N K possible doctor (operator) has finally lost from the previous first time It can be visually confirmed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Robotics (AREA)
  • Dentistry (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

全く画像認識がされていないと判断した第１時点から所定時間以上経過した第２時点で、当該器具が紛失したと判断し、当該紛失したと判断された器具について、対応する識別子を基準に第１時点の直前から直後までの注意喚起時間に相当するトレースデータを読み出して、当該トレースデータに基づく器具の移動軌跡を画面表示させる。

Description

器具監視装置および器具監視方法
　本発明は、器具監視装置および器具監視方法に関し、例えば外科手術に用いられる縫合針のような微小な器具の紛失を防止するための器具監視装置および器具監視方法に適用して好適なるものである。
　従来、手術室内にて医師が患者に対して外科的手術を行う際に、患者の体内に縫合針やメス、鉗子などの手術器具が残される事故が発生するケースがある。特に縫合針のような微小な手術器具の場合は、複数の縫合針が保持されている針保持部から当該各縫合針が順次抽出されてそれぞれ針カウンタに収容されるまでの間、当該各縫合針が紛失しないように常時監視することが望ましい。
　従来、手術室内の医師による一連の手技全体を通して種々の手術器具の使用を追跡するシステムが提案されている（特許文献１参照）。このシステムでは、医師による一連の手技中における縫合針の分配および収納に関連するデータを捕捉し、縫合パックから取り出された複数の縫合針が針受器内までに移される時間を管理するようになされている。
特表２０１９ー５００９２１号公報
　ところで、特許文献１においては、分配された縫合針の数および収納された縫合針の数を追跡して比較する手法であり、手術室内の全ての縫合針を自動的に勘定することが可能であるが、最終的に縫合針が紛失したか否かしか判断することができない。
　このため、手術中のどの時点でどの縫合針が手術室内のどこの場所で紛失したのかを、手術中の医師が認識することが非常に困難となる問題がある。
　本発明は以上の点を考慮してなされたもので、作業室内にて作業者が扱う複数の器具が順次抽出されて収容されるまでの間、当該各器具が紛失しないように常時監視することができる器具監視装置および器具監視方法を提案しようとするものである。
　かかる課題を解決するために本発明においては、作業室内にて作業者が対象物に対して所定の作業を行う際に、複数の器具が保持されている器具保持部から当該各器具が順次抽出されてそれぞれ器具カウンタに収容されるまでの間、当該各器具を監視する器具監視装置において、作業室内を作業者の手元および対象物を中心に多方向から撮像する複数の撮像部と、複数の撮像部の撮像範囲内をそれぞれ移動する各器具を、器具保持部からの抽出順に識別子を割り当てながら、当該撮像部ごとに画像認識する画像認識部と、画像認識部により画像認識される各器具について、撮像部ごとに当該各器具の移動位置をそれぞれ追尾しながら、当該各器具の移動軌跡を表すトレースデータを対応する識別子と関連付けて記憶する移動軌跡記憶部と、移動軌跡記憶部によりトレースデータが記憶される各器具について、画像認識部において全く画像認識がされていないと判断した第１時点から所定時間以上経過した第２時点で、当該器具が紛失したと判断する紛失判断部と、紛失判断部により紛失したと判断された器具について、対応する識別子を基準に第１時点の直前から直後までの注意喚起時間に相当するトレースデータを移動軌跡記憶部から読み出して、当該トレースデータに基づく器具の移動軌跡を画面表示させる移動軌跡表示部とを備えるようにした。
　この結果、器具監視装置では、作業者が複数の器具を順次抽出して扱う際、紛失したと判断した第２時点で該当する器具の移動軌跡を第１時点の直前から直後まで画像表示することにより、作業者に対して紛失可能性の高い器具の紛失前後の状況を提示することができる。
　また本発明においては、作業者の周囲音を集音する集音部と、集音部を介して集音した周囲音から、作業者の発話のうち器具に関する所定の発話内容を抽出して認識する音声認識部とを備え、紛失判断部は、第１時点から第２時点までの間に、音声認識部から器具に関する発話内容の認識結果を受けた場合、当該第２時点が経過する前であっても、器具が紛失したと判断するようにした。この結果、器具監視装置では、作業者が器具を紛失したと意識した時点で瞬時に紛失対応することにより、当該器具の紛失に起因する問題発生を未然に防止することが可能となる。
　また本発明においては、移動軌跡表示部は、紛失判断部により紛失したと判断された器具の移動軌跡を、注意喚起時間単位で撮像部ごとに切り替えながら画面表示するようにした。この結果、器具監視装置では、作業者がどの撮像部による撮像範囲に最終的に紛失した可能性の高い器具が含まれているかを、当該撮像部ごとに確認することができる。
　さらに本発明においては、移動軌跡表示部は、作業者により指定された撮像部における器具の移動軌跡を、注意喚起時間単位でリピートさせながら画面表示するようにした。この結果、器具監視装置では、作業者が最終的に紛失した可能性の高い器具の撮像内容を第１時点の直前から直後までのリピート単位で何度も目視確認することができる。
　さらに本発明においては、紛失判断部が画像認識部において全く画像認識がされていないと判断した第１時点で、作業者に対して音声および発光のうちいずれか一方または両方により、該当する器具の紛失可能性を通知する紛失通知部を備えるようにした。この結果、器具監視装置では、器具の紛失可能性が高いと判断された第１時点で作業者はその旨の通知を受けることにより、作業中に該当する器具の存在の有無を確認することができる。
　さらに本発明においては、紛失判断部は、移動軌跡記憶部によりトレースデータが記憶される各器具について、作業の終了後に器具カウンタに収容されていないと判断した場合、当該器具が紛失したと判断するようにした。この結果、器具監視装置では、作業者は、器具カウンタに収容されていない器具が存在する旨を確認することができる。
　さらに本発明においては、作業室内にて作業者が対象物に対して所定の作業を行う際に、複数の器具が保持されている器具保持部から当該各器具が順次抽出されてそれぞれ器具カウンタに収容されるまでの間、当該各器具を監視する器具監視方法において、作業室内を作業者の手元および対象物を中心に複数の撮像部が多方向から撮像しながら、当該各撮像部の撮像範囲内を移動する各器具を、器具保持部からの抽出順に識別子を割り当てながらそれぞれ画像認識する第１ステップと、第１ステップにより画像認識される各器具について、撮像部ごとに当該各器具の移動位置をそれぞれ追尾しながら、当該各器具の移動軌跡を表すトレースデータを対応する識別子と関連付けて記憶する第２ステップと、第２ステップによりトレースデータが記憶される各器具について、第１ステップにおいて全く画像認識がされていないと判断した第１時点から所定時間以上経過した第２時点で、当該器具が紛失したと判断する第３ステップと、第３ステップにより紛失したと判断された器具について、対応する識別子を基準に第１時点の直前から直後までの注意喚起時間に相当するトレースデータを読み出して、当該トレースデータに基づく器具の移動軌跡を画面表示させる第４ステップとを備えるようにした。
　この結果、器具監視装置では、作業者が複数の器具を順次抽出して扱う際、紛失したと判断した第２時点で該当する器具の移動軌跡を第１時点の直前から直後まで画像表示することにより、作業者に対して紛失可能性の高い器具の紛失前後の状況を提示することができる。
　本発明によれば、作業室内における作業者が扱う複数の器具を常時監視しながら紛失問題を早期に解決可能な器具監視装置および器具監視方法を実現することができる。
本発明の実施形態に係る針監視装置の利用形態の一例を示す略線的な概念図である。 本実施形態に係る針監視装置の回路構成を示すブロック図である。 本実施形態にかかる画像認識処理手順を表すフローチャートである。 本実施形態にかかる追尾処理手順を表すフローチャートである。 他の実施形態に係る針監視装置の回路構成を示すブロック図である。
　以下図面について、本発明の一実施の形態を詳述する。
（１）本実施の形態による針監視装置の利用形態の一例
　図１及び図２は全体として本実施の形態による針監視装置１を示し、手術室内において、医師が手術台２に横たわる患者に対して外科的手術を施す際に、ＣＭＯＳイメージセンサからなる複数の撮像部３Ａ～３Ｄが手術室内を医師の手元および患者を中心に多方向から撮像するようになされている。
　針監視装置１は、映像用ディスプレイ及びスピーカを備えた映像表示部４を有し、手術中に患者から検出される心電図等の種々のデータを表すデータ群映像を映像用ディスプレイに表示すると同時に映像に付随する音声をスピーカから発生する。
　針監視装置１は、複数の縫合針Ｎ１～ＮＸが保持されている針保持部１０と、当該各縫合針Ｎ１～ＮＸが順次抽出されてそれぞれ収容される針カウンタ１２とを有する。
　針監視装置１は、装置全体を統括制御するＣＰＵ（Central Processing Unit）から構成される制御部２０と、複数の撮像部３Ａ～３Ｄによる撮像結果をそれぞれ画像データとして処理する画像処理部２１と、当該画像処理部２１による撮像部３Ａ～３Ｄごとの画像データを例えばＳＳＤ（Solid State Drive）からなる画像記憶部２２に記憶する。
　制御部２０は、画像記憶部２２から読み出した各撮像部３Ａ～３Ｄに応じたフレーム画像ごとの画像データに基づいて、当該各撮像部３Ａ～３Ｄの撮像範囲内をそれぞれ移動する各縫合針Ｎ１～ＮＸを、針保持部１０からの抽出順にＩＤ番号（識別子）を割り当てながらそれぞれ画像認識する。
　そして制御部２０は、画像認識した各縫合針Ｎ１～ＮＸについて、撮像部３Ａ～３Ｄごとに当該各縫合針Ｎ１～ＮＸの移動位置をそれぞれ追尾しながら、当該各縫合針Ｎ１～ＮＸの移動軌跡を表すトレースデータを、対応するＩＤ番号と関連付けてデータ記憶部（移動軌跡記憶部）２３に記憶する。
　制御部２０は、データ記憶部２２によりトレースデータが記憶される各縫合針Ｎ１～ＮＸについて、撮像部３Ａ～３Ｄごとの画像データに基づいて全く画像認識がされていないと判断した第１時点から所定時間以上経過した第２時点で、当該縫合針Ｎ１～ＮＸが紛失したと判断する。
　制御部２０は、紛失したと判断した縫合針Ｎ１～ＮＸについて、対応するＩＤ番号を基準に第１時点の直前から直後までの注意喚起時間に相当するトレースデータをデータ記憶部２３から読み出して、当該トレースデータに基づく縫合針Ｎ１～ＮＸの移動軌跡を映像表示部４に画面表示させる。
　なお、針監視装置１においては、制御部２０が各縫合針Ｎ１～ＮＸについて全く画像認識されていないと判断した第１時点で、医師に対して音声および発光のうちいずれか一方または両方により、該当する縫合針ＮＫの紛失可能性を通知する紛失通知部２５を備えるようにしてもよい。この紛失通知部２５には、ＬＥＤランプおよびスピーカ等が搭載されており、予め設定されている発光パターンおよび音声内容を制御部２０の制御に応じて出力するようになされている。
　さらに、針監視装置１においては、トレースデータがデータ記憶部２３に記憶される縫合針Ｎ１～ＮＸについて、手術の後に針カウンタ１１に収容されていないと判断した場合、当該縫合針が紛失したと判断するようにした。この結果、針監視装置１では、医師は、針カウンタ１１に収容されていない縫合針が存在する旨を確認することができる。
（２）各縫合針の画像認識方法
　制御部２０は、複数の撮像部３Ａ～３Ｄから取得される各画像データに基づいて、針保持部１０から針カウンタ１１までに移動される複数の縫合針Ｎ１～ＮＸをそれぞれ検出する。その前提として、画像認識対象となる縫合針Ｎ１～ＮＸについて、使用される可能性のある全ての種類およびサイズのものの画像を参照データ記憶部３０に予めデータベース登録をしておく。
　具体的には、登録対象となる全ての種類およびサイズの縫合針について、それぞれ３次元空間上のあらゆる角度方向から画像撮像して外観形状およびサイズが明確になるように針画像を参照データとして参照データ記憶部３０に記憶してデータベース登録をしておく。
　実際に、縫合針は、縫合糸を的確にスムーズに誘導することを目的として、先端形状が丸針、逆角針、角針、平角針、先端角針、鈍針などに分類されるとともに、胴体形状が直針、つり針、先曲針、弯曲針（弱弯、中弯、強弯、強強弯）などに分類されている。また縫合針は、縫合糸を通すための孔が、弾機孔（バネ穴）や普通孔（ナミ穴）などに分類されている。このように縫合針は、先端形状、胴体形状および孔が手術対象に応じて種々の組合せを有するとともに、手術対象の症状に応じて種々のサイズ（全体長さ）を有する。
　図３に各縫合針Ｎ１～ＮＸの画像認識処理を表すフローチャートを示す。針保持部１０に保持されている複数の縫合針Ｎ１～ＮＸのうち、医師がピンセットを用いて所望の縫合針ＮＫ（Ｋは１からＮまでの任意の数）を摘み上げると、制御部２０は、ステップＳＰ０から画像認識処理手順ＲＴ１に入り、複数の撮像部３Ａ～３Ｄによる撮像結果から当該縫合針ＮＫを画像検出する（ステップＳＰ１）。
　制御部２０は、撮像画像の中から縫合針ＮＫを含む針領域画像を取得するが、当該針領域の画像サイズは撮像時の撮像部３Ａ～３Ｄとの距離や角度に応じて変化するため、設定された画像サイズに合うように変倍処理を施す。
　その際、制御部２０は、映像表示部４の映像ディスプレイに表示されている表示画面に、縫合針ＮＫの画像に重畳して針領域枠を表示するようにしてもよい。
　制御部２０は、縫合針ＮＫを含む針領域画像から当該縫合針ＮＫの構成要素（先端形状、胴体形状、孔）の端点を特徴点として複数検出し、各特徴点との相対的な幾何学的位置関係に基づいて針領域画像から所定の矩形画像（例えば５×５画素単位）を部分領域画像として切り出す（ステップＳＰ２）。
　なお、特徴点は、例えば、近傍画素との差の大きな画素を抽出しても、画像データにＦＦＴ（Fast Fourier transform）をかけることによって得られる高周波成分が多い画素などを抽出するものとしても良く、その他の方法により抽出するものであっても良い。
　制御部２０は、部分領域画像から抽出した輝度値およびエッジを表すエッジ方向の勾配ヒストグラムに基づいて、２５次元（５×５のメッシュ）の特徴ベクトルを作成して部分特徴量とし、参照データ記憶部３０に記憶する（ステップＳＰ３）。なお、部分特徴量としては、例えば、ガボアジェット（Gabor Jet）や、ハーウェイブレット（Haar Wavelett）、ガウシアン導関数（Gaussian Derivatives）、ＳＩＦＴ特徴などを用いることができる。
　制御部２０は、参照データ記憶部３０に記憶された部分特徴量の全組合せにおける類似度をそれぞれ算出し、部分特徴量の類似度分布として参照データ記憶部３０に記憶する（ステップＳＰ４）。その際、制御部２０は、ユークリッド距離およびマハラノビス距離等を部分特徴量間の類似度の尺度として用いて類似度算出処理を行う。
　例えば、縫合針ＮＫを認識するための部分領域がＰ領域であり、部分領域ごとに参照データ記憶部３０に登録されている縫合針ＮＫの部分特徴量の数をＱとすると、制御部２０は、Ｐ×Ｑ個の類似度を計算する。
　制御部２０は、参照データ記憶部３０に記憶されている類似度から、入力される縫合針ＮＫの画像データと参照データとの間で類似度を求める（ステップＳＰ５）。まず制御部２０は、部分領域毎に計算した類似度のうち、最も類似度の高い値がその部分領域を代表する類似度として選択する。続いて制御部２０は、部分領域毎の最大の類似度の全部分領域での総和を求め、入力される縫合針の画像データと参照データとの類似度として出力する。
　制御部２０は、求めた類似度を基に入力される縫合針ＮＫの画像データについて、参照データ記憶部３０に記憶されている複数の種類およびサイズに分類された縫合針ＮＫの参照データとの間で類似度を比較し、例えばサポートベクターマシン法や核非線形判別分析法等の統計的手法によって実現される群判別方法を用いて、当該比較した類似度が最大となる参照データに対応する種類およびサイズの縫合針を入力される画像データに対応する縫合針ＮＫとして認識する（ステップＳＰ６）。この後、制御部２０はステップＳＰ７に進んで当該画像認識処理手順ＲＴ１を終了する。
　このように制御部２０は、複数の撮像部３Ａ～３Ｄから取得される各画像データに含まれる縫合針Ｎ１～ＮＸの画像と、予め登録されている参照データに応じた縫合針の画像のそれぞれから特徴点を抽出し、その周辺の部分特徴量同士を比較してマッチングさせることにより、各縫合針Ｎ１～ＮＸを画像認識することができる。
（３）各縫合針の追尾方法
　図４に各縫合針Ｎ１～ＮＸの追尾処理を表すフローチャートを示す。制御部２０は、上述の画像認識処理手順ＲＴ１に続いて、ステップＳＰ１０から追尾処理手順ＲＴ２に入り、複数の撮像部３Ａ～３Ｄからそれぞれ得られる撮像画像について、撮像部３Ａ～３Ｄごとに画像認識した各縫合針Ｎ１～ＮＸに複数の注目点を設定する（ステップＳＰ１１）。
　続いて制御部２０は、撮像時点が異なる撮像画像内における各注目点について、時系列的に前後するフレーム画像同士の比較により算出される動きベクトルに基づいて、前フレーム画像に設定された各注目点の後フレーム画像における位置（移動方向および移動量）を推定する（ステップＳＰ１２）。
　なお、前フレーム画像と後フレーム画像とは直前直後の関係でなくとも、前後の数フレームのうちのいずれかのフレーム画像であってもよい。また、動きベクトルは、例えばブロックマッチングまたは勾配法等の手法により算出するようにしてもよい。
　続いて制御部２０は、時系列的に順次算出される動きベクトルを解析することにより、撮像部３Ａ～３Ｄごとに各縫合針Ｎ１～ＮＸの移動位置をそれぞれ追尾する（ステップＳＰ１３）。すなわち、制御部２０は、当該動きベクトルに基づいて、各縫合針Ｎ１～ＮＸに設定される各注目点についての動きの方向と速度（移動量）をヒストグラム化して速度方向と速度の分布を解析し、撮像画像内に各縫合針が存在するか否かを判断する。
　なお、解析処理の際、ヒストグラム以外にも、時系列グラフ、二次元マッピング、レーダーチャートなど解析したい動きの特性に応じて適宜選択するようにしてもよい。この後、制御部２０はステップＳＰ１３に進んで当該追尾処理手順ＲＴ２を終了する。
　このようにして制御部２０は、撮像部３Ａ～３Ｄごとに各縫合針Ｎ１～ＮＸの移動位置をそれぞれ追尾しながら、当該各縫合針Ｎ１～ＮＸの移動軌跡を表すトレースデータを対応するＩＤ番号と関連付けてデータ記憶部２３に記憶する。
（４）各縫合針の紛失時の処理対応
　制御部２０は、データ記憶部２３によりトレースデータが記憶される各縫合針Ｎ１～ＮＸについて、撮像部３Ａ～３Ｄごとの画像データに基づいて全く画像認識がされていないと判断した第１時点から所定時間以上経過した第２時点で、当該縫合針Ｎ１～ＮＸが紛失したと判断する。
　上記第１時点から第２時点までの所定時間としては、数秒から数十秒の範囲に設定されるが、医師が自分の技量等に応じて自由に時間設定するようにしてもよい。
　制御部２０は、紛失したと判断した縫合針Ｎ１～ＮＸについて、対応するＩＤ番号を基準に第１時点の直前から直後までの注意喚起時間に相当するトレースデータをデータ記憶部２３から読み出して、当該トレースデータに基づく縫合針Ｎ１～ＮＸの移動軌跡を映像表示部４の映像ディスプレイに画面表示させる。
　この結果、針監視装置１では、医師が複数の縫合針Ｎ１～ＮＸを順次抽出して扱う際、紛失したと判断した第２時点で該当する縫合針ＮＫの移動軌跡を第１時点の直前から直後まで画像表示することにより、作業者に対して紛失可能性の高い器具の紛失前後の状況を提示する。
（５）他の実施の形態
　なお上述のように本実施の形態においては、手術室内にて医師が患者に対して外科的手術を行う際に、複数の縫合針Ｎ１～ＮＸが保持されている針保持部１０から当該各縫合針Ｎ１～ＮＸが順次抽出されてそれぞれ針カウンタ１１に収容されるまでの間、当該各縫合針Ｎ１～ＮＸを監視する針監視装置１を、本発明による器具監視装置として適用する場合について述べたが、本発明はこれに限らず、縫合針Ｎ１～ＮＸ以外にもメスや鉗子などの他の手術器具を適用するようにしてもよい。
　また器具監視装置としては、作業室内にて作業者が対象物に対して所定の作業を行う際に、複数の器具が保持されている器具保持部から当該各器具が順次抽出されてそれぞれ器具カウンタに収容されるまでの間、当該各器具を監視するものであれば、部品搬送の組立等の製造ラインや、自動車や航空機等の整備業務、種々の精密作業等に広く適用することができる。
　また本実施の形態においては、手術室（作業室）内を医師（作業者）の手元および患者（対象物）を中心に多方向から撮像する複数の撮像部３Ａ～３Ｄを４台設置するようにした場合について述べたが、撮像部の数は２～３台または５台以上であってもよく、医師（作業者）の作業状況や縫合針（器具）の数など、その際の状況に応じて所望台数を設置するようにしてもよい。
　さらに本実施の形態においては、複数の撮像部３Ａ～３Ｄの撮像範囲内をそれぞれ移動する各縫合針（器具）Ｎ１～ＮＸを、針保持部（器具保持部）１０からの抽出順に識別子を割り当てながら、当該撮像部３Ａ～３Ｄごとに画像認識する画像認識部を、制御部２０および画像処理部２１から構成するようにした場合について述べたが、本発明はこれに限らず、画像処理部２１を撮像部３Ａ～３Ｄごとにそれぞれ設けてもよく、画像認識機能を制御部２０と別回路として設けるようにしてもよい。
　さらに本実施の形態においては、データ記憶部（移動軌跡記憶部）２３によりトレースデータが記憶される各縫合針（器具）Ｎ１～ＮＸについて、全く画像認識がされていないと判断した第１時点から所定時間以上経過した第２時点で、当該器具が紛失したと判断する紛失判断部を、制御部２０が実行する場合について述べたが、本発明はこれに限らず、制御部２０と別回路を設けて実行するようにしてもよい。
　また図２との対応部分に同一符号を付して示す図５において、針監視装置５０は、医師の周囲音を集音するマイクロホンからなる集音部５１と、当該集音部５１を介して集音した周囲音から、医師の発話のうち縫合針（器具）Ｎ１～ＮＸに関する所定の発話内容を抽出して認識する音声認識部５２とを備える。
　音声認識部５２は、周囲音を表す音声データを解析して、医師の発話を表す音声特徴量を抽出するとともに当該発話の内容に対して形態素解析を含む音声認識処理を施して、テキスト情報に変換する。
　さらに音声認識部５２は、例えばＳＶＭ（Support Vector Machine）のような学習モデルを用いて、発話した医師の感情（縫合針の紛失に対する焦り感情）を推定するようになされている。ＳＶＭは、パターン認識モデルの一つであり、音声データを属性に沿って分類することにより、医師の感情を推定することが可能となる。
　具体的には、ＳＶＭは、予め学習データとして、縫合針（器具）Ｎ１～ＮＸに関する発話内容（例えば、「針はどこ？」等）を複数用意し、その音声データを感情ごとに分類することで特定の感情の閾値を算出する。その音声データを用いて、縫合針Ｎ１～ＮＸに関する発話内容を学習させた学習モデルを参照データ記憶部３０に記憶しておく。
　そして、音声認識部５２は、医師の発話音声のうち、上述のテキスト情報に「針」の文言を含む発話内容について、発話速度および抑揚を要素とするベクトルに変換する。例えば、「針はどこ？」という音声について、発話速度として発話に要した秒数を用い、抑揚としてその音声の振幅の変化を用いる場合、当該音声のベクトルは、発話の秒数およびスペクトル値という形で表現することができる。この音声のベクトルが、ＳＶＭが定めるベクトル空間上のどこに位置するかによって、縫合針Ｎ１～ＮＸの紛失に対する焦り感情を推定する。
　このように音声認識部５２は、医師の発話のうち縫合針Ｎ１～ＮＸに関する所定の発話内容を抽出して認識することができる。
　続いて、制御部（紛失判断部）２０は、第１時点から第２時点までの間に、音声認識部５２から縫合針Ｎ１～ＮＸに関する発話内容の認識結果を受けた場合、当該第２時点が経過する前であっても、縫合針Ｎ１～ＮＸが紛失したと判断する。この結果、針監視装置５０では、医師が縫合針Ｎ１～ＮＸを紛失したと意識した時点で瞬時に紛失対応することにより、当該縫合針Ｎ１～ＮＸの紛失に起因する問題発生を未然に防止することが可能となる。
　さらに本実施の形態においては、紛失したと判断された縫合針（器具）ＮＫについて、対応する識別子を基準に第１時点の直前から直後までの注意喚起時間に相当するトレースデータをデータ記憶部（移動軌跡記憶部）２３から読み出して、当該トレースデータに基づく器具の移動軌跡を画面表示させる移動軌跡表示部として、制御部２０および映像表示部４から構成するようにした場合について述べたが、本発明はこれに限らず、移動軌跡表示機能を映像表示部４のみに搭載させるようにしてもよい。
　また、制御部２０は、紛失したと判断した縫合針（器具）ＮＫの移動軌跡を、注意喚起時間単位で撮像部３Ａ～３Ｄごとに切り替えながら画面表示するようにしてもよい。この結果、針監視装置１では、医師（作業者）がどの撮像部３Ａ～３Ｄによる撮像範囲に最終的に紛失した可能性の高い縫合針（器具）ＮＫが含まれているかを、当該撮像部３Ａ～３Ｄごとに確認することができる。
　さらに、制御部は、医師（作業者）により指定された撮像部３Ａ～３Ｄにおける縫合針（器具）ＮＫの移動軌跡を、注意喚起時間単位でリピートさせながら画面表示するようにしてもよい。この結果、針監視装置１では、医師（作業者）が最終的に紛失した可能性の高い縫合針（器具）ＮＫの撮像内容を第１時点の直前から直後までのリピート単位で何度も目視確認することができる。
　１、５０……針監視装置、２……手術台、３Ａ～３Ｄ……撮像部、４……映像表示部、１０……針保持部、１１……針カウンタ、２０……制御部、２１……画像処理部、２２……画像記憶部、２３……データ記憶部、２５……紛失通知部、３０……参照データ記憶部、５１……集音部、５２……音声認識部、Ｎ１～ＮＸ……縫合針、ＲＴ１……画像認識処理手順、ＲＴ２……追尾処理手順。

Claims (12)

  1. 　作業室内にて作業者が対象物に対して所定の作業を行う際に、複数の器具が保持されている器具保持部から当該各器具が順次抽出されてそれぞれ器具カウンタに収容されるまでの間、当該各器具を監視する器具監視装置において、
    　前記作業室内を前記作業者の手元および前記対象物を中心に多方向から撮像する複数の撮像部と、
    　複数の前記撮像部の撮像範囲内をそれぞれ移動する前記各器具を、前記器具保持部からの抽出順に識別子を割り当てながら、当該撮像部ごとに画像認識する画像認識部と、
    　前記画像認識部により画像認識される前記各器具について、前記撮像部ごとに当該各器具の移動位置をそれぞれ追尾しながら、当該各器具の移動軌跡を表すトレースデータを対応する前記識別子と関連付けて記憶する移動軌跡記憶部と、
    　前記移動軌跡記憶部により前記トレースデータが記憶される前記各器具について、前記画像認識部において全く画像認識がされていないと判断した第１時点から所定時間以上経過した第２時点で、当該器具が紛失したと判断する紛失判断部と、
    　前記紛失判断部により紛失したと判断された前記器具について、対応する前記識別子を基準に前記第１時点の直前から直後までの注意喚起時間に相当する前記トレースデータを前記移動軌跡記憶部から読み出して、当該トレースデータに基づく前記器具の移動軌跡を画面表示させる移動軌跡表示部と
    　を備えることを特徴とする器具監視装置。
  2. 　前記作業者の周囲音を集音する集音部と、
    　前記集音部を介して集音した前記周囲音から、前記作業者の発話のうち前記器具に関する所定の発話内容を抽出して認識する音声認識部とを備え、
    　前記紛失判断部は、前記第１時点から前記第２時点までの間に、前記音声認識部から前記器具に関する前記発話内容の認識結果を受けた場合、当該第２時点が経過する前であっても、前記器具が紛失したと判断する
    　ことを特徴とする請求項１に記載の器具監視装置。
  3. 　前記移動軌跡表示部は、前記紛失判断部により紛失したと判断された前記器具の移動軌跡を、前記注意喚起時間単位で前記撮像部ごとに切り替えながら画面表示する
    　ことを特徴とする請求項１または２に記載の器具監視装置。
  4. 　前記移動軌跡表示部は、前記作業者により指定された前記撮像部における前記器具の移動軌跡を、前記注意喚起時間単位でリピートさせながら画面表示する
    　ことを特徴とする請求項１または２に記載の器具監視装置。
  5. 　前記紛失判断部が前記画像認識部において全く画像認識がされていないと判断した前記第１時点で、前記作業者に対して音声および発光のうちいずれか一方または両方により、該当する前記器具の紛失可能性を通知する紛失通知部
    　を備えることを特徴とする請求項１から４までのいずれかに記載の器具監視装置。
  6. 　前記紛失判断部は、前記移動軌跡記憶部により前記トレースデータが記憶される前記各器具について、前記作業の終了後に前記器具カウンタに収容されていないと判断した場合、当該器具が紛失したと判断する
    　ことを特徴とする請求項１から５までのいずれかに記載の器具監視装置。
  7. 　作業室内にて作業者が対象物に対して所定の作業を行う際に、複数の器具が保持されている器具保持部から当該各器具が順次抽出されてそれぞれ器具カウンタに収容されるまでの間、当該各器具を監視する器具監視方法において、
    　前記作業室内を前記作業者の手元および前記対象物を中心に複数の撮像部が多方向から撮像しながら、当該各撮像部の撮像範囲内を移動する前記各器具を、前記器具保持部からの抽出順に識別子を割り当てながら、当該撮像部ごとに画像認識する第１ステップと、
    　前記第１ステップにより画像認識される前記各器具について、前記撮像部ごとに当該各器具の移動位置をそれぞれ追尾しながら、当該各器具の移動軌跡を表すトレースデータを対応する前記識別子と関連付けて記憶する第２ステップと、
    　前記第２ステップにより前記トレースデータが記憶される前記各器具について、前記第１ステップにおいて全く画像認識がされていないと判断した第１時点から所定時間以上経過した第２時点で、当該器具が紛失したと判断する第３ステップと、
    　前記第３ステップにより紛失したと判断された前記器具について、対応する前記識別子を基準に前記第１時点の直前から直後までの注意喚起時間に相当する前記トレースデータを読み出して、当該トレースデータに基づく前記器具の移動軌跡を画面表示させる第４ステップと
    　を備えることを特徴とする器具監視方法。
  8. 　前記第３ステップでは、前記第１時点から前記第２時点までの間に、前記作業者の周囲音から、前記作業者の発話のうち前記器具に関する所定の発話内容を抽出して認識した場合、当該第２時点が経過する前であっても、前記器具が紛失したと判断する
    　ことを特徴とする請求項７に記載の器具監視方法。
  9. 　前記第４ステップでは、前記第３ステップにより紛失したと判断された前記器具の移動軌跡を、前記注意喚起時間単位で前記撮像部ごとに切り替えながら画面表示する
    　ことを特徴とする請求項７または８に記載の器具監視方法。
  10. 　続いて前記第４ステップでは、前記作業者により指定された前記撮像部における前記器具の移動軌跡を、前記注意喚起時間単位でリピートさせながら画面表示する
    　ことを特徴とする請求項７または８に記載の器具監視方法。
  11. 　前記第３ステップでは、前記第１ステップにおいて全く画像認識がされていないと判断された前記第１時点で、前記作業者に対して音声および発光のうちいずれか一方または両方により、該当する前記器具の紛失可能性を通知する
    　ことを特徴とする請求項６から１０までのいずれかに記載の器具監視方法。
  12. 　前記第３ステップでは、前記第２ステップにより前記トレースデータが記憶される前記各器具について、前記作業の終了後に前記器具カウンタに収容されていないと判断した場合、当該器具が紛失したと判断する
    　ことを特徴とする請求項６から１１までのいずれかに記載の器具監視方法。
     
PCT/JP2020/043627 2019-11-25 2020-11-24 器具監視装置および器具監視方法 WO2021106859A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/776,957 US20220392227A1 (en) 2019-11-25 2020-11-24 Instrument monitoring device and instrument monitoring method
EP20893264.0A EP4066773A4 (en) 2019-11-25 2020-11-24 DEVICE AND METHOD FOR INSTRUMENT MONITORING

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-212107 2019-11-25
JP2019212107A JP7339862B2 (ja) 2019-11-25 2019-11-25 器具監視装置および器具監視装置の作動方法

Publications (1)

Publication Number Publication Date
WO2021106859A1 true WO2021106859A1 (ja) 2021-06-03

Family

ID=76086071

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/043627 WO2021106859A1 (ja) 2019-11-25 2020-11-24 器具監視装置および器具監視方法

Country Status (4)

Country Link
US (1) US20220392227A1 (ja)
EP (1) EP4066773A4 (ja)
JP (1) JP7339862B2 (ja)
WO (1) WO2021106859A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030192722A1 (en) * 2002-04-16 2003-10-16 Ballard M. Daniel System and method of tracking surgical sponges
US20070268133A1 (en) * 2006-03-17 2007-11-22 Med Wave, Llc System for tracking surgical items in an operating room environment
US20090317002A1 (en) * 2008-06-23 2009-12-24 John Richard Dein Intra-operative system for identifying and tracking surgical sharp objects, instruments, and sponges
US20110163854A1 (en) * 2008-09-03 2011-07-07 The Regents Of The University Of California Surgical object tracking system
JP2018158104A (ja) * 2017-03-16 2018-10-11 ケービー メディカル エスアー ロボット外科システムのロボットナビゲーション
US10154885B1 (en) * 2017-05-26 2018-12-18 Medline Industries, Inc. Systems, apparatus and methods for continuously tracking medical items throughout a procedure
JP2019500921A (ja) * 2015-10-29 2019-01-17 シャープ フルーディクス エルエルシー 手術室内のデータ捕捉のためのシステムおよび方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130113929A1 (en) * 2011-11-08 2013-05-09 Mary Maitland DeLAND Systems and methods for surgical procedure safety
US9836907B2 (en) * 2012-06-12 2017-12-05 Snap-On Incorporated Tool training for automated tool control systems

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030192722A1 (en) * 2002-04-16 2003-10-16 Ballard M. Daniel System and method of tracking surgical sponges
US20070268133A1 (en) * 2006-03-17 2007-11-22 Med Wave, Llc System for tracking surgical items in an operating room environment
US20090317002A1 (en) * 2008-06-23 2009-12-24 John Richard Dein Intra-operative system for identifying and tracking surgical sharp objects, instruments, and sponges
US20110163854A1 (en) * 2008-09-03 2011-07-07 The Regents Of The University Of California Surgical object tracking system
JP2019500921A (ja) * 2015-10-29 2019-01-17 シャープ フルーディクス エルエルシー 手術室内のデータ捕捉のためのシステムおよび方法
JP2018158104A (ja) * 2017-03-16 2018-10-11 ケービー メディカル エスアー ロボット外科システムのロボットナビゲーション
US10154885B1 (en) * 2017-05-26 2018-12-18 Medline Industries, Inc. Systems, apparatus and methods for continuously tracking medical items throughout a procedure

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4066773A4

Also Published As

Publication number Publication date
JP2021083448A (ja) 2021-06-03
JP7339862B2 (ja) 2023-09-06
EP4066773A4 (en) 2023-12-27
US20220392227A1 (en) 2022-12-08
EP4066773A1 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
US11625834B2 (en) Surgical scene assessment based on computer vision
JP6419080B2 (ja) 外科的処置管理システム及び方法
Reiter et al. Appearance learning for 3D tracking of robotic surgical tools
CA2909017C (en) Classifying eeg signals in response to visual stimulus
US20140012793A1 (en) System and method for predicting surgery progress stage
Speidel et al. Tracking of instruments in minimally invasive surgery for surgical skill analysis
JPWO2018154709A1 (ja) 動作学習装置、技能判別装置および技能判別システム
JP7235212B2 (ja) 外科手術ビデオのための利き手ツール検出システム
WO2021173555A3 (en) System and methods for cloud-based interactive graphic editing on ecg data
Kumar et al. Product of tracking experts for visual tracking of surgical tools
Speidel et al. Automatic classification of minimally invasive instruments based on endoscopic image sequences
US10963698B2 (en) Tool handedness determination for surgical videos
WO2021106859A1 (ja) 器具監視装置および器具監視方法
Le et al. Robust Surgical Tool Detection in Laparoscopic Surgery using YOLOv8 Model
CN114025701A (zh) 手术工具尖端和朝向确定
Kumar et al. Surgical tool attributes from monocular video
CN115443108A (zh) 手术程序指导系统
Bouarfa et al. Surgical context discovery by monitoring low-level activities in the OR
Baldas et al. A real-time automatic instrument tracking system on cataract surgery videos for dexterity assessment
JP6143259B2 (ja) 手術工程解析プログラム
EP4057181A1 (en) Improved detection of action in a video stream
Zhang et al. Real-time Detection and Tracking of Surgical Instrument Based on YOLOv5 and DeepSORT
WO2023162479A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Rahbar Visual Intelligence for Robotic and Laparoscopic Surgery: A Real-Time System for Bleeding Detection and Prediction
Haidegger Endoscopic image and kinematic data-based autonomous technical and non-technical skill assessment in Robot-Assisted Minimally Invasive Surgery

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20893264

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020893264

Country of ref document: EP

Effective date: 20220627