WO2018221599A1 - 手術器具検出システムおよびコンピュータプログラム - Google Patents

手術器具検出システムおよびコンピュータプログラム Download PDF

Info

Publication number
WO2018221599A1
WO2018221599A1 PCT/JP2018/020782 JP2018020782W WO2018221599A1 WO 2018221599 A1 WO2018221599 A1 WO 2018221599A1 JP 2018020782 W JP2018020782 W JP 2018020782W WO 2018221599 A1 WO2018221599 A1 WO 2018221599A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
surgical instrument
detection system
object image
unit
Prior art date
Application number
PCT/JP2018/020782
Other languages
English (en)
French (fr)
Inventor
拓也 片山
伸章 杉井
Original Assignee
カリーナシステム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by カリーナシステム株式会社 filed Critical カリーナシステム株式会社
Priority to EP18808728.2A priority Critical patent/EP3633607A4/en
Priority to CN201880034927.3A priority patent/CN110678902A/zh
Priority to JP2019521274A priority patent/JP6695502B2/ja
Priority to US16/617,742 priority patent/US11256963B2/en
Priority to KR1020197034612A priority patent/KR102344832B1/ko
Publication of WO2018221599A1 publication Critical patent/WO2018221599A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/28—Surgical forceps
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0804—Counting number of instruments used; Instrument detectors
    • A61B2090/0805—Counting number of instruments used; Instrument detectors automatically, e.g. by means of magnetic, optical or photoelectric detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Definitions

  • the present invention relates to a system for detecting a surgical instrument used in a surgical operation or the like.
  • Patent Document 1 an optical reading symbol such as a barcode is attached to a surgical instrument such as a steel accessory and the type of the surgical instrument can be identified using this symbol (patent) Reference 1).
  • the surgical instrument preparation system disclosed in Patent Document 1 is used to prepare a surgical instrument to be used for surgery before surgery, and confirms whether or not the surgical instruments are ready after surgery. Not for.
  • the present invention provides a surgical instrument detection system capable of easily identifying various types and numbers of surgical instruments without special processing such as optical reading symbols on surgical instruments. With the goal.
  • a surgical instrument detection system includes an image input unit that inputs an image captured by a camera, an object extraction unit that extracts an object image of a surgical instrument from the input image, and the object An image is input to the learned model for classification, and a determination processing unit that determines the type of surgical instrument to which the object image corresponds based on characteristics included in the object image, and a result of determination by the determination processing unit An output image generation unit that generates an image and outputs the generated image to a monitor.
  • a surgical instrument detection system capable of easily identifying various types and numbers of surgical instruments without performing special processing such as optical reading symbols on the surgical instruments. be able to.
  • FIG. 1 is a diagram illustrating an outline of a hardware configuration of the surgical instrument detection system according to the first embodiment.
  • FIG. 2 is a block diagram showing a functional schematic configuration of the surgical instrument detection system according to the first embodiment.
  • FIG. 3 is a flowchart showing a process flow of the surgical instrument detection system according to the first embodiment.
  • FIG. 4 is a schematic diagram illustrating an example of output to a monitor.
  • FIG. 5 is a schematic diagram illustrating an example of output to a monitor.
  • FIG. 6 is a schematic diagram showing an example of output to the monitor.
  • FIG. 7 is a block diagram showing a functional schematic configuration of the surgical instrument detection system according to the second embodiment.
  • FIG. 8 is a schematic diagram illustrating an example of output to a monitor.
  • FIG. 9 is a schematic diagram illustrating an example of output to a monitor.
  • FIG. 10 is a block diagram showing a functional schematic configuration of the surgical instrument detection system according to the third embodiment.
  • FIG. 11 is a block diagram showing a functional schematic configuration of a surgical instrument detection system according to the fourth embodiment.
  • the first configuration of the surgical instrument detection system of the present invention is: An image input unit for inputting an image taken by the camera; An object extraction unit that extracts an object image of a surgical instrument from an input image; A determination processing unit that inputs the object image to the learned model for classification and determines the type of surgical instrument to which the object image corresponds based on the characteristics included in the object image; An output image generation unit that generates an image representing a result of determination by the determination processing unit and outputs the generated image to a monitor.
  • the first configuration described above it is possible to cut out the surgical instrument object image from the image taken by the camera and determine the type of surgical instrument using the learned model. Thereby, the kind of surgical instrument can be automatically discriminate
  • the second configuration is the first configuration
  • the output image generation unit outputs an image representing the type of surgical instrument superimposed on the object image of the captured image.
  • the third configuration is the first or second configuration
  • the object extraction unit cuts out the object image based on a comparison of color space vectors for each pixel in the background image and the captured image.
  • the background image needs to be acquired in advance, but the object image can be cut out without depending on the background.
  • the fourth configuration is the above-described first or second configuration
  • the object extraction unit inputs a captured image to the learned model for object extraction, and cuts out the object image based on features included in the captured image.
  • the fourth configuration by learning object extraction under a plurality of illumination conditions in advance, it is possible to automatically extract an object image without being affected by illumination conditions such as shadows and color temperatures.
  • the fifth configuration is the first or second configuration, wherein
  • the object extraction unit converts pixel data of the captured image into HSV color space data, and cuts out the object image based on the edge information of hue and saturation.
  • the hue and saturation are less affected by shadows than luminance, and environmental changes that affect the whole, such as changes in color temperature, do not affect the edges.
  • the object image can be cut out without being affected by the conditions.
  • a sixth configuration is any one of the first to fifth configurations, A collation processing unit for collating the type and number of surgical instruments before starting surgery with the type and number of surgical instruments after completing surgery;
  • the output image generation unit generates an image representing a result of collation by the collation processing unit and outputs the image to the monitor.
  • the type and number of surgical instruments before and after the start of surgery can be collated, which effectively prevents a medical accident in which the surgical instrument is left in the patient's body during surgery. It becomes possible to prevent.
  • a computer program as one aspect of the present invention is: A computer-readable program for causing a computer processor to execute a surgical instrument detection process, The surgical instrument detection process An image input process for inputting an image taken by the camera; An object extraction process for cutting out an object image of a surgical instrument from an input image; A determination process for inputting the object image to the learned model for classification and determining the type of surgical instrument to which the object image corresponds based on the characteristics included in the object image; Output image generation processing for generating an image representing a result of the determination by the determination processing unit and outputting the image to a monitor.
  • a surgical instrument detection method includes: A surgical instrument detection method performed by a computer processor comprising: Inputting an image taken by the camera; Cutting out the surgical instrument object image from the input image; Inputting the object image into the learned model for classification, and determining the type of surgical instrument to which the object image corresponds, based on features included in the object image; Generating an image representing the result of the determination and outputting it to a monitor.
  • FIG. 1 shows an outline of the hardware configuration of the surgical instrument detection system according to the first embodiment.
  • a surgical instrument detection system 100 is a steel accessory detection system that detects steel accessories among surgical instruments, and as shown in FIG. 1, a camera 1, a monitor 2, a computer 3, and a keyboard 4. , And a mouse 5.
  • the camera 1, the monitor 2, the keyboard 4, and the mouse 5 are connected to the computer 3.
  • the configuration including the keyboard 4 and the mouse 5 is illustrated, but if a monitor capable of touch panel input is used as the monitor 2, the keyboard and mouse can be omitted.
  • a computer that includes a microphone instead of the keyboard and the mouse and receives an instruction from the user by voice input may be used.
  • the camera 1, the monitor 2, and the computer 3 are attached to the cart 6.
  • the cart 6 includes a caster-equipped leg 61.
  • An arm 63 is attached to the tip of the column 62 of the cart 6, and the arm 63 holds the camera 1.
  • the arm 63 preferably has two or more rotation axes in order to freely adjust the field of view of the camera 1.
  • the cart 6 further includes a table 64 on which the keyboard 4 and the mouse 5 can be placed.
  • the cart 6 further includes a computer support stand 65, on which the computer 3 can be installed.
  • the surgical instrument detection system 100 having the above-described configuration can move the cart 6 by pushing it, bring it into the operating room or the like, and place the instrument mounting table 7 on which the surgical instrument is placed, as shown in FIG. Take a picture with 1. An image photographed by the camera 1 is sent to the computer 3, and a steel accessory detection process is performed by image processing.
  • FIG. 2 is a block diagram showing a functional configuration of the surgical instrument detection system 100.
  • the block diagram shown in FIG. 2 conceptually shows the functions of the surgical instrument detection system classified into blocks, and each block actually needs to be implemented as individual hardware. It is not a thing.
  • Each block can be realized by the CPU of the computer 3 executing a predetermined program.
  • the surgical instrument detection system 100 includes an image input unit 31 that inputs an image captured by the camera 1, and an object extraction unit 32 that cuts out an image of an object that is likely to be a steel accessory from the input image.
  • a determination processing unit 33 that performs processing for determining the type of steel accessory from the object image cut out by the object extraction unit 32, and an output image generation unit 34 that generates a display image indicating the processing result of the determination processing unit 33.
  • a storage unit 36 for storing data necessary for the processing of each unit described above.
  • the object extraction unit 32 performs a pixel value comparison process in order to cut out an image of an object that has a high probability of being a steel accessory. For this reason, in this embodiment, before mounting a surgical instrument, the image of the instrument mounting base 7 is image
  • the camera 1 captures an image of the instrument mounting table 7 again.
  • the captured image is temporarily stored in the captured image storage unit 362 of the storage unit 36 by the image input unit 31 (S2). Further, the photographed image is displayed on the monitor 2 by the output image generation unit 34 as shown in FIG. In the example of FIG. 4, a state in which eight forceps 91 are arranged on the instrument mounting table 7 is photographed.
  • the object extraction unit 32 includes a pixel value comparison unit 321.
  • the pixel value comparison unit 321 reads the above-described background image and the captured image from the storage unit 36, and compares the RGB vectors of the pixels included in each image (S3).
  • the object extraction unit 32 further includes an object detection unit 322.
  • the object detection unit 322 determines that an area formed by pixels having an angle between the RGB vectors of the both in the background image and the captured image, or pixels having a vector size difference larger than a predetermined threshold, is a steel accessory object. Judgment is made (S4).
  • a flag indicating an object is assigned to the pixels constituting the object in the photographed image storage unit 362.
  • the object extraction result may be displayed on the monitor 2 as shown in FIG.
  • the boundary line 92 of the object is displayed around each of the eight forceps 91 detected as an object from the photographed image.
  • the determination processing unit 33 determines which steel accessory the extracted object corresponds to using the learned model for classification 331 to which deep learning is applied (S5). ).
  • This learned model for classification is generated by learning a large amount of images of various steel accessories.
  • Steel accessories can be classified based on characteristics such as the shape and color of the whole or part.
  • the small steel product has a large luminance change due to a shadow or specular reflection, and often affects the recognition accuracy. For this reason, it is preferable to photograph the image to be learned by changing the light incident condition on the steel accessory in various ways.
  • the determination processing unit 33 inputs each of the object images cut out by the object extraction unit 32 to the learned model for classification.
  • the learned model for classification determines which steel accessory the object image corresponds to based on the characteristics included in the input object image, and outputs the determination result together with the determination accuracy.
  • the determination accuracy is a value representing the probability that the object image corresponds to the steel accessory.
  • the determination processing unit 33 is a data representing the type of steel accessory output from the learned model for classification as the determination result of the object image. Is output to the output image generation unit 34.
  • a predetermined value for example 90%
  • the determination processing unit 33 is a data representing the type of steel accessory output from the learned model for classification as the determination result of the object image. Is output to the output image generation unit 34.
  • “unknown” is output to the output image generation unit 34 as the determination result of the object image.
  • the output image generation unit 34 generates an output image to the monitor 2 based on the determination result received from the determination processing unit 33 (S6). For example, as illustrated in FIG. 6, the output image generation unit 34 generates an image including a line surrounding each object and a text (character string) representing the determination result, and superimposes the image on the captured image to the monitor 2. Display.
  • the determination result is corrected and confirmed manually by the user.
  • the Pean forceps can be classified by the shape (straight / curved) of the tip, they are displayed as text such as “Pean forceps straight” or “Pean forceps curved”.
  • the example of FIG. 6 shows a state in which all of the object images are determined to be “Pean forceps straight”.
  • the object image of the steel accessory is cut out from the image captured by the camera 1, and the learned model for classification is used for each object image.
  • the type of steel accessory can be automatically identified. Thereby, it is not necessary to perform special processing such as an optical reading symbol on the steel accessory, and the type of the steel accessory can be accurately identified.
  • the surgical instrument detection system 200 according to the second embodiment has a function of determining whether or not all of the small steel articles have been prepared after the surgery with respect to the surgical instrument detection system according to the first embodiment. .
  • the surgical instrument detection system 200 further includes a verification processing unit 35 as shown in FIG.
  • the collected steel accessory is placed on the instrument mounting table 7 and photographed with the camera 1, and the type of steel accessory included in the photographed image is the same as in the first embodiment. And detect the number.
  • the collation processing unit 35 collates the types and number of small steel items before and after the operation, and detects the excess or deficiency thereof.
  • the storage unit 36 further includes a necessary number storage unit 363 for storing the type and number of small steel items before the start of surgery. That is, the necessary number storage unit 363 stores the types of small steel articles prepared for use in surgery and the numbers for each type.
  • the types and number of these steel accessories are the type and number detected by the determination processing unit 33 by photographing the steel accessories to be used on the instrument mounting table 7 and photographing them with the camera 1 before starting the operation. It is preferable to store the number in the number storage unit 363. Or you may make it input the kind and number of small steel articles to be used from now on, using the keyboard 4 and the mouse 5, without performing automatic detection by a system.
  • FIG. 8 and 9 show examples of screens displayed on the monitor 2 in the surgical instrument detection system 200.
  • FIG. FIG. 8 is an example of a screen displayed on the monitor 2 after photographing small steel items arranged on the instrument mounting table 7 by the camera 1 after the operation is completed.
  • the screen illustrated in FIG. 8 includes a captured image display area 81, an instrument type display field 82, a necessary number display field 83, a recognized number display field 84, a recognized number display field 85, an excess / deficiency number display field 86, and a scroll.
  • a bar 87 and operation buttons 88 are displayed.
  • the type of steel accessory is displayed in the instrument type display field 82.
  • the necessary number display field 83 the number of small steel items before the start of surgery is displayed according to the type based on the data stored in the necessary number storage unit 363.
  • the recognized number display field 84 the recognized number display field 85, and the excess / deficiency number display field 86, nothing is displayed at this stage.
  • the operation button 88 displays a command “recognition”. After an image captured by the camera 1 is captured in the captured image display area 81, when the operator clicks the operation button 88, processing by the object extraction unit 32 and the determination processing unit 33 is disclosed.
  • the type of the steel accessory is displayed as a text in a superimposed manner on each of the steel accessory objects detected from the captured image.
  • a command “register” is displayed on the operation button 88.
  • the number-of-recognition display column 85 the number of objects determined to have a high probability corresponding to the type by the determination processing unit 33 is recorded.
  • the operation button 88 is clicked, the determination result of the object being recognized is fixed and added to the recognized number display field 85.
  • the excess / deficiency number display field 86 displays a value obtained by subtracting the number displayed in the recognized number display field 84 from the number displayed in the necessary number display field 83.
  • the determination result by the determination processing unit 33 for the surgical instruments having the names “Pean forceps short length”, “Pean forceps long length”, “Pean forceps long bend”, and “Pushing forceps”. Is displayed.
  • “0” is displayed in the excess / deficiency number display column 86.
  • the surgical instrument detection system 300 includes an object extraction unit 32A instead of the object extraction unit 32 of the first embodiment.
  • the object extraction unit 32A uses the object extraction learned model 32A1 to which deep learning is applied to extract an object image having a high probability of steel small objects.
  • Such a learned model for object extraction can be obtained by learning a large amount of images taken by placing small steel articles on the sterilization sheet of the instrument mounting table 7.
  • the learned model for object extraction is different from the learned model for classification used for determining the type of steel accessory, and whether the predetermined pixel (or pixel area) is a part of the image of the steel accessory. It is a learning model for judging whether it is a background (sterilization sheet).
  • the present embodiment is different from the first embodiment in that the learned model is used when the object image is cut out.
  • the step of photographing only the background image is not necessary. Further, by using a sufficiently learned learned model as the learned model for object extraction, the object image can be cut out with high accuracy.
  • the surgical instrument detection system 400 includes an object extraction unit 32B instead of the object extraction unit 32 of the first embodiment.
  • the object extraction unit 32B includes a conversion unit 321B and an edge detection unit 322B.
  • a sterilization sheet as a background is generally a blue one, whereas a steel accessory having a low saturation in the HSV color space such as silver or black is used.
  • the conversion unit 321B converts the RGB data of the input captured image into HSV color space data.
  • the edge detection unit 322B detects the edge (boundary line) of the object based on the hue and saturation data. Various methods are conventionally known as edge detection methods, and are not particularly limited. For example, the Canny method can be used.
  • edge extraction is performed based on hue and saturation data, thereby suppressing the influence of shadows due to changes in ambient light conditions. . This is because RGB luminance data and HSV lightness data are affected by shadows, but hue and saturation are less susceptible to shadows than those.
  • a surgical instrument detection system that detects a steel accessory among surgical instruments has been described.
  • a light metal having a surface finish equivalent to that of a steel accessory.
  • the present invention can also be applied to detection of surgical instruments made of, or surgical instruments formed of other materials such as carbon or resin.
  • the embodiment of the surgical instrument detection system has been described as a system mounted on a server or a computer.
  • a computer program for causing a general-purpose server or computer to realize the function of each block described above and a recording medium recording the computer program are also included in one embodiment of the present invention.
  • a part or all of the processing of each functional block of the above embodiment may be realized by a program.
  • a part or all of the processing of each functional block in the above embodiment is performed by a central processing unit (CPU) in the computer.
  • CPU central processing unit
  • a coprocessor such as GPU (Graphics Processing Unit), TPU (Tensor Processing Unit), or FPGA (Field Programmable Gate Array) can be used.
  • a program for performing each processing is stored in a storage device such as a hard disk or a ROM, and is read out and executed in the ROM or the RAM.
  • Each processing of the above embodiment may be realized by hardware, or may be realized by software (including a case where the processing is realized together with an OS (operating system), middleware, or a predetermined library). Good. Further, it may be realized by mixed processing of software and hardware.
  • OS operating system
  • middleware middleware
  • predetermined library a predetermined library
  • execution order of the processing methods in the above embodiment is not necessarily limited to the description of the above embodiment, and the execution order can be changed without departing from the gist of the invention.
  • a computer program that causes a computer to execute the above-described method and a computer-readable recording medium that records the program are included in the scope of the present invention.
  • the computer-readable recording medium include a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a DVD-ROM, a DVD-RAM, a BD (Blu-ray Disc (registered trademark)), and a semiconductor memory.
  • a flexible disk a hard disk
  • a CD-ROM an MO
  • DVD DVD-ROM
  • DVD-RAM DVD-RAM
  • BD Blu-ray Disc
  • the computer program is not limited to the one recorded on the recording medium, but may be transmitted via a telecommunication line, a wireless or wired communication line, a network represented by the Internet, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

手術器具に光学読み取り用記号等の特殊な加工をすることなく、手術器具の種類を判定できる手術器具検出システムを提供する。手術器具検出システム１００は、カメラ１によって撮影された画像を入力する画像入力部３１と、入力画像から鋼製小物のオブジェクト画像を切り出すオブジェクト抽出部３２と、前記オブジェクト画像を分類用学習済みモデル３３１へ入力し、当該オブジェクト画像に含まれる特徴に基づいて、当該オブジェクト画像が該当する鋼製小物の種類を判定する判定処理部３３と、前記判定処理部による判定の結果を表す画像を生成してモニタ２へ出力する出力画像生成部３４とを備えている。

Description

手術器具検出システムおよびコンピュータプログラム
　本発明は、外科手術等で用いられる手術器具を検出するシステムに関する。
　外科手術の際には、鉗子や鑷子（ピンセット）等の手術器具が、多数用いられる。手術中に手術器具を患者の体内に置き忘れるという事態は、あってはならない医療ミスであるため、手術開始前に手術器具の種類と数とをカウントし、手術終了後に、手術器具が全て揃っているか否かを確認することが徹底されている。
　しかし、手術器具の種類は非常に多く、形状や大きさがわずかに異なるだけで非常に似通ったものが多数存在する。このため、目視で手術器具の種類を正確に見分けることは、熟連した看護師でも難しい。
　そこで、従来、鋼製小物等の手術器械にバーコード等の光学読み取り用記号を付与し、これを利用して手術器械の種類を識別することができる手術機械準備システムが提案されている（特許文献１）。なお、この特許文献１に開示されている手術器械準備システムは、手術に使用する手術器械を手術前に準備するために用いられるものであり、手術後に手術器械が揃っているか否かを確認するためのものではない。
特開平６－１４２１０５号公報
　しかし、手術器具の一つ一つに光学読み取り用記号を付与することは、特殊な加工プロセスを必要とするので、手術器具の製造コストを増加させる。また、手術器具の一つ一つから読み取り装置で記号を読み取ることは、手間と時間がかかる。
　そこで、本発明は、手術器具に光学読み取り用記号等の特殊な加工をすることなく、多種多様な手術器具の種類と数とを容易に識別することが可能な手術器具検出システムを提供することを目的とする。
　上記の課題を解決するために、本発明に係る手術器具検出システムは、カメラによって撮影された画像を入力する画像入力部と、入力画像から手術器具のオブジェクト画像を切り出すオブジェクト抽出部と、前記オブジェクト画像を分類用学習済みモデルへ入力し、当該オブジェクト画像に含まれる特徴に基づいて、当該オブジェクト画像が該当する手術器具の種類を判定する判定処理部と、前記判定処理部による判定の結果を表す画像を生成してモニタへ出力する出力画像生成部とを備えている。
　上記の構成によれば、手術器具に光学読み取り用記号等の特殊な加工をすることなく、多種多様な手術器具の種類と数とを容易に識別することが可能な手術器具検出システムを提供することができる。
図１は、第１の実施形態に係る手術器具検出システムのハードウエア構成の概要を示す図である。 図２は、第１の実施形態に係る手術器具検出システムの機能的な概略構成を示すブロック図である。 図３は、第１の実施形態に係る手術器具検出システムの処理の流れを示すフローチャートである。 図４は、モニタへの出力例を示す模式図である。 図５は、モニタへの出力例を示す模式図である。 図６は、モニタへの出力例を示す模式図である。 図７は、第２の実施形態に係る手術器具検出システムの機能的な概略構成を示すブロック図である。 図８は、モニタへの出力例を示す模式図である。 図９は、モニタへの出力例を示す模式図である。 図１０は、第３の実施形態に係る手術器具検出システムの機能的な概略構成を示すブロック図である。 図１１は、第４の実施形態に係る手術器具検出システムの機能的な概略構成を示すブロック図である。
　本発明の手術器具検出システムの第１の構成は、
　カメラによって撮影された画像を入力する画像入力部と、
　入力画像から手術器具のオブジェクト画像を切り出すオブジェクト抽出部と、
　前記オブジェクト画像を分類用学習済みモデルへ入力し、当該オブジェクト画像に含まれる特徴に基づいて、当該オブジェクト画像が該当する手術器具の種類を判定する判定処理部と、
　前記判定処理部による判定の結果を表す画像を生成してモニタへ出力する出力画像生成部とを備える。
　上記の第１の構成によれば、カメラで撮影された画像から、手術器具のオブジェクト画像を切り出して、学習済みモデルを利用して手術器具の種類を判定することができる。これにより、手術器具に特別な加工を施すことなく、手術器具の種類を自動的に判別することができる。
　第２の構成は、前記第１の構成において、
　前記出力画像生成部が、手術器具の種類を表す画像を、撮影画像のオブジェクト画像に重ねて出力する。
　第２の構成によれば、モニタ上で、それぞれのオブジェクト画像がどのような手術器具であるかを容易に認識することができる。
　第３の構成は、前記第１または第２の構成において、
　前記オブジェクト抽出部が、背景画像と撮影画像とにおける画素ごとの色空間ベクトルの比較に基づいて、前記オブジェクト画像の切り出しを行う。
　第３の構成では、背景画像をあらかじめ取得しておく必要があるが、背景に依存せずにオブジェクト画像の切り出しを行うことができる。
　第４の構成は、前記第１または第２のいずれかの構成において、
　前記オブジェクト抽出部が、オブジェクト抽出用学習済みモデルへ撮影画像を入力し、撮影画像に含まれる特徴に基づいて、前記オブジェクト画像の切り出しを行う。
　第４の構成では、事前に複数の照明条件でのオブジェクト抽出を学習させることで、影や色温度といった照明条件の影響を受けずに、オブジェクト画像の切り出しを自動的に行うことができる。
　第５の構成は、前記第１または第２のいずれかの構成において、
　前記オブジェクト抽出部が、撮影画像の画素データをＨＳＶ色空間のデータに変換し、色相や彩度のエッジ情報に基づいて、オブジェクト画像の切り出しを行う。
　第５の構成によれば、色相や彩度は、輝度と比較して影の影響を受けにくく、色温度の変化といった全体に影響を与える環境の変化はエッジには影響を与えないため、照明条件の影響を受けずにオブジェクト画像の切り出しを行うことができる。
　第６の構成は、前記第１～第５のいずれかの構成において、
　手術開始前の手術器具の種類および数を、手術終了後の手術器具の種類および数と照合する照合処理部をさらに備え、
　前記出力画像生成部が、前記照合処理部による照合の結果を表す画像を生成して、前記モニタへ出力する。
　第６の構成によれば、手術開始前と終了後とにおける手術器具の種類と数とを照合することができるので、手術中に手術器具を患者の体内等に置き忘れるという医療事故を効果的に防ぐことが可能となる。
　本発明の一形態としてのコンピュータプログラムは、
　コンピュータのプロセッサに手術器具検出処理を実行させる、コンピュータ読み取り可能なプログラムであって、
　前記手術器具検出処理が、
　カメラによって撮影された画像を入力する画像入力処理と、
　入力画像から手術器具のオブジェクト画像を切り出すオブジェクト抽出処理と、
　前記オブジェクト画像を分類用学習済みモデルへ入力し、当該オブジェクト画像に含まれる特徴に基づいて、当該オブジェクト画像が該当する手術器具の種類を判定する判定処理と、
　前記判定処理部による判定の結果を表す画像を生成してモニタへ出力する出力画像生成処理とを含む。
　本発明の一形態としての手術器具検出方法は、
　コンピュータのプロセッサによって実行される手術器具検出方法であって、
　カメラによって撮影された画像を入力するステップと、
　入力画像から手術器具のオブジェクト画像を切り出すステップと、
　前記オブジェクト画像を分類用学習済みモデルへ入力し、当該オブジェクト画像に含まれる特徴に基づいて、当該オブジェクト画像が該当する手術器具の種類を判定するステップと、
　前記判定の結果を表す画像を生成してモニタへ出力するステップとを含む。
　［実施形態］
　以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一または相当部分には同一符号を付してその説明は繰り返さない。なお、説明を分かりやすくするために、以下で参照する図面においては、構成が簡略化または模式化して示されたり、一部の構成部材が省略されたりしている。また、各図に示された構成部材間の寸法比は、必ずしも実際の寸法比を示すものではない。
　［第１の実施形態］
　以下、第１の実施形態について説明する。
　図１に、第１の実施形態に係る手術器具検出システムのハードウエア構成の概要を示す。本実施形態に係る手術器具検出システム１００は、手術器具のうち、特に鋼製小物を検出する鋼製小物検出システムであり、図１に示すように、カメラ１、モニタ２、コンピュータ３、キーボード４、およびマウス５を備えている。
　カメラ１、モニタ２、キーボード４、およびマウス５は、コンピュータ３に接続されている。なお、図１では、キーボード４とマウス５とを備えた構成を例示しているが、モニタ２として、タッチパネル入力が可能なモニタを使用すれば、キーボードおよびマウスを省略することができる。また、キーボードおよびマウスの代わりにマイクを備え、音声入力でユーザからの指示を受け付けるコンピュータを使用してもよい。
　カメラ１、モニタ２、およびコンピュータ３は、カート６に取り付けられている。カート６は、キャスタ付き脚部６１を備えている。カート６の支柱６２の先端には、アーム６３が取り付けられており、アーム６３がカメラ１を保持している。アーム６３は、カメラ１の視野を自在に調整するために、２軸以上の回動軸を有していることが望ましい。カート６は、さらに、テーブル６４を備えており、このテーブル６４上にキーボード４とマウス５とを置くことができる。カート６は、さらに、コンピュータ支持台６５を備えており、ここにコンピュータ３を設置することができる。
　以上の構成を有する手術器具検出システム１００は、カート６を押して移動させることができ、手術室等に持ち込んで、図１に示すように、手術器具が載置された器具載置台７を、カメラ１で撮影する。カメラ１で撮影された画像は、コンピュータ３へ送られ、画像処理によって鋼製小物の検出処理が行われる。
　図２は、手術器具検出システム１００の機能的な構成を示すブロック図である。なお、図２に示すブロック図は、手術器具検出システムの機能をブロックに分類して概念的に示したものであって、実際にそれぞれのブロックが個別のハードウエアとして実装されていることを要するものではない。それぞれのブロックは、コンピュータ３のＣＰＵが所定のプログラムを実行することによって実現することができる。
　図２に示すように、手術器具検出システム１００は、カメラ１で撮影された画像を入力する画像入力部３１と、入力画像から鋼製小物である蓋然性が高いオブジェクトの画像を切り出すオブジェクト抽出部３２と、オブジェクト抽出部３２で切り出されたオブジェクト画像から、鋼製小物の種類を判定する処理を行う判定処理部３３と、判定処理部３３による処理結果を示す表示画像を生成する出力画像生成部３４と、上述の各部の処理に必要なデータが格納される記憶部３６とを備えている。
　ここで、上記の各部が行う処理の手順を、図３のフローチャートを参照しながら説明する。
　本実施形態では、オブジェクト抽出部３２は、鋼製小物である蓋然性が高いオブジェクトの画像を切り出すために、画素値比較処理を行う。このため、本実施形態においては、手術器具を載置する前に、器具載置台７の画像をカメラ１で撮影し、参照用の背景画像として用いる。一般的に、器具載置台７には滅菌シートを敷いて、その上に手術器具を並べる。したがって、手術器具を並べる前に撮影された背景画像には、この滅菌シートのみの画像が含まれる。カメラ１で撮影された背景画像は、画像入力部３１によって記憶部３６内の背景画像記憶部３６１に格納される（Ｓ１）。
　その後、手術で用いられる器具が器具載置台７にセットされると、再び、カメラ１で器具載置台７の画像を撮影する。撮影された画像は、画像入力部３１によって記憶部３６の撮影画像記憶部３６２に一時的に格納される（Ｓ２）。また、撮影された画像は、図４に示すように、出力画像生成部３４によってモニタ２へ表示される。図４の例では、８本の鉗子９１が器具載置台７に並べられている状態が撮影されている。
　オブジェクト抽出部３２は、画素値比較部３２１を備えている。画素値比較部３２１は、記憶部３６から、前述の背景画像と、撮影された画像とを読み出し、それぞれの画像に含まれる画素のＲＧＢベクトルを比較する（Ｓ３）。オブジェクト抽出部３２は、さらに、オブジェクト検出部３２２を備えている。オブジェクト検出部３２２は、背景画像と撮影画像において両者のＲＧＢベクトルのなす角度、またはベクトルの大きさの差分が所定の閾値よりも大きい画素から構成される領域を、鋼製小物のオブジェクトであると判断する（Ｓ４）。撮影画像に含まれる画素のうち、オブジェクトを構成する画素には、撮影画像記憶部３６２において、オブジェクトであることを示すフラグが付与される。
　なお、図５に示すように、オブジェクトの抽出結果をモニタ２に表示するようにしてもよい。図５に示した例では、撮影画像からオブジェクトとして検出された８本の鉗子９１のそれぞれの周囲に、オブジェクトの境界線９２が表示されている。
　オブジェクト抽出部３２による処理が完了すると、判定処理部３３が、ディープラーニングを適用した分類用学習済みモデル３３１を利用して、抽出されたオブジェクトがどの鋼製小物に該当するかを判定する（Ｓ５）。
　この分類用学習済みモデルは、様々な鋼製小物を撮影した画像を大量に学習させることにより生成されている。鋼製小物は、全体または部分の形状や色等の特徴に基づいて、分類することができる。なお、鋼製小物は、光の入射方向が変化すると、影や鏡面反射による輝度変化が大きく、認識精度に影響を与えることが多い。このため、学習させる画像は、鋼製小物に対する光の入射条件を様々に変化させて撮影することが好ましい。
　判定処理部３３は、オブジェクト抽出部３２によって切り出されたオブジェクト画像のそれぞれを分類用学習済みモデルへ入力する。分類用学習済みモデルは、入力されたオブジェクト画像に含まれる特徴に基づいて、オブジェクト画像がどの鋼製小物に該当するかを判定し、判定結果を判定確度と共に出力する。この判定確度とは、オブジェクト画像がその鋼製小物に該当することの確からしさを表す値である。
　判定処理部３３は、各オブジェクト画像に対する判定確度が所定値（例えば９０％）より大きい場合は、そのオブジェクト画像の判定結果として、分類用学習済みモデルから出力された鋼製小物の種類を表すデータを、出力画像生成部３４へ出力する。一方、判定確度が所定値以下である場合は、当該オブジェクト画像の判定結果として、「不明」を出力画像生成部３４へ出力する。
　出力画像生成部３４は、判定処理部３３から受け取った判定結果に基づいて、モニタ２への出力画像を生成する（Ｓ６）。出力画像生成部３４は、例えば、図６に示すように、それぞれのオブジェクトを囲む線と判定結果を表すテキスト（文字列）とを含む画像を生成し、これを撮影画像に重ねてモニタ２へ表示させる。ここで、不明と出力されたオブジェクトや誤認識されたオブジェクトがある場合は、ユーザの手作業で判定結果を修正し確定する。その結果を分類用学習済みモデルへフィードバックすることで、モデルの更新を行い、認識精度を向上させることができる。
　例えば、ペアン鉗子は、先端部の形状（直・曲）によって分類することができるので、それらを、「ペアン鉗子直」または「ペアン鉗子曲」のようにテキストで表示する。図６の例では、オブジェクト画像の全てが「ペアン鉗子直」であると判定された状態を示している。
　このように、本実施形態の手術器具検出システム１００によれば、カメラ１で撮影した画像から、鋼製小物のオブジェクト画像を切り出し、それぞれのオブジェクト画像に対して分類用学習済みモデルを用いることにより、鋼製小物の種類を自動的に判別することができる。これにより、鋼製小物に光学読み取り用記号等の特別な加工を施す必要がなく、鋼製小物の種類を正確に見分けることが可能となる。
　［第２の実施形態］
　第２の実施形態に係る手術器具検出システム２００は、第１の実施形態に係る手術器具検出システムに対して、手術後に鋼製小物が全て揃っているか否かを判断する機能が追加されている。
　このため、手術器具検出システム２００は、図７に示すように、照合処理部３５をさらに備えている。本実施形態では、手術が終了した後に、回収された鋼製小物を器具載置台７に乗せてカメラ１で撮影し、第１の実施形態と同様に、撮影画像に含まれる鋼製小物の種類と数を検出する。照合処理部３５は、手術前後の鋼製小物の種類および数を照合し、その過不足を検出する。
　手術器具検出システム２００では、記憶部３６に、手術開始前の鋼製小物の種類と数とを記憶するための必要数記憶部３６３をさらに備えている。すなわち、必要数記憶部３６３には、手術に用いるために準備された鋼製小物の種類と、種類別の数とが記憶されている。この鋼製小物の種類と数とは、手術開始前に、これから使用する鋼製小物を器具載置台７に並べてカメラ１で撮影し、判定処理部３３によって検出された種類と数とを、必要数記憶部３６３に記憶させておくことが好ましい。あるいは、システムによる自動検出を行わず、キーボード４およびマウス５を使用して、これから使用する鋼製小物の種類と数とを入力するようにしてもよい。
　図８および図９に、手術器具検出システム２００において、モニタ２に表示される画面の一例を示す。図８は、手術終了後に、カメラ１によって器具載置台７に並べられた鋼製小物を撮影した後に、モニタ２に表示された画面の一例である。図８に例示された画面には、撮影画像表示領域８１、器具種表示欄８２、必要数表示欄８３、認識済み数表示欄８４、認識中数表示欄８５、過不足数表示欄８６、スクロールバー８７、および、操作ボタン８８が表示されている。
　器具種表示欄８２には、鋼製小物の種類が表示されている。必要数表示欄８３には、必要数記憶部３６３に記憶されたデータに基づき、手術開始前の鋼製小物の数が、種類別に表示されている。認識済み数表示欄８４、認識中数表示欄８５、および過不足数表示欄８６には、この段階では何も表示されていない。操作ボタン８８には「認識」というコマンドが表示されている。カメラ１による撮影画像が撮影画像表示領域８１に取り込まれた後、操作者が操作ボタン８８をクリックすると、オブジェクト抽出部３２および判定処理部３３による処理が開示される。
　そして、図９に示すように、撮影画像表示領域８１には、撮影画像から検出された鋼製小物のオブジェクトのそれぞれに重ねて、その鋼製小物の種別がテキスト表示される。このとき、操作ボタン８８には「登録」というコマンドが表示される。認識中数表示欄８５には、判定処理部３３によってその種類に該当する蓋然性が高いと判断されたオブジェクトの数が計上されている。ここで、誤認識があったり、不明と判定されたオブジェクトがあったりした場合は、ユーザが判定結果を修正することができる。そして、操作ボタン８８をクリックすると、認識中のオブジェクトの判定結果が確定され、認識済み数表示欄８５に計上される。過不足数表示欄８６には、必要数表示欄８３に表示されている数から認識済み数表示欄８４に表示されている数を減じた値が表示される。図９の例では、「ペアン鉗子短直」、「ペアン鉗子長直」、「ペアン鉗子長曲」、「鑷子無鈎中」という名称がつけられた手術器具について、判定処理部３３による判定結果を表示している。なお、計上すべき全ての鋼製小物についての認識および登録作業がすべて無事に完了すると、過不足数表示欄８６には「０」が表示されることとなる。
　以上のように、本実施形態によれば、手術前後の鋼製小物の種類と数とが一致しているか否かを、画像認識によって自動的に照合することができる。これにより、鋼製小物に特殊な加工を施すことなく、患者の体内に鋼製小物を置き忘れていないかを自動的にチェックするシステムを提供することができる。
　［第３の実施形態］
　第３の実施形態に係る手術器具検出システム３００は、図１０に示すように、第１の実施形態のオブジェクト抽出部３２の代わりに、オブジェクト抽出部３２Ａを備えている。オブジェクト抽出部３２Ａは、ディープラーニングを適用したオブジェクト抽出用学習済みモデル３２Ａ１を利用して、鋼製小物の蓋然性が高いオブジェクト画像の抽出を行う。このようなオブジェクト抽出用学習済みモデルは、器具載置台７の滅菌シート上に鋼製小物を置いて撮影した画像を大量に学習させることにより得ることができる。
　すなわち、オブジェクト抽出用学習済みモデルは、鋼製小物の種類の判定に用いられる分類用学習済みモデルとは異なり、所定の画素（または画素領域）が、鋼製小物の画像の一部であるのか、背景（滅菌シート）であるのかを判断するための学習モデルである。
　このように、本実施形態では、オブジェクト画像の切り出しに際しても学習済みモデルを使用する点において、第１の実施形態と異なっている。
　しかし、本実施形態によれば、第１の実施形態とは異なり、背景画像のみを撮影する工程が不要である。また、オブジェクト抽出用学習済みモデルとして、十分に学習された学習済みモデルを用いることにより、オブジェクト画像の切り出しを精度良く行うことができる。
　なお、第２の実施形態のオブジェクト抽出部３２の代わりに、上記のオブジェクト抽出部３２Ａを備えた構成としてもよい。
　［第４の実施形態］
　本実施形態に係る手術器具検出システム４００は、図１１に示すように、第１の実施形態のオブジェクト抽出部３２の代わりに、オブジェクト抽出部３２Ｂを備えている。オブジェクト抽出部３２Ｂは、変換部３２１Ｂと、エッジ検出部３２２Ｂとを備えている。
　オブジェクト抽出部３２Ｂは、背景となる滅菌シートが一般的には青色系のものが用いられるのに対して、鋼製小物が銀色、黒色といったＨＳＶ色空間における彩度が低いものが使われている点を利用してオブジェクトを検出する。変換部３２１Ｂは、入力された撮影画像のＲＧＢデータを、ＨＳＶ色空間のデータに変換する。エッジ検出部３２２Ｂは、色相および彩度データに基づいて、オブジェクトのエッジ（境界線）を検出する。エッジの検出手法としては、従来様々な手法が知られているので、特に限定されないが、例えばＣａｎｎｙ法等を用いることができる。なお、ＲＧＢデータをＨＳＶ色空間のデータに変換してから、色相および彩度データに基づいてエッジ抽出を行うことにより、周囲の光の状況が変化することによる影の影響を抑制することができる。ＲＧＢの輝度データやＨＳＶの明度データは影の影響を受けるが、色相や彩度はそれらに比べると影の影響を受けにくいからである。
　なお、第２の実施形態のオブジェクト抽出部３２の代わりに、上記のオブジェクト抽出部３２Ｂを備えた構成としてもよい。
　以上、本発明の実施形態をいくつか説明したが、本発明の実施形態は、以上の具体例にのみ限定されず、種々の変更が可能である。また、各実施形態で説明した機能を適宜組み合わせて本発明を実施することも可能である。
　例えば、上記の実施形態においては、手術器具のうち、特に鋼製小物を検出する手術器具検出システムについて説明したが、鋼製小物の他にも、鋼製小物と同等の表面仕上げがされた軽金属製の手術器具、あるいは、例えばカーボン製または樹脂製の他の材料で形成される手術器具の検出に対しても、本発明を適用することが可能である。
　また、上記の説明においては、サーバやコンピュータに実装されるシステムとして、手術器具検出システムの実施形態を説明した。ただし、汎用のサーバやコンピュータに上述した各ブロックの機能を実現させるためのコンピュータプログラムおよびそれを記録した記録媒体も、本発明の実施の一態様に含まれる。
　すなわち、上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。あるいは、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、またはＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等のコプロセッサを利用することも可能である。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
　また、上記実施形態の各処理をハードウエアにより実現してもよいし、ソフトウエア（ＯＳ（オペレーティングシステム）、ミドルウエア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウエアおよびハードウエアの混在処理により実現してもよい。
　また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
　前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ（登録商標））、半導体メモリを挙げることができる。
　上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
　１…カメラ、２…モニタ、３…コンピュータ、４…キーボード、５…マウス、６…カート、７…器具載置台、３１…画像入力部、３２…オブジェクト抽出部、３３…判定処理部、３４…出力画像生成部、３５…照合処理部、３６…記憶部、１００、２００、３００、４００…手術器具検出システム

Claims (8)

  1. 　カメラによって撮影された画像を入力する画像入力部と、
    　入力画像から手術器具のオブジェクト画像を切り出すオブジェクト抽出部と、
    　前記オブジェクト画像を分類用学習済みモデルへ入力し、当該オブジェクト画像に含まれる特徴に基づいて、当該オブジェクト画像が該当する手術器具の種類を判定する判定処理部と、
    　前記判定処理部による判定の結果を表す画像を生成してモニタへ出力する出力画像生成部とを備えた、手術器具検出システム。
  2. 　前記出力画像生成部が、手術器具の種類を表す画像を、撮影画像のオブジェクト画像に重ねて出力する、請求項１に記載の手術器具検出システム。
  3. 　前記オブジェクト抽出部が、背景画像と撮影画像とにおける画素ごとの色空間ベクトルの比較に基づいて、前記オブジェクト画像の切り出しを行う、請求項１または２に記載の手術器具検出システム。
  4. 　前記オブジェクト抽出部が、オブジェクト抽出用学習済みモデルへ撮影画像を入力し、撮影画像に含まれる特徴に基づいて、前記オブジェクト画像の切り出しを行う、請求項１または２に記載の手術器具検出システム。
  5. 　前記オブジェクト抽出部が、撮影画像の画素データをＨＳＶ色空間のデータに変換し、色相および彩度のエッジ情報に基づいて、前記オブジェクト画像の切り出しを行う、請求項１または２に記載の手術器具検出システム。
  6. 　手術開始前の手術器具の種類および数を、手術終了後の手術器具の種類および数と照合する照合処理部をさらに備え、
    　前記出力画像生成部が、前記照合処理部による照合の結果を表す画像を生成して、前記モニタへ出力する、請求項１～５のいずれか一項に記載の手術器具検出システム。
  7. 　コンピュータのプロセッサに手術器具検出処理を実行させる、コンピュータ読み取り可能なプログラムであって、
    　前記手術器具検出処理が、
    　カメラによって撮影された画像を入力する画像入力処理と、
    　入力画像から手術器具のオブジェクト画像を切り出すオブジェクト抽出処理と、
    　前記オブジェクト画像を分類用学習済みモデルへ入力し、当該オブジェクト画像に含まれる特徴に基づいて、当該オブジェクト画像が該当する手術器具の種類を判定する判定処理と、
    　前記判定処理部による判定の結果を表す画像を生成してモニタへ出力する出力画像生成処理とを含む、コンピュータ読み取り可能なプログラム。
  8. 　コンピュータのプロセッサによって実行される手術器具検出方法であって、
    　カメラによって撮影された画像を入力するステップと、
    　入力画像から手術器具のオブジェクト画像を切り出すステップと、
    　前記オブジェクト画像を分類用学習済みモデルへ入力し、当該オブジェクト画像に含まれる特徴に基づいて、当該オブジェクト画像が該当する手術器具の種類を判定するステップと、
    　前記判定の結果を表す画像を生成してモニタへ出力するステップとを含む、手術器具検出方法。
PCT/JP2018/020782 2017-05-31 2018-05-30 手術器具検出システムおよびコンピュータプログラム WO2018221599A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP18808728.2A EP3633607A4 (en) 2017-05-31 2018-05-30 SURGICAL INSTRUMENT DETECTION SYSTEM AND COMPUTER PROGRAM
CN201880034927.3A CN110678902A (zh) 2017-05-31 2018-05-30 手术器具检测系统及计算机程序
JP2019521274A JP6695502B2 (ja) 2017-05-31 2018-05-30 手術器具検出システムおよびコンピュータプログラム
US16/617,742 US11256963B2 (en) 2017-05-31 2018-05-30 Surgical instrument detection system and computer program
KR1020197034612A KR102344832B1 (ko) 2017-05-31 2018-05-30 수술기구 검출 시스템 및 컴퓨터 프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017107892 2017-05-31
JP2017-107892 2017-05-31

Publications (1)

Publication Number Publication Date
WO2018221599A1 true WO2018221599A1 (ja) 2018-12-06

Family

ID=64455477

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/020782 WO2018221599A1 (ja) 2017-05-31 2018-05-30 手術器具検出システムおよびコンピュータプログラム

Country Status (6)

Country Link
US (1) US11256963B2 (ja)
EP (1) EP3633607A4 (ja)
JP (1) JP6695502B2 (ja)
KR (1) KR102344832B1 (ja)
CN (1) CN110678902A (ja)
WO (1) WO2018221599A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020112926A (ja) * 2019-01-09 2020-07-27 川崎重工業株式会社 誤認識を抑制可能な画像認識システムおよび画像認識方法
JP2020110492A (ja) * 2019-01-16 2020-07-27 キヤノンライフケアソリューションズ株式会社 情報処理システム、及びその制御方法、プログラム
US20210383523A1 (en) * 2020-06-09 2021-12-09 Howmedica Osteonics Corp. Surgical Kit Inspection Systems And Methods For Inspecting Surgical Kits Having Parts Of Different Types
JP2022521603A (ja) * 2019-02-25 2022-04-11 コーニンクレッカ フィリップス エヌ ヴェ カメラ支援被検者支持構成
JP7440164B1 (ja) 2024-01-16 2024-02-28 丸木医科器械株式会社 個体物品管理システム、個体物品管理方法、及び、個体物品管理プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3590458A4 (en) * 2017-03-29 2020-01-22 Sony Olympus Medical Solutions Inc. DEVICE FOR MEDICAL OBSERVATION AND CONTROL METHOD
US10223611B1 (en) * 2018-03-08 2019-03-05 Capital One Services, Llc Object detection using image classification models
CN112712016B (zh) * 2020-12-29 2024-01-26 上海微创医疗机器人（集团）股份有限公司 手术器械识别方法、识别平台及医疗机器人系统
CN113212889B (zh) * 2021-02-26 2023-11-03 深圳市云鼠科技开发有限公司 包装视觉检漏装置、方法、计算机设备及存储介质
GB2606520A (en) * 2021-05-07 2022-11-16 Scalpel Ltd Computer-implemented method and system for identifying objects in an environment
CN114494406B (zh) * 2022-04-13 2022-07-19 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置、终端及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06142105A (ja) 1992-11-09 1994-05-24 Nichion Irika Kikai Seisakusho:Kk 手術器械準備システム
WO2013115093A1 (ja) * 2012-01-30 2013-08-08 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム
WO2015001807A1 (ja) * 2013-07-05 2015-01-08 パナソニックＩｐマネジメント株式会社 投影システム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5610811A (en) 1992-11-09 1997-03-11 Niti-On Medical Supply Co., Ltd. Surgical instrument file system
JP2002032751A (ja) * 2000-07-18 2002-01-31 Olympus Optical Co Ltd 学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体
US7050613B2 (en) * 2002-11-07 2006-05-23 Fujitsu Limited Method for supporting cell image analysis
US9636188B2 (en) * 2006-03-24 2017-05-02 Stryker Corporation System and method for 3-D tracking of surgical instrument in relation to patient body
US8631489B2 (en) * 2011-02-01 2014-01-14 Damballa, Inc. Method and system for detecting malicious domain names at an upper DNS hierarchy
CN103718172A (zh) * 2011-09-21 2014-04-09 株式会社尼康 图像处理装置、程序、图像处理方法及摄像装置
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
US20140108086A1 (en) * 2012-10-15 2014-04-17 Fluor Technologies Corporation Project categorization and assessment through multivariate analysis
US20140160264A1 (en) * 2012-12-10 2014-06-12 The Johns Hopkins University Augmented field of view imaging system
FR3004330B1 (fr) * 2013-04-10 2016-08-19 Analytic - Tracabilite Hospitaliere Tracabilite des instruments chirurgicaux dans une enceinte hospitaliere
JP6291844B2 (ja) * 2014-01-06 2018-03-14 日本電気株式会社 データ処理装置
US20160287337A1 (en) * 2015-03-31 2016-10-06 Luke J. Aram Orthopaedic surgical system and method for patient-specific surgical procedure
GB201517462D0 (en) * 2015-10-02 2015-11-18 Tractable Ltd Semi-automatic labelling of datasets
US20170132785A1 (en) * 2015-11-09 2017-05-11 Xerox Corporation Method and system for evaluating the quality of a surgical procedure from in-vivo video
US9760700B2 (en) * 2015-12-03 2017-09-12 Google Inc. Image based CAPTCHA challenges
CN114019990A (zh) * 2016-02-24 2022-02-08 深圳市大疆创新科技有限公司 用于控制可移动物体的系统和方法
US20190056498A1 (en) * 2016-03-01 2019-02-21 Brightway Vision Ltd. Gated imaging apparatus, system and method
JP6656987B2 (ja) * 2016-03-30 2020-03-04 株式会社エクォス・リサーチ 画像認識装置、移動体装置、及び画像認識プログラム
US10973585B2 (en) * 2016-09-21 2021-04-13 Alcon Inc. Systems and methods for tracking the orientation of surgical tools
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US10586079B2 (en) * 2016-12-23 2020-03-10 Soundhound, Inc. Parametric adaptation of voice synthesis
US11829848B2 (en) * 2017-05-09 2023-11-28 Microsoft Technology Licensing, Llc Adding negative classes for training classifier
US10019654B1 (en) * 2017-06-28 2018-07-10 Accenture Global Solutions Limited Image object recognition
US10930395B2 (en) * 2018-11-23 2021-02-23 Asheleigh Adeline Mowery System for surgical decisions using deep learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06142105A (ja) 1992-11-09 1994-05-24 Nichion Irika Kikai Seisakusho:Kk 手術器械準備システム
WO2013115093A1 (ja) * 2012-01-30 2013-08-08 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置およびその制御方法と制御プログラム、通信端末およびその制御方法と制御プログラム
WO2015001807A1 (ja) * 2013-07-05 2015-01-08 パナソニックＩｐマネジメント株式会社 投影システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3633607A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020112926A (ja) * 2019-01-09 2020-07-27 川崎重工業株式会社 誤認識を抑制可能な画像認識システムおよび画像認識方法
JP7269013B2 (ja) 2019-01-09 2023-05-08 川崎重工業株式会社 誤認識を抑制可能な画像認識システムおよび画像認識方法
JP2020110492A (ja) * 2019-01-16 2020-07-27 キヤノンライフケアソリューションズ株式会社 情報処理システム、及びその制御方法、プログラム
JP7236276B2 (ja) 2019-01-16 2023-03-09 キヤノンメドテックサプライ株式会社 情報処理システム、及びその制御方法、プログラム
JP2022521603A (ja) * 2019-02-25 2022-04-11 コーニンクレッカ フィリップス エヌ ヴェ カメラ支援被検者支持構成
JP7449302B2 (ja) 2019-02-25 2024-03-13 コーニンクレッカ フィリップス エヌ ヴェ カメラ支援被検者支持構成
US20210383523A1 (en) * 2020-06-09 2021-12-09 Howmedica Osteonics Corp. Surgical Kit Inspection Systems And Methods For Inspecting Surgical Kits Having Parts Of Different Types
US11593931B2 (en) * 2020-06-09 2023-02-28 Howmedica Osteonics Corp. Surgical kit inspection systems and methods for inspecting surgical kits having parts of different types
US11908125B2 (en) 2020-06-09 2024-02-20 Howmedica Osteonics Corp. Surgical kit inspection systems and methods for inspecting surgical kits having parts of different types
JP7440164B1 (ja) 2024-01-16 2024-02-28 丸木医科器械株式会社 個体物品管理システム、個体物品管理方法、及び、個体物品管理プログラム

Also Published As

Publication number Publication date
US20200193241A1 (en) 2020-06-18
EP3633607A4 (en) 2020-05-20
EP3633607A1 (en) 2020-04-08
KR102344832B1 (ko) 2021-12-28
US11256963B2 (en) 2022-02-22
JP6695502B2 (ja) 2020-05-20
JPWO2018221599A1 (ja) 2020-03-26
KR20190141228A (ko) 2019-12-23
CN110678902A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
WO2018221599A1 (ja) 手術器具検出システムおよびコンピュータプログラム
TWI550438B (zh) 記錄閱讀行爲的方法及裝置
CN109426835B (zh) 信息处理装置、信息处理装置的控制方法和存储介质
JP2020507836A (ja) 重複撮像を予測した手術アイテムの追跡
KR102028563B1 (ko) 영상 처리를 이용한 발 사이즈 및 모양 측정 방법
JP2015165400A (ja) 複数の画像からの商品の認識のための方法
US10424067B2 (en) Image processing apparatus, image processing method and storage medium
JP2018124656A5 (ja)
US11521109B2 (en) Information processing apparatus and method of controlling information processing apparatus
JP6439566B2 (ja) 多言語表示装置、多言語表示システム、多言語表示方法及び多言語表示プログラム
JP2014509535A (ja) 注視点マッピング方法および装置
JP2017507386A (ja) 医療装置の追跡
JP2018512567A (ja) 検査室自動化のためのサイドビューサンプルチューブ画像におけるバーコードタグ検出
US20110224813A1 (en) Image processing device and image processing method
CN104571604A (zh) 信息处理设备及方法
EP3505972A1 (en) Method, apparatus and system for assisting security inspection
JP2019192168A (ja) 読取システム、読取方法、プログラム、及び記憶媒体
JP7355601B2 (ja) 計算装置、処理方法、プログラム、及び記憶媒体
US20220044147A1 (en) Teaching data extending device, teaching data extending method, and program
US20220346913A1 (en) Apparatus and method for generating virtual model
JP6915611B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP5604923B2 (ja) 注視点計測装置、注視点計測方法、プログラムおよび記憶媒体
KR20150027634A (ko) 평가 점수 산출 방법 및 장치
JP2007140729A (ja) 物品の位置及び姿勢を検出する方法および装置
JPH07282266A (ja) 物品識別システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18808728

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019521274

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20197034612

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2018808728

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2018808728

Country of ref document: EP

Effective date: 20200102