KR102344832B1 - 수술기구 검출 시스템 및 컴퓨터 프로그램 - Google Patents

수술기구 검출 시스템 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102344832B1
KR102344832B1 KR1020197034612A KR20197034612A KR102344832B1 KR 102344832 B1 KR102344832 B1 KR 102344832B1 KR 1020197034612 A KR1020197034612 A KR 1020197034612A KR 20197034612 A KR20197034612 A KR 20197034612A KR 102344832 B1 KR102344832 B1 KR 102344832B1
Authority
KR
South Korea
Prior art keywords
image
surgical instrument
object image
output
unit
Prior art date
Application number
KR1020197034612A
Other languages
English (en)
Other versions
KR20190141228A (ko
Inventor
타쿠야 카타야마
노부아키 스기이
Original Assignee
에이조 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이조 가부시키가이샤 filed Critical 에이조 가부시키가이샤
Publication of KR20190141228A publication Critical patent/KR20190141228A/ko
Application granted granted Critical
Publication of KR102344832B1 publication Critical patent/KR102344832B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/00624—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/28—Surgical forceps
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/08—Accessories or related features not otherwise provided for
    • A61B2090/0804—Counting number of instruments used; Instrument detectors
    • A61B2090/0805—Counting number of instruments used; Instrument detectors automatically, e.g. by means of magnetic, optical or photoelectric detectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

수술기구에 광학 판독용 기호 등의 특수한 가공을 실시하지 않고 수술기구의 종류를 판정할 수 있는 수술기구 검출 시스템을 제공한다. 수술기구 검출 시스템(100)은 카메라(1)에 의해 촬영된 화상을 입력하는 화상 입력부(31)와, 입력 화상으로부터 철강 소품의 오브젝트 화상을 잘라내는 오브젝트 추출부(32)와, 상기 오브젝트 화상을 분류용 학습된 모델(331)에 입력하고 상기 오브젝트 화상에 포함된 특징에 기초하여 상기 오브젝트 화상에 해당되는 상기 철강 소품의 종류를 판정하는 판정 처리부(33)와, 상기 판정 처리부에 의한 판정 결과를 나타내는 화상을 생성하고 모니터(2)에 출력하는 출력 화상 생성부(34)를 구비하고 있다.

Description

수술기구 검출 시스템 및 컴퓨터 프로그램
본 발명은 외과 수술 등에서 사용되는 수술기구를 검출하는 시스템에 관한 것이다.
외과 수술 시에는 겸자(鉗子)와 섭자(핀셋) 등의 수술기구가 다수 사용된다. 수술 중에 수술기구를 환자의 체내에 놔둔채 잊는 사태는, 있어서는 안 될 의료 과실이기 때문에 수술 시작 전에 수술기구의 종류와 개수를 계산하고 수술 종료 후에 수술기구가 모두 갖추어져 있는지 여부를 확인하는 것이 철저하게 되고 있다.
그러나 수술기구의 종류는 매우 많고 모양과 크기가 약간만 다른 매우 유사한 것이 다수 존재한다. 따라서 육안으로 수술기구의 종류를 정확히 가려내는 일은 숙련된 간호사라도 어렵다.
따라서, 종래는 철강 소품 등의 수술 기계에 바코드 등의 광학 판독용 기호를 부여하고 이를 이용하여 수술 기계의 종류를 식별할 수 있는 수술 기계 준비 시스템이 제안되고 있다(특허문헌 1). 또한, 이 특허문헌 1에 개시되어 있는 수술 기계 준비 시스템은 수술에 사용되는 수술 기계를 수술 전에 준비하기 위해 사용되는 것이며, 수술 후에 수술 기계가 갖추어져 있는지 여부를 확인하기 위한 것은 아니다.
일본특허공개 평 6-142105호 공보
그러나 하나 하나의 수술기구에 광학 판독용 기호를 부여하는 것은 특수한 가공 공정을 필요로 하기 때문에 수술기구의 제조 비용을 증가시킨다. 또한 하나 하나의 수술기구에서 판독 장치로 기호를 판독하는 것은 수고와 시간이 소요된다.
따라서, 본 발명은 수술기구에 광학 판독용 기호 등의 특수한 가공을 실시하지 않고 다종다양한 수술기구의 종류와 수를 용이하게 식별할 수 있는 수술기구 검출 시스템을 제공하는 것을 목적으로 한다.
상기의 과제를 해결하기 위하여, 본 발명에 따른 수술기구 검출 시스템은 카메라에 의해 촬영된 화상(畵像)을 입력하는 화상 입력부와, 입력 화상에서 수술기구의 오브젝트 화상을 잘라내는 오브젝트 추출부와, 상기 오브젝트 화상을 분류용 학습된 모델에 입력하고 상기 오브젝트 화상에 포함된 특징에 따라 상기 오브젝트 화상에 해당되는 수술기구의 종류를 판정하는 판정 처리부와 상기 판정 처리부에 의한 판정 결과를 나타내는 화상을 생성하여 모니터에 출력하는 출력 화상 생성부를 포함한다.
상기 구성에 의하면, 수술기구에 광학 판독용 기호 등의 특수한 가공을 실시하지 않고 다종다양한 수술기구의 종류와 수를 용이하게 식별할 수 있는 수술기구 검출 시스템을 제공할 수 있다.
도 1은 제1의 실시 형태에 따른 수술기구 검출 시스템의 하드웨어 구성의 개요를 나타내는 도면이다.
도 2는 제1의 실시 형태에 따른 수술기구 검출 시스템의 기능적인 개략 구성을 나타내는 블록도이다.
도 3은 제1의 실시 형태에 따른 수술기구 검출 시스템의 처리의 흐름을 나타내는 플로차트이다.
도 4는 모니터에의 출력예를 나타내는 모식도이다.
도 5는 모니터에의 출력예를 나타내는 모식도이다.
도 6은 모니터에의 출력예를 나타내는 모식도이다.
도 7은 제2의 실시 형태에 따른 수술기구 검출 시스템의 기능적인 개략 구성을 나타내는 블록도이다.
도 8은 모니터에의 출력예를 나타내는 모식도이다.
도 9는 모니터에의 출력예를 나타내는 모식도이다.
도 10은 제3의 실시 형태에 따른 수술기구 검출 시스템의 기능적인 개략 구성을 나타내는 블록도이다.
도 11은 제4의 실시 형태에 따른 수술기구 검출 시스템의 기능적인 개략 구성을 나타내는 블록도이다.
본 발명의 수술기구 검출 시스템의 제1의 구성은
카메라에 의해 촬영된 화상을 입력하는 화상 입력부와,
입력 화상으로부터 수술기구의 오브젝트 화상을 잘라내는 오브젝트 추출부와,
상기 오브젝트 화상을 분류용 학습된 모델에 입력하고 상기 오브젝트 화상에 포함된 특징에 따라 상기 오브젝트 화상에 해당되는 수술기구의 종류를 판정하는 판정 처리부와,
상기 판정 처리부에 의한 판정 결과를 나타내는 화상을 생성하고 모니터에 출력하는 출력 화상 생성부를 포함한다.
상기 제1의 구성에 의하면, 카메라로 촬영된 화상으로부터 수술기구의 오브젝트 화상을 잘라내어 학습된 모델을 이용하여 수술기구의 종류를 판정할 수 있다. 따라서 수술기구에 특별한 가공을 실시하지 않고 수술기구의 종류를 자동으로 판별할 수 있다.
제2의 구성은 상기 제1의 구성에 있어서,
상기 출력 화상 생성부가 수술기구의 종류를 나타내는 화상을 촬영 화상의 오브젝트 화상에 겹치도록 출력한다.
제2의 구성에 의하면, 모니터에 각각의 오브젝트 화상이 어떤 수술기구인지를 용이하게 인식할 수 있다.
제3의 구성은 상기 제1 또는 제2의 구성에 있어서,
상기 오브젝트 추출부가, 배경 화상과 촬영 화상에 있어서의 화소(畵素)마다의 색 공간 벡터의 비교에 기초하여 상기 오브젝트 화상의 잘라내기를 실시한다.
제3의 구성은 배경 화상을 미리 취득해 둘 필요가 있지만, 배경에 의존하지 않고 오브젝트 화상의 잘라내기를 실시할 수 있다.
제4의 구성은 상기 제1 또는 제2의 어느 하나의 구성에 있어서,
상기 오브젝트 추출부가 오브젝트 추출용 학습된 모델에 촬영 화상을 입력하여 촬영 화상에 포함된 특징에 기초하여 상기 오브젝트 화상의 잘라내기를 실시한다.
제4의 구성은 사전에 복수의 조명 조건에서의 오브젝트 추출을 학습시킴으로써 그림자나 색 온도 등 조명 조건의 영향을 받지 않고 오브젝트 화상의 잘라내기를 자동으로 실시할 수 있다.
제5의 구성은 상기 제1 또는 제2의 어느 하나의 구성에 있어서,
상기 오브젝트 추출부가 촬영 화상의 화소 데이터를 HSV 색공간의 데이터로 변환하고 색상과 채도(彩度)의 에지 정보에 기초하여 오브젝트 화상의 잘라내기를 실시한다.
제5의 구성에 의하면, 색상 및 채도는 휘도와 비교하여 그림자의 영향을 받기 어렵고, 색 온도의 변화 등과 같은 전체에 영향을 미치는 환경의 변화는 에지에 영향을 주지 않기 때문에 조명 조건의 영향을 받지 않고 오브젝트 화상의 잘라내기를 실시할 수 있다.
제6의 구성은 상기 제1 ~ 제5의 어느 하나의 구성에 있어서,
수술 시작 전의 수술기구의 종류 및 개수를, 수술 종료 후의 수술기구의 종류 및 개수와 대조하는 대조 처리부를 더 구비하고,
상기 출력 화상 생성부가 상기 대조 처리부에 의한 대조의 결과를 나타내는 화상을 생성하여 상기 모니터에 출력한다.
제6의 구성에 의하면, 수술 시작 전과 종료 후에 있어서 수술기구의 종류 및 수를 대조할 수 있기 때문에 수술 중에 수술기구를 환자의 체내에 놔둔채 잊는 의료 사고를 효과적으로 방지할 수 있게 된다.
본 발명의 한 형태로서의 컴퓨터 프로그램은
컴퓨터의 프로세서에 수술기구 검출 처리를 실행하는 컴퓨터 판독 가능한 프로그램이며,
상기 수술 기구 검출 처리가
카메라에 의해 촬영된 화상을 입력하는 화상 입력 처리와,
입력 화상으로부터 수술기구의 오브젝트 화상을 잘라내는 오브젝트 추출 처리와,
상기 오브젝트 화상을 분류용 학습된 모델에 입력하고 상기 오브젝트 화상에 포함된 특징에 기초하여 상기 오브젝트 화상에 해당되는 수술기구의 종류를 판정하는 판정 처리와,
상기 판정 처리부에 의한 판정 결과를 나타내는 화상을 생성하고 모니터에 출력하는 출력 화상 생성 처리를 포함한다.
본 발명의 한 형태로서 수술기구 검출 방법은
컴퓨터의 프로세서에 의해 실행되는 수술기구 검출 방법으로서,
카메라에 의해 촬영된 화상을 입력하는 단계;
입력 화상에서 수술기구의 오브젝트 화상을 잘라내는 단계와,
상기 오브젝트 화상을 분류용 학습된 모델에 입력하고 상기 오브젝트 화상에 포함된 특징에 기초하여 상기 오브젝트 화상이 상기 수술기구의 종류를 판정하는 단계와,
상기 판정의 결과를 나타내는 화상을 생성하고 모니터에 출력하는 단계를 포함한다.
[실시 형태]
이하, 도면을 참조하여 본 발명의 실시 형태를 상세히 설명한다. 도면 중 동일 또는 상당 부분에는 동일한 부호를 붙이고 그 설명은 반복하지 않는다. 덧붙여 설명을 알기 쉽게 하기 위해 다음에서 참조하는 도면에 있어서는 구성을 간략화 또는 모식화하여 나타내거나 일부의 구성 부재가 생략되기도 한다. 또한, 각 도에 나타낸 구성 부재 사이의 치수비는 반드시 실제의 치수비를 나타내는 것은 아니다.
[제1의 실시 형태]
이하, 제1의 실시 형태에 대해서 설명한다.
도 1은 제1의 실시 형태에 따른 수술기구 검출 시스템의 하드웨어 구성의 개요를 나타낸다. 본 실시 형태에 따른 수술기구 검출 시스템(100)은 수술기구 중 특히 철강 소품을 검출하는 철강 소품 검출 시스템이며, 도 1에 나타낸 바와 같이 카메라(1), 모니터(2), 컴퓨터(3), 키보드(4) 및 마우스(5)를 구비하고 있다.
카메라(1), 모니터(2), 키보드(4) 및 마우스(5)는 컴퓨터(3)에 연결되어 있다. 또한, 도 1에서는 키보드(4)와 마우스(5)를 구비한 구성을 예시하고 있지만, 모니터(2)로서 터치 패널 입력이 가능한 모니터를 사용하면 키보드 및 마우스를 생략할 수 있다. 또한 키보드 및 마우스 대신에 마이크를 구비하여 음성 입력으로 사용자로부터의 지시를 접수하는 컴퓨터를 사용하여도 좋다.
카메라(1), 모니터(2) 및 컴퓨터(3)는 카트(6)에 설치되어 있다. 카트(6)는 캐스터가 달린 다리부(61)를 구비하고 있다. 카트(6)의 지주(62)의 선단에는 암(arm)(63)이 설치되어 있으며, 암(63)이 카메라(1)를 유지하고 있다. 암(63)은 카메라(1)의 시야를 자유 자재로 조절하기 위해 2 축 이상의 회전축을 가지고 있는 것이 바람직하다. 카트(6)는 또한 테이블(64)을 구비하고 있으며 이 테이블(64)에 키보드(4)와 마우스(5)를 놓을 수 있다. 카트(6)는 또한 컴퓨터 지지대(65)를 구비하고 있으며 여기에 컴퓨터(3)를 설치할 수 있다.
이상의 구성을 갖는 수술기구 검출 시스템(100)은 카트(6)를 눌러 이동시킬 수 있으므로 수술실 등에 반입하여 도 1에 나타낸 바와 같이 수술기구가 재치된 기구 재치대(7)를 카메라(1)로 촬영한다. 카메라(1)로 촬영된 화상은 컴퓨터(3)에 전송되고, 화상 처리에 의해 철강 소품의 검출 처리가 실시된다.
도 2는 수술기구 검출 시스템(100)의 기능적인 구성을 나타내는 블록도이다. 또한, 도 2에 나타낸 블록도는 수술기구 검출 시스템의 기능을 블록으로 분류하고 개념적으로 나타낸 것으로서, 실제로 각각의 블록이 별개의 하드웨어로서 실장되는 것을 필요로 하는 것은 아니다. 각각의 블록은 컴퓨터(3)의 CPU가 소정의 프로그램을 실행하는 것에 의해 실현할 수 있다.
도 2에 나타낸 바와 같이 수술기구 검출 시스템(100)은 카메라(1)에서 촬영된 화상을 입력하는 화상 입력부(31)와, 입력 화상에서 철강 소품일 개연성이 높은 오브젝트의 화상을 잘라내는 오브젝트 추출부(32)와, 오브젝트 추출부(32)로 잘라낸 오브젝트 화상에서 철강 소품의 종류를 판정하는 처리를 실시하는 판정 처리부(33)와, 판정 처리부(33)에 의한 처리 결과를 나타내는 표시 화상을 생성하는 출력 화상 생성부(34)와, 상술한 각 부의 처리에 필요한 데이터가 저장되는 기억부(36)를 구비하고 있다.
여기서, 상기의 각부가 실시하는 처리의 절차를 도 3의 플로차트를 참조하면서 설명한다.
본 실시 형태에서는 오브젝트 추출부(32)는 철강 소품일 개연성이 높은 오브젝트의 화상을 잘라내기 위해, 화소치 비교 처리를 실시한다. 따라서 본 실시 형태에서, 수술기구를 재치하기 전에 기구 재치대(7)의 화상을 카메라(1)로 촬영하여 참조용 배경 화상으로 사용한다. 일반적으로 기구 재치대(7)에는 멸균 시트를 깔고 그 위에 수술기구를 배열한다. 따라서 수술기구를 배열하기 전에 촬영된 배경 화상에는 이 멸균 시트뿐인 화상이 포함된다. 카메라(1)로 촬영된 배경 화상은 화상 입력부(31)에 의해 기억부(36) 내의 배경 화상 기억부(361)에 저장된다(S1).
그 후, 수술에 사용되는 기구가 기구 재치대(7)에 세팅되면 다시 카메라(1)로 기구 재치대(7)의 화상을 촬영한다. 촬영된 화상은 화상 입력부(31)에 의해 기억부(36)의 촬영 화상 기억부(362)에 일시적으로 저장된다(S2). 또한 촬영된 화상은 도 4에 나타낸 바와 같이 출력 화상 생성부(34)에 의해 모니터(2)에 나타내어진다. 도 4의 예에서는 8 개의 겸자(91)가 기구 재치대(7)에 배열되어 있는 상태가 촬영되고 있다.
오브젝트 추출부(32)는 화소치 비교부(321)를 구비하고 있다. 화소치 비교부(321)는 기억부(36)에서 상기의 배경 화상과 촬영된 화상을 판독하고 각각의 화상에 포함된 화소의 RGB 벡터를 비교한다(S3). 오브젝트 추출부(32)는 또한 오브젝트 검출부(322)를 구비하고 있다. 오브젝트 검출부(322)는 배경 화상과 촬영 화상에서 양자의 RGB 벡터가 이루는 각도 또는 벡터의 크기의 차이가 소정의 임계값보다 큰 화소로 구성된 영역을 철강 소품의 오브젝트로 판단한다(S4). 촬영 화상에 포함된 화소 중 오브젝트를 구성하는 화소에는 촬영 화상 기억부(362)에서 오브젝트임을 나타내는 플래그가 부여된다.
또한, 도 5에 나타낸 바와 같이, 오브젝트 추출 결과를 모니터(2)에 표시하도록 해도 된다. 도 5에 나타낸 예에서는 촬영 화상에서 오브젝트로서 검출된 8 개의 겸자(91)의 각각의 주위에 오브젝트의 경계선(92)이 표시되어 있다.
오브젝트 추출부(32)에 의한 처리가 완료되면, 판정 처리부(33)가 딥 러닝을 적용한 분류용 학습된 모델(331)을 이용하여 추출된 오브젝트 등이 철강 소품에 해당되는지를 판정한다(S5).
이 분류용 학습된 모델은 다양한 철강 소품을 촬영한 화상을 대량으로 학습시켜 생성되어 있다. 철강 소품은 전체 또는 부분의 형상이나 색상 등의 특징에 따라 분류할 수 있다. 또한, 철강 소품은 빛의 입사 방향이 변화하면 그림자나 거울면 반사에 의한 휘도 변화가 크고 인식 정확도에 영향을 미치는 경우가 많다. 따라서 학습시키는 화상은 철강 소품에 대한 빛의 입사 조건을 다양하게 변화시켜 촬영하는 것이 바람직하다.
판정 처리부(33)는 오브젝트 추출부(32)에 의해 잘라낸 각 오브젝트 화상을 분류용 학습된 모델에 입력한다. 분류용 학습된 모델은 입력된 오브젝트 화상에 포함된 특징에 따라 오브젝트 화상이 어떤 철강 소품에 해당하는지를 판정하고, 판정 결과를 판정 정확도와 함께 출력한다. 이 판정 정확도는 오브젝트 화상이 그 철강 소품에 해당한다는 확실함을 나타내는 값이다.
판정 처리부(33)는 각 오브젝트 화상에 대한 판정 정확도가 소정값(예: 90%)보다 큰 경우, 그 오브젝트 화상의 판정 결과로 분류용 학습된 모델에서 출력된 철강 소품의 종류를 나타내는 데이터를 출력 화상 생성부(34)에 출력한다. 한편, 판정 정확도가 소정값 이하인 경우, 해당 오브젝트 화상의 판정 결과, "불명(不明)"을 출력 화상 생성부(34)에 출력한다.
출력 화상 생성부(34)는 판정 처리부(33)로부터 받은 판정 결과에 따라 모니터(2)의 출력 화상을 생성한다(S6). 출력 화상 생성부(34)는 예를 들어, 도 6에 나타낸 바와 같이 각각의 오브젝트를 둘러싸는 선과 판정 결과를 나타내는 텍스트(문자열)를 포함하는 화상을 생성하고 이를 촬영 화상에 겹치도록 모니터(2)에 표시한다. 여기에서 불명으로 출력된 오브젝트나 잘못 인식된 오브젝트가 있는 경우, 사용자의 수작업으로 판정 결과를 수정하고 확정한다. 그 결과를 분류용 학습된 모델에 피드백함으로써 모델의 업데이트를 실시하고 인식 정도(精度)를 향상시킬 수 있다.
예를 들어, 폐앙겸자(Pean forceps)는 선단부의 형상(직·곡)에 따라 분류할 수 있기 때문에 그들을 "폐앙겸자 직(直)" 또는 "폐앙겸자 곡(曲)"과 같이 텍스트로 표시한다. 도 6의 예에서는 오브젝트 화상의 모두가 "폐앙겸자 직"이라고 판정된 상태를 나타내고 있다.
이와 같이, 본 실시 형태의 수술기구 검출 시스템(100)에 의하면, 카메라(1)로 촬영한 화상에서 철강 소품의 오브젝트 화상을 잘라내어 각각의 오브젝트 화상에 대해 분류용 학습된 모델을 사용하여 철강 소품의 종류를 자동으로 판별할 수 있다. 이에 따라, 철강 소품에 광학 판독용 기호 등의 특별한 가공을 실시할 필요 없이 철강 소품의 종류를 정확히 알아낼 수 있게 된다.
[제2의 실시 형태]
제2의 실시 형태에 따른 수술기구 검출 시스템(200)은 제1의 실시 형태에 따른 수술기구 검출 시스템에 대해 수술 후에 철강 소품이 모두 갖추어져 있는지 여부를 판단하는 기능이 추가되어 있다.
따라서 수술기구 검출 시스템(200)은 도 7에 나타낸 바와 같이, 대조 처리부(35)를 더 구비하고 있다. 본 실시 형태에서는 수술이 종료된 후에, 회수된 철강 소품을 기구 재치대(7)에 올려놓고 카메라(1)로 촬영하고 제1의 실시 형태와 마찬가지로 촬영 화상에 포함된 철강 소품의 종류 및 개수를 검출한다. 대조 처리부(35)는 수술 전후의 철강 소품의 종류 및 개수를 대조하여 그 과부족을 검출한다.
수술기구 검출 시스템(200)에서는 기억부(36)에 수술 시작 전의 철강 소품의 종류와 수를 기억하기 위해 필요개수 기억부(363)를 더 구비하고 있다. 즉, 필요개수 기억부(363)에는 수술에 사용하기 위해 준비된 철강 소품의 종류와 종류별 개수가 기억되고 있다. 이 철강 소품의 종류와 개수는 수술 시작 전에 앞으로 사용하게 될 철강 소품을 기구 재치대(7)에 배열하여 카메라(1)로 촬영하고 판정 처리부(33)에 의해 검출된 종류와 개수를 필요개수 기억부(363)에 기억시켜 두는 것이 바람직하다. 또는 시스템에 의한 자동 검출을 실시하지 않고 키보드(4) 및 마우스(5)를 사용하여 앞으로 사용하게 될 철강 소품의 종류와 개수를 입력하도록 해도 된다.
도 8 및 도 9에 수술기구 검출 시스템(200)에서 모니터(2)로 표시되는 화면의 일례를 나타낸다. 도 8은 수술 종료 후에 카메라(1)에 의해 기구 재치대(7)에 배열된 철강 소품을 촬영한 후에 모니터(2)에 표시된 화면의 일례이다. 도 8에 예시된 화면에는 촬영화상 표시영역(81), 기구종류 표시란(82), 필요개수 표시란(83), 인식된 개수 표시란(84), 인식중 개수 표시란(85), 과부족 개수 표시란(86), 스크롤 바(87) 및 조작 버튼(88)이 표시되어 있다.
기구종류 표시란(82)에는 철강 소품의 종류가 표시되어 있다. 필요개수 표시란(83)에는 필요개수 기억부(363)에 기억된 데이터에 따라 수술 시작 전의 철강 소품의 개수가 종류별로 표시되어 있다. 인식된 개수 표시란(84), 인식중 개수 표시란(85) 및 과부족 개수 표시란(86)에는, 이 단계에서는 아무것도 표시되지 않는다. 조작 버튼(88)에는 "인식"이라는 코멘트가 표시되어 있다. 카메라(1)에 의한 촬영 화상이 촬영 화상 표시 영역(81)에 도입된 후 조작자가 조작 버튼(88)을 클릭하면 오브젝트 추출부(32) 및 판정 처리부(33)에 의한 처리가 개시된다.
그리고, 도 9에 나타낸 바와 같이, 촬영화상 표시영역(81)에는 촬영 화상에서 검출된 철강 소품의 각각의 오브젝트에 겹치도록 그 철강 소품의 종류가 텍스트 표시된다. 이 때, 조작 버튼(88)에는 "등록"이라는 코멘트가 표시된다. 인식중 개수 표시란(85)에는 판정 처리부(33)에 의해 그 종류에 해당하는 개연성이 높다고 판단된 오브젝트의 개수가 계산되어 있다. 여기에서 잘못된 인식이 있거나 불명으로 판정된 오브젝트가 있거나 할 경우에는 사용자가 판정 결과를 수정할 수 있다. 그리고 조작 버튼(88)을 클릭하면 인식중인 오브젝트의 판정 결과가 확정되어 인식된 개수 표시란(85)에 계산된다. 과부족 개수 표시란(86)에는 필요개수 표시란(83)에 표시되고 있는 개수로부터 인식된 개수 표시란(84)에 표시되는 개수를 뺀 값이 표시된다. 도 9의 예에서는 "폐앙겸자 단직(短直)", "폐앙겸자 장직(長直)", "폐앙겸자 장곡(長曲)", "섭자 무구중(攝子 無鉤中)"이라는 명칭이 붙여진 수술기구에 대한 판정 처리부(33)에 의한 판정 결과를 표시하고 있다. 또한 계산해야 할 모든 철강 소품에 대한 인식 및 등록 작업이 모두 무사히 완료되면 과부족 개수 표시란(86)에는 "0"이 표시되게 된다.
이상과 같이 본 실시 형태에 따르면, 수술 전후의 철강 소품의 종류와 개수가 일치하는지 여부를 화상 인식에 의해 자동으로 대조할 수 있다. 이에 따라 철강 소품에 특수한 가공을 실시하지 않고, 환자의 체내에 철강 소품을 놔두고 잊어버리지 않은지를 자동으로 체크하는 시스템을 제공할 수 있다.
[제3의 실시 형태]
제3의 실시 형태에 따른 수술기구 검출 시스템(300)은 도 10에 나타낸 바와 같이, 제1의 실시 형태의 오브젝트 추출부(32) 대신에 오브젝트 추출부(32A)를 구비하고 있다. 오브젝트 추출부(32A)는 딥 러닝을 적용한 오브젝트 추출용 학습된 모델(321A)을 이용하여 철강 소품의 개연성이 높은 오브젝트 화상의 추출을 실시한다. 이러한 오브젝트 추출용 학습된 모델은 기구 재치대(7)의 멸균 시트 위에 철강 소품을 올려놓고 촬영한 화상을 대량으로 학습시킴으로써 얻을 수 있다.
즉, 오브젝트 추출용 학습된 모델은 철강 소품의 종류의 판정에 사용되는 분류용 학습된 모델과 달리 소정의 화소(또는 화소 영역)가 철강 소품의 화상의 일부인지 배경(멸균 시트)인지를 판단하기 위한 학습 모델이다.
이와 같이, 본 실시 형태에서는 오브젝트 화상을 잘라낼 시에도 학습된 모델을 사용하는 점에서 제1의 실시 형태와 다르다.
그러나, 본 실시 형태에 따르면, 제1의 실시 형태와는 달리 배경 화상만을 촬영하는 공정이 불필요하다. 또한 오브젝트 추출용 학습된 모델로서 충분히 학습된 모델을 이용하여 오브젝트 화상을 정밀하게 잘라낼 수 있다.
또한, 제2의 실시 형태의 오브젝트 추출부(32) 대신에 상기의 오브젝트 추출부(32A)를 구비한 구성으로 하여도 된다.
[제4의 실시 형태]
본 실시 형태에 따른 수술기구 검출 시스템(400)은 도 11에 나타낸 바와 같이, 제1의 실시 형태의 오브젝트 추출부(32) 대신에 오브젝트 추출부(32B)를 구비하고 있다. 오브젝트 추출부(32B)는 변환부(321B)와 에지 검출부(322B)를 구비하고 있다.
오브젝트 추출부(32B)는, 배경이 되는 멸균 시트가 일반적으로는 청색계열의 것이 사용되는 반면, 철강 소품이 은색, 흑색 등 HSV 색공간에 있어서의 채도가 낮은 것이 사용되고 있는 점을 이용하여 오브젝트를 검출한다. 변환부(321B)는 입력된 촬영 화상의 RGB 데이터를 HSV 색공간 데이터로 변환한다. 에지 검출부(322B)는 색상 및 채도 데이터에 기초하여 오브젝트의 에지(경계선)를 검출한다. 에지의 검출 방법으로는 기존의 다양한 방법이 알려져 있기 때문에 특별히 한정되지 않지만, 예를 들면 Canny 법 등을 이용할 수 있다. 또한 RGB 데이터를 HSV 색공간 데이터로 변환하고, 색상 및 채도 데이터에 기초하여 에지 추출을 실시하는 것에 따라 주위의 빛의 상황이 변화하는 것에 의한 그림자의 영향을 억제할 수 있다. RGB의 휘도 데이터와 HSV의 명도 데이터는 그림자의 영향을 받지만, 색상 및 채도는 그에 비하면 그림자의 영향을 받지 않기 때문이다.
또한, 제2의 실시 형태의 오브젝트 추출부(32) 대신에 상기의 오브젝트 추출부(32B)를 구비한 구성으로 하여도 된다.
이상, 본 발명의 여러 실시 형태를 설명하였지만, 본 발명의 실시 형태는 이상의 구체적인 예에만 한정되지 않고 다양한 변경이 가능하다. 또한, 각 실시 형태에서 설명한 기능을 적절히 조합하여 본 발명을 실시할 수 있다.
예를 들어, 상기의 실시 형태에서 수술기구 중 특히 철강 소품을 검출하는 수술기구 검출 시스템에 대해 설명했지만, 철강 소품 외에도, 철강 소품과 동등한 표면 마무리가 된 경금속제의 수술기구, 또는 예를 들면 카본제 또는 수지제의 다른 재료로 형성되는 수술기구의 검출에 대해서도 본 발명을 적용하는 것이 가능하다.
또한 상기의 설명에서는 서버나 컴퓨터에 실제 설치되는 시스템으로 수술기구 검출 시스템의 실시 형태를 설명했다. 그러나 범용 서버나 컴퓨터에 상술한 각 블록의 기능을 실현시키기 위한 컴퓨터 프로그램 및 그것을 기록한 기록 매체도 본 발명의 실시의 일 양태에 포함된다.
즉, 상기 실시 형태의 각 기능 블록의 처리의 일부 또는 전부는 프로그램에 의해 실현되는 것이라도 된다. 그리고, 상기 실시 형태의 각 기능 블록의 처리의 일부 또는 전부는 컴퓨터에서 중앙처리장치(CPU)에 의해 실시된다. 또는 GPU(Graphics Processing Unit), TPU(Tensor Processing Unit) 또는 FPGA(Field Programmable Gate Array) 등의 코프로세서를 이용하는 것도 가능하다. 또한 각각의 처리를 실시하기 위한 프로그램은 하드 디스크, ROM 등의 기억 장치에 저장되어 있으며, ROM에서 또는 RAM에 판독되어 실행된다.
또한, 상기 실시 형태의 각 처리를 하드웨어로 실현해도 되고, 소프트웨어(OS(오퍼레이팅 시스템), 미들웨어, 또는 소정의 라이브러리와 함께 실현되는 경우를 포함한다)에 의해 실현해도 된다. 또한 소프트웨어 및 하드웨어의 혼재(混在) 처리에 의해 실현해도 된다.
또한, 상기 실시 형태에 있어서의 처리 방법의 실행 순서는 반드시 상기 실시 형태의 기재에 제한되는 것이 아니라, 발명의 요지를 이탈하지 않는 범위에서 실행 순서를 바꾸어도 된다.
전술한 방법을 컴퓨터에 실행시키는 컴퓨터 프로그램 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체는 본 발명의 범위에 포함된다. 여기에서 컴퓨터 판독 가능한 기록 매체로는 예를 들면, 플렉시블 디스크, 하드 디스크, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD(Blu-ray Disc), 반도체 메모리를 들 수 있다.
상기 컴퓨터 프로그램은 상기 기록 매체에 기록된 것에 한정되지 않고, 전기 통신 회선, 무선 또는 유선 통신 회선, 인터넷을 대표로 하는 네트워크 등을 통해 전송되는 것이어도 된다.
1: 카메라, 2: 모니터, 3: 컴퓨터, 4: 키보드, 5: 마우스, 6: 카트, 7: 기구 재치대, 31: 화상 입력부, 32: 오브젝트 추출부, 33: 판정 처리부, 34: 출력 화상 생성부, 35: 대조 처리부, 36: 기억부, 100, 200, 300, 400: 수술기구 검출 시스템

Claims (8)

  1. 카메라에 의해 촬영된 화상을 입력하는 화상 입력부와,
    입력 화상으로부터 수술기구의 오브젝트 화상을 잘라내는 오브젝트 추출부와,
    상기 오브젝트 화상을 분류용 학습된 모델에 입력하고 상기 오브젝트 화상에 포함된 특징에 기초하여 상기 오브젝트 화상에 해당되는 수술기구의 종류의 결과와 정확도를 판정하는 판정 처리부와,
    상기 판정 처리부에 의한 판정 결과와 정확도를 나타내는 화상을 생성하여 모니터에 출력하는 출력 화상 생성부를 구비하고,
    상기 판정 처리부는, 상기 오브젝트 화상에 대한 상기 정확도가 소정값보다 큰 경우에는, 상기 오브젝트 화상의 판정 결과로서 상기 분류용 학습된 모델로부터 출력된 상기 수술기구의 종류를 나타내는 데이터를 상기 출력 화상 생성부에 출력하고, 상기 오브젝트 화상에 대한 상기 정확도가 소정값 이하인 경우에는, 상기 오브젝트 화상의 판정 결과로서 "불명"을 상기 출력 화상 생성부에 출력하고,
    상기 "불명"으로 출력된 오브젝트나 잘못 인식된 오브젝트가 있는 경우, 상기 판정 결과의 수정을 사용자로부터 접수하고, 상기 분류용 학습된 모델을 업데이트하는, 수술기구 검출 시스템.
  2. 제1항에 있어서,
    상기 출력 화상 생성부가 상기 수술기구의 종류를 나타내는 화상을 촬영 화상의 상기 오브젝트 화상에 겹치도록 출력하는 수술기구 검출 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 오브젝트 추출부가 배경 화상과 촬영 화상에 있어서의 화소(畵素)마다의 색 공간 벡터의 비교에 기초하여 상기 오브젝트 화상의 잘라내기를 실시하는 수술기구 검출 시스템.
  4. 제1항 또는 제2항에 있어서,
    상기 오브젝트 추출부가 오브젝트 추출용 학습된 모델에 촬영 화상을 입력하고 상기 촬영 화상에 포함된 특징에 기초하여 상기 오브젝트 화상의 잘라내기를 실시하는 수술기구 검출 시스템.
  5. 제1항 또는 제2항에 있어서,
    상기 오브젝트 추출부가 촬영 화상의 화소 데이터를 HSV 색공간 데이터로 변환하고 색상 및 채도의 에지 정보에 기초하여 오브젝트 화상의 잘라내기를 실시하는 수술기구 검출 시스템.
  6. 제1항 또는 제2항에 있어서,
    수술 시작 전의 수술기구의 종류 및 개수를, 수술 종료 후의 수술기구의 종류 및 개수와 대조하는 대조 처리부를 더 구비하고,
    상기 출력 화상 생성부가 상기 대조 처리부에 의한 대조의 결과를 나타내는 화상을 생성하여 상기 모니터에 출력하는 수술기구 검출 시스템.
  7. 컴퓨터의 프로세서에 수술기구 검출 처리를 실행시키는 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체에 있어서,
    상기 수술 기구 검출 처리가,
    상기 컴퓨터의 화상 입력부가 카메라에 의해 촬영된 화상을 입력하는 화상 입력 처리와,
    상기 컴퓨터의 오브젝트 추출부가 입력 화상으로부터 수술기구의 오브젝트 화상을 잘라내는 오브젝트 추출 처리와,
    상기 컴퓨터의 판정 처리부가 상기 오브젝트 화상을 분류용 학습된 모델에 입력하고 상기 오브젝트 화상에 포함된 특징에 기초하여 상기 오브젝트 화상에 해당되는 수술기구의 종류의 결과와 정확도를 판정하는 판정 처리와,
    상기 컴퓨터의 출력 화상 생성부가 상기 판정 처리에 의한 판정 결과와 정확도를 나타내는 화상을 생성하여 모니터에 출력하는 출력 화상 생성 처리와,
    상기 판정 처리에서, 상기 오브젝트 화상에 대한 상기 정확도가 소정값보다 큰 경우에는, 상기 오브젝트 화상의 판정 결과로서 상기 분류용 학습된 모델로부터 출력된 상기 수술기구의 종류를 나타내는 데이터를 상기 출력 화상 생성부에 출력하고, 상기 오브젝트 화상에 대한 상기 정확도가 소정값 이하인 경우에는, 상기 오브젝트 화상의 판정 결과로서 "불명"을 상기 출력 화상 생성부에 출력하고,
    상기 "불명"으로 출력된 오브젝트나 잘못 인식된 오브젝트가 있는 경우, 상기 프로세서에 의한, 상기 판정 결과의 수정을 사용자로부터 접수하는 처리 및 상기 분류용 학습된 모델의 업데이트 처리를 포함하는 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체.
  8. 컴퓨터의 프로세서에 의해 실행되는 수술기구 검출 방법으로서,
    카메라에 의해 촬영된 화상을 입력하는 단계,
    입력 화상으로부터 수술기구의 오브젝트 화상을 잘라내는 단계와,
    상기 오브젝트 화상을 분류용 학습된 모델에 입력하고 상기 오브젝트 화상에 포함된 특징에 기초하여 상기 오브젝트 화상에 해당되는 수술기구의 종류의 결과와 정확도를 판정하는 단계와,
    상기 판정의 결과와 정확도를 나타내는 화상을 생성하여 모니터에 출력하는 단계를 포함하고,
    상기 오브젝트 화상에 해당되는 수술기구의 종류의 결과와 정확도를 판정하는 단계에서, 상기 오브젝트 화상에 대한 상기 정확도가 소정값보다 큰 경우에는, 상기 오브젝트 화상의 판정 결과로서 상기 분류용 학습된 모델로부터 출력된 상기 수술기구의 종류를 나타내는 데이터를 상기 모니터에 출력하고, 상기 오브젝트 화상에 대한 상기 정확도가 소정값 이하인 경우에는, 상기 오브젝트 화상의 판정 결과로서 "불명"을 상기 모니터에 출력하고,
    상기 "불명"으로 출력된 오브젝트나 잘못 인식된 오브젝트가 있는 경우, 상기 판정 결과의 수정을 사용자로부터 접수하고, 상기 분류용 학습된 모델을 업데이트하는 단계를 포함하는 수술기구 검출 방법.
KR1020197034612A 2017-05-31 2018-05-30 수술기구 검출 시스템 및 컴퓨터 프로그램 KR102344832B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-107892 2017-05-31
JP2017107892 2017-05-31
PCT/JP2018/020782 WO2018221599A1 (ja) 2017-05-31 2018-05-30 手術器具検出システムおよびコンピュータプログラム

Publications (2)

Publication Number Publication Date
KR20190141228A KR20190141228A (ko) 2019-12-23
KR102344832B1 true KR102344832B1 (ko) 2021-12-28

Family

ID=64455477

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197034612A KR102344832B1 (ko) 2017-05-31 2018-05-30 수술기구 검출 시스템 및 컴퓨터 프로그램

Country Status (6)

Country Link
US (1) US11256963B2 (ko)
EP (1) EP3633607A4 (ko)
JP (1) JP6695502B2 (ko)
KR (1) KR102344832B1 (ko)
CN (1) CN110678902A (ko)
WO (1) WO2018221599A1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110446473A (zh) * 2017-03-29 2019-11-12 索尼奥林巴斯医疗解决方案公司 医疗观察设备和控制方法
US10223611B1 (en) * 2018-03-08 2019-03-05 Capital One Services, Llc Object detection using image classification models
JP7269013B2 (ja) * 2019-01-09 2023-05-08 川崎重工業株式会社 誤認識を抑制可能な画像認識システムおよび画像認識方法
JP7236276B2 (ja) * 2019-01-16 2023-03-09 キヤノンメドテックサプライ株式会社 情報処理システム、及びその制御方法、プログラム
EP3699925A1 (en) 2019-02-25 2020-08-26 Koninklijke Philips N.V. Camera assisted subject support configuration
US11593931B2 (en) * 2020-06-09 2023-02-28 Howmedica Osteonics Corp. Surgical kit inspection systems and methods for inspecting surgical kits having parts of different types
CN112712016B (zh) * 2020-12-29 2024-01-26 上海微创医疗机器人（集团）股份有限公司 手术器械识别方法、识别平台及医疗机器人系统
CN113212889B (zh) * 2021-02-26 2023-11-03 深圳市云鼠科技开发有限公司 包装视觉检漏装置、方法、计算机设备及存储介质
GB2606520A (en) * 2021-05-07 2022-11-16 Scalpel Ltd Computer-implemented method and system for identifying objects in an environment
CN114494406B (zh) * 2022-04-13 2022-07-19 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置、终端及计算机可读存储介质
JP7440164B1 (ja) 2024-01-16 2024-02-28 丸木医科器械株式会社 個体物品管理システム、個体物品管理方法、及び、個体物品管理プログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5610811A (en) 1992-11-09 1997-03-11 Niti-On Medical Supply Co., Ltd. Surgical instrument file system
JPH06142105A (ja) 1992-11-09 1994-05-24 Nichion Irika Kikai Seisakusho:Kk 手術器械準備システム
JP2002032751A (ja) * 2000-07-18 2002-01-31 Olympus Optical Co Ltd 学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体
US7050613B2 (en) * 2002-11-07 2006-05-23 Fujitsu Limited Method for supporting cell image analysis
US9636188B2 (en) * 2006-03-24 2017-05-02 Stryker Corporation System and method for 3-D tracking of surgical instrument in relation to patient body
US8631489B2 (en) * 2011-02-01 2014-01-14 Damballa, Inc. Method and system for detecting malicious domain names at an upper DNS hierarchy
CN103718172A (zh) * 2011-09-21 2014-04-09 株式会社尼康 图像处理装置、程序、图像处理方法及摄像装置
EP2811459B1 (en) 2012-01-30 2020-02-19 NEC Corporation Information processing system, information processing method, information processing device, and control method and control program therefor, and communication terminal, and control method and control program therefor
US20140081659A1 (en) * 2012-09-17 2014-03-20 Depuy Orthopaedics, Inc. Systems and methods for surgical and interventional planning, support, post-operative follow-up, and functional recovery tracking
US20140108086A1 (en) * 2012-10-15 2014-04-17 Fluor Technologies Corporation Project categorization and assessment through multivariate analysis
US20140160264A1 (en) * 2012-12-10 2014-06-12 The Johns Hopkins University Augmented field of view imaging system
FR3004330B1 (fr) * 2013-04-10 2016-08-19 Analytic - Tracabilite Hospitaliere Tracabilite des instruments chirurgicaux dans une enceinte hospitaliere
EP3018900A4 (en) 2013-07-05 2016-07-27 Panasonic Ip Man Co Ltd PROJECTION SYSTEM
JP6291844B2 (ja) * 2014-01-06 2018-03-14 日本電気株式会社 データ処理装置
US20160287337A1 (en) * 2015-03-31 2016-10-06 Luke J. Aram Orthopaedic surgical system and method for patient-specific surgical procedure
GB201517462D0 (en) * 2015-10-02 2015-11-18 Tractable Ltd Semi-automatic labelling of datasets
US20170132785A1 (en) * 2015-11-09 2017-05-11 Xerox Corporation Method and system for evaluating the quality of a surgical procedure from in-vivo video
US9760700B2 (en) * 2015-12-03 2017-09-12 Google Inc. Image based CAPTCHA challenges
CN114019990A (zh) * 2016-02-24 2022-02-08 深圳市大疆创新科技有限公司 用于控制可移动物体的系统和方法
US20190056498A1 (en) * 2016-03-01 2019-02-21 Brightway Vision Ltd. Gated imaging apparatus, system and method
JP6656987B2 (ja) * 2016-03-30 2020-03-04 株式会社エクォス・リサーチ 画像認識装置、移動体装置、及び画像認識プログラム
US10973585B2 (en) * 2016-09-21 2021-04-13 Alcon Inc. Systems and methods for tracking the orientation of surgical tools
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US10586079B2 (en) * 2016-12-23 2020-03-10 Soundhound, Inc. Parametric adaptation of voice synthesis
US11829848B2 (en) * 2017-05-09 2023-11-28 Microsoft Technology Licensing, Llc Adding negative classes for training classifier
US10019654B1 (en) * 2017-06-28 2018-07-10 Accenture Global Solutions Limited Image object recognition
US10930395B2 (en) * 2018-11-23 2021-02-23 Asheleigh Adeline Mowery System for surgical decisions using deep learning

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Liu, Xian-Heng, Chung-Hung Hsieh, Jiann-Der Lee, Shin-Tseng Lee, and Chieh-Tsai Wu. "A vision-based surgical instruments classification system." In 2014 International Conference on Advanced Robotics and Intelligent Systems (ARIS), IEEE, pp. 72-77. 2014년 6월 6일.*
Tan, Jie, Shuyi Wang, Huifang Wang, and Jiakuan Zheng. "A new method of surgical instruments automatic identification and counting." In 2011 4th International Congress on Image and Signal Processing, IEEE, vol. 4, pp. 1797-1800. 2011년 10월 15일.*

Also Published As

Publication number Publication date
JPWO2018221599A1 (ja) 2020-03-26
KR20190141228A (ko) 2019-12-23
EP3633607A1 (en) 2020-04-08
CN110678902A (zh) 2020-01-10
US11256963B2 (en) 2022-02-22
US20200193241A1 (en) 2020-06-18
WO2018221599A1 (ja) 2018-12-06
JP6695502B2 (ja) 2020-05-20
EP3633607A4 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
KR102344832B1 (ko) 수술기구 검출 시스템 및 컴퓨터 프로그램
KR102028563B1 (ko) 영상 처리를 이용한 발 사이즈 및 모양 측정 방법
JP4537104B2 (ja) マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
KR101346539B1 (ko) 얼굴들을 상관시킴으로써 디지털 이미지들을 구조화하기
CN109426835B (zh) 信息处理装置、信息处理装置的控制方法和存储介质
EP2284797B1 (en) Image processing apparatus and image processing method
US11521109B2 (en) Information processing apparatus and method of controlling information processing apparatus
JP6491959B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN105009170A (zh) 物体识别设备、方法和存储介质
JP6609345B2 (ja) 読取システム、読取方法、プログラム、及び記憶媒体
WO2015074521A1 (en) Devices and methods for positioning based on image detection
US20220346913A1 (en) Apparatus and method for generating virtual model
US20210093227A1 (en) Image processing system and control method thereof
JP7355601B2 (ja) 計算装置、処理方法、プログラム、及び記憶媒体
JP2006309405A (ja) メータ認識システム、メータ認識方法、およびメータ認識プログラム
JP5769559B2 (ja) 画像処理装置、画像処理プログラム、ロボット装置及び画像処理方法
US20210118118A1 (en) Image processing apparatus, image processing method, and storage medium
EP1202213A2 (en) Document format identification apparatus and method
JP7028729B2 (ja) 物体追跡装置、物体追跡システム、および物体追跡方法
US20220188992A1 (en) Image processing apparatus, image processing method, and storage medium
JP5815434B2 (ja) マニュアル作成支援装置及びマニュアル作成支援方法
JP2015176252A (ja) 画像処理装置および画像処理方法
US20170154439A1 (en) Information processing apparatus, information processing system, information processing method, and recording medium
JP2021152696A (ja) 情報処理装置及びプログラム
JP6108437B2 (ja) 指方向特定システム、指方向特定方法、及びそのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant