KR102544629B1 - 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치 및 방법 - Google Patents

수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치 및 방법 Download PDF

Info

Publication number
KR102544629B1
KR102544629B1 KR1020200183555A KR20200183555A KR102544629B1 KR 102544629 B1 KR102544629 B1 KR 102544629B1 KR 1020200183555 A KR1020200183555 A KR 1020200183555A KR 20200183555 A KR20200183555 A KR 20200183555A KR 102544629 B1 KR102544629 B1 KR 102544629B1
Authority
KR
South Korea
Prior art keywords
surgical
tool
event
video
information
Prior art date
Application number
KR1020200183555A
Other languages
English (en)
Other versions
KR20210083201A (ko
Inventor
김덕석
Original Assignee
주식회사 엠티이지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠티이지 filed Critical 주식회사 엠티이지
Publication of KR20210083201A publication Critical patent/KR20210083201A/ko
Application granted granted Critical
Publication of KR102544629B1 publication Critical patent/KR102544629B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Surgery (AREA)
  • Primary Health Care (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Urology & Nephrology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 방법은, 입력된 수술 동영상에 포함된 복수의 프레임 중에서 소정의 도구가 포함된 도구 등장 프레임 및 소정의 이벤트가 발생한 이벤트 발생 프레임 중 적어도 일부를 포함하는 영상 구간을 선정하는 단계, 상기 영상 구간 내에서 상기 도구의 이동 경로를 트래킹하여 도구 궤적 정보를 획득하는 단계, 상기 영상 구간 내에서의 색상 변화 정보에 기초하여 이벤트 분석 정보를 획득하는 단계 및 상기 도구 궤적 정보 및 상기 이벤트 분석 정보에 기초하여 상기 영상 구간에서 수행된 수술자의 수술 행위를 도출하는 단계를 포함할 수 있다.

Description

수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치 및 방법{APPARATUS AND METHOD FOR INFERRING SURGERY BEHAVIOR BASED ON IMAGE ANALYSIS OF SURGERY VIDEO}
본원은 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치 및 방법에 관한 것이다.
최근 들어 카메라가 부착된 내시경 장비들이 다양한 분야에서 사용되고, 대상자의 체내에 삽입되거나 시술 또는 수술 현장을 촬영하는 영상 장비들이 소형화, 보편화되면서 내외과적 수술에서 수술 동영상을 획득하는 경우가 많아지고 있으나, 이렇게 획득된 수술 동영상은 학술대회 발표 등의 극히 제한적인 상황에서만 활용될 뿐이다.
또한, 최근 들어 빅 데이터, 인공 지능의 발달로 수많은 의료 관련 문서 기록과 사진들이 중요한 의료 정보로 발전하고 있으며, 문서 못지 않게 영상 자료도 방대하게 확보되고 있으나 영상 자료들을 임상에서 활용하는 경우는 극히 드문 실정이다.
또한, 수술 동영상에는 전문적 의료 행위 데이터가 내재되어 있어 의학 교육 및 학술 연구 자료로써의 가치가 높아 수술 동영상에 대한 분석을 통해 수술 과정에서 발생하는 중요한 행위를 데이터화 한다면, 술기 표준, 수술 위험도 예측 모델 수립, 수술 평가 및 검증 모델 등을 수립할 수 있다.
그러나, 외과 수술 등에 있어서 수술에 소요되는 시간이 긴 경우가 많기 때문에, 해당 수술에 대한 수술 동영상의 길이, 용량도 커지게 되는 경우가 많다. 따라서, 확보된 수술 동영상으로부터 해당 수술에서 중요도가 높은 수술 행위가 포함된 구간을 선별하여 확인하거나 특정 도구가 등장하는 구간을 선별하여 시청하기 위해서는 시청자가 긴 시간의 수술 동영상을 일일이 확인하여 탐색하고자 하는 수술 행위 또는 특정 도구를 직접 찾아야 하는 번거로움이 있었다.
따라서, 수술 동영상을 분석하여 사용자가 시청하고자 하는 수술 행위가 나타나는 구간이나 특정 수술 도구가 등장하는 구간을 인공지능 기반의 영상 분석 등을 통해 자동으로 탐색하여 줌으로써 수술 동영상의 활용도 및 시청 편의성을 개선할 수 있는 고도화 기법의 개발이 요구된다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1658002호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 수술 동영상 내에서 등장하는 도구의 움직임에 대한 정보와 소정의 수술 이벤트의 발생을 식별하여 영상 구간 별로 수술자에 의해 수행된 수술 행위를 도출할 수 있는 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 방법은, 입력된 수술 동영상에 포함된 복수의 프레임 중에서 소정의 도구가 포함된 도구 등장 프레임 및 소정의 이벤트가 발생한 이벤트 발생 프레임 중 적어도 일부를 포함하는 영상 구간을 선정하는 단계, 상기 영상 구간 내에서 상기 도구의 이동 경로를 트래킹하여 도구 궤적 정보를 획득하는 단계, 상기 영상 구간 내에서의 색상 변화 정보에 기초하여 이벤트 분석 정보를 획득하는 단계 및 상기 도구 궤적 정보 및 상기 이벤트 분석 정보에 기초하여 상기 영상 구간에서 수행된 수술자의 수술 행위를 도출하는 단계를 포함할 수 있다.
또한, 상기 도구 궤적 정보는 상기 영상 구간에서 등장하는 상기 도구의 유형을 포함할 수 있다.
또한, 상기 이벤트 분석 정보는 상기 영상 구간에서 등장하는 상기 이벤트의 유형 및 상기 이벤트의 발생 위치를 포함할 수 있다.
또한, 상기 수술 행위는, 흡입(Suction), 세척(Irrigation), 절개(Dissection), 커팅(Cut), 결찰(Ligation), 클리핑(Clipping), 지혈(Bleeding control), 봉합(Suture) 및 박리(Detachment) 중 적어도 하나를 포함할 수 있다.
또한, 상기 이벤트는, 출혈(Bleeding), 스모킹(Smoking), 비등(Boiling) 및 스파클링(Sparkling) 중 적어도 하나를 포함할 수 있다.
또한, 상기 이벤트 분석 정보를 획득하는 단계는, 상기 색상 변화 정보 및 상기 도구 궤적 정보에 기초하여 상기 이벤트의 유형을 식별할 수 있다.
또한, 상기 이벤트 분석 정보를 획득하는 단계는, 상기 도구와 수술 대상 부위의 접촉 영역에서의 상기 색상 변화 정보에 기초하여 상기 이벤트의 유형을 식별할 수 있다.
또한, 상기 이벤트 분석 정보를 획득하는 단계는, 상기 색상 변화 정보에 기초하여 수술 대상 부위 주변의 물질을 식별하고, 상기 물질의 체적 변화에 기초하여 상기 이벤트 분석 정보를 도출할 수 있다.
또한, 본원의 일 실시예에 따른 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 방법은, 상기 영상 구간에 대응하는 클립 영상을 생성하는 단계를 포함할 수 있다.
또한, 상기 클립 영상을 생성하는 단계는, 상기 수술 행위, 상기 도구의 유형 및 상기 이벤트 분석 정보 중 적어도 하나를 상기 클립 영상에 대한 주석(Annotation)으로 삽입하여 상기 클립 영상을 저장할 수 있다.
또한, 상기 영상 구간을 선정하는 단계는, 상기 도구가 상기 수술 동영상 내에서 미등장한 상태에서 등장한 상태로 전환된 등장 프레임으로부터 해당 도구가 등장한 상태에서 미등장한 상태로 전환된 퇴장 프레임까지의 복수의 프레임을 상기 도구 등장 프레임으로 선별할 수 있다.
또한, 본원의 일 실시예에 따른 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 방법은, 도구별 상기 도구 등장 프레임에 기초하여 상기 도구 각각에 대한 상기 등장 프레임부터 상기 퇴장 프레임까지의 시간 구간을 표시한 타임 라인을 시각화 하는 단계를 포함할 수 있다.
한편, 본원의 일 실시예에 따른 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치는, 입력된 수술 동영상에 포함된 복수의 프레임 중에서 소정의 도구가 포함된 도구 등장 프레임 및 소정의 이벤트가 발생한 이벤트 발생 프레임 중 적어도 일부를 포함하는 영상 구간을 선정하는 구간 설정부, 상기 영상 구간 내에서 상기 도구의 이동 경로를 트래킹하여 도구 궤적 정보를 획득하는 도구 분석부, 상기 영상 구간 내에서의 색상 변화 정보에 기초하여 이벤트 분석 정보를 획득하는 이벤트 분석부 및 상기 도구 궤적 정보 및 상기 이벤트 분석 정보에 기초하여 상기 영상 구간에서 수행된 수술자의 수술 행위를 도출하는 행위 추론부를 포함할 수 있다.
또한, 상기 이벤트 분석부는, 상기 색상 변화 정보 및 상기 도구 궤적 정보에 기초하여 상기 이벤트의 유형을 식별하되, 상기 도구와 수술 대상 부위의 접촉 영역에서의 상기 색상 변화 정보에 기초하여 상기 이벤트의 유형을 식별할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 수술 동영상 내에서 등장하는 도구의 움직임에 대한 정보와 소정의 수술 이벤트의 발생을 식별하여 영상 구간 별로 수술자에 의해 수행된 수술 행위를 도출할 수 있는 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치 및 방법을 제공할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치를 포함하는 수술 동영상 제공 시스템의 개략적인 구성도이다.
도 2는 수술 동영상으로부터 영상 내에 등장하는 소정의 도구를 식별하는 것을 설명하기 위한 도면이다.
도 3은 수술 동영상으로부터 식별 가능한 수술 도구의 유형을 예시적으로 나타낸 도면이다.
도 4는 수술 동영상으로부터 소정의 이벤트 발생을 식별하는 것을 설명하기 위한 도면이다.
도 5a 내지 도 5c는 도구 궤적 정보 및 이벤트 분석 정보에 기초하여 소정의 영상 구간에서 수행된 수술 행위를 도출하는 프로세스를 설명하기 위한 도면이다.
도 6a 내지 도 6c는 도구의 등장 정보 및 이벤트의 발생 정보에 기초하여 수술 동영상에 대한 평가 정보를 생성하는 프로세스를 설명하기 위한 도면이다.
도 6d는 클립 영상을 생성하고, 이에 대한 주석을 삽입하여 수술 동영상을 제공하는 인터페이스를 설명하기 위한 도면이다.
도 7은 본원의 일 실시예에 따른 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치의 개략적인 구성도이다.
도 8은 본원의 일 실시예에 따른 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치 및 방법에 관한 것이다.
도 1은 본원의 일 실시예에 따른 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치를 포함하는 수술 동영상 제공 시스템의 개략적인 구성도이다.
도 1을 참조하면, 수술 동영상 제공 시스템(10)은 본원의 일 실시예에 따른 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치(100)(이하, '수술 행위 추론 장치(100)'라 한다.) 및 사용자 단말(30)을 포함할 수 있다.
또한, 도 1을 참조하면, 수술 행위 추론 장치(100)는 예시적으로, 수술 동영상 저장 장치(미도시), 의료 영상 데이터 촬영 기기(미도시) 등으로부터 수술 동영상(1)을 입력으로 수신하고, 입력된 수술 동영상(1)을 복수의 클립 영상(2)으로 분할하고, 각각의 클립 영상에(2) 해당 수술에서 수행된 수술 행위를 추출하고, 추출된 수술 행위와 연계된 주석(3)을 해당 클립 영상(2)에 삽입하여 사용자 단말(30)로 제공하도록 동작할 수 있다.
수술 행위 추론 장치(100) 및 사용자 단말(30) 상호간은 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
사용자 단말(30)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다.
수술 행위 추론 장치(100)는 입력된 수술 동영상(1)을 복수의 클립 영상으로 분할할 수 있다. 구체적으로, 수술 행위 추론 장치(100)는, 수술 동영상(1)의 인접 프레임 간 유사도에 기초하여 경계 프레임을 검출하고, 경계 프레임을 기준으로 하여 수술 동영상(1)을 복수의 클립 영상(2)으로 분할할 수 있다.
본원의 일 실시예에 따르면, 인접 프레임 간 유사도는 인접 프레임 간의 구조적 유사도 및 인접 프레임 간의 컬러 히스토그램 유사도를 포함할 수 있다. 다만, 이에만 한정되는 것은 아니며, 인접 프레임 간 유사도는 인접 프레임 간의 색상 정보, 등장 객체(예를 들면, 수술 도구 등) 정보 등에 기초하여 다양한 방식으로 산출될 수 있다.
또한, 수술 행위 추론 장치(100)는 두 인접 프레임 간의 구조적 유사도가 기 설정된 제1 임계값 미만이거나 컬러 히스토그램 유사도가 기 설정된 제2 임계값 미만인 경우, 상기 두 인접 프레임 중 어느 한 프레임을 상기 경계 프레임으로 검출하도록 동작할 수 있다.
본원의 일 실시예에 따르면, 제1 임계값 및 제2 임계값 중 적어도 하나는 수술 동영상(1)의 소정의 시퀀스 구간으로 설정된 윈도우(Window) 내에서 계산되는 유사도의 분산 정보 등을 이용하여 적응적으로 결정되는 것일 수 있다.
예를 들어, 윈도우 설정을 위한 소정의 시퀀스 구간은 7 프레임일 수 있으나, 이에만 한정되는 것은 아니다. 다른 예로, 윈도우 설정을 위한 소정의 시퀀스 구간은 수술 동영상(1)의 유형에 따라 선택적으로 다른 수의 프레임을 포함하는 것일 수 있다.
참고로, 수술 행위 추론 장치(100)에 의해 추출된 경계 프레임은 수술 동영상(1)의 특징에 해당하는 연속적인 유사 영상 간의 경계에 해당하고, 이후에 수행되는 CPU 등의 연산을 최소화 하기 위한 용도로 활용되는 것일 수 있다.
또한, 수술 행위 추론 장치(100)는 입력된 수술 동영상에 포함된 복수의 프레임 중에서 소정의 도구가 포함된 도구 등장 프레임 및 소정의 이벤트가 발생한 이벤트 발생 프레임 중 적어도 일부를 포함하는 영상 구간을 선정할 수 있다. 예를 들어, 수술 행위 추론 장치(100)는 전술한 바와 같이 인접 프레임 간 유사도에 기초하여 1차적으로 복수의 영상 구간으로 분할된 클립 영상(2) 각각으로부터 도구 등장 프레임 및 이벤트 발생 프레임 중 적어도 하나를 포함하는 영상 구간을 선정(특정)하는 것일 수 있으나, 이에만 한정되는 것은 아니다. 다른 예로, 수술 행위 추론 장치(100)는 본원의 구현예에 따라 수술 동영상(1)과 연계된 수술의 유형, 수술 동영상(1)의 길이, 사용자 설정 등에 기초하여 수술 동영상(1)을 클립 영상(2)으로 선행하여 분할하지 않고, 전체 시간 구간의 수술 동영상(1) 내에서 도구 등장 프레임 및 이벤트 발생 프레임 중 적어도 하나를 포함하는 영상 구간을 선정하도록 동작할 수 있다.
도 2는 수술 동영상으로부터 영상 내에 등장하는 소정의 도구를 식별하는 것을 설명하기 위한 도면이다.
도 2를 참조하면, 수술 행위 추론 장치(100)는 입력된 수술 동영상(1) 내 복수의 프레임 중 소정의 도구가 포함된 도구 등장 프레임을 선별할 수 있다. 구체적으로, 본원의 일 실시예에 따르면, 수술 행위 추론 장치(100)는 소정의 도구의 등장 시점(등장 프레임) 및 퇴장 시점(퇴장 프레임)을 도구별로 획득할 수 있다. 참고로, 수술 동영상에서 등장 가능한 각종 도구들은 수술의 종류, 수술 환경, 촬영 기기의 근접도 등에 따라 수술 동영상의 프레임 내부에서 등장 및 퇴장을 반복할 수 있다.
따라서, 수술 행위 추론 장치(100)는 하나의 도구에 대하여 등장 프레임 및 퇴장 프레임을 복수 개 획득하도록 동작할 수 있다. 이해를 돕기 위해 예시하면, 수술 동영상의 시작 프레임(프레임 0)을 기준으로 탐색하여 도구가 처음 등장한 제1등장 프레임과 제1등장 프레임 이후의 가장 근접한 프레임에서 해당 도구가 퇴장한 제1퇴장 프레임 사이 구간이 해당 도구가 등장한 구간 범위로 식별될 수 있다. 또한, 제1퇴장 프레임 이후 해당 도구가 재등장하는 경우 이와 유사하게 제2등장 프레임과 제2퇴장 프레임 사이 구간이 해당 도구가 두 번째로 등장한 구간 범위로 식별될 수 있다.
달리 말해, 등장 프레임은 해당 도구가 수술 동영상 내에서 미등장한 상태에서 등장한 상태로 전환된 프레임을 의미할 수 있으며, 퇴장 프레임은 반대로 해당 도구가 수술 동영상 내에서 등장한 상태에서 미등장한 상태로 전환된 프레임을 의미할 수 있다.
이와 관련하여, 도 2는 수술 행위 추론 장치(100)가 소정의 프레임에서 등장한 도구를 식별하고 식별 결과를 해당 프레임에 중첩하여 나타낸 것일 수 있다.
특히, 도 2를 참조하면, 수술 행위 추론 장치(100)는 프레임 내에서 도구가 식별된 경우, 해당 도구의 식별 정확도를 함께 산출하고, 산출된 식별 정확도를 해당 프레임에 중첩(오버레이)하여 표시할 수 있다. 예를 들어, 도 2을 참조하면 식별 정확도는 % 단위로 산출되어 표시되는 것일 수 있다.
도 3은 수술 동영상으로부터 식별 가능한 수술 도구의 유형을 예시적으로 나타낸 도면이다.
도 3을 참조하면, 수술 행위 추론 장치(100)가 식별하는 도구는 가위(Scissors), 핀셋, 흡입기, 시술자의 손, 내시경, 카테터, 가이드 와이어, 프로브, Grasper, Bipolar, Hook, Clipper, Irrigator, Specimen Bag 등 수술 과정에서 활용될 수 있는 다양한 의료 기기, 도구 등을 폭넓게 포함할 수 있다. 또한, 본원의 일 실시예에 따르면, 수술 행위 추론 장치(100)는 입력된 수술 동영상(1)의 수술 정보(예를 들면, 수술 유형, 질병 대상, 대상자의 연령 등)에 기초하여 소정의 도구 별로 해당 수술 동영상에 등장할 확률을 계산하여, 계산된 확률에 기초하여 도구에 대한 식별을 수행하는 것일 수 있다. 예를 들어, 수술 행위 추론 장치(100)는 특정 수술 유형에서는 활용되지 않는 도구가 존재하는 경우, 해당 수술 유형에 대한 수술 동영상(1)에 대한 도구 식별 시에는 해당 도구는 고려하지 않도록 동작할 수 있다.
또한, 수술 행위 추론 장치(100)는 입력된 수술 동영상 또는 분할된 클립 영상에 포함된 복수의 프레임 각각의 색상 정보에 기초하여 소정의 이벤트가 발생한 이벤트 발생 프레임을 식별할 수 있다. 본원의 실시예에 관한 설명에서, '이벤트'란 수술 도중에 발생 가능한 각종 상황에 대응되며, 본원에서 개시하는 수술 행위 추론 장치(100)가 촬영된 대상자의 체내 영역에서의 시각적 요소(색상)의 변화 등에 기초하여 수술 동영상(1) 내에서의 특정 이벤트의 발생 유무, 발생 시간대, 발생 프레임 등을 식별할 수 있다.
보다 구체적으로, 본원에서의 이벤트는 출혈(Bleeding), 스모킹(Smoking), 비등(Boiling) 및 스파클링(Sparkling) 중 적어도 하나를 포함할 수 있다. 이벤트 중 출혈(Bleeding)은 수술 동영상(1) 내에 등장하는 대상자 체내의 신체 부위의 혈관의 손상에 의해 혈액이 혈관 밖으로 흘러나와 수술 동영상(1) 내에서 소정 수준이상 식별되는 상황을 의미할 수 있다.
또한, 스모킹(Smoking)은 수술 동영상(1) 내에서 연기가 식별되는 상황을 의미할 수 있다. 예를 들어, 스모킹(Smoking)은 지혈, 봉합, 절개 등의 수술 행위를 행하는 도중에 전극 등의 도구의 사용으로 인해 발생하는 것일 수 있다.
또한, 비등(Boiling)은 액체 상태의 물질을 가열하게 되면, 소정의 온도에서 증발이 일어나, 증발 이외에 액체 안에 증기 기포가 형성되는 기화 현상을 의미할 수 있다.
또한, 스파클링(Sparkling)은 수술 동영상(1) 내에서 번쩍임 또는 불꽃이 식별되는 상황을 의미할 수 있다. 예를 들어, 스파클링(Sparkling)은 지혈, 봉합, 절개 등의 수술 행위를 행하는 도중에 전극 등의 도구의 사용으로 인해 발생하는 것일 수 있다.
이렇듯, 녹화되거나 실시간으로 획득되는 수술 동영상(1)을 대상으로 한 수술 행위 인식에 있어서, 상대적으로 정형성을 갖는 도구의 인식(식별)과 달리, 수술 과정에서 발생할 수 있는 비정형적인 이벤트는 각 이벤트의 유형을 고려한 개별적인 추론 기법의 개발이 요구된다.
또한, 본원의 구현예에 따라 수술 동영상(1)이 수술 도중에 획득된 음향에 대한 정보를 포함하도록 촬영된 경우, 수술 행위 추론 장치(100)는 수술 동영상(1)에 대한 음향 정보에 기초하여 소정의 이벤트가 발생하는 경우에 획득 가능한 특정 음향이 기록된 시점에 대응하는 프레임을 이벤트 발생 프레임으로 식별하도록 동작할 수 있다.
도 4는 수술 동영상으로부터 소정의 이벤트 발생을 식별하는 것을 설명하기 위한 도면이다.
도 4를 참조하면, 수술 행위 추론 장치(100)는 예를 들어, 영상 내에서 혈액에 의한 급격한 채도 변화를 인식함으로써 출혈 이벤트를 식별(인식)할 수 있다.
이렇듯, 수술 행위 추론 장치(100)는 수술 동영상(1) 내에서 도구가 등장하는 도구 등장 프레임 및 소정의 이벤트가 인식되는 이벤트 발생 프레임 중 적어도 하나를 포함하는 영상 구간을 선정함으로써, 소정의 수술 행위가 이루어진 것으로 예상되는 영상 범위를 특정하여 이하에서 상세히 설명하는 바와 같이 해당 영상 구간에서 이루어진 수술 행위를 추론하도록 동작할 수 있다.
이와 관련하여, 수술 행위 추론 장치(100)는 선정된 영상 구간 내에서 식별된 도구의 이동 경로를 트래킹하여 도구 궤적 정보를 획득할 수 있다. 여기서, 도구 궤적 정보는 해당 영상 구간에서 등장하는 도구의 유형에 대한 정보를 포함할 수 있다.
또한, 수술 행위 추론 장치(100)는 선정된 영상 구간 내에서의 색상 변화 정보에 기초하여 이벤트 분석 정보를 획득할 수 있다. 여기서, 이벤트 분석 정보는 해당 영상 구간에서 등장하는 이벤트의 유형 및 이벤트의 발생 위치를 포함할 수 있다.
예를 들어, 수술 행위 추론 장치(100)는 영상 구간 내에서의 색상 변화 정보인 밝기 변화, 채도 변화, 혼탁도 변화 등에 기초하여 출혈(Bleeding), 스모킹(Smoking), 비등(Boiling) 및 스파클링(Sparkling) 중 적어도 하나를 포함하는 이벤트의 유형과 해당 색상 변화가 발생한 영역인 이벤트의 발생 위치를 식별하고, 이를 해당 프레임에 중첩하여 표시할 수 있다.
또한, 본원의 일 실시예에 따르면, 수술 행위 추론 장치(100)는 색상 변화 정보 및 도구 궤적 정보에 기초하여 이벤트의 유형을 식별할 수 있다. 달리 말해, 수술 행위 추론 장치(100)는 이벤트의 식별시, 해당 프레임 또는 영상 구간에서 등장하는 수술 도구의 유형 및 수술 도구의 움직임 중 적어도 하나를 고려하여 이벤트를 보다 정확하게 식별할 수 있다. 예를 들어, Monopolar Scissor와 Bipolar Forceps, Cautery Hook/Spatula 등 전극을 포함하는 수술 도구가 해당 영상 구간 또는 프레임에서 식별된 경우, 수술 행위 추론 장치(100)는 전극을 이용하는 도구임을 고려하여 스모킹(Smoking), 비등(Boiling), 스파클링(Sparkling) 등의 이벤트의 발생 확률을 계산하고 이를 반영하여 이벤트 분석 정보를 획득할 수 있다.
또한, 본원의 일 실시예에 따르면, 수술 행위 추론 장치(100)는 영상 구간 또는 해당 프레임 내에서 식별된 도구와 수술 대상 부위의 접촉 영역에서의 색상 변화 정보에 기초하여 이벤트의 유형을 식별할 수 있다. 달리 말해, 수술 행위 추론 장치(100)는 수술 도구와 해당 수술 도구를 이용한 수술 행위가 수행되는 수술 대상 부위의 접촉 영역에서의 색상 변화 정보를 수술 도구 및 수술 대상 부위와 무관한 영역에서의 색상 변화 정보보다 우선하여 분석함으로써, 이벤트 분석 정보를 보다 정확하게 도출하도록 동작할 수 있다.
또한, 본원의 일 실시예에 따르면, 수술 행위 추론 장치(100)는 영상 구간 또는 해당 프레임에서의 색상 변화 정보에 기초하여 수술 대상 부위 주변의 물질을 식별하고, 식별된 물질의 체적 변화에 기초하여 이벤트 분석 정보를 도출할 수 있다. 예를 들어, 수술 행위 추론 장치(100)는 수술 대상 부위 주변의 혈액을 식별하고, 식별된 혈액의 체적 변화에 기초하여 출혈(Bleeding)에 대응하는 이벤트 분석 정보를 획득할 수 있다.
또한, 수술 행위 추론 장치(100)는 획득된 도구 궤적 정보 및 획득된 이벤트 분석 정보에 기초하여 해당 영상 구간에서 수행된 수술자의 수술 행위를 도출(추론)할 수 있다.
본원의 일 실시예에 따르면, 수술 행위 추론 장치(100)가 수술 동영상(1)으로부터 식별하는 수술 행위는 흡입(Suction), 세척(Irrigation), 절개(Dissection), 커팅(Cut), 결찰(Ligation), 클리핑(Clipping), 지혈(Bleeding control), 봉합(Suture) 및 박리(Detachment) 중 적어도 하나를 포함할 수 있다.
본원의 일 실시예에 따르면, 수술 행위 추론 장치(100)는 기 생성된 인공지능 알고리즘에 기초하여, 획득된 도구 궤적 정보 및 이벤트 분석 정보 중 적어도 하나에 기초하여 수술 행위를 분석(도출)할 수 있다. 본원의 일 실시예에 따르면, 기 생성된 인공지능 알고리즘은 구체적으로 수술 동영상에서 등장 가능한 도구의 도구 등장 프레임 내에서의 움직임에 대한 분석 결과와 수술 동영상에서 식별된 이벤트에 대한 정보를 입력으로 하여 분석된 도구의 움직임 및 이벤트의 유형 중 적어도 하나에 대응하는 수술 행위를 출력으로 제공하는 알고리즘일 수 있다.
본원의 일 실시예에 따르면, 기 생성된 인공지능 알고리즘은 소정의 수술 동영상 및 해당 수술 동영상에 나타난 수술 행위에 대한 정보를 학습 데이터로 하여 수술 동영상에서 등장 가능한 도구의 움직임에 대한 분석 결과 및 발생 가능한 이벤트의 유형과 이에 대응하는 수술 행위와의 상관 관계(예를 들면, 함수 형태)를 학습하는 지도 학습(Supervised Learning) 기반의 기계 학습 방식으로 생성되는 것일 수 있다. 다만, 이에만 한정되는 것은 아니며, 본원에서의 기 생성된 인공지능 알고리즘은 로지스틱 회귀 분석(Logistic Regression), 랜덤 포레스트(Random Forest), 딥 러닝(Deep Learning), 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 강화 학습(Reinforcement Learning) 등 종래에 공지되었거나 향후 개발되는 모든 종류의 기계 학습 방식을 통해 생성(학습)된 것일 수 있다.
이하에서는, 수술 행위 추론 장치(100)가 도구 궤적 정보 및 이벤트 분석 정보에 기초한 소정의 수술 행위에 대한 식별 예시를 도 5a 내지 도 5c를 참조하여 설명하도록 한다.
도 5a 내지 도 5c는 도구 궤적 정보 및 이벤트 분석 정보에 기초하여 소정의 영상 구간에서 수행된 수술 행위를 도출하는 프로세스를 설명하기 위한 도면이다.
도 5a를 참조하면, 수술 행위 추론 장치(100)는 Monopolar Scissor와 Bipolar Forceps, Cautery Hook/Spatula 등 전극을 포함하는 도구에 대한 도구 궤적 정보(도 5a의 B1, B2)와 수술 대상 부위(출혈 부위)와의 접촉면에서의 스모킹(Smoking), 비등(Boiling) 및 스파클링(Sparkling) 중 적어도 하나의 발생 유무를 포함하는 이벤트 분석 정보에 기초하여 지혈(Bleeding control) 행위를 인식할 수 있다.
또한, 도 5b를 참조하면, 수술 행위 추론 장치(100)는 Monopolar Scissor와 Bipolar Forceps, Cautery Hook/Spatula 등의 전극을 포함하는 도구에 대한 도구 궤적 정보(도 5b의 B) 및 수술 대상 부위인 장기 또는 조직의 접촉면에서의 형태학적 변화(Morphological Change)와 스모킹(Smoking), 비등(Boiling) 및 스파클링(Sparkling) 중 적어도 하나의 발생 유무를 포함하는 이벤트 분석 정보에 기초하여 커팅(Cut) 행위를 인식할 수 있다.
또한, 도 5c의 A와 도 5c의 B를 참조하면, 수술 행위 추론 장치(100)는 Endo-Loop의 루프(Loop)의 길이가 줄어드는 것을 인식하여 결찰(Ligation) 행위를 인식할 수 있다.
또한, 도면에는 도시되지 않았으나, 수술 행위 추론 장치(100)는 Suction Irrigator 도구에 의한 체강 내의 다량의 액체의 고임과 제거를 Suction Irrigator의 움직임과 해당 영역에서의 채도 변화 패턴을 인식하여 흡입(Suction), 세척(Irrigation) 등의 수술 행위를 인식할 수 있다. 달리 말해, 본원의 일 실시예에 따르면, 수술 행위 추론 장치(100)는 색상 변화 정보에 기초하여 식별된 수술 대상 부위 주변의 물질의 체적 변화를 고려하여 수술 행위를 도출할 수 있다.
또한, 수술 행위 추론 장치(100)는 Monopolar Scissor와 Bipolar Forceps, Cautery Hook/Spatula 등의 전극을 포함하는 도구들에 대한 도구 궤적 정보 및 해당 도구 주변 영역에서의 스모킹(Smoking), 비등(Boiling) 및 스파클링(Sparkling) 중 적어도 하나의 발생 유무를 포함하는 이벤트 분석 정보에 기초하여 해당 도구에 의한 절개(Dissection), 박리(Detachment), 절제 등의 수술 행위를 인식할 수 있다.
이해를 돕기 위해 추가로 예시하면, 수술 행위 추론 장치(100)는 Scissor의 움직임을 포함하는 도구 궤적 정보를 기초로 하여 커팅(Cut) 행위를 인식할 수 있고, Ligasure의 움직임을 포함하는 도구 궤적 정보 및 스모킹(Smoking) 및 비등(Boiling) 중 적어도 하나의 발생 유무를 포함하는 이벤트 분석 정보에 기초하여 결찰(Ligation) 행위를 인식할 수 있고, Endo GI Stapler의 움직임에 의한 조직의 봉합 및 절개를 인식하여 결찰(Ligation) 행위를 인식할 수 있고, Clip Applier의 움직임을 인식하여 혈관(Blood vessel)에 대한 클리핑(Clipping)을 인식할 수 있다.
또한, 본원의 일 실시예에 따르면, 수술 행위 추론 장치(100)는 수술 행위에 대한 분석이 완료된 영상 구간에 대응하는 클립 영상을 생성할 수 있다. 구체적으로, 수술 행위 추론 장치(100)는 분석된 영상 구간에 대응하는 클립 영상에 대한 메타 정보로서 추론된 수술 행위, 식별된 도구의 유형 및 이벤트 분석 정보 중 적어도 하나를 클립 영상에 대한 주석(Annotation)으로 삽입하여 클립 영상을 저장할 수 있다.
또한, 본원의 일 실시예에 따르면, 수술 행위 추론 장치(100)는 해당 수술 동영상(1)의 전체 구간에서의 수술 행위, 식별된 도구의 유형 및 이벤트 분석 정보 중 적어도 하나에 대한 통계 정보에 기초하여 수술 동영상(1)에 대한 평가 정보를 생성 및 제공할 수 있다.
이하에서는, 도 6a 내지 도 6d를 참조하여, 수술 동영상에 대한 평가 정보를 생성하는 프로세스 및 이와 관련된 인터페이스를 설명하도록 한다.
도 6a 내지 도 6c는 도구의 등장 정보 및 이벤트의 발생 정보에 기초하여 수술 동영상에 대한 평가 정보를 생성하는 프로세스를 설명하기 위한 도면이고, 도 6d는 클립 영상을 생성하고, 이에 대한 주석을 삽입하여 수술 동영상을 제공하는 인터페이스를 설명하기 위한 도면이다.
도 6a 내지 도 6d를 참조하면, 본원의 일 실시예에 따르면, 수술 행위 추론 장치(100)는 도구 등장 프레임에 대한 정보를 도구 별로 정렬하여 소정의 도구에 대한 등장 프레임부터 퇴장 프레임까지의 시간 구간을 표시한 타임 라인을 형상화할 수 있다. 또한, 수술 행위 추론 장치(100)는 도구별 도구 등장 프레임에 대한 정보에 기초하여 도구 각각의 등장 시간을 합산하여 표시할 수 있다.
또한, 수술 행위 추론 장치(100)는 도구별 도구 등장 프레임에 대한 정보에 기초하여 획득된 도구 각각의 등장 시간을 종합하여 등장 시간이 긴 순으로 도구를 정렬하여 표시(도구 시간 비율)할 수 있다.
본원의 일 실시예에 따르면, 수술 행위 추론 장치(100)는 복수의 수술 행위 정보를 해당 수술의 통상적인 진행 절차에 비추어 단계별로 그룹핑(예를 들어, 1단계, 2단계, 단계 등)할 수 있다. 다른 예로, 수술 행위 추론 장치(100)는 사용자 단말(30)을 통해 인가된 그룹핑 요청을 포함하는 사용자 입력에 기초하여 소정의 수술 행위 정보를 그룹핑할 수 있다.
또한, 본원의 일 실시예에 따르면, 수술 행위 추론 장치(100)는 도출된 수술 행위에 대응하는 프레임들을 종합한 클립 영상을 재생하기 위한 인터페이스를 제공할 수 있다.
도 7은 본원의 일 실시예에 따른 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치의 개략적인 구성도이다.
도 7을 참조하면, 수술 행위 추론 장치(100)는, 구간 설정부(110), 도구 분석부(120), 이벤트 분석부(130), 행위 추론부(140), 클립 영상 생성부(150) 및 수술 평가부(160)를 포함할 수 있다.
구간 설정부(110)는, 입력된 수술 동영상에 포함된 복수의 프레임 중에서 소정의 도구가 포함된 도구 등장 프레임 및 소정의 이벤트가 발생한 이벤트 발생 프레임 중 적어도 일부를 포함하는 영상 구간을 선정할 수 있다.
도구 분석부(120)는, 영상 구간 내에서 도구의 이동 경로를 트래킹하여 도구 궤적 정보를 획득할 수 있다.
이벤트 분석부(130)는, 영상 구간 내에서의 색상 변화 정보에 기초하여 이벤트 분석 정보를 획득할 수 있다. 구체적으로, 이벤트 분석부(130)는, 색상 변화 정보 및 도구 궤적 정보에 기초하여 이벤트의 유형을 식별하되, 도구와 수술 대상 부위의 접촉 영역에서의 색상 변화 정보에 기초하여 이벤트의 유형을 식별할 수 있다.
행위 추론부(140)는, 도구 궤적 정보 및 이벤트 분석 정보에 기초하여 해당 영상 구간에서 수행된 수술자의 수술 행위를 도출할 수 있다.
클립 영상 생성부(150)는, 분석된 영상 구간에 대응하는 클립 영상을 생성하되, 수술 행위, 도구의 유형 및 이벤트 분석 정보 중 적어도 하나를 생성된 클립 영상에 대한 주석(Annotation)으로 삽입할 수 있다.
수술 평가부(160)는, 수술 동영상(1)의 전체 구간에서의 수술 행위, 식별된 도구의 유형 및 이벤트 분석 정보 중 적어도 하나에 대한 통계 정보에 기초하여 수술 동영상(1)에 대한 평가 정보를 생성할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 8은 본원의 일 실시예에 따른 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 방법에 대한 동작 흐름도이다.
도 8에 도시된 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 방법은 앞서 설명된 수술 행위 추론 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 수술 행위 추론 장치(100)에 대하여 설명된 내용은 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 8을 참조하면, 단계 S11에서 구간 설정부(110)는, 입력된 수술 동영상에 포함된 복수의 프레임 중에서 소정의 도구가 포함된 도구 등장 프레임 및 소정의 이벤트가 발생한 이벤트 발생 프레임 중 적어도 일부를 포함하는 영상 구간을 선정할 수 있다.
다음으로, 단계 S12에서 도구 분석부(120)는, 영상 구간 내에서 도구의 이동 경로를 트래킹하여 도구 궤적 정보를 획득할 수 있다.
다음으로, 단계 S13에서 이벤트 분석부(130)는, 영상 구간 내에서의 색상 변화 정보에 기초하여 이벤트 분석 정보를 획득할 수 있다.
다음으로, 단계 S14에서 행위 추론부(140)는, 도구 궤적 정보 및 이벤트 분석 정보에 기초하여 해당 영상 구간에서 수행된 수술자의 수술 행위를 도출할 수 있다.
다음으로, 단계 S15에서 클립 영상 생성부(150)는, 영상 구간에 대응하는 클립 영상을 생성할 수 있다. 또한, 단계 S15에서 클립 영상 생성부(150)는, 수술 행위, 도구의 유형 및 이벤트 분석 정보 중 적어도 하나를 생성된 클립 영상에 대한 주석(Annotation)으로 삽입하여 클립 영상을 저장할 수 있다.
다음으로, 단계 S16에서 수술 평가부(160)는, 수술 동영상(1)의 전체 구간에서의 수술 행위, 식별된 도구의 유형 및 이벤트 분석 정보 중 적어도 하나에 대한 통계 정보에 기초하여 수술 동영상(1)에 대한 평가 정보를 생성할 수 있다.
상술한 설명에서, 단계 S11 내지 S16은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시예에 따른 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 수술 동영상 제공 시스템
100: 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치
110: 구간 설정부
120: 도구 분석부
130: 이벤트 분석부
140: 행위 추론부
150: 클립 영상 생성부
160: 수술 평가부
20: 네트워크
30: 사용자 단말

Claims (15)

  1. 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치에 의해 수행되는 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 방법에 있어서,
    입력된 수술 동영상에 포함된 복수의 프레임 중에서 수술 과정에서 활용되는 도구가 포함된 도구 등장 프레임 및 상기 수술 과정 도중에 발생 가능한 상황을 의미하는 이벤트가 발생한 이벤트 발생 프레임 중 적어도 하나의 프레임을 포함하는 영상 구간을 선정하는 단계;
    상기 영상 구간 내에서 상기 도구의 이동 경로를 트래킹하여 도구 궤적 정보를 획득하는 단계;
    상기 영상 구간 내에서의 색상 변화 정보에 기초하여 이벤트 분석 정보를 획득하는 단계; 및
    상기 도구 궤적 정보 및 상기 이벤트 분석 정보에 기초하여 상기 영상 구간에서 수행된 수술자의 수술 행위를 도출하는 단계,
    를 포함하고,
    상기 이벤트 분석 정보를 획득하는 단계는,
    상기 영상 구간 내에서의 밝기 변화, 채도 변화 및 혼탁도 변화 중 적어도 하나에 기초하여 상기 이벤트의 유형을 식별하고, 상기 영상 구간 내에서 상기 밝기 변화, 상기 채도 변화 및 상기 혼탁도 변화 중 적어도 하나가 발생한 영역으로부터 상기 이벤트의 발생 위치를 식별하고,
    상기 이벤트 분석 정보를 획득하는 단계는,
    상기 도구의 유형에 따라 해당 도구를 이용한 수술 행위에 의해 발생 가능한 이벤트의 발생 확률을 계산하고, 상기 발생 확률을 반영하여 상기 이벤트 분석 정보를 획득하는 것이고,
    상기 수술 행위를 도출하는 단계는,
    도구의 움직임 및 발생 이벤트의 유형과 수술 행위와의 상관 관계를 학습하도록 수술 동영상과 해당 수술 동영상에 나타난 수술 행위에 대한 정보를 학습 데이터로 하여 구축된 인공지능 알고리즘에 상기 도구 궤적 정보 및 상기 이벤트 분석 정보를 입력하여 상기 인공지능 알고리즘이 출력하는 상기 수술 행위를 도출하는 것이고,
    상기 영상 구간을 선정하는 단계는,
    상기 도구가 상기 수술 동영상 내에서 미등장한 상태에서 등장한 상태로 전환된 등장 프레임으로부터 해당 도구가 등장한 상태에서 미등장한 상태로 전환된 퇴장 프레임까지의 복수의 프레임을 상기 도구 등장 프레임으로 선별하는 것이고,
    상기 수술 행위 추론 방법은,
    도구별 상기 도구 등장 프레임에 기초하여 상기 도구 각각에 대한 상기 등장 프레임부터 상기 퇴장 프레임까지의 시간 구간을 표시한 타임 라인 및 상기 도구 각각의 등장 시간을 합산하여 합산된 등장 시간이 긴 순으로 도구를 정렬하여 표시한 도구 시간 비율을 표시하는 단계,
    를 더 포함하는 것인, 수술 행위 추론 방법.
  2. 제1항에 있어서,
    상기 도구 궤적 정보는 상기 영상 구간에서 등장하는 상기 도구의 유형을 포함하고,
    상기 이벤트 분석 정보는 상기 영상 구간에서 등장하는 상기 이벤트의 유형 및 상기 이벤트의 발생 위치를 포함하는 것인, 수술 행위 추론 방법.
  3. 제2항에 있어서,
    상기 수술 행위는,
    흡입(Suction), 세척(Irrigation), 절개(Dissection), 커팅(Cut), 결찰(Ligation), 클리핑(Clipping), 지혈(Bleeding control), 봉합(Suture) 및 박리(Detachment) 중 적어도 하나를 포함하는 것인, 수술 행위 추론 방법.
  4. 제3항에 있어서,
    상기 이벤트는,
    출혈(Bleeding), 스모킹(Smoking), 비등(Boiling) 및 스파클링(Sparkling) 중 적어도 하나를 포함하는 것인, 수술 행위 추론 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 이벤트 분석 정보를 획득하는 단계는,
    상기 도구와 수술 대상 부위의 접촉 영역에서의 상기 색상 변화 정보를 나머지 영역의 상기 색상 변화 정보 대비 우선적으로 분석하는 것인, 수술 행위 추론 방법.
  7. 제4항에 있어서,
    상기 이벤트 분석 정보를 획득하는 단계는,
    상기 색상 변화 정보에 기초하여 수술 대상 부위 주변의 혈액을 식별하고, 상기 혈액의 체적 변화에 기초하여 출혈(Bleeding)에 대응하는 상기 이벤트 분석 정보를 도출하는 것인, 수술 행위 추론 방법.
  8. 제1항에 있어서,
    상기 영상 구간에 대응하는 클립 영상을 생성하는 단계,
    를 더 포함하고,
    상기 클립 영상을 생성하는 단계는,
    상기 수술 행위, 상기 도구의 유형 및 상기 이벤트 분석 정보 중 적어도 하나를 상기 클립 영상에 대한 주석(Annotation)으로 삽입하여 상기 클립 영상을 저장하는 것인, 수술 행위 추론 방법.
  9. 삭제
  10. 삭제
  11. 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치에 있어서,
    입력된 수술 동영상에 포함된 복수의 프레임 중에서 수술 과정에서 활용되는 도구가 포함된 도구 등장 프레임 및 상기 수술 과정 도중에 발생 가능한 상황을 의미하는 이벤트가 발생한 이벤트 발생 프레임 중 적어도 하나의 프레임을 포함하는 영상 구간을 선정하는 구간 설정부;
    상기 영상 구간 내에서 상기 도구의 이동 경로를 트래킹하여 도구 궤적 정보를 획득하는 도구 분석부;
    상기 영상 구간 내에서의 색상 변화 정보에 기초하여 이벤트 분석 정보를 획득하는 이벤트 분석부; 및
    상기 도구 궤적 정보 및 상기 이벤트 분석 정보에 기초하여 상기 영상 구간에서 수행된 수술자의 수술 행위를 도출하는 행위 추론부,
    를 포함하고,
    상기 이벤트 분석부는,
    상기 영상 구간 내에서의 밝기 변화, 채도 변화 및 혼탁도 변화 중 적어도 하나에 기초하여 상기 이벤트의 유형을 식별하고, 상기 영상 구간 내에서 상기 밝기 변화, 상기 채도 변화 및 상기 혼탁도 변화 중 적어도 하나가 발생한 영역으로부터 상기 이벤트의 발생 위치를 식별하고,
    상기 이벤트 분석부는,
    상기 도구의 유형에 따라 해당 도구를 이용한 수술 행위에 의해 발생 가능한 이벤트의 발생 확률을 계산하고, 상기 발생 확률을 반영하여 상기 이벤트 분석 정보를 획득하고,
    상기 행위 추론부는,
    도구의 움직임 및 발생 이벤트의 유형과 수술 행위와의 상관 관계를 학습하도록 수술 동영상과 해당 수술 동영상에 나타난 수술 행위에 대한 정보를 학습 데이터로 하여 구축된 인공지능 알고리즘에 상기 도구 궤적 정보 및 상기 이벤트 분석 정보를 입력하여 상기 인공지능 알고리즘이 출력하는 상기 수술 행위를 도출하고,
    상기 구간 설정부는,
    상기 도구가 상기 수술 동영상 내에서 미등장한 상태에서 등장한 상태로 전환된 등장 프레임으로부터 해당 도구가 등장한 상태에서 미등장한 상태로 전환된 퇴장 프레임까지의 복수의 프레임을 상기 도구 등장 프레임으로 선별하고,
    상기 수술 행위 추론 장치는,
    도구별 상기 도구 등장 프레임에 기초하여 상기 도구 각각에 대한 상기 등장 프레임부터 상기 퇴장 프레임까지의 시간 구간을 표시한 타임 라인 및 상기 도구 각각의 등장 시간을 합산하여 합산된 등장 시간이 긴 순으로 도구를 정렬하여 표시한 도구 시간 비율을 표시하는 수술 평가부,
    를 더 포함하는 것인, 수술 행위 추론 장치.
  12. 제11항에 있어서,
    상기 도구 궤적 정보는 상기 영상 구간에서 등장하는 상기 도구의 유형을 포함하고,
    상기 이벤트 분석 정보는 상기 영상 구간에서 등장하는 상기 이벤트의 유형 및 상기 이벤트의 발생 위치를 포함하는 것인, 수술 행위 추론 장치.
  13. 제12항에 있어서,
    상기 이벤트는,
    출혈(Bleeding), 스모킹(Smoking), 비등(Boiling) 및 스파클링(Sparkling) 중 적어도 하나를 포함하고,
    상기 수술 행위는,
    흡입(Suction), 세척(Irrigation), 절개(Dissection), 커팅(Cut), 결찰(Ligation), 클리핑(Clipping), 지혈(Bleeding control), 봉합(Suture) 및 박리(Detachment) 중 적어도 하나를 포함하는 것인, 수술 행위 추론 장치.
  14. 삭제
  15. 제1항 내지 제4항, 제6항 내지 제8항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록 매체.
KR1020200183555A 2019-12-26 2020-12-24 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치 및 방법 KR102544629B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190174753 2019-12-26
KR20190174753 2019-12-26

Publications (2)

Publication Number Publication Date
KR20210083201A KR20210083201A (ko) 2021-07-06
KR102544629B1 true KR102544629B1 (ko) 2023-06-16

Family

ID=76861026

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200183555A KR102544629B1 (ko) 2019-12-26 2020-12-24 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102544629B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102639202B1 (ko) * 2022-10-05 2024-02-21 주식회사 메디인테크 의료 영상 기반으로 내시경 장치를 제어하기 위한 방법, 장치 및 컴퓨터 프로그램
KR20240048076A (ko) * 2022-10-05 2024-04-15 주식회사 엠티이지 음성 입력을 이용한 어노테이션을 제공하는 방법 및 디바이스

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101658002B1 (ko) * 2015-12-11 2016-09-21 서강대학교산학협력단 동영상 주석 시스템 및 주석 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170099117A (ko) * 2016-02-23 2017-08-31 김덕석 수술 영상 검색 장치 및 방법
KR101926123B1 (ko) * 2017-12-28 2018-12-06 (주)휴톰 수술영상 분할방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101658002B1 (ko) * 2015-12-11 2016-09-21 서강대학교산학협력단 동영상 주석 시스템 및 주석 방법

Also Published As

Publication number Publication date
KR20210083201A (ko) 2021-07-06

Similar Documents

Publication Publication Date Title
KR102013868B1 (ko) 수술 최적화 방법 및 장치
US11605161B2 (en) Surgical workflow and activity detection based on surgical videos
Petscharnig et al. Learning laparoscopic video shot classification for gynecological surgery
Yamazaki et al. Automated surgical instrument detection from laparoscopic gastrectomy video images using an open source convolutional neural network platform
Jin et al. Temporal memory relation network for workflow recognition from surgical video
KR102180921B1 (ko) 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법
CN107405079B (zh) 用于解剖区域的视频图像的内容管理的方法和系统
Zia et al. Surgical activity recognition in robot-assisted radical prostatectomy using deep learning
KR102544629B1 (ko) 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치 및 방법
KR102386496B1 (ko) 도구 인식 기반의 수술 동영상 간 유사도 비교 장치 및 방법
CN109310279A (zh) 信息处理设备、信息处理方法、程序和医疗观察系统
Malpani et al. System events: readily accessible features for surgical phase detection
US20240169579A1 (en) Prediction of structures in surgical data using machine learning
JP2024500938A (ja) 医用画像における状態特徴の自動注釈付け
WO2023021074A1 (en) Method for giving feedback on a surgery and corresponding feedback system
KR20220103656A (ko) 인공지능 기반의 수술 동영상 분석과 수술 비교 평가를 위한 장치 및 방법
Nwoye Deep learning methods for the detection and recognition of surgical tools and activities in laparoscopic videos
US20240071076A1 (en) Methods, systems and mediums for surgical automation
Demir et al. Surgical Phase Recognition: A Review and Evaluation of Current Approaches
US20230316545A1 (en) Surgical task data derivation from surgical video data
WO2022195305A1 (en) Adaptive visualization of contextual targets in surgical video
CN114171145A (zh) 一种富媒体手术记录单生成系统和方法
King et al. Automatic summarization of endoscopic skull base surgical videos through object detection and hidden Markov modeling
KR20220069333A (ko) 임상 기록 데이터 생성 방법 및 장치
KR20220126667A (ko) 의료보험 심사청구를 위한 동영상 처리 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant