KR102386496B1 - 도구 인식 기반의 수술 동영상 간 유사도 비교 장치 및 방법 - Google Patents

도구 인식 기반의 수술 동영상 간 유사도 비교 장치 및 방법 Download PDF

Info

Publication number
KR102386496B1
KR102386496B1 KR1020200003232A KR20200003232A KR102386496B1 KR 102386496 B1 KR102386496 B1 KR 102386496B1 KR 1020200003232 A KR1020200003232 A KR 1020200003232A KR 20200003232 A KR20200003232 A KR 20200003232A KR 102386496 B1 KR102386496 B1 KR 102386496B1
Authority
KR
South Korea
Prior art keywords
video
similarity
tool
surgery
information
Prior art date
Application number
KR1020200003232A
Other languages
English (en)
Other versions
KR20210089983A (ko
Inventor
김덕석
안기옥
조영탁
Original Assignee
주식회사 엠티이지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 엠티이지 filed Critical 주식회사 엠티이지
Priority to KR1020200003232A priority Critical patent/KR102386496B1/ko
Publication of KR20210089983A publication Critical patent/KR20210089983A/ko
Application granted granted Critical
Publication of KR102386496B1 publication Critical patent/KR102386496B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

도구 인식 기반의 수술 동영상 간 유사도 비교 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 도구 인식 기반의 수술 동영상 간 유사도 비교 방법은, 입력된 기준 수술 동영상 및 비교 대상 수술 동영상 각각의 수술 관련 메타 데이터 및 도구 등장 정보를 획득하는 단계 및 상기 메타 데이터 및 상기 도구 등장 정보에 기초하여 상기 기준 수술 동영상과 상기 비교 대상 수술 동영상의 유사도를 산출하는 단계를 포함할 수 있다.

Description

도구 인식 기반의 수술 동영상 간 유사도 비교 장치 및 방법{APPARATUS AND METHOD FOR COMPARING SIMILARITY BETWEEN SURGICAL VIDEO BASED ON TOOL RECOGNITION}
본원은 도구 인식 기반의 수술 동영상 간 유사도 비교 장치 및 방법에 관한 것이다.
최근 들어 카메라가 부착된 내시경 장비들이 다양한 분야에서 사용되고, 대상자의 체내에 삽입되거나 시술 또는 수술 현장을 촬영하는 영상 장비들이 소형화, 보편화되면서 내외과적 수술에서 수술 동영상을 획득하는 경우가 많아지고 있으나, 이렇게 획득된 수술 동영상은 학술대회 발표 등의 극히 제한적인 상황에서만 활용될 뿐이다.
또한, 최근 들어 빅 데이터, 인공 지능의 발달로 수많은 의료 관련 문서 기록과 사진들이 중요한 의료 정보로 발전하고 있으며, 문서 못지 않게 영상 자료도 방대하게 확보되고 있으나 영상 자료들을 임상에서 활용하는 경우는 극히 드문 실정이다.
또한, 수술 동영상에는 전문적 의료 행위 데이터가 내재되어 있어 의학 교육 및 학술 연구 자료로써의 가치가 높아 수술 동영상에 대한 분석을 통해 수술 과정에서 발생하는 중요한 행위를 데이터화 한다면, 술기 표준, 수술 위험도 예측 모델 수립, 수술 평가 및 검증 모델 등을 수립할 수 있다.
또한, 의대 커리큘럼 내 강의 형태, 병원 내 연구 분야, 특정 수술에 앞서 해당 분야에 대한 참조 동영상 검토 등 수술 관련 지식을 수술 동영상을 통해 제공하고자 하는 경우, 수술 관련 지식은 의료 기술 중에도 가장 전문적인 지식이라 할 것이어서 여러 의료진들의 수술 동영상에 대한 토론 및 첨삭을 통해 효율적인 수술 표준 모델을 정립할 것이 요구되나 이렇게 수술 동영상에 대한 의견 교환을 지원하는 플랫폼은 현재까지 도입된바 없으며, 특히 서로 다른 시점에 촬영된 수술 동영상들을 상호 비교하기 위해서는 긴 시간의 영상 자료를 모두 시청하거나 필요한 부분을 시청자가 일일이 탐색할 것이 요구되어 매우 번거롭고 긴 시간이 소요될 수 밖에 없는 한계가 있었다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1111046호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 수술 동영상으로부터 해당 수술에서 활용된 도구를 인식 및 데이터화하여 이를 기초로 서로 다른 수술 동영상에 대한 유사도 및 연관 관계를 비교할 수 있는 도구 인식 기반의 수술 동영상 간 유사도 비교 장치 및 방법을 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 업로드 된 수술 동영상에 대한 토론 및 첨삭을 지원하는 위키 기반 웹 플랫폼을 마련함으로써 수술 관련 지식을 자산화하여 제공할 수 있는 수술 동영상에 대한 지능형 지식 공유 시스템을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 도구 인식 기반의 수술 동영상 간 유사도 비교 방법은, 입력된 기준 수술 동영상 및 비교 대상 수술 동영상 각각의 수술 관련 메타 데이터 및 도구 등장 정보를 획득하는 단계 및 상기 메타 데이터 및 상기 도구 등장 정보에 기초하여 상기 기준 수술 동영상과 상기 비교 대상 수술 동영상의 유사도를 산출하는 단계를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 도구 인식 기반의 수술 동영상 간 유사도 비교 방법은, 상기 유사도에 기초하여 상기 비교 대상 수술 동영상의 상기 기준 수술 동영상에 대한 연관 관계를 결정하는 단계 및 결정된 상기 연관 관계를 포함하여 상기 비교 대상 수술 동영상을 기 구축된 위키(Wiki) 기반 웹 플랫폼에 업로드 하는 단계를 포함할 수 있다.
또한, 상기 수술 관련 메타 데이터는, 상기 기준 수술 동영상 또는 상기 비교 대상 수술 동영상과 연계된 수술 유형 정보, 수술 시간 정보, 수술 장소 정보 및 수술 의료진 정보를 포함하는 수술 정보와 상기 기준 수술 동영상 또는 상기 비교 대상 수술 동영상과 연계된 환자의 인적 사항 정보 및 환자의 질병 정보를 포함하는 환자 정보를 포함할 수 있다.
또한, 상기 도구 등장 정보는 소정의 수술에 활용되는 도구의 움직임과 연계된 도구 궤적 정보 및 상기 도구의 움직임에 기초하여 추론되는 수술 행위 정보를 포함할 수 있다.
또한, 상기 도구 등장 정보를 획득하는 단계는, 상기 기준 수술 동영상 또는 상기 비교 대상 수술 동영상을 복수의 인덱스 영상으로 분할하는 단계, 분할된 상기 인덱스 영상 각각에서 등장하는 상기 도구를 식별하는 단계, 식별된 상기 도구에 대한 상기 도구 궤적 정보를 도출하는 단계 및 상기 도구 궤적 정보를 기 생성된 인공지능 알고리즘에 입력하여 상기 도구 궤적 정보에 대응하는 상기 수술 행위 정보를 도출하는 단계를 포함할 수 있다.
또한, 상기 연관 관계를 결정하는 단계는, 상기 기준 수술 동영상 및 상기 비교 대상 수술 동영상 각각에 대한 복수의 상기 인덱스 영상별 대표 프레임 사이의 프레임 유사성을 더 고려하여 상기 연관 관계를 결정할 수 있다.
또한, 본원의 일 실시예에 따른 도구 인식 기반의 수술 동영상 간 유사도 비교 방법은, 상기 위키 기반 웹 플랫폼에 상기 기준 수술 동영상을 업로드 하는 단계를 포함할 수 있다.
또한, 상기 기준 수술 동영상을 업로드 하는 단계는, 소정의 조건에 따라 미리 인증 권한이 부여된 콘텐츠 생성자 단말을 통해 수행될 수 있다.
또한, 본원의 일 실시예에 따른 도구 인식 기반의 수술 동영상 간 유사도 비교 방법은, 상기 위키 기반 웹 플랫폼에 대한 적어도 하나 이상의 참여자 단말로부터 상기 비교 대상 수술 동영상에 대한 피드백 데이터를 수신하고, 상기 피드백 데이터에 기초하여 상기 비교 대상 수술 동영상에 대한 상기 연관 관계 및 상기 유사도 중 적어도 하나를 수정하는 단계를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 도구 인식 기반의 수술 동영상 간 유사도 비교 방법은, 상기 위키 기반 웹 플랫폼과 연계된 콘텐츠 소비자 단말로 상기 비교 대상 수술 동영상을 제공하는 단계를 포함할 수 있다.
한편, 본원의 일 실시예에 따른 도구 인식 기반의 수술 동영상 간 유사도 비교 장치는, 입력된 기준 수술 동영상 및 비교 대상 수술 동영상 각각의 수술 관련 메타 데이터 및 도구 등장 정보를 획득하는 영상 정보 추출부 및 상기 메타 데이터 및 상기 도구 등장 정보에 기초하여 상기 기준 수술 동영상과 상기 비교 대상 수술 동영상의 유사도를 산출하는 유사도 산출부를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 도구 인식 기반의 수술 동영상 간 유사도 비교 장치는, 상기 유사도에 기초하여 상기 비교 대상 수술 동영상의 상기 기준 수술 동영상에 대한 연관 관계를 결정하고, 결정된 상기 연관 관계를 포함하여 상기 비교 대상 수술 동영상을 기 구축된 위키(Wiki) 기반 웹 플랫폼에 업로드 하는 업로드부를 포함할 수 있다.
또한, 상기 영상 정보 추출부는, 상기 기준 수술 동영상 또는 상기 비교 대상 수술 동영상을 복수의 인덱스 영상으로 분할하고, 분할된 상기 인덱스 영상 각각에서 등장하는 상기 도구를 식별하고, 식별된 상기 도구에 대한 상기 도구 궤적 정보를 도출하고, 상기 도구 궤적 정보를 기 생성된 인공지능 알고리즘에 입력하여 상기 도구 궤적 정보에 대응하는 상기 수술 행위 정보를 도출할 수 있다.
또한, 상기 업로드부는, 소정의 조건에 따라 미리 인증 권한이 부여된 콘텐츠 생성자 단말로부터 상기 기준 수술 동영상을 수신하고 상기 위키 기반 웹 플랫폼에 수신된 상기 기준 수술 동영상을 업로드할 수 있다.
또한, 본원의 일 실시예에 따른 도구 인식 기반의 수술 동영상 간 유사도 비교 장치는, 상기 위키 기반 웹 플랫폼에 대한 적어도 하나 이상의 참여자 단말로부터 상기 비교 대상 수술 동영상에 대한 피드백 데이터를 수신하고, 상기 피드백 데이터에 기초하여 상기 비교 대상 수술 동영상에 대한 상기 연관 관계 및 상기 유사도 중 적어도 하나를 수정하는 검토부를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 도구 인식 기반의 수술 동영상 간 유사도 비교 장치는, 상기 위키 기반 웹 플랫폼과 연계된 콘텐츠 소비자 단말로 상기 비교 대상 수술 동영상을 제공하는 콘텐츠 제공부를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 수술 동영상으로부터 해당 수술에서 활용된 도구를 인식 및 데이터화하여 이를 기초로 서로 다른 수술 동영상에 대한 유사도 및 연관 관계를 비교할 수 있는 도구 인식 기반의 수술 동영상 간 유사도 비교 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 업로드 된 수술 동영상에 대한 토론 및 첨삭을 지원하는 위키 기반 웹 플랫폼을 마련함으로써 수술 관련 지식을 자산화하여 제공할 수 있는 수술 동영상에 대한 지능형 지식 공유 시스템을 제공할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 위키 기반의 수술 동영상에 대한 지능형 지식 공유 시스템의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 위키 기반의 수술 동영상에 대한 지능형 지식 공유 시스템에 의해 수술 동영상 기반의 콘텐츠가 생성 및 제공되는 과정을 설명하기 위한 개념도이다.
도 3은 본원의 일 실시예에 따른 위키(Wiki) 기반 웹 플랫폼을 설명하기 위한 개념도이다.
도 4는 본원의 일 실시예에 따른 입력된 수술 동영상에 대한 전처리 과정을 설명하기 위한 도면이다.
도 5는 수술 동영상 내 특정 프레임에서의 도구 등장 정보를 예시적으로 나타낸 도면이다.
도 6은 특정 수술 동영상에서 등장한 복수의 도구 등장 정보를 종합적으로 나타낸 도면이다.
도 7은 기준 수술 동영상과 비교 대상 수술 동영상의 유사도 또는 연관 관계를 제공하기 위한 사용자 인터페이스를 예시적으로 나타낸 도면이다.
도 8은 본원의 일 실시예에 따른 도구 인식 기반의 수술 동영상 간 유사도 비교 장치의 개략적인 구성도이다.
도 9는 본원의 일 실시예에 따른 도구 인식 기반의 수술 동영상 간 유사도 비교 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 도구 인식 기반의 수술 동영상 간 유사도 비교 장치 및 방법에 관한 것이다.
도 1은 본원의 일 실시예에 따른 위키 기반의 수술 동영상에 대한 지능형 지식 공유 시스템의 개략적인 구성도이다.
도 1을 참조하면, 본원의 일 실시예에 따른 위키 기반의 수술 동영상에 대한 지능형 지식 공유 시스템(10)은, 도구 인식 기반의 수술 동영상 간 유사도 비교 장치(100)(이하, '유사도 비교 장치(100)'라 한다.), 콘텐츠 생성자 단말(200), 비교 대상 수술 동영상 제공 장치(300), 참여자 단말(400) 및 콘텐츠 소비자 단말(500)을 포함할 수 있다.
유사도 비교 장치(100), 콘텐츠 생성자 단말(200), 비교 대상 수술 동영상 제공 장치(300), 참여자 단말(400) 및 콘텐츠 소비자 단말(500) 상호간은 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
또한, 유사도 비교 장치(100)는 네트워크(20)를 통해 위키(Wiki) 기반 웹 플랫폼(30)에 후술하는 기준 수술 동영상, 비교 대상 수술 동영상 등을 업로드하고 업로드 된 수술 동영상 각각에 대한 각종 정보(도구 등장 정보, 메타 데이터 등)를 통합적으로 관리할 수 있다.
콘텐츠 생성자 단말(200), 비교 대상 수술 동영상 제공 장치(300), 참여자 단말(400) 및 콘텐츠 소비자 단말(500)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다.
또한, 본원의 일 실시예에 따르면, 비교 대상 수술 동영상 제공 장치(300)는 기준 수술 동영상에 대한 유사도 분석 및 연관 관계 분석의 대상이 되는 비교 대상 수술 동영상을 유사도 비교 장치(100)로 제공하는 장치를 의미하는 것일 수 있다. 예를 들어, 비교 대상 수술 동영상 제공 장치(300)는 복강경 장비, 로봇 수술 장비, 수술용 카메라 등 특정 수술 수행 시 해당 수술 장면을 녹화하기 위한 영상 장비, 레코딩 기기 등일 수 있다. 다른 예로, 비교 대상 수술 동영상 제공 장치(300)는 전술한 영상 장비, 레코딩 기기 등과 연계하여 마련되는 별도의 저장 장치(예를 들면, 외장 하드 등)를 의미하는 것일 수 있다. 또 다른 예로, 비교 대상 수술 동영상 제공 장치(300)는 본원의 위키(Wiki) 기반 웹 플랫폼(30)에 참여하는 참여자 단말(400) 중 어느 하나일 수 있다.
참고로, 본원의 실시예에 관한 설명에서 위키 기반 웹 플랫폼(30)에 참여한다는 것은 위키 기반 웹 플랫폼(30)에 대한 계정을 보유(등록)하고 있거나, 위키 기반 웹 플랫폼(30)의 제공 주체로부터 수술 동영상 업로드, 수술 동영상에 대한 피드백 데이터 제공 등에 관한 권한을 부여받아 위키 기반 웹 플랫폼(30)을 통하여 수술 동영상을 제공하거나 제공된 수술 동영상에 대한 첨삭, 토론, 의견 제시 등을 수행하는 행위를 의미하는 것으로 이해될 수 있다. 이와 관련하여, 위키 기반 웹 플랫폼(30)의 참여 주체(예를 들면, 참여자 단말(400)의 소유자 등)에 대하여 부여된 권한 유형에 따라 위키 기반 웹 플랫폼(30)을 이용할 수 있는 행동 범위가 다양하게 결정될 수 있다.
또한, 본원의 실시예에 관한 설명에서 콘텐츠 생성자 단말(200)은 위키 기반 웹 플랫폼(30)의 제공 주체로부터 소정의 조건에 따라 미리 인증 권한이 부여되어 다른 수술 동영상에 대한 비교 기준으로 기능하는 기준 수술 동영상을 업로드할 수 있는 단말을 의미할 수 있다. 다른 예로, 콘텐츠 생성자 단말(200)은 전술한 인증 권한에 근거하여 위키 기반 웹 플랫폼(30)에 업로드 된 복수의 수술 동영상 중 소정의 기준 수술 동영상을 선택할 수 있는 지위에 있는 주체가 보유한 단말을 의미할 수 있다. 실시예에 따라, 소정의 조건에 따라 부여되는 인증 권한은 복수의 콘텐츠 생성자 단말(200)에 부여될 수 있다. 예를 들어, 수술 유형 각각에 대하여 콘텐츠 생성자 단말(200)이 다르게 결정될 수 있으며, 특정 수술 유형 어느 하나에 대하여도 복수의 콘텐츠 생성자 단말(200)이 지정될 수 있다. 본원의 일 실시예에 따르면, 복수의 콘텐츠 생성자 단말(200)이 특정 수술 유형에 대하여 지정되어 있는 경우, 해당 수술 유형에 대하여 설정되는 기준 동영상은 복수의 콘텐츠 생성자 단말(200) 각각이 개별적으로 업로드 내지 선정하거나 복수의 콘텐츠 생성자 단말(200) 간의 합의를 통해 업로드 내지 선정되는 것일 수 있다.
콘텐츠 생성자 단말(200)에 인증 권한을 부여하기 위한 소정의 조건은 예를 들면, 해당 단말의 사용자의 의료 경력, 지위, 직급, 특정 수술에 대한 수술 시행 횟수 등에 기초하여 결정되는 것일 수 있다.
또한, 본원의 실시예에 관한 설명에서 콘텐츠 소비자 단말(500)은 학습 목적, 연구 목적, 학술 목적, 특정 수술 집도에 앞서 참고할 목적 등을 위하여 위키 기반 웹 플랫폼(30)에 업로드 된 수술 동영상을 시청하고자 하는 주체가 보유한 단말일 수 있다. 실시예에 따라, 콘텐츠 소비자 단말(500)은 참여자 단말(400) 중 일부에 해당할 수 있다. 또한, 위키 기반 웹 플랫폼(30)의 제공 주체가 부여한 권한에 따라 콘텐츠 소비자 단말(500)은 피드백 데이터 제공에 대한 권한은 보유하지 않고 오직 수술 동영상에 대한 시청만이 가능한 단말일 수도 있다.
도 2는 본원의 일 실시예에 따른 위키 기반의 수술 동영상에 대한 지능형 지식 공유 시스템에 의해 수술 동영상 기반의 콘텐츠가 생성 및 제공되는 과정을 설명하기 위한 개념도이다.
도 2를 참조하면, 전술한 콘텐츠 생성자 단말(200)의 사용자(보유자)는 도 2에 도시된 1st Creator에 해당할 수 있고, 참여자 단말(400)의 사용자는 도 2에 도시된 Co-worker에 해당할 수 있고, 콘텐츠 소비자 단말(500)의 사용자는 도 2에 도시된 Subscriber 및 Department, Hospital 및 University 등에 해당할 수 있다.
도 3은 본원의 일 실시예에 따른 위키(Wiki) 기반 웹 플랫폼을 설명하기 위한 개념도이다.
도 3을 참조하면, 위키 기반 웹 플랫폼(30)은 비디오 분석 및 변환 시스템(31), 위키 웹 서버(Wiki Web Server, 32), 비디오 큐레이션 웹 서버(Video curation Web server, 33), 비디오 스토리지(34) 및 데이터 DB(35)를 포함할 수 있다.
구체적으로 본원의 일 실시예에 따르면, 비디오 분석 및 변환 시스템(31)은 업로드 된 수술 동영상에 대한 인덱싱(indexing)을 수행하여 인덱싱 정보를 생성할 수 있다. 또한, 비디오 분석 및 변환 시스템(31)은 업로드 된 수술 동영상에 대한 주요 장면을 압축한 요약 비디오(카탈로깅 비디오)를 생성 및 저장할 수 있다. 도 3은 본원의 위키 기반 웹 플랫폼(30)의 기능 및 동작을 설명하기 위한 예시적인 도면으로 이해되어야 하며 이와 관련하여 본원의 일 실시예에 따르면, 비디오 분석 및 변환 시스템(31)의 일부 기능은 본원의 유사도 비교 장치(100)에 의해 수행되는 것이거나 비디오 분석 및 변환 시스템(31)과 중첩하여 수행되는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, 위키 웹 서버(32)는 전술한 콘텐츠 생성자 단말(200), 비교 대상 수술 동영상 제공 장치(300), 참여자 단말(400) 및 콘텐츠 소비자 단말(500) 등에 부여된 각종 권한을 관리하고 해당 단말 각각의 계정을 관리할 수 있다. 또한, 위키 웹 서버(32)는 후술하는 바와 같이 참여자 단말(400)에 의해 제공된 피드백 데이터에 기초하여 소정의 수술 동영상에 대한 유사도, 연관 관계 등이 수정되는 경우 이를 반영하여 콘텐츠 정보, 비디오 스토리지에 저장된 데이터 등을 업데이트할 수 있다.
또한, 본원의 일 실시예에 따르면, 비디오 큐레이션 웹 서버(33)는 비디오 스토리지(34)에 업로드 된 복수의 수술 동영상에 대해 결정된 기준 수술 동영상에 대한 유사도, 연관 관계, 메타 데이터 등을 데이터 DB(35)로부터 획득하고, 획득된 유사도, 연관 관계, 메타 데이터 등에 기초하여 복수의 수술 동영상을 분류 및 카테고리화 하고, 분류 및 카테고리화 결과에 기초하여 콘텐츠 소비자 단말(500)에 수술 동영상 검색 결과를 제공하고, 특정 수술 동영상에 대한 다운로드를 지원하거나 스트리밍 서비스를 제공하기 위해 마련되는 서버를 의미할 수 있다.
이하에서는 도 4 내지 도 7을 참조하여 유사도 비교 장치(100)의 구체적인 동작 및 기능을 상세히 서술하도록 한다.
먼저, 유사도 비교 장치(100)는 소정의 조건에 따라 미리 인증 권한이 부여된 콘텐츠 생성자 단말(200)로부터 기준 수술 동영상을 획득(수신)하고, 수신된 기준 수술 동영상을 위키 기반 웹 플랫폼(30)에 업로드할 수 있다.
또한, 유사도 비교 장치(100)는 수신된 기준 수술 동영상을 기초로 유사도 분석 및 수술 동영상 간의 연관 관계 파악의 대상이 되는 비교 대상 수술 동영상을 비교 대상 수술 동영상 제공 장치(300)로부터 획득(수신)할 수 있다.
유사도 비교 장치(100)는 입력된 기준 수술 동영상 및 비교 대상 수술 동영상 각각의 수술 관련 메타 데이터 및 도구 등장 정보를 획득할 수 있다.
본원의 일 실시예에 따르면, 전술한 수술 관련 메타 데이터는 수술 정보 및 환자 정보를 포함할 수 있다. 여기서, 수술 정보는 기준 수술 동영상 또는 비교 대상 수술 동영상과 연계된 수술 유형 정보, 수술 시간 정보, 수술 장소 정보 및 수술 의료진 정보를 포함하고, 환자 정보는 기준 수술 동영상 또는 비교 대상 수술 동영상과 연계된 환자의 인적 사항 정보 및 환자의 질병 정보를 포함할 수 있으나, 이에만 한정되는 것은 아니다.
본원의 일 실시예에 따르면, 전술한 도구 등장 정보는 소정의 수술에 활용되는 도구의 움직임과 연계된 도구 궤적 정보 및 도구의 움직임에 기초하여 추론되는 수술 행위 정보를 포함할 수 있다.
이와 관련하여, 유사도 비교 장치(100)는 먼저 기준 수술 동영상 또는 비교 대상 수술 동영상을 복수의 인덱스 영상으로 분할할 수 있다. 여기서, 인덱스 영상이란 기준 수술 동영상 또는 비교 대상 수술 동영상의 특징에 해당하는 연속적인 유사 영상 간의 경계를 설정하여, 설정된 경계를 기준으로 분할된 복수의 클립 영상을 의미하는 것일 수 있다. 유사도 비교 장치(100)는 기준 수술 동영상 및 비교 대상 수술 동영상을 전체 구간에 대하여 상호 비교하는 것이 아니라, 기준 수술 동영상 및 비교 대상 수술 동영상 각각을 복수의 인덱스 영상으로 분할하고 상호 대응되는 인덱스 영상 간의 비교 분석을 수행함으로써 유사도 산출을 위한 CPU 등의 연산을 최소화할 수 있다.
구체적으로, 유사도 비교 장치(100)는, 기준 수술 동영상 또는 비교 대상 수술 동영상 각각의 인접 프레임 간 유사도에 기초하여 경계 프레임을 검출하고, 검출된 경계 프레임을 기준으로 하여 기준 수술 동영상 또는 비교 대상 수술 동영상을 복수의 인덱스 영상으로 각각 분할할 수 있다.
본원의 일 실시예에 따르면, 인접 프레임 간 유사도는 인접 프레임 간의 구조적 유사도 및 인접 프레임 간의 컬러 히스토그램 유사도를 포함할 수 있다. 다만, 이에만 한정되는 것은 아니며, 인접 프레임 간 유사도는 인접 프레임 간의 색상 정보, 등장 객체(예를 들면, 수술 도구 등) 정보 등에 기초하여 다양한 방식으로 산출될 수 있다.
또한, 유사도 비교 장치(100)는 두 인접 프레임 간의 구조적 유사도가 기 설정된 제1임계값 미만이거나 컬러 히스토그램 유사도가 기 설정된 제2임계값 미만 인 경우, 상기 두 인접 프레임 중 어느 한 프레임을 상기 경계 프레임으로 검출하도록 동작할 수 있다.
본원의 일 실시예에 따르면, 제1임계값 및 제2임계값 중 적어도 하나는 기준 수술 동영상 또는 비교 대상 수술 동영상의 소정의 시퀀스 구간으로 설정된 윈도우(Window) 내에서 계산되는 유사도의 분산 정보 등을 이용하여 적응적으로 결정되는 것일 수 있다.
예를 들어, 윈도우 설정을 위한 소정의 시퀀스 구간은 7 프레임일 수 있으나, 이에만 한정되는 것은 아니다. 다른 예로, 윈도우 설정을 위한 소정의 시퀀스 구간은 기준 수술 동영상 또는 비교 대상 수술 동영상의 유형에 따라 선택적으로 다른 수의 프레임을 포함하는 것일 수 있다.
도 4는 본원의 일 실시예에 따른 입력된 수술 동영상에 대한 전처리 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 유사도 비교 장치(100)는 입력된 수술 동영상(기준 수술 동영상 및 비교 대상 수술 동영상) 내 프레임 각각에 대한 특징을 추출하기 위한 전처리를 인덱스 영상 분할 프로세스에 선행하여 수행할 수 있다. 구체적으로 도 4의 (a)는 유사도 비교 장치(100)에 입력된 수술 동영상의 소정의 원본 프레임을 나타낸 것이고, 도 4의 (b)는 유사도 비교 장치(100)가 입력된 원본 프레임으로부터 관심 장기를 분할 및 표시한 결과를 나타낸 것이고, 도 4의 (c)는 유사도 비교 장치(100)가 관심 장기 분할 결과에 기초하여 병소, 병변 부위 등의 특징을 추출하고 이를 표시한 것을 나타낸 것이다.
즉, 유사도 비교 장치(100)는 수술 동영상의 각 프레임에 대한 특징 정보(프레임 내 관심 장기의 위치 및 형상, 병변의 위치 및 형상)를 파악할 수 있으며, 나아가, 유사도 비교 장치(100)는 파악된 특징 정보에 기초하여 인덱싱 영상 분할의 기준이 되는 경계 프레임 선정에 활용하거나 프레임 각각에서의 등장 도구를 식별하는데 활용할 수 있다.
도 5는 수술 동영상 내 특정 프레임에서의 도구 등장 정보를 예시적으로 나타낸 도면이다.
도 5를 참조하면, 유사도 비교 장치(100)는 분할된 인덱스 영상 각각에서 등장하는 도구를 식별할 수 있다. 구체적으로 본원의 일 실시예에 따르면, 유사도 비교 장치(100)는, 분할된 인덱스 영상 각각에 대하여 인덱스 영상 내 복수의 프레임 중 소정의 도구가 포함된 도구 등장 프레임을 선별할 수 있다. 구체적으로, 본원의 일 실시예에 따르면, 유사도 비교 장치(100)는 소정의 도구의 등장 시점(등장 프레임) 및 퇴장 시점(퇴장 프레임)을 도구별로 획득할 수 있다. 참고로, 수술 동영상 내 등장 가능한 각종 도구들은 수술의 종류, 수술 환경, 촬영 기기의 근접도 등에 따라 수술 동영상의 프레임 내부에서 등장 및 퇴장을 반복할 수 있다. 따라서, 본원의 일 실시예에 따른 유사도 비교 장치(100)는 하나의 도구에 대하여 등장 프레임 및 퇴장 프레임을 복수 개 획득하도록 동작할 수 있다. 이해를 돕기 위해 예시하면, 수술 동영상의 시작 프레임(프레임 0)을 기준으로 탐색하여 도구가 처음 등장한 제1등장 프레임과 제1등장 프레임 이후의 가장 근접한 프레임에서 해당 도구가 퇴장한 제1퇴장 프레임 사이 구간이 해당 도구가 등장한 구간 범위로 식별될 수 있다. 또한, 제1퇴장 프레임 이후 해당 도구가 재등장하는 경우 이와 유사하게 제2등장 프레임과 제2퇴장 프레임 사이 구간이 해당 도구가 두 번째로 등장한 구간 범위로 식별될 수 있다.
달리 말해, 등장 프레임은 해당 도구가 수술 동영상 내에서 미등장한 상태에서 등장한 상태로 전환된 프레임을 의미할 수 있으며, 퇴장 프레임은 반대로 해당 도구가 수술 동영상 내에서 등장한 상태에서 미등장한 상태로 전환된 프레임을 의미할 수 있다.
또한, 도 5를 참조하면, 유사도 비교 장치(100)는 도구가 식별된 경우, 해당 도구의 식별 정확도를 함께 산출할 수 있다. 예를 들어, 도 5를 참조하면 식별 정확도는 % 단위로 산출되는 것일 수 있다.
도 6은 특정 수술 동영상에서 등장한 복수의 도구 등장 정보를 종합적으로 나타낸 도면이다.
도 6을 참조하면, 유사도 비교 장치(100)가 식별하는 도구는 가위(Scissors), 핀셋, 흡입기, 시술자의 손, 내시경, 카테터, 가이드 와이어, 프로브, Grasper, Bipolar, Hook, Clipper, Irrigator, Specimen Bag 등 수술 과정에서 활용될 수 있는 다양한 의료 기기, 도구 등을 폭넓게 포함할 수 있다. 또한, 본원의 일 실시예에 따르면, 유사도 비교 장치(100)는 해당 수술 동영상에 대한 메타 데이터(예를 들면, 수술 유형, 질병 대상, 대상자의 연령 등)에 기초하여 소정의 도구 별로 해당 수술 동영상에 등장할 확률을 계산하여, 계산된 확률에 기초하여 도구에 대한 식별을 수행하는 것일 수 있다. 예를 들어, 유사도 비교 장치(100)는 특정 수술 유형에서는 활용되지 않는 도구가 존재하는 경우, 해당 수술 유형에 대한 수술 동영상에 대한 도구 식별 시에는 해당 도구는 고려하지 않도록 동작할 수 있다.
또한, 유사도 비교 장치(100)는 식별된 도구에 대한 도구 궤적 정보를 도출할 수 있다. 구체적으로, 유사도 비교 장치(100)는, 수술 동영상에서 식별된 도구에 대하여 인접한 도구 등장 프레임에서의 도구의 이동 경로에 기초하여 도구 궤적 정보를 획득할 수 있다.
본원의 일 실시예에 따르면, 유사도 비교 장치(100)는 도출된 도구 궤적 정보를 기 생성된 인공지능 알고리즘에 입력하여 해당 도구 궤적 정보에 대응하는 수술 행위 정보를 도출할 수 있다.
본원의 일 실시예에 따르면, 유사도 비교 장치(100)는 기 생성된 인공지능 알고리즘에 기초하여 획득된 도구 궤적 정보에 기초하여 수술 행위를 분석(도출)할 수 있다. 본원의 일 실시예에 따르면, 기 생성된 인공지능 알고리즘은 구체적으로 수술 동영상에서 등장 가능한 도구의 도구 등장 프레임 내에서의 움직임에 대한 분석 결과를 입력으로 하여 분석된 도구의 움직임에 대응하는 수술 행위를 출력으로 제공하는 알고리즘일 수 있다.
본원의 일 실시예에 따르면, 기 생성된 인공지능 알고리즘은 소정의 수술 동영상 및 해당 수술 동영상에 나타난 수술 행위에 대한 정보를 학습 데이터로 하여 수술 동영상에서 등장 가능한 도구의 움직임에 대한 분석 결과와 도구의 움직임에 대응하는 수술 행위와의 상관 관계(예를 들면, 함수 형태)를 학습하는 지도 학습(Supervised Learning) 기반의 기계 학습 방식으로 생성되는 것일 수 있다. 다만, 이에만 한정되는 것은 아니며, 본원에서의 기 생성된 인공지능 알고리즘은 로지스틱 회귀 분석(Logistic Regression), 랜덤 포레스트(Random Forest), 딥 러닝(Deep Learning), 서포트 벡터 머신(Supprot Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 강화 학습(Reinforcement Learning) 등 종래에 공지되었거나 향후 개발되는 모든 종류의 기계 학습 방식을 통해 생성(학습)된 것일 수 있다.
본원의 일 실시예에 따르면, 전술한 기 생성된 인공지능 알고리즘은 학습 데이터에 해당하는 수술 동영상에 대하여 해당 수술 시행자(의사, 의료진), 수술 동영상에 대한 검수자 등이 기입한 주석(Annotation)을 지도 학습 기반의 인공지능 알고리즘 생성을 위한 라벨(Label) 데이터로 하여 학습된 것일 수 있다.
본원의 일 실시예에 따르면, 유사도 비교 장치(100)는 특정 도구가 등장한 프레임들(구체적으로, 해당 도구에 대한 등장 프레임부터 퇴장 프레임까지의 프레임들)의 인접한 소정의 프레임을 분석하여 식별된 도구가 해당 프레임 집합 내에서 이동한 방향 정보, 거리 정보 등을 도출함으로써 도구의 움직임을 파악하는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, 유사도 비교 장치(100)는 수술 동영상 내의 대상자의 환부(수술/시술 부위)의 형상 변화 패턴에 기초하여 식별된 도구의 움직임을 추정하도록 동작할 수 있다. 여기서, 환부의 형상 변화 패턴은 도 4를 통해 상술한 프레임 별 특징 정보를 활용하여 도출되는 것일 수 있다. 예를 들어, 유사도 비교 장치(100)는 도구 자체의 움직임 정보뿐만 아니라, 대상자의 환부 영역의 색상 정보에 기초하여 출혈 발생을 감지하거나 절개된 환부가 봉합된 상황 등을 감지할 수 있고, 감지된 환부의 형상 변화 패턴을 도구 자체의 움직임 정보와 함께 고려하여 해당 도구와 연계된 수술 행위를 보다 정확하게 도출할 수 있다.
참고로, 유사도 비교 장치(100)에 의해 분석되는 수술 행위는 결찰(Ligation), 절개(Dissection), 절제(Resection), 봉합(Suture) 등을 포함할 수 있으나, 이에만 한정되는 것은 아니다.
또한, 유사도 비교 장치(100)는 획득된 메타 데이터 및 도구 등장 정보에 기초하여 기준 수술 동영상과 비교 대상 수술 동영상 간의 유사도를 산출할 수 있다.
본원의 일 실시예에 따르면, 유사도 비교 장치(100)는 기준 수술 동영상과 비교 대상 수술 동영상의 메타 데이터에 기초하여 비교 대상 수술 동영상의 수술 유형(종류), 질병 유형(종류) 등이 기준 수술 동영상의 메타 데이터에 대응되는지를 판단하고, 기준 수술 동영상과 비교 대상 수술 동영상이 상호 유사도를 비교하기에 부적절한 것으로 판단되는 경우(예를 들면, 수술 유형이 다소 상이한 경우 등) 유사도 산출 프로세스를 진행하지 않고, 해당 비교 대상 수술 동영상에 대한 기준 수술 동영상을 재탐색하도록 동작할 수 있다. 이와 달리, 유사도 비교 장치(100)는 기준 수술 동영상과 비교 대상 수술 동영상의 메타 데이터에 기초하여 비교 대상 수술 동영상이 기준 수술 동영상에 대하여 유의미하게 유사도 판단이 필요한 것으로 판단되는 경우 아래와 같이 두 수술 동영상에 대한 유사도를 산출할 수 있다.
본원의 일 실시예에 따르면, 유사도 비교 장치(100)는 기준 수술 동영상 및 비교 대상 수술 동영상에 대한 분할된 인덱스 영상 각각에 대하여 파악된 수술 행위 정보를 매칭할 수 있다. 예를 들어, 특정 인덱스 영상이 기준 수술 동영상 및 비교 대상 수술 동영상 간에 서로 대응되도록 '결찰'로 수술 행위 정보가 도출된 경우, 유사도 비교 장치(100)는 기준 수술 동영상 및 비교 대상 수술 동영상에 대한 수술 행위 정보가 '결찰'에 해당하는 인덱스 영상 간을 비교하도록 동작할 수 있다.
또한, 유사도 비교 장치(100)는 수술 행위 정보가 매칭되는 두 인덱스 영상에서의 도구 등장 유형 및 도구 궤적 정보에 기초하여 두 인덱스 영상 간의 유사도를 산출할 수 있다. 여기서, 도구 등장 유형은 상호 대응되는 수술 행위에 대하여 어떠한 도구가 각각 사용되었는지를 의미하고, 도구 궤적 정보는 도구의 이동 경로, 도구의 사용(이동) 시간이 각각 어떻게 비교되는지를 의미할 수 있다.
본원의 일 실시예에 따르면, 유사도 비교 장치(100)는 기준 수술 동영상 및 비교 대상 수술 동영상에 대한 상호 매칭되는 인덱스 영상 간의 유사도를 합산(종합적으로 고려)하여 기준 수술 동영상 및 비교 대상 수술 동영상 전체에 대한 유사도를 도출할 수 있다. 달리 말해, 유사도 비교 장치(100)에 의해 도출되는 기준 수술 동영상과 비교 대상 수술 동영상에 대한 유사도는 대응되는(매칭되는) 인덱스 영상 각각에 대해 산출된 부분 유사도 및 기준 수술 동영상 및 비교 대상 수술 동영상 전체에 대하여 종합적으로 고려된 전체 유사도를 포함할 수 있으며, 이러한 유사도(부분 유사도 및 전체 유사도)는 소정의 기준으로 할당되는 수치 값(예를 들면, 확률 등)을 기반으로 산출될 수 있다.
본원의 일 실시예에 따르면, 유사도 비교 장치(100)는 기준 수술 동영상 및 비교 대상 수술 동영상에 대한 메타 데이터 중 환자 정보에 기초하여 부분 유사도 또는 전체 유사도 산출을 위한 가중치를 조정할 수 있다. 예를 들어, 두 수술 동영상에 대한 메타 데이터에 기초하여 각각의 수술의 대상이 되는 환자 정보가 소정 수준 이상 유사한 경우(달리 말해, 환자 유형, 환자 성별, 질환 정보, 환자 연령 등이 유사한 경우), 부분 유사도 또는 전체 유사도가 보다 엄격한 기준으로 산출되도록 가중치를 조정하고, 반대로, 각각의 수술의 대상이 되는 환자 정보가 소정 수준 이상 상이한 경우(달리 말해, 환자 유형, 환자 성별, 질환 정보, 환자 연령 등이 상이한 경우), 부분 유사도 또는 전체 유사도가 보다 완화된 기준으로 산출되도록 가중치를 조정할 수 있다. 다만, 이에만 한정되는 것은 아니고, 환자 정보에 기초한 유사도 산출 시의 가중치 조정 패턴은 해당 수술 유형의 특수성, 유사도 비교의 목적 등에 기초하여 다양하게 변동될 수 있다.
달리 말해, 유사도 비교 장치(100)는 비교 대상 수술 동영상과 기준 수술 동영상의 유사도를 산출하기 위하여, 각각의 메타 데이터를 고려하여 수술 동영상 내 인덱스 영상에서 파악되는 도구 기반의 이벤트를 상호 비교하도록 동작할 수 있다.
또한, 유사도 비교 장치(100)는 산출된 유사도에 기초하여 비교 대상 수술 동영상의 기준 수술 동영상에 대한 연관 관계를 결정할 수 있다. 예를 들어, 연관 관계는 "동일 수술에 대한 동영상", "관련도 높은 동영상", "참조 동영상", 등 비교 대상 수술 동영상과 기준 수술 동영상에 대하여 산출된 유사도의 수준(레벨)에 기초하여 해당 비교 대상 수술 동영상에 대하여 부여되는 태그 정보를 의미할 수 있다. 다만, 전술한 연관 관계를 나타내는 각각의 용어(태그)의 명칭은 이에만 한정되는 것은 아니다.
본원의 일 실시예에 따르면, 유사도 비교 장치(100)는 기준 수술 동영상 및 비교 대상 수술 동영상 각각에 대한 복수의 인덱스 영상별 대표 프레임 사이의 프레임 유사성을 고려하여 연관 관계를 결정할 수 있다. 여기서, 인덱스 영상별 대표 프레임은 예를 들면 해당 인덱스 영상에 대한 수술 행위 정보를 도출하는데 결정적으로 기여한 프레임(예를 들면, 해당 프레임에 대한 인접 프레임 사이에서 도구의 움직임이 가장 크게 나타나는 프레임 등)일 수 있다.
또한, 유사도 비교 장치(100)는 결정된 연관 관계를 포함하여 해당 비교 대상 수술 동영상을 기 구축된 위키(Wiki) 기반 웹 플랫폼(30)에 업로드 할 수 있다.
또한, 유사도 비교 장치(100)는 위키 기반 웹 플랫폼(30)에 대한 적어도 하나 이상의 참여자 단말(400)로부터 위키 기반 웹 플랫폼(30) 상에 업로드 된 비교 대상 수술 동영상에 대한 피드백 데이터를 수신할 수 있다. 예를 들어, 피드백 데이터는 본원의 유사도 비교 장치(100)에 의해 제공된 두 수술 동영상 간의 인덱스 영상별 유사도(부분 유사도), 두 수술 동영상 간의 전체 유사도 및 도 수술 동영상에 대해 결정된 연관 관계에 대한 적절성을 평가하고, 만일 특정 인덱스 영상에 대한 부분 유사도, 전체 유사도 또는 결정된 연관 관계가 부적절한 경우 이에 대한 정정이 필요하다는 정보, 정정 방향에 대한 정보 등을 포함하는 데이터일 수 있다. 본원의 일 실시예에 따르면, 피드백 데이터는 복수의 참여자 단말(400) 각각으로부터 수신되거나 복수의 참여자 단말(400)의 사용자 간의 토론 및 의견 교환을 통해 합의된 단일한 형태로 수신될 수 있다.
이후, 유사도 비교 장치(100)는 수신된 피드백 데이터에 기초하여 업로드 된 비교 대상 수술 동영상에 대한 기준 동영상에 대한 연관 관계 및 기준 동영상과의 유사도 중 적어도 하나를 수정할 수 있다. 실시예에 따라 유사도 비교 장치(100)는 피드백 데이터를 콘텐츠 생성자 단말(200)로 제공하고, 콘텐츠 생성자 단말(200)로부터 수신된 피드백 데이터에 대한 승인 요청을 기초로 비교 대상 수술 동영상에 대한 기준 동영상에 대한 연관 관계 및 기준 동영상과의 유사도 중 적어도 하나를 수정하도록 동작할 수 있으나, 이에만 한정되는 것은 아니다.
또한, 유사도 비교 장치(100)는 위키 기반 웹 플랫폼(30)과 연계된 콘텐츠 소비자 단말(500)로 비교 대상 수술 동영상을 제공할 수 있다.
도 7은 기준 수술 동영상과 비교 대상 수술 동영상의 유사도 또는 연관 관계를 제공하기 위한 사용자 인터페이스를 예시적으로 나타낸 도면이다.
본원의 일 실시예에 따르면, 도 7에 도시된 기준 수술 동영상과 비교 대상 수술 동영상의 유사도 또는 연관 관계를 제공하기 위한 사용자 인터페이스는 전술한 피드백 데이터를 제공하기 위한 참여자 단말(400), 해당 기준 수술 동영상을 최초 업로드 또는 선정한 콘텐츠 생성자 단말(200) 또는 해당 비교 대상 수술 동영상을 시청하고자 하는 콘텐츠 소비자 단말(500)에 마련되는 디스플레이 상에 표출되는 것일 수 있다.
도 7을 참조하면, 기준 수술 동영상과 비교 대상 수술 동영상의 유사도 또는 연관 관계는 구간별(달리 말해, 인덱스 영상 분할 구간별) 도구 등장 정보를 비교한 그래프 형태로 표시될 수 있으나, 이에만 한정되는 것은 아니다. 또한, 기준 수술 동영상과 비교 대상 수술 동영상의 유사도 또는 연관 관계를 제공하기 위한 사용자 인터페이스에는 해당 비교 대상 수술 동영상에서의 시간의 흐름에 따른 도구 각각의 도구 등장 정보가 타임 라인 형태로 표시될 수 있다.
도 8은 본원의 일 실시예에 따른 도구 인식 기반의 수술 동영상 간 유사도 비교 장치의 개략적인 구성도이다.
도 8을 참조하면, 유사도 비교 장치(100)는, 영상 정보 추출부(110), 유사도 산출부(120), 업로드부(130), 검토부(140) 및 콘텐츠 제공부(150)를 포함할 수 있다.
영상 정보 추출부(110)는, 입력된 기준 수술 동영상 및 비교 대상 수술 동영상 각각의 수술 관련 메타 데이터 및 도구 등장 정보를 획득할 수 있다.
본원의 일 실시예에 따르면, 영상 정보 추출부(110)는, 기준 수술 동영상 또는 비교 대상 수술 동영상을 복수의 인덱스 영상으로 분할할 수 있다. 또한, 영상 정보 추출부(110)는 분할된 인덱스 영상 각각에서 등장하는 도구를 식별할 수 있다. 또한, 영상 정보 추출부(110)는 식별된 도구 각각에 대한 도구 궤적 정보를 도출할 수 있다. 또한, 영상 정보 추출부(110)는 도출된 도구 궤적 정보를 기 생성된 인공지능 알고리즘에 입력하여 각각의 도구 궤적 정보에 대응하는 수술 행위 정보를 도출할 수 있다.
유사도 산출부(120)는, 획득된 메타 데이터 및 도구 등장 정보에 기초하여 기준 수술 동영상과 비교 대상 수술 동영상의 유사도를 산출할 수 있다.
업로드부(130)는, 산출된 유사도에 기초하여 비교 대상 수술 동영상의 기준 수술 동영상에 대한 연관 관계를 결정할 수 있다. 또한, 업로드부(130)는 결정된 연관 관계를 포함하도록 해당 비교 대상 수술 동영상을 기 구축된 위키(Wiki) 기반 웹 플랫폼(30)에 업로드할 수 있다.
검토부(140)는, 위키 기반 웹 플랫폼에 대한 적어도 하나 이상의 참여자 단말(400)로부터 업로드 된 비교 대상 수술 동영상에 대한 피드백 데이터를 수신할 수 있다. 또한, 검토부(140)는, 수신된 피드백 데이터에 기초하여 업로드 된 비교 대상 수술 동영상에 대한 기준 수술 동영상에 대한 연관 관계 및 기준 수술 동영상과의 유사도 중 적어도 하나를 수정할 수 있다.
콘텐츠 제공부(150)는, 위키 기반 웹 플랫폼(30)과 연계된 콘텐츠 소비자 단말(500)로 업로드 된 비교 대상 수술 동영상을 제공할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 9는 본원의 일 실시예에 따른 도구 인식 기반의 수술 동영상 간 유사도 비교 방법에 대한 동작 흐름도이다.
도 9에 도시된 도구 인식 기반의 수술 동영상 간 유사도 비교 방법은 앞서 설명된 유사도 비교 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 유사도 비교 장치(100)에 대하여 설명된 내용은 도구 인식 기반의 수술 동영상 간 유사도 비교 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 9를 참조하면, 단계 S910에서 업로드부(130)는 소정의 조건에 따라 미리 인증 권한이 부여된 콘텐츠 생성자 단말(200)으로부터 기준 수술 동영상을 획득(수신)할 수 있다. 또한, 단계 S910에서 업로드부(130)는 수신된 기준 수술 동영상을 위키 기반 웹 플랫폼(30)에 업로드할 수 있다.
다음으로, 단계 S920에서 영상 정보 추출부(110)는 입력된 기준 수술 동영상 및 비교 대상 수술 동영상 각각의 수술 관련 메타 데이터 및 도구 등장 정보를 획득할 수 있다.
다음으로, 단계 S930에서 유사도 산출부(120)는 획득된 메타 데이터 및 도구 등장 정보에 기초하여 기준 수술 동영상과 비교 대상 수술 동영상의 유사도를 산출할 수 있다.
다음으로, 단계 S940에서 업로드부(130)는 산출된 유사도에 기초하여 비교 대상 수술 동영상의 기준 수술 동영상에 대한 연관 관계를 결정할 수 있다.
다음으로, 단계 S950에서 업로드부(130)는 결정된 연관 관계를 포함하도록 해당 비교 대상 수술 동영상을 기 구축된 위키(Wiki) 기반 웹 플랫폼(30)에 업로드할 수 있다.
다음으로, 단계 S960에서 검토부(140)는 위키 기반 웹 플랫폼에 대한 적어도 하나 이상의 참여자 단말(400)로부터 업로드 된 비교 대상 수술 동영상에 대한 피드백 데이터를 수신할 수 있다.
다음으로, 단계 S970에서 검토부(140)는 수신된 피드백 데이터에 기초하여 업로드 된 비교 대상 수술 동영상에 대한 기준 수술 동영상에 대한 연관 관계 및 기준 수술 동영상과의 유사도 중 적어도 하나를 수정할 수 있다.
다음으로, 단계 S980에서 콘텐츠 제공부(150)는 위키 기반 웹 플랫폼(30)과 연계된 콘텐츠 소비자 단말(500)로 업로드 된 비교 대상 수술 동영상을 제공할 수 있다.
상술한 설명에서, 단계 S910 내지 S980은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 도구 인식 기반의 수술 동영상 간 유사도 비교 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 도구 인식 기반의 수술 동영상 간 유사도 비교 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 위키 기반의 수술 동영상에 대한 지능형 지식 공유 시스템
100: 도구 인식 기반의 수술 동영상 간 유사도 비교 장치
110: 영상 정보 추출부
120: 유사도 산출부
130: 업로드부
140: 검토부
150: 콘텐츠 제공부
30: 위키(Wiki) 기반 웹 플랫폼
200: 콘텐츠 생성자 단말
300: 비교 대상 수술 동영상 제공 장치
400: 참여자 단말
500: 콘텐츠 소비자 단말
20: 네트워크

Claims (15)

  1. 도구 인식 기반의 수술 동영상 간 유사도 비교 장치에 의해 수행되는 도구 인식 기반의 수술 동영상 간 유사도 비교 방법에 있어서,
    입력된 기준 수술 동영상 및 비교 대상 수술 동영상 각각의 수술 관련 메타 데이터 및 도구 등장 정보를 획득하는 단계; 및
    상기 메타 데이터 및 상기 도구 등장 정보에 기초하여 상기 기준 수술 동영상과 상기 비교 대상 수술 동영상의 유사도를 산출하는 단계,
    를 포함하고,
    상기 유사도를 산출하는 단계 이전에,
    상기 기준 수술 동영상 및 상기 비교 대상 수술 동영상 각각의 상기 메타 데이터에 기초하여 상기 기준 수술 동영상 및 상기 비교 대상 수술 동영상 간의 유사도 비교가 부적절한 것으로 판단되면, 상기 기준 수술 동영상을 재탐색하는 단계,
    를 더 포함하고,
    상기 유사도를 산출하는 단계는,
    상기 기준 수술 동영상 및 상기 비교 대상 수술 동영상 각각에 대하여 분할된 복수의 인덱스 영상 중 상기 도구 등장 정보에 포함된 수술 행위 정보가 상호 대응되는 인덱스 영상 간의 부분 유사도를 산출하는 단계,
    를 포함하는 것인, 유사도 비교 방법.
  2. 제1항에 있어서,
    상기 유사도에 기초하여 상기 비교 대상 수술 동영상의 상기 기준 수술 동영상에 대한 연관 관계를 결정하는 단계; 및
    결정된 상기 연관 관계를 포함하여 상기 비교 대상 수술 동영상을 기 구축된 위키(Wiki) 기반 웹 플랫폼에 업로드 하는 단계,
    를 더 포함하는 것인, 유사도 비교 방법.
  3. 제2항에 있어서,
    상기 수술 관련 메타 데이터는,
    상기 기준 수술 동영상 또는 상기 비교 대상 수술 동영상과 연계된 수술 유형 정보, 수술 시간 정보, 수술 장소 정보 및 수술 의료진 정보를 포함하는 수술 정보와 상기 기준 수술 동영상 또는 상기 비교 대상 수술 동영상과 연계된 환자의 인적 사항 정보 및 환자의 질병 정보를 포함하는 환자 정보를 포함하는 것인, 유사도 비교 방법.
  4. 제3항에 있어서,
    상기 도구 등장 정보는 소정의 수술에 활용되는 도구의 움직임과 연계된 도구 궤적 정보 및 상기 도구의 움직임에 기초하여 추론되는 상기 수술 행위 정보를 포함하고,
    상기 도구 등장 정보를 획득하는 단계는,
    상기 기준 수술 동영상 또는 상기 비교 대상 수술 동영상을 상기 복수의 인덱스 영상으로 분할하는 단계;
    분할된 상기 인덱스 영상 각각에서 등장하는 상기 도구를 식별하는 단계;
    식별된 상기 도구에 대한 상기 도구 궤적 정보를 도출하는 단계; 및
    상기 도구 궤적 정보를 기 생성된 인공지능 알고리즘에 입력하여 상기 도구 궤적 정보에 대응하는 상기 수술 행위 정보를 도출하는 단계,
    를 포함하는 것인, 유사도 비교 방법.
  5. 제4항에 있어서,
    상기 연관 관계를 결정하는 단계는,
    상기 기준 수술 동영상 및 상기 비교 대상 수술 동영상 각각에 대한 복수의 상기 인덱스 영상별 대표 프레임 사이의 프레임 유사성을 더 고려하여 상기 연관 관계를 결정하는 것인, 유사도 비교 방법.
  6. 제2항에 있어서,
    상기 위키 기반 웹 플랫폼에 상기 기준 수술 동영상을 업로드 하는 단계를 더 포함하고,
    상기 기준 수술 동영상을 업로드 하는 단계는,
    소정의 조건에 따라 미리 인증 권한이 부여된 콘텐츠 생성자 단말을 통해 수행되는 것을 특징으로 하는, 유사도 비교 방법.
  7. 제6항에 있어서,
    상기 위키 기반 웹 플랫폼에 대한 적어도 하나 이상의 참여자 단말로부터 상기 비교 대상 수술 동영상에 대한 피드백 데이터를 수신하고, 상기 피드백 데이터에 기초하여 상기 비교 대상 수술 동영상에 대한 상기 연관 관계 및 상기 유사도 중 적어도 하나를 수정하는 단계를 더 포함하는 것인, 유사도 비교 방법.
  8. 제7항에 있어서,
    상기 위키 기반 웹 플랫폼과 연계된 콘텐츠 소비자 단말로 상기 비교 대상 수술 동영상을 제공하는 단계를 더 포함하는 것인, 유사도 비교 방법.
  9. 도구 인식 기반의 수술 동영상 간 유사도 비교 장치에 있어서,
    입력된 기준 수술 동영상 및 비교 대상 수술 동영상 각각의 수술 관련 메타 데이터 및 도구 등장 정보를 획득하는 영상 정보 추출부; 및
    상기 메타 데이터 및 상기 도구 등장 정보에 기초하여 상기 기준 수술 동영상과 상기 비교 대상 수술 동영상의 유사도를 산출하는 유사도 산출부,
    를 포함하고,
    상기 유사도 비교 장치는,
    상기 기준 수술 동영상 및 상기 비교 대상 수술 동영상 각각의 상기 메타 데이터에 기초하여 상기 기준 수술 동영상 및 상기 비교 대상 수술 동영상 간의 유사도 비교가 부적절한 것으로 판단되면, 상기 기준 수술 동영상을 재탐색하고,
    상기 유사도를 산출부는,
    상기 기준 수술 동영상 및 상기 비교 대상 수술 동영상 각각에 대하여 분할된 복수의 인덱스 영상 중 상기 도구 등장 정보에 포함된 수술 행위 정보가 대응되는 인덱스 영상 간의 부분 유사도를 산출하는 것인, 유사도 비교 장치.
  10. 제9항에 있어서,
    상기 유사도에 기초하여 상기 비교 대상 수술 동영상의 상기 기준 수술 동영상에 대한 연관 관계를 결정하고, 결정된 상기 연관 관계를 포함하여 상기 비교 대상 수술 동영상을 기 구축된 위키(Wiki) 기반 웹 플랫폼에 업로드 하는 업로드부,
    를 더 포함하는 것인, 유사도 비교 장치.
  11. 제9항에 있어서,
    상기 도구 등장 정보는 소정의 수술에 활용되는 도구의 움직임과 연계된 도구 궤적 정보 및 상기 도구의 움직임에 기초하여 추론되는 상기 수술 행위 정보를 포함하고,
    상기 영상 정보 추출부는,
    상기 기준 수술 동영상 또는 상기 비교 대상 수술 동영상을 상기 복수의 인덱스 영상으로 분할하고, 분할된 상기 인덱스 영상 각각에서 등장하는 상기 도구를 식별하고, 식별된 상기 도구에 대한 상기 도구 궤적 정보를 도출하고, 상기 도구 궤적 정보를 기 생성된 인공지능 알고리즘에 입력하여 상기 도구 궤적 정보에 대응하는 상기 수술 행위 정보를 도출하는 것인, 유사도 비교 장치.
  12. 제10항에 있어서,
    상기 업로드부는,
    소정의 조건에 따라 미리 인증 권한이 부여된 콘텐츠 생성자 단말로부터 상기 기준 수술 동영상을 수신하고 상기 위키 기반 웹 플랫폼에 수신된 상기 기준 수술 동영상을 업로드 하는 것인, 유사도 비교 장치.
  13. 제12항에 있어서,
    상기 위키 기반 웹 플랫폼에 대한 적어도 하나 이상의 참여자 단말로부터 상기 비교 대상 수술 동영상에 대한 피드백 데이터를 수신하고, 상기 피드백 데이터에 기초하여 상기 비교 대상 수술 동영상에 대한 상기 연관 관계 및 상기 유사도 중 적어도 하나를 수정하는 검토부,
    를 더 포함하는 것인, 유사도 비교 장치.
  14. 제13항에 있어서,
    상기 위키 기반 웹 플랫폼과 연계된 콘텐츠 소비자 단말로 상기 비교 대상 수술 동영상을 제공하는 콘텐츠 제공부,
    를 더 포함하는 것인, 유사도 비교 장치.
  15. 제1항 내지 제8항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.
KR1020200003232A 2020-01-09 2020-01-09 도구 인식 기반의 수술 동영상 간 유사도 비교 장치 및 방법 KR102386496B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200003232A KR102386496B1 (ko) 2020-01-09 2020-01-09 도구 인식 기반의 수술 동영상 간 유사도 비교 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200003232A KR102386496B1 (ko) 2020-01-09 2020-01-09 도구 인식 기반의 수술 동영상 간 유사도 비교 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210089983A KR20210089983A (ko) 2021-07-19
KR102386496B1 true KR102386496B1 (ko) 2022-04-14

Family

ID=77126060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200003232A KR102386496B1 (ko) 2020-01-09 2020-01-09 도구 인식 기반의 수술 동영상 간 유사도 비교 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102386496B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024075961A1 (ko) * 2022-10-05 2024-04-11 주식회사 엠티이지 영상에 포함된 객체에 대한 추론을 수행하는 방법 및 디바이스

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230009230A (ko) 2021-07-08 2023-01-17 주식회사 엘지에너지솔루션 배터리 관리 시스템, 배터리 팩, 전기 차량 및 배터리 관리 방법
KR102539674B1 (ko) * 2022-10-20 2023-06-02 주식회사 메디씽큐 캐시 서버를 이용한 수술 영상 전송 방법 및 이를 이용한 시스템
KR102539691B1 (ko) * 2022-10-20 2023-06-02 주식회사 메디씽큐 수술 단계 영상 전송 방법 및 이를 이용한 시스템
CN117524441A (zh) * 2024-01-03 2024-02-06 杭州海康慧影科技有限公司 一种手术质量的检测方法、装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100811774B1 (ko) * 2006-08-31 2008-03-07 계명대학교 산학협력단 에지 히스토그램 디스크립터의 특징적 에지 블록을 이용한바이오 영상 검색 방법 및 장치
KR101443187B1 (ko) * 2012-12-24 2014-09-19 계명대학교 산학협력단 영상 군집화 기반의 의료 영상 검색 방법
US20160259888A1 (en) * 2015-03-02 2016-09-08 Sony Corporation Method and system for content management of video images of anatomical regions
KR20190063650A (ko) * 2017-11-30 2019-06-10 주식회사 엠티이지 위키 기반의 지능형 수술영상 지식 공유 플랫폼
KR20190072722A (ko) * 2017-12-18 2019-06-26 주식회사 엠티이지 분산사용자 기반의 지능형 수술영상 지식 공유 플랫폼

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
조영탁 외, 셋톱박스 품질검사를 위한 개선된 지역 방향 패턴(eLDP) 기반의 비디오 샷 경계 검출, 한국정보처리학회 2017년 추계학술발표대회 논문집, 2017.11.01., Vol.24, No.2, pp957-960.*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024075961A1 (ko) * 2022-10-05 2024-04-11 주식회사 엠티이지 영상에 포함된 객체에 대한 추론을 수행하는 방법 및 디바이스

Also Published As

Publication number Publication date
KR20210089983A (ko) 2021-07-19

Similar Documents

Publication Publication Date Title
KR102386496B1 (ko) 도구 인식 기반의 수술 동영상 간 유사도 비교 장치 및 방법
Wu et al. Long-term feature banks for detailed video understanding
US20200226751A1 (en) Surgical workflow and activity detection based on surgical videos
KR102180921B1 (ko) 인공지능 기반의 수술 동영상에 대한 주석 삽입 장치 및 방법
US11776246B2 (en) Method and system for identifying biometric characteristics using machine learning techniques
US20200294234A1 (en) Methods and systems for automatedly collecting and ranking dermatological images
CN110335259B (zh) 一种医学影像识别方法、装置和存储介质
JP7406758B2 (ja) 人工知能モデルを使用機関に特化させる学習方法、これを行う装置
Mahesh et al. Performance analysis of xgboost ensemble methods for survivability with the classification of breast cancer
US20210169576A1 (en) System and method for identifying comparable cases in preoperative surgical planning
US11676382B2 (en) Systems and methods for generating composite media using distributed networks
Bai et al. Predicting the Visual Focus of Attention in Multi-Person Discussion Videos.
JP2021168117A (ja) 動画クリップの検索方法及び装置
Chakraborty et al. Generalized batch mode active learning for face-based biometric recognition
Arnab et al. Uncertainty-aware weakly supervised action detection from untrimmed videos
Rivoir et al. Unsupervised temporal video segmentation as an auxiliary task for predicting the remaining surgery duration
KR101653505B1 (ko) 이미지를 기반으로 건강상태에 대한 진단을 보조하는 컴퓨팅 장치 및 방법
KR102544629B1 (ko) 수술 동영상에 대한 영상 분석에 기초한 수술 행위 추론 장치 및 방법
Rodin et al. Untrimmed action anticipation
Helm et al. Shot boundary detection for automatic video analysis of historical films
Kawulok et al. Dynamics of facial actions for assessing smile genuineness
D’Eusanio et al. Manual annotations on depth maps for human pose estimation
KR20220103656A (ko) 인공지능 기반의 수술 동영상 분석과 수술 비교 평가를 위한 장치 및 방법
Chakraborty et al. Deep learning research should be encouraged more and more in different domains of surgery: An open call–Correspondence
Razeghi et al. Interactive skin condition recognition

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant