KR20230048298A - 외과 수술과 관련된 비디오 스트림 프로세싱 - Google Patents
외과 수술과 관련된 비디오 스트림 프로세싱 Download PDFInfo
- Publication number
- KR20230048298A KR20230048298A KR1020237001373A KR20237001373A KR20230048298A KR 20230048298 A KR20230048298 A KR 20230048298A KR 1020237001373 A KR1020237001373 A KR 1020237001373A KR 20237001373 A KR20237001373 A KR 20237001373A KR 20230048298 A KR20230048298 A KR 20230048298A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- surgical
- sequence
- processed
- progress state
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 94
- 230000006870 function Effects 0.000 claims abstract description 121
- 238000001356 surgical procedure Methods 0.000 claims abstract description 48
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000010801 machine learning Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 9
- 238000011477 surgical intervention Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 210000004027 cell Anatomy 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 13
- 210000000232 gallbladder Anatomy 0.000 description 9
- 238000012795 verification Methods 0.000 description 6
- 210000000056 organ Anatomy 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 210000004185 liver Anatomy 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 210000001367 artery Anatomy 0.000 description 3
- 238000002192 cholecystectomy Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 210000001096 cystic duct Anatomy 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004737 colorimetric analysis Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Primary Health Care (AREA)
- Animal Behavior & Ethology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Databases & Information Systems (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Computational Linguistics (AREA)
- Gynecology & Obstetrics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 특정 수술 절차와 관련된 비디오 스트림을 프로세싱하기 위한 디바이스에 관한 것으로, 상기 디바이스는:
비디오 스트림 수신 인터페이스;
프로세서; 및
명령들을 저장하는 메모리를 포함하고, 상기 명령들은 프로세서에 의해 실행될 때 상기 디바이스로 하여금:
- 비디오 스트림 수신 인터페이스를 통해, 해부학적 요소의 적어도 일부를 나타내는 프로세싱될 이미지를 포함하는 이미지 시퀀스를 포함하는 비디오 스트림을 수신하고, 상기 프로세싱될 이미지는 프로세싱 요소들에 의해 형성되고;
- 프로세싱 함수에 의해, 프로세싱될 이미지에서 기준이 만족되는지 여부를 결정하고,
- 기준이 만족되는지 여부에 기초하여, 프로세싱될 이미지와 관련된 진행 상태를 결정하게 하며, 상기 진행 상태는 특정 수술 절차의 수술 단계의 진행 상태를 나타낸다.
비디오 스트림 수신 인터페이스;
프로세서; 및
명령들을 저장하는 메모리를 포함하고, 상기 명령들은 프로세서에 의해 실행될 때 상기 디바이스로 하여금:
- 비디오 스트림 수신 인터페이스를 통해, 해부학적 요소의 적어도 일부를 나타내는 프로세싱될 이미지를 포함하는 이미지 시퀀스를 포함하는 비디오 스트림을 수신하고, 상기 프로세싱될 이미지는 프로세싱 요소들에 의해 형성되고;
- 프로세싱 함수에 의해, 프로세싱될 이미지에서 기준이 만족되는지 여부를 결정하고,
- 기준이 만족되는지 여부에 기초하여, 프로세싱될 이미지와 관련된 진행 상태를 결정하게 하며, 상기 진행 상태는 특정 수술 절차의 수술 단계의 진행 상태를 나타낸다.
Description
본 발명은 비디오 스트림과 관련된 데이터의 분석 및 컴퓨터 프로세싱 분야에 관한 것으로, 특히 외과 수술과 관련된 비디오 스트림에 관한 것이다.
본 발명은 특히, 수술 중 안전성을 향상시킬 수 있는 비디오 스트림 프로세싱 디바이스(예를 들어, 외과 의사 어시스턴트 디바이스)에 적용된다.
특히, 수술과 관련된 합병증(complications)을 줄이기 위한 프로토콜이나 가이드라인이 존재한다. 하지만, 이러한 프로토콜이나 가이드라인이 반드시 제대로 적용되는 것은 아니다.
예를 들어, 담낭(gallbladder) 제거의 경우, 수술 동안 장기들(organs) 및 그들의 포지셔닝(positioning)를 식별하기 위한 프로토콜이 개발되었으며, 이는 "CVS(Critical View of Safety)"라 지칭된다.
CVS는 장기들의 포지셔닝과 관련된 3개의 독립적인 기준들과 관련되는데, 이들은 절제 전에 반드시 충족되어야만 한다. 즉, 외과 의사는 해당 장기의 해부학적 구조(anatomy)를 수정하기 위해 절개(dissection)를 시행해야 하며, 그리고 외과 의사의 관찰에 기초하여, 환자에게 높은 위험이 있는 단계로 진행하기 전에, 3개의 기준이 어느 정도까지 충족되는지를 판단해야 한다.
이러한 유형의 수술과 관련된 합병증을 감소시키는 상당한 결과에도 불구하고, CVS는 종종 준수되지 않거나 또는 반드시 적절하게 적용되지는 않는다. 더욱이, 외과 의사의 관찰에 대한 신뢰도가 항상 일정한 것은 아니다. 따라서, CVS 프로토콜을 적용하더라도, 판단 착오가 발생할 수 있다.
본 발명은 이러한 상황을 개선할 수 있다.
본 발명의 제 1 양태는 특정 수술 절차와 관련된 비디오 스트림을 프로세싱하기 위한 디바이스에 관한 것으로, 상기 디바이스는:
비디오 스트림 수신 인터페이스;
프로세서; 및
명령들을 저장하는 메모리를 포함하고,
상기 명령들은 프로세서에 의해 실행될 때 상기 디바이스로 하여금:
- 비디오 스트림 수신 인터페이스를 통해, 해부학적 요소의 적어도 일부를 나타내는 프로세싱될 이미지를 포함하는 이미지 시퀀스를 포함하는 비디오 스트림을 수신하고, 상기 프로세싱될 이미지는 프로세싱 요소들에 의해 형성되고;
- 프로세싱 함수에 의해, 프로세싱될 이미지에서 적어도 하나의 기준이 만족되는지 여부를 결정하고, 상기 프로세싱 함수은 제 1 파라미터화된 함수 및 제 2 파라미터화된 함수로 구성되되,
● 이미지에 적용된 제 1 파라미터화된 함수의 결과가 해부학적 요소의 일부를 나타내는 이미지의 프로세싱 요소들을 결정할 수 있도록, 상기 제 1 파라미터화된 함수의 파라미터들은 참조 이미지 시퀀스로부터 이미지에 기초하여 머신 러닝 알고리즘에 의해 획득되고, 상기 참조 이미지 시퀀스는 이전에 기록되고 그리고 특정 수술 절차와 관련되며, 상기 참조 이미지 시퀀스로부터의 이미지는 해부학적 요소의 적어도 일부를 나타내며,
● 이미지에 적용된 제 2 파라미터화된 함수의 결과가 상기 이미지에 적용된 제 1 파라미터화된 함수의 결과와 조합되어 적어도 하나의 기준이 만족되는지 여부를 결정할 수 있도록, 상기 제 2 파라미터화된 함수의 파라미터들은 참조 이미지 시퀀스로부터의 이미지에 적용된 제 1 파라미터화된 함수의 결과와 조합되는 참조 이미지 시퀀스로부터의 이미지에 기초하여 머신 러닝 알고리즘에 의해 획득되며;
- 기준이 만족되는지 여부에 기초하여, 프로세싱될 이미지와 관련된 진행 상태를 결정하게 하며, 상기 진행 상태는 특정 수술 절차의 수술 단계의 진행 상태를 나타낸다.
따라서, 특정 수술 절차의 비디오 스트림 이미지에 기초하여, 수술 단계의 진행 상태를 자동으로 평가하는 것이 가능하다. 즉, 이미지를 분석하면 수술 프로토콜 내에서 상기 이미지가 위치하는 포인트를 결정할 수 있다. 이러한 분석은 이미지에 프로세싱 함수을 적용하여 수행되며, 이러한 프로세싱 함수의 결과는 하나 이상의 기준이 충족되는지 여부를 나타낸다. 수술 프로토콜 내에서 이미지가 위치하는 포인트는 기준 검증(criteria validation)에 기초하여 결정된다. 따라서, 외과 수술의 진행 상태를 결정하기 위해 외과 의사의 관찰에 더 이상 의존할 필요가 없다. 다음으로, 이러한 진행 상태는 외과 의사에게 실시간 정보를 제공하는데 이용될 수 있다. 예를 들어: 외과 의사는 프로토콜을 적절하게 따를 수 있는바, 즉, 프로토콜의 다음 스테이지로 이동하기 전의 검증, 바이탈(vital) 및/또는 민감한 및/또는 간신히 보이는 장기에 관한 경고, 또는 특정 해부학적 특성을 가진 해부학적 요소에 대한 정보를 적절하게 따를 수 있다. 진행 상태는 또한 수술 단계에 적응하도록 비디오의 파라미터들을 수정할 수 있게 한다. 예를 들어, 관심 영역을 확대하거나, 콘트라스트를 높이거나 색측정법(colorimetry)을 수정할 수 있다. 중요한 수술 단계를 고화질로 저장하는 것도 가능하다. 또한, 수술 단계의 진행 상태에 따라 수술실 일정을 수정하는 것도 가능하다.
특정 수술 절차는 특정한 의료적 절차, 예를 들어, 외과수술 절차를 의미하는 것으로 이해된다. 즉, 특정 수술 절차는 일 유형의 의료적 절차 또는 일 유형의 수술 절차를 의미하는 것으로 이해된다.
비디오 스트림은 비디오 포맷(예컨대: MPEG2, H.264/AVC, HEVC, VP8, VP9, AV1)에 따라 인코딩된 이미지 시퀀스를 의미하는 것으로 이해된다. 비디오 스트림은 비디오 카메라, 특히 환자의 신체에 도입될 수 있는 마이크로 카메라로부터 획득될 수 있다.
프로세싱 요소는 예를 들어, 픽셀과 같은 이미지 시퀀스의 프로세싱 단위를 의미하는 것으로 이해된다. 이러한 프로세싱 단위는 디바이스에 따라 다르지만 매크로블록(MB) 또는 코딩 트리 단위(CTU)와 같은 비디오 포맷의 프로세싱 단위와 일치할 수 있다.
해부학적 요소는 신체의 기관을 의미하는 것으로 이해된다. 이러한 해부학적 요소를 디스플레이하는 이미지는 이를 나타낸다.
여러 기준(해부학적 기준이라고도 함)이 제 1 이미지에 대해 결정될 수 있다. 진행 상태에 대한 결정은 이전 이미지들을 프로세싱하는 동안 이러한 기준이 충족되는 순서와 무관할 수 있다.
참조 이미지 시퀀스는 비디오 스트림이 수신되는 비디오를 녹화하기 전에 촬영된 이미지 시퀀스를 의미하는 것으로 이해된다. 이것은 비디오 스트림의 그것과 동일한 유형의 수술 절차와 관련된 이미지 시퀀스이다.
수술 단계는 특정 수술 절차 내의 단계를 의미하는 것으로 이해된다. 수술 단계의 진행 상태는 예를 들어, 단계의 완료율과 같이 수술 단계의 진행 또는 완료를 나타내는 진행 레벨 또는 완료 레벨을 의미하는 것으로 이해된다.
프로세싱 함수는 2개의 파라미터화된 함수들로 구성된다. 예를 들어, 제 1 파라미터화된 함수가 이미지에 먼저 적용되고, 제 1 파라미터화된 함수의 결과와 이러한 동일한 이미지의 조합에 대하여 제 2 파라미터화된 함수가 적용된다. 즉, 제 2 파라미터화된 함수는 제 1 파라미터화된 함수 f1(I)의 결과와 이미지 I에 적용되는바, 즉 커플 (f1(I);I)에 적용된다.
제 1 파라미터화된 함수는 파라미터화된 함수가 예상 결과 또는 적어도 가능한 가장 가까운 결과를 반환하도록, 참조 이미지 시퀀스(및 더 일반적으로 이미지 모음)로부터의 이미지에 대해 트레이닝된 머신 러닝 알고리즘에 의해 획득될 수 있다. 예를 들어, 이미지(또는 이미지 모음)에 머신 러닝 알고리즘을 적용하여 인공 신경망의 파라미터들을 최적화함으로써, 파라미터화된 함수가 획득될 수 있다. 머신 러닝 알고리즘은 참조 이미지 시퀀스(및 일반적으로 많은 이미지 세트)로부터의 이미지의 프로세싱 요소들의 값(또는 단순히 이미지 픽셀과 같은 프로세싱 요소)에 대해 계산된 비용 함수의 결과를 최적화(예: 최소화)하도록 파라미터들을 결정할 수 있으며, 이러한 프로세싱 요소는 해부학적 요소의 일부를 나타낸다. 비용 함수는 프로세싱 요소에 적용된 제 1 파라미터화된 함수의 결과와 예상 결과, 즉 이미지 프로세싱 요소가 해부학적 요소의 일부에 속하는지 여부를 나타내는 결과 사이의 거리일 수 있다. 제 1 파라미터화된 함수는 해부학적 요소의 일부에 따라 또는 더 일반적으로는 이미지에 존재하는 다양한 해부학적 요소에 따라, 적용되는 이미지의 분할을 수행할 수 있게 한다.
따라서, 제 1 파라미터화된 함수는 해부학적 요소의 일부를 나타내는 이미지 프로세싱 요소를 결정할 수 있도록 파라미터화된다. 보다 구체적으로, 제 1 파라미터화된 함수는 프로세싱 요소를 결정하고, 이들을 식별하고, 라벨을 제공하거나, 보다 일반적으로는 해부학적 요소의 일부에 속하는지 여부에 따라 프로세싱될 이미지의 각 프로세싱 요소에 값을 할당한다. 제 1 함수는 만족되어야 할 기준이 여러 해부학적 요소들을 고려해야만 하는 경우, 여러 상이한 해부학적 요소들을 결정할 수 있다. 머신 러닝 알고리즘을 사용하면 제 1 파라미터화된 함수의 파라미터 결정이 보다 정확해진다. 뿐만 아니라, 프로세싱 요소들의 그룹에 대한 결정은 해부학적 요소에 덜 민감한바, 즉 환자별로의 해부학적 요소의 변동에 덜 민감하다. 따라서, 이러한 결정은 에러의 영향을 덜 받는다.
참조 시퀀스로부터의 이미지에 적용되는 제 1 파라미터화된 함수로부터의 결과와 조합된 참조 시퀀스로부터의 이미지(및 보다 일반적으로 이미지의 집합에 대해)에 대해 트레이닝된 머신 러닝 알고리즘에 의해서 제 2 파라미터화된 함수가 획득될 수 있는바(트레이닝은 제 1 파라미터화된 함수의 결과를 이용하여 효과적으로 수행할 수 있거나 또는 예상 솔루션, 즉 이미지 프로세싱 요소가 해부학적 요소의 일부에 속하는지 여부를 직접 이용하여 효과적으로 수행할 수 있음), 따라서 파라미터화된 함수는 예상 결과 또는 가능한 가장 가까운 결과를 적어도 반환할 수 있다. 예를 들어, 파라미터화된 함수는 제 1 파라미터화된 함수의 결과 또는 예상 솔루션과 조합된 이미지(또는 이미지 모음)에 머신 러닝 알고리즘을 적용하여 인공 신경망의 파라미터들을 최적화함으로써 획득될 수 있다.
참조 이미지 시퀀스로부터의 이미지와 참조 이미지 시퀀스로부터의 이미지에 적용된 제 1 파라미터화된 함수의 결과와의 조합(또는 예상된 솔루션, 즉 이미지의 프로세싱 요소가 해부학적 요소의 일부에 속하는지의 여부를 직접 이용함)은 본 명세서에서 단순히, 참조 이미지 시퀀스로부터의 이미지와 관련된 조합으로 지칭되거나 또는 대안적으로 참조 조합이라 지칭된다.
참조 조합(및 보다 일반적으로는 참조 이미지들과 관련된 많은 조합 세트들)에 대해 계산된 비용 함수의 결과를 제 2 파라미터화된 함수의 파라미터들이 최적화(예를 들어, 최소화)할 수 있도록, 머신 러닝 알고리즘은 제 2 파라미터화된 함수의 파라미터들을 결정한다. 비용 함수는 참조 조합에 적용된 제 2 파라미터화된 함수의 결과와 예상 결과(즉, 이러한 참조 조합에 대해 기준 또는 기준들이 만족되는지 여부를 나타내는 결과) 사이의 거리일 수 있다.
이미지와 이러한 이미지에 적용된 제 1 파라미터화된 함수의 결과 또는 예상 솔루션의 조합은 매트릭스들의 n-튜플일 수 있으며, 여기서 매트릭스들의 셀들은 프로세싱 요소들을 나타낸다. 예를 들어, n개의 매트릭스 중 3개는 RGB 컬러 코드에 따라 프로세싱 요소(예: 픽셀)를 코딩하는데 사용된다. n-튜플의 다른 매트릭스 각각은 상이한 해부학적 요소를 나타낸다. 해부학적 요소를 나타내는 매트릭스의 셀은 프로세싱 요소(셀에 해당)가 해부학적 요소에 속하는지 여부에 따라 값(예를 들어, 1 또는 0)을 갖는다.
제 1 및 제 2 파라미터화된 함수의 파라미터들은 메모리에 저장될 수 있다.
머신 러닝 알고리즘을 이용하면 기준이 충족되는지의 여부를 보다 정확하게 판단할 수 있다.
제 1 및 제 2 파라미터화된 함수를 획득하기 위해 사용되는 2개의 머신 러닝 알고리즘은 서로 독립적이다. 따라서, 특히 별도의 데이터베이스에서 학습을 수행하고 각 알고리즘의 학습을 더 잘 제어할 수 있으므로, 더 적은 컴퓨팅 성능을 요구하면서 더 큰 학습 효율성을 가질 수 있다.
따라서, 이미지에 적용되고 각 기준의 결과를 직접 얻을 수 있는 단일 함수에 대한 학습이 아니라, 2개의 파라미터화된 함수들에 대한 분리 학습은, 기준이 충족되는지 아닌지의 여부를 보다 효과적으로 결정할 수 있게한다(특히, 더 적은 에러로 또는 심지어 더 정확함). 실제로, 프로세싱될 이미지의 각 프로세싱 요소에 대해, 해당 요소가 해부학적 요소의 일부에 속하는지 아닌지의 여부에 따른 값을 이용하여 이미지를 풍부하게 함으로써, 해부학적 요소가 제 2 파라미터화된 함수에 의해 잘못 해석될 위험이 감소하며, 따라서 기준이 부적절하게 평가되는 위험도 감소한다.
프로세싱될 이미지와 관련된 진행 상태는 여러 기준들(C1, C2, C3)에 대한 검증에 따라 결정될 수 있다. 예를 들어, 기준 (1, 0, 1), (1, 0, 0) 등의 각각의 검증 조합은 서로 다른 진행 상태를 반환한다.
일 실시예에 따르면, 명령들이 프로세서에 의해 실행될 때, 상기 명령들은 디바이스로 하여금:
- 결정된 진행 상태에 기초하여, 프로세싱될 이미지 주변의 시간 간격 내에 있는 이미지 시퀀스로부터의 이미지를 저장하게 할 수 있다.
따라서, 중요한 수술 단계들에 대응하는 비디오 스트림의 일부를 저장하는 것이 가능하며, 또는 비디오 스트림의 이러한 부분을 덜 압축된 방식으로 저장하는 것이 가능한바, 이는 더 높은 해상도로 저장하거나 및/또는 비디오 스트림의 상기 부분의 더 많은 프레임들을 보유하는 것이 가능함을 의미한다. 다음으로, 수술이 진행되는 센터는, 각각의 수술의 가장 관련성이 높은 요소들을 보관할 수 있다.
일 실시예에 따르면, 저장되는 이미지들의 개수는 수술 단계의 중요도 및/또는 결정된 진행 상태에 따라 달라진다.
따라서, 이미지 시퀀스를 저장하는데 필요한 저장 공간을 최적화할 수 있다.
일 실시예에 따르면, 디스플레이 수단이 또한 제공되고, 명령들이 프로세서에 의해 실행될 때, 상기 명령들은 디바이스로 하여금:
- 진행 상태에 따른 정보를 프로세싱될 이미지와 함께 디스플레이 수단에 디스플레이하게 한다.
따라서, 외과의사 또는 수술에 참여하는 모든 사람은 수술 절차의 진행 상태를 알 수 있다.
일 실시예에 따르면, 명령들이 프로세서에 의해 실행될 때, 상기 명령들은 디바이스로 하여금:
- 진행 상태에 기초하여 수술 프로토콜로부터의 편차를 결정하게 하며, 상기 진행 상태에 따른 정보는 결정된 편차에 따라 달라진다.
따라서, 특정 수술 절차의 수술 단계가 수술 프로토콜(예를 들어, 수술 절차의 시작시에 결정된 수술 프로토콜)을 따르지 않는 경우, 결정된 편차에 따른 정보(예컨대, 경고)를 디스플레이할 수 있다.
디스플레이 수단은 특히, 예를 들어, 스크린 또는 몰입형 시청 디바이스(예를 들어, 가상 현실 안경 포함)에 의해 외과의에게 비디오 스트림을 디스플레이하는데 사용되는 수단에서 수행될 수 있다.
수술 프로토콜은 특정 수술 절차를 수행하기 위해 예정된 일련의 수술 작업을 의미하는 것으로 이해된다.
편차에 따른 정보는 디스플레이 수단에 디스플레이된다: 편차에 따른 정보는 예를 들어, 전술한 바와 같이 증강 현실에서 외과 의사에게 디스플레이되는 비디오 스트림에 삽입될 수 있다.
편차는 하나 이상의 특정 표시자들에 따른 수술 프로토콜과의 차이일 수 있다(예를 들어, 진행 상태에 기초하여, 외과 의사가 상기 해부학적 요소의 부분 또는 수술 프로토콜에 따라 예상되는 변형에 대응하지 않는 이미지 시퀀스에 존재하는 다른 해부학적 요소의 일부를 변형하는 작업을 수행하는 경우). 이러한 편차는 또한, 이미지 시퀀스의 진행 상태에 대응하는 시간과 참조 이미지 시퀀스의 동일한 진행 상태에 대응하는 시간 사이의 시간 지연(time lag)에 대응할 수 있다.
일 실시예에 따르면, 진행 상태에 따른 정보의 디스플레이는 진행 상태에 의해 표시되는 수술 단계의 중요도에 따라 수행된다.
따라서, 진행 상태에 따른 정보, 예를 들어, 편차와 관련된 정보는 수술 단계가 중요한지 아닌지의 여부에 따라 경고가 되거나 또는 단순한 정보가 될 수 있다.
일 실시예에 따르면, 진행 상태에 따른 정보는 기준이 검증되지 않음을 나타내는 정보를 포함한다.
따라서, 외과의사 또는 수술에 관련된 모든 사람은 수술 행위를 올바르게 수행하기 위해 수행되어야 할 동작들 또는 작업들을 실시간으로 결정할 수 있다. 검증되지 않은 기준은 예를 들어, 수술 프로토콜의 관점에서, 진행의 이러한 스테이지에서 검증되어야 하는 기준이다.
일 실시예에 따르면, 제 1 진행 상태에 따른 정보는 하위 단계, 수술 조작 및/또는 수술 단계의 수술 동작을 검증하는 정보, 또는 다음 수술 단계의 시작을 허가하는 정보를 포함한다.
따라서, 수술 단계가 올바르게 진행되고 있음을 의사에게 알리거나, 의사에게 다음 수술 단계를 표시하거나, 다음 수술 단계로 진행할 수 있도록 현재 수술 단계를 검증하는 것이 중요하다.
일 실시예에 따르면, 명령들이 프로세서에 의해 실행될 때, 상기 명령들은 디바이스로 하여금:
- 해부학적 요소의 일부를 나타내는 이미지의 프로세싱 요소들의 그룹의 특성에 대한 적어도 하나의 값과 참조 값 사이의 편차를 결정하게 하고, 상기 참조 값은 해부학적 요소의 일부를 나타내는 프로세싱 요소들의 그룹들의 특성 값의 평균이고 그리고 상기 진행 상태와 동일한 진행 상태와 관련되며;
- 상기 편차와 관련된 위험 레벨을 결정하게 하며;
상기 진행 상태에 따른 정보는 위험 레벨을 포함한다.
따라서, 해부학적 요소가 비정상일 때 의사에게 이를 경고할 수 있다.
요소 그룹의 특성은, 예를 들어, 프로세싱 요소 그룹의 사이즈, 프로세싱 요소 그룹의 형상, 이러한 프로세싱 요소 그룹의 배열, 또는 색상일 수 있다.
위험 레벨은 평균값을 포함하는 값들의 범위들로 정의될 수 있다. 값들의 범위를 벗어난 임의의 특성 값은 위험 레벨을 나타내는 것으로 간주된다.
여러 임계 값들(또는 값들의 범위들)은 각각의 모니터링된 특성에 대해 정의될 수 있다. 따라서 여러 위험 레벨들이 결정될 수 있다.
상기 참조 값은 복수의 참조 시퀀스 영상으로부터 획득된 요소 그룹들의 특성 값들을 평균함으로써 획득될 수 있으며, 요소 그룹들은 상기 제 1 상태와 동일한 진행 상태에 있는 요소 그룹들이다.
또한, 프로세싱 요소 그룹의 특성값과 참조 값 사이의 편차에 대한 결정은, 미리 결정된 프로세싱 요소 그룹을 이용하므로 새로운 결정이 필요하지 않기 때문에 더욱 효율적이다.
일 실시예에 따르면, 진행 상태에 따른 정보는 다음을 포함한다:
- 외과적 조치가 수행될 영역; 및/또는
- 외과적 조치가 없는 영역; 및/또는
- 특별한 주의가 필요한 해부학적 요소가 있는 영역 및/또는
- 진행 상태를 판단하기 위해 고려되는 프로세싱 요소들에 대응하는 영역을 포함한다.
따라서, 의사에게 비디오 스트림을 디스플레이하는 디스플레이 수단 상에 진행에 따라 변화되는 영역을 디스플레이할 수 있다. 이러한 영역은 강조표시함으로써 또는 이러한 영역의 외곽선을 구분함으로써 디스플레이될 수 있다. 따라서, 진행 상태에 따라, 외과 의사는 자신이 수술해야 하는 영역 및/또는 개입할 필요가 없는 영역 및/또는 특별한 주의를 기울여야 하는 영역(예를 들어, 동맥이 통과하는 영역)을 통보받을 수 있다.
또한, 이러한 영역은 진행 상태를 결정하기 위해 고려되는 프로세싱 요소들에 대응할 수 있다. 따라서, 외과 의사나 수술 절차에 관련된 모든 사람 또는 컴퓨터 시스템의 조작자는 진행 상태 계산이 관련 요소들을 고려했는지를 검증할 수 있다. 이러한 검증 이후에, 유효성 검사 단계가 뒤따를 수 있다. 따라서, 고려되는 요소들이 관련이 있음을 외과의사 또는 제3자 조작자가 확인하면, 프로세스가 계속 진행될 수 있다. 반대로, 고려되는 요소들이 관련이 없다고 확인되면, 진행 상태 판단의 신뢰도가 낮다는 점이 의사에게 통보될 수 있다. 고려되는 요소들이 관련이 있는지 없는지를 결정하는 것 즉, 결정된 프로세싱 요소 그룹이 진행 상태를 결정하는 것과 관련이 있는지는를 식별하는 것은, 자동으로(예를 들어, 수술 프로토콜과 비교하여) 수행되거나 또는 외과 의사의 지식을 이용하여 수동으로 수행될 수 있다.
일 실시예에 따르면, 진행 상태에 따른 정보는 진행 상태에 대응하는 이미지로 시작하는 참조 이미지 시퀀스로부터의 이미지들을 포함한다.
따라서, 의사는 유사한 수술 절차의 진행 상황을 볼 수 있다. 또한, 디스플레이 수단에 디스플레이되는 이미지 시퀀스의 일부는 진행 상태가 결정된 수술 단계와 동일한 수술 단계, 즉 현재 진행 중인 단계에 대응한다.
본 발명의 또 다른 양태에 따르면, 명령들을 포함하는 컴퓨터 프로그램이 제안되며, 상기 명령들은 프로세서에 의해 실행될 때 특정 수술 절차와 관련된 비디오 스트림을 프로세싱하는 방법을 구현하며, 상기 방법은,
- 비디오 스트림 수신 인터페이스를 통해, 해부학적 요소의 적어도 일부를 나타내는 프로세싱될 이미지를 포함하는 이미지 시퀀스를 포함하는 비디오 스트림을 수신하는 단계, 상기 프로세싱될 이미지는 프로세싱 요소들에 의해 형성되고;
- 프로세싱 함수에 의해, 프로세싱될 이미지에서 기준이 만족되는지 여부를 결정하는 단계, 상기 프로세싱 함수은 제 1 파라미터화된 함수 및 제 2 파라미터화된 함수로 구성되되,
● 이미지에 적용된 제 1 파라미터화된 함수의 결과가 해부학적 요소의 일부를 나타내는 이미지의 프로세싱 요소들을 결정할 수 있도록, 상기 제 1 파라미터화된 함수의 파라미터들은 참조 이미지 시퀀스로부터 이미지에 기초하여 머신 러닝 알고리즘에 의해 획득되고, 상기 참조 이미지 시퀀스는 이전에 기록되고 그리고 특정 수술 절차와 관련되며, 상기 참조 이미지 시퀀스로부터의 이미지는 해부학적 요소의 적어도 일부를 나타내며,
● 이미지에 적용된 제 2 파라미터화된 함수의 결과가 상기 이미지에 적용된 제 1 파라미터화된 함수의 결과와 조합되어 기준이 만족되는지 여부를 결정할 수 있도록, 상기 제 2 파라미터화된 함수의 파라미터들은 참조 이미지 시퀀스로부터의 이미지에 적용된 제 1 파라미터화된 함수의 결과와 조합되는 참조 이미지 시퀀스로부터의 이미지에 기초하여 머신 러닝 알고리즘에 의해 획득되며;
- 기준이 만족되는지 여부에 기초하여, 프로세싱될 이미지와 관련된 진행 상태를 결정하는 단계를 포함하고,
상기 진행 상태는 특정 수술 절차의 수술 단계의 진행 상태를 나타낸다.
본 발명의 다른 양태에 따르면, 이러한 프로그램이 저장되는 비일시적 컴퓨터 판독가능 저장 매체가 제공된다.
본 발명의 다른 양태에 따르면, 비디오 스트림 프로세싱 디바이스, 비디오 스트림 수신 인터페이스에 연결된 내시경을 포함하는 카메라를 포함하는 시스템이 제안된다.
본 발명의 다른 특징들, 세부 사항 및 장점들은 하기의 상세한 설명을 읽고 첨부된 도면을 분석하면 명백해질 것이다.
도 1은 특정 실시예에 따른 디바이스를 도시한 도면이다.
도 2는 특정 실시예에 따른 디바이스의 구현을 나타내는 흐름도이다.
도 2는 특정 실시예에 따른 디바이스의 구현을 나타내는 흐름도이다.
도 1의 일례는 외과의사(1)가 특정 수술 절차, 예를 들어, 환자(2)에 대한 담낭 절제술(담낭 제거)을 수행하는 수술실을 서술한다.
수술 절차는 렌즈(31), 광섬유(32) 및 인코딩 모듈(33)을 포함하는 수술용 카메라와 함께 진행되며, 인코딩 모듈(33)은 렌즈(31)로부터 나오며 광섬유(32)에 의해 전달되는 광 신호를 디지털 신호, 즉 비디오 스트림 신호로 변환할 수 있다. 도 1에 도시된 수술용 카메라는 복강경 카메라이다. 임의의 다른 외과용 카메라 디바이스가 본 발명에 사용될 수 있다.
비디오 스트림은 예를 들어, MPEG 포맷과 같은 비디오 포맷으로 인코딩된 이미지 시퀀스(34)를 포함한다. 이러한 비디오 스트림은 비디오 스트림 프로세싱 디바이스(40)로 전송된다.
비디오 스트림 프로세싱 디바이스(40)는 수술용 카메라와 인터페이스하는 인터페이스 모듈(INT_CAM)(41), 프로세서(PROC)(42), 메모리(MEMO)(43), 디스플레이 수단과 인터페이스하는 인터페이스 모듈(INT_SCR)(44)을 포함한다.
프로세싱 함수 F에 의해서, 프로세서(42)는 프로세싱된 이미지가 기준(Crit 1, Crit 2, Crit 3)을 만족하는지 여부를 결정하고 그리고 프로세싱된 이미지(35)와 관련된 진행 상태(states of progress)를 결정하도록 구성된다.
프로세서(42)는 수술 절차가 진행되기 전에 레코딩되었거나, 비디오 스트림 프로세싱 디바이스(40) 또는 원격 데이터베이스(도 1에 미도시)에 저장될 수도 있는, 참조 이미지 시퀀스를 통해 제 1 및 제 2 파라미터화된 함수들의 파라미터들을 결정하도록 구성될 수 있다.
프로세서(42)는 중요한 이미지 시퀀스를 저장하도록 구성된다.
프로세서(42)는 비정상(abnormality)을 나타내는 해부학적 요소와 관련된 위험 레벨을 결정하도록 구성된다.
프로세서(42)는 이미지들(35)에 대응하는 수술 절차의 상황들과 수술 프로토콜 사이의 편차를 결정하도록 구성된다.
프로세서(42)는 또한 수술용 카메라의 인코딩 모듈(33)로부터 오는 비디오 스트림을 수신할 수 있도록 수술용 카메라와 인터페이스하는 인터페이스 모듈(INT_CAM)(41)을 제어하도록 구성된다.
프로세서(42)는 또한 다양한 정보들과 함께 비디오 스트림을 의사(1)에게 디스플레이할 수 있도록 디스플레이 수단과 인터페이스하는 인터페이스 모듈(INT_SCR)(44)을 제어하도록 구성된다.
메모리(43)는 컴퓨터 프로그램이 저장되는 비휘발성 메모리와 파라미터화된 함수들의 파라미터들(즉, 프로세싱될 이미지들(35)의 분할을 수행하는 함수 f1(제 1 파라미터화된 함수)의 파라미터들 및 기준 테스트 함수 f2(제 2 파라미터화된 함수)의 파라미터들), 비디오 스트림의 이미지들, 디스플레이 수단에 디스플레이될 정보, 기타 등등을 저장하는 휘발성 메모리를 포함한다.
이미지 시퀀스(34)가 프로세싱되면, 비디오 스트림 프로세싱 디바이스(40)는 디스플레이 수단과 인터페이싱하는 인터페이스 모듈(INT_SCR)(44)을 통해 디스플레이 수단(50)에 표시될 정보를 전송할 수 있다.
도 1의 디스플레이 수단(50)은 수술실의 스크린이지만, 외과 수술과 관련하여 사용되는 임의의 다른 디스플레이 수단, 예를 들어 증강 현실 안경이 사용될 수 있다.
비디오 스트림 프로세싱 디바이스(40) 및 디스플레이 수단은 수술실에 위치하지 않을 수 있으며, 심지어 수술실이 위치한 건물에도 위치하지 않을 수 있다. 예를 들어, 비디오 스트림 프로세싱 디바이스(40)는 정보 기술(IT)과 관련된 서비스를 호스팅하는 데이터 센터에 있을 수 있고, 디스플레이 수단은 의사(1)가 위치한 방에 있을 수 있으며, 원격 외과 수술의 경우 환자 2가 있는 수술실이 아닌 다른 방에 있을 수 있다.
시퀀스 내의 중요한 이미지들은 병원 데이터베이스 또는 외부 데이터 센터에 저장될 수 있다.
도 2는 하나의 특정 실시예에 따른 방법의 흐름도를 도시한다.
단계 S0에서, 디바이스는 특정 유형의 수술 절차, 예를 들어 본 명세서에 설명된 경우의 담낭 절제술(cholecystectomy) 또는 담낭의 절제(ablation of the gallbladder)을 위해 구성된다. 이러한 목적을 위해, 프로세싱 함수 F가 결정되어 디바이스(40)의 메모리(43)에 저장된다.
프로세싱 함수(F)는 제 1 파라미터화 함수(f1)와 제 2 파라미터화 함수(f2)의 2개의 함수들로 구성된다. 제 1 파라미터화된 함수 f1은 프로세싱될 이미지(35)가 분할(segmentation)될 수 있게하고, 제 2 파라미터화된 함수 f2는 이미지 I에서 기준들 C1, C2 및 C3이 충족되는지 여부를 테스트할 수 있게 한다. 함수 F는 예를 들어, F(I) = f2(I, f1(I))에 의해 획득된 트리플렛(c1, c2, c3)을 프로세싱될 이미지 I와 연관시킬 수 있다. 커플 (I, f1(I))은 매트릭스들의 n-튜플(M 1,.., Mn)일 수 있으며, 상기 매트릭스들의 셀들은 프로세싱 요소들을 나타낸다. 매트릭스 M1의 셀 값은 RGB 색상 코드에서 레드 컬러 레벨을 나타내며, 매트릭스 M1의 각 셀은 프로세싱될 이미지 I(35)의 프로세싱 요소(예: 픽셀)를 나타낸다. 매트릭스 M2의 셀 값은 RGB 색상 코드에서 그린 컬러 레벨을 나타내며, 매트릭스 M2의 각 셀은 프로세싱될 이미지 I(35)의 프로세싱 요소(예: 픽셀)를 나타낸다. 매트릭스 M3의 셀 값은 RGB 색상 코드에서 블루 컬러 레벨을 나타내며, 매트릭스 M3의 각 셀은 프로세싱될 이미지 I(35)의 프로세싱 요소(예: 픽셀)를 나타낸다. M4 내지 Mn의 매트릭스 각각은 상이한 해부학적 요소에 대응한다. 매트릭스 Mi의 각 셀(i 는 4에서 n까지의 범위를 갖음)는 프로세싱될 이미지 I(35)의 프로세싱 요소(예를 들어, 픽셀)를 나타내고, 셀의 값(예를 들어, 0 또는 1)은 프로세싱 요소가 매트릭스 Mi에 대응하는 해부학적 요소의 부분을 나타내는지 아닌지의 여부를 코딩한다. f1(I)는 매트릭스 M4 내지 Mn에 대응하며, 예를 들어 f1(I) = (M4,…, Mn)이다. 프로세싱될 이미지 I(35)는 매트릭스 M1, M2 및 M3으로 표현된다. 커플(I, f1(I))의 다른 표현들도 또한 가능하며 본 발명의 적용에 영향을 미치지 않는다. 예를 들어, M1, M2 및 M3은 RGB 코드를 직접 나타내는 셀들을 갖는 단일 매트릭스로 대체될 수 있다. 따라서 f1은 매트릭스(M4,..., Mn)와 프로세싱될 이미지 I(35)를 연관시킬 수 있다. 예를 들어, 이미지 분할이 7개의 해부학적 요소들을 기반으로 수행되는 경우, f1 은 매트릭스(M 4,..., M10)과 프로세싱될 이미지 I(35)를 연관시킬 수 있다. 각각의 매트릭스는 해부학적 요소들에 대응하는바, 예를 들어, 담낭(M4), 담낭관(cystic duct)(M5), 담낭 동맥(M6), 간담낭 삼각형(hepatocystic triangle)(M7), 간상(liver bed)(M8)에 대응하며, 수술 도구(M9)와 배경(M10)이 이들에 추가된다. 프로세싱될 이미지 I(35)의 픽셀에 대해, 이러한 픽셀에 대응하는 매트릭스들의 셀들은 각각, 픽셀이 이러한 해부학적 요소들(또는 수술 도구 및 배경)의 일부를 나타내는 경우에는 1 이라는 값을 나타낼 것이며, 그리고 픽셀이 이러한 해부학적 요소들(또는 수술 도구 및 배경)의 일부를 나타내지 않는 경우에는 0 이라는 값을 나타낼 것이다.
함수 f2 는 각각 커플(I, f1(I)), 트리플렛(c1, c2, c3)을 연관시켜서 사전정의된 기준(Crit 1 , Crit 2, Crit 3)이 검증되었는지 아닌지를 나타낼 수 있다. 따라서:
- c1은 간담낭 삼각형(hepatocystic triangle)(보다 정확하게는 이미지에서 간담낭 삼각형을 나타내는 프로세싱 요소)이 지방 및 섬유 조직(보다 정확하게는 지방 및 섬유 조직을 나타내는 프로세싱 요소)을 포함하지 않은 경우 "1"의 값을 가질 수 있다(Crit 1), 그렇지 않으면 "0"의 값을 갖는다;
- c2는 담낭의 아래쪽 1/3이 간에서 분리되어 간상(liver bed)이 노출된 경우(Crit 2) "1"의 값을 가질 수 있으며 그렇지 않은 경우 "0"을 갖는다;
- c3는 담낭관과 담낭 동맥이 담낭으로 들어가는 것이 명백한 경우(Crit 3) "1"의 값을 가질 수 있으며 그렇지 않은 경우 "0"을 갖는다.
2개의 파라미터화된 함수 f1 및 f2 의 파라미터들은 특히 머신 러닝 알고리즘을 사용하여 결정된 이후에 메모리(43)에 저장된다.
제 1 파라미터화된 함수 f1 은 하나 이상의 뉴런 계층의 인공 뉴럴 네트워크로 정의될 수 있다. 네트워크 계층의 각 뉴런은 활성화 함수이며 그 입력들은 이전 계층의 출력들의 가중 값들이다. 활성화 함수는 예를 들어, 시그모이드 함수(sigmoid functions), 하이퍼볼릭 탄젠트 함수(hyperbolic tangent functions) 또는 헤비사이드 계단 함수(Heaviside step functions)일 수 있다. 가중치는 함수 f1 의 파라미터를 구성한다. 이러한 파라미터를 결정하기 위해, 참조 비디오(또는 참조 이미지 시퀀스)의 이미지와 함께 머신 러닝 알고리즘이 사용된다. 따라서, 머신 러닝 알고리즘은 f1이 이미지들에 적용되었을 때의 f1의 결과들과 예상 결과들(즉 매트릭스 M4 내지 M10의 셀들의 예상 값들) 사이의 거리를 최소화하기 위해 파라미터들을 결정한다. 예상된 값들은 예를 들어, (파라미터를 결정하기 위해) 사용된 각 이미지에 있는 다양한 해부학적 요소들을 결정함으로써, 특정 수술 절차와 관련된 분야의 전문가에 의해 결정될 수 있다.
제 1 파라미터화 함수 f1과 유사하게, 제 2 파라미터화 함수 f2는 하나 이상의 뉴런 계층들의 인공 뉴럴 네트워크로 정의될 수 있다. 네트워크 계층의 각 뉴런은 활성화 함수이며 그 입력은 이전 계층의 출력들의 가중화된 값들이다. 활성화 함수는 예를 들어, 시그모이드 함수, 하이퍼볼릭 탄젠트 함수 또는 헤비사이드 계단 함수일 수 있다. 가중치는 함수 f2 의 파라미터를 구성한다. 이러한 파라미터를 결정하기 위해, 참조 비디오(또는 참조 이미지 시퀀스)의 이미지와 함께 머신 러닝 알고리즘이 사용된다. 따라서, 머신 러닝 알고리즘은 f2가 참조 조합들(reference combinations)에 적용되었을 때의 f2의 결과들과 예상 결과들(즉, 전술한 c1, c2, c3 값들) 사이의 거리를 최소화하기 위해 파라미터들을 결정한다. 따라서, 학습을 수행하는데 사용되는 참조 이미지 시퀀스들로부터의 이미지들에 대응하는 매트릭스들(M1 ... M10)의 n-튜플들에 f2가 적용될 때의 함수 f2의 결과들과 예상된 값들 c1, c2, c3 사이에서 거리가 최소화된다.
특정 수술 절차, 즉 이 경우에는 담낭 절제술과 관련된 참조 비디오를 포함하는 데이터베이스에 의해서 파라미터화된 함수들 f1 및 f2의 파라미터들이 식별되면, 이들은 메모리(43)에 저장된다.
단계 S1 에서, 비디오 스트림 프로세싱 디바이스(40)는 수술용 카메라(41)와 인터페이싱하는 인터페이스 모듈을 통해, 일련의 이미지(34)(또는 비디오 스트림)의 마지막 이미지(35)의 인코딩에 대응하는 데이터를 수신한다. 예를 들어, 비디오 스트림 프로세싱 디바이스(40)는 마지막 이미지(35)에 대응하는 데이터를 MPEG 포맷으로 수신한다. 이전에 수신된 이미지 시퀀스(34)의 이미지는 비디오 스트림 프로세싱 디바이스(40)에 의해 프로세싱되고 있거나 이미 프로세싱되었다. 따라서, 마지막 이미지(35)는 프로세싱될 다음 이미지이다. 비디오 스트림이 중단되지 않으면, 다른 이미지가 디바이스(40)에 의해 수신될 것이고, 그리고 이미지(35) 이후에 프로세싱될 것이다.
단계 S2에서, 프로세서(42)는 고려되는 3개의 기준들(Crit 1, Crit 2, Crit 3)에 관한 값들(c1, c2, c3)의 트리플렛을 획득하기 위해 이미지(35)에 프로세싱 함수 F를 적용한다. 이미지(35)는 전술한 바와 같이, 매트릭스들(M1, M2, M3)의 트리플렛으로 표현될 수 있다. 따라서, 이러한 매트릭스 트리플렛에 대한 F의 결과는 F(M1, M2, M3) = f2[(M1, M2, M3), f1(M1, M2, M3)]= f2(M1,..., M10)에 의해 획득될 수 있다.
프로세싱 함수 F는 프로세싱된 이미지(35)를 나타내는 매트릭스들(M1, M2, M3)의 트리플렛에 단일 단계에서 유리하게 적용될 수 있으며, 심지어 이미지(35)의 프로세싱이 2개의 단계들에서 또한 수행될 수 있는데, 즉, 매트릭스(M1, M2, M3)의 트리플렛에 제 1 파라미터화된 함수 f1을 적용하고 다음으로, 이미지(35)의 조합(즉, 매트릭스(M1, M2, M3)의 트리플렛) 및 제 1 파라미터화된 함수 f1의 결과(즉, 매트릭스의 7-튜플(M4,..., M10))에 제 2 파라미터화된 함수 f2 를 적용한다(즉, n-튜플릿(M1,..., M10)에 대해 제 2 파라미터화된 함수 f2를 적용함). 프로세싱 함수가 2개의 단계로 적용되는 경우, 프로세싱 함수 F의 결과의 관련성을 쉽게 확인하거나 모니터링하기 위해 제 1 파라미터화된 함수 f1의 결과에 선택적인 검증이 적용될 수 있다.
따라서, 도 1의 일례에서 프로세싱 함수 F의 결과는 (c1, c2, c3) = (1, 1, 1), 즉 3개의 기준을 만족한다. 프로세싱 함수 F의 결과는 값들의 트리플렛일 수 있으며, 각각의 값은 기준이 만족되었다는 신뢰 수준을 나타낸다. 예를 들어 (c1, c2, c3) = (58, 32, 99)인 경우, 기준 1이 만족된다는 58% 신뢰도, 기준 2가 만족된다는 32% 신뢰도, 기준 3이 만족된다는 99% 신뢰도로 간주될 수 있다.
단계 S3에서, 프로세서(42)는 이러한 이미지에 대해 만족되거나 만족되지 않는 기준에 기초하여, 마지막 이미지(35)와 관련된 수술 단계의 진행 상태를 결정한다. 도 1의 일례에서, 특정 수술 절차의 수술 단계는 담낭의 최종 절제 전에 필요한 준비 단계이다. 3개의 사전정의된 기준(Crit 1, Crit 2, Crit 3)이 만족되면, 준비 단계의 진행 상태는 이미지 시퀀스(34)로부터의 이미지(35)에서 "최종(final)"이다(또는 준비 단계가 100% 로 완료됨). 따라서, 준비 단계는 완료된 것으로 간주될 수 있다. 하나의 기준이 충족되지 않으면, 준비 단계의 진행 상태가 불완전한 것이다(또는 준비 단계의 66%가 완료됨). 2개의 기준이 충족되지 않으면, 준비 단계의 진행 상태가 불완전한 것이다(또는 준비 단계의 33%가 완료됨). 또는, 어떤 기준도 충족되지 않으면, 준비 단계의 진행 상태는 "초기(initial)"이다(또는 준비 단계의 0%가 완료됨).
진행 상태는 이미지 시퀀스(34)의 이미지(여기서는 이미지 35)와 연관되어 있다. 따라서, 프로세서(42)는 이미지 시퀀스(34)의 각 이미지에 대한 진행 상태를 계산했을 수 있다.
단계 S4에서, 프로세서(42)는 단계 S4에서 계산된 진행 상태에 기초하여 수술 프로토콜과의 편차를 결정한다.
편차는 이미지 시퀀스(34)로부터 여러 이미지들의 프로세싱을 요구하는 표시자일 수 있다. 실제로, 진행 상태는 이미지(35)를 캡처한 시간 t에서의 상태일 수 있지만, 편차는 진행 상태의 시퀀스를 고려한 분석일 수 있다(즉, 기준을 검증하는 시퀀스). 따라서, 프로세서(42)는 이미지 시퀀스(34)의 진행 상태에서의 전개(evolution)를 계산하고 이것으로부터의 예를 들어, 다음과 같이 편차를 추론할 수 있다.
- 프로토콜의 동일한 진행 상태까지의 기준에 대한 검증 순서와 비교되는 미리정의된 기준에 대한 검증 순서의 차이; 및/또는
- 의사가 수술하고 있는 해부학적 요소의 부분과 프로토콜의 관점에서, 단계 S3에서 계산된 진행 상태 직후에 의사의 행동에 의해 관심을 가져야만 하는 부분 사이의 차이;
- 이미지 시퀀스(34)의 진행 상태의 전개 사이의 차이.
이러한 단계는 선택적이다.
단계 S5에서, 프로세서(42)는 프로세싱 요소들의 그룹, 즉 해부학적 요소의 일부를 나타내는 프로세싱 요소들의 세트의 특성 값들과 이미지(35)와 관련된 진행 상태와 동일한 진행 상태에 대한 참조 특성 값들(예를 들어, 해부학적 요소의 동일한 부분을 나타내는 프로세싱 요소 그룹들의 특성들의 평균들) 사이의 편차를 결정한다. 편차를 결정하기 위해, 값들의 범위가 결정될 수 있다. 따라서, 편차는 픽셀 그룹이 참조 값들을 포함하는 값들의 범위 밖에 있는 값을 갖는 특성(사이즈, 형상, 배열 또는 색상)을 갖는다는 사실에 대응한다(즉, 비정상인 특성의 해부학적 요소의 부분).
단계 S6에서, 프로세서(42)는 단계 S5에서 결정된 각 편차와 관련된 위험 레벨을 결정한다. 각 특성에 대해 여러 위험 레벨들이 제공될 수 있으며, 이는 서로 내부적으로 중첩된 여러 값들의 범위들에 해당한다. 위험 레벨은 수행된 수술 절차와 관련된 위험과 관련이 있다.
단계 S5 및 S6은 다른 실시예들, 예를 들어 단계 S4에서 설명된 것과 결합될 수 있는 실시예의 일부이다. 하지만, 이러한 단계들은 선택 사항이다.
단계 S7에서, 프로세서(42)는 디스플레이 수단(50)에 정보를 표시하기 위해 디스플레이 수단과 인터페이스하는 인터페이스 모듈(44)을 제어한다. 디스플레이되는 정보는 단계(S3)에서 결정된 진행 상태에 따른 정보이다. 도 1의 예시에서 디스플레이 수단은 수술실에 위치한 스크린으로, 여기에 디스플레이되는 정보는 수술을 시행하는 의사를 위한 것이다. 하지만, 디스플레이 수단은 다른 유형일 수 있으며(안경, 프로젝터 등), 외과의가 아닌 사람, 예를 들어 클리닉이나 병원의 행정 구성원 또는 수술 절차를 감독하는 외과의를 위한 것일 수 있다.
디스플레이되는 정보는 다음과 같을 수 있다:
- 단계 S4에서 결정된 수술 프로토콜로부터의 편차에 의존하는 정보(경고의 형태로 제시될 수 있음). 따라서, 기준이 프로토콜에서 요구하는 순서대로 검증되지 않은 것으로 스크린에 표시될 수 있다. 스크린은 또한 외과의가 집도하고 있는 해부학적 요소가 진행 상태의 해당 단계에서 프로토콜 컨텍스트에 포함되는 해부학적 요소에 대응하지 않는다는 것을 표시할 수 있다. 스크린은 또한, 진행 상태가 수술 프로토콜의 진행 상태와 대응하지 않음을 나타내는 정보를 디스플레이할 수 있다(예를 들어, 염려되는 수술 단계의 시작시에 진행 상태가 매우 빠르게 변경된 다음 매우 느리게 변경된다).
- 단계 S2에서 테스트된 기준들 중 하나가 만족되지 않음을 나타내는 정보.
- 일부 정보(52)가 3개의 기준이 만족되었음을(즉, 검증됨) 나타내는 도 1에 도시된 바와 같은 기준이 만족되었음을 나타내는 정보.
- 수술 단계의 단계를 인증하는 정보 또는 다음 수술 단계의 시작을 승인하는 정보. 도 1의 일례에서, 3개의 기준이 만족된 후, 준비 단계가 "OK"(51)에 의해 검증된다.
- 단계 S6에서 결정된 위험 레벨에 대한 정보;
- 이미지 35에 표시된 영역. 이러한 영역은 수술적 조치가 수행되어야 하는 영역을 나타낼 수 있다. 반대로, 이러한 영역은 수술적 조치가 수행되지 않는 영역을 나타내거나 또는 위험에 처한 해부학적 요소가 있는 영역을 나타낼 수 있다.
- 단계 S3에서 결정된 수술 단계의 진행 상태에 대한 정보;
- 특정 수술 절차와 관련된 이미지들(또는 참조 비디오)의 참조 시퀀스로부터의 이미지, 상기 이미지들 또는 비디오는 단계 S3에서 결정된 것과 동일하거나 이에 후속하는 진행 상태에 대응하는 이미지들이다.
도 1의 일례에서와 같이 정보는 이미지(35)와 조합되어 디스플레이될 수 있다. 이러한 정보는 현재 진행 중인 수술 단계의 중요도 및 디스플레이될 정보의 중요도에 맞게 적응될 수 있다. 따라서, 기준 검증 확인은 위험 레벨에 대한 정보 또는 심지어 위험에 처한 해부학적 요소가 위치한 구역에 관한 정보 보다 더 신중한 방식으로 표시될 수 있다. 도 1의 스크린에 디스플레이되는 정보는 스크린의 좌측 상단에 디스플레이되고, 다른 레이아웃도 또한 가능하다.
단계 S2 내지 S7은 인코딩 모듈(33)이 프로세싱할 이미지를 전송하고 있는 동안 반복될 수 있다.
단계 S8에서, 프로세서(42)는 진행 상태와 관련된 수술 단계의 중요도에 따라, 이미지 시퀀스(예를 들어, 이미지(35)에 후속되는 비디오의 다음 분에 있는 이미지들)로부터의 이미지 주변에 시간적으로 구성된 이미지 시퀀스를 저장(또는 더 큰 해상도로 저장 및/또는 비디오 스트림의 나머지 부분의 저장에 비해 비디오 스트림의 이러한 부분의 더 많은 이미지를 보유하면서 저장)하도록 디바이스를 제어한다.
수술 단계의 중요한 또는 중요하지 않은 특성은 수술 프로토콜에 의해 표시될 수 있다.
저장은 메모리(43) 또는 데이터 센터에서 수행될 수 있다. 따라서 이러한 스트림들의 관련 부분들을 유지하는데 우선 순위를 부여하여 더 많은 양의 비디오 스트림을 유지할 수 있다.
Claims (12)
- 특정 수술 절차(specific operative procedure)와 관련된 비디오 스트림을 프로세싱하는 디바이스로서,
비디오 스트림 수신 인터페이스;
프로세서; 및
명령들을 저장하는 메모리를 포함하고,
상기 명령들은 프로세서에 의해 실행될 때 상기 디바이스로 하여금:
- 비디오 스트림 수신 인터페이스를 통해, 해부학적 요소의 적어도 일부를 나타내는 프로세싱될 이미지를 포함하는 이미지 시퀀스를 포함하는 비디오 스트림을 수신하고, 상기 프로세싱될 이미지는 프로세싱 요소들에 의해 형성되고;
- 프로세싱 함수에 의해, 프로세싱될 이미지에서 기준이 만족되는지 여부를 결정하고, 상기 프로세싱 함수은 제 1 파라미터화된 함수 및 제 2 파라미터화된 함수로 구성되되,
● 이미지에 적용된 제 1 파라미터화된 함수의 결과가 해부학적 요소의 일부를 나타내는 이미지의 프로세싱 요소들을 결정할 수 있도록, 상기 제 1 파라미터화된 함수의 파라미터들은 참조 이미지 시퀀스로부터 이미지에 기초하여 머신 러닝 알고리즘에 의해 획득되고, 상기 참조 이미지 시퀀스는 이전에 기록되고 그리고 특정 수술 절차와 관련되며, 상기 참조 이미지 시퀀스로부터의 이미지는 해부학적 요소의 적어도 일부를 나타내며,
● 이미지에 적용된 제 2 파라미터화된 함수의 결과가 상기 이미지에 적용된 제 1 파라미터화된 함수의 결과와 조합되어 기준이 만족되는지 여부를 결정할 수 있도록, 상기 제 2 파라미터화된 함수의 파라미터들은 참조 이미지 시퀀스로부터의 이미지에 적용된 제 1 파라미터화된 함수의 결과와 조합되는 참조 이미지 시퀀스로부터의 이미지에 기초하여 머신 러닝 알고리즘에 의해 획득되며;
- 기준이 만족되는지 여부에 기초하여, 프로세싱될 이미지와 관련된 진행 상태를 결정하게 하며,
상기 진행 상태는 특정 수술 절차의 수술 단계의 진행 상태를 나타내는 것을 특징으로 하는 디바이스. - 제1항에 있어서,
프로세서에 의해 실행될 때, 상기 명령들은 디바이스로 하여금:
- 결정된 진행 상태에 기초하여, 프로세싱될 이미지 주변의 시간 간격 내에 있는 이미지 시퀀스로부터의 이미지를 저장하게 하는 것을 특징으로 하는 디바이스. - 제2항에 있어서,
저장된 이미지들의 개수는 수술 단계의 중요도 및/또는 결정된 진행 상태에 따라 달라지는 것을 특징으로 하는 디바이스. - 선행하는 청구항들 중 어느 한 항에 있어서,
디스플레이 수단을 더 포함하고, 상기 명령들은 프로세서에 의해 실행될 때 디바이스로 하여금:
- 진행 상태에 따른 정보를 프로세싱될 이미지와 함께 디스플레이 수단에 디스플레이하게 하는 것을 특징으로 하는 디바이스. - 제4항에 있어서,
상기 명령들은 프로세서에 의해 실행될 때 디바이스로 하여금:
- 진행 상태에 기초하여 수술 프로토콜로부터의 편차를 결정하게 하며, 상기 진행 상태에 따른 정보는 결정된 편차에 따라 달라지는 것을 특징으로 하는 디바이스. - 제4항 또는 제5항에 있어서,
진행 상태에 따른 정보의 디스플레이는 진행 상태에 의해 표시되는 수술 단계의 중요도에 따라 수행되는 것을 특징으로 하는 디바이스. - 제4항 내지 제6항 중 어느 한 항에 있어서,
상기 진행 상태에 따른 정보는 기준이 검증되지 않음을 나타내는 정보를 포함하는 것을 특징으로 하는 디바이스. - 제4항 내지 제7항 중 어느 한 항에 있어서,
상기 진행 상태에 따른 정보는 수술 단계들의 단계를 검증하는 정보 또는 다음 수술 단계의 시작을 허가하는 정보를 포함하는 것을 특징으로 하는 디바이스. - 제4항 내지 제8항 중 어느 한 항에 있어서,
상기 명령들은 프로세서에 의해 실행될 때 디바이스로 하여금:
- 해부학적 요소의 일부를 나타내는 이미지의 프로세싱 요소들의 그룹의 특성에 대한 적어도 하나의 값과 참조 값 사이의 편차를 결정하게 하고, 상기 참조 값은 해부학적 요소의 일부를 나타내는 프로세싱 요소들의 그룹들의 특성 값의 평균이고 그리고 상기 진행 상태와 동일한 진행 상태와 관련되며;
- 상기 편차와 관련된 위험 레벨을 결정하게 하며;
상기 진행 상태에 따른 정보는 위험 레벨을 포함하는 것을 특징으로 하는 디바이스. - 제4항 내지 제9항 중 어느 한 항에 있어서,
상기 진행 상태에 따른 정보는:
- 외과적 조치가 수행될 영역; 및/또는
- 외과적 조치가 없는 영역; 및/또는
- 특별한 주의가 필요한 해부학적 요소가 있는 영역 및/또는
- 진행 상태를 판단하기 위해 고려되는 프로세싱 요소들에 대응하는 영역
을 포함하는 것을 특징으로 하는 디바이스. - 제4항 내지 제 10항 중 어느 한 항에 있어서,
상기 진행 상태에 따른 정보는, 상기 진행 상태에 대응하는 이미지로 시작하는 참조 이미지 시퀀스로부터의 이미지들을 포함하는 것을 특징으로 하는 디바이스. - 명령들을 포함하는 컴퓨터 프로그램으로서, 상기 명령들은 프로세서에 의해 실행될 때 특정 수술 절차와 관련된 비디오 스트림을 프로세싱하는 방법을 구현하며, 상기 방법은,
- 비디오 스트림 수신 인터페이스를 통해, 해부학적 요소의 적어도 일부를 나타내는 프로세싱될 이미지를 포함하는 이미지 시퀀스를 포함하는 비디오 스트림을 수신하는 단계, 상기 프로세싱될 이미지는 프로세싱 요소들에 의해 형성되고;
- 프로세싱 함수에 의해, 프로세싱될 이미지에서 기준이 만족되는지 여부를 결정하는 단계, 상기 프로세싱 함수은 제 1 파라미터화된 함수 및 제 2 파라미터화된 함수로 구성되되,
● 이미지에 적용된 제 1 파라미터화된 함수의 결과가 해부학적 요소의 일부를 나타내는 이미지의 프로세싱 요소들을 결정할 수 있도록, 상기 제 1 파라미터화된 함수의 파라미터들은 참조 이미지 시퀀스로부터 이미지에 기초하여 머신 러닝 알고리즘에 의해 획득되고, 상기 참조 이미지 시퀀스는 이전에 기록되고 그리고 특정 수술 절차와 관련되며, 상기 참조 이미지 시퀀스로부터의 이미지는 해부학적 요소의 적어도 일부를 나타내며,
● 이미지에 적용된 제 2 파라미터화된 함수의 결과가 상기 이미지에 적용된 제 1 파라미터화된 함수의 결과와 조합되어 기준이 만족되는지 여부를 결정할 수 있도록, 상기 제 2 파라미터화된 함수의 파라미터들은 참조 이미지 시퀀스로부터의 이미지에 적용된 제 1 파라미터화된 함수의 결과와 조합되는 참조 이미지 시퀀스로부터의 이미지에 기초하여 머신 러닝 알고리즘에 의해 획득되며;
- 기준이 만족되는지 여부에 기초하여, 프로세싱될 이미지와 관련된 진행 상태를 결정하는 단계
를 포함하고,
상기 진행 상태는 특정 수술 절차의 수술 단계의 진행 상태를 나타내는 것을 특징으로 하는 컴퓨터 프로그램.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR2006178A FR3111463B1 (fr) | 2020-06-12 | 2020-06-12 | Traitement de flux vidéo relatifs aux opérations chirurgicales |
| FRFR2006178 | 2020-06-12 | ||
| PCT/FR2021/051053 WO2021250362A1 (fr) | 2020-06-12 | 2021-06-11 | Traitement de flux vidéo relatifs aux opérations chirurgicales |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230048298A true KR20230048298A (ko) | 2023-04-11 |
Family
ID=73138889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237001373A KR20230048298A (ko) | 2020-06-12 | 2021-06-11 | 외과 수술과 관련된 비디오 스트림 프로세싱 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20230240788A1 (ko) |
| EP (1) | EP4165548A1 (ko) |
| JP (1) | JP2023529223A (ko) |
| KR (1) | KR20230048298A (ko) |
| CA (1) | CA3181667A1 (ko) |
| FR (1) | FR3111463B1 (ko) |
| WO (1) | WO2021250362A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021168408A1 (en) * | 2020-02-20 | 2021-08-26 | Smith & Nephew, Inc. | Methods for arthroscopic video analysis and devices therefor |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3012640B1 (fr) * | 2013-10-31 | 2018-07-20 | Universite De Bretagne Occidentale | Procede d'analyse semantique d'un flux video en cours d'acquisition, terminal, produit programme d'ordinateur et medium correspondant |
| CA2929282A1 (en) * | 2013-10-31 | 2015-05-07 | Health Research, Inc. | System and method for a situation and awareness-based intelligent surgical system |
| US11515030B2 (en) * | 2016-06-23 | 2022-11-29 | Siemens Healthcare Gmbh | System and method for artificial agent based cognitive operating rooms |
| WO2019040705A1 (en) * | 2017-08-23 | 2019-02-28 | The General Hospital Corporation | SURGICAL DECISION SUPPORT USING A DECISION-MAKING MODEL |
| US20190069957A1 (en) * | 2017-09-06 | 2019-03-07 | Verily Life Sciences Llc | Surgical recognition system |
| US11205508B2 (en) * | 2018-05-23 | 2021-12-21 | Verb Surgical Inc. | Machine-learning-oriented surgical video analysis system |
| WO2020023740A1 (en) * | 2018-07-25 | 2020-01-30 | The Trustees Of The University Of Pennsylvania | Methods, systems, and computer readable media for generating and providing artificial intelligence assisted surgical guidance |
-
2020
- 2020-06-12 FR FR2006178A patent/FR3111463B1/fr active Active
-
2021
- 2021-06-11 US US18/009,830 patent/US20230240788A1/en active Pending
- 2021-06-11 KR KR1020237001373A patent/KR20230048298A/ko active Search and Examination
- 2021-06-11 EP EP21737110.3A patent/EP4165548A1/fr active Pending
- 2021-06-11 WO PCT/FR2021/051053 patent/WO2021250362A1/fr unknown
- 2021-06-11 JP JP2022576834A patent/JP2023529223A/ja active Pending
- 2021-06-11 CA CA3181667A patent/CA3181667A1/fr active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| FR3111463A1 (fr) | 2021-12-17 |
| EP4165548A1 (fr) | 2023-04-19 |
| WO2021250362A1 (fr) | 2021-12-16 |
| FR3111463B1 (fr) | 2023-03-24 |
| CA3181667A1 (fr) | 2021-12-16 |
| US20230240788A1 (en) | 2023-08-03 |
| JP2023529223A (ja) | 2023-07-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3742451A1 (en) | Apparatus for predicting metadata of medical image and method thereof | |
| CN109859836B (zh) | 医疗图像识别方法和设备 | |
| CN1473311A (zh) | 诊断图像捕捉 | |
| CN109492675A (zh) | 医学影像的识别方法、装置、存储介质和电子设备 | |
| KR20230048298A (ko) | 외과 수술과 관련된 비디오 스트림 프로세싱 | |
| CN111667914A (zh) | 人工智能与医生相结合的诊疗方法及系统 | |
| CN110742690A (zh) | 一种用于配置内窥镜的方法及终端设备 | |
| KR20210077533A (ko) | 사용자 얼굴 피부 분석 방법 및 서버 | |
| US20080165247A1 (en) | Image processing apparatus and method | |
| WO2019220871A1 (ja) | 胸部ｘ線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置 | |
| JP7493285B2 (ja) | 情報処理装置、情報処理方法、及びコンピュータプログラム | |
| CN109875546B (zh) | 一种面向心电图数据的深度模型分类结果可视化方法 | |
| CN112991333B (zh) | 一种内窥镜手术中基于语音分析的图像处理方法及系统 | |
| CN115868933A (zh) | 一种采集监护仪波形的方法和系统 | |
| WO2018012090A1 (ja) | 診断支援システム、医療診断支援装置及び診断支援方法 | |
| CN114170248A (zh) | 图像的处理方法、数据处理方法、医疗系统、设备及介质 | |
| CN111899862A (zh) | 一种呼吸机参数获取方法、装置、设备及存储介质 | |
| US12026965B2 (en) | Video based continuous product detection | |
| CN112434807B (zh) | 基于眼底图像的深度学习模型性能验证方法及设备 | |
| CN110545403B (zh) | 一种手术室可视化数据传输方法、装置、介质及终端设备 | |
| CN118038314A (zh) | 用于腔镜手术视频管控的系统及方法 | |
| EP4372757A1 (en) | Method and system for processing medical images | |
| US20220328165A1 (en) | Information processing apparatus, information processing method, and program | |
| KR20240022048A (ko) | 수술 단계에 대한 정보를 제공하는 방법 및 디바이스 | |
| Jabbar | Automated Stand-alone Surgical Safety Evaluation for Laparoscopic Cholecystectomy (LC) using Convolutional Neural Network and Constrained Local Models (CNN-CLM) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |