KR20210157912A - 종합적 데이터 분석을 위해 비디오, 이미지, 및 오디오 데이터를 텍스트 데이터와 조합하기 위한 방법 및 시스템 - Google Patents
종합적 데이터 분석을 위해 비디오, 이미지, 및 오디오 데이터를 텍스트 데이터와 조합하기 위한 방법 및 시스템 Download PDFInfo
- Publication number
- KR20210157912A KR20210157912A KR1020217040698A KR20217040698A KR20210157912A KR 20210157912 A KR20210157912 A KR 20210157912A KR 1020217040698 A KR1020217040698 A KR 1020217040698A KR 20217040698 A KR20217040698 A KR 20217040698A KR 20210157912 A KR20210157912 A KR 20210157912A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- surgical
- modalities
- surgical procedure
- feature set
- Prior art date
Links
- 238000007405 data analysis Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims description 93
- 238000001356 surgical procedure Methods 0.000 claims abstract description 121
- 230000011218 segmentation Effects 0.000 claims abstract description 68
- 210000003484 anatomy Anatomy 0.000 claims description 23
- 238000002591 computed tomography Methods 0.000 claims description 22
- 230000001360 synchronised effect Effects 0.000 claims description 9
- 238000002604 ultrasonography Methods 0.000 claims description 9
- 239000002131 composite material Substances 0.000 claims description 7
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 6
- 230000002159 abnormal effect Effects 0.000 claims description 5
- 238000003058 natural language processing Methods 0.000 claims description 5
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000002980 postoperative effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 description 41
- 206010028980 Neoplasm Diseases 0.000 description 31
- 238000003384 imaging method Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000002085 persistent effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/45—Clustering; Classification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Databases & Information Systems (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Theoretical Computer Science (AREA)
- Surgery (AREA)
- Urology & Nephrology (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
본 발명은, 상이한 포맷들, 특히, 비디오들, 이미지들, 및 오디오들의 형태들의 다수의 양식들의 비텍스트 외과수술 데이터를 유의적인 방식으로 조합하여, 다수의 양식들로부터의 조합된 데이터가 텍스트 데이터와 호환가능하게 되는, 다양한 실시예들을 제공한다. 일부 실시예들에서, 다수의 양식들의 외과수술 데이터를 조합하기 전에, 다수의 세그먼트화 엔진들은 대응하는 양식의 외과수술 데이터를 메트릭들 및 파라미터들의 대응하는 세트로 세그먼트화하고 변환하는 데 사용된다. 이어서, 다수의 양식들에 대응하는 메트릭들 및 파라미터들의 다수의 세트들이 조합되어 조합된 특징 세트를 생성한다. 조합된 특징 세트는 조합된 특징 세트에 대한 종합적 데이터 분석들을 수행하기 위해 데이터 분석 도구에 제공되어 외과 시술에 대한 하나 이상의 예측들을 생성할 수 있다.
Description
본 발명은 대체적으로 외과수술 데이터 분석 도구들을 구축하는 것에 관한 것이며, 더 구체적으로는, 종합적 외과수술 데이터 분석을 위해 외과 시술 동안 수집된 비디오, 이미지, 및 오디오 데이터를 텍스트 데이터와 조합하기 위한 시스템들, 디바이스들, 및 기법들에 관한 것이다.
데이터 분석 도구들은 다수의 데이터 소스들로부터의 데이터를 조합하고, 사용자의 요구를 충족시키기 위한 특정 방식으로 조합된 데이터를 제시 및 시각화하도록 설계된다. 기존의 데이터 분석 도구들 대부분은 행(row) 기반 데이터 엔트리 및 열(column) 기반 차원 필터링에 대해 최적화되어 있다. 그러한 설계들에 기초하여, 기존의 데이터 분석 도구들은 조합된 데이터로부터 측정치들, 메트릭(metric)들, 패턴들, 비교들을 생성할 수 있다. 요즘에는, 기존의 데이터 분석 도구들의 기능들이 데이터의 크기에 맞게 점점 더 확장가능(scalable)해지고 있으며, 이는 데이터의 크기에 관계없이 끊김없는 시각화 및 의사결정을 가능하게 한다.
그러나, 기존의 데이터 분석 도구들은, 그들이 영숫자 또는 텍스트 데이터에 대해서만 분석들을 수행할 수 있다는 제한을 갖는다. 한편, 단지 텍스트 포맷인 것뿐만 아니라 이미지들, 비디오들, 및 오디오들의 형태들일 수 있는 정보를 생성하는 수많은 응용예들이 존재한다. 그러한 응용예들의 일례는 외과수술이다. 외과 시술의 수술 전(또는 이하 "수술-전") 페이즈(phase) 및 수술 중(또는 이하 "수술-중") 페이즈 둘 모두 동안, 다른 것들 중에서도, 환자 바이탈(vital)들, 환자 정보, 외과의사 정보, 및 병원 통계와 같은 수많은 텍스트 데이터들이 생성될 수 있다. 그러나, 외과수술의 수술-전 페이즈 동안 생성된 정보는 이미지들의 형태일 수 있고, 수술-중 페이즈 동안, 즉, 실제 외과 시술 동안 생성된 정보는 이미지들의 형태의 방사선 촬영들의 스냅샷(snapshot)들 및 임상 사진들, 비디오들의 형태의 시술 데이터, 및 오디오들의 형태의 외과의사 내레이션(narration)들/대화들을 포함할 수 있다. 모든 이들 형태들의 비텍스트 데이터는, 다른 것들 중에서도, 환자 결과들, 시술 지속기간들, 및 병원 비용들과 같은 외과수술 성과들을 결정하는 데 중요한 역할을 할 수 있는 가치 있는 정보이다. 불행하게도, 기존의 데이터 분석 도구들은, 외과 시술로부터 생성된 비텍스트 데이터와 텍스트 데이터를 조합하는 것에 의해서는 종합적 데이터 분석들을 수행할 수가 없다.
본 발명은, 상이한 포맷들, 특히, 비디오들, 이미지들, 및 오디오들의 형태들의 다수의 양식들의 비텍스트 데이터를 유의적인 방식으로 조합하여, 다수의 양식들로부터의 조합된 데이터가 텍스트 데이터와 호환가능하게 되는, 다양한 실시예들을 제공한다. 일부 실시예들에서, 조합된 데이터는 N차원 특징 공간 내에 N개의 텍스트 특징들의 세트를 포함한다. 예를 들어, 외과수술 응용예들의 경우, N개의 텍스트 특징들의 세트는 텍스트 포맷의 외과수술 메트릭들/측정치들의 세트를 포함할 수 있다. 다음으로, 조합된 데이터는 추가로, 다양한 소스들로부터의 이용가능한 텍스트 데이터와 조합되어, 텍스트 기반 데이터 분석 도구들에 의해 이해되고 프로세싱될 수 있는 종합적 데이터 세트를 생성할 수 있다.
일부 실시예들에서, 다수의 양식들의 비텍스트 데이터를 텍스트 데이터와 조합하기 전에, 다수의 양식들의 각각의 양식의 데이터는 먼저 세그먼트화되고 텍스트 특징들의 세트로 변환된다. 하나 이상의 실시예들에서, 상이한 머신 러닝 기반 세그먼트화 엔진(machine-learning-based segmentation engine)이 상이한 양식의 데이터에 대해 대응하는 데이터 세그먼트화 및 변환을 수행하도록 구성될 수 있다. 외과수술 응용예와 같은 특정 응용예의 경우, 3개의 통상 알려진 양식들, 즉, 비디오 데이터, 이미지 데이터, 및 오디오 데이터 각각에 대해 설계된 적어도 3개의 세그먼트화 엔진들이 존재할 수 있다.
일부 실시예들에서, 일단 주어진 양식의 데이터가 대응하는 텍스트 특징들의 세트로 변환되었으면, 텍스트 특징들의 세트는 원래의 텍스트 데이터 및 다른 양식들의 비텍스트 데이터로부터 변환된 텍스트 특징들을 포함하는 다른 소스들의 텍스트 데이터와 조합될 수 있다. 일단 모든 이용가능한 양식들의 데이터가 텍스트 특징들로 변환되고 다른 소스들의 텍스트 데이터와 조합되었으면, 조합된 특징 세트는, 기존의 텍스트 기반 데이터 분석 도구들을 사용하여 종합적 데이터 분석을 수행하는 데 사용될 수 있다. 원래의 텍스트 데이터를 다수의 양식들의 비텍스트 데이터로 보충함으로써, 데이터 분석 도구들로부터의 출력들, 예컨대, 제안된 종합적 데이터 분석 기법들에 기초하여 생성된 예측들 또는 결정들은 단지 하나의 양식의 데이터 또는 단지 텍스트 데이터만을 홀로 분석하는 것에 기초하여 생성된 예측들 또는 결정들보다 상당히 더 정확할 수 있다.
하나의 태양에서, 외과 시술에 대한 종합적 데이터 분석을 수행하기 위해 다수의 양식들의 외과수술 데이터를 조합하기 위한 프로세스가 개시된다. 이러한 프로세스는 상이한 데이터 소스들로부터 2개 이상의 양식들의 외과수술 데이터를 수신함으로써 시작될 수 있다. 다음으로, 2개 이상의 양식들의 외과수술 데이터 각각에 대해, 프로세스는, 대응하는 세그먼트화 엔진을 적용하여 대응하는 양식의 외과수술 데이터를 텍스트 특징들의 대응하는 세트로 변환한다. 이어서, 프로세스는 2개 이상의 양식들에 대응하는 텍스트 특징들의 2개 이상의 세트들을 조합하여 조합된 특징 세트를 생성한다. 프로세스는 후속하여, 조합된 특징 세트에 대한 종합적 데이터 분석들을 수행하기 위해 조합된 특징 세트를 데이터 분석 도구에 제공하여 외과 시술에 대한 하나 이상의 예측들을 생성한다.
일부 실시예들에서, 2개 이상의 양식들의 외과수술 데이터 각각은 비텍스트 외과수술 데이터의 형태이다.
일부 실시예들에서, 2개 이상의 양식들의 외과수술 데이터는 비디오 데이터, 이미지 데이터, 및 오디오 데이터 중 적어도 2개의 양식들을 포함한다.
일부 실시예들에서, 비디오 데이터는, 실시간 내시경 시술 비디오들; 오프라인 내시경 시술 비디오들; 및 하나 이상의 수술실 카메라들에 의해 캡처된 외과 시술 비디오들 중 하나 이상을 포함한다.
일부 실시예들에서, 이미지 데이터는 X선 이미지들, CT(computed tomography) 이미지들, MRI(magnetic resonance imaging) 이미지들, 초음파 이미지들, 및 다른 방사선 촬영 이미지들 중 하나 이상을 포함한다.
일부 실시예들에서, 이미지 데이터는, 외과 시술의 수술 전 스테이지(stage) 동안 생성된 의료 이미지들; 외과 시술의 수술 중 스테이지 동안 생성된 의료 이미지들; 외과 시술의 수술 후 기간 동안 생성된 의료 이미지들 중 하나 이상을 포함한다.
일부 실시예들에서, 오디오 데이터는, 외과의사가, 비정상적 해부학적 구조; 외과 시술에서의 이상; 랜드마크 이벤트(landmark event); 및 합병증 중 하나 이상에 관해 외과 시술을 내레이션하거나 논의하는 기록된 오디오들을 포함한다.
일부 실시예들에서, 프로세스는, 외과 시술의 내시경 비디오를 외과수술 페이즈들의 세트에 대응하는 비디오 세그먼트들의 세트로 세그먼트화하는 것; 및 비디오 세그먼트들의 세트 내의 각각의 비디오 세그먼트로부터 하나 이상의 외과수술 메트릭들 및 파라미터들을 추출하는 것에 의해, 비디오 데이터를 텍스트 특징들의 대응하는 세트로 변환하기 위해 비디오 세그먼트화 엔진을 적용한다.
일부 실시예들에서, 프로세스는, 외과 시술의 시술 오디오를 외과수술 페이즈들의 세트에 대응하는 오디오 세그먼트들의 세트로 세그먼트화하는 것; 및 자연 언어 프로세싱 모델을 사용하여 오디오 세그먼트들의 세트 내의 각각의 오디오 세그먼트로부터 하나 이상의 외과수술 메트릭들 및 파라미터들을 추출하는 것에 의해, 오디오 데이터를 텍스트 특징들의 대응하는 세트로 변환하기 위해 오디오 세그먼트화 엔진을 적용한다.
일부 실시예들에서, 텍스트 특징들의 2개 이상의 세트들을 조합하여 조합된 특징 세트를 생성한 후에, 프로세스는, 조합된 특징 세트를 외과 시술과 연관된 텍스트 데이터의 세트와 조합하여, 외과 시술에 대한 종합적 특징 세트를 형성하는 단계; 및 종합적 특징 세트에 대한 종합적 데이터 분석들을 수행하기 위해 조합된 특징 세트 대신 종합적 특징 세트를 데이터 분석 도구에 제공하여 외과 시술에 대한 하나 이상의 예측들을 생성하는 단계를 추가로 포함한다.
일부 실시예들에서, 대응하는 세그먼트화 엔진을 적용하여 대응하는 양식의 외과수술 데이터를 텍스트 특징들의 대응하는 세트로 변환하기 전에, 프로세스는, 2개 이상의 양식들의 외과수술 데이터에 대해 시간 동기화를 수행하여 2개 이상의 양식들 각각에 대한 시간 동기화된 외과수술 데이터를 생성하는 단계를 추가로 포함한다. 이와 같이, 대응하는 세그먼트화 엔진을 적용하여 대응하는 양식의 외과수술 데이터를 변환하는 것은 대응하는 세그먼트화 엔진을 대응하는 시간 동기화된 외과수술 데이터에 적용하는 것을 포함한다.
다른 태양에서, 외과 시술에 대한 종합적 데이터 분석을 수행하기 위해 다수의 양식들의 외과수술 데이터를 조합하기 위한 시스템이 개시된다. 시스템은, 하나 이상의 프로세서들 및 하나 이상의 프로세서들에 결합된 메모리를 포함한다. 시스템은 또한, 상이한 데이터 소스들로부터 2개 이상의 양식들의 외과수술 데이터를 수신하도록 구성된 수신 모듈; 2개 이상의 양식들의 외과수술 데이터에 대응하는 2개 이상의 세그먼트화 엔진들로서, 각각의 세그먼트화 엔진은 대응하는 양식의 외과수술 데이터를 특징들의 대응하는 세트로 변환하도록 구성되는, 상기 2개 이상의 세그먼트화 엔진들; 및 2개 이상의 양식들에 대응하는 특징들의 2개 이상의 세트들을 조합하여 조합된 특징 세트를 생성하도록 구성된 조합 모듈을 포함한다. 시스템은 후속하여, 조합된 특징 세트에 대한 종합적 데이터 분석들을 수행하기 위해 조합된 특징 세트를 데이터 분석 도구에 제공하여 외과 시술에 대한 하나 이상의 예측들을 생성한다.
일부 실시예들에서, 2개 이상의 양식들의 외과수술 데이터는 비디오 데이터, 이미지 데이터, 및 오디오 데이터 중 적어도 2개의 양식들을 포함한다.
일부 실시예들에서, 2개 이상의 세그먼트화 엔진들은, 외과 시술의 내시경 비디오를 외과수술 페이즈들의 세트에 대응하는 비디오 세그먼트들의 세트로 세그먼트화하는 것; 및 비디오 세그먼트들의 세트 내의 각각의 비디오 세그먼트로부터 하나 이상의 외과수술 메트릭들 및 파라미터들을 추출하는 것에 의해, 비디오 데이터를 텍스트 특징들의 대응하는 세트로 변환하도록 구성된 비디오 세그먼트화 엔진을 포함한다.
일부 실시예들에서, 2개 이상의 세그먼트화 엔진들은, 외과 시술의 시술 오디오를 외과수술 페이즈들의 세트에 대응하는 오디오 세그먼트들의 세트로 세그먼트화하는 것; 및 자연 언어 프로세싱 모델을 사용하여 오디오 세그먼트들의 세트 내의 각각의 오디오 세그먼트로부터 하나 이상의 외과수술 메트릭들 및 파라미터들을 추출하는 것에 의해, 오디오 데이터를 텍스트 특징들의 대응하는 세트로 변환하도록 구성된 오디오 세그먼트화 엔진을 포함한다.
일부 실시예들에서, 조합 모듈은, 조합된 특징 세트를 외과 시술과 연관된 텍스트 데이터의 세트와 조합하여, 외과 시술에 대한 종합적 특징 세트를 형성하도록; 그리고 종합적 특징 세트에 대한 종합적 데이터 분석들을 수행하기 위해 조합된 특징 세트 대신 종합적 특징 세트를 데이터 분석 도구에 제공하여 외과 시술에 대한 하나 이상의 예측들을 생성하도록 추가로 구성된다.
일부 실시예들에서, 시스템은, 2개 이상의 양식들의 외과수술 데이터에 대해 시간 동기화를 수행하여 2개 이상의 양식들 각각에 대한 시간 동기화된 외과수술 데이터를 생성하도록 구성된 동기화 모듈을 추가로 포함한다. 따라서, 각각의 세그먼트화 엔진은 대응하는 양식의 시간 동기화된 외과수술 데이터를 텍스트 특징들의 대응하는 세트로 변환하도록 구성된다.
또 다른 태양에서, 외과 시술에 대한 종합적 데이터 분석을 수행하기 위해 다수의 양식들의 외과수술 데이터를 조합하기 위한 장치가 개시된다. 이러한 장치는 상이한 데이터 소스들로부터 2개 이상의 양식들의 외과수술 데이터를 수신하기 위한 수신 모듈을 포함할 수 있다. 장치는 또한, 2개 이상의 양식들의 외과수술 데이터 각각에 대응하고, 각자의 양식의 외과수술 데이터를 외과수술 페이즈들의 세트에 대응하는 세그먼트들의 세트로 세그먼트화하도록 그리고 비디오 세그먼트들의 세트 내의 각각의 비디오 세그먼트로부터 하나 이상의 외과수술 메트릭들 및 파라미터들을 추출하도록 구성된 세그먼트화 엔진을 포함한다. 장치는 추가적으로, 2개 이상의 양식들에 대응하는 외과수술 메트릭들 및 파라미터들의 추출된 세트들을 조합하여 조합된 특징 세트를 생성하기 위한 조합 모듈을 포함한다. 조합 모듈은, 조합된 특징 세트에 대한 종합적 데이터 분석들을 수행하기 위해 조합된 특징 세트를 데이터 분석 도구에 제공하여 외과 시술에 대한 하나 이상의 예측들을 생성하도록 추가로 구성된다.
일부 실시예들에서, 조합 모듈은, 조합된 특징 세트를 외과 시술과 연관된 텍스트 데이터의 세트와 조합하여, 외과 시술에 대한 종합적 특징 세트를 형성하도록; 그리고 종합적 특징 세트에 대한 종합적 데이터 분석들을 수행하기 위해 조합된 특징 세트 대신 종합적 특징 세트를 데이터 분석 도구에 제공하여 외과 시술에 대한 하나 이상의 예측들을 생성하도록 추가로 구성된다.
본 발명의 구조 및 동작은 하기의 상세한 설명 및 첨부 도면을 검토함으로써 이해될 것이며, 도면에서 유사한 도면 부호들은 유사한 부분들을 지칭한다.
도 1은 본 명세서에 설명된 일부 실시예들에 따른, 예시적인 다중 양식 외과수술 데이터 분석 시스템의 블록도를 도시한다.
도 2는 본 명세서에 설명된 일부 실시예들에 따른, 종합적 데이터 분석을 수행하기 위해 다수의 양식들의 외과수술 데이터를 텍스트 특징 공간으로 조합하기 위한 예시적인 프로세스를 예시하는 흐름도를 제시한다.
도 3은 본 명세서에 설명된 일부 실시예들에 따른, 외과 시술에 대해 시간 동기화된 다중 양식 데이터 분석을 수행하기 위한 예시적인 프로세스를 예시하는 흐름도를 제시한다.
도 4는 대상 기술의 일부 실시예들이 구현될 수 있는 컴퓨터 시스템을 개념적으로 예시한다.
도 1은 본 명세서에 설명된 일부 실시예들에 따른, 예시적인 다중 양식 외과수술 데이터 분석 시스템의 블록도를 도시한다.
도 2는 본 명세서에 설명된 일부 실시예들에 따른, 종합적 데이터 분석을 수행하기 위해 다수의 양식들의 외과수술 데이터를 텍스트 특징 공간으로 조합하기 위한 예시적인 프로세스를 예시하는 흐름도를 제시한다.
도 3은 본 명세서에 설명된 일부 실시예들에 따른, 외과 시술에 대해 시간 동기화된 다중 양식 데이터 분석을 수행하기 위한 예시적인 프로세스를 예시하는 흐름도를 제시한다.
도 4는 대상 기술의 일부 실시예들이 구현될 수 있는 컴퓨터 시스템을 개념적으로 예시한다.
아래에 기재된 상세한 설명은 대상 기술의 다양한 구성들에 대한 설명으로서 의도되며, 대상 기술이 실시될 수 있는 유일한 구성들을 표현하고자 하는 것은 아니다. 첨부된 도면은 본 명세서에 통합되고, 상세한 설명의 일부를 구성한다. 상세한 설명은 대상 기술의 완전한 이해를 제공할 목적을 위한 구체적인 상세 사항들을 포함한다. 그러나, 대상 기술은 본 명세서에 기재된 구체적인 상세 사항들로 제한되지 않으며, 이들 구체적인 상세 사항들 없이 실시될 수 있다. 일부 경우들에서, 구조들 및 구성요소들은 대상 기술의 개념들을 모호하게 하지 않게 위해 블록도 형태로 도시된다.
명세서 전체에 걸쳐, 용어 "텍스트 데이터" 또는 "텍스트 특징들"은 순수한 글자 기반 데이터 또는 특징들, 순수한 숫자 기반 데이터 또는 특징들, 및 조합된 글자 숫자 기반 데이터 또는 특징들을 포함할 수 있다. 조합된 글자 숫자 기반 데이터 또는 특징들은 또한 이하에서 영숫자 데이터 또는 영숫자 특징들로도 지칭된다.
본 발명은, 상이한 포맷들, 특히, 비디오들, 이미지들, 및 오디오들의 형태들의 다수의 양식들의 비텍스트 데이터를 유의적인 방식으로 조합하여, 다수의 양식들로부터의 조합된 데이터가 텍스트 데이터와 호환가능하게 되는, 다양한 실시예들을 제공한다. 일부 실시예들에서, 조합된 데이터는 N차원 특징 공간 내에 N개의 텍스트 특징들의 세트를 포함한다. 예를 들어, 외과수술 응용예들의 경우, N개의 텍스트 특징들의 세트는 텍스트 포맷의 외과수술 메트릭들/측정치들의 세트를 포함할 수 있다. 다음으로, 조합된 데이터는 추가로, 다양한 소스들로부터의 이용가능한 텍스트 데이터와 조합되어, 텍스트 기반 데이터 분석 도구들에 의해 이해되고 프로세싱될 수 있는 종합적 데이터 세트를 생성할 수 있다.
일부 실시예들에서, 다수의 양식들의 비텍스트 데이터를 텍스트 데이터와 조합하기 전에, 다수의 양식들의 각각의 양식의 데이터는 먼저 세그먼트화되고 텍스트 특징들의 세트로 변환된다. 하나 이상의 실시예들에서, 상이한 머신 러닝 기반 세그먼트화 엔진(또는 이하 단순히 "세그먼트화 엔진")이 상이한 양식의 데이터에 대해 대응하는 데이터 세그먼트화 및 변환을 수행하도록 구성될 수 있다. 예를 들어, 외과수술 응용예와 같은 특정 응용예의 경우, 3개의 통상 알려진 양식들, 즉, 비디오 데이터, 이미지 데이터, 및 오디오 데이터 각각에 대해 설계된 적어도 3개의 세그먼트화 엔진들이 존재할 수 있다. 그러나, 동일한 양식의 데이터(예컨대, 비디오 데이터)이지만 상이한 메트릭들 및 파라미터들과 연관된 상이한 응용예들(예컨대, 외과수술 응용예 및 보안 응용예)에 대하여, 상이한 세그먼트화 엔진들이 구성된 후 각각 상이한 응용예들의 동일한 양식의 데이터를 변환하기 위해 채용될 필요가 있다.
일부 실시예들에서, 일단 주어진 양식의 데이터가 대응하는 텍스트 특징들의 세트로 변환되었으면, 텍스트 특징들의 세트는 원래의 텍스트 데이터 및 다른 양식들의 비텍스트 데이터로부터 변환된 텍스트 특징들을 포함하는 다른 소스들의 텍스트 데이터와 조합될 수 있다. 일단 모든 이용가능한 양식들의 데이터가 텍스트 특징들로 변환되고 다른 소스들의 텍스트 데이터와 조합되었으면, 조합된 특징 세트는, 기존의 텍스트 기반 데이터 분석 도구들을 사용하여 종합적 데이터 분석을 수행하는 데 사용될 수 있다. 원래의 텍스트 데이터를 다수의 양식들의 비텍스트 데이터로 보충함으로써, 데이터 분석 도구들로부터의 출력들, 예컨대, 제안된 종합적 데이터 분석에 기초하여 생성된 예측들 또는 결정들은 단지 하나의 양식의 데이터 또는 단지 텍스트 데이터만을 홀로 분석하는 것에 기초하여 생성된 예측들 또는 결정들보다 상당히 더 정확할 수 있다. 제안된 데이터 분석 기법들이 아래에서 외과수술 데이터 분석과 관련하여 설명되지만, 제안된 데이터 분석 기법들은 대체적으로 다양한 다른 건강 관리 기반 응용예들을 포함하는 다양한 다른 데이터 분석 응용예들에 적용가능하다.
수술실(operating room, OR) 내에서 수행되는 외과 시술을 포함하는 외과수술 응용예의 경우, 모든 종류들의 텍스트 데이터가 수집될 수 있다. 예를 들어, 환자의 상이한 바이탈 사인(vital sign)들이 보통 계속 모니터링되고 기록되어 외과수술에 대한 텍스트 데이터의 일부를 형성하는 반면, 다른 소스들의 텍스트 데이터는 환자 정보, 제공자 정보, 외과의사 정보, 및 병원 정보를 포함할 수 있다. 다양한 소스들의 텍스트 데이터 이외에, 비텍스트 외과수술 데이터는 대체적으로 비디오 데이터, 이미지 데이터, 및 오디오 데이터를 포함할 수 있다. 외과 시술과 연관된 이미지 데이터는 X선 이미징, CT 스캔들, MRI 스캔들, 및 초음파 스캔들과 같은 다양한 이미징 프로세스들로부터 수집된 다양한 유형들의 이미지 데이터를 포함할 수 있다. 게다가, 각각의 유형의 이미지 데이터는 외과수술의 수술 전(또는 이하 "수술-전") 준비/계획 스테이지 동안 또는 외과수술 동안의 수술 중 (또는 이하 "수술-중 ") 이미징 프로세스로부터 생성될 수 있다. 이미지 데이터는 또한 외과수술 비디오(예컨대, 내시경 비디오) 데이터로부터 획득된 스냅샷들을 포함할 수 있다. 종양 제거 외과수술들의 경우, 이미지 데이터를 사용하여 종양의 위치 및 크기, 그리고 사용되는 이미징의 유형을 결정할 수 있다. 외과 시술과 연관된 다른 통상의 형태의 비텍스트 외과수술 데이터(비디오 데이터)는 환자의 신체 내부에서 내시경 카메라에 의해 캡처된 실제 외과 시술의 내시경 시술 비디오들 및 또한, 외과수술 부위 근처에 (예컨대, 바로 위에) 설치된 하나 이상의 OR 카메라들에 의해 캡처된 외과 시술 비디오들을 포함할 수 있다. 외과 시술과 연관된 또 다른 통상의 형태의 비텍스트 외과수술 데이터(오디오 데이터)는, 외과의사가, 다른 것들 중에서도, 해부학적 구조, 이상, 이벤트, 합병증에 관한 것과 같은, 외과 시술을 내레이션하고/논의하는 것의 기록된 오디오들을 포함할 수 있다.
외과수술 비디오들은 의료 정보가 풍부하지만, 다른 양식들의 외과수술 데이터와 협업하지 않고서 비디오 데이터를 홀로 사용하는 것은 종종 올바르지 않은 결론들을 야기할 수 있다는 것에 유의한다. 예를 들어, 이용가능한 외과수술 비디오들에 배타적으로 기초하여 2개의 외과 시술들 A 및 B의 성과들을 비교하길 원하는 경우, 단순한 분석은 관련 외과수술 비디오들에 의해 캡처된 상이한 외과수술 페이즈들의 지속기간들과 2개의 시술들의 전체 지속기간들을 추출하고 비교할 것이다. 정시에 각각의 외과수술 페이즈 및 전체 시술을 완료하는 시술 A가 더 양호하게 수행된 시술인 반면, 하나 이상의 외과수술 페이즈들 및/또는 전체 시술에서 예상되는 것보다 훨씬 더 오래 걸리는 시술 B는 더 불량하게 수행된 시술이라고 결론짓고 싶을 것이다. 그러나, 시술 B로부터의 환자가 집에 가서 어떠한 합병증도 없이 외과수술으로부터 빠르게 회복되는 반면, 시술 A로부터의 환자가 집에 간 후 건강 상태 악화로 인해 일주일 내에 병원에 재입원하게 되는 경우, 시술 B는 더 양호하게 수행된 시술일 가능성이 높은 반면, 시술 A는 더 불량하게 수행된 시술이 된다.
따라서, 외과수술 응용예와 연관된 소정의 복잡한 메트릭들(예컨대, 외과 시술과 외과수술 결과 사이의 관계)의 경우, 홀로 비디오 데이터에 대해서만 데이터 분석을 수행하는 것은 종종 메트릭들에 대한 올바른 결론들을 도출하는데 실패한다. 결과적으로, 높은 정확도로 외과수술 결과를 예측하기 위해, 외과수술 비디오들 이외의 추가 양식들의 데이터가 또한 필요할 것이다. 이들 추가 양식들의 데이터는, 예컨대, 종양이 검출되었는지 여부 그리고 검출된 종양의 위치 및 크기를 결정하기 위해 수술-전 이미징 데이터 및/또는 수술-중 이미징 데이터를 포함할 수 있다. 추가 양식들의 데이터는 또한, 외과 시술 동안, 예컨대, 외과의사가 소정의 외과수술 단계들을 내레이션하고 있었을 때 기록된 오디오 데이터를 포함할 수 있다. 예를 들어, 외과의사로부터의 내레이션은, 환자가 비정상적으로 큰 해부학적 구조를 갖는 것 또는 연기 또는 출혈과 같은 합병증 이벤트의 발생을 나타내는 것과 같은, 우려를 표현적으로 나타낼 수 있으며, 이는 보통의 외과수술 단계 또는 전체 외과 시술보다 더 오래 걸린 것을 설명하는 데 사용될 수 있다. 게다가, 추가 데이터는 또한, 수술-전, 수술-중, 및 수술 후(또는 이하 "수술-후") 기간들 중 하나 이상 동안 수집된 텍스트 데이터, 예컨대, 수술-후 기간 동안 환자를 모니터링하는 것으로부터 수집된 모든 바이탈 데이터를 포함할 수 있다. 일부 실시예들에서, 외과수술 분석을 위한 전영역(full spectrum)의 데이터를 수집하기 위해, 환자가 첫 번째 진료를 위해 병원에 온 순간부터 환자가 병을 완전히 치료한 순간까지의 상이한 양식들의 외과수술 데이터가 수집될 수 있다.
상기 예는 일부 외과수술 관련 메트릭들에 대한 결론들을 도출하기 위해 단지 비디오 데이터만을 사용하는 것의 결점들을 예시하지만, 소정의 외과수술 성과 메트릭들을 올바르게 예측하기 위해서는, 4개의 통상의 양식들, 즉, 비디오들, 이미지들, 오디오들, 및 텍스트 중에서 단지 한 개 또는 두 개의 양식들의 데이터(예컨대, 단지 비디오들, 또는 단지 이미지들, 또는 단지 오디오들, 또는 단지 텍스트, 또는 단지 텍스트를 갖는 비디오들)만을 사용하는 것은 대체적으로 충분하지 않다. 대신에, 이들 외과수술 성과 메트릭들에 대한 더 정확한 결론들을 도출하기 위해서는 다수의 양식들의 외과수술 데이터를 조합하는 보다 종합적인 데이터 수집이 사용되어야 한다. 예를 들어, 보다 종합적인 데이터 수집은 수술-전 및 수술-중 이미지 데이터, 수술-중 내시경 비디오들, 및 수술-중 외과의사 내레이션 오디오들, 및 다양한 수술-전, 수술-중, 및 수술-후 텍스트 데이터를 포함할 수 있다. 일부 실시예들에서, 유의적인 방식으로 상이한 양식들의 데이터를 조합하는 것은 먼저, 각각의 양식의 데이터를 공통 포맷으로 변환하는 것을 요구한다. 특정 실시예에서, 이는 각각의 비텍스트 양식의 데이터를 텍스트 특징들의 세트로 변환하는 것을 포함한다. 다음으로, 다수의 비텍스트 양식들의 데이터로부터의 변환된 텍스트 특징들의 다수의 세트들이 원래의 텍스트 데이터와 조합될 수 있는데, 그 이유는 그들이 모두 공통 포맷을 갖기 때문이다. 마지막으로, 적절한 데이터 분석 도구가 조합된 데이터에 적용되어 소정의 외과수술 성과 메트릭들에 대한 올바른 또는 더 정확한 예측들을 행할 수 있다.
일부 실시예들에서, 다수의 양식들의 데이터를 공통 포맷으로 변환하기 위해, 각각의 양식의 데이터에 대해 별개의 세그먼트화 엔진이 구성된다. 예를 들어, 내시경 비디오들을 텍스트로 변환하기 위한 비디오 세그먼트화 엔진이 구성될 수 있다. 일부 실시예들에서, 비디오 세그먼트화 엔진은 먼저 내시경 비디오를 외과수술 페이즈들 및/또는 단계들의 세트에 대응하는 비디오 세그먼트들의 세트로 세그먼트화하고, 이어서 하나 이상의 외과수술 메트릭들 및 파라미터들, 예컨대, 비디오 세그먼트들의 세트 내의 각각의 비디오 세그먼트로부터의 도구 사용 정보 및 타이밍 정보를 추출할 수 있다.
추가적으로, (예컨대, 다양한 자연 언어 프로세싱 기법들에 기초하여) 오디오들을 텍스트로 변환하기 위한 오디오 세그먼트화 엔진이 외과의사의 내레이션들/논의들의 오디오 파일들을 프로세싱하도록 구성될 수 있다. 예를 들어, 오디오 세그먼트화 엔진은 먼저, 전술된 비디오 세그먼트화 엔진으로부터의 세그먼트화 출력들에 기초하여 시술 오디오를 외과수술 페이즈들 및/또는 단계들의 세트로 세그먼트화할 수 있다. 다음으로, 오디오 세그먼트화 엔진은 외과수술 관련 메트릭들 및 파라미터들, 예컨대, 오디오 세그먼트들의 세트로부터의 외과의사에 의해 표현된 비정상적 해부학적 구조들, 합병증들, 및 랜드마크 이벤트들의 우려들을 추출할 수 있다. 추가로, 이미지들을 텍스트로 변환하기 위한 이미지 세그먼트화 엔진은 수술-전 및/또는 수술-중 이미지들을 세그먼트화하고, 주어진 이미지 내에서 종양의 위치 및 크기와 같은 외과수술 관련 메트릭들 및 파라미터들을 추출하도록 구성될 수 있다. 상기 3개의 데이터 세그먼트화 엔진들 이외에, 다른 양식들의 데이터를 텍스트로 변환하기 위한 추가 세그먼트화 엔진들이 구성될 수 있으며, 여기서 다른 양식들은 소정의 3D 이미지들 및 홀로그래픽 이미지들을 포함할 수 있다.
도 1은 본 명세서에 설명된 일부 실시예들에 따른, 예시적인 다중 양식 외과수술 데이터 분석 시스템(100)의 블록도를 도시한다. 도 1에서 알 수 있는 바와 같이, 다중 양식 외과수술 데이터 분석 시스템(100)(또는 이하 "데이터 분석 시스템(100)" 또는 "외과수술 데이터 분석 시스템(100)"으로도 지칭됨)은 데이터 세그먼트화 엔진들(102 내지 106)의 세트, 특징 병합 모듈(108), 텍스트 데이터 병합 모듈(110), 및 데이터 분석 도구(112)를 포함하는데, 이들은 예시된 순서로 서로 결합된다. 게다가, 데이터 세그먼트화 엔진들(102 내지 106), 특징 병합 모듈(108), 및 텍스트 데이터 병합 모듈(110)은 종합적 특징 생성 모듈(142)을 형성한다.
도 1에서 알 수 있는 바와 같이, 외과수술 데이터 분석 시스템(100)은 입력들로서 비디오 데이터(112), 이미지 데이터(114), 및 오디오 데이터(116)를 수신한다. 비디오 데이터(112)는 실제 외과 시술 동안 캡처된 내시경 시술 비디오들, 및 외과수술 부위 근처에 (예컨대, 바로 위에) 설치된 하나 이상의 OR 카메라들에 의해 캡처된 외과 시술 비디오들을 포함할 수 있다. 게다가, 비디오 데이터(112)는 실시간 비디오 피드(feed)(데이터 분석이 외과 시술 동안 실시간으로 수행되는 경우) 및 오프라인 비디오들(데이터 분석이 외과 시술 후에 수행되는 경우) 둘 모두를 포함할 수 있다. 이미지 데이터는, 다른 것들 중에서도, X선 이미지들, CT 이미지들, MRI 이미지들, 초음파 이미지들을 포함할 수 있고, 각각의 유형의 이미지 데이터는 외과 시술의 수술-전 준비/계획 스테이지로부터, 수술-중 실시간 이미징으로부터, 또는 외과 시술 후의 수술-후 기간으로부터 생성될 수 있다. 게다가, 이미지 데이터(114)는 실시간 이미지들(데이터 분석이 외과 시술 동안 실시간으로 수행되는 경우) 및 오프라인 이미지들(데이터 분석이 외과 시술 후에 수행되는 경우) 둘 모두를 포함할 수 있다. 외과 시술에 대한 오디오 데이터(116)는, 외과의사가, 다른 것들 중에서도, 해부학적 구조, 이벤트, 합병증에 관한 것과 같은, 외과 시술을 내레이션하고/논의하는 것의 기록된 오디오 파일들을 포함할 수 있다.
외과수술 데이터 분석 시스템(100)은 또한, 비디오 데이터(112), 이미지 데이터(114), 및 오디오 데이터(116) 각각을 텍스트 특징들의 대응하는 세트로 변환하기 위한 머신 러닝 기반 세그먼트화 엔진들(102 내지 106)의 세트를 포함한다. 보다 구체적으로, 세그먼트화 엔진들(102 내지 106) 각각은, 대응하는 양식의 외과수술 데이터(112 내지 116)를 세그먼트화하고 대응하는 외과수술 데이터로부터 텍스트 특징들의 대응하는 세트(122 내지 126)를 추출하도록 구성된다. 예를 들어, 세그먼트화 엔진(102)은 비디오 데이터(112) 내의 비디오 세그먼트를 비디오 세그먼트에 나타내진 해부학적 구조를 표현하는 영숫자 값들의 제1 어레이로 변환하도록 구성될 수 있다. 한편, 세그먼트화 엔진(104)은 이미지 데이터(114) 내의 방사선 촬영 이미지들의 세트를 방사선 촬영 이미지들의 세트에서 검출된 하나 이상의 대상물들을 표현하는 영숫자 값들의 제2 어레이로 변환하도록 구성될 수 있다. 게다가, 세그먼트화 엔진(106)은 오디오 데이터(116) 내의 오디오 클립을, 외과의사의 내레이션/논의로부터 추출된 해부학적 구조, 우려, 합병증, 또는 랜드마크 이벤트를 표현하는 영숫자 값들의 제3 어레이로 변환하도록 구성될 수 있다.
일부 실시예들에서, 추출된 텍스트 특징들의 각각의 세트(122 내지 126)는 특정 외과 시술을 표현하는 메트릭들의 세트로 구성되며, 여기서 메트릭들의 세트 내의 메트릭들은 텍스트 또는 영숫자 값들로서 표현된다. 예를 들어, 비디오 데이터 세그먼트화 엔진(102)에 의해 생성된 텍스트 특징들(122)은, (a) 다양한 외과수술 페이즈들 및 단계들에 대해 걸린 시간들; (b) 텍스트 또는 숫자 빈(bin)들로 표현될 수 있는 스킬 메트릭(skill metric)들의 세트; (c) 종양과 같은 각각의 검출된 이상의 위치, 크기 및 다른 측정치들과 같은 이상적(anomalous) 해부학적 구조의 정량화들; (d) 주어진 외과수술 도구가 사용된 횟수; (e) 해부학적 구조 내에서의 도구 유휴 시간들; (f) 출혈 이벤트들의 정량화들; 및 (g) 연기 이벤트들의 정량화들을 포함하는 메트릭들의 세트를 포함할 수 있다. 이미지 데이터 세그먼트화 엔진(104)에 의해 생성된 텍스트 특징들(124)은, 각각의 검출된 이상의 위치, 크기, 및 다른 측정치들과 같은 환자의 방사선 촬영 이미지들에 나타내진 이상적 해부학적 구조(예컨대, 종양 조직)의 정량화들을 포함하는 메트릭들의 세트를 포함할 수 있다. 오디오 데이터 세그먼트화 엔진(106)에 의해 생성된 텍스트 특징들(126)은, 외과의사의 내레이션/대화들로부터 텍스트로서 전사된 비정상적 이벤트들(예컨대, 합병증들) 또는 비정상적 해부학적 구조(예컨대, 비정상적으로 큰 해부학적 구조)의 플래깅(flagging)을 포함하는 메트릭들의 세트를 포함할 수 있다.
다양한 실시예들에서, 세그먼트화 엔진들(102 내지 106) 각각은 회귀 모델, 딥 뉴럴 네트워크 기반 모델(deep neural network-based model), 서포트 벡터 머신(support vector machine), 결정 트리(decision tree), 나이브 베이즈 분류기(Naive Bayes classifier), 베이시안 네트워크(Bayesian network), 또는 KNN(k-nearest neighbors) 모델에 기초하여 구성된 머신 러닝 모델을 포함할 수 있다. 일부 실시예들에서, 이들 머신 러닝 모델들 각각은 CNN(convolutional neural network) 아키텍처, RNN(recurrent neural network) 아키텍처, 또는 다른 형태의 DNN(deep neural network) 아키텍처에 기초하여 구성된다.
도 1로 다시 돌아가면, 특징 병합 모델(108)은 세그먼트화 엔진들(102 내지 106)로부터 텍스트 특징들의 3개의 세트들(122 내지 126)을 수신하고, 후속하여 다수의 양식들로부터의 특징들의 세트를 조합하여, N차원 특징 공간 내의 조합된 특징 세트(128)를 생성하도록 구성된다는 것에 유의한다. 일부 실시예들에서, 주어진 외과 시술에 대해, N차원 특징 공간 내의 조합된 특징 세트(128)는 외과 시술을 표현하는 N개의 외과수술 메트릭들의 조합된 세트이며, 여기서 N개의 외과수술 메트릭들의 세트는 텍스트 또는 영숫자 값들로 표현된다.
이어서, N차원 특징 공간 내의 조합된 특징 세트(128)는 텍스트 데이터 병합 모듈(110)에 의해 수신되는데, 이는, 조합된 특징 세트(128)를 다수의 데이터 소스들로부터의 외과 시술과 연관된 이용가능한 텍스트 데이터(140)와 조합하여, 외과 시술에 대한 종합적 특징 세트(130)를 형성하도록 구성된다. 종합적 특징 세트(130)는 또한 텍스트 특징들의 세트로 구성된다는 것에 유의한다. 또한, 데이터 세그먼트화 엔진들(102 내지 106), 특징 병합 모듈(108), 및 텍스트 데이터 병합 모듈(110)이 종합적 특징 생성 모듈(142)을 형성하고, 이는 다수의 소스들의 텍스트 기반 외과수술 데이터와 함께 다수의 양식들의 비텍스트 외과수술 데이터를 텍스트 특징들의 종합적 세트(130)로 조합하도록 구성된다는 것에 유의한다.
마지막으로, 데이터 분석 도구(120)는 종합적 특징 세트(130)를 수신하고, 수신된 텍스트 데이터에 대해 데이터 분석들을 수행하고, 외과 시술에 대한 하나 이상의 외과수술 성과 메트릭들 또는 결과들(132)을 출력하도록 구성된다. 일부 실시예들에서, 데이터 분석 도구(120)는 영숫자 또는 텍스트 데이터를 프로세싱하도록 설계된 텍스트 데이터 분석 도구이다. 종양을 제거하기 위한 특정 외과 시술에서, 외과수술 성과 메트릭들 또는 결과들(132)은 외과의사가 종양을 올바르게 식별하고 후속하여 제거했는지 여부, 또는 외과의사가 종양의 위치를 올바르게 식별하지 못하고 종양을 제거하지 못하는지 여부와 같은 메트릭들을 포함할 수 있다. 외과수술 성과 메트릭들/결과들(132)을 출력하는 것은 외과수술 성과 메트릭들/결과들(132)의 시각화들을 제공하는 것을 포함할 수 있다는 것에 유의한다.
개시된 외과수술 데이터 분석 시스템(100)은 효과적인 자동화된 해결책들을 갖지 않는 일부 전통적으로 어려운 외과수술 문제들을 해결하는 데 사용될 수 있다. 예를 들어, 표적 종양 조직을 제거하기 위한 외과 시술 동안, 외과의사는 표적 종양 조직의 위치를 찾고자 환자의 신체 내부에서 내시경 카메라를 사용한다. 내시경 카메라가 환자의 신체 내부에서 해부학적 구조를 캡처하는 동안, 종양 조직은 전형적으로 내시경 이미지들로부터 용이하게 식별될 수 없는데, 그 이유는 종양 조직이 종종 주위 조직들과 특별히 상이하게 보이지 않기 때문이다. 종양의 위치를 실시간으로 결정하는 것을 돕기 위해, 수술-중 CT 이미지들이 환자의 신체 내의 종양의 영역에 대하여 OR 내에서 실시간으로 촬영될 수 있으며, 여기서 종양은 대체적으로 CT 이미지 내에서 눈에 띄인다. CT 이미지들 내의 종양의 위치를 내시경 이미지들 내의 대응하는 위치로 자동으로 변환(translate)하고 내시경 피드 상의 위치를 실시간으로 강조하는 컴퓨터 프로그램을 갖는 것이 이상적일 것이다.
그러나, 실제로, 종양 조직과 같은, CT 스캔 내에서 검출된 소정의 대상물을 내시경 이미지들 내의 대응하는 위치로 자동으로 변환하는 것은 극히 어렵다. 사실, CT 스캔 내의 특정 위치 또는 각도 방향을 내시경 비디오 내의 대응하는 위치 또는 각도 방향으로 정확하게 변환하는 것은 해결되어야 할 남아있는 문제이다. 변환 어려움의 주요 원인은 2개의 이미징 시스템들이 서로 매칭되지 않는 2개의 완전히 상이한 좌표계들을 사용한다는 것인데: CT 이미지들은 환자의 신체 외부로부터 촬영되는 반면, 내시경 이미지들은 환자의 신체 내부로부터 캡처된다. 게다가, 내시경 카메라의 배향 및 그에 따른 이미징 좌표축들은 주위 해부학적 구조에 따라 수직, 수평, 또는 임의의 각도에 있을 수 있고, 그들은 또한 내시경 카메라가 해부학적 구조 내에서 내비게이션(navigation)함에 따라 일정하게 변할 수 있다. 전술된 변환 문제는 수술-중 CT 스캔으로 제한되지 않는다는 것에 유의한다. 수술-중 X선 스캔 또는 수술-중 초음파 스캔이 수술-중 CT 스캔 대신에 사용될 때 동일한 변환 문제가 존재한다.
개시된 외과수술 데이터 분석 시스템(100)을 사용하여, 수술-중 CT 이미지들, 수술-중 CT 스캔 동안 캡처된 내시경 비디오 세그먼트, 수술-중 CT 스캔 동안 기록된 오디오 내레이션/논의를 포함하는 다수의 양식들의 데이터는 텍스트 특징들(예컨대, 이는 종양의 위치 및 크기를 포함할 수 있음)로 변환되어 N차원 텍스트 특징 세트 내로 조합될 수 있다. 다른 관련 텍스트 데이터와 조합된 N차원 텍스트 특징 세트는 CT 이미지들 내의 종양의 위치를 내시경 비디오 내의 해부학적 구조 상의 대응하는 위치로 변환하도록 설계된 머신 러닝 모델에 의해 프로세싱될 수 있다. 머신 러닝 모델의 출력은 또한, 외과의사가 종양을 올바르게 식별하고 후속하여 제거했는지 여부, 또는 외과의사가 종양의 위치를 올바르게 식별하지 못하고 종양을 제거하지 못하는지 여부와 같은 외과의사가 얼마나 잘 수행을 했는지를 표현하는 성과 메트릭을 포함할 수 있다. 시간이 지남에 따라, 머신 러닝 모델은 데이터 분석 시스템(100)의 성과에 기초하여 재귀적으로 훈련되고 개선될 수 있다.
상이한 양식들의 데이터를 더 유의적인 방식으로 조합하기 위해, 다수의 양식들의 데이터, 예컨대, 비디오 데이터, 이미지 데이터, 오디오 데이터는 시간에 기초하여 동기화될 수 있다(또는 "시간 동기됨(time-synced)"). 예를 들어, 오디오 데이터를 위한 세그먼트화 엔진(106)이, 예컨대, t0 타임스탬프에, 이벤트(예컨대, 해부학적 구조 내의 종양의 위치를 찾음)가 오디오에서 논의되고 있음을 검출할 수 있고, 세그먼트화 엔진(102)이 또한 동일한 시간 마크에 내시경 비디오에서 동일한 이벤트를 검출하는 경우, t 0 타임스탬프 주위의 비디오의 세그먼트 및 오디오의 세그먼트는 유의적으로 조합될 수 있다. 게다가, t 0 타임스탬프에 추가 수술-중 이미징이 발생하는 경우(예컨대, CT 스캔들이 모바일 CT 스캐너로 촬영되거나 또는 초음파 스캔들이 초음파 디바이스로 촬영됨), 이들 이미지들은, 예컨대, 높은 신뢰도로 내시경 비디오의 해부학적 구조 내의 종양의 위치를 결정하기 위한, 협업적 결정을 내리기 위해, t 0 타임스탬프 주위의 비디오의 세그먼트 및 오디오의 세그먼트와 유의적으로 조합될 수 있다.
일부 실시예들에서, 다수의 양식들의 데이터를 더 유의적인 방식으로 조합하는 것은 특정 양식과 연관된 쉽게 식별가능한 시간 이벤트에 기초하여 다수의 양식들의 데이터를 동기화하는(또는 "동기하는") 것을 포함할 수 있다. 예를 들어, 수술-중 이미징 프로세스가 t 0에서 시작하고 2분 간 촬영하여, t 0 내지 t 0 + 2분을 완료하고, 외과 시술을 설명하는 대응하는 오디오가 또한 존재한다고 가정하면, 생성된 수술-중 이미지들을 t 0 내지 t 0 + 2분의 오디오의 세그먼트와 조합하는 것은 더 유의적이 된다. 게다가, t 0 내지 t 0 + 2분의 동일한 기간 동안의 대응하는 내시경 비디오가 또한 존재하는 경우, 동일한 2분 세그먼트로부터의 비디오 클립을 대응하는 이미징 및 오디오 데이터와 또한 조합하는 것이 더 유익할 것이다. 게다가, 동일한 기간들에 생성된 텍스트 데이터가 또한 존재하는 경우, 그러한 텍스트 데이터는 또한 동일한 기간의 다른 양식들의 데이터와 유의적으로 조합될 수 있다.
도 2는 본 명세서에 설명된 일부 실시예들에 따른, 종합적 데이터 분석을 수행하기 위해 다수의 양식들의 외과수술 데이터를 텍스트 특징 공간으로 조합하기 위한 예시적인 프로세스(200)를 예시하는 흐름도를 제시한다. 하나 이상의 실시예들에서, 도 2의 단계들 중 하나 이상은 생략되고/되거나, 반복되고/되거나, 상이한 순서로 수행될 수 있다. 따라서, 도 2에 도시된 단계들의 특정 배열은 본 기법의 범주를 제한하는 것으로 해석되어서는 안 된다.
프로세스(200)는 다수의 소스들로부터 다수의 양식들의 외과수술 데이터를 수신함으로써 시작할 수 있다(단계(202)). 전술된 바와 같이, 특정 외과 시술과 연관된 다수의 양식들의 외과수술 데이터는 이미지 데이터, 비디오 데이터, 및 오디오 데이터를 포함할 수 있지만, 이에 제한되지 않는다. 이미지 데이터는, X선 이미지들, CT 이미지들, MRI 이미지들, 초음파 이미지들과 같은 방사선 촬영 이미지들을 포함할 수 있고, 각각의 유형의 이미지 데이터는 외과 시술의 수술-전 준비/계획 스테이지로부터, 수술-중 실시간 이미징으로부터, 또는 외과 시술 후의 수술-후 기간으로부터 생성될 수 있다. 비디오 데이터는 실제 외과 시술 동안 캡처된 내시경 시술 비디오들, 및 외과수술 부위 근처에 설치된 하나 이상의 OR 카메라들에 의해 캡처된 외과 시술 비디오들을 포함할 수 있다. 외과 시술에 대한 오디오 데이터는, 외과의사가, 다른 것들 중에서도, 해부학적 구조, 이벤트, 합병증에 관한 것과 같은, 외과 시술을 내레이션하고/논의하는 것의 기록된 오디오 파일들을 포함할 수 있다.
다음으로, 각각의 수신된 양식의 외과수술 데이터에 대해, 프로세스(200)는 대응하는 세그먼트화 엔진을 사용하여 대응하는 양식의 외과수술 데이터를 텍스트 특징들의 세트로 변환한다(단계(204)). 보다 구체적으로, 각각의 세그먼트화 엔진은 대응하는 양식의 외과수술 데이터를 세그먼트화하고 외과수술 데이터로부터 텍스트 특징들의 대응하는 세트를 추출하도록 구성된다. 일부 실시예들에서, 추출된 텍스트 특징들의 각각의 세트는 특정 외과 시술을 표현하는 메트릭들의 세트로 구성되며, 여기서 메트릭들의 세트는 텍스트 또는 영숫자 값들로서 표현된다.
다음으로, 프로세스(200)는 다수의 양식들로부터의 텍스트 특징들의 다수의 세트를 조합하여, N차원 특징 공간 내의 조합된 특징 세트를 생성한다(단계(206)). 일부 실시예들에서, 주어진 외과 시술에 대해, N차원 특징 공간 내의 조합된 특징 세트는 외과 시술을 표현하는 N개의 메트릭들의 조합된 세트이며, 여기서 N개의 메트릭들의 세트는 텍스트 또는 영숫자 값들로 표현된다.
다음으로, 프로세스(200)는 N차원 특징 공간 내의 조합된 특징 세트를 다수의 데이터 소스들로부터의 외과 시술과 연관된 이용가능한 텍스트 데이터와 함께, 외과 시술에 대한 종합적 특징 세트로 추가로 조합한다(단계(208)). 전술된 바와 같이, 외과 시술에 대한 텍스트 데이터는, 다른 것들 중에서도, 환자 바이탈 데이터, 환자 약물 데이터, 치료 계획들, 진행 노트들, 텍스트/영숫자 형태의 다양한 수술-전 및 수술-중 및 수술-후 테스트 결과들, 다른 환자 정보, 외과의사 정보, 및 병원 통계를 포함할 수 있다. 마지막으로, 프로세스(200)는 종합적 특징 세트에 데이터 분석 도구를 적용하여 종합적 데이터 분석을 수행하고, 종합적 특징 세트에 기초하여 외과 시술에 대한 하나 이상의 외과수술 성과 메트릭들 또는 결과들을 생성한다(단계(210)). 예를 들어, 영숫자 또는 텍스트 데이터를 프로세싱하도록 설계된 표준 데이터 분석 도구가 종합적 데이터 세트를 프로세싱하는 데 사용될 수 있다.
도 3은 본 명세서에 설명된 일부 실시예들에 따른, 외과 시술에 대해 시간 동기된 다중 양식 데이터 분석을 수행하기 위한 예시적인 프로세스(300)를 예시하는 흐름도를 제시한다. 하나 이상의 실시예들에서, 도 3의 단계들 중 하나 이상은 생략되고/되거나, 반복되고/되거나, 상이한 순서로 수행될 수 있다. 따라서, 도 3에 도시된 단계들의 특정 배열은 본 기법의 범주를 제한하는 것으로 해석되어서는 안 된다.
프로세스(300)는 환자의 신체 내의 관심 영역의 외과 시술 동안 수술-중 이미징 프로세스로부터 생성된 수술-중 이미지들의 세트를 수신함으로써 시작될 수 있다(단계(302)). 예를 들어, 수술-중 이미징 프로세스는, 다른 것들 중에서도, CT 스캔; X선 스캔; MRI 스캔, 초음파 스캔을 포함할 수 있다. 프로세스(300)는 다음으로 수술-중 이미징 프로세스에 대한 시작 타임스탬프 t 1 및 종료 타임스탬프 t 2를 결정한다(단계(304)). 다음으로, 프로세스(300)는 외과 시술의 외과의사의 내레이션을 포함하는 기록된 OR 오디오 및 실제 외과 시술의 내시경 비디오를 수신한다(단계(306)). 이어서, 프로세스(300)는 OR 오디오로부터의 t 1과 t 2 사이의 오디오 세그먼트 및 내시경 비디오로부터의 t 1과 t 2 사이의 비디오 세그먼트를 선택한다(단계(308)). 다음으로, 프로세스(300)는 수술-중 이미지들, 오디오 세그먼트, 및 비디오 세그먼트의 세트를 특징 추출 엔진에 제공하여, 텍스트 특징들의 다수의 세트들을 추출하고 이들을 N차원 특징 공간 내의 특징들의 조합된 세트로 조합한다(단계(310)). 단계(310)에서의 특징 추출 엔진은 도 1과 함께 설명된 종합적 특징 생성 모듈(142)로 구현될 수 있다는 것에 유의한다.
프로세스(300)는 후속하여 N차원 특징 세트를 외과 시술과 연관된 이용가능한 텍스트 데이터와 조합하여, 외과 시술에 대한 종합적 특징 세트를 형성한다(단계(312)). 마지막으로, 프로세스(300)는 종합적 특징 세트에 데이터 분석 도구를 적용하여 관심 영역 내의 대상물의 정확한 예측을 생성한다(단계(314)). 예를 들어, 대상물은 관심 영역 내의 종양일 수 있고, 예측은 수술-중 이미지들 내의 종양의 결정된 위치를 내시경 비디오 내의 해부학적 구조에서의 대응하는 위치로 변환하는 것을 포함할 수 있다. 일부 실시예들에서, 데이터 분석이 종양 제거 시술 동안 실시간으로 수행되는 경우, 데이터 분석 출력들로부터의 종양의 예측된 위치는 실시간 내시경 비디오 피드 내의 해부학적 구조 상에서 강조될 수 있다.
도 4는 대상 기술의 일부 실시예들이 구현될 수 있는 컴퓨터 시스템을 개념적으로 예시한다. 컴퓨터 시스템(400)은 하나 이상의 프로세서들이 내부에 내장되거나 그에 결합된 클라이언트, 서버, 컴퓨터, 스마트폰, PDA, 랩톱, 또는 태블릿 컴퓨터, 또는 임의의 다른 종류의 컴퓨팅 디바이스일 수 있다. 그러한 컴퓨터 시스템은 다양한 유형들의 컴퓨터 판독가능 매체 및 다양한 다른 유형들의 컴퓨터 판독가능 매체를 위한 인터페이스들을 포함한다. 컴퓨터 시스템(400)은 버스(402), 프로세싱 유닛(들)(412), 시스템 메모리(404), ROM(read-only memory)(410), 영구 저장 디바이스(408), 입력 디바이스 인터페이스(414), 출력 디바이스 인터페이스(406), 및 네트워크 인터페이스(416)를 포함한다. 일부 실시예들에서, 컴퓨터 시스템(400)은 로봇 외과수술 시스템의 일부이다.
버스(402)는 컴퓨터 시스템(400)의 다수의 내부 디바이스들을 통신가능하게 연결하는 모든 시스템, 주변기기, 및 칩셋 버스들을 총괄적으로 표현한다. 예를 들어, 버스(402)는 프로세싱 유닛(들)(412)을 ROM(410), 시스템 메모리(404), 및 영구 저장 디바이스(408)와 통신가능하게 연결한다.
이들 다양한 메모리 유닛들로부터, 프로세싱 유닛(들)(412)은, 도 1 내지 도 3과 관련하여, 종합적 데이터 분석을 수행하고 외과 시술에 대한 시간 동기된 다중 양식 데이터 분석을 수행하기 위해 다수의 양식들의 외과수술 데이터를 텍스트 특징 공간으로 조합하는 전술된 프로세스들을 포함하는, 본 특허 발명에 설명된 다양한 프로세스들을 실행하기 위해 실행할 명령어들 및 프로세싱할 데이터를 취출한다. 프로세싱 유닛(들)(412)은, 마이크로프로세서, GPU(graphics processing unit), TPU(tensor processing unit), IPU(intelligent processor unit), DSP(digital signal processor), FPGA(field-programmable gate array), 및 ASIC(application-specific integrated circuit)를 포함하지만 이들로 제한되지 않는 임의의 유형의 프로세서를 포함할 수 있다. 프로세싱 유닛(들)(412)은 상이한 구현예들에서 단일 프로세서 또는 멀티-코어 프로세서일 수 있다.
ROM(410)은 프로세싱 유닛(들)(412) 및 컴퓨터 시스템의 다른 모듈들에 의해 요구되는 정적 데이터 및 명령어들을 저장한다. 다른 한편으로, 영구 저장 디바이스(408)는 판독-기입 메모리 디바이스(read-and-write memory device)이다. 이러한 디바이스는 컴퓨터 시스템(400)이 꺼질 때에도 명령어들 및 데이터를 저장하는 비휘발성 메모리 유닛이다. 본 발명의 일부 구현예들은 영구 저장 디바이스(408)로서 대용량 저장 디바이스(예컨대, 자기 또는 광 디스크, 및 그의 대응하는 디스크 드라이브)를 사용한다.
다른 구현예들은 영구 저장 디바이스(408)로서 착탈식 저장 디바이스(예컨대, 플로피 디스크, 플래시 드라이브, 및 그의 대응하는 디스크 드라이브)를 사용한다. 영구 저장 디바이스(408)와 마찬가지로, 시스템 메모리(404)는 판독-기입 메모리 디바이스이다. 그러나, 저장 디바이스(408)와 달리, 시스템 메모리(404)는 랜덤 액세스 메모리와 같은 휘발성 판독-기입 메모리이다. 시스템 메모리(404)는 프로세서가 런타임 시에 필요로 하는 명령어들 및 데이터의 일부를 저장한다. 일부 구현예들에서, 도 1 내지 도 3과 관련하여, 종합적 데이터 분석을 수행하고 외과 시술에 대한 시간 동기된 다중 양식 데이터 분석을 수행하기 위해 다수의 양식들의 외과수술 데이터를 텍스트 특징 공간으로 조합하는 전술된 프로세스들을 포함하는, 본 특허 발명에 설명된 다양한 프로세스들은 시스템 메모리(404), 영구 저장 디바이스(408), 및/또는 ROM(410)에 저장된다. 이들 다양한 메모리 유닛들로부터, 프로세싱 유닛(들)(412)은 일부 구현예들의 프로세스들을 실행하기 위해 실행할 명령어들 및 프로세싱할 데이터를 검색한다.
버스(402)는 또한 입력 디바이스들(414) 및 출력 디바이스들(406)에 연결된다. 입력 디바이스들(414)은 사용자가 컴퓨터 시스템으로 정보를 통신하고 컴퓨터 시스템에 대한 명령들을 선택할 수 있게 한다. 입력 디바이스들(414)은, 예를 들어, 영숫자 키보드들 및 포인팅 디바이스들("커서 제어 디바이스들"로도 불림)을 포함할 수 있다. 출력 디바이스들(406)은, 예를 들어, 컴퓨터 시스템(400)에 의해 생성된 이미지들의 디스플레이를 가능하게 한다. 출력 디바이스들(406)은, 예를 들어, 프린터들 및 디스플레이 디바이스들, 예컨대 CRT(cathode ray tube)들 또는 LCD(liquid crystal display)들을 포함할 수 있다. 일부 구현예들은 입력 및 출력 디바이스들 둘 모두로서 기능하는 터치스크린과 같은 디바이스들을 포함한다.
마지막으로, 도 4에 도시된 바와 같이, 버스(402)는 또한 컴퓨터 시스템(400)을 네트워크 인터페이스(416)를 통해 네트워크(도시되지 않음)에 결합시킨다. 이러한 방식으로, 컴퓨터는 컴퓨터들의 네트워크(예컨대, 근거리 네트워크("LAN"), 광역 네트워크("WAN"), 인트라넷, 또는 인터넷과 같은 네트워크들의 네트워크)의 일부일 수 있다. 컴퓨터 시스템(400)의 임의의 또는 모든 구성요소들은 본 발명과 함께 사용될 수 있다.
본 발명에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 로직 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 둘 모두의 조합으로서 구현될 수 있다. 하드웨어 및 소프트웨어의 이러한 교환가능성을 명확하게 예시하기 위해, 다양한 예시적인 구성요소들, 블록들, 모듈들, 회로들, 및 단계들이 대체적으로 그들의 기능성의 관점에서 전술되었다. 그러한 기능성이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는지 여부는 전체 시스템에 부과되는 특정 응용예 및 설계 제약들에 의존한다. 숙련자들은 설명된 기능성을 각각의 특정 응용예에 대해 다양한 방식들로 구현할 수 있지만, 그러한 구현 결정들은 본 발명의 범주로부터 벗어나는 것으로 해석되지 않아야 한다.
본 명세서에 개시된 태양들과 관련하여 설명된 다양한 예시적인 로직들, 로직 블록들, 모듈들, 및 회로들을 구현하는 데 사용되는 하드웨어는 범용 프로세서, DSP, ASIC, FPGA 또는 다른 프로그램가능 로직 디바이스, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 구성요소들, 또는 본 명세서에 설명된 기능들을 수행하도록 설계된 이들의 임의의 조합으로 구현 또는 수행될 수 있다. 범용 프로세서는 마이크로프로세서일 수 있지만, 대안예에서, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수 있다. 프로세서는 또한 수신기 디바이스들의 조합, 예를 들어, DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서들, DSP 코어와 관련한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성으로서 구현될 수 있다. 대안적으로, 일부 단계들 또는 방법들은 주어진 기능에 특징적인 회로부에 의해 수행될 수 있다.
하나 이상의 예시적인 태양들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기능들은 하나 이상의 명령어들 또는 코드로서 비일시적 컴퓨터 판독가능 저장 매체 또는 비일시적 프로세서 판독가능 저장 매체 상에 저장될 수 있다. 본 명세서에 개시된 방법 또는 알고리즘의 단계들은 비일시적 컴퓨터 판독가능 또는 프로세서 판독가능 저장 매체 상에 존재할 수 있는 프로세서 실행가능 명령어들로 구현될 수 있다. 비일시적 컴퓨터 판독가능 또는 프로세서 판독가능 저장 매체는 컴퓨터 또는 프로세서에 의해 액세스될 수 있는 임의의 저장 매체일 수 있다. 제한이 아닌 예로서, 그러한 비일시적 컴퓨터 판독가능 또는 프로세서 판독가능 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리, CD-ROM 또는 다른 광 디스크 저장소, 자기 디스크 저장소 또는 다른 자기 저장 디바이스들, 또는 명령어들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는 데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 본 명세서에 사용되는 바와 같은 디스크(Disk) 및 디스크(disc)는 CD(compact disc), 레이저 디스크, 광 디스크, DVD(digital versatile disc), 플로피 디스크, 및 블루-레이 디스크를 포함하며, 여기서 디스크(Disk)들은 보통 데이터를 자기적으로 재생하는 반면 디스크(disc)들은 레이저들을 사용하여 데이터를 광학적으로 재생한다. 상기의 조합들은 또한 비일시적 컴퓨터 판독가능 및 프로세서 판독가능 매체의 범주 내에 포함된다. 추가적으로, 방법 또는 알고리즘의 동작들은 컴퓨터 프로그램 제품에 통합될 수 있는 비일시적 프로세서 판독가능 저장 매체 및/또는 컴퓨터 판독가능 저장 매체 상에 하나 또는 임의의 조합 또는 세트의 코드 및/또는 명령어들로서 존재할 수 있다.
본 특허 문헌이 많은 구체적인 사항들을 포함하지만, 이들은 임의의 개시된 기술 또는 청구될 수 있는 것의 범주에 대한 제한들로서 해석되어서는 안 되며, 오히려 특정 기법들의 특정 실시예들에 특정적일 수 있는 특징부들의 설명으로서 해석되어야 한다. 별개의 실시예들의 맥락에서 본 특허 문헌에 설명된 소정의 특징부들은 또한 단일 실시예에서 조합되어 구현될 수 있다. 반대로, 단일 실시예의 맥락에서 설명된 다양한 특징부들이 또한 다수의 실시예들에서 개별적으로 또는 임의의 적합한 하위조합으로 구현될 수 있다. 게다가, 특징부들이 소정의 조합으로 작용하는 것으로 전술되었고 그리고 심지어 초기에 그와 같이 청구될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징부들이 일부 경우들에서 조합으로부터 삭제될 수 있고, 청구된 조합은 하위조합 또는 하위조합의 변형으로 지향될 수 있다.
유사하게, 동작들이 도면에 특정 순서로 묘사되어 있지만, 이는, 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정 순서로 또는 순차적인 순서로 수행되거나, 또는 모든 예시된 동작들이 수행되는 것을 요구하는 것으로 이해되어서는 안 된다. 게다가, 본 특허 문헌에 설명된 실시예들에서의 다양한 시스템 구성요소들의 분리는 모든 실시예들에서 그러한 분리를 요구하는 것으로 이해되어서는 안 된다.
단지 소수의 구현예들 및 예들이 설명되며, 본 특허 문헌에 설명되고 예시된 것에 기초하여 다른 구현예들, 향상들 및 변형들이 이루어질 수 있다.
Claims (20)
- 외과 시술에 대한 종합적 데이터 분석을 수행하기 위해 다수의 양식들의 외과수술 데이터를 조합하기 위한 컴퓨터 구현 방법으로서,
상이한 데이터 소스들로부터 2개 이상의 양식들의 외과수술 데이터를 수신하는 단계;
상기 2개 이상의 양식들의 외과수술 데이터 각각에 대해, 대응하는 세그먼트화 엔진을 적용하여 상기 대응하는 양식의 외과수술 데이터를 텍스트 특징들의 대응하는 세트로 변환하는 단계;
상기 2개 이상의 양식들에 대응하는 상기 텍스트 특징들의 2개 이상의 세트들을 조합하여 조합된 특징 세트를 생성하는 단계; 및
상기 조합된 특징 세트에 대한 종합적 데이터 분석들을 수행하기 위해 상기 조합된 특징 세트를 데이터 분석 도구에 제공하여 상기 외과 시술에 대한 하나 이상의 예측들을 생성하는 단계를 포함하는, 컴퓨터 구현 방법. - 제1항에 있어서, 상기 2개 이상의 양식들의 외과수술 데이터 각각은 비텍스트 외과수술 데이터의 형태인, 컴퓨터 구현 방법.
- 제1항에 있어서, 상기 2개 이상의 양식들의 외과수술 데이터는 비디오 데이터, 이미지 데이터, 및 오디오 데이터 중 적어도 2개의 양식들을 포함하는, 컴퓨터 구현 방법.
- 제3항에 있어서, 상기 비디오 데이터는,
실시간 내시경 시술 비디오들;
오프라인 내시경 시술 비디오들; 및
하나 이상의 수술실 카메라들에 의해 캡처된 외과 시술 비디오들 중 하나 이상을 포함하는, 컴퓨터 구현 방법. - 제3항에 있어서, 상기 이미지 데이터는 X선 이미지들, CT(computed tomography) 이미지들, MRI(magnetic resonance imaging) 이미지들, 초음파 이미지들, 및 다른 방사선 촬영 이미지들 중 하나 이상을 포함하는, 컴퓨터 구현 방법.
- 제3항에 있어서, 상기 이미지 데이터는,
상기 외과 시술의 수술 전 스테이지(stage) 동안 생성된 의료 이미지들;
상기 외과 시술의 수술 중 스테이지 동안 생성된 의료 이미지들;
상기 외과 시술의 수술 후 기간 동안 생성된 의료 이미지들 중 하나 이상을 포함하는, 컴퓨터 구현 방법. - 제3항에 있어서, 상기 오디오 데이터는, 외과의사가,
비정상적 해부학적 구조;
상기 외과 시술에서의 이상;
랜드마크 이벤트(landmark event); 및
합병증 중 하나 이상에 관해 상기 외과 시술을 내레이션(narration)하거나 논의하는 기록된 오디오들을 포함하는, 컴퓨터 구현 방법. - 제3항에 있어서, 비디오 세그먼트화 엔진을 적용하여 상기 비디오 데이터를 텍스트 특징들의 대응하는 세트로 변환하는 것은,
상기 외과 시술의 내시경 비디오를 외과수술 페이즈(phase)들의 세트에 대응하는 비디오 세그먼트들의 세트로 세그먼트화하는 것; 및
상기 비디오 세그먼트들의 세트 내의 각각의 비디오 세그먼트로부터 하나 이상의 외과수술 메트릭들 및 파라미터들을 추출하는 것을 포함하는, 컴퓨터 구현 방법. - 제8항에 있어서, 오디오 세그먼트화 엔진을 적용하여 상기 오디오 데이터를 텍스트 특징들의 대응하는 세트로 변환하는 것은,
상기 외과 시술의 시술 오디오를 상기 외과수술 페이즈들의 세트에 대응하는 오디오 세그먼트들의 세트로 세그먼트화하는 것; 및
자연 언어 프로세싱 모델을 사용하여 상기 오디오 세그먼트들의 세트 내의 각각의 오디오 세그먼트로부터 하나 이상의 외과수술 메트릭들 및 파라미터들을 추출하는 것을 포함하는, 컴퓨터 구현 방법. - 제1항에 있어서, 상기 텍스트 특징들의 2개 이상의 세트들을 조합하여 상기 조합된 특징 세트를 생성하는 단계 후에, 상기 방법은,
상기 조합된 특징 세트를 상기 외과 시술과 연관된 텍스트 데이터의 세트와 조합하여, 상기 외과 시술에 대한 종합적 특징 세트를 형성하는 단계; 및
상기 종합적 특징 세트에 대한 종합적 데이터 분석들을 수행하기 위해 상기 조합된 특징 세트 대신 상기 종합적 특징 세트를 상기 데이터 분석 도구에 제공하여 상기 외과 시술에 대한 하나 이상의 예측들을 생성하는 단계를 추가로 포함하는, 컴퓨터 구현 방법. - 제1항에 있어서, 상기 대응하는 세그먼트화 엔진을 적용하여 상기 대응하는 양식의 외과수술 데이터를 상기 텍스트 특징들의 대응하는 세트로 변환하는 단계 전에, 상기 방법은,
상기 2개 이상의 양식들의 외과수술 데이터에 대해 시간 동기화를 수행하여 상기 2개 이상의 양식들 각각에 대한 시간 동기화된 외과수술 데이터를 생성하는 단계를 추가로 포함하고,
상기 대응하는 세그먼트화 엔진을 적용하여 상기 대응하는 양식의 외과수술 데이터를 변환하는 단계는 상기 대응하는 세그먼트화 엔진을 상기 대응하는 시간 동기화된 외과수술 데이터에 적용하는 단계를 포함하는, 컴퓨터 구현 방법. - 외과 시술에 대한 종합적 데이터 분석을 수행하기 위해 다수의 양식들의 외과수술 데이터를 조합하기 위한 시스템으로서,
하나 이상의 프로세서들;
상기 하나 이상의 프로세서들에 결합된 메모리;
상이한 데이터 소스들로부터 2개 이상의 양식들의 외과수술 데이터를 수신하도록 구성된 수신 모듈;
상기 2개 이상의 양식들의 외과수술 데이터에 대응하는 2개 이상의 세그먼트화 엔진들로서, 각각의 세그먼트화 엔진은 상기 대응하는 양식의 외과수술 데이터를 특징들의 대응하는 세트로 변환하도록 구성되는, 상기 2개 이상의 세그먼트화 엔진들; 및
상기 2개 이상의 양식들에 대응하는 상기 특징들의 2개 이상의 세트들을 조합하여 조합된 특징 세트를 생성하도록 구성된 조합 모듈을 포함하고,
상기 조합된 특징 세트는 상기 조합된 특징 세트에 대한 종합적 데이터 분석들을 수행하기 위해 데이터 분석 도구에 제공되어 상기 외과 시술에 대한 하나 이상의 예측들을 생성하는, 시스템. - 제12항에 있어서, 상기 2개 이상의 양식들의 외과수술 데이터는 비디오 데이터, 이미지 데이터, 및 오디오 데이터 중 적어도 2개의 양식들을 포함하는, 시스템.
- 제13항에 있어서, 상기 2개 이상의 세그먼트화 엔진들은,
상기 외과 시술의 내시경 비디오를 외과수술 페이즈들의 세트에 대응하는 비디오 세그먼트들의 세트로 세그먼트화하는 것; 및
상기 비디오 세그먼트들의 세트 내의 각각의 비디오 세그먼트로부터 하나 이상의 외과수술 메트릭들 및 파라미터들을 추출하는 것에 의해, 상기 비디오 데이터를 상기 텍스트 특징들의 대응하는 세트로 변환하도록 구성된 비디오 세그먼트화 엔진을 포함하는, 시스템. - 제13항에 있어서, 상기 2개 이상의 세그먼트화 엔진들은,
상기 외과 시술의 시술 오디오를 상기 외과수술 페이즈들의 세트에 대응하는 오디오 세그먼트들의 세트로 세그먼트화하는 것; 및
자연 언어 프로세싱 모델을 사용하여 상기 오디오 세그먼트들의 세트 내의 각각의 오디오 세그먼트로부터 하나 이상의 외과수술 메트릭들 및 파라미터들을 추출하는 것에 의해, 상기 오디오 데이터를 상기 텍스트 특징들의 대응하는 세트로 변환하도록 구성된 오디오 세그먼트화 엔진을 포함하는, 시스템. - 제12항에 있어서, 상기 조합 모듈은,
상기 조합된 특징 세트를 상기 외과 시술과 연관된 텍스트 데이터의 세트와 조합하여, 상기 외과 시술에 대한 종합적 특징 세트를 형성하도록; 그리고
상기 종합적 특징 세트에 대한 종합적 데이터 분석들을 수행하기 위해 상기 조합된 특징 세트 대신 상기 종합적 특징 세트를 상기 데이터 분석 도구에 제공하여 상기 외과 시술에 대한 하나 이상의 예측들을 생성하도록 추가로 구성되는, 시스템. - 제12항에 있어서,
상기 시스템은, 상기 2개 이상의 양식들의 외과수술 데이터에 대해 시간 동기화를 수행하여 상기 2개 이상의 양식들 각각에 대한 시간 동기화된 외과수술 데이터를 생성하도록 구성된 동기화 모듈을 추가로 포함하고,
상기 대응하는 세그먼트화 엔진을 사용하여 상기 대응하는 양식의 외과수술 데이터를 변환하는 것은 상기 대응하는 세그먼트화 엔진을 상기 대응하는 시간 동기화된 외과수술 데이터에 적용하는 것을 포함하는, 시스템. - 외과 시술에 대한 종합적 데이터 분석을 수행하기 위해 다수의 양식들의 외과수술 데이터를 조합하기 위한 장치로서,
상이한 데이터 소스들로부터 2개 이상의 양식들의 외과수술 데이터를 수신하도록 구성된 수신 모듈;
상기 2개 이상의 양식들의 외과수술 데이터 각각에 대응하고, 각자의 양식의 외과수술 데이터를 외과수술 페이즈들의 세트에 대응하는 세그먼트들의 세트로 세그먼트화하도록 그리고 비디오 세그먼트들의 세트 내의 각각의 비디오 세그먼트로부터 하나 이상의 외과수술 메트릭들 및 파라미터들을 추출하도록 구성된 세그먼트화 엔진; 및
상기 2개 이상의 양식들에 대응하는 상기 외과수술 메트릭들 및 파라미터들의 추출된 세트들을 조합하여 조합된 특징 세트를 생성하도록 구성된 조합 모듈을 포함하고,
상기 조합 모듈은 상기 조합된 특징 세트에 대한 종합적 데이터 분석들을 수행하기 위해 상기 조합된 특징 세트를 데이터 분석 도구에 제공하여 상기 외과 시술에 대한 하나 이상의 예측들을 생성하도록 추가로 구성되는, 장치. - 제18항에 있어서, 상기 조합 모듈은,
상기 조합된 특징 세트를 상기 외과 시술과 연관된 텍스트 데이터의 세트와 조합하여, 상기 외과 시술에 대한 종합적 특징 세트를 형성하도록; 그리고
상기 종합적 특징 세트에 대한 종합적 데이터 분석들을 수행하기 위해 상기 조합된 특징 세트 대신 상기 종합적 특징 세트를 상기 데이터 분석 도구에 제공하여 상기 외과 시술에 대한 하나 이상의 예측들을 생성하도록 추가로 구성되는, 장치. - 제18항에 있어서,
상기 장치는, 상기 2개 이상의 양식들의 외과수술 데이터에 대해 시간 동기화를 수행하여 상기 2개 이상의 양식들 각각에 대한 시간 동기화된 외과수술 데이터를 생성하도록 구성된 동기화 모듈을 추가로 포함하고,
상기 대응하는 세그먼트화 엔진을 사용하여 상기 대응하는 양식의 외과수술 데이터를 변환하는 것은 상기 대응하는 세그먼트화 엔진을 상기 대응하는 시간 동기화된 외과수술 데이터에 적용하는 것을 포함하는, 장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/418,790 US11139062B2 (en) | 2019-05-21 | 2019-05-21 | Method and system for combining video, image, and audio data with text data for comprehensive data analytics |
| US16/418,790 | 2019-05-21 | ||
| PCT/US2019/034063 WO2020236190A1 (en) | 2019-05-21 | 2019-05-24 | Method and system for combining video, image, and audio data with text data for comprehensive data analytics |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210157912A true KR20210157912A (ko) | 2021-12-29 |
| KR102704502B1 KR102704502B1 (ko) | 2024-09-10 |
Family
ID=
Also Published As
| Publication number | Publication date |
|---|---|
| US20220028525A1 (en) | 2022-01-27 |
| EP3973544A4 (en) | 2023-01-18 |
| EP3973544A1 (en) | 2022-03-30 |
| US11935641B2 (en) | 2024-03-19 |
| WO2020236190A1 (en) | 2020-11-26 |
| US20200372998A1 (en) | 2020-11-26 |
| US11139062B2 (en) | 2021-10-05 |
| US20240290459A1 (en) | 2024-08-29 |
| CN113874954A (zh) | 2021-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11139062B2 (en) | Method and system for combining video, image, and audio data with text data for comprehensive data analytics | |
| US8958612B2 (en) | Information processing apparatus and information processing method | |
| US9443317B2 (en) | Image display of a centerline of tubular structure | |
| JP2013039230A (ja) | 医療診断支援装置及び医療診断支援方法 | |
| US10390726B2 (en) | System and method for next-generation MRI spine evaluation | |
| EP3338629A1 (en) | Image processing apparatus and image processing method thereof | |
| US20220293245A1 (en) | Voice controlled medical diagnosis system | |
| JP5995415B2 (ja) | 医療診断支援装置、情報処理方法及びプログラム | |
| US8923582B2 (en) | Systems and methods for computer aided detection using pixel intensity values | |
| US11348242B2 (en) | Prediction apparatus, prediction method, prediction program | |
| JP6448588B2 (ja) | 医療診断支援装置、医療診断支援システム、情報処理方法及びプログラム | |
| US11348677B2 (en) | Conversion apparatus, conversion method, and program | |
| KR102704502B1 (ko) | 종합적 데이터 분석을 위해 비디오, 이미지, 및 오디오 데이터를 텍스트 데이터와 조합하기 위한 방법 및 시스템 | |
| US10885391B2 (en) | Image analysis apparatus, method, and program | |
| WO2023250517A2 (en) | Surgical analytics and tools | |
| KR102222816B1 (ko) | 진행성 병변의 미래 영상을 생성하는 방법 및 이를 이용한 장치 | |
| JP5923067B2 (ja) | 診断支援装置および診断支援方法並びに診断支援プログラム | |
| US11883245B2 (en) | Deep-learning-based real-time remaining surgery duration (RSD) estimation | |
| KR102556646B1 (ko) | 의료 영상 생성 방법 및 장치 | |
| JP6316325B2 (ja) | 情報処理装置、情報処理装置の作動方法及び情報処理システム | |
| WO2020251958A1 (en) | Detecting and representing anatomical features of an anatomical structure | |
| US20230145531A1 (en) | Systems and methods for registering visual representations of a surgical space | |
| JP2018110040A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| US20240153269A1 (en) | Identifying variation in surgical approaches | |
| US20210210196A1 (en) | Medical image display device, method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |