KR20240043691A - 비디오 지원 의료 중재 절차의 평가를 지원하기 위한 방법 및 시스템 - Google Patents
비디오 지원 의료 중재 절차의 평가를 지원하기 위한 방법 및 시스템 Download PDFInfo
- Publication number
- KR20240043691A KR20240043691A KR1020230123826A KR20230123826A KR20240043691A KR 20240043691 A KR20240043691 A KR 20240043691A KR 1020230123826 A KR1020230123826 A KR 1020230123826A KR 20230123826 A KR20230123826 A KR 20230123826A KR 20240043691 A KR20240043691 A KR 20240043691A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- video image
- video
- image data
- medical
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 129
- 238000011156 evaluation Methods 0.000 title claims abstract description 46
- 238000013152 interventional procedure Methods 0.000 title description 12
- 238000005259 measurement Methods 0.000 claims abstract description 60
- 238000011282 treatment Methods 0.000 claims abstract description 41
- 210000003484 anatomy Anatomy 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 52
- 238000003860 storage Methods 0.000 claims description 30
- 230000006835 compression Effects 0.000 claims description 26
- 238000007906 compression Methods 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 12
- 238000001636 atomic emission spectroscopy Methods 0.000 claims description 8
- 230000006378 damage Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000001566 impedance spectroscopy Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 6
- 230000001225 therapeutic effect Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 230000000740 bleeding effect Effects 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 5
- 238000002405 diagnostic procedure Methods 0.000 claims description 4
- 230000007935 neutral effect Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005345 coagulation Methods 0.000 description 12
- 230000015271 coagulation Effects 0.000 description 12
- 238000005520 cutting process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000001356 surgical procedure Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- XKRFYHLGVUSROY-UHFFFAOYSA-N Argon Chemical compound [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 4
- 230000006837 decompression Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 239000000779 smoke Substances 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000002560 therapeutic procedure Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 229910052786 argon Inorganic materials 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000003763 carbonization Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000001839 endoscopy Methods 0.000 description 2
- 238000011010 flushing procedure Methods 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 230000020169 heat generation Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000275 quality assurance Methods 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 206010002091 Anaesthesia Diseases 0.000 description 1
- 238000002266 amputation Methods 0.000 description 1
- 230000037005 anaesthesia Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000315 cryotherapy Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000001453 impedance spectrum Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000001671 psychotherapy Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000011477 surgical intervention Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
- A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
- A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Plasma & Fusion (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Otolaryngology (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Endoscopes (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
비디오 지원 의료 중재 절차의 평가를 지원하기 위한 방법으로서, 의료 중재 동안 특정 프레임 속도로 비디오 카메라(4)에 의해 기록된 검사 또는 치료된 해부학적 구조의 비디오 이미지를 나타내는 의학적 비디오 이미지 데이터를 수신하는 단계(S1); 의료 중재와 연관된 치료 또는 검사, 디바이스, 진단 및 측정 데이터 중 적어도 하나를 포함하는 추가 데이터를 수신하는 단계로서, 추가 데이터는 프레임 기간 동안 변하는 측정된 동적 데이터를 포함하는, 상기 추가 데이터 수신 단계(S2); 추가 데이터를 끼워넣기 위해 비디오 이미지에서의 목표 영역들을 식별하는 단계(S3); 및 프레임의 식별된 목표 영역 또는 영역들에서의 비디오 이미지 데이터를 각각의 프레임과 연관된 추가 데이터로 대체하는 것에 의해 시간적으로 동기하여 추가 데이터를 비디오 이미지 데이터에 끼워넣는 것에 의해 비디오 이미지 데이터를 수정하는 단계(S4)를 포함하는, 방법이 개시된다. 비디오 지원 의료 중재 절차의 평가를 지원하기 위한 시스템이 또한 개시된다.
Description
본 발명은 비디오 지원 의료 중재 절차의 평가를 지원하기 위한 시스템 및 방법에 관한 것이다. 특히, 본 발명은 비디오 이미지 및 추가 데이터를 차후에 평가할 수 있기 위해 의료 중재로부터의 비디오 이미지 데이터와, 측정 데이터를 포함해서 중재와 관련된 추가 데이터를 동시에 기록할 수 있는 방법 및 시스템에 관한 것이다.
비디오 지원 의료 중재 동안 수집된 이미지 데이터는 예를 들어 환자나 주치의에게 많은 귀중한 정보를 제공할 수 있다. 이는 수행된 조치에 대한 연구, 문서화 및 평가를 포함해서 수행된 치료 또는 검사의 품질 교정 및 품질 보증을 위해 사용될 수 있으며, 수행된 치료 또는 검사에 대한 환자의 이해를 촉진하고 수술 후 치료에 대한 토대로서 포함될 수 있다. 이러한 중재의 경우에, 예를 들어, 그 유형, 환자 또는 주치의, 사용된 의료 디바이스에 관한 정보, 의료 중재 동안 획득된 진단 및/또는 측정 데이터와 같은 치료 또는 검사에 관한 정보를 포함할 수 있는 추가 정보가 비디오 지원 의료 중재 절차의 평가를 위해 또한 도움이 될 수 있다. 이러한 모든 추가 정보는 기록된 비디오 데이터와 함께 수행되는 의학적 치료 및/또는 검사의 후속 조사, 추적성 및 평가에 대한 큰 가치에 대한 추가 통찰력을 제공할 수 있다.
이러한 맥락에서 문제는 모든 정보 또는 데이터의 적절한 저장에 관한 것이다. 실제로, 비디오 지원 의료 중재 절차의 효율적인 후속 평가를 위해 추가 데이터에 대한 시간적 관계와 함께 적절한 방식으로 비디오 이미지 데이터가 저장되는 것을 가능하게 하는 적절한 절차 및 시스템이 현재 없다. 실제로, 병원에서 확립된 시스템은 일반적으로 비디오를 저장하기 위해 사용되는데 반하여, 디바이스, 진단 또는 측정 데이터를 위한 시스템은 병원 환경에서 부족하다. 디바이스 데이터는, 때때로 병원에서의 표준 시스템이 아니고 병원의 직접적인 접근 내에 위치되지 않은 별도의 시스템에 저장될 수 있지만, 예를 들어 각각의 의료 디바이스의 제조업체에서 수용된다.
상이한 두 시스템으로부터의 데이터가 병합될 때, 시간적 할당 및 동기화의 문제가 중요하다. 예를 들어, RF 수술로부터 기록된 비디오 이미지 데이터의 개별 비디오 프레임으로의 전기 데이터의 정확한 동기화는 사실상 불가능하다. 또한, 별도의 시스템은 데이터 보호 및 데이터 보안을 준수하는 것을 어렵게 만든다.
DE 10 2014 210 079 A1은 의료 이미지 자료가 눈에 보이지 않는 이미지 데이터에 통합되는 보안 특징부, 예를 들어 디지털 워터마크가 제공되는 작업의 문서화 를 위한 시스템을 설명한다. 이러한 방식으로, 의료 디바이스의 유형, 일련번호, 인증서, 환자 및 주치의 이름 등과 같은 추가적인 정적 정보가 또한 이미지 데이터에 통합될 수 있다.
US 6 104 948 A는 날짜, 시간, 전기 생리학적 데이터 및 비디오 데이터와 같은 다양한 소스로부터의 데이터가 컴퓨터에 조합되어 모니터에 나란히 디스플레이되는 실시간 분석을 위한 다수의 데이터 습득 기술을 시각적으로 통합하는 방법 및 시스템을 개시한다. 모니터에 디스플레이된 조합된 이미지가 그런 다음 저장될 수 있다.
WO 2012/162427 A2는 비디오 콘텐츠 및 텔레비전 방송에서 메타데이터를 끼워넣기 위한 일반적인 시스템을 개시한다. 메타데이터는 명령 세트 또는 링크와 같이 메타데이터에 포함된 문자열을 시청자가 빠르고 바람직하게 자동으로 디코딩하는 것을 가능하게 하기 위해 전송된 비디오 또는 텔레비전 이미지에서 QR 코드의 형태로 끼워넣어진다.
EP 2 063 374 A1은 의료 데이터의 문서화를 위한 방법 및 디바이스를 개시하고 있으며, 여기에서, 비디오 데이터, 예를 들어, 내시경 이미지 데이터 외에, 사용된 기구 또는 디바이스의 유형, 위치, 기능 및/또는 파라미터, 주입 가스의 압력 및 흐름에 대한 데이터 및 관련 측정값, 예를 들어, 압력, 누출 전류, 온도, 또는 마취 데이터 및 필수 파라미터를 포함하는 추가 정보가 수술 동안 프로세스의 가장 완벽하고 가능한 문서화를 가능하게 하기 위해 저장될 수 있다. 기록되는 데이터의 양을 제한하기 위해, 수술할 환자가 수술실에서 검출된 경우에만 저장이 활성화된다.
WO 03/001359 A2는 특히 심리 치료 세션의 문서화를 위해 측정 데이터와 비디오/오디오 데이터를 동시에 기록하기 위한 시스템을 개시하고 있으며, 이에 의해 비디오 데이터 외에 심박수 등이 기록된다. 수술 및 진단 데이터가 또한 문서화될 수 있다. 측정 데이터와 비디오 및/또는 오디오 데이터를 동시에 기록하기 위해, 측정 데이터와 비디오 및/또는 오디오 데이터는 모두 동일한 패킷 길이의 데이터 패킷으로 분할되어 순서적인 방식으로 공통 데이터 파일에 저장된다. 비디오 및/또는 오디오 데이터는 먼저 압축되고, 패킷들로 분할되어, 측정 데이터의 패킷들과 조합된다.
WO 2006/131277 A1은 초음파 이미지 또는 내시경 비디오 기록과 같은 의료 분야에서의 동영상을 진단, 주석 달기 및/또는 문서화하기 위한 시스템을 개시한다. 마킹, 코멘트, 이미지, 텍스트, 오디오 등의 주석 달기가 이미지 또는 비디오에 포함되어, 비디오가 재생될 때 적절한 위치에서 함께 재생된다.
WO 2014/181230 A2는 인코딩된 정보, 예를 들어 이미지 파라미터 및 진단 정보를 의료 이미지에 끼워넣는 방법을 개시한다. 정보는 이미지 데이터에 구워지거나 이미지 데이터 위에 있는 DICOM 오버레이 레이어와 같은 별도의 레이어에 저장된다. 실시예에서, 정보는 시각화된 해부학적 구조 외부의 이미지의 영역에 또는 이미지의 외부 가장자리를 따라서 바코드 또는 QR 코드 형태로 위치된다.
EP 3 836 155 A1은 정보, 예를 들어 환자 데이터, 메타데이터 또는 딥 러닝 또는 신경망으로부터 추출된 특징부를 의료 진단 이미지로의 통합을 개시한다. 정보는 바코드나 QR 코드로 인코딩될 수 있고, 이미지 위에 겹치거나 이미지와 투명하게 병합될 수 있으며, 이미지와 함께 또는 이미지와 번갈아 디스플레이된다.
전술한 종래 기술 시스템 및 방법은 다양한 단점을 안고 있다. 이는 기록된 비디오 이미지 데이터에 대한 검사, 디바이스 및 측정 데이터와 같은 추가 데이터의 동기식 할당을 허용하지 않거나, 또는 비디오 및 추가 데이터의 시간 동기 저장 및 동기화를 보장하기 위해 상대적으로 높은 수준의 노력이 필요하다.
또한, 평가 가능성이라는 측면에서 시스템 및 방법에는 한계가 있다. 예를 들어, 고주파(RF) 수술에서, 치료 효과와 설정된 변수, 파라미터 및 선택된 적용 모드, 원하는 치료 효과의 유효성 등 사이의 관계는 기록된 비디오 이미지 데이터와 저장된 정적 처리 및 디바이스 데이터에만 기초하여 평가되기에는 불충분할 수 있다. 특히, 예를 들어 RF 수술 기구에서 스파크의 발생, 인체를 통한 고주파 교류 전류의 도입, 및 치료된 조직과의 상호 작용, 이로 인해 유발되는 조직의 가열, 및 결과적인 절단 또는 응고 효과를 수반하는 많은 프로세스는 매우 빠르고 시간이 중요한 프로세스이므로 이러한 방식으로 평가하기가 쉽지 않다. 종래의 시스템 및 방법의 단점을 극복하는 시스템 및 방법이 여전히 필요하다.
상기 내용에 기초하여, 본 발명의 목적은 데이터를 저장하는 데 상대적으로 적은 노력으로 비디오 이미지 데이터와 추가 데이터의 시간 할당 및 동기화를 허용하는, 비디오 지원 의료 중재 절차의 평가를 지원하기 위한 방법 및 시스템을 제공하는 것이다. 특히, 시스템 및 방법은 시간 중요 프로세스, 특히 비디오 지원 RF 수술적 중재를 포함하여 의료 중재 절차의 신뢰할 수 있는 후향적 평가(retrospective evaluation)를 가능하게 해야 한다.
이러한 목적은 독립항 제1항 및 제14항의 특징부를 가진 비디오 지원 의료 중재적 절차의 평가를 지원하기 위한 방법 및 시스템에 의해 달성된다. 본 발명의 특히 바람직한 실시예는 종속항의 요지이다.
본 발명의 한 양태에 따르면, 비디오 지원 의료 중재 절차의 평가를 지원하기 위한 방법이 제공되며, 방법은: 의료 중재 동안 특정 프레임 속도로 비디오 카메라에 의해 기록된 검사 또는 치료된 해부학적 구조의 비디오 이미지를 나타내는 의학적 비디오 이미지 데이터를 수신하는 단계; 의료 중재와 연관된 치료 또는 검사, 디바이스, 진단 및 측정 데이터 중 적어도 하나를 포함하는 추가 데이터를 수신하는 단계로서, 추가 데이터는 프레임 기간 동안 변하는 측정된 동적 데이터를 포함하는, 상기 추가 데이터 수신 단계; 추가 데이터를 끼워넣기 위해 비디오 이미지에서의 목표 영역들을 식별하는 단계; 및 프레임의 식별된 목표 영역에서의 비디오 이미지 데이터를 각각의 프레임과 연관된 추가 데이터로 대체하는 것에 의해 시간적으로 동기하여 추가 데이터를 비디오 이미지 데이터에 끼워넣는 것에 의해 비디오 이미지 데이터를 수정하는 단계를 포함한다.
본 발명에 따른 방법은 비디오 지원 의료 중재, 의학적 치료, 검사 또는 수술로부터 발생하는 비디오 이미지 데이터 및 관련 추가 정보의 시간 동기식 기록을 가능하게 한다. 방법은 바람직하게 의료 중재의 수행과 동시에 온라인으로, 실시간으로, 또는 적어도 거의 실시간으로 수행된다. 의료 중재는 특히 응고, 열융합, RF 절단(전기절개), 및/또는 광학 방출 분광법 또는 임피던스 분광학 검사와 같은 검사와 같은 RF 전기수술 중재적 절차일 수 있다. 정보는 또한 RF 치료, 냉동 요법 또는 워터젯 치료와 같은 치료, 및 관련 디바이스뿐만 아니라, 연기 배출 장비 및/또는 환자 모니터, 수술대 등과 같은 수술실에 있는 기타 장치, 기구 및 장비와 같은 기타 시스템 구성요소와도 관련될 수 있으며, 이들 모두는 이들 데이터가 또한 비디오 이미지 데이터에서 획득되어 저장될 수 있도록 데이터 인터페이스를 통해 서로 네트워크로 연결될 수 있다.
치료 또는 검사, 디바이스, 진단 및/또는 측정 데이터를 비디오 지원 의료 중재의 진행 상황을 문서화하는 비디오 이미지에 직접 끼워넣는 것에 의해, 비디오와 다른 데이터 사이의 높은 수준의 시간 동기화가 감소된 저장 요건으로 보장될 수 있고, 모든 데이터의 극히 간단하고 효과적인 평가가 가능하게 된다. 특히, 매우 높은 주파수에서, 특히 각각의 프레임 내에서 변경될 수 있는 전기 RF 변수의 측정된 값과 같은 측정된 동적 데이터는 정확한 관련 프레임에 함께 저장될 수 있으며, 이는 예를 들어 RF 수술 절차의 시간 중요 프로세스의 효과적인 평가의 기초를 제공한다. 예를 들어, RF 절단 또는 RF 응고 절차에서 점화 거동, 스파크 강도 또는 스파크 이탈을 포함한 스파크 형성에 대한 우수한 평가가 이러한 방식으로 가능해질 수 있다.
결과적인 수정된 비디오 이미지 데이터는 추가 사용을 위해, 특히 평가를 위해 비휘발성 저장 디바이스에 저장될 수 있다. 특히, 저장 디바이스는 의료 중재 절차가 수행된 장소의 부근, 예를 들어 각각의 병원에 배열될 수 있다. 컴퓨터 또는 컴퓨터 시스템, 서버, 심지어 클라우드 스토리지에 있는 메모리가 또한 저장 디바이스로서 역할을 할 수 있다.
특히 바람직한 실시예에서, 수정된 비디오 이미지 데이터는 이미지 보관 및 통신 시스템, 소위 사진 보관 및 통신 시스템(Picture Archiving and Communication System, PACS), 병원 정보 시스템(HIS)으로서 알려진 임상 정보 시스템(CIS), 또는 이미지/비디오 데이터를 보관하기 위한 외부 서버에 대안적으로 또는 추가적으로 전송되며, 이것들은 의료 중재가 수행된 병원에 의한 및/또는 사용된 의료 디바이스의 제조업체에 의한 평가 목적을 위해 접근될 수 있다.
의료 절차의 비디오 기록을 위해 의도된 비디오 카메라는 초당 특정 수의 프레임(개별 이미지)에 대응하는 리프레시 속도로서 지칭되는 특정 프레임 속도로 개별 이미지를 전달한다. 프레임 속도는 초당 24 내지 60프레임(fps)일 수 있다. 프레임 속도는 바람직하게 30, 50 또는 60 fps이다. 50 또는 60 fps와 같은 보다 높은 프레임 속도는 RF 수술에서 관심있는 것과 같은 심지어 매우 시간 중요한 프로세도 고해상도가 광학적으로 해상될 수 있기 때문에 바람직하다. 그러나, 메모리 요건은 프레임 속도가 높을수록 증가한다.
치료 또는 검사 데이터는 예를 들어 중재의 장소 및 시간, 기관, 관련자, 환자의 이름, 주치의 이름, 의료 중재의 유형 및/또는 또는 의료 중재와 관련된 기타 데이터를 포함할 수 있다.
디바이스 데이터는 예를 들어 사용된 의료 디바이스 또는 디바이스들의 유형 지정 및 일련 번호, 디바이스 파라미터, 기본 설정, 선택된 적용 모드, 변수에 대한 사전 설정된 한계 값, 디바이스의 오류 및 상태 메시지 및/또는 사용된 의료 디바이스와 관련된 기타 데이터를 포함할 수 있다.
진단 데이터는, 예를 들어 광학 방출 분광법으로부터 결정된 스펙트럼 및/또는 분류 결과, 스펙트럼, 측정된 값 및/또는 임피던스 분광학 또는 다른 진단 방법으로부터의 분류 결과, 및 다른 진단 데이터를 포함할 수 있다.
측정 데이터, 특히 동적 측정 데이터는 예를 들어 RF 절단 및 응고 절차에서 전압, 전류, 전력, 역률 및/또는 스파크 강도와 같은 RF 중재 절차 동안 측정되거나 결정된 전기적 RF 변수, 전이 임피던스, 전류 대칭 및/또는 전류 밀도와 같은 단극 RF 기술을 수행할 때의 중립 전극의 파라미터 또는 변수, 및/또는 의료 중재 동안 획득된 기타 동적 측정 변수를 포함할 수 있다.
미가공 형식으로 비디오 이미지에서 이러한 데이터를 포함하는 대신, 데이터는 암호화되고 및/또는 진위를 보장하기 위해 디지털 인증서가 제공될 수 있으며 및/또는 비디오 이미지에 통합되기 전에 저장 공간을 절약하기 위해 압축될 수 있다.
본 발명의 바람직한 실시예에서, 측정된 동적 데이터는 비디오 이미지 데이터의 프레임 속도보다 몇 배, 적어도 2배 이상 큰 업데이트 속도로 획득되거나 결정되는 측정량들을 포함할 수 있다. 예를 들어, 업데이트 속도는 적어도 150 Hz, 바람직하게 250 Hz 이상일 수 있다. 따라서, 동적 측정 변수의 여러 측정값은 프레임별로 획득되고 저장될 수 있다.
바람직한 실시예에서, 측정 변수의 2개 이상의 측정값의 시간 경과를 특징으로 하는 측정된 데이터가 개별 프레임에 유리하게 저장될 수 있다. 예를 들어, 50 fps의 프레임 속도와 250 Hz의 업데이트 속도를 사용하여, 5개의 측정 값이 비디오 이미지 데이터의 프레임당 시간 경과에 따라 동시에 저장될 수 있다. 개별 프레임에 속하는 측정 데이터가 비디오 이미지 데이터와 시간 동기적으로 저장되어서, 개별 프레임에서의 이미지 정보와 측정 변수의 관련 시간 경과 사이에는 고정된 시간적 관계가 있다.
추가 데이터를 끼워넣기 위한 비디오 이미지에서의 목표 영역의 식별은 사전에 한정되거나 또는 사용자에 의해 지정되거나 지정될 수 있는 비디오 이미지에서의 적합한 영역에 기초하여 쉽게 수행될 수 있다. 예를 들어, 추가 데이터의 데이터 픽셀은 연속적으로 저장될 수 있으며, 예를 들어 이미지에서의 한정된 위치에 있는 작은 스트립 또는 블록으로서 배치될 수 있다. 바람직하게, 데이터 픽셀들은 이미지에 걸쳐서 분포된 다수의 한정된 위치에 저장된다.
관련성이 낮은 이미지 영역, 즉 이미지 데이터의 유용한 정보 내용이 전혀 없거나 거의 없는 이미지 영역에서 저장이 발생하면 특히 바람직하다. 이러한 것들은 예를 들어 라벨링을 위해 예약된 영역, 디스플레이된 환자 데이터, 시간 등, 또는 심지어 비디오 이미지의 외부 이미지 가장자리일 수 있다. 이러한 것은 또한 바람직하게 존재하는 경우 디스플레이를 위해 절단된 비가시 영역일 수 있다.
데이터 저장을 위해 비디오 이미지 데이터의 개별 픽셀을 전체적으로 사용하는 대신, 대안적인 저장 절차에서, 원래의 비디오 픽셀 색상을 사용한 이미지 데이터를 오버레이가 적용될 수 있다. 즉, 추가 데이터는 비디오 이미지 데이터에서의 복수의 픽셀의 픽셀 색상의 개별 비트에 통합될 수 있다. 이러한 것은 모든 비트가 비디오 이미지 데이터를 더 이상 이용할 수 없기 때문에 색상 심도를 감소시킨다. 예를 들어, 픽셀당 24비트의 유용한 정보를 갖는 색상 채널(R, G, B)당 8비트 대신, 색상 심도는 색상 채널당 7비트로 감소될 수 있는 한편, 픽셀당 나머지 3비트는 추가 데이터를 저장 또는 인코딩하는 데 사용될 수 있다. 이미지의 어떠한 부분도 더 이상 완전히 혼합되지 않으며 색상이 약간만 조정된다. 수술 중 비디오 이미지의 필요한 높은 품질을 보장하기 위해, 유용한 정보 내용이 감소된 낮은 관련성의 이미지 영역에, 예를 들어 주변 영역에 데이터를 저장하는 것이 여기에서 바람직하다.
비디오 이미지 데이터가 통상적으로 데이터의 양을 적절하게 줄이기 위해, 보관을 위한 손실된 방식으로 압축되어야 하기 때문에, 수용된 정보가 더 이상 재구성될 수 없는 H.264, H.265, AV1 또는 VP9와 같은 일반적인 압축 방법에 의해 크게 영향을 받지 않는 비디오 이미지에서의 데이터의 표현을 선택하는 것이 바람직하다. 본 발명에 따른 방법의 유리한 추가 실시예에 따르면, 수정된 비디오 이미지 데이터는 압축 해제 후 비디오 이미지 데이터의 재구성에 대한 신뢰성을 증가시키면서 코딩 오류 또는 압축 아티팩트(compression artifact)를 제거하거나 크게 줄이기 위해. 압축 절차가 수행되기 전에 압축 불변성 향상 절차(compression invariance enhancement procedure)에 의해 처리된다.
예를 들어, 측정된 값 또는 기타 추가 데이터는 특히 비디오 스트림의 각각의 개별 이미지에서 픽셀 블록, 예를 들어 8 x 8, 16 x 16 또는 심지어 최대 64 x 64 픽셀 블록을 형성하는 것에 의해 복수의 연속 픽셀에 저장될 수 있다. 이미지에서 더 많은 영역을 차지하는 상대적으로 거친 이러한 유형의 구조는 압축될 때 아티팩트가 발생할 가능성이 적어서, 블록 형성은 압축 아티팩트에 대한 견고성을 증가시킨다.
추가적으로 또는 대안으로서, 일반적인 오류 정정 방법이 또한 추가 데이터에 적용될 수 있다. 이러한 것은 데이터의 유효량을 더욱 감소시키지만, 압축 아티팩트를 피하면서 재구성의 신뢰성을 또한 증가시킨다.
비디오 이미지 데이터의 수정 및 수정된 영상 데이터의 압축은 바람직하게 공통 신호 처리 디바이스에서 수행된다. 신호 처리 디바이스는 그런 다음 선택된 압축 방법에 의존하여 압축 불변성 향상 절차를 수행할 수 있고, 또한 필요한 경우 데이터가 올바르게 저장될 수 있는지의 여부를 확인하거나, 또는 데이터의 구조 크기를 대응하는 압축에 동적으로 적응시킬 수 있다.
방법의 추가 실시예에서, 저장된 수정된 비디오 이미지 데이터를 평가하기 위한 단계들이 또한 수행될 수 있다. 이들 단계는 저장된 수정된 비디오 이미지 데이터를 검색하는 단계, 수정된 비디오 이미지 데이터로부터 추가 데이터를 추출하는 단계, 및 수행된 의료 중재를 평가하기 위해 비디오 이미지 데이터와 관련하여, 추출된 정적 데이터와 측정된 동적 데이터, 특히 전기 측정 데이터를 분석하는 단계를 포함할 수 있다. 특히, 평가는 다음의 평가 목표 중 하나 이상을 포함할 수 있다: 의료 중재를 위해 설정된 입력 변수 또는 파라미터의 평가, 선택된 적용 모드의 평가, 원하는 치료 효과의 유효성 평가, 설정된 변수, 적용 모드 또는 의료 디바이스 또는 디바이스들에 대한 최적화 가능성 찾기, 적용을 위한 전기적 제한을 포함한 부적절성의 검출, 예를 들어 절단 작업을 위한 불충분한 RF 전류 또는 불충분한 RF 전압, 치료 효과, 예를 들어 절단, 응고 또는 열융합의 불충분한 속도의 검출, 예를 들어 시간 경과에 따라 측정된 전기량에 기초한 탄화, 출혈의 시작과 같은 측면 손상의 발생 검출, 및 측면 손상 또는 기타 합병증의 원인 결정. 이들 평가 목표는 특히 시각적으로 인식 가능한 스파크 형성 및 강도, 이미지에서 인식 가능한 전극 또는 기구, 이미지에서 인식 가능한 조직, 및/또는 상이한 조직 유형 사이의 전환, 가시적인 출혈 또는 액체를 사용한 수세, 가시적인 연기 발생 및/또는 열융합 동안 증기 형성 및 열 발생과 같은 관련된 이미지 정보와 함께 동적 전기 측정 데이터를 평가하는 것에 의해 달성될 수 있다.
전술한 관계의 평가는 운영자에 의해 수동으로 또는 패턴 인식, 딥 러닝, 신경망 또는 심지어 인공 지능에 기초한 적절한 알고리즘을 사용하는 것에 의해 자동으로 수행될 수 있다. 얻은 지식은 품질 보증, 향후 사용자, 및 의료용 RF 디바이스의 추가 개발을 위해 치료 외과 의사를 위해 유용할 수 있다.
본 발명의 추가 양태에 따르면, 비디오 지원 의료 중재 절차의 평가를 지원하기 위한 시스템이 제공되며, 이 시스템은 의료 중재를 수행하기 위한 적어도 하나의 의료 디바이스, 특히 RF 수술 디바이스; 의료 중재 동안 치료되거나 검사된 해부학적 구조의 비디오 이미지를 나타내는 비디오 이미지 데이터를 기록하기 위한 비디오 카메라; 비디오 카메라에 의해 기록된 비디오 이미지 데이터를 처리하는 신호 처리 디바이스; 및 적어도 하나의 의료 디바이스로부터 신호 처리 디바이스로 동적 데이터를 포함하는 추가 데이터를 전송하기 위한 적어도 하나의 의료 디바이스와 신호 처리 디바이스 사이의 데이터 연결부를 포함한다. 신호 처리 디바이스는 전술한 방법을 수행하도록 구성된다.
그러므로, 검사, 디바이스, 진단 및/또는 측정 데이터와 비디오 이미지 데이터의 병합은 신호 처리 디바이스에서 발생하며, 이는 바람직하게 의학적 치료 또는 검사 디바이스와 별개인 컴퓨터 등과 같은 전용 컴퓨팅 디바이스에서 구현된다. 신호 처리 디바이스는 또한 의료 디바이스에 통합될 수 있다. 어떤 경우에도, 신호 처리 디바이스는 바람직하게 환자 모니터 또는 수술대와 같은 수술실에서의 다른 시스템 구성요소 및 기구 및 기타 장비를 포함하는 의료 디바이스 또는 디바이스들에 연결되기 위한 인터페이스를 포함한다.
신호 처리 디바이스는 바람직하게 의료 중재가 실시간으로 또는 거의 실시간으로 수행되는 동안 온라인으로 본 발명에 따른 방법을 수행하도록 구성된다. 그러나, 비디오 이미지 데이터 및 추가 데이터는 예를 들어 비디오와 추가 데이터의 동기식 조합을 위한 후속 시간 할당이 가능한 방식으로 타임 스탬프 등을 사용하여 적절한 방식으로 일시적으로 저장되는 경우 원칙적으로 오프라인으로 및/또는 신호 처리 디바이스에 의해 본 발명에 따른 방식으로 후속적으로 처리될 수 있다.
추가 실시예에서, 본 발명에 따른 시스템은 또한 데이터의 다운스트림 평가를 위해 구성될 수 있다. 이러한 목적을 위해, 확장된 알고리즘을 갖춘 추가 소프트웨어 또는 펌웨어는 예를 들어 신호 처리 디바이스에서 구현될 수 있으며, 이는 개별 프레임으로부터 추가 데이터, 특히 정적 치료 또는 검사, 디바이스 데이터, 및 동적 측정 값을 추출할 수 있으며, 알고리즘을 사용하여 데이터를 분석하기 위해 또는 자동으로 평가하기 위해 이를 이용 가능하게 할 수 있다.
다른 모든 양태에서, 가능한 실시예 및 그 이점에 관해 본 발명에 따른 방법과 관련하여 위에 제공된 설명은 이에 대해 명시적으로 언급되도록 본 발명에 따른 시스템에 동일하게 적용된다.
본 발명의 실시예의 추가적인 유리한 세부사항은 종속항, 도면 및 대응하는 설명으로부터 명백해진다. 도면은 본 발명의 요지의 예시적인 실시예를 결코 제한하지 않음을 도시한다:
도 1은 본 발명의 실시예에 따른 비디오 지원 의료 중재 절차의 평가를 지원하기 위한 시스템의 실시예를 도시하며;
도 2는 본 발명의 실시예에 따른 비디오 지원 의료 중재 절차의 평가를 지원하기 위한 예시적인 방법의 흐름도이며;
도 3a 내지 도 3c는 비디오 이미지 데이터에 추가 데이터를 끼워넣기 위한 목표 영역을 설명하기 위한 의료 중재 절차로부터의 개별 비디오 이미지를 매우 단순화된 표현으로 나타낸 도면이며;
도 4는 본 발명에 따른 시스템 및 방법의 기능 또는 동작을 설명하기 위한 개략도이며;
도 5는 본 발명의 추가 실시예에 따른 비디오 지원 의료 중재 절차의 평가를 지원하는 방법을 도시한다.
도 1은 본 발명의 실시예에 따른 비디오 지원 의료 중재 절차의 평가를 지원하기 위한 시스템의 실시예를 도시하며;
도 2는 본 발명의 실시예에 따른 비디오 지원 의료 중재 절차의 평가를 지원하기 위한 예시적인 방법의 흐름도이며;
도 3a 내지 도 3c는 비디오 이미지 데이터에 추가 데이터를 끼워넣기 위한 목표 영역을 설명하기 위한 의료 중재 절차로부터의 개별 비디오 이미지를 매우 단순화된 표현으로 나타낸 도면이며;
도 4는 본 발명에 따른 시스템 및 방법의 기능 또는 동작을 설명하기 위한 개략도이며;
도 5는 본 발명의 추가 실시예에 따른 비디오 지원 의료 중재 절차의 평가를 지원하는 방법을 도시한다.
도 1에서, 본 발명의 실시예에 따른 비디오 지원 의료 중재적 절차의 평가를 지원하기 위한 시스템(1)이 매우 단순화된 블록도 표현으로 도시되어 있다. 시스템(1)은 검사 또는 치료, 예를 들어 환자의 치료 또는 수술을 위해 배열된 의학적 치료 및/또는 검사 디바이스(2)를 포함한다. 바람직한 실시예에서, 디바이스(2)는 RF 수술을 위해 사용되는 RF 수술 디바이스이다.
치료 및/또는 검사 디바이스(2)는 의료 디바이스(3), 특히 개복 수술에서 RF 절단, 응고, 탈활력 또는 열융합을 위해 또는 복강경 진단 또는 치료 절차를 위해 사용되는 RF 수술 디바이스, 또는 예를 들어 아르곤 플라즈마 응고를 위한 내시경 RF 디바이스를 포함한다. 본 발명이 적용될 수 있는 다른 의료 디바이스, 특히 RF, 극저온 또는 워터젯 디바이스와 같은 치료 디바이스, 또는 광학 방출 분광법 또는 임피던스 분광법과 같은 진단 디바이스가 또한 고려된다.
치료 및/또는 검사 디바이스(2)는 초당 25 프레임(fps), 30fps, 50fps 또는 60fps과 같은 사전 결정된 프레임 속도로 의료 중재 동안 검사 또는 치료된 해부학적 구조의 비디오 이미지를 캡처하도록 구성된 비디오 카메라(4)를 추가로 포함한다. 프레임 속도(리프레시 빈도)가 높을수록, 비디오가 더 매끄럽게 재생되고, 세부사항이 비디오 프레임에서 높은 역동성 또는 슬로우 모션에서도 선명하게 재현될 수 있다.
비디오 카메라(4)는 도 1에 도시된 시스템(1)에서 의료 디바이스(3)와 별도로 도시되었을지라도 예를 들어 내시경 시스템에서 의료 디바이스(3)에 통합될 수도 있다.
치료 및/또는 검사 디바이스(2)는 의료 디바이스(3)의 작동을 제어 또는 조절하기 위해 의료 디바이스(3)에 연결되는 제어 디바이스(6)를 추가로 포함한다. 특히, 제어 디바이스(6)는 RF 전압 및 RF 전류와 같이 의료 디바이스(3)의 작동에 필요한 전기량을 생성하고, 조정하며, 의료 디바이스(3)에 전달할 수 있는 RF 발생기를 포함할 수 있다. 작동 동안, 제어 디바이스(6)는 전기량의 크기를 제어 또는 조절하고, 전기량의 변조 주파수를 동적으로 조절하며, 의료 디바이스(3)가 각각 원하는 검사 또는 치료 동작을 수행하게 하기 위해 다른 제어 또는 조절 동작을 수행할 수 있다.
제어 디바이스(6)는 사용자, 예를 들어 주치의가 원하는 설정을 하거나 파라미터를 선택할 수 있게 하는 입력 디바이스(본 명세서에서는 자세히 도시되지 않음)에 연결될 수 있다. 바람직하게, 제어 디바이스는 사용자가 상이한 절단, 응고 또는 혈관 밀봉 모드와 같이, 특정 용도를 위해 사전 결정되고 특정 작업 기구에 맞춰진 다수의 사전 한정된 모드로부터 선택하는 것을 허용할 수 있다.
제어 디바이스(6)는 또한 예를 들어 의료 디바이스(3)로의, 조직을 헹구기 위한 아르곤과 같은 가스 또는 액체의 공급을 제어할 수 있다.
제어 디바이스(6)는 또한 도 1에서 비디오 카메라(4)와 제어 디바이스(6) 사이에 도시된 통신 링크에 의해 나타난 바와 같이 비디오 카메라(4)의 작동을 제어할 수 있다.
제어 디바이스(6)는 또한 의료 중재 절차를 모니터링하고, 이러한 목적을 위해 작동 동안 측정되거나 결정된 값에 대응하는 측정 데이터를 의료 디바이스(3)로부터 수신하도록 구성될 수 있다. 이러한 목적을 위해, 의료 디바이스(3)의 작동 동안 각각의 변수, 특히 전기적 변수를 검출하는 센서들이 의료 디바이스(3)에 제공될 수 있다. 측정 변수는 현장에서 수술 동안 수술 부위에서 측정되거나 다른 측정값으로부터 결정된 전압, 전류, 전력, 역률 또는 스파크 강도와 같은 RF 전기 측정량을 포함할 수 있다. 단극 RF 치료 또는 검사 기술의 경우에, 측정 변수는 또한 센서에 의해 획득되거나 또는 의료 중재 동안 결정될 수 있는 전이 임피던스, 전류 대칭성 또는 전류 밀도와 같은 중립 전극의 파라미터 또는 변수를 포함할 수 있다.
획득된 데이터는 비휘발성 메모리(7), 예를 들어 제어 디바이스(6)의 플래시 메모리에 일시적으로 저장될 수 있다.
메모리(7)를 가진 제어 디바이스(6)가 의료 디바이스(3)와 별개의 유닛으로 도시되어 있을지라도, 이는 또한 의료 디바이스(3)에 적어도 부분적으로 통합될 수도 있다. 치료 및/또는 검사 디바이스(2)를 위한 다른 구성이 또한 가능하며, 이는 도 1에 도시된 구성에서 벗어날 수 있다.
도 1로부터 알 수 있는 바와 같이, 시스템(1)은 추가 의료 디바이스(8, 9)를 포함할 수 있다. 예를 들어, 의료 디바이스(8)는 의료 디바이스(3)와 다른 RF 치료를 수행하도록 배열될 수 있다. 예를 들어, 의료 디바이스(3)는 응고 또는 혈관 밀봉을 위해 배열될 수 있는 반면, 의료 디바이스(8)는 절단 작업을 수행하기 위해 준비 및 배열된다. 제어 디바이스(6)는 의료 중재 동안 의료 디바이스(3 및 8) 모두를 교대로 제어, 조절 및/또는 모니터링하도록 구성될 수 있다.
또 다른 의료 디바이스(9)는 다른 시스템 구성요소, 예를 들어 모두 디바이스(2)에 네트워크로 연결될 수 있는 환자 모니터, 수술대 등과 같은 수술실에 있는 연기 배출을 위한 또 다른 기구, 다른 장비를 나타낼 수 있다. 선택적 추가 의료 디바이스(8, 9)에 의해 제공되는 데이터는 의료 중재의 후속 평가에 이용할 수 있도록 의료 디바이스(3) 또는 제어 디바이스(6)로부터의 데이터, 및 비디오 카메라(4)로부터의 비디오 이미지 데이터와 함께 링크 및 저장될 수 있다.
이를 달성하기 위해, 시스템(1)은, 비디오 카메라(4)에 의해 기록된 비디오 이미지 데이터 및 의료 디바이스(3) 또는 제어 디바이스(6)에 의해 공급된 추가 데이터를 처리할 뿐만 아니라, 추가 의료 디바이스(8 및 9)에 의해 제공되는 임의의 데이터를 시간에 맞춰 동기식으로 병합하고 동기화된 방식으로 저장하도록 구성된 신호 처리 디바이스(11)를 추가로 포함한다. 이러한 목적을 위해, 신호 처리 디바이스(11)는 적어도 하나의 데이터 연결부를 통해 다른 시스템 구성요소에 통신 가능하게 연결된다.
도 1에 도시된 예시적인 실시예에서, 의료 중재 절차 동안 획득되거나 생성될 수 있고 제어 디바이스(6)의 내부 메모리(7)에 일시적으로 저장될 수 있는 데이터, 특히 치료 또는 검사 데이터, 디바이스 데이터, 진단 및/또는 측정 데이터를 제어 디바이스(6)로부터 신호 처리 디바이스(11)로 전송하기 위해 제어 디바이스(6)와 신호 처리 디바이스(11) 사이에 제1 데이터 연결부(12)가 제공된다. 선택적으로, 제2 데이터 연결부(13)는 제어 디바이스(6)를 우회하여 의료 디바이스(3)로부터 신호 처리 디바이스(11)로 직접 데이터를 전송할 수 있도록 의료 디바이스(3)와 신호 처리 디바이스(11) 사이에 추가로 확립될 수 있다. 이러한 구성은 특히 시간이 중요하며 높은 샘플링 속도로 획득된다는 점에서 센서 데이터에 유리할 수 있다. 추가 데이터 연결부(14)는 동일한 목적을 위해 추가 의료 디바이스(8, 9)와 신호 처리 디바이스(11) 사이에 설정될 수 있다.
또한, 도 1에 따른 실시예에서, 비디오 카메라(4)로부터 신호 처리 디바이스(11)로 비디오 데이터를 전송하기 위해 비디오 카메라(4)와 신호 처리 디바이스(11) 사이에 비디오 데이터 연결부(16)가 제공된다.
시스템(1)에서의 데이터 연결부(12, 13, 14, 16)는 버스 시스템을 기반으로 할 수 있다. 별도의 연결부(12, 13, 16) 대신, 단일 데이터 연결부(12)가 제어 디바이스(6)와 신호 처리 디바이스(11) 사이에 또한 제공될 수 있으며, 의료 디바이스(3)와 비디오 카메라(4)로부터의 모든 데이터는 통신 라인(17, 18)을 통해 제어 디바이스(6)로 먼저 전송되고, 제어 디바이스(6)로부터 데이터 연결부(12)를 통해 신호 처리 디바이스(11)로 전달된다.
신호 처리 디바이스(11)는 외부 저장 디바이스(21)와 같은 외부 디바이스 및 장비와의 데이터 통신을 위해 배열된 데이터 인터페이스(19)를 추가로 포함한다. 저장 디바이스(21)는 이미지, 비디오, 텍스트 및 기타 데이터를 보관하기 위한 서버, 분산 저장 시스템, 클라우드 기반 저장 시스템, 또는 의료 중재 절차 동안 발생된 대량의 비디오 이미지 데이터를 영구적으로 저장할 수 있는 임의의 비휘발성 저장 디바이스일 수 있다. 저장 디바이스(21)는 데이터 라인(22)을 통해 신호 처리 디바이스(11)의 출력측 데이터 인터페이스(19)에 연결되고, 이에 따라 저장을 위해 신호 처리 디바이스(11)로부터 수정된 비디오 이미지 데이터, 즉 추가 데이터가 그 안에 끼워넣어진 비디오 이미지 데이터를 수신한다.
도 1에서 또한 알 수 있는 바와 같이, 본 발명에 따른 시스템(1)의 추가 실시예에서, 신호 처리 디바이스(11)는 저장 디바이스(21)에 더하여 또는 이에 대한 대안으로, 병원에 포함된 의료 및 행정 데이터를 기록, 처리 및 발송하기 위한 정보 처리 시스템으로 구성된 병원 정보 시스템(HIS)에 통신 가능하게 연결될 수 있다. 따라서, 신호 처리 디바이스(11)에 의해 생성된 수정된 비디오 이미지 데이터는 추가 평가를 위해 출력측 데이터 인터페이스(19) 및 통신 링크(24)를 통해 HIS(23)로 전송될 수 있고, HIS(23)에 저장되고 이용 가능하게 될 수 있다. 통신 링크(24)는 유선 또는 무선 연결, 예를 들어 LAN 또는 WLAN 연결일 수 있다.
대안으로서, HIS(23)는 또한 이에 액세스하고 이로부터 관련 데이터를 검색할 수 있도록 통신 링크(26)를 통해 저장 디바이스(21)에 연결될 수 있다.
병원 정보 시스템 대신, 도 1에서의 블록(23)은 또한 의료 분야에서 널리 사용되는 디지털 컴퓨터 및 네트워크에 기반하는 이미지 보관 및 통신 시스템인 소위 사진 보관 및 통신 시스템(PACS)을 나타낼 수 있다. PACS를 사용하여, 방사선학, 핵의학의 상이한 양식의 디지털 이미지 데이터와 내시경, 심장학 등과 같은 기타 영상 절차로부터의 이미지는 획득, 처리 및 보관되고 필요에 따라 다른 보기 및 후처리 컴퓨터로 전송될 수 있다.
또 다른 실시예에서, 시스템(1)은 시스템(23) 또는 저장 디바이스(21)에 액세스하여 이로부터 데이터를 읽고 데이터를 분석할 수 있도록 데이터 전송 연결부(28)를 통해 저장 디바이스(21)에 연결되거나 또는 데이터 전송 연결부(29)를 통해 HIS 또는 PACS(23)에 연결될 수 있는 분석 디바이스(27)를 추가로 포함할 수 있다. 특히, 분석 디바이스(27)는 저장된 수정된 비디오 이미지 데이터로부터 치료 또는 검사 데이터, 디바이스 데이터, 진단 데이터 및 측정값과 같은 추가 데이터를 추출하여, 사용자에 의한 분석을 위해 이를 제공하거나 또는 알고리즘을 기반으로 자동으로 이를 평가하도록 구성된 소프트웨어 또는 펌웨어를 포함할 수 있다. 분석 디바이스(27)의 기능에 대한 추가 세부사항은 도 5에 도시된 본 발명에 따른 방법과 관련하여 아래에 제공된다.
지금까지 설명한 시스템(1)은 비디오 지원 의료 중재 절차의 평가를 수행하고 지원하기 위한 것이다. 의료 중재는 특히 응고, 열융합, RF 절단(전기절개) 또는 다른 RF 치료와 같은 RF 수술 절차를 포함할 수 있다. 의료 중재는 또한 추가 데이터, 특히 진단 데이터가 비디오 이미지 데이터에 추가하여 생성되는 광학 방출 분광법 또는 임피던스 분광법에 의한 검사를 포함할 수 있다. 또한, 요법 치료, 특히 RF 치료는 또한 시스템(1)을 사용하여 수행될 수 있다. 시스템(1)은 다음과 같이 작동한다:
비디오 지원 의료 중재 절차 동안, 비디오 카메라(4)는 초당 30, 50 또는 60 프레임(fps)과 같은 특정 프레임 속도로 검사 또는 치료되는 해부학적 구조의 비디오 이미지를 포함하는 비디오 이미지 데이터를 획득하고, 추가 처리를 위해 비디오 이미지 데이터를 신호 처리 디바이스(11)로 전송한다. 또한, 제어 디바이스(6) 및/또는 의료 디바이스(3)는 신호 처리 디바이스(11)에 추가 데이터를 전송한다. 이러한 추가 데이터는 의료 중재와 관련된 치료 또는 검사 데이터, 디바이스 데이터, 진단 데이터 및/또는 측정 데이터를 포함할 수 있다. 특히, 추가 데이터는 또한 프레임 기간 동안 변경되는 측정된 동적 데이터를 포함된다.
신호 처리 디바이스(11)는 비디오 카메라(4)로부터 비디오 이미지 데이터를 수신하고, 제어 디바이스(6) 및/또는 의료 디바이스(3)로부터 동적 측정 데이터를 포함하는 추가 데이터를 수신하여, 추가 데이터를 끼워넣기 위한 비디오 이미지 데이터에서의 목표 영역을 식별하고, 시간적으로 동기하여 비디오 이미지 데이터에 추가 데이터를 끼워넣는 것에 의해 비디오 이미지 데이터를 수정한다. 이러한 것은 신호 처리 디바이스(11)가 프레임의 식별된 목표 영역에서의 픽셀 데이터를 각각의 프레임과 연관된 추가 데이터로 대체한다는 것을 의미한다.
비디오 이미지 데이터 및 추가 데이터의 시간 동기식 기록과 관련된 신호 처리 디바이스(11)의 동작에 대한 추가 세부 사항은 도 2에 도시된 바와 같은 본 발명에 따른 방법과 관련하여 아래에서 더 자세히 설명된다.
신호 처리 디바이스(11)는 단기 및 장기 보관을 위해 데이터 인터페이스(29)를 통해 저장 디바이스(21) 및/또는 HIS 또는 PACS(23)로 생성된 수정된 비디오 이미지 데이터를 전송할 수 있다. 분석 디바이스(27)는 수행된 의료 중재 및 치료 및/또는 검사 디바이스(2)의 관련 성능을 평가하기 위한 분석을 위해 보관된 수정된 비디오 이미지 데이터에 액세스할 수 있다.
이제 도 2를 참조하면, 본 발명의 실시예에 따른 비디오 지원 의료 중재 절차의 평가를 지원하기 위한 방법(31)의 흐름도가 도시되어 있다. 방법은 도 1에 도시된 시스템(1)의 신호 처리 디바이스(11)에 의해 수행될 수 있지만, 임의의 특정 신호 처리 디바이스에 제한되지는 않는다. 프로세서와 주 메모리를 가진 임의의 컴퓨팅 유닛은 도 2에 따른 방법(31)을 수행하도록 구성될 수 있다.
도 2의 방법(31)은 비디오 지원 의료 중재적 절차가 수행되는 것을 가정한다(도시되지 않음). 그 후, 방법(31)은 비디오 지원 의료 중재 절차가 실시간으로 또는 거의 실시간으로 수행되는 동안 온라인으로 수행될 수 있다. 비디오 지원 의료 중재 절차가 수행된 후, 모든 데이터가 일시적으로 저장되면, 이러한 것이 덜 바람직할지라도, 또한 나중에 수행될 수 있다.
방법(31)은 비디오 이미지 데이터를 수신하는 단계(S1)부터 시작한다. 예를 들어, 신호 처리 디바이스(11)는 도 1에 따른 시스템(1)의 비디오 이미지 카메라(4)로부터 비디오 이미지 데이터를 수신할 수 있다. 언급된 바와 같이, 비디오 이미지 데이터는 결과적인 비디오 스트림에서 해부학적 구조에 대한 치료 또는 검사 절차의 우수한 시각적 해상도를 제공하기 위해 특정 프레임 속도, 바람직하게 30 fps, 50 fps, 또는 60fps로 생성된다.
방법은 추가 데이터를 수신하는 단계(S2)를 추가로 포함한다. 추가 데이터는 의료 중재와 관련된 치료 또는 검사, 디바이스, 진단 및/또는 측정 데이터 중 하나 이상을 포함할 수 있다.
예를 들어, 추가 데이터는 절차의 장소 및 시간, 치료 기관, 환자의 이름, 주치의 이름과 같은 관련자, 의료 중재의 유형 및/또는 의료 중재와 관련된 기타 데이터를 포함할 수 있는 치료 또는 검사 데이터를 포함할 수 있다.
추가 데이터는 특히 사용된 의료 디바이스 또는 디바이스들의 유형 지정 및/또는 일련번호, 사전 결정된 디바이스 파라미터, 기본 설정, 특정 디바이스 파라미터 설정 및 전기 변수의 제어, 변수에 대해 지정된 한계값, 예를 들어 의료 중재 절차 동안 의료 디바이스에서 생성된 전기량, 오류 및 상태 메시지, 사용된 디바이스 또는 기구와 관련된 기타 데이터를 자동으로 조정하는 선택된 적용 모드를 포함할 수 있다.
선택적으로 획득된 진단 데이터는 광학 방출 분광법 및/또는 이로부터의 분류 결과에 기초하여 검사 동안 결정된 스펙트럼을 포함할 수 있다. 대안적으로, 임피던스 분광법으로부터 또는 기타 진단 절차로부터의 스펙트럼, 측정된 값 및/또는 분류 결과가 또한 수신되어 처리될 수 있다.
측정 데이터, 특히 동적 측정 데이터는 특히 예를 들어 RF 절단 및 RF 응고 절차에서 획득되거나 결정되는 전압, 전류, 전력, 역률 및/또는 스파크 강도와 같은 전기적 RF 변수를 포함할 수 있다. 전이 임피던스, 전류 대칭 및/또는 전류 밀도 등과 같은 단극 RF 기술을 사용할 때 중립 전극의 파라미터 또는 수량이 또한 획득하거나 결정되고 처리될 수 있다.
방법(31)은 추가 데이터를 끼워넣기 위해 비디오 이미지에서 목표 영역을 식별하는 단계(S3)를 추가로 포함한다.
예를 들어 최신 비디오 시스템은 FullHD(1920 x 1080 픽셀) 또는 4 k(4096 x 2160 픽셀)의 해상도와 30 fps의 프레임 속도로 작동한다. 비디오 이미지 픽셀의 0.1%가 디바이스, 진단 및 측정 데이터를 저장하는 데 사용되면, 프레임당 약 2 k-픽셀 또는 약 62 k-픽셀/초가 FullHD에 대해 이용 가능하며, 프레임당 약 8.8k 픽셀 또는 초당 약 265 k-픽셀이 비디오 이미지 데이터에 추가 데이터를 끼워넣도록 4k에 대해 이용 가능하다. 이러한 것은 FullHD에 대해 약 182 kbyte/s, 4k에 대해 778 kbyte/s의 데이터 볼륨을 야기한다. 이러한 데이터 양은 FullHD가 비디오 이미지 데이터에서 추가 데이터를 저장하기에 이미 충분하다고 결정되었다.
광학 방출 분광법(OES) 또는 임피던스 스펙트럼의 미가공 데이터를 저장하기 위해, 약 1%의 더 큰 이미지 영역이 FullHD에 대해 필요하며, 이는 원칙적으로 실제로 실현 가능하다. 분류 결과만이 미가공 데이터 대신 저장된다면, 상당히 적은 양의 데이터로도 충분하다.
원칙적으로, 데이터 픽셀은 예를 들어 작은 연속 스트립 또는 블록으로서 연속적으로 저장될 수 있거나, 또는 각각의 개별 이미지 위에 한정된 위치에 배포될 수 있다. 단계(S3)에서, 데이터를 끼워넣기 위한 적절한 위치가 식별된다. 식별은 사용자에 의해 사전에 한정되었거나, 사전 한정되거나, 또는 사전 한정될 수 있는 비디오 이미지에서의 적합한 영역에 기초할 수 있다. 대안으로서, 상황 인식 디바이스는 비디오 이미지 데이터에 추가 데이터를 끼워넣기에 적합한, 디스플레이될 비디오 이미지 상의 적합한 영역을 식별하도록 구성될 수 있다.
도 3a 내지 도 3c는 예시적인 해부학적 구조(102, 202, 302)가 그 안에 예시된 치료 또는 검사 부위(101, 201, 301) 및 해부학적 부위를 치료하기 위한 기구(103, 203, 303)의 개별 이미지를 재현하는 예시적인 비디오 이미지(100, 200, 300)를 도시한다. 도 3a 내지 도 3c로부터, 수행된 의료 중재에 의존하여 비디오 이미지에서 추가 데이터를 끼워넣기 위한 목표 영역으로서, 유용한 정보 내용이 감소된, 즉 치료되는 해부학적 구조(102, 202, 302)에 대한 정보 내용이 전혀 없거나 거의 없는 영역이 특히 적합하다는 것을 알 수 있다.
예를 들어, 도 3a는 내시경 비디오 카메라로부터 시작될 수 있고 디스플레이의 원형 영역으로 국한될 수 있는 개별 이미지(101)를 도시한다. 이 경우에, 개별 이미지(101)를 둘러싸는 전체 주변 영역(104)은 추가 데이터 및 비디오 이미지 데이터를 끼워넣기에 적합하다.
도 3b는 본질적으로 디스플레이 디바이스의 전체 디스플레이 영역을 차지하는 개별 생성된 비디오 이미지(201)를 도시한다. 비디오 이미지(200)의 모서리 근처에 위치되고 라벨, 환자 정보, 하루 중 시간 또는 의료 중재에 관한 다른 관련 정보를 디스플레이하도록 의도된 예약 영역(204)이 도시되어 있다. 하나 이상의 이러한 예약 영역(204)이 추가 데이터를 끼워넣기 위해 선택될 수 있다.
도 3c는 개별 이미지(301) 주위의 이미지 가장자리(304)가 추가 데이터를 끼워넣기 위한 목표 영역으로서 사용될 수 있는 예를 도시한다.
두 경우 모두, 추가 데이터는 단일 위치 또는 영역(104, 204, 304) 전체에 분산된 여러 위치에서 단일 연속 스트립, 직사각형 등의 형태로 저장될 수 있다.
도 2를 참조하면, 방법(31)이 추가 데이터를 시간적으로 동기하여 비디오 이미지 데이터에 끼워넣는 것에 의해 비디오 이미지 데이터를 수정하는 단계(S4)를 추가로 포함하는 것이 도시되어 있다. 특히, 프레임의 식별된 목표 영역에서의 비디오 이미지 데이터는 각각의 프레임과 관련된 추가 데이터에 의해 대체된다. 즉, 각각의 목표 영역에서의 수정된 비디오 이미지 데이터는 이제 본래 획득된 비디오 이미지 데이터 대신 추가 데이터를 포함한다. 추가 데이터는 비디오 이미지에 미가공 데이터로서 끼워넣어지거나, 대안적으로 끼워넣기 전에 암호화되고 및/또는 진위를 보장하기 위해 디지털 인증서와 함께 제공될 수 있다.
본 발명의 본질적인 양태는 매우 동적인 측정 데이터, 예를 들어 센서에 의해 획득되거나 의료 중재 절차 동안 결정되는 측정된 전기 RF 판독값의 시간 동기식 끼워넣기이다. 언급한 바와 같이, 이들은 예를 들어 비디오 이미지 데이터의 프레임 속도보다 여러 배, 적어도 2배 또는 심지어 복수 배 이상 큰 업데이트 속도로 측정되거나 결정되는 RF 전압, RF 전류, 전력, 역률, 스파크 강도 및 기타 측정 값일 수 있다. 예를 들어, 업데이트 속도는 적어도 150 Hz, 바람직하게 250 Hz 이상일 수 있다. 어떤 경우든, 이러한 매우 동적인 측정 데이터는 프레임 속도보다 빠르게 획득된다. 예를 들어, 업데이트 속도가 250 Hz이고 프레임 속도가 50 Hz인 상태에서, 프레임당 5개의 측정 값이 저장될 수 있다. 따라서, 동적 측정 데이터의 5개 이상의 값을 가진 시간 경과는 각각의 개별 이미지에 대해 기록될 수 있고, 각각의 관련 프레임에 할당된 비디오 이미지 데이터에 시간 동기식으로 저장될 수 있다.
도 4는 단순화된 개략도로 개별 비디오 프레임에 동적 데이터를 끼워넣는 것을 도시한다. 도 4의 상부 그래픽은 의료 중재 절차 동안 비디오 카메라에 의해 기록된 비디오 이미지 데이터로부터 발생하는 일련의 비디오 프레임(400)을 시간 순서로 도시한다.
도 4의 상부 그래프로부터 두 번째는 의료 디바이스에 인가되는 RF 전류 또는 RF 전압과 같은 전기적 RF 양(401)의 예를 도시한다. 알 수 있는 바와 같이, 전기량(401)은 프레임 기간 동안 고주파수에서 진폭이 변동할 정도로 매우 빠르게 변한다.
도 4의 상부 그래프의 세 번째에서 알 수 있듯이, 전기량(401)은 프레임 속도보다 높은 업데이트 속도로 측정되거나 결정된다. 그 결과, 각각의 비디오 프레임(400)과 연관된 몇몇, 예를 들어 5개 이상의 측정값(402)이 프레임 기간마다 획득된다.
도 4의 하부 그래프는 연관된 비디오 프레임(400)에서 동적 측정 값(402)의 시간 동기식 끼워넣기를 얻기 위해 획득된 동적 측정 데이터(403)가 어떻게 각각의 비디오 프레임(400)에 통합되는지를 도시한다.
도 1에서, 비디오 프레임 이미지의 상부 가장자리 영역에서 연속 영역에 동적 측정 값(402)을 끼워넣는 것은 단지 예시일 뿐이라는 점에 유의해야 한다. 위에서 설명한 대로, 다양한 형상의 다양한 영역이 동적 측정 값을 저장하도록 사용될 수 있다. 또한, 동적 측정 값 외에, 디바이스 데이터와 같은 다른 데이터가 또한 개별 프레임(400)에 통합된다.
도 2로 돌아가서, 방법은 추후 분석 및 평가를 위에 이용 가능하게 하도록 데이터의 단기 및 장기 보관을 위해 저장 디바이스, 예를 들어 도 1에 따른 시스템에서의 외부 저장 디바이스(21) 또는 HIS 또는 PACS(23)에서의 비디오 이미지 프레임에 끼워넣어진 추가 데이터와 함께 수정된 비디오 이미지 데이터를 저장하는 단계(S7)을 추가로 포함한다. 본 발명에 따른 방법(31)은 단계(S7) 후에 종료될 수 있다.
일반적으로, 비디오 이미지 데이터는 단계(S7)에서 압축된 형태로 저장된다. 가능한 가장 작은 양의 데이터를 얻기 위해, 일반적으로 H.265, AV1 또는 VP9에 따른 일반적인 방법 또는 기타 알려진 압축 방법과 같은 손실 압축 알고리즘이 사용된다. 추가 데이터가 저장된 수정된 비디오 이미지 데이터로부터 추출되고 오류 없이 재구성될 수 있도록, 선택적인 단계(S5)에서 획득된 수정된 비디오 이미지 데이터에 압축 해제 후에 추가 데이터의 재구성 신뢰성을 증가시키는 압축 불변성 향상 절차를 적용하는 것이 유용할 수 있다. 이러한 목적을 위해, 추가 데이터는 예를 들어 여러 개의 연속 픽셀, 특히 8 x 8, 16 x 16 또는 심지어 최대 64 x 64 픽셀을 가진 픽셀 블록으로 조합될 수 있다. 이미지에서의 이러한 거친 구조는 압축 동안 압축 아티팩트가 덜 발생하는 것으로 알려져 있다. 따라서, 블록 형성은 압축 아티팩트 및 코딩 오류에 대한 견고성을 증가시킬 수 있다.
추가적인 절차로서, 오류 정정 절차가 추가적으로 또는 대안적으로 사용될 수 있다. 데이터의 저장 및 전송에 있어서의 오류를 식별하고 가능한 한 이를 수정하기 위해 일반적으로 사용되는 이러한 오류 정정 절차는 일반적으로 알려져 있다. 오류 정정 절차는 압축 해제 후에 존재하는 인코딩 오류 또는 압축 아티팩트를 검출하고 필요한 경우 정정하기 위해 비디오 이미지 데이터에 끼워넣기 위한 추가 데이터를 인코딩하기 위해 본 발명에서 사용될 수 있다.
이어서, 단계(S5)에 따른 절차에 의해 처리된 추가 데이터는 비디오 이미지 데이터에 끼워넣어질 수 있고, 결과적인 수정된 비디오 이미지 데이터는 압축된 수정된 비디오 이미지 데이터를 얻기 위해 단계(S6)에서 위에서 언급한 일반적인 기술 중 하나에 따라 압축될 수 있고, 그런 다음 단계 S7에서 저장된다. 단계(S5)에 따른 압축 불변성 강화를 위한 처리는 단계(S4) 이전이나 이후 또는 동시에 수행될 수 있음이 명백하다.
단계(S4, S5 및 S6)들이 모두 도 1에 따른 시스템(1)의 신호 처리 디바이스(11)와 같은 공통 신호 처리 디바이스에서 수행되는 경우에도 유리하다. 이러한 디바이스는 그런 다음 선택한 압축 방법의 함수로서 단계(S5)에 따라서 압축 불변성 향상 절차를 수행할 수 있고, 특히 결과 데이터를 저장하기 전에 데이터가 정확하게 저장될 수 있는지의 여부 또는 데이터의 구조 크기가 추가 데이터의 정확한 재구성을 가능하게 하기 위해 압축에 동적으로 적용되어야 하는지 여부를 미리 확인한다.
본 발명은 기록된 비디오 이미지, 및 매우 동적인 측정 데이터를 포함하는 추가 데이터의 후속 분석 및 다양한 목표를 위한 평가를 가능하게 한다. 특히, 수행된 의료 중재는 중재의 성공 또는 실패를 검증하기 위해 필요에 따라 주치의, 병원 또는 환자에 의해 추적되고 평가될 수 있다. 분석은 또한 의료 디바이스의 성능을 평가하는 데 사용될 수 있다. 예를 들어, 의료 중재를 위해 설정된 입력 변수, 선택된 적용 모드, 및 원하는 치료 효과의 효용성은 비디오 이미지 데이터와 관련 추가 데이터를 비교하는 것에 의해 의료 중재의 모든 단계에서 평가될 수 있다. 예를 들어, 스파크 형성 및 강도는 시각적으로 검출되고 관련 전기 측정 데이터와 비교될 수 있다. 이러한 방식으로, 점화 거동 또는 스파크 이탈과 같이 시간이 중요한 프로세스는 끼워넣어진 전기 RF 측정 데이터에 기초하여 정확하게 평가될 수 있다. 이러한 프로세스가 리프레시 속도 또는 프레임 속도보다 훨씬 빠르게 발생하기 때문에, 프레임당 여러 판독값을 사용하여 시간 경과에 따른 동적 전기 측정 값을 획득하는 것은 이러한 시간이 중요한 프로세스를 평가하는 데 극히 유용하다. 평가 결과에 기초하여, 설정된 변수, 적용 모드, 및 의료 디바이스 또는 디바이스들에 대한 최적화 옵션이 발견될 수 있다. 예를 들어, 절단, 응고, 열융합 등의 치료 효과의 불충분한 속도와 같은 각각의 적용에 대한 설정의 한계와 같은 부적절성이 또한 식별되고 보다 적절한 설정을 찾기 위해 관련된 설정과 비교될 수 있다. 탄화, 출혈의 발생과 같은 측면 손상의 발생이 검출될 수 있고, 측면 손상의 원인 또는 기타 합병증은 획득된 측정 데이터에 기초하여 결정될 수 있다.
따라서, 많은 추가 평가는, 특히 스파크 형성, 기구 또는 전극, 조직 및/또는 다양한 조직 유형 사이의 전환, 출혈 또는 액체를 사용한 수세, 연기 발생 또는 증기 형성 및 열 발생과 같이 프레임에서 시각적으로 검출 및 인식될 수 있는 요소 또는 이벤트와 전기 측정 데이터를 비교하는 것에 의해 비디오 이미지 데이터에 끼워넣어진 추가 데이터를 사용하여 수행될 수 있다. 위에서 언급된 관계의 평가는 적절한 알고리즘을 사용하여 수동으로 또는 자동으로 수행될 수 있다.
추가 수정이 본 발명의 범위 내에서 가능하다. 예를 들어, 동적 측정 데이터를 포함하는 추가 데이터는 개별 픽셀 또는 픽셀 영역 대신 비디오 이미지 데이터의 복수 픽셀의 픽셀 색상의 개별 비트에 통합될 수 있다. 예를 들어, 각각의 픽셀의 픽셀 색상이 24 비트의 유용한 정보(색상 채널(R, G, B)당 8비트)로 인코딩되면, 색상 심도는 예를 들어 색상 채널당 7 비트로 감소될 수 있으며, 픽셀당 나머지 3 비트(색상 채널당 1 비트)는 추가 데이터를 저장하거나 인코딩하는 데 사용될 수 있다. 따라서, 이미지의 어떤 부분도 완전히 혼합되지 않고, 색상이 약간만 조정된다. 수술 중 비디오의 요구되는 품질로 인해, 관련성이 낮은 영역, 예를 들어 라벨링, 환자 데이터, 시간 등을 위해 예약된 비디오 이미지의 주변 영역 또는 영역에서의 적용이 여기에서도 선호된다.
본 발명에 따른 방법(31)의 추가 변형이 도 5에 도시되어 있다. 단계(S1-S7)들은 도 2의 실시예에서의 단계에 대응하여서, 반복을 피하기 위해 거기에 제공된 설명을 참조한다.
도 5에서 알 수 있는 바와 같이, 도 5에 따른 실시예에서, 수정된 비디오 이미지 데이터가 저장되는 단계(S7)에 이어, 방법(31)은 수정된 비디오 이미지 데이터가 각각의 메모리, 예를 들어 도 1에 따른 시스템(1)의 저장 디바이스(21) 또는 HIS 또는 PACS(23)로부터 검색되는 단계(S8)를 포함한다.
이어서, 단계(S9)에서, 압축 해제된 데이터를 얻기 위해 데이터의 압축 해제가 수행된다.
단계(S10)에서, 원래 비디오 이미지 데이터에 끼워넣어진 추가 데이터, 즉 저장된 검사 또는 치료 데이터, 디바이스 데이터, 진단 데이터, 및 측정 데이터, 특히 동적 측정 데이터는 압축 해제된 데이터로부터 추출된다.
단계(S11)에서, 추출된 추가 데이터 및 비디오 이미지 데이터는 예를 들어 품질 조사 및 보증을 위해, 설정, 적용 모드, 및 치료 효과를 평가하기 위해, 측면 손상 및 기타 합병증을 평가하고 그 원인을 찾기 위해, 설정 또는 적용 모드를 최적화하기 위해 또는 디바이스의 추가 개발을 위해 위에서 언급된 목표 중 하나 이상을 사용하여 분석된다. 분석은 수동 또는 자동화될 수 있다.
Claims (15)
- 비디오 지원 의료 중재 절차의 평가를 지원하기 위한 방법으로서,
의료 중재 동안 특정 프레임 속도로 비디오 카메라(4)에 의해 기록된 검사 또는 치료된 해부학적 구조의 비디오 이미지를 나타내는 의학적 비디오 이미지 데이터를 수신하는 단계(S1);
의료 중재와 연관된 치료 또는 검사, 디바이스, 진단 및 측정 데이터 중 적어도 하나를 포함하는 추가 데이터를 수신하는 단계로서, 상기 추가 데이터는 프레임 기간 동안 변하는 측정된 동적 데이터를 포함하는, 상기 추가 데이터 수신 단계(S2);
상기 추가 데이터를 끼워넣기 위해 상기 비디오 이미지에서의 목표 영역들을 식별하는 단계(S3); 및
프레임의 식별된 목표 영역 또는 영역들에서의 비디오 이미지 데이터를 각각의 프레임과 연관된 추가 데이터로 대체하는 것에 의해 시간적으로 동기하여 상기 추가 데이터를 상기 비디오 이미지 데이터에 끼워넣는 것에 의해 상기 비디오 이미지 데이터를 수정하는 단계(S4)를 포함하는, 방법. - 제1항에 있어서, 의료 중재 절차의 장소의 부근에서 추가 사용, 특히 평가를 위해 비휘발성 저장 디바이스(21, 23)에서 상기 수정된 비디오 이미지 데이터를 저장하는 단계(S7); 및/또는
이미지/비디오 데이터를 보관하기 위해 PACS 사진 보관 및 통신 시스템, CIS/HIS 병원 정보 시스템(23) 및/또는 외부 서버(21)로 전송하는 단계 중 적어도 하나의 단계를 추가로 포함하는, 방법. - 제1항 또는 제2항에 있어서, 상기 프레임 속도는 초당 24 내지 60 프레임 이상, 바람직하게 초당 30, 50 또는 60 프레임인, 방법.
- 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 치료 또는 검사 데이터는 상기 중재의 장소 및 시간, 기관, 관련자, 환자의 이름, 주치의 이름, 상기 의료 중재의 유형 및/또는 또는 상기 의료 중재와 관련된 기타 데이터를 포함하고;
상기 디바이스 데이터는 사용된 의료 디바이스 또는 디바이스들의 유형 지정, 디바이스 일련 번호, 디바이스 파라미터, 기본 설정, 선택된 적용 모드, 변수에 대한 사전 설정된 한계 값, 상기 디바이스로부터의 오류 및 상태 메시지, 및/또는 사용된 의료 디바이스와 관련된 기타 데이터를 포함하며;
상기 진단 데이터는 광학 방출 분광법으로부터 결정된 스펙트럼 및/또는 분류 결과, 임피던스 분광학 또는 다른 진단 방법으로부터의 스펙트럼, 측정된 값 및/또는 분류 결과를 포함하며;
상기 측정 데이터는
전압, 전류, 전력, 역률 및/또는 스파크 강도와 같은 측정되거나 결정된 전기적 RF 변수, 의료 중재 동안 측정되거나 결정된 전이 임피던스, 전류 대칭 및/또는 전류 밀도, 및 또는 기타 측정 변수와 같은 중립 전극의 파라미터 또는 변수를 포함하는, 방법. - 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 측정된 동적 데이터는 비디오 이미지 데이터의 프레임 속도보다 수 배 큰 업데이트 속도로 획득되거나 결정되는 측정 변수를 포함하며, 상기 업데이트 속도는 적어도 150 Hz, 바람직하게 250 Hz 이상인, 방법.
- 제1항 내지 제5항 중 어느 한 항에 있어서, 측정 변수, 특히 측정된 전기적 변수의 2개 이상의 측정값의 시간 경과를 특징으로 하는 상기 측정된 데이터는 개별 프레임에 저장되는, 방법.
- 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 추가 데이터를 끼워넣기 위해 상기 비디오 이미지에서의 목표 영역들을 식별하는 단계(S3)는 사전에 한정되거나, 사용자에 의해 지정되거나 또는 지정될 수 있는 비디오 이미지에서의 영역에 기초하는, 방법.
- 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 추가 데이터는 이미지에 걸쳐서 분포되는 한정된 위치에 저장되는, 방법.
- 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 추가 데이터는 라벨링, 디스플레이된 환자 데이터, 시간을 위한 비디오 이미지의 영역에, 및/또는 이미지 가장자리에 끼워넣어지는, 방법.
- 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 추가 데이터는 바람직하게 덜 유용한 정보 내용이 있는 이미지 영역에서 상기 비디오 이미지 데이터의 복수의 픽셀의 픽셀 색상의 개별 비트에 통합되는, 방법.
- 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 수정된 비디오 이미지 데이터는 손실 압축되며(S6), 상기 수정된 비디오 이미지 데이터는 추가 데이터의 재구성의 신뢰성을 증가시키기 위해 압축 방법이 수행되기 전에 압축 불변성 향상 절차(S5)에 의해 처리되는, 방법.
- 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 비디오 이미지 데이터의 수정 단계(S4) 및 수정된 영상 데이터의 압축 단계(S6)는 공통 신호 처리 디바이스에서 수행되며, 상기 신호 처리 디바이스는 선택된 압축 방법에 의존하여 상기 압축 불변성 향상 절차(S5)를 수행하고, 바람직하게 데이터의 구조 크기 및/또는 인코딩을 압축에 동적으로 적응시킬 수 있는, 방법.
- 제1항 내지 제12항 중 어느 한 항에 있어서, 저장된 수정된 비디오 이미지 데이터를 검색하는 단계(S8);
수정된 비디오 이미지 데이터로부터 추가 데이터를 추출하는 단계(S10);
특히 수행된 의료 중재를 수행하기 위하여 상기 비디오 이미지와 함께 추출된 정적 데이터와 측정된 동적 데이터, 특히 전기 측정 데이터를 분석하는 단계(S11)를 추가로 포함하며,
상기 평가는 의료 중재를 위해 설정된 입력 변수, 선택된 적용 모드, 및/또는 원하는 치료 효과의 유효성의 평가, 설정된 변수, 적용 모드 또는 의료 디바이스 또는 디바이스들에 대한 최적화 가능성 찾기, 적용을 위한 전기적 제한을 포함한 부적절성의 검출, 치료 효과의 불충분한 속도의 검출, 탄화, 출혈의 시작과 같은 측면 손상의 발생 검출, 및 측면 손상 또는 기타 합병증의 원인 결정의 평가 목표 중 하나 이상을 포함하는, 방법. - 비디오 지원 의료 중재 절차의 평가를 지원하기 위한 시스템(1)으로서,
의료 중재를 수행하기 위한 적어도 하나의 의료 디바이스(3, 8, 9), 특히 RF 수술 디바이스;
의료 중재 동안 치료되거나 검사된 해부학적 구조의 비디오 이미지를 나타내는 비디오 이미지 데이터를 기록하기 위한 비디오 카메라(4);
상기 비디오 카메라(4)에 의해 기록된 비디오 이미지 데이터를 처리하기 위한 신호 처리 디바이스(11); 및
상기 적어도 하나의 의료 디바이스(3, 8, 9)로부터 상기 신호 처리 디바이스(11)로 동적 데이터를 포함하는 추가 데이터를 전송하기 위한, 상기 적어도 하나의 의료 디바이스(3, 8, 9)와 상기 신호 처리 디바이스(11) 사이의 데이터 연결부(12, 13, 14)를 포함하며;
상기 신호 처리 디바이스(11)는 제1항 내지 제13항 중 어느 한 항에 따른 방법을 수행하도록 구성되는, 시스템. - 제14항에 있어서, 상기 신호 처리 디바이스(11)는 이미지/비디오 데이터를 보관하기 위해 PACS 사진 보관 및 통신 시스템 또는 CIS/HIS 병원 정보 시스템(23) 및/또는 외부 서버(21)와 통신하는 데이터 인터페이스(19)를 포함하는, 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP22198051.9 | 2022-09-27 | ||
| EP22198051.9A EP4345754A1 (de) | 2022-09-27 | 2022-09-27 | Verfahren und system zur unterstützung einer auswertung einer videounterstützten medizinischen eingriffsprozedur |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240043691A true KR20240043691A (ko) | 2024-04-03 |
Family
ID=83506583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230123826A KR20240043691A (ko) | 2022-09-27 | 2023-09-18 | 비디오 지원 의료 중재 절차의 평가를 지원하기 위한 방법 및 시스템 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240105235A1 (ko) |
| EP (1) | EP4345754A1 (ko) |
| JP (1) | JP2024048370A (ko) |
| KR (1) | KR20240043691A (ko) |
| CN (1) | CN117770977A (ko) |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6104948A (en) | 1996-04-03 | 2000-08-15 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Method for visually integrating multiple data acquisition technologies for real time and retrospective analysis |
| AU2002322134A1 (en) | 2001-06-25 | 2003-01-08 | Clar, Heimo | System and method for simultaneously recording measuring data and video and/or audio data |
| DE102005025903A1 (de) | 2005-06-06 | 2006-12-28 | Fm Medivid Ag | Einrichtung zur Annotierung von Bewegtbildern im medizinischen Bereich |
| EP2063371B1 (de) | 2007-11-13 | 2014-06-04 | How to Organize (H2O) GmbH | Vorrichtung und Verfahren zur Dokumentation medizinischer Daten |
| US20120304224A1 (en) | 2011-05-25 | 2012-11-29 | Steven Keith Hines | Mechanism for Embedding Metadata in Video and Broadcast Television |
| RU2679781C2 (ru) | 2013-05-06 | 2019-02-12 | Конинклейке Филипс Н.В. | Визуализация изображения |
| DE102014210079A1 (de) | 2014-05-27 | 2015-12-03 | Olympus Winter & Ibe Gmbh | Verfahren zum Dokumentieren einer medizinischen Behandlung und/oder Untersuchung |
| DE102017105169A1 (de) * | 2017-03-10 | 2018-09-13 | Storz Endoskop Produktions Gmbh | Vorrichtung und Verfahren zum Verwalten von Prozessdaten |
| EP3836155A1 (en) | 2019-12-12 | 2021-06-16 | Koninklijke Philips N.V. | Screen capturing via mobile computing devices using matrix code |
| DE102021101410A1 (de) * | 2021-01-22 | 2022-07-28 | Olympus Winter & Ibe Gmbh | Verfahren und System zur Steuerung eines chirurgischen HF-Generators sowie Softwareprogrammprodukt |
-
2022
- 2022-09-27 EP EP22198051.9A patent/EP4345754A1/de active Pending
-
2023
- 2023-09-18 KR KR1020230123826A patent/KR20240043691A/ko unknown
- 2023-09-21 JP JP2023154066A patent/JP2024048370A/ja active Pending
- 2023-09-26 US US18/373,123 patent/US20240105235A1/en active Pending
- 2023-09-27 CN CN202311265793.5A patent/CN117770977A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024048370A (ja) | 2024-04-08 |
| US20240105235A1 (en) | 2024-03-28 |
| EP4345754A1 (de) | 2024-04-03 |
| CN117770977A (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2682050B1 (en) | Medical information recording apparatus | |
| EP2829231B1 (en) | Image-generating apparatus | |
| CN103239254B (zh) | 医用图像诊断装置 | |
| CN107613841B (zh) | 图像记录装置 | |
| JP2005348797A (ja) | 医療行為記録システム及び医療行為記録装置 | |
| JP6798587B2 (ja) | 診断画像システム | |
| CN114096210A (zh) | 修改来自手术机器人系统的数据 | |
| JP7138771B2 (ja) | 診断支援装置、診断支援方法及びプログラム | |
| DE112016002762T5 (de) | Medizinische Unterstützungsvorrichtung, ihr medizinisches Unterstützungssystem | |
| US20190122361A1 (en) | Determination and visualization of damage to an anatomical joint | |
| US20220361807A1 (en) | Assessment of spinal column integrity | |
| JP2008259661A (ja) | 検査情報処理システム及び検査情報処理装置 | |
| JP4009583B2 (ja) | 医療用画像記録システム | |
| JP2012525907A (ja) | 医療映像処理システム及び処理方法 | |
| US20240105235A1 (en) | Method and system for supporting an evaluation of a video-assisted medical interventional procedure | |
| JP2005021353A (ja) | 手術支援装置 | |
| CN105578964A (zh) | 图像显示控制装置及其动作方法以及图像显示控制程序 | |
| JP2020195589A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP7497930B2 (ja) | 臨床記録データ生成方法及び装置 | |
| BR102023018506A2 (pt) | Processo e sistema para apoio de uma avaliação de um processo de intervenção médica apoiada por vídeo | |
| WO2022250031A1 (ja) | 情報処理装置、情報処理方法、及びコンピュータプログラム | |
| CN117279572A (zh) | 用于处理和可视化医学成像设备中的管电流调制的系统和方法 | |
| JP7435242B2 (ja) | 動態画像解析装置、動態画像解析方法及びプログラム | |
| JP2005124824A (ja) | 手術支援システム | |
| US10878958B2 (en) | Information integrating apparatus |