KR20220025186A - 진단 검사를 실시간 치료에 통합하기 위한 범용 장치 및 방법 - Google Patents

진단 검사를 실시간 치료에 통합하기 위한 범용 장치 및 방법 Download PDF

Info

Publication number
KR20220025186A
KR20220025186A KR1020227004420A KR20227004420A KR20220025186A KR 20220025186 A KR20220025186 A KR 20220025186A KR 1020227004420 A KR1020227004420 A KR 1020227004420A KR 20227004420 A KR20227004420 A KR 20227004420A KR 20220025186 A KR20220025186 A KR 20220025186A
Authority
KR
South Korea
Prior art keywords
medical
data
environmental sensor
source images
processor
Prior art date
Application number
KR1020227004420A
Other languages
English (en)
Other versions
KR102458587B1 (ko
Inventor
알라 베이도운
비카쉬 굽타
Original Assignee
유니버시티 오브 메릴랜드 메디컬 센터
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니버시티 오브 메릴랜드 메디컬 센터 filed Critical 유니버시티 오브 메릴랜드 메디컬 센터
Publication of KR20220025186A publication Critical patent/KR20220025186A/ko
Application granted granted Critical
Publication of KR102458587B1 publication Critical patent/KR102458587B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B90/53—Supports for surgical instruments, e.g. articulated arms connected to the surgeon's body, e.g. by a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A61B2560/0247—Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0487—Special user inputs or interfaces
    • A61B2560/0493—Special user inputs or interfaces controlled by voice
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Abstract

본 발명은 다수의 소스 이미지를 캡처하기 위한 의료 데이터 수집 장치를 포함하는 통합된 진단 검사 및 실시간 치료를 위한 방법 및 시스템에 관한 것으로, 이 소스 이미지 중 적어도 하나는 기준 마커를 포함한다. 이 방법 및 시스템은 캡처된 소스 이미지를 데이터 스트림으로 인코딩하기 위한 낮은 지연 인코더를 포함하고 센서 데이터의 캡처를 위한 환경 센서 장치를 더 포함한다. 프로세서는 캡처된 센서 데이터 및 기준 마커에 기초하여 소스 이미지를 상황에 따라 수정하도록 사용되며 전송 장치는 상황에 따라 수정된 소스 이미지를 디스플레이 장치에 전송하도록 사용된다.

Description

진단 검사를 실시간 치료에 통합하기 위한 범용 장치 및 방법{Universal device and method to integrate diagnostic testing into treatment in real-time}
본 출원은 2017년 3월 3일에 출원된 미국 임시출원 제 62/466,689호의 우선권을 주장하는 비-임시출원이며, 그 내용은 전체가 본 명세서에 참조로 포함된다.
본 발명의 실시예는 전반적으로 의료 진단 및 치료, 그리고 보다 구체적으로는 의료 영상 장치에 관한 기술의 개선에 관한 것이다.
환자를 보조하는 과정에서, 의료 전문가는 환자에게 영향을 미치는 다양한 질환 및 질병의 진단 및 치료를 보조하기 위해 다양한 장치에 의존한다. 현대 의료 환경의 의료 장비는 환자 치료를 지시하도록 의료 서비스 제공자가 해석할 수 있는 생물학적 파라미터를 측정할 수 있는 장치를 포함한다. 이러한 생물학적 파라미터는 혈압 및 심박수와 같은 활력 징후, 신체 및 그 구조의 이미지 및 전자 의료 기록(EMR)으로 알려진 중앙 데이터베이스에 저장될 수 있는 다양한 다른 생물학적 파라미터를 포함할 수 있다.
일반적으로, 의학적 조언을 추구하는 환자는 먼저 다양한 생물학적 파라미터에 관한 정보를 수집하거나 환자의 이미지를 생성하기 위해 진단 검사를 거쳐서 환자의 이미지를 생성한 다음, 치료 전에 검토를 위해 간호사, 기술자 또는 의사에게 전달될 수 있다. 진단 검사 중에 생성된 이미지는 의료 전문가가 환자를 괴롭히는 모든 통증이나 부상을 완화 또는 복구하는데 도움이되는 특정 절차를 포함하여 치료 과정을 결정하는데 도움을 주기 위해 사용된다. 진단 검사의 예에는 방사선학, 핵 의학, 초음파 및 기타 이미지 생성 기술이 포함될 수 있다. 또한, 생물학적 파라미터 및 이미지는 직접 연결된 디스플레이 모니터 및 물리적 인쇄물을 통한 치료 동안 제공된 서비스와 동시에 제공될 수 있다.
따라서, 본 발명의 실시예는 진단 검사를 실시간으로 하는 치료, 즉 실시간 치료에 통합하는 시스템 및 방법에 관한 것으로, 관련 기술의 제한 및 단점으로 인한 하나 이상의 문제를 실질적으로 제거한다.
의료 전문가와 같은 사용자에게 상황에 따른 적절한 데이터의 디스플레이를 실시간으로 제공하는 것을 지원하기 위한 시스템 및 방법이 제공된다. 상황에 따른 적절한 데이터의 표시는 생체 정보 및 진단 및 기타 이미지로서 표시될 수 있다. 데이터의 표시가 데이터가 수집되는 특정 설정에 적합하도록 의료 전문가에게 데이터를 제시할 때 환경 정보가 고려되도록 데이터가 수집되고 처리된다.
본 발명의 추가 특징 및 장점은 다음의 설명에서 설명될 것이며, 부분적으로는 설명으로부터 명백하거나 본 발명의 실시에 의해 학습될 수 있다. 본 발명의 목적 및 다른 장점은 첨부된 도면뿐만 아니라 본 명세서의 청구범위에서 구체적으로 지목된 구조에 의해 실현되고 달성될 것이다.
이들 및 다른 장점을 달성하기 위해 그리고 본 발명의 목적에 따라, 구현되고 광범위하게 설명되는 바와 같이, 통합된 진단 검사 및 실시간으로 하는 치료, 즉 실시간 치료는 데이터 수집을 포함하는 실시간 데이터 시각화, 데이터 변환 장치로의 데이터 전송, 데이터가 수집되는 제 1 환경 감지, 데이터가 표시되는 제 2 환경 감지, 적어도 제 2 환경에 기초한 상황에 따른 데이터 전송, 상황에 따라 수정된 데이터의 데이터 디스플레이 장치로의 전송 및 상황에 따라 수정된 데이터의 표시를 위해 구성된 방법, 시스템, 장치 및 컴퓨터 판독 가능 매체 각각을 포함한다.
또한, 해부학적으로 정확한 오버레이에서 상황에 따라 수정된 데이터를 표시하면서 환경을 추적하고 영역을 추적함으로써 추가적인 이점이 제공될 수 있으며, 오버레이는 멸균 수술 및 절차 분야에 있을 수 있는 기점 및 다른 추적 가능한 마커를 통해 생성되는 것으로 구현된다.
본 발명의 추가의 이해를 제공하기 위해 포함되고 본 명세서에 포함되어 본 명세서의 일부를 구성하는 첨부 도면은 본 발명의 실시예를 도시하고, 상세한 설명과 함께 본 발명의 원리를 설명하는 역할을 한다. 도면에서:
도 1은 예시적인 실시예에 따른 범용 스트리밍 장치에 대한 연결의 흐름도;
도 2는 예시적인 실시예에 따른 장치의 구성요소의 흐름도;
도 3은 예시적인 실시예에 따른 다양한 데이터 포인트를 갖는 예시적인 캡처된 이미지 프레임을 도시한 도면;
도 4는 예시적인 실시예에 따른 센서 데이터 입력 및 캡처 데이터의 수정을 도시한 도면;
도 5는 예시적인 실시예에 따른 기준 마커를 사용한 환경 추적을 도시한 도면;
도 6은 예시적인 실시예에 따른 시스템의 실시예를 사용하는 전문가를 도시한 도면;
도 7은 예시적인 실시예에 따른 자기 기반 자가-정렬 기준 마커 시스템을 도시한 도면; 그리고
도 8은 예시적인 실시예에 따른 자가-정렬 기준 마커를 갖는 시스템의 실시예를 사용하는 전문가를 도시한 도면이다.
본 발명의 실시예는 일반적으로 장치가 아날로그 또는 디지털로 임의의 의료 데이터 수집 장치 또는 촬영 장치에 연결될 수 있게 하고 낮은 지연 인코더를 사용하여 실시간에 가까운 인코딩 및 캡처된 데이터와 이미지의 스트리밍, 예로서 이미지의 데이터 스트림을 가능하게 하는 시스템 및 방법에 관련된다. 의료 수집 장치는 임의의 유형의 의료 기기 또는 의료 도구 또는 장치일 수 있다. 이 실시예는 의료 영상 장치의 임의의 비디오 출력 포트 또는 다른 연결 포트에 연결되는 장치를 포함할 수 있다. 실시예는 바람직하게는 의료 절차 동안 의료 촬영 장치로부터 의료 전문가에게 상황에 적합한 이미지를 실시간으로 제공하기 위한 코딩 및 프로세스를 포함할 수 있다.
본 발명은 표준 포트, 무선 연결 또는 광학 센서를 통해 현대 의학에서 사용되는 표준 데이터 캡처 장비에 링크될 수 있는 장치를 구현할 수 있다. 이 장치는 그러한 장비로부터 관련 데이터를 캡처하는 능력을 가질 수 있으며, 낮은 지연 프로세스에서 Wi-Fi 표준, Bluetooth, 4G 또는 5G를 포함하지만 이에 국한되지 않는 다양한 프로토콜을 통해 이러한 수정되거나 수정되지 않은 데이터를 무선으로 전송할 수 있다. 낮은 지연 시간은 대상 디스플레이 장치의 데이터 캡처와 디스플레이 사이에서 측정된 250ms 미만을 의미한다. 예를 들어, 실시예는 일반적으로 예를 들어 Wi-Fi, 블루투스 등과 같이 폐쇄형 로컬 네트워크에 걸쳐서 무선으로 또는 원격으로 이미지일 수 있는 데이터를 스트리밍할 수 있는 시스템 및 방법에 관련된다. 이 장치는 적어도 다양한 의료 촬영 장치에 보편적으로 설계되었으며, 사용되는 촬영 장치의 바로 근처에 있는 이미지뿐 아니라 그로부터 멀리 있는 이미지의 해석 또한 가능하게 한다.
또한, 장치는 착용 가능한 디스플레이, 예를 들어 구글 글래스(Google Glass) 또는 마이크로소프트 홀로렌스(Microsoft Hololens)로 이미지를 스트리밍할 수 있으며, 이는 전통적인 디스플레이를 요구하지 않고 임의의 의료 촬영 또는 다른 데이터를 스트리밍할 수 있다.
이 장치는 CPU(중앙 처리 장치), GPU(그래픽 처리 장치) 및/또는 주문형 ASIC(응용 프로그램 특정 집적 회로)을 포함하는 다양한 마이크로프로세서로 데이터를 처리하는 능력을 포함한다. 처리 능력은 낮은 지연 하드웨어 기반 비디오 인코딩, 즉 낮은 지연 인코더, 파일 트랜스코딩, 암호화 인코딩 및 3차원 수정을 허용한다. 이 장치는 또한 무선 액세스 포인트를 포함하여 이 데이터를 WPA2, WPA 또는 기타 인코딩 알고리즘과 같은 보안 연결을 통해 전송할 수 있다.
또한, 장치는 연결된 촬영 장치를 제어하기 위한 릴레이로서 구성될 수 있다. 이 장치는 예를 들어 착용 가능한 디스플레이에 제공되는 음성 및 다른 명령에 응답하도록 구성될 수 있으며, API(application program interface)는 범용 장치에서 실행되고 API는 이 장치가 연결된 촬영 장치 상의 데이터 수집 또는 촬영 설정을 제어한다. 다시 말해서, 이 장치 또는 시스템은 의료 장치, 즉 데이터가 캡처되는 진단 도구 또는 촬영 장치로 전송될 수 있는 업데이트 가능한 명령 라이브러리를 포함할 수 있다. 이 명령은 사용 가능한 API를 통해 연결된 장비의 무선 제어를 허용하도록 구성될 수 있다.
시스템의 다른 실시예는 착용 가능한 장치 또는 API를 통해 연결된 장비를 제어하고 착용 가능한 유닛으로 전송하기 전에 캡처된 데이터를 수정하는데 이용될 수 있는 다양한 다른 센서 시스템으로부터 명령 및/또는 다른 데이터 포인트를 수신하는 능력을 가질 수 있다. 예를 들어, 이것은 초음파 또는 컴퓨터 단층 촬영(CT) 이미지와 같은 캡처된 촬영 데이터의 3차원 조작을 허용할 수 있으며, 이는 이미지를 획득하는 동안 환자에 대해 직접 해부학적으로 정확한 위치에 표시되어 환자 "내로의" 관찰의 인상, 예를 들어 비침습적 이미지를 부여할 수 있다. 이 시스템은 또한 상담, 치료 또는 절차 동안 환자를 실시간으로 볼 수 있는 생리학적 또는 이미지 데이터의 오버레이를 허용하여, 실시간으로 수행되는 의료 소스 이미지로 알려진 소스 이미지의 상황에 따른 수정을 제공할 수 있다.
기준 마커는 생성된 이미지에 나타나는 촬영 시스템의 시야에 배치된 물체이다. 이 마커는 기준점 또는 측정값으로 사용될 수 있다. 실시예에서, 기준 마커는 환자의 특정 영역을 추적하기 위해 사용될 수 있으며, 소스 센서 데이터가 기준 센서와 광학 센서와 같은 외부 센서 데이터의 상관 관계에 기초하여 상황에 따라 수정될 수 있다.
일 실시예에서, 진단 촬영 스캔을 받는 환자는 기준 마커가 제자리에 있는 스캔을 수신할 수 있으며, 이렇게 이러한 기준 마커는 촬영된 데이터로 표현될 수 있다. 일 실시예에서, 이들 마커는 또한 외부 센서에 의해 검출될 수 있고 광학, 레이저, 적외선, 자기 또는 다른 특성을 포함하는 하나 이상의 방법을 사용하여 추적될 수 있다. 외부 센서 데이터와 소스 장비 데이터는 프로세스에 의해 실행되는 이미지 수정 알고리즘을 사용하여 서로 상관될 수 있으며, 따라서 소스 이미지의 상황별 수정을 허용한다. 또한, 환경 센서 장치에 의해 캡처된 환경 센서 데이터는 기준 센서를 실시간으로 추적하여 환경 센서 장치로부터 캡처된 센서 데이터, 예를 들어 캡처된 환경 센서 데이터로부터 소스 이미지의 실시간 상황에 따른 수정을 허용할 수 있다.
일 실시예에서, 기준 마커는 윤곽 또는 랜드마크, 의류 또는 드레이프와 같은 고유한 오버레이 텍스처, 광학 패턴, 광원, 자기장원, 또는 다른 검출 가능한 물체와 같은 고유한 형상 또는 패턴과 같은 스캔된 물체의 고유 특징일 수 있다. 이러한 방식으로, 기준 마커는 구조 및/또는 기능에서 수동적이거나 능동적일 수 있다. 실시예에서, 기준 마커는 단일 추적 가능 지점을 나타낼 수 있고, 다른 실시예에서 기준 마커는 하나 이상의 벡터를 전달하여 다중 차원으로 추적될 수 있게 한다. 또한, 실시예에서, 기준 마커는 초기의 마커 소스를 나타낼 수 있고, 이에 의해 환경 센서 장치가 추적된 기준 마커의 특성, 크기 및 정확도를 확장하기 위해 인접한 환경 특징, 구조 및 텍스처를 매핑할 수 있다.
영상 유도 의료 절차의 맥락에서, 기준 마커는 현장 멸균 전에 소스 데이터에 포함되어야 하지만, 현장 멸균 후에 환경 추적 장비에 또한 가시적이고 접근 가능할 수 있다. 또한, 기준 마커는 무균 수술 필드/드레이프 상에 오버레이될 필요가 있고 추적되는 동안 대상에 대한 위치에서 고정된 상태로 유지되어야 할 수 있다. 이러한 방식으로, 기준 마커는 수술장의 멸균 전후에 존재해야 하고, 무균성을 손상시키지 않으면서 멸균장에 포함되어야 하며, 수술장 멸균 공정 전후에 그 위치를 변경하지 않아야 할 수 있다.
일 실시예에서, 이미지 정렬 절차 동안 정확한 환경 추적의 이러한 필수 구성요소를 해결하기 위해 자가-정렬 및 보충-수집하는 기준 마커가 사용될 수 있다. 이러한 실시예에서, 접착식 또는 비접착식 기반 기준 마커는 초기 데이터 획득 동안 이미지화된 대상의 특정 부위에 부착될 수 있다. 이러한 기준 마커는 부위 멸균 동안 변하지 않은 위치에 유지될 수 있으며 멸균 수술 드레이프의 배치 동안 덮일 수 있다. 이어서, 상보적 멸균 기준 마커는 자기력 또는 전자력 인력과 같은 인력을 이용하여 드레이프를 통해 초기 마커에 부착될 수 있다. 이 두 개의 기준 마커는 서로 가깝게 접근할 때 기본 속성을 기반으로 자가-정렬될 수 있으며 오버 드라이브 기준 마커는 환경 센서 장비에 의해 추적되어 비-멸균 마커의 정확한 대리 역할을 한다. 일 실시예에서, 주변 드레이프 구성 및 텍스처는 또한 추적 가능한 영역을 확장하도록 매핑될 수 있다. 다른 실시예에서, 다수의 기준 마커가 사용될 수 있고, 비-멸균 마커가 멸균될 수 있거나, 환경 센서 장비가 커버된 마커를 추적할 수 있거나, 또는 멸균 후 마커 부위가 정확하게 정의될 수 있다.
다른 실시예에서, 추적 가능한 영역을 연장시키기 위해 추가의 추적 가능한 마커가 배치될 수 있다. 이러한 추가 마커와 초기에 배치된 마커의 관계는 추적 가능한 필드를 확장하고/하거나 상황에 따른 이미지 수정을 위한 추가 기준점을 제공하기 위해 외삽될 수 있다. 이러한 방식으로, 원래 배치된 기준 마커 또는 마커가 환경 센서에 의해 충분히 추적 가능하지 않은 경우 추가적인 추적 가능 지점이 사용될 수 있다.
데이터 캡처 장치로부터, 캡처 데이터 인코딩은 지연를 최소화하기 위해 하드웨어 가속될 수 있다. 낮은 지연은 데이터 소스 장비로 촬영한 이미지, 예로서 소스 이미지를 실시간으로 해석하는데 중요하다. 이 장치는 특히 무선 네트워크를 통해 지연 시간이 매우 짧은 스트리밍 응용 프로그램에서 활용될 수 있도록 견고하게 설계된다.
실시예는 예를 들어 진단 방사선학, 개입식 방사선학, 이미지 유도 수술, 핵 의학, 초음파, 초음파 촬영 등을 포함하는 다양한 의료 기술에 적용될 수 있다. 진단 방사선학은 다양한 촬영 방식의 사용에 관한 것이다. 질병 진단을 돕기 위해. 진단 방사선학은 엑스레이 기계, 기타 방사선 장치 및 방사선을 포함하지 않을 수 있는 자기 공명 영상(MRI) 및 초음파와 같은 기술을 사용할 수 있다. 개입식 방사선학은 카테터, 와이어, 코일, 프로브 또는 기타 적절한 장비와 같은 도구를 사용하여 의료 개입 및 절차를 안내하기 위해 의료 이미지 데이터를 사용하는 것과 관련이 있다.
핵 의학은 질병의 진단 및 치료에 방사성 물질의 적용을 포함하는 의학적 전문 분야이다. 방사성 물질은 다양한 질병을 진단하고 치료하는데 도움이 되는 추적자 역할을 한다. 핵 의학은 외부에서 발생하는 방사선이 아닌 신체 내에서 방출되는 방사선을 기록하는 것을 포함한다. 핵 의학은 장기, 조직 또는 뼈의 기능에 따라 의학적 문제의 원인을 파악할 수 있는 반면, 엑스레이, 초음파 또는 기타 진단 검사는 구조적 외관에 따라 질병의 존재를 결정한다.
초음파는 내부 구조를 포함하여 신체 내부를보기 위해 음파를 사용하는 것을 포함한다. 초음파는 신체 내부 장기의 부기와 감염을 관찰하고 임산부의 아기를 검사하며, 생검의 가이드, 심장 상태의 진단 및 심장 마비 후 손상의 평가에 가장 많이 사용된다.
의료 전문가의 전문적인 업무를 지원하는데 사용되는 장치들 중에서도 촬영 장치가 더욱 중요해지고 있으며, 환자의 해부학 및 생리학에 대한 정보를 외부 피부에 깊게 제공하는데 사용된다. 다시 말해서, 촬영 장치는 의사 및 다른 의료 전문가가 침습적 수술 없이 환자를 볼 수 있게 한다.
전술된 바와 같이, EMR로서 저장될 뿐만 아니라 환자로부터 수집된 건강 관리 정보는, 이들 데이터 수집 장치에 유선으로 직접 연결된 모니터 상에 인쇄되거나 디스플레이될 수 있다. 정보가 의료 전문가에게 유용하도록, 즉 이 정보를 해석하기 위해서, 의료 서비스 제공자와 인쇄물 또는 디스플레이 모니터 사이에 직접적인 시선이 있어야 한다. 이러한 요구사항은 정보의 유용성과 진단 또는 치료 서비스를 위한 장치의 배치를 제한할 수 있다. 많은 의료 환경에서 서비스 제공 업체는 치료를 지시하는데 필요한 모든 관련 정보를 보기 위해 지속적으로 시야를 변경하며 시야를 조정해야 할 수도 있다. 이러한 요구사항은 진행중인 수술 절차 중에 수집된 정보의 경우와 같이, 성가시거나 잠재적으로 안전하지 않을 수 있다.
일부 경우에, 의료 기기는 수집된 데이터가 즉시 이용 가능한 경우에만 유용하다. 예를 들어, 수술자가 환자 내부의 병변 생검을 목표로 하는 초음파 유도 절차를 수행할 때, 수술자는 중요한 구조가 손상되지 않도록 항상 바늘 끝 또는 생검 장치의 팁 위치를 알아야 한다. 이렇게, 이 데이터를 실시간으로 해석하기 위한 필수 요소는 운영자에 대한 실시간 가용성이다.
본 발명의 실시예는 일반적으로 표준 데이터 소스 장비에 링크된 장치, 방법 및 시스템에 관한 것이다. 표준 데이터 소스 장비에는 초음파, 혈관 조영, 형광 투시, 광섬유, 컴퓨터 단층 촬영 및 자기 공명 영상 장치와 같은 의료 장비가 포함된다. 본 발명의 실시예는 소스 장비에 물리적으로 부착된 표준 포트, 무선 연결 및 광학 센서를 통해 의료 장비와 같은 데이터 소스 장비와 상호 작용하도록 구성된 장치를 포함한다. 표준 포트는 USB, HDMI, DVI, 디스플레이 포트, VGA, 구성요소, 컴포지트 및 S-비디오 포트를 포함한다. 데이터 소스 장비 상의 표준 데이터 출력 포트는 일 실시예에 직접 연결될 수 있으며, 이 실시예는 낮은 지연(즉, < 250ms)을 가지고 아날로그 및 디지털 소스로부터 데이터를 캡처하고, 원래의 형태 또는 수정된, 예로서 암호화된 형태의 데이터를 무선으로 전송하도록 구성된다. 데이터의 전송은 802.11a, 802.11b, 802.11n, 802.11ac, 802.11ad, Bluetooth 및 4G 또는 5G 네트워크와 같은 Wi-Fi 표준을 포함한 무선 프로토콜을 통해 이루어질 수 있다. 데이터의 전송은 패킷 스위칭 프로토콜, 예를 들어 UDP(User Data Protocol) 또는 TCP(Transmission Control Protocol)를 사용하여 수행될 수 있다.
일 실시예에서, 시스템은 소스 장비로부터 캡처된 데이터의 데이터 마이닝을 허용하는 컴퓨터 비전 및/또는 광학 문자 인식(OCR) 알고리즘을 포함할 수 있다. 예를 들어, 초음파 기계로부터 캡처할 때, 시스템은 환자의 이름, 다른 식별 정보, 이미지 획득 파라미터 및/또는 다른 텍스트 오버레이 정보와 같은 캡처된 소스 이미지 내에 내장된 데이터 포인트를 추출할 수 있다.
장치의 실시예는 낮은 지연을 갖는 데이터의 전송을 제공한다. 낮은 지연은 대략 목표 디스플레이 장치 상에서의 표시를 위해 데이터 캡처로부터 측정된 바와 같은 250ms보다 작은 것으로 간주된다. 의료 전문가는 안전하고 효과적인 치료를 제공하기 위해 거의 실시간 데이터가 필요할 수 있기 때문에 짧은 대기 시간은 응용 프로그램의 중요한 측면이다. 낮은 지연 시간 캡처 및 데이터 전송을 보장하기 위해, 이 장치/시스템에는 최소한 CPU(중앙 처리 장치), GPU(그래픽 처리 장치) 및/또는 다양한 ASIC(응용 프로그램 특정 집적 회로) 구성요소를 통한 미세 처리 기능이 포함되어 있다. 이들 구성요소는 보안 무선 연결을 통한 전송 전에 낮은 지연 하드웨어 인코딩 및/또는 데이터의 트랜스코딩을 제공하도록 함께 작동하도록 구성된다. 또한, GPU 및/또는 ASIC 시스템의 사용을 통해, 획득된 데이터는 다양한 환경 센서로부터의 입력에 기초하여 다양한 형식으로 표시되도록 수정될 수 있다.
이 데이터를 전송하기 위해, 이 시스템은 WPA, WPA2와 같은 프로토콜 또는 다른 인코딩 알고리즘을 사용하여 보안 연결을 통해 무선으로 데이터의 전송을 용이하게 하는 무선 액세스 포인트를 포함할 수 있다. 장치가 근거리 통신망(LAN) 또는 광역 통신망(WAN)에 있는 동안 데이터가 전송될 수 있다. 인코딩된 데이터가 액세스 포인트의 범위를 초과하여 전송되지 않기 때문에, LAN 시스템은 예를 들어 개인 건강 정보(PHI)와 같은 매우 민감한 정보의 전송에 바람직할 수 있다. 또한, 인터넷을 통한 데이터의 원격 전송을 위해 WAN 시스템이 이용될 수 있으며 광범위한 원격-프레즌스 또는 원격-의료 기능을 용이하게 할 수 있다. WiFi 프로토콜 외에도, 추가 무선 스트리밍 솔루션에는 Bluetooth 표준 또는 기타 잠재적 프로토콜에 의해 정의된 것과 같은 다른 무선 기반 무선 전송 프로토콜이 포함될 수 있다.
부가적으로, 일 실시예에서, 시스템은 데이터가 캡처되는 장비로 전송될 수 있는 명령 라이브러리를 포함할 수 있다. 라이브러리는 인터넷에 무선으로 연결하거나 장치에서 로컬로 실행되는 패치를 사용하여 업데이트할 수 있다. 시스템은 전송되는 소스 데이터 소스의 유형을 자동으로 감지하도록 구성될 수 있다. 시스템은 또한 전송되는 소스 데이터의 유형에 기초하여 라이브러리로부터 적절한 API를 선택하도록 구성될 수 있다. 일 실시예에서, 적절한 API의 수동 선택이 자동 선택 대신에 또는 자동 선택에 추가하여 수행될 수 있다.
라이브러리는 이용 가능한 특정 응용 프로그래밍 통합(API)을 통해 연결된 장비의 무선 제어를 허용하도록 구성된다. 예를 들어, 예시적인 실시예에서, 사용자는 음성 명령, 물리적 제스처 또는 다른 적절한 방법을 사용하여 임의의 수의 명령을 시스템에 제출할 수 있다. 이 명령은 시스템에 의해 해석되어 데이터가 캡처되는 장치로 릴레이될 수 있다. 이 명령은 시스템으로 하여금 사용자가 의도한대로 데이터 수집 파라미터를 변경하게 한다.
일 실시예에서, 제 3 자 장치는 API 시스템을 사용하여 시스템과 통신한다. 장치 유형, 브랜드, 파일 유형 또는 기타 파라미터를 기반으로 제 3 자 장치에 대해 사용자 정의할 수 있는 API 시스템은, (음성, 제스처, 시선 추적, 키보드, 마우스 또는 트랙패드와 같은 입력 명령 및 환경 센서 데이터, 예로서 (자이로-센서, 가속도계, 레이저 위치 측정 시스템, 자력계 및/또는 광학 카메라에 의해 수집된 데이터와 같은) 캡처된 센서 데이터를 포함하지만 이것으로 제한되지 않는 다양한 명령 및/또는 환경적 파라미터의 전송 및 활용을 허용한다. 명령은 시스템 및/또는 데이터 소스 장비를 제어할 수 있도록 구성될 수 있다. 또한, 환경 센서 데이터는 시스템에 의해 통합되고 해석되어 소스 데이터를 상황에 맞게 수정할 수 있다. 전송 전에 시스템에 의해 상황에 따른 수정이 이루어질 수 있다. 전송 장치에 의해 전송된 데이터는 착용 가능한 유닛으로 전송되거나 의료 전문가와 같은 사용자에게 표시될 수 있다.
예를 들어, 예시적인 구현에서, 사용자는 바늘 생검 장치를 사용해 환자의 간 내의 질량의 생검을 목표로 하여 초음파 소스 장치를 사용하는 동시에 카메라, 안구 추적기 및/또는 위치 센서와 같은 센서를 포함하는 착용 가능한 디스플레이 장치를 이용할 것이다. 이 예에서, 초음파 소스 머신은 유선 연결을 통해 시스템에 연결되어 시스템이 초음파 머신으로부터 이미지를 캡처할 수 있게 한다. 이 시스템은 보안 연결을 통해 착용 가능한 디스플레이 장치에 무선으로 연결되어 캡처된 초음파 이미지를 착용 가능한 장치에 HIPAA(Health Insurance Portability and Accountability Act) 호환 낮은 지연 시간 전송을 허용한다. 또한, 이 시스템은 착용 가능한 장치로부터의 환경 센서 데이터에 기초하여 캡처된 초음파 소스 데이터를 3차원으로 수정할 수 있다. 소스 데이터의 3차원 수정은 생검 장치의 경로를 투영하면서 해부학적 정확성을 가지고 환자에 직접 이미지의 낮은 지연 시간 투영을 생성한다. 대안적으로, 낮은 지연 전송은 환자에게 영사하는 대신 착용 가능 장치를 사용하여 볼 수 있다. 또한, 음성 명령 및 제스처 제어를 통해, 시스템은 사용자가 콘솔의 버튼을 물리적으로 누를 필요 없이 초음파 소스 장치의 획득 파라미터를 무선으로 변경할 수 있도록 구성될 수 있다.
도 1은 예시적인 실시예에 따른 범용 스트리밍 장치에 대한 연결의 흐름도를 도시한다.
도 1에 도시된 바와 같이, 예시적인 실시예에 따라 시스템(100)의 흐름도가 도시되었다. 시스템(100)은 프로세서 및 메모리와 같은 시스템(100)의 다양한 구성요소 사이에서 정보를 통신하도록 구성된 버스 및/또는 다른 통신 메커니즘(들)을 포함하는 컴퓨터 구성요소를 포함할 수 있다. 또한, 통신 장치는 네트워크(도시되지 않음)를 통해 프로세서로부터 다른 장치로 전송될 데이터를 인코딩하고 프로세서를 위해 네트워크를 통해 다른 시스템으로부터 수신된 데이터를 디코딩함으로써 프로세서와 다른 장치 사이의 연결을 가능하게 할 수 있다.
시스템(100)은 일 실시예에 따른 범용 스트리밍 장치(101)에 대한 연결을 포함할 수 있다. 데이터 소스 장비(102)는 예를 들어 환자로부터 데이터를 수집하도록 구성된다. 데이터 소스 장비(102)는 일 실시예에 따른 범용 스트리밍 장치(101)가 데이터 소스 장비(102)에 연결될 수 있는 포트(105)를 포함할 수 있다. 포트(105)는 USB, HDMI, DVI, 디스플레이 포트, VGA, 구성요소, 컴포지트, S-비디오 또는 기타 입력/출력 포트일 수 있다.
일 실시예에서, 데이터 소스 장비(102)는 범용 스트리밍 장치(101)에 물리적으로 연결될 수 있다. 다른 실시예에서, 데이터 소스 장비(102)는 범용 스트리밍 장치(101)에 무선으로 연결될 수 있다. 시스템(100)은 또한 디스플레이 장치(103)를 포함할 수 있고 그에 따라 데이터 소스 장비(102)에 의해 수집된 데이터가 디스플레이될 수 있다. 디스플레이 장치(103)는 일 실시예에서 범용 스트리밍 장치(101)에 물리적으로 연결될 수 있다. 다른 실시예에서, 디스플레이 장치(103)는 범용 스트리밍 장치(101)에 무선으로 연결될 수 있다. 범용 스트리밍 장치(101)와 디스플레이 장치(103) 사이의 연결(107)은 착용 가능할 수 있고 유선 또는 유선으로 연결될 수 있다.
디스플레이 장치(103)는 수집된 데이터로부터 조립된 생체 데이터 또는 다른 데이터 또는 이미지를 표시하도록 구성된 디스플레이 모니터일 수 있다. 일 실시예에서, 디스플레이 장치는 데이터 또는 데이터로부터 생성된 이미지를 표시하는 착용 가능한 장치일 수 있다. 디스플레이 장치는 또한 데이터 또는 데이터로부터 조립된 이미지를 나타내는 복수의 장치일 수 있다. 디스플레이 장치(103)는 데이터로부터 데이터 또는 이미지로부터 조립된 이미지 또는 이미지를 2차원, 3차원, 와이어 프레임, 또는 환자에 대한 오버레이로서 표시하도록 구성될 수 있다. 디스플레이 장치(103)는 환자 기록으로부터와 같은 기존 데이터 또는 이미지를 통합하도록 구성될 수 있다.
실시예에서, 디스플레이 장치(103)는 또한 적어도 환경 센서(104)로부터 정보를 통합할 수 있다. 환경 센서(104)는 수집 또는 촬영 데이터의 대상 둘레의 환경을 조사 및 측정하도록 구성된 자이로-센서, 가속도계, 레이저 포지셔닝 시스템, 자력계, 광학 센서, 또는 다른 장치일 수 있으며, 대상은 예를 들어 환경에서 추적된 환자 또는 다른 물체이다. 환경 센서(104)는 유선 또는 무선인 연결(108)을 가질 수 있다. 실시예에서, 디스플레이 장치(103)는 통합된 환경 센서(104)로 구성될 수 있다.
실시예에서, 범용 스트리밍 장치(101) 및 디스플레이 장치(103)는 착용 가능한 장치를 사용하여 사용자가 보는 환경을 데이터 소스 장비(102)에 의해 수집된 데이터와 통합하도록 구성된다. 디스플레이 장치(103)는 데이터 및 이미지가 착용 가능한 장치를 통해 사용자에게 표시되는 동시에 사용자가 대상, 즉 환자를 명확하게 볼 수 있게 하도록 구성된다. 따라서, 사용자는 환자를 외부에서 동시에 보면서 동시에 대상 내에 있거나 대상에 침투하는 것처럼 오버레이된 생체 데이터 및 이미지를 볼 수 있다.
일 실시예에서, 디스플레이 장치(103)는 이미지를 영사하도록 구성될 수 있다. 디스플레이 장치(103)는 이미지를 사용자의 시야 내에 표면 상에 영사하도록 구성될 수 있다. 예를 들어, 디스플레이 장치는 데이터 소스 장비(102) 및 환경 센서(104)로부터 데이터를 수신하여 사용자의 시선 방향을 인식하고 시선 방향의 표면 상에 데이터 또는 이미지를 투영할 수 있다. 예를 들어, 디스플레이 장치(103)는 벽, 바닥 또는 다른 곳으로 투영을 지향시키도록 구성될 수 있다. 일 실시예에서, 디스플레이 장치(103)는 검사중인 대상의 신체 상에 또는 어느 데이터가 수집되고 있는지에 대해 이미지를 영사하도록 구성될 수 있다.
일 실시예에서, 디스플레이 장치(103)는 착용 가능한 장치의 착용자에게만 보이는 데이터 및 이미지를 표시하도록 구성될 수 있다. 이러한 착용 가능한 장치는 한 쌍의 투명 렌즈 또는 다른 광학 장치로서 구현될 수 있다. 예를 들어, 일 실시예에서, 디스플레이 장치(103)는 착용 가능한 장치의 사용자가 데이터 또는 이미지로 주변 환경을 볼 수 있도록 착용 가능한 장치의 내부 표면에 착용 가능한 장치를 통해 보이는 주변 환경에 오버레이된 데이터 또는 이미지(또는 둘 다)를 중첩시키도록 구성된다.
일 실시예에서, 시스템(100)은 유선 또는 무선일 수 있는 HCI 입력 포트(109)를 통해 인간-컴퓨터 인터페이스(HCI)로부터 입력을 수신하도록 구성될 수 있다. 이러한 HCI는 키보드 및 마우스, 터치 패드 또는 다른 유형의 HCI를 포함할 수 있다. 일 실시예에서, 디스플레이 장치(103)는 다양한 사용자 명령의 해석을 허용하는 HCI로 구성될 수 있다. 이들 명령은 손 제스처, 음성 명령 및/또는 시선 추적을 포함할 수 있지만 이에 제한되지는 않는다. 이러한 실시예에서, 사용자는 디스플레이 장치(103)를 통해 제출된 명령을 사용하여 시스템(100)의 다양한 파라미터를 직접 제어할 수 있다.
또한 실시예에서, 데이터 소스 장비(102)는 데이터 소스 장비(102)로의 데이터 입력을 수용하도록 구성된 포트(106)를 가질 수 있다. 포트(106)는 포트(105)와 별개의 개별 포트일 수 있다. 일 실시예에서, 포트(106)는 포트(105)와 공통 포트일 수 있다. 포트(106)는 데이터 소스 장비(102)에 대한 제어 명령을 포함할 수 있는 데이터를 수용하도록 구성될 수 있다. 일 실시예에서, HCI 입력은 HCI 입력 포트를 이용하는 범용 스트리밍 장치(101)를 통해 데이터 소스 장비(102)로 전달될 수 있다. 이러한 실시예에서, 디스플레이 장치(103)는 데이터 소스 장비(102) 내의 다양한 데이터 획득 파라미터를 제어하기 위해 HCI로서 사용될 수 있다.
도 2는 예시적인 실시예에 따른 범용 스트리밍 장치(101)의 구성요소의 흐름도를 도시한다.
도 2에 도시된 바와 같이, 스트리밍 장치(201)를 포함하는 시스템(200)이 도시되었다. 스트리밍 장치(201)는 장치 메모리(202)를 포함하도록 구성될 수 있다. 실시예에서, 장치 메모리(202)는 전술된 바와 같이 데이터 소스 장치(102)를 제어하도록 구성될 수 있는 API의 라이브러리(203)를 포함할 수 있다. 스트리밍 장치(201)의 장치 메모리(202)는 또한 다양한 센서 데이터의 입력을 허용하도록 구성된 API(204)를 포함할 수 있다. API(204)는 다양한 HCI 명령의 입력을 허용하도록 구성될 수 있다. 실시예에서, 스트리밍 장치(201)는 전송 구성요소(205)를 포함할 수 있다. 실시예에서, 전송 구성요소(205)는 유선 전송 구성요소로서 구성될 수 있다. 실시예에서, 전송 구성요소(205)는 무선 전송 구성요소로서 구성될 수 있다.
실시예에서, 스트리밍 장치(201)는 마이크로 프로세서 시스템일 수 있는 프로세서 시스템(206)을 포함할 수 있다. 프로세서 시스템(206)은 CPU, GPU, ASICS 및 기타 적절한 구성요소를 포함하는 구성요소를 포함할 수 있다. 일 실시예에서, 장치 메모리(202)는 연결(207)을 통해 데이터 소스 장비(102)로부터 데이터를 수신하도록 구성될 수 있다. 일 실시예에서, 장치 메모리(202)는 연결(208)을 통해 데이터 소스 장비(102)로 데이터를 전송하도록 구성될 수 있다.
일 실시예에서, 전송 구성요소(205)는 연결(209)을 통해 환경 센서(104)로부터 데이터를 수신하도록 구성될 수 있다. 일 실시예에서, 전송 구성요소(205)는 연결(210)을 통해 디스플레이 장치(103)에 데이터를 전송하도록 구성될 수 있다. 실시예에서, 전송 구성요소(205)는 연결(215)을 통해 HCI 입력 데이터를 수신하도록 구성될 수 있다. 또한, 전송 구성요소(205)는 입력 및 출력 연결(211, 212)에 의해 장치 메모리(202)에 연결될 수 있다. 프로세서 시스템(206)은 입력 및 출력 연결(213, 214)에 의해 장치 메모리(202)에 연결될 수 있다.
도 3은 예시적인 실시예에 따른 다양한 데이터 포인트를 갖는 예시적인 캡처된 이미지 프레임(300)의 예시이다.
도 3에 도시된 바와 같이, 예시적인 캡처된 이미지 프레임은 범용 스트리밍 장치(101)가 추출하도록 구성될 수 있는 다양한 데이터 포인트를 포함할 수 있다. OCR 또는 컴퓨터 비전 알고리즘은 환자 식별 정보(301), 이미지 획득 파라미터(302), 측정 정보(304) 또는 다른 텍스트 오버레이 정보(305)를 식별 및 추출할 수 있다. 일 실시예에서, 범용 스트리밍 장치(101)는 의료 영상(303)의 CAD(computer aided detection)를 허용하는 컴퓨터 비전 알고리즘으로 구성될 수 있다.
도 4는 예시적인 실시예에 따른 센서 데이터 입력 및 캡처 데이터의 수정의 예시이다.
도 4에 도시된 바와 같이, 데이터 캡처를 위한 시스템(400)이 도시되었다. 일 실시예에서, 메모리 구성요소(402)는 입력(405)을 통해 메모리 구성요소(402)에 제공된 소스 데이터를 저장하도록 구성될 수 있다. 일 실시예에서, 메모리 구성요소(402)는 연결(406)을 통해 메모리 구성요소(402)에 제공된 환경 데이터를 저장하도록 구성될 수 있다. 메모리 구성요소(402)는 또한 원래의 또는 수정될 수 있는 데이터를 내보내도록 구성된 출력(407)을 가질 수 있다. 메모리 구성요소(402)는 데이터 및 이미지를 시스템(400)의 사용자가 이용할 수 있도록 출력 장치로 전송될 수 있는 출력(407)을 포함할 수 있다.
일 실시예에서, 메모리 구성요소(402)는 출력(408) 및 입력(409)을 통해 데이터가 적절하고 낮은 지연로 적절하게 전송되도록 구성되는 구성요소를 포함하는 마이크로프로세싱 어레이(404)에 추가로 연결될 수 있다. 일 실시예에서, 마이크로프로세싱 어레이(404)는 입력(405) 및 연결(406)로부터 메모리 구성요소(402)로 들어오는 데이터를 분석하기 위한 구성요소를 포함할 수 있다. 마이크로프로세싱 어레이(404)는 메모리 구성요소(402)로 입력된 데이터를 분석 및 해석하여 장치(401)가 맥락화된 출력을 출력(407)을 통해 사용자에게 제공할 수 있다. 마이크로프로세싱 어레이는 출력(407)을 통해 사용자에게 출력된 데이터가 환경 및 상황이 장치를 사용하여 직면하는 환경 및 상황에 적절하게 맥락화되도록 장치(401)에 입력된 데이터를 수정하기 위한 적어도 제 1 API를 포함할 수 있다.
도 5는 예시적인 실시예에 따른 환경 및 요소 추적을 설명하는 예시적인 예시이다. 도 5에 도시된 바와 같이, 추적 요소(501)는 데이터 소스 장비(503)의 추적 가능한 구성요소(502)에 부착될 수 있다. 이 추적 요소 또는 기준 마커는 외부 환경 센서(504) 또는 전문가(506)가 착용할 수 있는 디스플레이 장치(505)에 내장된 센서로 추적될 수 있다.
도 6은 예시적인 실시예에 따른 시스템의 실시예를 사용하는 전문가의 예시이다.
도 6에 도시된 바와 같이, 의료 장치 또는 다른 사용자(610)가 여기에 초음파 장치로서 구현된 추적 가능한 요소(616)를 갖는 데이터 소스 장비(602)를 취급하는 시스템(600)이 도시되었다. 데이터 소스 장비(602)는 프로세서, 버스, 메모리 및 API와 같은 알고리즘을 포함할 수 있는 컴퓨터 구성요소(603)에 연결된다. 컴퓨터 구성요소(603)는 컴퓨터 모니터와 같은 디스플레이에 연결될 수 있다. 사용자(610)는 또한 착용 가능한 장치(611)를 사용할 수 있다. 컴퓨터 구성요소(603)로부터 장치(601)에 의해 캡처된 데이터는 수정되거나 수정되지 않은 데이터로서 디스플레이 장치(611)에 전송될 수 있다. 데이터는 예를 들어 도 3에 의해 개략적으로 설명된 바와 같이 캡처된 데이터로부터 추출된 데이터 포인트뿐만 아니라 환경 센서(614) 데이터를 이용하여 상황에 적합한 방식으로 표시되도록 수정될 수 있다. 일 실시예에서, 추적 가능한 요소(605)는 컴퓨터 구성요소(603)에 의해 통합될 수 있으며 사용자(610)에 표시될 수 잇는 데이터를 제공할 수 있다. 추적 가능한 요소(605)는 (도시된 바와 같이) 착용 가능한 요소, 센서로 구현되거나, 데이터 소스 장비(602)의 일부로서 통합될 수 있다. 이러한 방식으로, 사용자(610)는 본 발명의 실시예에 따른 장치(601)에 의해 제공되는 맥락화된 또는 상황에 따라 수정된 소스 이미지를 볼 수 있다. 상황에 맞게 수정된 이미지 및 상황에 따라 수정된 소스 이미지는 텍스트, 아이콘, 그래픽 또는 기타 이미지 유형을 포함할 수 있다. 이미지는 어떤식으로도 제한되지 않는다.
일 실시예에서, 착용 가능한 장치(611)는 착용 가능한 장치(611) 내에 사용자(610)가 볼 수 있도록 맥락화된 이미지를 표시한다. 다른 실시예에서, 착용 가능한 장치(611)는 이미지(613)로 도시된 환자(612)를 포함하는 맥락화된 이미지를 표면에 방송하거나 영상할 수 있다.
대안적인 실시예에서, 사용자(610)는 휴대용 또는 착용 가능할 수 있는 이미지 영사 장치를 제어할 수 있으며, 이미지는 시야 부근에 있는 누군가가 이미지(613)를 볼 수 있도록 표면 또는 환자(612) 상으로 영사되도록 한다.
도 7은 예시적인 실시예에 따른 자기 기반 자가-정렬 기준 마커 시스템의 예시이다.
도 7에 도시된 바와 같이, 이미지 유도 절차 동안 현장 멸균 전후에 추적 가능한 기준 마커를 상관시키기 위한 시스템(700)이 이용될 수 있다. 일 실시예에서, 비-멸균 자석(703)은 비-멸균 자석이 환자(701)에 부착될 수 있게 하는 접착성 배킹(backing)(702)을 갖는다. 비-멸균 자석은 상보적 자기 표면에 고정된 비-멸균 추적 가능한 식별자(705)를 가질 수 있다. 이와 같이, 비-멸균 기점 조립체(709)는 접착제 백킹(702), 비-멸균 자석(703) 및 드레이프(704)와 같은 구성요소의 조립체를 포함할 수 있다. 환자 멸균 전에, 환경 센서(708)는 비-멸균 기점 조립체를 추적할 수 있다. 환자 멸균 후에, 드레이프(704)가 환자에게 오버레이될 수 있고 환경 센서(708)에 의한 직접 추적을 방지하는 비-멸균 기점 조립체(709)를 덮을 수 있다.
멸균 기점 조립체(710)는 비-멸균 자석(703)과의 정확한 정렬을 가능하게 하는 상보적 인력 및 특성을 갖는 멸균 자석(706)의 조립체를 포함한다. 멸균 자석(706)은 환경 센서(708)에 의해 추적될 수 있는 자신의 비-상보적 자기 표면 상에 멸균 추적 마커(707)를 가질 수 있다. 비-멸균 기점 조립체(709)를 덮는 드레이프와 함께, 무균 기점 조립체(710)는 고유 자기 특성을 이용하여 (709)에 오버레이되고 정확하게 정렬될 수 있다.
도 8은 예시적인 실시예에 따른 자가-정렬 기준 마커 시스템을 구비한 시스템의 실시예를 사용하는 전문가의 예시이다.
도 8에 도시된 바와 같이, 시스템(800)은 의료 전문가 또는 다른 사용자(803)가 실시예에서 CT 스캔으로 도시된 데이터 소스 장비(801)를 사용하여 환자(802)에 대한 이미지 안내 절차를 수행한다. 이 예에서, 사용자(803)는 환자 구조(808)에 관한 환자 멸균 영역(806)에서 작업하는 반면, 멸균 드레이프(805)는 환자(802) 위에 놓인다. 추적 가능하고 도 7에 도시된 것과 유사한 2개의 기준 마커(807a 및 807b)는 멸균 필드 내에 위치한다. 외부 센서(809)는 기준 마커(807a 및 807b)를 추적할 수 있다. 일 실시예에서, 착용 가능한 디스플레이 장치(804)는 또한 적어도 제 1 외부 센서를 포함할 수 있으며, 추가 센서는 기준 마커(807a 및 807b)의 추적을 허용한다. 일 실시예에서, 기준 마커(807a 및 807b)에 인접한 지역 지형 및 텍스처 특징부는 외부 센서(809)에 의해 감지되는 추적 가능한 영역을 확장할 수 있다.
데이터 소스 장비(801)는 프로세서, 버스, 메모리 및 API와 같은 알고리즘을 포함할 수 있는 컴퓨터 구성요소(810)에 연결될 수 있다. 컴퓨터 구성요소(810)는 컴퓨터 모니터와 같은 디스플레이에 연결될 수 있다. 사용자(803)는 또한 착용 가능한 디스플레이 장치(804)를 사용할 수 있다. 데이터 소스 장비(801)로부터 컴퓨터 구성요소(810)에 의해 캡처된 데이터는 수정되거나 수정되지 않은 데이터로서 디스플레이 장치(811) 또는 착용 가능한 장치(804)로 전송될 수 있다. 데이터는 임의의 수의 807a, 807b와 같은 기준 마커 둘 모두 또는 추가된 마커를 추적하면서 외부 센서(809)를 이용하여 상황에 적합한 방식으로 표시되도록 수정될 수 있다. 일 실시예에서 데이터는 예를 들어 도 3에 의해 요약된 바와 같은 컴퓨터 구성요소(810)에 의해 캡처된 데이터 또는 예를 들어 801로부터 유도된 소스 이미지와 같은 소스 이미지 데이터 내에 구현된 메타 데이터로부터 수정될 수 있다. 이러한 방식으로, 사용자(803)는 본 발명의 실시예에 따른 데이터 소스 장비(801)에 의해 제공된 수정된 문맥화된 또는 상황에 따른 이미지를 볼 수 있다.
본 명세서에서 논의된 다양한 실시예는 CT, 초음파, MRI, 형광 투시, 혈관 조영술 및 복강경 검사, 대장내시경, 위내시경(EGD) 및 방광경 검사 중에 촬영된 것과 같은 광학 내시경 이미지 등과 같은 의료 이미지를 포함하는 다양한 데이터를 캡처하고 표시하는데 사용될 수 있다. 데이터는 이미지, 혈압, 심박수, 호흡수, 맥박 산소화, 온도 및 기타 생체 측정 값과 같은 바이탈이 또한 포함될 수 있다. 데이터는 또한 심전도(EKG), 뇌파(EEG), 심전도 등의 데이터를 포함할 수 있다. 또한, 실시예는 송풍기, 투석기, ECMO(extracorporal membrane oxygenation) 머신 등과 같은 다양한 생명 유지 시스템의 설정 및 데이터 파라미터를 포함할 수 있다. 실시예에서, 데이터는 또한 전자 의료 기록에 저장될 수 있는 실험실, 병리학 및 미생물학 데이터를 포함하고 통합할 수 있다.
본 명세서에 설명된 시스템은 의료 절차 동안 의료 전문가에게 중요한 정보 및 이미지의 실시간 또는 거의 실제 판독을 제공하기 위해 수술 절차 동안 유용할 수 있다. 일부 이런 수술 절차는 복강경 검사, 방광경 검사, 기관지 내시경 검사, 대장 내시경 검사, 내시경 검사 및 후두경 검사를 포함하는 내시경 보조 절차를 포함할 수 있다. 일부 다른 수술 절차는 초음파 또는 간, 신장, 뼈 또는 기타 생검, 정맥 또는 동맥 카테터 배치, 혈관 조영술, 비뇨기과 개입, 정형 외과, 안과 개입, 간 개입, 신경 개입 및 기타 절차와 같은 기타 형광 투시법을 포함할 수 있다.
착용 가능한 장치는 복수의 착용 가능한 구성요소를 포함할 수 있는 착용 가능한 장치의 시스템으로서 구현될 수 있으며, 이 복수의 착용 가능한 구성요소는 시스템의 사용자가 데이터 및 이미지를 보고 데이터를 수집하는 장치를 제어할 수 있게 한다. 복수의 착용 가능한 구성요소는 표시되는 데이터 및 이미지를 제어하기 위해 제스처를 해석하는 구성요소를 포함할 수 있다. 실시예에서, 착용 가능한 구성요소는 제스처를 해석하여 데이터 수집 장치를 제어하도록 구성될 수 있다.
당업자는 전술된 바와 같은 본 발명이 상이한 순서로 단계 및/또는 개시된 것과 상이한 구성의 요소로 실시될 수 있음을 쉽게 이해할 것이다. 따라서, 본 발명이 이들 바람직한 실시예에 기초하여 설명되었지만, 본 발명의 사상 및 범위 내에서 특정 수정, 변형 및 대안적인 구성이 명백하다는 것이 당업자에게 명백할 것이다.

Claims (17)

  1. 통합된 진단 검사 및 실시간 치료를 위한 시스템으로서,
    복수의 소스 이미지를 캡처하도록 구성된 의료 데이터 수집 장치로서, 상기 복수의 소스 이미지 중 적어도 하나는 기준 마커(fiducial marker)를 포함하는, 의료 데이터 수집 장치;
    상기 의료 데이터 수집 장치에 의해 캡처된 복수의 소스 이미지를 데이터 스트림으로 인코딩하도록 구성된 낮은 지연 인코더(low latency encoder);
    상기 기준 마커를 추적하도록 구성된 센서 데이터를 캡처하도록 구성된 환경 센서 장치;
    상기 환경 센서 장치에 의해 캡처된 상기 센서 데이터 및 상기 소스 이미지에 포함된 상기 기준 마커에 기초하여 상기 낮은 지연 인코더에 의해 인코딩된 소스 이미지 중 적어도 하나를 상황에 따라 수정하도록 구성된 프로세서; 및
    상기 프로세서에 의해 상황에 따라 수정된 소스 이미지를 착용 가능한 디스플레이 장치에 전송하도록 구성된 전송 장치로서, 상기 착용 가능한 디스플레이 장치는 상기 프로세서에 의해 상황에 따라 수정된 소스 이미지를 환자의 해부학적으로 정확한 위치에 디스플레이하여 생검 장치의 경로를 보여주는, 상기 전송 장치를 포함하고,
    상기 소스 이미지의 상황별 수정은 실시간으로 수행되는, 시스템.
  2. 제 1 항에 있어서,
    상기 데이터 스트림은 WPA 또는 WPA2를 위해 구성되는, 시스템.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 의료 데이터 수집 장치는 초음파 촬영 장치를 포함하는, 시스템.
  4. 제 1 항에 있어서,
    상기 의료 데이터 수집 장치는 환자 내로부터 비침습적 이미지를 제공하도록 구성된 촬영 장치를 포함하는, 시스템.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 프로세서는 상기 착용 가능한 디스플레이 장치로부터의 입력에 기초하여 소스 이미지를 추가로 수정하는, 시스템.
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 환경 센서 장치는 사용자의 시선 방향을 추적하도록 구성되는, 시스템.
  7. 통합된 진단 검사 및 실시간 치료를 위한 시스템의 제어 방법으로서,
    상기 시스템은,
    의료 데이터 수집 장치,
    낮은 지연 인코더,
    환경 센서 장치,
    프로세서, 및
    전송 장치를 포함하고,
    상기 제어 방법은,
    상기 의료 데이터 수집 장치가 복수의 의료 소스 이미지를 캡처하는 단계로서, 상기 의료 소스 이미지 중 적어도 하나는 기준 마커를 포함하는, 상기 복수의 의료 소스 이미지를 캡처하는 단계;
    상기 낮은 지연 인코더가 상기 의료 데이터 수집 장치에 의해 캡처된 상기 복수의 의료 소스 이미지를 데이터 스트림으로 인코딩하는 단계;
    상기 환경 센서 장치가 상기 기준 마커를 추적하도록 구성된 환경 센서 데이터를 캡처하는 단계;
    상기 환경 센서 장치에 의해 캡처된 상기 환경 센서 데이터 및 상기 소스 이미지에 포함된 상기 기준 마커에 기초하여 상기 프로세서가 상기 낮은 지연 인코더에 의해 인코딩된 상기 의료 소스 이미지 중 적어도 하나를 상황에 따라 수정하는 단계; 및
    상기 프로세서에 의해 상황에 따라 수정된 소스 이미지 중 적어도 하나를 착용 가능한 디스플레이 장치에 전송하는 단계로서, 상기 착용 가능한 디스플레이 장치는 상기 프로세서에 의해 상황에 따라 수정된 소스 이미지를 환자의 해부학적으로 정확한 위치에 디스플레이하여 생검 장치의 경로를 보여주는, 상기 전송하는 단계를 포함하고,
    상기 의료 소스 이미지 중 적어도 하나의 상황별 수정은 실시간으로 수행되는, 방법.
  8. 제 7 항에 있어서,
    상기 데이터 스트림은 WPA 또는 WPA2를 위해 구성된, 방법.
  9. 제 7 항 또는 제 8 항에 있어서,
    상기 복수의 의료 소스 이미지를 캡처하는 단계는 초음파 촬영 장치를 이용하여 수행되는, 방법.
  10. 제 7 항 또는 제 8 항에 있어서,
    상기 복수의 의료 소스 이미지를 캡처하는 단계는 비침습적 의료 데이터 수집 장치를 이용하여 수행되는, 방법.
  11. 제 7 항 또는 제 8 항에 있어서,
    상기 착용 가능한 장치로부터의 입력에 기초하여 상기 프로세서가 상기 의료 소스 이미지 중 적어도 하나를 수정하는 단계를 더 포함하는, 방법.
  12. 제 8 항에 있어서,
    상기 환경 센서 장치는 사용자의 시선 방향을 추적하도록 구성되는, 방법.
  13. 통합된 진단 검사 및 실시간 치료를 위한 명령이 저장된 비일시적 컴퓨터 판독 가능 매체로서, 상기 검사 및 치료는:
    초음파 촬영 장치가 복수의 의료 소스 이미지를 캡처하는 단계로서, 상기 복수의 의료 소스 이미지 중 적어도 하나는 기준 마커를 포함하는, 복수의 의료 소스 이미지를 캡처하는 단계;
    낮은 지연 인코더가 상기 초음파 촬영 장치에 의해 캡처된 상기 복수의 의료 소스 이미지를 데이터 스트림으로 인코딩하는 단계;
    상기 환경 센서 장치가 상기 기준 마커를 추적하도록 구성된 환경 센서 데이터를 캡처하는 단계;
    상기 환경 센서 장치에 의해 캡처된 상기 환경 센서 데이터 및 상기 의료 소스 이미지에 포함된 상기 기준 마커에 기초하여 상기 낮은 지연 인코더에 의해 인코딩된 상기 의료 소스 이미지 중 적어도 하나를 상기 프로세서가 상황에 따라 수정하는 단계; 및
    상기 프로세서에 의해 상황에 따라 수정된 의료 소스 이미지 중 적어도 하나를 전송 장치가 착용 가능한 디스플레이 장치에 전송하는 단계로서, 상기 착용 가능한 디스플레이 장치는 상기 프로세서에 의해 상황에 따라 수정된 의료 소스 이미지를 환자의 해부학적으로 정확한 위치에 디스플레이하여 생검 장치의 경로를 보여주는, 전송하는 단계를 포함하고,
    상기 의료 소스 이미지 중 적어도 하나의 상황별 수정은 실시간으로 수행되는, 비일시적 컴퓨터 판독 가능 매체.
  14. 제 13 항에 있어서,
    상기 데이터 스트림은 WPA 또는 WPA2를 위해 구성되는, 비일시적 컴퓨터 판독 가능 매체.
  15. 제 13 항 또는 제 14 항에 있어서,
    상기 복수의 의료 소스 이미지를 캡처하는 것은 환자 내로부터 비침습적 이미지를 제공하는 의료 도구로 수행되는, 비일시적 컴퓨터 판독 가능 매체.
  16. 제 13 항 또는 제 14 항에 있어서,
    상기 착용 가능한 디스플레이 장치로부터의 입력에 기초하여 상기 프로세서가 상기 의료 소스 이미지 중 적어도 하나를 수정하는 단계를 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  17. 제 15 항에 있어서,
    환경 센서가 사용자의 시선 방향을 추적하도록 구성되는, 비일시적 컴퓨터 판독 가능 매체.
KR1020227004420A 2017-03-03 2018-03-03 진단 검사를 실시간 치료에 통합하기 위한 범용 장치 및 방법 KR102458587B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762466689P 2017-03-03 2017-03-03
US62/466,689 2017-03-03
PCT/US2018/020800 WO2018161057A1 (en) 2017-03-03 2018-03-03 Universal device and method to integrate diagnostic testing into treatment in real-time
KR1020197028926A KR20200016829A (ko) 2017-03-03 2018-03-03 진단 검사를 실시간 치료에 통합하기 위한 범용 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197028926A Division KR20200016829A (ko) 2017-03-03 2018-03-03 진단 검사를 실시간 치료에 통합하기 위한 범용 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220025186A true KR20220025186A (ko) 2022-03-03
KR102458587B1 KR102458587B1 (ko) 2022-10-25

Family

ID=63355307

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197028926A KR20200016829A (ko) 2017-03-03 2018-03-03 진단 검사를 실시간 치료에 통합하기 위한 범용 장치 및 방법
KR1020227004420A KR102458587B1 (ko) 2017-03-03 2018-03-03 진단 검사를 실시간 치료에 통합하기 위한 범용 장치 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197028926A KR20200016829A (ko) 2017-03-03 2018-03-03 진단 검사를 실시간 치료에 통합하기 위한 범용 장치 및 방법

Country Status (6)

Country Link
US (1) US10839956B2 (ko)
EP (1) EP3589192A4 (ko)
JP (1) JP6987893B2 (ko)
KR (2) KR20200016829A (ko)
CN (1) CN110769740B (ko)
WO (1) WO2018161057A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US11756390B2 (en) 2018-02-20 2023-09-12 Arlo Technologies, Inc. Notification priority sequencing for video security
US11064208B2 (en) * 2018-02-20 2021-07-13 Arlo Technologies, Inc. Transcoding in security camera applications
WO2019211741A1 (en) 2018-05-02 2019-11-07 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
CN110246109B (zh) * 2019-05-15 2022-03-18 清华大学 融合ct影像和个性化信息的分析系统、方法、装置及介质
US11701828B2 (en) 2019-10-28 2023-07-18 Medtronic, Inc. Additive manufacturing for medical devices
US11759110B2 (en) * 2019-11-18 2023-09-19 Koninklijke Philips N.V. Camera view and screen scraping for information extraction from imaging scanner consoles
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
WO2022026770A1 (en) 2020-07-31 2022-02-03 Medtronic, Inc. Systems and methods for manufacturing 3d printed medical devices
CN116056868A (zh) 2020-07-31 2023-05-02 美敦力公司 包括内部成形的增材制造医疗装置的方法和系统
EP4188678A1 (en) 2020-07-31 2023-06-07 Medtronic, Inc. Systems and methods for manufacturing 3d printed medical devices
US20220226636A1 (en) * 2021-01-20 2022-07-21 Medtronic, Inc. Lead construction including alignable marker elements
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
WO2023239843A1 (en) * 2022-06-11 2023-12-14 Ecolab Usa Inc. Medical drape with connector system for surgical robotic tracking marker

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015075720A1 (en) * 2013-11-21 2015-05-28 Elbit Systems Ltd. A medical optical tracking system

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6493575B1 (en) * 1998-06-04 2002-12-10 Randy J. Kesten Fluoroscopic tracking enhanced intraventricular catheter system
US7343195B2 (en) * 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
US9402601B1 (en) 1999-06-22 2016-08-02 Teratech Corporation Methods for controlling an ultrasound imaging procedure and providing ultrasound images to an external non-ultrasound application via a network
US7559895B2 (en) * 2000-07-07 2009-07-14 University Of Pittsburgh-Of The Commonwealth System Of Higher Education Combining tomographic images in situ with direct vision using a holographic optical element
WO2002100285A1 (en) * 2001-06-13 2002-12-19 Volume Interactions Pte Ltd A guide system and a probe therefor
US7383073B1 (en) * 2001-10-16 2008-06-03 Z-Kat Inc. Digital minimally invasive surgery system
US7697972B2 (en) * 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
CN101321542A (zh) * 2003-06-20 2008-12-10 巴尔的摩马里兰大学 用于微动脉成像和放射治疗的微颗粒
EP3162318B1 (en) * 2005-10-20 2019-10-16 Intuitive Surgical Operations, Inc. Auxiliary image display and manipulation on a computer display in a medical robotic system
US8020993B1 (en) * 2006-01-30 2011-09-20 Fram Evan K Viewing verification systems
JP2008018015A (ja) * 2006-07-12 2008-01-31 Toshiba Corp 医用ディスプレイ装置及び医用ディスプレイシステム
WO2008103383A1 (en) * 2007-02-20 2008-08-28 Gildenberg Philip L Videotactic and audiotactic assisted surgical methods and procedures
WO2008125995A1 (en) * 2007-04-12 2008-10-23 Koninklijke Philips Electronics, N.V. Image capture in combination with vital signs bedside monitor
US8315689B2 (en) * 2007-09-24 2012-11-20 MRI Interventions, Inc. MRI surgical systems for real-time visualizations using MRI image data and predefined data of surgical tools
US9521961B2 (en) 2007-11-26 2016-12-20 C. R. Bard, Inc. Systems and methods for guiding a medical instrument
WO2009119691A1 (ja) * 2008-03-25 2009-10-01 株式会社 東芝 医用画像処理装置及びｘ線診断装置
EP2384158A1 (en) * 2009-01-05 2011-11-09 Koninklijke Philips Electronics N.V. System and method for dynamic metal distortion compensation for electromagnetic tracking systems
US10687914B2 (en) * 2009-05-29 2020-06-23 Jack Wade System and method for enhanced data analysis with specialized video enabled software tools for medical environments
EP2664360B1 (en) * 2010-02-24 2015-09-09 Accuray Incorporated Gantry image guided radiotherapy system and related tracking methods
JP2011200533A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 超音波診断装置
JP5394299B2 (ja) * 2010-03-30 2014-01-22 富士フイルム株式会社 超音波診断装置
JP2012170747A (ja) * 2011-02-23 2012-09-10 Toshiba Corp 超音波診断装置、及び超音波診断プログラム
WO2013013142A1 (en) * 2011-07-21 2013-01-24 The Research Foundation Of State University Of New York System and method for ct-guided needle biopsy
US20150133945A1 (en) * 2012-05-02 2015-05-14 Stryker Global Technology Center Handheld tracking system and devices for aligning implant systems during surgery
WO2014039051A1 (en) * 2012-09-07 2014-03-13 Empire Technology Development Llc Ultrasound with augmented visualization
EP2967297B1 (en) * 2013-03-15 2022-01-05 Synaptive Medical Inc. System for dynamic validation, correction of registration for surgical navigation
EP4049706A1 (en) * 2013-03-15 2022-08-31 Intuitive Surgical Operations, Inc. Shape sensor systems for tracking interventional instruments and methods of use
US10493298B2 (en) * 2013-08-02 2019-12-03 Varian Medical Systems, Inc. Camera systems and methods for use in one or more areas in a medical facility
US10231704B2 (en) 2013-12-20 2019-03-19 Raghu Raghavan Method for acquiring ultrasonic data
WO2015103388A1 (en) * 2014-01-02 2015-07-09 Metritrack, Inc. System and method for tracking completeness of co-registered medical image data
JP6287257B2 (ja) * 2014-01-24 2018-03-07 セイコーエプソン株式会社 画像形成装置及び超音波診断装置
WO2016014718A1 (en) 2014-07-23 2016-01-28 Kineticor, Inc. Systems, devices, and methods for tracking and compensating for patient motion during a medical imaging scan
WO2018049196A1 (en) * 2016-09-09 2018-03-15 GYS Tech, LLC d/b/a Cardan Robotics Methods and systems for display of patient data in computer-assisted surgery
US10524865B2 (en) * 2016-12-16 2020-01-07 General Electric Company Combination of 3D ultrasound and computed tomography for guidance in interventional medical procedures
US10499997B2 (en) * 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015075720A1 (en) * 2013-11-21 2015-05-28 Elbit Systems Ltd. A medical optical tracking system

Also Published As

Publication number Publication date
JP6987893B2 (ja) 2022-01-05
KR102458587B1 (ko) 2022-10-25
CN110769740B (zh) 2023-09-05
US20180254099A1 (en) 2018-09-06
EP3589192A1 (en) 2020-01-08
EP3589192A4 (en) 2020-11-25
WO2018161057A1 (en) 2018-09-07
KR20200016829A (ko) 2020-02-17
CN110769740A (zh) 2020-02-07
JP2020510511A (ja) 2020-04-09
US10839956B2 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
KR102458587B1 (ko) 진단 검사를 실시간 치료에 통합하기 위한 범용 장치 및 방법
CN108324246B (zh) 医疗诊断辅助系统及方法
JP7190145B2 (ja) 患者に貼付される光学コードを用いた患者の画像データと患者の実景との位置合わせ
JP4113591B2 (ja) 画像誘導手術システム
JP6611612B2 (ja) 外科データのイントラモーダル同期化
US9918798B2 (en) Accurate three-dimensional instrument positioning
KR20200007896A (ko) 생검 장치 및 시스템
JP5504028B2 (ja) 観察支援システムおよび方法並びにプログラム
JP2019162339A (ja) 手術支援システムおよび表示方法
ITUB20155830A1 (it) &#34;sistema di navigazione, tracciamento, e guida per il posizionamento di strumenti operatori&#34;
US11406255B2 (en) System and method for detecting abnormal tissue using vascular features
KR20100121178A (ko) 의료영상 처리 시스템 및 처리 방법
US11083526B2 (en) Medical system, apparatus and method for shape sensing
CN113317874B (zh) 一种医学图像处理装置及介质
CN212276454U (zh) 一种多模态图像融合系统
WO2018147674A1 (ko) 의료 영상에 기반하여 상태를 진단하는 장치 및 방법
JP2021194268A (ja) 血管観察システムおよび血管観察方法
US11816821B2 (en) Method and system for generating an enriched image of a target object and corresponding computer program and computer-readable storage medium
EP4191598A1 (en) Endoscope image processing device
WO2023195103A1 (ja) 検査支援システムおよび検査支援方法
GB2611556A (en) Augmented reality ultrasound-control system for enabling remote direction of a user of ultrasound equipment by experienced practitioner
CN111951208A (zh) 一种多模态图像融合系统及图像融合方法
KR20210013384A (ko) 수술위치 정보제공방법 및 수술위치 정보제공장치
WO2014175608A1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant