KR101949114B1 - 의료적 이미징 기반 절차에서 타겟 해부 대상으로의 내비게이션을 위한 시스템 및 방법 - Google Patents
의료적 이미징 기반 절차에서 타겟 해부 대상으로의 내비게이션을 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR101949114B1 KR101949114B1 KR1020187012260A KR20187012260A KR101949114B1 KR 101949114 B1 KR101949114 B1 KR 101949114B1 KR 1020187012260 A KR1020187012260 A KR 1020187012260A KR 20187012260 A KR20187012260 A KR 20187012260A KR 101949114 B1 KR101949114 B1 KR 101949114B1
- Authority
- KR
- South Korea
- Prior art keywords
- imaging system
- target
- dissection
- scenes
- deep learning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 238000002059 diagnostic imaging Methods 0.000 title claims abstract description 38
- 210000003484 anatomy Anatomy 0.000 claims abstract description 90
- 238000002224 dissection Methods 0.000 claims abstract description 85
- 238000013135 deep learning Methods 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 28
- 230000002123 temporal effect Effects 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 210000005036 nerve Anatomy 0.000 claims description 77
- 238000003384 imaging method Methods 0.000 claims description 57
- 239000000523 sample Substances 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 23
- 238000002591 computed tomography Methods 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000012285 ultrasound imaging Methods 0.000 claims description 11
- 210000000115 thoracic cavity Anatomy 0.000 claims description 4
- 230000003187 abdominal effect Effects 0.000 claims description 3
- 210000003497 sciatic nerve Anatomy 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 210000001937 intercostal nerve Anatomy 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 210000000689 upper leg Anatomy 0.000 claims description 2
- 210000001519 tissue Anatomy 0.000 description 22
- 230000006870 function Effects 0.000 description 13
- 238000002604 ultrasonography Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 210000003205 muscle Anatomy 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000003444 anaesthetic effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010002091 Anaesthesia Diseases 0.000 description 2
- 230000037005 anaesthesia Effects 0.000 description 2
- 230000036592 analgesia Effects 0.000 description 2
- 239000003193 general anesthetic agent Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010008469 Chest discomfort Diseases 0.000 description 1
- 206010033799 Paralysis Diseases 0.000 description 1
- 229940035674 anesthetics Drugs 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000003295 arcuate nucleus Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000003461 brachial plexus Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000269 carotid artery external Anatomy 0.000 description 1
- 210000004004 carotid artery internal Anatomy 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000003601 intercostal effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000036407 pain Effects 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000002694 regional anesthesia Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- High Energy & Nuclear Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Pulmonology (AREA)
- Evolutionary Computation (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Optics & Photonics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Robotics (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
본 발명은 의료적 이미징 시스템을 통해 의료적 절차 동안 타겟 해부 대상을 로케이팅하기 위한 내비게이션 방향들을 사용자에게 제공하는 시스템 및 방법을 위한 것이다. 그 방법은 대상 주위의 해부 지역을 선택하는 단계; 해부 지역으로부터 장면들의 복수의 실시간 2-차원 이미지들을 생성하고 그 복수의 이미지들을 제어기에 제공하는 단계; 해부 지역으로부터 장면들을 자동으로 검출하고 식별하기 위해 딥 러닝 네트워크를 발전시키고 훈련시키는 단계; 딥 러닝 네트워크를 통해 해부 지역에서의 식별된 장면들 중 각각의 식별된 장면의 상대 공간적 로케이션 및 상대 시간적 로케이션에 기초하여 해부 지역으로부터 복수의 이미지들의 각각을 자동으로 매핑하는 단계; 및 식별된 장면들 중 각각의 식별된 장면의 상대 공간적 로케이션 및 상대 시간적 로케이션에 기초하여 의료적 절차 동안 그 대상을 로케이팅하기 위한 방향들을 사용자에게 제공하는 단계를 포함한다.
Description
관련 출원들에 대한 상호 참조
본 출원은 2016년 12월 2일자로 출원된 미국 임시 출원 제62/429,150호를 우선권 주장하며, 그 전체 내용은 참조로 본 명세서에 포함된다.
발명의 분야
본 발명은 의료적 이미징 분야에서의 해부 대상들의 검출 및 식별에 관한 것이고, 더 상세하게는, 타겟 해부 주변에서부터 장면들을 취한 복수의 이미지들 내에 포함된 해부 대상들의 검출 및 식별에 기초하여 초음파 안내 부위 마취와 같은 의료적 이미징 기반 절차들에서 타겟 해부 대상에 도달하기 위한 내비게이션 방향들을 제공하는 시스템 및 방법에 관한 것이다.
전통적인 접근법들에 기초한 다양한 이미징 시스템들이 초음파, 컴퓨터 단층촬영(computed tomography)(CT), 자기 공진(magnetic resonance)(MR), 및 투시 이미징 시스템들과 같이, 타겟 해부 대상의 전체 지역을 식별함에 있어서 의료 전문가를 보조하기 위해 존재한다. 그러나, 이러한 시스템들을 사용한 해부 대상 검출이, 특히, 해부 대상들이 해부, 형상, 및/또는 외관에서의 큰 변동들, 뿐만 아니라 의료적 이미지들에서의 노이즈 및 아티팩트들을 나타내는 일부 도전적인 검출 문제들에 대해, 항상 강건하지 않다. 그 결과, 의료 전문가 이러한 이미징 시스템들을 사용할 때 타겟 해부 대상의 전체 지역을 빠르게 그리고 정확하게 로케이팅하는 것이 종종 어렵다. 예를 들면, 신경 차단들 또는 말초 신경 차단들(peripheral nerve blocks)(PNB들)이 타겟 해부 대상(예컨대, 타겟 신경)을 정확하게 로케이팅하는 것이 바람직한 수술후 진통 및 비외과적 진통 둘 다를 위해서 뿐만 아니라 외과적 마취를 위해서 사용되는 유형의 부위 마취이다. PNB 동안, 의료 전문가가 신체의 특정 영역으로부터 고통의 감각들을 차단하기 위해 타겟 신경 또는 신경들의 다발 근처에 마취제를 주입한다. 그러나, 의료 전문가가 현재 입수 가능한 이미징 시스템들을 사용할 때 타겟 신경의 전체 지역을 빠르게 그리고 정확하게 로케이팅하는 것이 도전과제가 될 수 있다. 예를 들어, 특정한 신경 차단 절차들에 대해, 내과의사가 초음파 이미징 시스템을 통해 타겟 신경 다발을 빠르게 그리고 정확하게 로케이팅하는 것은 종종 어렵다.
따라서, 본 개시내용은 사용자(예컨대, 의료 전문가)에게 방향들을 제공하기 위하여 타겟 해부 대상(예컨대, 타겟 신경) 주위의 해부 지역으로부터 취해진 장면들의 복수의 실시간 이미지들로부터 해부 대상들의 자동 검출, 식별, 및 매핑하며, 따라서 사용자가 현존 이미징 시스템들을 통해 구현될 수 있는 딥 러닝 네트워크들을 사용하여 관심 있는 타겟 해부 대상에 빠르게 그리고 정확하게 도달하는 것을 가능하게 하는 시스템 및 방법을 위한 것이다.
본 발명의 목적들 및 장점들은 다음의 설명에서 부분적으로 언급될 것이거나, 또는 상세한 설명에서 명백하게 될 수 있거나, 또는 본 발명의 실시를 통해 학습될 수 있다.
하나의 양태에서, 본 발명은 의료적 이미징 시스템을 통해 의료적 절차 동안 타겟 해부 대상을 로케이팅하기 위한 내비게이션 방향들을 사용자에게 제공하는 방법을 위한 것이다. 그 방법은, 타겟 해부 대상 주위의 해부 지역을 선택하는 단계; 타겟 해부 대상 주위의 해부 지역으로부터 장면들의 복수의 실시간 2-차원 이미지들을 생성하고 복수의 실시간 2-차원 이미지들을 제어기에 제공하는 단계; 타겟 해부 대상 주위의 상기 해부 지역으로부터 장면들을 자동으로 검출하고 식별하기 위해 딥 러닝 네트워크를 발전시키고 훈련시키는 단계; 딥 러닝 네트워크를 통해 해부 지역에서의 식별된 장면들 중 각각의 식별된 장면의 상대 공간적 로케이션 및 상대 시간적 로케이션에 기초하여 타겟 해부 대상 주위의 해부 지역으로부터 복수의 실시간 2-차원 이미지들의 각각을 자동으로 매핑하는 단계; 및 식별된 장면들 중 각각의 식별된 장면의 상대 공간적 로케이션 및 상대 시간적 로케이션에 기초하여 의료적 절차 동안 타겟 해부 대상을 로케이팅하기 위한 방향들을 사용자에게 제공하는 단계를 포함한다.
하나의 특정 실시예에서, 의료적 절차는 신경 차단일 수 있으며, 타겟 해부 대상은 타겟 신경이다. 게다가, 신경 차단은 목갈비근사이 신경 차단, 빗장뼈위 신경 차단, 빗장뼈아래 신경 차단, 겨드랑 신경 차단, 넓적다리 신경 차단, 좌골 신경 차단, 내전근관 신경 차단, 오금 신경 차단, 두렁 신경 차단, 장골 근막 신경 차단, 등허리 척추옆 신경 차단, 가로 복부 평면(TAP) 신경 차단, 갈비사이 신경 차단, 또는 가슴 척추옆 신경 차단일 수 있다.
다른 실시예에서, 딥 러닝 네트워크는 하나 이상의 콘볼루션 신경망들(convolutional neural networks) 또는 하나 이상의 순환 신경망들(recurrent neural networks) 중 적어도 하나를 포함할 수 있다.
또 다른 실시예에서, 그 방법은 지상 실측 데이터를 통해 타겟 해부 대상 주위의 해부 지역으로부터 장면들을 자동으로 검출하고 식별하기 위해 딥 러닝 네트워크를 발전시키고 훈련시키는 단계를 더 포함할 수 있다. 게다가, 타겟 해부 대상 주위의 해부 지역으로부터 장면들을 자동으로 검출하고 식별하기 위해 딥 러닝 네트워크를 발전시키고 훈련시키는 단계는, 복수의 환자들 중 각각의 환자에서 타겟 해부 대상 주위의 해부 지역으로부터 장면들의 복수의 이미지들의 데이터세트를 스캐닝하고 수집하는 단계, 지상 실측 데이터를 생성하기 위해 사용자 입력에 기초하여 이미지들의 데이터세트에 주석달기하는 단계; 이미지들의 데이터세트 및 지상 실측 데이터를 훈련 데이터세트 및 검정 데이터세트로 나누는 단계, 및 딥 러닝 네트워크를 훈련시키기 위해 훈련 데이터세트를 이용하는 단계를 포함할 수 있다.
또 다른 실시예에서, 딥 러닝 네트워크를 훈련시키기 위해 훈련 데이터세트를 이용하는 단계는, 딥 러닝 네트워크의 출력 및 지상 실측 데이터 사이의 오차를 최소화하기 위해 비용 함수를 최적화하는 단계를 더 포함할 수 있다. 게다가, 오차를 최소화하기 위해 비용 함수를 최적화하는 단계는, 지상 실측 데이터의 부분들을 반복적으로 프로세싱하고 딥 러닝 네트워크의 출력 및 지상 실측 데이터 사이의 오차에 기초하여 딥 러닝 네트워크의 하나 이상의 파라미터들을 조정하는 확률적 경사 하강(stochastic gradient descent)(SGD) 알고리즘을 이용하는 단계를 더 포함할 수 있다.
하나 더의 실시예에서, 비용 함수를 최적화한 후, 그 방법은, 검정 데이터에 대한 예측값들을 자동으로 제공하기 위해 실시간으로 딥 러닝 네트워크를 이용하고 예측값들과 지상 실측 데이터를 비교하는 단계를 더 포함할 수 있다
추가적인 실시예에서, 지상 실측 데이터를 생성하기 위해 사용자 입력에 기초하여 이미지들의 데이터세트에 주석달기하는 단계는, 데이터세트의 각각의 이미지에서 타겟 해부 대상, 추가적인 해부 대상들, 랜드마크들, 조직, 또는 그 조합을 수동으로 식별하고 주석달기하는 단계를 더 포함할 수 있다.
다른 실시예에서, 그 방법은 타겟 해부 대상 주위의 해부 지역으로부터 장면들을 자동으로 검출하고 식별하기 위해 딥 러닝 네트워크를 오프라인에서 처음에 훈련시키는 단계를 포함할 수 있다.
또 다른 실시예에서, 그 방법은 타겟 해부 대상 주위의 해부 지역으로부터 장면들을 자동으로 검출하고 식별하기 위해 딥 러닝 네트워크를 온라인에서 지속적으로 훈련시키는 단계를 포함할 수 있다.
또 다른 실시예에서, 방향들은 프로브가 관심 있는 해부 지역을 스캔함에 따라 이미징 시스템의 사용자 디스플레이를 통해 주석달기된 형태로 사용자에게 제공되며, 이미징 시스템은 복수의 실시간 2-차원 이미지들을 동시에 생성한다.
하나 더의 실시예에서, 방향들은 프로브가 관심 있는 해부 지역을 스캔함에 따라 오디오 형태로 사용자에게 제공되며, 이미징 시스템은 복수의 실시간 2-차원 이미지들을 동시에 생성한다.
추가적인 실시예에서, 의료적 이미징 시스템은 초음파 이미징 시스템, 컴퓨터 단층촬영(CT) 이미징 시스템, 자기 공진(MR) 이미징 시스템, 또는 투시 이미징 시스템을 포함할 수 있다.
다른 양태에서, 본 발명은 의료적 절차에서의 사용을 위한 의료적 이미징 시스템을 위한 것이다. 그 의료적 이미징 시스템은 하나 이상의 동작들을 수행하도록 구성되는 적어도 하나의 제어기와 사용자에게 복수의 실시간 2-차원 이미지들을 디스플레이하도록 구성되는 사용자 디스플레이를 포함한다. 하나 이상의 동작들은, 타겟 해부 대상 주위의 해부 지역으로부터 장면들의 복수의 실시간 2-차원 이미지들을 수신하는 동작; 타겟 해부 대상 주위의 해부 지역으로부터 장면들을 자동으로 검출하고 식별하기 위해 딥 러닝 네트워크를 발전시키고 훈련시키는 동작; 딥 러닝 네트워크를 통해 해부 지역에서의 식별된 장면들 중 각각의 식별된 장면의 상대 공간적 로케이션 및 상대 시간적 로케이션에 기초하여 타겟 해부 대상 주위의 해부 지역으로부터 복수의 실시간 2-차원 이미지들의 각각을 자동으로 매핑하는 동작; 및 식별된 장면들 중 각각의 식별된 장면의 상대 공간적 로케이션 및 상대 시간적 로케이션에 기초하여 의료적 절차 동안 타겟 해부 대상을 로케이팅하기 위한 방향들을 사용자에게 제공하는 동작을 포함한다.
하나의 특정 실시예에서, 의료적 절차는 신경 차단일 수 있으며, 타겟 해부 대상은 타겟 신경이다.
다른 실시예에서, 딥 러닝 네트워크는 하나 이상의 콘볼루션 신경망들 또는 하나 이상의 순환 신경망들 중 적어도 하나를 포함할 수 있다.
또 다른 실시예에서, 타겟 해부 대상 주위의 해부 지역으로부터 장면들을 자동으로 검출하고 식별하기 위해 딥 러닝 네트워크를 발전시키고 훈련시키는 동작은 지상 실측 데이터를 통해 완수될 수 있다. 예를 들면, 타겟 해부 대상 주위의 해부 지역으로부터 장면들을 자동으로 검출하고 식별하기 위해 딥 러닝 네트워크를 발전시키고 훈련시키는 동작은, 복수의 환자들 중 각각의 환자에서 타겟 해부 대상 주위의 해부 지역으로부터 장면들의 복수의 이미지들의 데이터세트를 스캐닝하고 수집하는 동작, 지상 실측 데이터를 생성하기 위해 사용자 입력에 기초하여 이미지들의 데이터세트에 주석달기하는 동작; 이미지들의 데이터세트 및 지상 실측 데이터를 훈련 데이터세트 및 검정 데이터세트로 나누는 동작, 및 딥 러닝 네트워크를 훈련시키기 위해 훈련 데이터세트를 이용하는 동작을 포함할 수 있다.
게다가, 지상 실측 데이터를 생성하기 위해 사용자 입력에 기초하여 이미지들의 데이터세트에 주석달기하는 동작은, 데이터세트의 각각의 이미지에서 타겟 해부 대상, 추가적인 해부 대상들, 랜드마크들, 조직, 또는 그 조합을 수동으로 식별하고 주석달기하는 동작을 포함할 수 있다.
또 다른 실시예에서, 제어기는 타겟 해부 대상 주위의 해부 지역으로부터 장면들을 자동으로 검출하고 식별하기 위해 딥 러닝 네트워크를 오프라인에서 처음에 훈련시키도록 구성될 수 있다.
추가적인 실시예에서, 제어기는 타겟 해부 대상 주위의 해부 지역으로부터 장면들을 자동으로 검출하고 식별하기 위해 딥 러닝 네트워크를 온라인에서 지속적으로 훈련시키도록 구성될 수 있다.
또 다른 실시예에서, 제어기는 프로브가 관심 있는 해부 지역을 스캔함에 따라 이미징 시스템의 사용자 디스플레이를 통해 주석달기된 형태로 사용자에게 방향들을 제공할 수 있으며, 이미징 시스템은 복수의 실시간 2-차원 이미지들을 동시에 생성한다.
하나 더의 실시예에서, 제어기는 프로브가 관심 있는 해부 지역을 스캔함에 따라 오디오 형태로 사용자에게 방향들을 제공할 수 있으며, 이미징 시스템은 복수의 실시간 2-차원 이미지들을 동시에 생성한다.
다른 실시예에서, 의료적 이미징 시스템은 초음파 이미징 시스템, 컴퓨터 단층촬영(CT) 이미징 시스템, 자기 공진(MR) 이미징 시스템, 또는 투시 이미징 시스템을 포함할 수 있다.
본 발명의 이들 및 다른 특징들, 양태들 및 장점들은 다음의 설명 및 첨부의 청구항들을 참조하여 더 잘 이해될 것이다. 여기에 통합되고 본 출원서의 일부를 구성하는 첨부 도면들은, 본 발명의 실시예들을 예시하고, 그 설명과 함께, 본 발명의 원리들을 설명하는 것을 돕는다.
다른 실시예에서, 의료적 이미징 시스템은 다른 의료적 이미징 시스템들에 의해 설치되고 호스팅될 소프트웨어 패키지로서 구성될 수 있으며, 의료적 이미징 시스템은 호스트 의료적 이미징 시스템으로부터 이미지들을 수신하고 호스트 의료적 이미징 시스템에 의해 전개(deployment)될 출력들을 제공할 수 있다.
다른 실시예에서, 딥 러닝 네트워크는, 예를 들어 제한된 컴퓨테이션 능력이 이용 가능할 때, 메모리 사용량을 감소시키고 실행 시간을 가속시키기 위한 양자화된 가중값들, 이진수 가중값들, 및 다른 압축 방법들을 채용할 수 있다.
다른 실시예에서, 의료적 이미징 시스템은 상이한 설정들, 사양들, 및 이미지 품질을 갖는 상이한 의료적 이미징 시스템들과 작업할 수 있기 위해 다양한 변환, 등화, 및 정규화 기법들을 채용할 수 있다.
본 기술분야의 통상의 기술자를 향한 최적의 모드를 포함하는 본 발명의 전체 및 가능한 개시내용은, 첨부된 도면들을 참조하는 명세서에서 언급되며, 도면들 중:
도 1은 의료 전문가들을 초음파 안내와 연계하여 정확한 로케이션으로 내비게이션하기 위해 본 개시내용의 방법 및 시스템이 이용될 수 있는 다양한 신경 차단들의 로케이션을 예시하며;
도 2는 도 1의 목갈비근사이 신경 차단의 로케이션을 더 상세히 예시하며;
도 3은 본 개시내용에 따른 이미징 시스템의 하나의 실시예의 사시도를 예시하며;
도 4는 본 개시내용에 따른 이미징 시스템의 제어기의 실시예의 블록도 하나를 예시하며;
도 5는 환자의 타겟 신경 쪽으로의 바늘의 내비게이션을 용이하게 하는 바늘 안내와 연계하여 사용되는 초음파 프로브를 특히 예시하는, 본 개시내용에 따른 초음파 이미징 시스템의 하나의 실시예의 개략도를 도시하며;
도 6은 이미지들에 포함된 장면들에서의 관심 있는 해부 대상, 추가적인 해부 대상들, 및 랜드마크들이 식별되고 라벨링될 수 있는 본 개시내용의 시스템 및 방법을 사용하여, 관심 있는 타겟 해부 대상 주위의 해부 지역으로부터 수집된 복수의 실시간 2-차원 이미지들을 예시하며;
도 7은 복수의 2-차원 슬라이싱된 이미지들을 포함하는 데이터세트가 딥 러닝 네트워크를 훈련시키기 위해 사용되며, 딥 러닝 네트워크는 도 6의 실시간 초음파 이미지들에 포함된 관심 있는 해부 대상, 추가적인 해부 대상들, 및 랜드마크들을 검출, 식별, 라벨링, 및 매핑하기 위해 사용되는, 복수의 2-차원 슬라이싱된 이미지들을 포함하는 데이터세트를 예시하며;
도 8은 의료적 절차 동안 관심 있는 타겟 해부 대상을 로케이팅하기 위한 방향들을 사용자에게 제공하기 위하여 관심 있는 타겟 해부 대상 주위의 해부 지역으로부터의 장면들의 자동 검출 및 매핑을 위한 방법의 개략도를 예시하며;
도 9는 순환 콘볼루션 신경망을 사용하여 의료적 절차 동안 관심 있는 타겟 해부 대상을 로케이팅하기 위한 방향들을 사용자에게 제공하기 위하여 관심 있는 타겟 해부 대상 주위의 해부 지역으로부터의 장면들의 자동 검출 및 매핑을 위한 방법의 개략도를 예시하며;
도 10은 의료적 절차 동안 관심 있는 타겟 해부 대상을 로케이팅하기 위한 방향들을 사용자에게 제공하기 위하여 관심 있는 타겟 해부 대상 주위의 해부 지역으로부터의 장면들의 자동 검출 및 매핑을 위한 방법의 일 실시예의 흐름도를 예시하며;
도 11은 관심 있는 해부 대상들 및 주변 조직이 아웃라이닝 및 넘버링으로 검출되고 식별되어 있는, 본 개시내용에 따른 이미징 시스템에 의해 생성된 목갈비근사이 신경 차단부 주위의 해부 지역의 장면의 실시간 초음파 이미지의 개략도를 예시하며;
도 12는 관심 있는 해부 대상들 및 주변 조직이 아웃라이닝으로 검출되고 식별되어 있는, 본 개시내용에 따른 이미징 시스템에 의해 생성된 목갈비근사이 신경 차단부 주위의 해부 지역의 장면의 실시간 초음파 이미지의 다른 실시예의 개략도를 예시하며;
도 13은 관심 있는 해부 대상들 및 주변 조직이 셰이딩, 아웃라이닝, 및 라벨링으로 검출되고 식별되어 있는, 본 개시내용에 따른 이미징 시스템에 의해 생성된 목갈비근사이 신경 차단부 주위의 해부 지역의 장면의 실시간 초음파 이미지의 또 다른 실시예의 개략도를 예시하며;
도 14는 관심 있는 해부 대상들 및 주변 조직이 셰이딩, 아웃라이닝, 및 라벨링으로 검출되고 식별되어 있는, 본 개시내용에 따른 이미징 시스템에 의해 생성된 목갈비근사이 신경 차단부 주위의 해부 지역의 장면의 실시간 초음파 이미지의 하나 더의 실시예의 개략도를 예시한다.
도 1은 의료 전문가들을 초음파 안내와 연계하여 정확한 로케이션으로 내비게이션하기 위해 본 개시내용의 방법 및 시스템이 이용될 수 있는 다양한 신경 차단들의 로케이션을 예시하며;
도 2는 도 1의 목갈비근사이 신경 차단의 로케이션을 더 상세히 예시하며;
도 3은 본 개시내용에 따른 이미징 시스템의 하나의 실시예의 사시도를 예시하며;
도 4는 본 개시내용에 따른 이미징 시스템의 제어기의 실시예의 블록도 하나를 예시하며;
도 5는 환자의 타겟 신경 쪽으로의 바늘의 내비게이션을 용이하게 하는 바늘 안내와 연계하여 사용되는 초음파 프로브를 특히 예시하는, 본 개시내용에 따른 초음파 이미징 시스템의 하나의 실시예의 개략도를 도시하며;
도 6은 이미지들에 포함된 장면들에서의 관심 있는 해부 대상, 추가적인 해부 대상들, 및 랜드마크들이 식별되고 라벨링될 수 있는 본 개시내용의 시스템 및 방법을 사용하여, 관심 있는 타겟 해부 대상 주위의 해부 지역으로부터 수집된 복수의 실시간 2-차원 이미지들을 예시하며;
도 7은 복수의 2-차원 슬라이싱된 이미지들을 포함하는 데이터세트가 딥 러닝 네트워크를 훈련시키기 위해 사용되며, 딥 러닝 네트워크는 도 6의 실시간 초음파 이미지들에 포함된 관심 있는 해부 대상, 추가적인 해부 대상들, 및 랜드마크들을 검출, 식별, 라벨링, 및 매핑하기 위해 사용되는, 복수의 2-차원 슬라이싱된 이미지들을 포함하는 데이터세트를 예시하며;
도 8은 의료적 절차 동안 관심 있는 타겟 해부 대상을 로케이팅하기 위한 방향들을 사용자에게 제공하기 위하여 관심 있는 타겟 해부 대상 주위의 해부 지역으로부터의 장면들의 자동 검출 및 매핑을 위한 방법의 개략도를 예시하며;
도 9는 순환 콘볼루션 신경망을 사용하여 의료적 절차 동안 관심 있는 타겟 해부 대상을 로케이팅하기 위한 방향들을 사용자에게 제공하기 위하여 관심 있는 타겟 해부 대상 주위의 해부 지역으로부터의 장면들의 자동 검출 및 매핑을 위한 방법의 개략도를 예시하며;
도 10은 의료적 절차 동안 관심 있는 타겟 해부 대상을 로케이팅하기 위한 방향들을 사용자에게 제공하기 위하여 관심 있는 타겟 해부 대상 주위의 해부 지역으로부터의 장면들의 자동 검출 및 매핑을 위한 방법의 일 실시예의 흐름도를 예시하며;
도 11은 관심 있는 해부 대상들 및 주변 조직이 아웃라이닝 및 넘버링으로 검출되고 식별되어 있는, 본 개시내용에 따른 이미징 시스템에 의해 생성된 목갈비근사이 신경 차단부 주위의 해부 지역의 장면의 실시간 초음파 이미지의 개략도를 예시하며;
도 12는 관심 있는 해부 대상들 및 주변 조직이 아웃라이닝으로 검출되고 식별되어 있는, 본 개시내용에 따른 이미징 시스템에 의해 생성된 목갈비근사이 신경 차단부 주위의 해부 지역의 장면의 실시간 초음파 이미지의 다른 실시예의 개략도를 예시하며;
도 13은 관심 있는 해부 대상들 및 주변 조직이 셰이딩, 아웃라이닝, 및 라벨링으로 검출되고 식별되어 있는, 본 개시내용에 따른 이미징 시스템에 의해 생성된 목갈비근사이 신경 차단부 주위의 해부 지역의 장면의 실시간 초음파 이미지의 또 다른 실시예의 개략도를 예시하며;
도 14는 관심 있는 해부 대상들 및 주변 조직이 셰이딩, 아웃라이닝, 및 라벨링으로 검출되고 식별되어 있는, 본 개시내용에 따른 이미징 시스템에 의해 생성된 목갈비근사이 신경 차단부 주위의 해부 지역의 장면의 실시간 초음파 이미지의 하나 더의 실시예의 개략도를 예시한다.
이제 본 발명의 예들인, 본 발명의 하나 이상의 실시예들이 상세히 참조될 것인데, 그 예들은 도면들에서 도시된다. 각각의 예 및 실시예가 본 발명의 설명에 의해 제공되고, 본 발명의 제한들을 의미하지는 않는다. 예를 들어, 하나의 실시예의 일부로서 예시되거나 또는 설명되는 특징들은 다른 추가의 실시예를 얻기 위해 다른 실시예와 함께 사용될 수 있다. 본 발명은 본 발명의 범위 및 정신 내에서 나오는 바와 같은 이들 및 다른 수정들 및 변동들을 포함하는 것으로 의도된다.
일반적으로, 본 개시내용은 의료적 이미징 시스템을 통해 의료적 절차 동안 타겟 해부 대상을 로케이팅하기 위한 내비게이션 방향들을 사용자(예컨대, 의료 전문가)에게 제공하는 시스템 및 방법을 위한 것이다. 그 방법은 대상 주위의 해부 지역을 선택하는 단계; 해부 지역으로부터 장면들의 복수의 실시간 2-차원 이미지들을 생성하고 그 복수의 이미지들을 제어기에 제공하는 단계; 해부 지역으로부터 장면들을 자동으로 검출하고 식별하기 위해 딥 러닝 네트워크를 발전시키고 훈련시키는 단계; 딥 러닝 네트워크를 통해 해부 지역에서의 식별된 장면들 중 각각의 식별된 장면의 상대 공간적 로케이션 및 상대 시간적 로케이션에 기초하여 해부 지역으로부터 복수의 이미지들의 각각을 자동으로 매핑하는 단계; 및 식별된 장면들 중 각각의 식별된 장면의 상대 공간적 및 시간적 로케이션들에 기초하여 의료적 절차 동안 외과적 기구(예컨대, 바늘 안내 어셈블리, 카테터, 바늘, 스캘펄, 나이프, 프로브 등)로 대상을 로케이팅하기 위한 또는 대상에 도달하기 위한 방향들을 사용자에게 제공하는 단계를 포함한다.
하나의 특정 실시예에서, 본 개시내용은 이미징 시스템, 예를 들어 초음파 이미징 시스템에 의해 생성된 타겟 신경 주위의 해부 지역으로부터 장면들의 복수의 실시간 2-차원 이미지들을 사용하여 환자에 대한 신경 차단을 전달하기 위해 관심 있는 타겟 신경을 로케이팅하기 위한 또는 도달하기 위한 내비게이션 방향들을 사용자(예컨대, 의료 전문가)에게 제공하는 이미징 시스템 및 방법을 위한 것이다. 도 1을 참조하면, 타겟 신경은 환자(80)에게의 신경 차단의 전달과 연관될 수 있다. 본 개시내용에 의해 생각이 다다르는 신경 차단들의 예들은 목갈비근사이 신경 차단(52), 빗장뼈위 신경 차단(54), 빗장뼈아래 신경 차단(56), 겨드랑 신경 차단(58), 넓적다리 신경 차단(60), 좌골 신경 차단(62), 내전근관 신경 차단(64), 오금 신경 차단(66), 두렁 신경 차단(68), 장골 근막 신경 차단(70), 등허리 척추옆 신경 차단(72), 가로 복부 평면(TAP) 신경 차단(74), 갈비사이 신경 차단(76), 가슴 척추옆 신경 차단(78) 등을 포함한다.
예를 들어, 목갈비근사이 신경 차단(52) 주위의 해부 지역의 상세한 뷰가 참조를 위해 도 2에 도시된다. 구체적으로는, 해부 지역은 반지 연골(29), 내부 목 정맥(31), 외부 목 정맥(33), 팔신경얼기(brachial plexus)(34), 흉쇄유돌근(36), 전사각근(37), 중사각근(38), 및 후사각근(41)을 포함한다. 본 개시내용의 시스템 및 방법을 사용하면, 마취제를 전달하기 위해 바늘 삽입 부위(47)에서의 타겟 신경(49) 속에 바늘(45)을 빠르게 그리고 정확하게 삽입하여, 목갈비근사이 신경 차단(52)을 초래하기 위한 방향들을 의료 전문가가 제공 받을 수 있도록, 위에서 논의된 다양한 해부 대상들 또는 구조체들이, 아래에서 더 상세히 논의되는 바와 같이 검출되며, 식별되며/라벨링되며, 그리고 매핑될 수 있다.
이제 도 3 및 도 4로 가면, 이미징 시스템(10)에 의해 실시간으로 생성된 복수의 개개의 이미지들(14)을 수신하고 조직화하도록 구성되는 이미징 시스템(10)의 하나의 실시예가 도시된다. 본 명세서에서 사용되는 바와 같이, 이미징 시스템(10)은 초음파 이미징 시스템(도시된 바와 같음), 컴퓨터 단층촬영(CT) 스캐너, 자기 공진 이미징(magnetic resonance imaging)(MRI) 스캐너, 또는 본 기술로부터 이익을 얻을 수 있는 임의의 다른 적합한 이미징 시스템에 해당할 수 있다. 더 구체적으로는, 도시된 바와 같이, 이미징 시스템(10)은 이미징 시스템(10)에 의해 생성된 복수의 이미지들(14)을 수신하고 조직화도록 구성되는 제어기(17)를 포함할 수 있다. 제어기(17)는 (예컨대, 본 명세서에서 개시되는 바와 같이 방법들 등을 수행하고 관련 데이터를 저장하는) 다양한 컴퓨터-구현 기능들을 수행하도록 구성되는 하나 이상의 프로세서(들)(16) 및 연관된 메모리 디바이스(들)(18), 뿐만 아니라 사용자 디스플레이(20)를 일반적으로 포함한다. 예를 들면, 프로세서(16)는 복수의 실시간 2-차원 초음파 이미지들(46)로부터 이미징 시스템(10)에 의해 생성된 각각의 이미지(14) 내에 포함된 복수의 장면들(12)을 검출, 식별, 및 매핑하도록 구성된다. 덧붙여서, 이미징 시스템(10)은 각각의 개개의 이미지(14) 내에 포함된 복수의 장면들(12)을 생성 및/또는 조작함에 있어서 사용자를 보조하도록 구성되는 컴퓨터 및/또는 키보드와 같은 사용자 인터페이스(22)를 포함할 수 있다.
덧붙여, 도 4에 도시된 바와 같이, 제어기(17)는 제어기(17)와 이미징 시스템(10)의 다양한 컴포넌트들, 예컨대, 도 3 및 도 4의 컴포넌트들 중 임의의 컴포넌트 사이의 통신들을 용이하게 하기 위한 통신 모듈(24)을 또한 포함할 수 있다. 게다가, 통신 모듈(24)은 하나 이상의 이미징 시스템 프로브들(28)(예컨대, 초음파 프로브)로부터 송신된 신호들이 제어기(17) 및/또는 프로세서(들)(16)에 의해 이해되고 프로세싱될 수 있는 신호들로 변환되는 것을 허용하는 센서 인터페이스(26)(예컨대, 하나 이상의 아날로그-디지털 변환기들)를 포함할 수 있다. 프로브(28)는 임의의 적합한 수단을 사용하여 통신 모듈(24)에 통신적으로 커플링될 수 있다는 것이 이해되어야 한다. 예를 들어, 도 4에 도시된 바와 같이, 프로브(28)는 유선 접속을 통해 센서 인터페이스(26)에 커플링될 수 있다. 그러나, 다른 실시예들에서, 프로브(28)는 무선 접속을 통해, 예를 들어 본 기술분야에서 공지된 임의의 적합한 무선 통신 프로토콜을 사용함으로써 센서 인터페이스(26)에 커플링될 수 있다. 이와 같이, 제어기(17)는 프로브(28)로부터 하나 이상의 신호들을 수신하도록 구성될 수 있다.
본 명세서에서 사용되는 바와 같이, "제어기"라는 용어는 컴퓨터에 포함되어 있는 것으로서 본 기술분야에서 언급되는 집적 회로들을 지칭할 뿐만 아니라, 마이크로제어기, 마이크로컴퓨터, 프로그램가능 로직 제어기(programmable logic controller)(PLC), 주문형 집적회로, 필드-프로그램가능 게이트 어레이(field-programmable gate array)(FPGA), 및 다른 프로그램가능 회로들을 또한 지칭한다. 제어기(17)는 고급 제어 알고리즘들을 컴퓨팅하고 다양한 이더넷 또는 직렬 기반 프로토콜들(Modbus, OPC, CAN 등)로 통신하도록 또한 구성된다. 더욱이, 특정한 실시예들에서, 제어기(17)는 컴퓨테이션 시간과 로컬 디바이스에 대한 부담을 줄이기 위하여 클라우드 컴퓨팅을 위해 인터넷을 통해 서버와 통신할 수 있다. 덧붙여, 메모리 디바이스(들)(18)는 컴퓨터 판독가능 매체(예컨대, 랜덤 액세스 메모리(random access memory)(RAM)), 컴퓨터 판독가능 비휘발성 매체(예컨대, 플래시 메모리), 플로피 디스크, 콤팩트 디스크 판독 전용 메모리(compact disc-read only memory)(CD-ROM), 광자기 디스크(magneto-optical disk)(MOD), 디지털 다기능 디스크(digital versatile disc)(DVD) 및/또는 다른 적합한 메모리 엘리먼트들을 비제한적으로 포함하는 메모리 엘리먼트(들)를 일반적으로 포함할 수 있다. 이러한 메모리 디바이스(들)(18)는 제어기(17)에 의해 구현될 때, 본 명세서에서 설명되는 바와 같은 다양한 기능들을 수행하도록 프로세서(들)(16)를 구성하는 적합한 컴퓨터-판독가능 명령들을 저장하도록 일반적으로 구성될 수 있다.
이제 도 5로 가면, 이미징 시스템(10)이 초음파 이미징 시스템일 때, 이미징 시스템(10)의 프로브(28)(예컨대, 초음파 프로브)는 트랜스듀서 하우징(27)과 그 속에 장착된 트랜스듀서 송신기(23)를 포함할 수 있다. 일반적으로 이해되는 바와 같이, 트랜스듀서 송신기(23)는 초음파 빔들을 방출 및/또는 수신하도록 구성된다. 이와 같이, 트랜스듀서 송신기(16)는 트랜스듀서 송신기(16)가 환자의 타겟 해부 대상(149)(예컨대, 타겟 신경) 주위의 해부 지역을 스캔하게 구성되도록 내부 공동(번호매겨지지 않음) 내에 구성될 수 있다. 이미징 시스템(10)은 임의의 적합한 의료적 절차 동안 사용되는 기구(145)를 또한 포함할 수 있는데, 기구(145)는 임의의 적합한 방식(예컨대, 무선, 유선 등)으로 제어기(17)를 통해 프로브(28)에 커플링되며, 기구(145)의 로케이션은 본 명세서에서 설명되는 방법들을 통해 결정될 수 있다. 의료적 절차가 신경 차단 절차일 때, 기구(145)는 제어기(17)를 통해 초음파 프로브(28)에 통신적으로 커플링된 바늘 안내 어셈블리(82)일 수 있으며, 그 경우 제어기(17)는 바늘(45)을 통해 마취제를 전달하기 위해 타겟 해부 대상(149)(예컨대, 타겟 신경) 쪽으로 바늘 안내 어셈블리(82)가 이동되고 있을 때 그 바늘 안내 어셈블리(82)을 로케이팅하도록 구성될 수 있다. 그러나, 스캘펄, 나이프, 복강경 또는 관절경 프로브 등과 같은 임의의 기구가 의료 전문가에 의해 수행되고 있는 절차에 의존하여 바늘 안내 어셈블리(82) 대신 사용될 수 있다는 것이 이해된다.
더 구체적으로는, 도시된 바와 같이, 바늘 안내 어셈블리(82)는, 적어도, 바늘(45)과 카테터(83)를 포함할 수 있다. 이와 같이, 바늘(45)뿐만 아니라 바늘 안내 어셈블리(82)의 카테터(83)는 스킨(81)을 통해 환자(80)에게 임의의 특정 순서 또는 동시에 삽입될 수 있다는 것이 이해되어야 한다. 예를 들어, 하나의 실시예에서, 초음파 이미징 시스템(10)은 카테터(83)가 바늘(45) 위에 동축으로 장착되는 OTN(over-the-needle) 카테터 어셈블리를 포함할 수 있다. 대안적으로, 바늘(45)은 카테터(83) 위에 장착될 수 있다. 그런 실시예들에서, 바늘(45)은 카테터(83)를 타겟 신경(49)에 위치시키고 나중에 제거되도록 하는 삽입기로서 역할을 할 수 있다.
도 6 내지 도 14를 이제 참조하면, 사용자에게 방향들을 제공하기 위해 이미징 시스템(10)에 의해 생성된 복수의 실시간 2-차원 이미지들(46)로부터 취해진 복수의 장면들(12) 내에 포함된 해부 대상들의 자동 검출, 식별, 및 매핑을 위한 방법(100)의 하나의 실시예의 개략도들(도 6 내지 도 9) 및 흐름도(도10)가 예시되며, 초음파 이미징 시스템이 사용될 때 복수의 실시간 2-차원 이미지들(46) 중 하나의 2-차원 이미지로부터 생성된 장면(12)을 포함하는 이미지(14)를 예시하는 사용자 디스플레이(20)로부터 스크린 샷들(도 11 내지 도 14)의 다양한 실시예들 또한 도시된다. 특정한 실시예들에서, 본 명세서에서 설명되는 바와 같은 관심 있는 타겟 해부 대상(들)(30) 및 주위의 추가적인 해부 대상들(32)은 환자의 임의의 해부 구조체 및/또는 그 해부 구조체의 주변 조직을 포함할 수 있다. 더 구체적으로는, 도 11 내지 도 14의 예시된 실시예들에서 도시된 바와 같이, 신경 차단 절차가 완료될 때, 그리고 구체적으로는 신경 차단 절차가 목갈비근사이 신경 차단일 때, 검출되며, 식별되고, 매핑될 수 있는 관심 있는 해부 대상(30)은 환자의 목갈비근사이 팔신경얼기(BP)(34)일 수 있는데, 이 목갈비근사이 팔신경얼기는 하부의 네 개의 목신경들 및 제1 가슴 신경의 앞가지에 의해 형성된, 척추로부터 이어지는 신경들의 네트워크에 일반적으로 해당한다. 이와 같이, 팔신경얼기(34)는 목에서의 경부액와관을 통과하여, 제1 갈비뼈 위로, 그리고 겨드랑(즉, 겨드랑이 지역) 속으로 지나가며, 겨드랑에서 상지들 및 일부 목 및 어깨 근육들에 신경이 통하게 한다. 게다가, 팔신경얼기(34)의 주위의 추가적인 해부 대상들(32)(예컨대, 조직)은 흉쇄유돌근(sternocleidomastoid muscle)(SM)(36), 중사각근(middle scalene muscle)(MCM)(38), 전사각근(anterior scalene muscle)(ASM)(40), 및/또는 유사물에 일반적으로 대응한다. 이러한 해부 대상들(30)의 시야 또는 장면(12 및 32)은 내과의사들이 올바른 타겟 신경에 마취제를 적용하기 위하여 실시간으로 내비게이션하는 것을 일반적으로 어렵게 한다. 따라서, 본 개시내용의 시스템 및 방법은 관심 있는 타겟 해부 대상(30)에 연관된 신경을 차단하기 위해 마취제가 빠르게 그리고 정확하게 전달되도록 이미지들(14)에서 캡처된 다양한 장면들(12)에서 관심 있는 타겟 해부 대상(30)을 검출, 식별, 및 매핑함으로써, 주위의 추가적인 해부 대상들(32), 랜드마크들, 조직 등의 주위에서 내비게이션하기 위한 방향들이 사용자에게 전달하는 개선된 방법을 제공한다.
그러나, 본 개시내용의 시스템 및 방법은 팔신경얼기(34)에 관련한 것들에 더하여 임의의 해부 구조체를 수반하는 임의의 다양한 의료 절차들을 위해 사용될 수 있다는 것이 이해되어야 한다. 예를 들어, 관심 있는 타겟 해부 대상(들)(30) 및 주위의 추가적인 해부 대상들(32) 또는 조직은 도 1에서 설명된 신경 차단들에 관하여 위에서 논의된 임의의 해부 지역으로부터 또는 의료적 절차가 수행될 임의의 다른 해부 지역으로부터 일 수 있다. 게다가, 도 11 및 도 12에 도시된 바와 같이, 이미징 시스템(10)에 의해 생성된 이미지(14)는 관심 있는 타겟 해부 대상(30) 주위의 해부 지역으로부터의 장면(12) 뿐만 아니라 그것에 인접하여 위치된 옵션적 태스크 바(15)를 포함할 수 있다. 덧붙여서, 태스크 바(15)는 열기, 시작, 및 중지 버튼들과 같은 다른 적합한 제어 특징부들 뿐만 아니라 날짜 및 시간을 포함할 수 있다. 대체 실시예들에서, 태스크 바는(15)는 생략될 수 있다. 이미지(14)는 임의의 다른 적합한 제어 및/또는 디스플레이 특징부들을 더 포함할 수 있고 사용자 인터페이스(22)를 통해 또는 터치-스크린 능력들을 통해 제어될 수 있다는 것이 또한 이해되어야 한다.
도 6 내지 도 9를 특히 참조하면, 본 발명의 방법은 본 개시내용의 시스템을 사용하여 관심 있는 해부 대상(예컨대, 타겟 신경)(30) 주위의 해부 지역으로부터 수집되는 복수의 실시간 2-차원 슬라이싱된 이미지들(46a, 46b, 46c, 46d, 46e, 46f, 46g, 46h, 46i, 및 46j)을 생성하는 단계를 수반한다. 게다가, 도 7에 도시된 바와 같이, 복수의 2-차원 슬라이싱된 이미지들(84a, 84b, 84c, 84d, 84e, 84f, 84g, 84h, 84i, 및 84j)을 포함하는 데이터세트(84)가 미리 획득될 수 있으며, 데이터세트(84)는 딥 러닝 네트워크를 훈련시키기 위해 사용되며, 딥 러닝 네트워크는 타겟 해부 대상 주위의 해부 지역으로부터 장면들을 검출하고 식별/라벨링한 다음, 도 6의 실시간 2-차원 초음파 이미지들(46a~46j)에 포함된 해부 지역에서의 식별된 장면들 중 각각의 식별된 장면의 상대 공간적 로케이션 및 상대 시간적 로케이션에 기초하여 타겟 해부 대상 주위의 해부 지역으로부터 복수의 실시간 2-차원 이미지들의 각각을 매핑하는데 사용된다. 그 다음에, 도 8을 이제 참조하면, 의료 전문가에 의해 수행되고 있는 임의의 의료적 절차 동안 지속적인 내비게이션 추적을 제공하기 위하여 이미지들의 데이터세트(84)에 의해 훈련되어 있는 딥 러닝 네트워크를 이용하여, 실시간 2-차원 초음파 이미지들(46)의 장면들 내에 포함된 타겟 해부 대상(30 또는 149)과 추가적인 해부 대상들(32) 및 다른 랜드마크들/조직(도시되지 않음)이 블록 48에서 자동으로 검출되며, 식별되고 추적될 수 있으며, 뒤이어서 블록 50에서 매핑되고 계속 추적된다. 비록 열 개의 실시간 2-차원 이미지들(46a~46j)이 도 6에서 생성되고 열 개의 이미지들(84a~84j)이 도 7의 훈련 데이터세트를 형성하기 위해 사용되지만, 의료적 절차가 수행되고 있는 특정 타겟 해부 대상 주위의 관심 있는 해부 지역의 사이즈 및 복잡도에 의존하여, 데이터세트(84)에서의 임의의 수의 실시간 2-차원 이미지들(46) 및/또는 이미지들이 획득될 수 있다는 것이 이해되어야 한다. 예를 들면, 상이한 장면들의 100,000개까지의, 예를 들어 약 5 및 50,000 사이, 예를 들어 약 10 및 약 10,000 사이, 또는 임의의 다른 적합한 수의 이미지들이 이용될 수 있다. 블록 50에서 딥 러닝 네트워크를 통해 해부 지역에서의 식별된 장면들 중 각각의 식별된 장면의 상대 공간적 및 시간적 로케이션들에 기초하여 실시간 2-차원 이미지들(46)이 매핑 완료된 후, 결과적인 매핑된 로케이션들은 의료적 절차(예컨대, 신경 차단의 전달) 동안 관심 있는 타겟 해부 대상(예컨대, 타겟 신경)을 로케이팅하기 위해 블록 51에서 방향들/지속적인 내비게이션 추적을 사용자에게 제공하는데 사용될 수 있다.
도 9를 참조하면, 지속적인 내비게이션 추적은 순환 콘볼루션 신경망(90)의 사용에 기초할 수 있다. 순환 콘볼루션 신경망(90)은 시간 스팬(88)에 걸쳐 실시간 이미지들(46)을 프로세싱할 수 있고 이미지들(46)로부터 식별된 장면들에 존재하는 주요 랜드마크들을 식별할 수 있으며, 이러한 랜드마크들은 내비게이션 시스템(94)으로 텍스트, 스피치들, 숫자들 등의 형태들로 출력될 수 있다. 순환 콘볼루션 신경망(90)을 사용하면 비디오들/이미지들의 시간적 상관이 더욱 정확한 검출 및 추적을 위해 추출될 수 있도록 이전에 프로세싱된 프레임들(예를 들어, 이미지들의 데이터 세트(84))의 이력이 저장되는 것을 보장할 수 있다. 도 9에 도시된 바와 같이, 추적 시스템의 출력(92)은 텍스트, 오디오/스피치, 또는 배정된 라벨들 및 숫자들의 형태일 수 있다. 내비게이션 시스템(94)은 그러면 내비게이션 시스템이 프로브, 기구 등의 현재 로케이션을 안다고 결정하기 위하여 추적 시스템으로부터 출력(92)을 수신한다. 타겟 해부 대상(149)과 프로브(28) 및/또는 기구(145)의 현재 로케이션에 기초하여, 내비게이션 시스템(94)은 타겟 해부 대상(149)을 향하는 올바른 경로를 계산하기 위해 랜드마크들의 사전-프로그래밍된 룩업 테이블(96)을 사용할 수 있다. 그러면, 내비게이션 시스템(94)은 이미징 프로브(28) 및/또는 기구(145)를 우측, 좌측, 상단, 및 하단으로 이동시키는 것 뿐만 아니라 각도들을 변경시키는 것과 같은 안내 및 방향들(98)을 사용자에게 제공할 것이다. 이러한 방향들(98)은 사용자 디스플레이 상에 중첩된 텍스트 또는 화살표들의 형태로 제공될 수 있거나 또는 오디오/스피치의 형태일 수 있다.
다음으로, 도 10을 특히 참조하면, 102에 도시된 바와 같이, 방법(100)은 관심 있는 타겟 해부 대상(예컨대, 타겟 신경) 주위의 해부 지역을 선택하는 단계를 포함한다. 그러면, 104에 도시된 바와 같이, 방법(100)은 관심 있는 타겟 해부 대상 주위의 해부 지역으로부터 장면들(12)의 복수의 실시간 2-차원 이미지들(46)을 생성하고 복수의 실시간 2-차원 이미지들(12)을 제어기(17)에 제공하는 단계를 포함한다.
106에 도시된 바와 같이, 방법(100)은 복수의 환자들로부터 수신된 2-차원 이미지들의 데이터세트(84)를 사용하여 실시간 2-차원 초음파 이미지들(46)에 포함된 타겟 해부 대상(예컨대, 추가적인 해부 대상들, 랜드마크들, 주변 조직 등) 주위의 해부 지역으로부터 장면들(12)을 자동으로 검출하고 식별하기 위해 딥 러닝 네트워크를 발전시키고 훈련시키는 단계를 또한 포함하며, 이미지들의 데이터세트(84)는, 복수의 환자들 중 각각의 환자에 대해, 관심 있는 타겟 해부 대상 주위의 해부 지역에서 복수의 이미지들로부터 장면들을 스캐닝하고 수집함으로써 생성된다. 이와 같이, 각각의 환자에 대한 복수의 실시간 2-차원 이미지들(46)에 포함된 각각의 장면(12)으로부터 타겟 해부 대상, 추가적인 해부 대상들, 랜드마크들, 주변 조직, 또는 그 조합은 복수의 이미지들(14)을 형성하기 위해 라벨링 또는 주석달기될 수 있다. 더 구체적으로는, 특정한 실시예들에서, 딥 러닝 네트워크는 하나 이상의 딥 콘볼루션 신경망들(CNN들), 하나 이상의 순환 신경망들, 또는 임의의 다른 적합한 신경망 구성들을 포함할 수 있다. 기계 학습에서, 딥 콘볼루션 신경망들은, 뉴런들 사이의 접속성 패턴이 개개의 뉴런들이 시야를 타일링하는 지역들을 중첩하는 것에 응답하는 방식으로 배열되는 동물 시각 피질의 조직화에 의해 영향을 받는 피드-포워드 인공 신경망 유형을 일반적으로 지칭한다. 그 반면, 순환 신경망들(RNN들)은 유닛들 사이의 접속들이 방향성 사이클(directed cycle)을 형성하는 인공 신경망들의 클래스를 일반적으로 지칭한다. 이러한 접속들은 네트워크가 동적 일시적 행동을 나타내는 것을 허용하는 네트워크의 내부 상태를 생성한다. 피드-포워드 신경망들(예를 들어, 콘볼루션 신경망들)과는 달리, RNN들은 입력들의 임의적 시퀀스들을 프로세싱하기 위해 자신들의 내부 메모리를 사용할 수 있다. 이와 같이, RNN들은 해부 대상들을 실시간으로 더 잘 식별하고 추적하기 위하여 이미지 프레임들 사이의 상관을 추출할 수 있다.
특정한 실시예들에서, 제어기(17)는 타겟 해부 대상(30 또는 149), 랜드마크들(42), 및/또는 추가적인 해부 대상들(예컨대, 조직)(32)을 포함하는 실시간 2-차원 이미지들(46)의 장면들(12)을 자동으로 검출하고 식별하기 위한 딥 신경망을 훈련시키며 그리고/또는 발전시키기 위해 지상 실측 데이터를 사용할 수 있다. 예를 들어, 특정 실시예들에서, 제어기(17)는 타겟 해부 대상(들)(30 또는 149), 추가적인 해부 대상들(32), 랜드마크들(42) 등을 포함하는 장면들(12)을 자동으로 검출하고 식별하기 위해 딥 신경망을 처음에 훈련시키도록 구성될 수 있다. 더 구체적으로는, 특정한 실시예들에서, 초기 훈련은 제어기(17)가 오프라인인 동안 완료될 수 있다. 다른 실시예에서, 제어기(17)는 초기 훈련이 완료된 후, 타겟 해부 대상(들)(30 또는 149), 추가적인 해부 대상들(32), 랜드마크들(42) 등을 포함하는 장면들(12)을 자동으로 검출하기 위해 온라인으로 딥 신경망을 지속적으로 훈련시키도록 구성될 수 있다.
더 구체적으로는, 특정 실시예들에서, 제어기(17)는 다수의 환자들로부터 타겟 해부 대상(30 또는 149), 추가적인 해부 대상들(32), 랜드마크들(42) 등의 이미지들의 데이터세트(84)를 스캐닝하고 수집함으로써 장면(12)에 존재하는 타겟 해부 대상(30 또는 149), 추가적인 해부 대상들(32), 랜드마크들(42) 등을 자동으로 검출하기 위해 현장에서 새로 캡처된 데이터로부터 딥 신경망을 지속적으로 훈련시키기 위한 온라인 학습을 위해 구성될 수 있다. 예를 들어, 특정한 실시예들에서, 수백 및/또는 수천 개의 이미지들이 다수의 환자들로부터 스캐닝되고 수집되며 메모리 디바이스(들)(18)를 통해 이미지들의 데이터세트(84)에 저장될 수 있다. 게다가, 저장하기 전, 이미지들의 데이터세트(84)는 지상 실측 데이터를 생성하기 위해 사용자 입력에 기초하여 주석달기될 수 있다. 예를 들어, 특정한 실시예들에서, 내과의사들은 데이터세트의 각각의 이미지에서 타겟 해부 대상(들)(30), 추가적인 해부 대상들(32), 랜드마크들(42) 등을 검출하고 식별함에 있어서 딥 러닝 네트워크를 보조하는 전문 지식에 기초하여 이미지들의 데이터세트(84)에 주석달기하고 수동으로 식별할 수 있다. 이와 같이, 본 명세서에서 설명되는 바와 같은 지상 실측 데이터는 추론에 의해 제공된 정보와는 대조적으로 현장 전문가들의 직접 관찰에 의해 제공된 정보를 일반적으로 지칭한다. 따라서, 본 개시내용의 딥 러닝 네트워크는 동작 동안 인간의 뇌를 모방하도록 구성된다.
특정 실시예들에서, 이미지들의 데이터세트(84)는 그러면 복수의 그룹들로 나누어질 수 있다. 예를 들어, 하나의 실시예에서, 지상 실측 데이터는 훈련 데이터세트 및 검정 데이터세트를 포함하는 적어도 두 개의 그룹들로 나누어질 수 있다. 이와 같이, 특정 실시예들에서, 제어기(17)는 파라미터 공간 딥 신경망을 훈련시키기 위해 훈련 데이터세트를 이용하도록 구성된다. 더 구체적으로는, 특정한 실시예들에서, 제어기(17)는 딥 신경망의 출력 및 지상 실측 데이터 사이의 오차를 최소화하기 위해 비용 함수를 최적화하도록 구성될 수 있다. 예를 들어, 하나의 실시예에서, 오차를 최소화하기 위해 비용 함수를 최적화하는 단계는, 지상 실측 데이터의 부분들을 반복적으로 프로세싱하고 딥 신경망의 출력 및 지상 실측 데이터 사이의 오차에 기초하여 딥 신경망의 하나 이상의 파라미터들을 조정하는 확률적 경사 하강(SGD) 알고리즘과 같은 확률적 근사를 이용하는 단계를 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, 확률적 경사 하강은 미분가능 함수들의 합으로서 쓰여지는 목적 함수를 최소화하는 경사 하강 최적화 방법의 확률적 근사를 일반적으로 지칭한다. 더 구체적으로는, 하나의 실시예에서, 제어기(17)는 딥 신경망의 출력과 지상 실측 데이터 사이의 오차를 최소화하기 위해 감독식 학습(supervised learning)을 구현하도록 구성될 수 있다. 본 명세서에서 사용되는 바와 같이, "감독식 학습"은 라벨링된 훈련 데이터로부터 함수를 유추하는 기계 학습 태스크를 일반적으로 지칭한다.
그러나, 비용 함수는 평균 제곱 오차, 주사위 계수, 카테고리 교차 엔트로피(categorical cross entropy) 등과 같은 상이한 방식들로 정의될 수 있고, SGD 및 Adam, Adadelta, Nestrov 등과 같은 그것의 변종들을 포함하는 다양한 방법들을 사용하여 최적화될 수 있다는 것이 이해되어야 한다. 추가적인 실시예들에서, 프로세서(들)(16)는 추가의 딥 러닝 기법들, 예를 들어 의료적 이미지들에서 해부 대상들을 검출하기 위해 컴퓨터 에이전트를 훈련시키는 강화 학습, 비라벨링된 데이터를 사용하여 신경망들 및 클러스터 객체들을 사전-훈련시키는 비감독식 학습, 및/또는 본 기술분야에서 지금 알려진 또는 나중에 개발될 임의의 다른 기법들을 구현할 수 있다. 이러한 방법들은 라벨링된 데이터가 구체적으로 제공될 것을 시스템들이 필요로 하지 않도록 더 적은 훈련 데이터를 요구하고 그리고/또는 보상/처벌 함수에 의존할 수 있다.
다른 실시예에서, 방법(100)은, 비용 함수를 최적화 한 후, 검정 데이터에 대한 예측값들 뿐 아니라 새로 캡처된 데이터를 자동으로 제공하기 위해 실시간으로 딥 러닝 네트워크를 이용하는 단계를 또한 포함할 수 있다. 따라서, 그런 실시예들에서, 제어기(17)는 딥 신경망이 일반화될 수 있는 것을 보장하기 위해 예측값들과 지상 실측 데이터를 비교하도록 구성될 수 있다. 다르게 말하면, 제어기(17)는 훈련 데이터의 외부에 있는 경우들에 대해 딥 신경망이 정확한 예측값들을 제공할 수 있는 것을 보장하도록 구성될 수 있다.
도 10을 여전히 참조하면, 108에서 도시된 바와 같이, 방법(100)은 해부 지역에서 식별된 장면들 중 각각의 식별된 장면의 상대 공간적 로케이션 및 상대 시간적 로케이션에 기초하여 관심 있는 타겟 해부 대상 주위의 해부 지역으로부터 복수의 실시간 2-차원 초음파 이미지들(46)의 각각을 자동으로 매핑하는 단계를 또한 포함한다. 매핑은 추적 시스템으로부터의 식별된 장면들과, 도 9를 참조하여 위에서 논의된 바와 같이, 그 시스템 속에 프로그래밍된 룩업 테이블에 기초할 수 있다.
도 10을 여전히 참조하면, 110에서 도시된 바와 같이, 그 방법은 복수의 실시간 2차원 이미지들(46)에서 식별된 장면들 중 각각의 식별된 장면의 상대 공간적 로케이션 및 상대 시간적 로케이션에 기초하여, 의료적 절차(예컨대, 예를 들면 도 5에 도시된 바늘(45)을 통한 신경 차단의 전달) 동안 관심 있는 타겟 해부 대상(예컨대, 타겟 신경)을 로케이팅하기 위한 방향들을 사용자(예컨대, 의료 전문가)에게 제공하는 단계를 더 포함한다. 그 방향들은 사용자가 기구(145)(예컨대, 도 2에서의 바늘(45))를 타겟 해부 대상(149)(예컨대, 도 2에서의 타겟 신경(49))으로 이동시킴에 따라 이미징 시스템(10)의 사용자 디스플레이(20) 상에 주석달기된 형태로 사용자에게 제공될 수 있으며, 프로브(28)는 관심 있는 해부 지역을 동시에 스캐닝하고 이미징 시스템(10)은 복수의 실시간 2-차원 이미지들(46)을 동시에 생성한다. 그 방향들은 이미징 시스템(10)의 사용자 디스플레이(20) 상에 제시된 주석달기된 방향들과 조합하여 또는 단독으로 중 어느 하나로 오디오 명령들의 형태로 제공될 수 있다는 것이 또한 이해된다. 의료 전문가/사용자가 타겟 해부 대상(30 또는 149) 근처의 영역을 스캔할 때, 그것의 현재 로케이션은 도 9에서 설명된 순환 콘볼루션 신경망(추적 시스템)을 사용하여 식별될 수 있고, 타겟 해부 대상(30 또는 149)(즉, 도 5 참조)에 도달하기 위한 경로는 도 9의 내비게이션 시스템(94)에 의해 계산될 수 있다. 그 경로에 기초하여, 타겟 해부 대상(30 또는 149)이 의료적 절차(예컨대, 신경 차단)의 수행 또는 이미징을 위해 정확하게 로케이팅될 수 있도록 프로브(28) 및/또는 기구(145)를 현재 로케이션의 우측, 좌측, 상단, 하단 등으로 이동시키는 것뿐만 아니라 표면(환자의 피부(81))에 대해 프로브 각도 또는 기구 각도를 변경시키는 것을 의료 전문가/사용자에게 지시하기 위해 화살표들, 텍스트, 또는 오디오/스피치의 형태로 방향들이 주어질 것이다.
이제 도 11 내지 도 14로 가면, 의료적 절차가 신경 차단이고 이미징 시스템이 초음파 이미징 시스템일 때, 제어기(17)가 이미지(14) 상에 해부 대상(들)(30), 랜드마크들(42), 및/또는 주변 조직(32)을 라벨링하도록 구성되어 있는 경우, 실시간 초음파 이미지들(46)로부터 획득된 다양한 이미지들(14)이 도시된다. 더 구체적으로는, 특정한 실시예들에서, 제어기(17)는 이미지(14) 상에 타겟 해부 대상(30), 추가적인 해부 대상들(32) 등을 아웃라이닝하도록 구성될 수 있다. 예를 들어, 도 11 및 도 12에 도시된 바와 같이, 팔신경얼기(34)(즉, 타겟 해부 대상(30))는 제1 두께 또는 패턴을 갖는 경계로서 아웃라이닝된다. 덧붙여서, 도시된 바와 같이, 다양한 주위의 추가적인 해부 대상들/조직들(32)이 팔신경얼기(34)를 아웃라이닝하는데 사용된 제1 두께 또는 패턴과는 상이한 제2 두께를 갖는 경계로 아웃라이닝될 수 있다. 이와 같이, 사용자는 해부 지역에서 추가적인 해부 대상들/조직(32)로부터 관심 있는 타겟 해부 대상(들)(30)을 쉽게 식별하고 구별할 수 있다.
추가의 실시예들에서, 제어기(17)는 다양한 주석달기된 이미지들(14)을 획득하기 위해 실시간 2-차원 초음파 이미지(46) 상의 타겟 해부 대상(들)(30) 및/또는 주위의 추가적인 해부 대상들/조직(32) 맨 위에 설명적 라벨을 오버레이하도록 구성될 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 주위의 해부 대상들/조직(32)은 내과의사를 통한 용이한 식별을 위해 (예컨대, 이미지(14) 우측에서) 랜드마크들(42)로서 넘버링 및 라벨링될 수 있다. 대안적으로, 도 12에 도시된 바와 같이, 주위의 해부 대상들/조직(32)은 라인 유형에 의해 식별되고 구별될 수 있고 특히 환자의 신체 내의 로케이션을 예시하는 랜드마크들(42)로서 식별될 수 있다. 또 다른 실시예에서, 도 13에 도시된 바와 같이, 주위의 해부 대상들/조직(32)은 설명적 의학 명칭을 사용하여 셰이딩되고 라벨링될 수 있다. 추가의 실시예들에서, 도 13에 도시된 바와 같이, 타겟 해부 대상(들)(30)은 또한 추가로 정의되고 그리고/또는 세그먼트화될 수 있다. 이와 같이, 팔신경얼기(34)의 경우, 사용자가 신경 차단 절차 동안 별개의 신경들 또는 신경 다발들을 쉽게 식별할 수 있다.
추가적인 실시예들에서, 도 11 내지 도 14에 도시된 바와 같이, 제어기(17)는 타겟 해부 대상(30) 및/또는 주위의 해부 대상들/조직(32)의 신뢰 수준(44)을 결정하도록 또한 구성될 수 있다. 예를 들어, 도 11 및 도 12에 도시된 바와 같이, 팔신경얼기(34)의 로케이션의 신뢰 수준(44)은 이미지(14)의 태스크 바(15) 상에 위치된다. 대안적으로, 도 13 및 도 14에 도시된 바와 같이, 팔신경얼기(34)의 로케이션의 신뢰 수준(44)은, 예컨대 타겟 해부 대상(30)에 인접한, 이미지(14)의 식별된 장면(12) 내에 위치될 수 있다.
이 기재된 명세서는 최선의 실시예를 포함하는 본 발명을 개시하기 위해, 그리고 또 본 기술분야의 통상의 기술자가 임의의 디바이스들 또는 시스템들을 제조 및 이용하는 것과 임의의 통합된 방법들을 수행하는 것을 포함하여 본 발명을 실용화하는 것을 가능하게 하기 위해 예들을 이용한다. 본 발명의 특허가능한 범위는 청구항들에 의해 정의되고, 본 기술분야의 통상의 기술자들에 대해 발생하는 다른 예들을 포함할 수 있다. 이러한 다른 예들은 그것들이 청구항들의 문언적 표현(literal language)과는 다르지 않은 구조적 엘리먼트들을 포함한다면, 또는 그것들이 청구항들의 문언적 표현들과는 대단찮은 차이들을 갖는 동등한 구조적 엘리먼트들을 포함한다면, 청구항들의 범위 내에 있도록 의도된다.
Claims (22)
- 의료적 이미징 시스템을 통해 의료적 절차 동안 타겟 해부 대상을 로케이팅하기 위한 내비게이션 방향들을 사용자에게 제공하는 방법 - 상기 방법은 컴퓨터로 구현됨- 으로서,
상기 타겟 해부 대상 주위의 해부 지역을 선택하는 단계;
상기 타겟 해부 대상 주위의 상기 해부 지역으로부터 장면들의 복수의 실시간 2-차원 이미지들을 생성하고 상기 복수의 실시간 2-차원 이미지들을 제어기에 제공하는 단계;
상기 타겟 해부 대상 주위의 상기 해부 지역으로부터 상기 장면들을 자동으로 검출하고 식별하기 위해 딥 러닝 네트워크 - 상기 딥 러닝 네트워크는 피드-포워드 신경망, 순환 신경망, 또는 이들의 조합을 포함함 - 를 발전시키고 훈련시키는 단계;
상기 딥 러닝 네트워크를 통해 상기 해부 지역에서의 상기 식별된 장면들 중 각각의 식별된 장면의 상대 공간적 로케이션 및 상대 시간적 로케이션에 기초하여 상기 타겟 해부 대상 주위의 상기 해부 지역으로부터 상기 복수의 실시간 2-차원 이미지들의 각각을 자동으로 매핑하는 단계; 및
상기 식별된 장면들 중 각각의 식별된 장면의 상기 상대 공간적 로케이션 및 상기 상대 시간적 로케이션에 기초하여 상기 의료적 절차 동안 상기 타겟 해부 대상을 로케이팅하기 위한 방향들을 상기 사용자에게 제공하는 단계
를 포함하고, 상기 의료적 절차는 신경 차단이며, 상기 타겟 해부 대상은 타겟 신경인, 방법. - 삭제
- 제1항에 있어서, 상기 신경 차단은 목갈비근사이 신경 차단, 빗장뼈위 신경 차단, 빗장뼈아래 신경 차단, 겨드랑 신경 차단, 넓적다리 신경 차단, 좌골 신경 차단, 내전근관 신경 차단, 오금 신경 차단, 두렁 신경 차단, 장골 근막 신경 차단, 등허리 척추옆 신경 차단, 가로 복부 평면(transversus abdominus plane)(TAP) 신경 차단, 갈비사이 신경 차단, 또는 가슴 척추옆 신경 차단을 포함하는, 방법.
- 제1항에 있어서, 상기 딥 러닝 네트워크는 콘볼루션 신경망을 포함하는, 방법.
- 제1항에 있어서, 지상 실측 데이터를 통해 상기 타겟 해부 대상 주위의 상기 해부 지역으로부터 상기 장면들을 자동으로 검출하고 식별하기 위해 상기 딥 러닝 네트워크를 발전시키고 훈련시키는 단계를 더 포함하는, 방법.
- 제1항에 있어서, 상기 타겟 해부 대상 주위의 상기 해부 지역으로부터 상기 장면들을 자동으로 검출하고 식별하기 위해 상기 딥 러닝 네트워크를 오프라인으로 처음에 훈련시키는 단계를 더 포함하는, 방법.
- 제1항에 있어서, 상기 타겟 해부 대상 주위의 상기 해부 지역으로부터 상기 장면들을 자동으로 검출하고 식별하기 위해 상기 딥 러닝 네트워크를 온라인으로 지속적으로 훈련시키는 단계를 더 포함하는, 방법.
- 제1항에 있어서, 상기 방향들은 프로브가 관심 있는 상기 해부 지역을 스캔함에 따라 상기 이미징 시스템의 사용자 디스플레이를 통해 주석달기된 형태로 상기 사용자에게 제공되며, 상기 이미징 시스템은 상기 복수의 실시간 2-차원 이미지들을 동시에 생성하는, 방법.
- 제1항에 있어서, 상기 방향들은 프로브가 관심 있는 상기 해부 지역을 스캔함에 따라 오디오 형태로 상기 사용자에게 제공되며, 상기 이미징 시스템은 상기 복수의 실시간 2-차원 이미지들을 동시에 생성하는, 방법.
- 제1항에 있어서, 상기 의료적 이미징 시스템은 초음파 이미징 시스템, 컴퓨터 단층촬영(CT) 이미징 시스템, 자기 공진(MR) 이미징 시스템, 또는 투시 이미징 시스템을 포함하는, 방법.
- 의료적 절차에서의 사용을 위한 의료적 이미징 시스템으로서,
하나 이상의 동작들을 수행하도록 구성되는 적어도 하나의 제어기 - 상기 하나 이상의 동작들은,
타겟 해부 대상 주위의 해부 지역으로부터 장면들의 복수의 실시간 2-차원 이미지들을 수신하는 동작;
상기 타겟 해부 대상 주위의 상기 해부 지역으로부터 상기 장면들을 자동으로 검출하고 식별하기 위해 딥 러닝 네트워크 - 상기 딥 러닝 네트워크는 피드-포워드 신경망, 순환 신경망, 또는 그들의 조합을 포함함 - 를 발전시키고 훈련시키는 동작;
상기 딥 러닝 네트워크를 통해 상기 해부 지역에서의 식별된 장면들 중 각각의 식별된 장면의 상대 공간적 로케이션 및 상대 시간적 로케이션에 기초하여 상기 타겟 해부 대상 주위의 상기 해부 지역으로부터 상기 복수의 실시간 2-차원 이미지들의 각각을 자동으로 매핑하는 동작; 및
상기 식별된 장면들 중 각각의 식별된 장면의 상기 상대 공간적 로케이션 및 상기 상대 시간적 로케이션에 기초하여 상기 의료적 절차 동안 상기 타겟 해부 대상을 로케이팅하기 위한 방향들을 사용자에게 제공하는 동작
을 포함하고, 상기 의료적 절차는 신경 차단이며, 상기 타겟 해부 대상은 타겟 신경임 - ; 및
상기 사용자에게 복수의 실시간 2-차원 이미지들을 디스플레이하도록 구성되는 사용자 디스플레이
를 포함하는, 의료적 이미징 시스템. - 삭제
- 제11항에 있어서, 상기 딥 러닝 네트워크는 콘볼루션 신경망을 포함하는, 의료적 이미징 시스템.
- 제11항에 있어서, 상기 타겟 해부 대상 주위의 상기 해부 지역으로부터 장면들을 자동으로 검출하고 식별하기 위해 상기 딥 러닝 네트워크를 발전시키고 훈련시키는 동작은 지상 실측 데이터를 통해 완수되는, 의료적 이미징 시스템.
- 제11항에 있어서, 상기 제어기는 상기 타겟 해부 대상 주위의 상기 해부 지역으로부터 장면들을 자동으로 검출하고 식별하기 위해 상기 딥 러닝 네트워크를 오프라인으로 처음에 훈련시키도록 구성되는, 의료적 이미징 시스템.
- 제11항에 있어서, 상기 제어기는 상기 타겟 해부 대상 주위의 상기 해부 지역으로부터 장면들을 자동으로 검출하고 식별하기 위해 상기 딥 러닝 네트워크를 온라인으로 지속적으로 훈련시키도록 구성되는, 의료적 이미징 시스템.
- 제11항에 있어서, 상기 제어기는 프로브가 관심 있는 상기 해부 지역을 스캔함에 따라 상기 사용자 디스플레이를 통해 주석달기된 형태로 상기 사용자에게 방향들을 제공하며, 상기 이미징 시스템은 상기 복수의 실시간 2-차원 이미지들을 동시에 생성하는, 의료적 이미징 시스템.
- 제11항에 있어서, 상기 제어기는 프로브가 관심 있는 상기 해부 지역을 스캔함에 따라 오디오 형태로 상기 사용자에게 방향들을 제공하며, 상기 이미징 시스템은 상기 복수의 실시간 2-차원 이미지들을 동시에 생성하는, 의료적 이미징 시스템.
- 제11항에 있어서, 상기 의료적 이미징 시스템은 초음파 이미징 시스템, 컴퓨터 단층촬영(CT) 이미징 시스템, 자기 공진(MR) 이미징 시스템, 또는 투시 이미징 시스템을 포함하는, 의료적 이미징 시스템.
- 제11항에 있어서, 상기 의료적 이미징 시스템은 다른 의료적 이미징 시스템들에 의해 설치되고 호스팅될 소프트웨어 패키지로서 구성되며, 상기 의료적 이미징 시스템은 호스트 의료적 이미징 시스템으로부터 이미지들을 수신하고 상기 호스트 의료적 이미징 시스템에 의해 전개될 출력들을 제공할 수 있는, 의료적 이미징 시스템.
- 제11항에 있어서, 상기 딥 러닝 네트워크는, 예를 들어 제한된 컴퓨테이션 능력이 이용 가능할 때, 메모리 사용량을 감소시키고 실행 시간을 가속시키기 위한 양자화된 가중값들, 이진수 가중값들, 및 다른 압축 방법들을 채용하는, 의료적 이미징 시스템.
- 제11항에 있어서, 상기 의료적 이미징 시스템은 상이한 설정들, 사양들, 및 이미지 품질을 갖는 상이한 의료적 이미징 시스템들과 작업할 수 있기 위해 변환, 등화, 및 정규화 기법들을 채용하는, 의료적 이미징 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662429150P | 2016-12-02 | 2016-12-02 | |
| US62/429,150 | 2016-12-02 | ||
| PCT/US2017/039928 WO2018101985A1 (en) | 2016-12-02 | 2017-06-29 | System and method for navigation to a target anatomical object in medical imaging-based procedures |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177035042A Division KR101886990B1 (ko) | 2016-12-02 | 2017-06-29 | 의료적 이미징 기반 절차에서 타겟 해부 대상으로의 내비게이션을 위한 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180116226A KR20180116226A (ko) | 2018-10-24 |
| KR101949114B1 true KR101949114B1 (ko) | 2019-02-15 |
Family
ID=59363227
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177035042A KR101886990B1 (ko) | 2016-12-02 | 2017-06-29 | 의료적 이미징 기반 절차에서 타겟 해부 대상으로의 내비게이션을 위한 시스템 및 방법 |
| KR1020187012260A KR101949114B1 (ko) | 2016-12-02 | 2017-06-29 | 의료적 이미징 기반 절차에서 타겟 해부 대상으로의 내비게이션을 위한 시스템 및 방법 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177035042A KR101886990B1 (ko) | 2016-12-02 | 2017-06-29 | 의료적 이미징 기반 절차에서 타겟 해부 대상으로의 내비게이션을 위한 시스템 및 방법 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US10657671B2 (ko) |
| EP (1) | EP3549103B1 (ko) |
| JP (1) | JP6796085B2 (ko) |
| KR (2) | KR101886990B1 (ko) |
| CN (1) | CN109074665B (ko) |
| BR (1) | BR112018000197A2 (ko) |
| CA (1) | CA2989159C (ko) |
| MX (1) | MX2017017142A (ko) |
| RU (1) | RU2017142603A (ko) |
| WO (1) | WO2018101985A1 (ko) |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11164679B2 (en) | 2017-06-20 | 2021-11-02 | Advinow, Inc. | Systems and methods for intelligent patient interface exam station |
| US12102397B2 (en) * | 2018-01-19 | 2024-10-01 | Verily Life Sciences Llc | Step-based system for providing surgical intraoperative cues |
| CN117379103A (zh) * | 2018-01-31 | 2024-01-12 | 富士胶片株式会社 | 超声波诊断装置及其控制方法、超声波诊断装置用处理器 |
| US11348688B2 (en) * | 2018-03-06 | 2022-05-31 | Advinow, Inc. | Systems and methods for audio medical instrument patient measurements |
| US10939806B2 (en) * | 2018-03-06 | 2021-03-09 | Advinow, Inc. | Systems and methods for optical medical instrument patient measurements |
| WO2019211250A1 (en) * | 2018-04-30 | 2019-11-07 | Koninklijke Philips N.V. | Visual question answering using on-image annotations |
| US20200016396A1 (en) * | 2018-07-11 | 2020-01-16 | Synchron Australia Pty Limited | Systems and methods for improving placement of devices for neural stimulation |
| JP7134017B2 (ja) | 2018-08-14 | 2022-09-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| KR102179045B1 (ko) * | 2018-10-18 | 2020-11-16 | 한국외국어대학교 연구산학협력단 | 3차원 영상에서의 강화 학습 기반 랜드마크 위치 검출 모델 학습 방법 |
| CN112955934B (zh) * | 2018-11-01 | 2024-10-15 | 皇家飞利浦有限公司 | 识别医学图像中的介入设备 |
| CN109589145A (zh) * | 2018-12-28 | 2019-04-09 | 吴莹 | 一种智能化肾穿刺控制系统 |
| KR102659494B1 (ko) | 2019-01-21 | 2024-04-23 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
| US10970542B2 (en) * | 2019-02-22 | 2021-04-06 | Here Global B.V. | Scalable three dimensional object segmentation |
| WO2020201183A1 (en) * | 2019-04-02 | 2020-10-08 | Koninklijke Philips N.V. | Segmentation and view guidance in ultrasound imaging and associated devices, systems, and methods |
| US11707255B2 (en) * | 2019-04-02 | 2023-07-25 | Siemens Medical Solutions Usa, Inc. | Image-based probe positioning |
| US20220254149A1 (en) * | 2019-04-17 | 2022-08-11 | Nec Corporation | Image processing apparatus, image processing method and non-transitory computer readable medium |
| US20210045716A1 (en) * | 2019-08-13 | 2021-02-18 | GE Precision Healthcare LLC | Method and system for providing interaction with a visual artificial intelligence ultrasound image segmentation module |
| US20210059758A1 (en) * | 2019-08-30 | 2021-03-04 | Avent, Inc. | System and Method for Identification, Labeling, and Tracking of a Medical Instrument |
| US11024027B2 (en) * | 2019-09-13 | 2021-06-01 | Siemens Healthcare Gmbh | Manipulable object synthesis in 3D medical images with structured image decomposition |
| EP3821440B1 (en) * | 2019-09-20 | 2024-07-24 | Brainlab AG | Training a machine learning algorithm using digitally reconstructed radiographs |
| JP7427902B2 (ja) * | 2019-10-02 | 2024-02-06 | コニカミノルタ株式会社 | 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置 |
| US20210177295A1 (en) * | 2019-12-11 | 2021-06-17 | GE Precision Healthcare LLC | Systems and methods for generating diagnostic scan parameters from calibration images |
| WO2021121600A1 (en) * | 2019-12-19 | 2021-06-24 | Brainlab Ag | Medical image analysis using machine learning and an anatomical vector |
| WO2021145876A1 (en) * | 2020-01-16 | 2021-07-22 | Visa International Service Association | System and computer-implemented method for character recognition in payment card |
| EP3862969A1 (en) * | 2020-02-07 | 2021-08-11 | Siemens Healthcare GmbH | Orientation detection in medical image data |
| EP3881793A1 (en) * | 2020-03-17 | 2021-09-22 | CHU de NICE | Surgical instrument and computer-implemented method for determining the position and orientation of such surgical instrument |
| CN111488985B (zh) * | 2020-04-08 | 2023-11-14 | 华南理工大学 | 深度神经网络模型压缩训练方法、装置、设备、介质 |
| US20210334955A1 (en) * | 2020-04-24 | 2021-10-28 | Nvidia Corporation | Image annotation using one or more neural networks |
| CN112001224A (zh) * | 2020-07-02 | 2020-11-27 | 北京奥维视讯科技有限责任公司 | 基于卷积神经网络的视频采集方法和视频采集系统 |
| CN111839730B (zh) * | 2020-07-07 | 2022-02-11 | 厦门大学附属翔安医院 | 一种用于引导肿瘤切除的光声成像手术导航平台 |
| DE102020212086A1 (de) * | 2020-09-25 | 2022-03-31 | Siemens Healthcare Gmbh | Ermitteln der Qualität einer Positionierung eines in einen Patientenkörper eingeführten Objekts |
| EP4230147A4 (en) | 2020-10-16 | 2024-04-03 | FUJIFILM Corporation | ULTRA-SOUND DIAGNOSTIC DEVICE AND METHOD FOR DISPLAYING ULTRA-SOUND DIAGNOSTIC DEVICE |
| CN112766314B (zh) * | 2020-12-31 | 2024-05-28 | 上海联影智能医疗科技有限公司 | 解剖结构的识别方法、电子设备及存储介质 |
| US20240307125A1 (en) * | 2021-01-21 | 2024-09-19 | Epidutech Ltd. | Method for tracking a medical tool during a medical procedure using deep learning |
| CN112819724B (zh) * | 2021-02-05 | 2024-06-28 | 广东电网有限责任公司广州供电局 | 一种基于cnn的扫描文档图像增强方法 |
| EP4059435A1 (en) * | 2021-03-15 | 2022-09-21 | Koninklijke Philips N.V. | Patient preparation for medical imaging |
| JP2022179368A (ja) * | 2021-05-19 | 2022-12-02 | エヌビディア コーポレーション | 機械学習を用いたスーパビジョンの拡張 |
| CN114052795B (zh) * | 2021-10-28 | 2023-11-07 | 南京航空航天大学 | 一种结合超声自主扫描的病灶成像及防误扎治疗系统 |
| WO2023152530A2 (en) * | 2021-12-10 | 2023-08-17 | Mofaip, Llp | Multidimensional anatomic mapping, descriptions, visualizations, and translations |
| CN114840110B (zh) * | 2022-03-17 | 2023-06-20 | 杭州未名信科科技有限公司 | 一种基于混合现实的穿刺导航交互辅助方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011087807A2 (en) | 2009-12-22 | 2011-07-21 | Health Discovery Corporation | System and method for remote melanoma screening |
| US20140348404A1 (en) | 2013-05-22 | 2014-11-27 | Siemens Aktiengesellschaft | Semantic navigation and lesion mapping from digital breast tomosynthesis |
| US20150164605A1 (en) | 2013-12-13 | 2015-06-18 | General Electric Company | Methods and systems for interventional imaging |
Family Cites Families (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3642591B2 (ja) * | 1994-11-29 | 2005-04-27 | 株式会社日立メディコ | 画像処理装置 |
| JP2003533785A (ja) * | 2000-05-09 | 2003-11-11 | シーメンス アクチエンゲゼルシヤフト | 画像中の物体を求めるための方法および装置 |
| US7016529B2 (en) | 2002-03-15 | 2006-03-21 | Microsoft Corporation | System and method facilitating pattern recognition |
| JP2005199403A (ja) * | 2004-01-16 | 2005-07-28 | Sony Corp | 情動認識装置及び方法、ロボット装置の情動認識方法、ロボット装置の学習方法、並びにロボット装置 |
| US7876934B2 (en) | 2004-11-08 | 2011-01-25 | Siemens Medical Solutions Usa, Inc. | Method of database-guided segmentation of anatomical structures having complex appearances |
| JP2008017997A (ja) * | 2006-07-12 | 2008-01-31 | Hitachi Medical Corp | 手術支援ナビゲーションシステム |
| CN101627411B (zh) | 2007-01-16 | 2014-03-19 | 西姆博尼克斯有限公司 | 用于执行模拟的图像导引医疗过程的设备和方法 |
| EP2227783A1 (en) * | 2007-10-19 | 2010-09-15 | Boston Scientific Scimed, Inc. | Display of classifier output and confidence measure in an image |
| US8172753B2 (en) * | 2008-07-11 | 2012-05-08 | General Electric Company | Systems and methods for visualization of an ultrasound probe relative to an object |
| US8073220B2 (en) | 2009-04-20 | 2011-12-06 | Siemens Aktiengesellschaft | Methods and systems for fully automatic segmentation of medical images |
| US20110182493A1 (en) | 2010-01-25 | 2011-07-28 | Martin Huber | Method and a system for image annotation |
| US20110188715A1 (en) | 2010-02-01 | 2011-08-04 | Microsoft Corporation | Automatic Identification of Image Features |
| WO2012021862A2 (en) | 2010-08-13 | 2012-02-16 | Aashiish Agnihotri | Detection of anatomical landmarks |
| WO2012035538A1 (en) | 2010-09-16 | 2012-03-22 | Mor Research Applications Ltd. | Method and system for analyzing images |
| US8867802B2 (en) | 2011-04-19 | 2014-10-21 | Microsoft Corporation | Automatic organ localization |
| US20130249917A1 (en) * | 2012-03-26 | 2013-09-26 | Microsoft Corporation | Profile data visualization |
| US10776913B2 (en) | 2012-05-31 | 2020-09-15 | Koninklijke Philips N.V. | Method and system for quantitative evaluation of image segmentation |
| WO2013183051A1 (en) | 2012-06-04 | 2013-12-12 | Tel Hashomer Medical Research Infrastructure And Services Ltd. | Ultrasonographic images processing |
| EP2690596B1 (en) | 2012-07-24 | 2018-08-15 | Agfa Healthcare | Method, apparatus and system for automated spine labeling |
| US9256962B2 (en) | 2013-01-23 | 2016-02-09 | Orca Health Inc. | Personalizing medical conditions with augmented reality |
| US11278353B2 (en) * | 2016-03-16 | 2022-03-22 | Synaptive Medical Inc. | Trajectory alignment system and methods |
| CN105051783A (zh) | 2013-03-15 | 2015-11-11 | S·利特尔 | 通过与其它个体的影像进行比较来评价电磁影像 |
| EP2973397B1 (en) | 2013-03-15 | 2017-08-02 | Ventana Medical Systems, Inc. | Tissue object-based machine learning system for automated scoring of digital whole slides |
| US9390502B2 (en) | 2013-04-22 | 2016-07-12 | Kabushiki Kaisha Toshiba | Positioning anatomical landmarks in volume data sets |
| US9235781B2 (en) * | 2013-08-09 | 2016-01-12 | Kabushiki Kaisha Toshiba | Method of, and apparatus for, landmark location |
| US9471987B2 (en) * | 2013-08-09 | 2016-10-18 | Siemens Healthcare Gmbh | Automatic planning for medical imaging |
| DE102013218437A1 (de) | 2013-09-13 | 2015-03-19 | Siemens Aktiengesellschaft | Verfahren zur automatischen oder halb-automatischen Segmentierung und Vorrichtung |
| US9730643B2 (en) | 2013-10-17 | 2017-08-15 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
| US9700219B2 (en) | 2013-10-17 | 2017-07-11 | Siemens Healthcare Gmbh | Method and system for machine learning based assessment of fractional flow reserve |
| US20160317118A1 (en) * | 2013-12-20 | 2016-11-03 | Koninklijke Philips N.V. | Automatic ultrasound beam steering and needle artifact suppression |
| WO2015104607A1 (en) | 2014-01-07 | 2015-07-16 | Koninklijke Philips N.V. | Ultrasound imaging modes for automated real time quantification and analysis |
| EP3073915A4 (en) | 2014-01-17 | 2017-08-16 | Arterys Inc. | Apparatus, methods and articles for four dimensional (4d) flow magnetic resonance imaging |
| KR20150108701A (ko) | 2014-03-18 | 2015-09-30 | 삼성전자주식회사 | 의료 영상 내 해부학적 요소 시각화 시스템 및 방법 |
| US9990743B2 (en) * | 2014-03-27 | 2018-06-05 | Riverain Technologies Llc | Suppression of vascular structures in images |
| US11232319B2 (en) | 2014-05-16 | 2022-01-25 | The Trustees Of The University Of Pennsylvania | Applications of automatic anatomy recognition in medical tomographic imagery based on fuzzy anatomy models |
| CN106605257B (zh) | 2014-06-09 | 2019-10-11 | 西门子保健有限责任公司 | 医学成像中具有空间和时间约束的界标检测 |
| GB2528249B (en) | 2014-07-11 | 2019-03-06 | Siemens Medical Solutions Usa Inc | Automatic background region selection for lesion delineation in medical images |
| KR101579740B1 (ko) | 2014-09-01 | 2015-12-23 | 삼성메디슨 주식회사 | 초음파 진단장치, 그에 따른 초음파 진단 방법 및 그에 따른 컴퓨터 판독 가능한 저장매체 |
| US9779505B2 (en) | 2014-09-30 | 2017-10-03 | Toshiba Medical Systems Corporation | Medical data processing apparatus and method |
| US10068340B2 (en) | 2014-11-03 | 2018-09-04 | Algotec Systems Ltd. | Method for segmentation of the head-neck arteries, brain and skull in medical images |
| US10835210B2 (en) | 2015-03-30 | 2020-11-17 | Siemens Medical Solutions Usa, Inc. | Three-dimensional volume of interest in ultrasound imaging |
| US9633306B2 (en) * | 2015-05-07 | 2017-04-25 | Siemens Healthcare Gmbh | Method and system for approximating deep neural networks for anatomical object detection |
| EP3295374B8 (en) * | 2015-05-11 | 2023-10-18 | Siemens Healthcare GmbH | Method and system for landmark detection in medical images using deep neural networks |
| CN105139454B (zh) * | 2015-08-06 | 2018-01-19 | 北京工业大学 | 一种三维ct图像中肝脏三维感兴趣区域的自动提取方法 |
| US10413366B2 (en) * | 2016-03-16 | 2019-09-17 | Synaptive Medical (Bardbados) Inc. | Trajectory guidance alignment system and methods |
-
2017
- 2017-06-29 WO PCT/US2017/039928 patent/WO2018101985A1/en active Application Filing
- 2017-06-29 KR KR1020177035042A patent/KR101886990B1/ko active IP Right Grant
- 2017-06-29 RU RU2017142603A patent/RU2017142603A/ru not_active Application Discontinuation
- 2017-06-29 US US15/736,129 patent/US10657671B2/en active Active
- 2017-06-29 BR BR112018000197A patent/BR112018000197A2/pt not_active IP Right Cessation
- 2017-06-29 EP EP17740527.1A patent/EP3549103B1/en active Active
- 2017-06-29 CN CN201780002386.1A patent/CN109074665B/zh active Active
- 2017-06-29 KR KR1020187012260A patent/KR101949114B1/ko active IP Right Grant
- 2017-06-29 CA CA2989159A patent/CA2989159C/en active Active
- 2017-06-29 JP JP2017564130A patent/JP6796085B2/ja not_active Expired - Fee Related
- 2017-06-29 MX MX2017017142A patent/MX2017017142A/es unknown
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011087807A2 (en) | 2009-12-22 | 2011-07-21 | Health Discovery Corporation | System and method for remote melanoma screening |
| US20140348404A1 (en) | 2013-05-22 | 2014-11-27 | Siemens Aktiengesellschaft | Semantic navigation and lesion mapping from digital breast tomosynthesis |
| US20150164605A1 (en) | 2013-12-13 | 2015-06-18 | General Electric Company | Methods and systems for interventional imaging |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2989159C (en) | 2021-12-28 |
| RU2017142603A3 (ko) | 2019-08-07 |
| MX2017017142A (es) | 2018-11-09 |
| EP3549103A1 (en) | 2019-10-09 |
| CA2989159A1 (en) | 2018-03-05 |
| JP2019508072A (ja) | 2019-03-28 |
| WO2018101985A1 (en) | 2018-06-07 |
| RU2017142603A (ru) | 2019-08-07 |
| JP6796085B2 (ja) | 2020-12-02 |
| BR112018000197A2 (pt) | 2018-09-11 |
| US10657671B2 (en) | 2020-05-19 |
| KR20180116226A (ko) | 2018-10-24 |
| CN109074665A (zh) | 2018-12-21 |
| KR101886990B1 (ko) | 2018-08-08 |
| US20190355149A1 (en) | 2019-11-21 |
| CN109074665B (zh) | 2022-01-11 |
| EP3549103B1 (en) | 2021-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101949114B1 (ko) | 의료적 이미징 기반 절차에서 타겟 해부 대상으로의 내비게이션을 위한 시스템 및 방법 | |
| US20230044620A1 (en) | Algorithm-based methods for predicting and/or detecting a clinical condition related to insertion of a medical instrument toward an internal target | |
| EP3586787B1 (en) | Image matching device and image matching method | |
| AU2018214141B2 (en) | System and method for navigation to a target anatomical object in medical imaging-based procedures | |
| KR20190028422A (ko) | 해부학적 대상들의 자동 검출, 국부화, 및 의미론적 세그먼트화를 위한 시스템 및 방법 | |
| US20210059758A1 (en) | System and Method for Identification, Labeling, and Tracking of a Medical Instrument | |
| US20200029941A1 (en) | Articulating Arm for Analyzing Anatomical Objects Using Deep Learning Networks | |
| CN103371870A (zh) | 一种基于多模影像的外科手术导航系统 | |
| CN114948199B (zh) | 一种外科手术辅助系统及手术路径规划方法 | |
| CN107708530A (zh) | 脊椎导航方法、脊椎导航系统和计算机程序产品 | |
| JP2021521949A (ja) | インターベンショナルｘ線画像及びディープラーニングを用いたインタラクティブ冠動脈ラベル付け | |
| CN113876420B (zh) | 用于规划手术路径的路径规划方法、系统、设备和介质 | |
| US20230177681A1 (en) | Method for determining an ablation region based on deep learning | |
| US11766234B2 (en) | System and method for identifying and navigating anatomical objects using deep learning networks | |
| CN116747017A (zh) | 脑出血手术规划系统及方法 | |
| EP4318393A1 (en) | Surgical path processing system, method, apparatus and device, and storage medium | |
| CN117765038A (zh) | 肺部气管的配准方法、系统、计算设备及计算机存储介质 | |
| CN116862963A (zh) | 一种配准方法及装置 | |
| CN117547302A (zh) | 一种超声扫查装置、方法与存储介质 | |
| CN117836776A (zh) | 医疗手术期间的成像 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |