KR20210149112A - 이미지-기반 프로브 포지셔닝 - Google Patents
이미지-기반 프로브 포지셔닝 Download PDFInfo
- Publication number
- KR20210149112A KR20210149112A KR1020217035447A KR20217035447A KR20210149112A KR 20210149112 A KR20210149112 A KR 20210149112A KR 1020217035447 A KR1020217035447 A KR 1020217035447A KR 20217035447 A KR20217035447 A KR 20217035447A KR 20210149112 A KR20210149112 A KR 20210149112A
- Authority
- KR
- South Korea
- Prior art keywords
- probe
- catheter
- ice
- interest
- image
- Prior art date
Links
- 239000000523 sample Substances 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 claims description 42
- 210000002216 heart Anatomy 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 238000002592 echocardiography Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 32
- 238000002604 ultrasonography Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 210000003492 pulmonary vein Anatomy 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 4
- 238000002594 fluoroscopy Methods 0.000 description 4
- 210000005246 left atrium Anatomy 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 210000005245 right atrium Anatomy 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 210000005242 cardiac chamber Anatomy 0.000 description 2
- 210000004903 cardiac system Anatomy 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000003238 esophagus Anatomy 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 210000005241 right ventricle Anatomy 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 210000000591 tricuspid valve Anatomy 0.000 description 2
- 241000703391 Lipovnik virus Species 0.000 description 1
- SAZUGELZHZOXHB-UHFFFAOYSA-N acecarbromal Chemical compound CCC(Br)(CC)C(=O)NC(=O)NC(C)=O SAZUGELZHZOXHB-UHFFFAOYSA-N 0.000 description 1
- 238000002399 angioplasty Methods 0.000 description 1
- 210000002376 aorta thoracic Anatomy 0.000 description 1
- 210000001765 aortic valve Anatomy 0.000 description 1
- 210000001367 artery Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001493 electron microscopy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000001802 infusion Methods 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 238000002608 intravascular ultrasound Methods 0.000 description 1
- 210000005248 left atrial appendage Anatomy 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 210000004115 mitral valve Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 210000000779 thoracic wall Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000002861 ventricular Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
- A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/42—Details of probe positioning or probe attachment to the patient
- A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
- A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
- A61B8/445—Details of catheter construction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Abstract
이미지-기반 프로브 포지셔닝을 위한 프레임워크가 본원에서 개시된다. 프레임워크는 프로브로부터 현재 이미지를 수신한다. 현재 이미지는 관심 구조 내에서 프로브에 의해 포착된다. 프레임워크는 훈련된 분류기에 현재 이미지를 적용함으로써, 프로브의 포지션을 예측하고, 프로브를 사용하여 수행될 다음 기동의 추천을 생성한다. 그런 다음, 프레임워크는 예측된 포지션 및 다음 기동의 추천을 출력한다.
Description
[0001]
본 개시내용은 일반적으로, 프로브(probe)의 이미지-기반 포지셔닝(image-based positioning)을 가능하게 하는 것에 관한 것이다.
[0002]
심초음파 검사(echocardiography)는 초음파들을 사용하여 심장 내부의 구조들의 이미지(image)들을 포착한다. 심장 내 심초음파도(ICE; Intracardiac echocardiogram)는, 흉벽을 통해 음파들을 전송함으로써 심장의 이미지들을 수집하기보다는, 심장 내부로부터 이미지들을 포착하는 카테터(catheter)-기반 형태의 심장 초음파 검사이다. 예컨대, Siemens Healthineers Global의 ACUSON AcuNav™ 초음파 이미징 카테터(ultrasound imaging catheter)는 ICE에 사용된다. 심초음파도(echocardiogram)는 변환기(transducer)로부터 의학적으로 안전한 음파들을 전송함으로써 작동한다. 음파들이 심장의 구조들로부터 변환기로 다시 반사될 때, 심초음파도 기계는 반사된 음파들을 수신하고, 심장의 내부 구조들의 동영상을 생성한다. 에코(echo) 변환기는 통상적으로 천자(puncture)를 통해 심장으로 가는 혈관 내에 삽입되는 얇은 가요성 튜브(tube)인 카테터의 팁(tip)에 위치된다.
[0003]
ICE 사용자들은 심장 내부에서 카테터를 조작하는 동안 네비게이션(navigation) 보조를 필요로 할 수 있다. 심장 내의 ICE 카테터 안내는 통상적으로, 전자기-기반 포지션 센서(position sensor)들을 사용하여 설정된다. 제3 자 시스템(system)(예컨대, CARTO® 맵핑(mapping) 시스템)은 이러한 센서들로부터 데이터(data)를 수신 및 해석하여 포지션들을 결정한다. 센서들이 이용가능하지 않은 경우, 카테터 포지션은 흔히, 형광 투시(fluoroscopy)와 같은 제2 보조 이미징 양식(modality)에 의해 결정된다. 대안적으로, 단계별 안내는 임상 초음파 전문가에 의해 수동으로 제공될 수 있다.
[0004]
그러나, 그러한 시스템들을 사용하는 데 있어서 다양한 단점들이 있다. 예컨대, 센서-기반 안내 시스템들은 통상적으로, 카테터의 더 길고 유연하지 않은 원위 팁을 수반하므로, 통상적으로 더 비싸고 번거로우며, 그에 의해, 기동성(maneuverability)을 감소시키고, 심장 벽 천공의 기회들을 증가시킨다. 부가적으로, 센서들은 잠재적으로 근처 생체 의학 디바이스(device)들 및 기구들과 간섭할 수 있다. 추가로, 더 낮은 수율뿐만 아니라 더 높은 재료 및 노동 비용과 함께, 카테터 제조 실패의 더 높은 위험이 있다. 형광 투시-기반 네비게이션 시스템들은 의사들, 환자들, 또는 병원 직원을 부가적인 X-선 방사선에 노출시키며, 이는 바람직하지 않은 부작용들을 초래할 수 있다. 수동 안내의 경우, 이는 훈련된 ICE 소노그래퍼(sonographer)의 존재를 요구하고, 로지스틱스(logistics), 스케줄링, 및 프로시저(procedure)와 연관된 부가적인 비용들을 수반한다.
[0005]
이미지-기반 프로브 포지셔닝을 위한 프레임워크(framework)가 본원에서 설명된다. 프레임워크는 프로브로부터 현재 이미지를 수신한다. 현재 이미지는 관심 구조 내에서 프로브에 의해 포착된다. 프레임워크는 훈련된 분류기에 현재 이미지를 적용함으로써, 프로브의 포지션을 예측하고, 프로브를 사용하여 수행될 다음 기동(maneuver)의 추천을 생성한다. 그런 다음, 프레임워크는 예측된 포지션 및 다음 기동의 추천을 출력한다.
[0006]
본 개시내용의 더 완전한 인식 및 그의 다양한 수반되는 양상들이 쉽게 획득될 것인데, 이는 첨부된 도면들과 함께 고려될 때 다음의 상세한 설명을 참조함으로써 이들이 더 양호하게 이해되기 때문이다.
[0007] 도 1은 예시적 시스템을 예시하는 블록 다이어그램(block diagram)이다.
[0008] 도 2는 예시적 프로브 포지셔닝 방법을 도시한다.
[0009] 도 3은 예시적 심장 내 심초음파도(ICE) 이미지를 도시한다.
[0010] 도 4는 훈련된 뉴럴 네트워크(neural network)의 예시적 입력 및 출력을 예시한다.
[0011] 도 5는 예시적 사용자 인터페이스(user interface)를 도시한다.
[0007] 도 1은 예시적 시스템을 예시하는 블록 다이어그램(block diagram)이다.
[0008] 도 2는 예시적 프로브 포지셔닝 방법을 도시한다.
[0009] 도 3은 예시적 심장 내 심초음파도(ICE) 이미지를 도시한다.
[0010] 도 4는 훈련된 뉴럴 네트워크(neural network)의 예시적 입력 및 출력을 예시한다.
[0011] 도 5는 예시적 사용자 인터페이스(user interface)를 도시한다.
[0012]
다음의 설명에서는, 본 프레임워크의 구현들의 철저한 이해를 제공하기 위해, 특정 컴포넌트(component)들, 디바이스들, 방법들 등의 예들과 같은 다수의 특정 세부사항들이 기술된다. 그러나, 이러한 특정 세부사항들이 본 프레임워크의 구현들을 실시하기 위해 사용될 필요가 없다는 것이 당업자에게 명백할 것이다. 다른 경우들에서, 본 프레임워크의 구현들을 불필요하게 모호하게 하는 것을 회피하기 위해, 잘 알려진 재료들 또는 방법들은 상세하게 설명되지 않았다. 본 프레임워크는 다양한 수정들 및 대안적 형태들에 영향을 받을 수 있지만, 이의 특정 실시예들은 도면들에 예로서 도시되고, 본원에서 상세하게 설명될 것이다. 그러나, 본 발명을 개시된 특정 형태들로 제한하려는 의도는 없지만, 반대로, 그 의도는 본 발명의 사상 및 범위 내에 있는 모든 수정들, 등가물들, 및 대안들을 커버(cover)하기 위한 것이라는 것을 이해해야 한다. 게다가, 이해의 용이함을 위해, 특정 방법 단계들은 별개의 단계들로서 기술되지만, 이 별도로 기술된 단계들은 반드시 그들의 수행에 있어서 순서에 의존하는 것으로 해석되지 않아야 한다.
[0013]
본원에서 사용되는 바와 같은 "x-선 이미지"라는 용어는(예컨대, 비디오 스크린(video screen) 상에 디스플레이된) 가시적인 x-선 이미지 또는 x-선 이미지의 디지털(digital) 표현(예컨대, x-선 검출기의 픽셀 출력에 대응하는 파일)을 의미할 수 있다. 본원에서 사용되는 바와 같은 "치료 중 x-선 이미지"라는 용어는, 방사선 소스(source)가 온(on) 또는 오프(off) 상태인 시간들을 포함할 수 있는 중재적인 또는 치료상의 프로시저(procedure)의 치료 전달 단계 동안 임의의 시점에 캡처(capture)된 이미지들을 지칭할 수 있다. 때때로, 설명의 편의를 위해, CT 이미징 데이터(예컨대, 콘-빔(cone-beam) CT 이미징 데이터)가 예시적 이미징 양식으로서 본원에서 사용될 수 있다. 그러나, X-선 방사선 사진들, MRI, 양전자 방사 단층 촬영(PET; positron emission tomography), PET-CT, SPECT, SPECT-CT, MR-PET, 3D 초음파 이미지들 등을 포함하는(그러나 이들 제한되지 않음) 임의의 유형의 이미징 양식으로부터의 데이터가 또한 다양한 구현들에서 사용될 수 있다는 것을 인식할 것이다.
[0014]
다음의 논의로부터 명백한 바와 같이 달리 언급되지 않는 한, "세그멘팅(segmenting)", "생성", "등록", "결정", "정렬", "포지셔닝", "프로세싱(processing)", "컴퓨팅(computing)", "선택", "추정", "검출", "추적" 등과 같은 용어들은 컴퓨터 시스템의 레지스터(register)들 및 메모리(memory)들 내의 물리적(예컨대, 전자적) 양들로서 표현되는 데이터를 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 그러한 정보 저장, 송신 또는 디스플레이(display) 디바이스들 내에서 물리적 양들로서 유사하게 표현되는 다른 데이터로 조작 및 변환하는, 컴퓨터 시스템 또는 유사한 전자 컴퓨팅 디바이스의 액션(action)들 및 프로세스(process)들을 지칭할 수 있다는 것을 인식할 것이다. 본원에서 설명된 방법들의 실시예들은 컴퓨터 소프트웨어(software)를 사용하여 구현될 수 있다. 인식된 표준을 따르는 프로그래밍(programming) 언어로 기록되는 경우, 방법들을 구현하도록 설계된 명령들의 시퀀스(sequence)들은 다양한 하드웨어 플랫폼(hardware platform)들 상에서의 실행을 위해 그리고 다양한 운영 시스템들에 대한 인터페이스를 위해 컴파일(compile)될 수 있다. 또한, 본 프레임워크의 구현들은 임의의 특정 프로그래밍 언어를 참조하여 설명되지 않는다. 다양한 프로그래밍 언어들이 사용될 수 있다는 것을 인지할 것이다.
[0015]
본원에서 사용되는 바와 같이, "이미지"라는 용어는 별개의 이미지 엘리먼트(element)들(예컨대, 2D 이미지들에 대한 픽셀(pixel)들, 3D 이미지들에 대한 복셀(voxel)들, 4D 데이터세트(dataset)들에 대한 독셀(doxel)들)로 구성된 다차원 데이터를 지칭한다. 이미지는 예컨대, 컴퓨터 단층 촬영(computer tomography), 자기 공명 이미징, 초음파, 또는 당업자에게 알려진 임의의 다른 의료 이미징 시스템에 의해 수집된 피험자의 의료 이미지일 수 있다. 이미지는 또한, 예컨대, 원격 감지 시스템들, 전자 현미경 등과 같은 비의료적 맥락들로부터 제공될 수 있다. 이미지는 R3으로부터 R2로의 기능 또는 R3에 대한 맵핑으로서 여겨질 수 있지만, 본 방법들은 그러한 이미지들로 제한되지 않고, 임의의 차원의 이미지들 예컨대, 2D 영상(picture), 3D 볼륨(volume), 또는 4D 데이터세트에 적용될 수 있다. 2차원 또는 3차원 이미지의 경우, 이미지의 도메인(domain)은 통상적으로 2차원 또는 3차원 직사각형 어레이(array)이며, 여기서 각각의 픽셀 또는 복셀은 2개 또는 3개의 서로 직교하는 축들의 세트를 참조하여 어드레싱(address)될 수 있다. 본원에서 사용되는 바와 같은 "디지털" 및 "디지털화된"이라는 용어들은, 디지털 포착 시스템을 통해 또는 아날로그 이미지로부터의 변환을 통해 포착된 디지털 또는 디지털화된 포맷의 이미지들 또는 볼륨들을 적절하게 지칭할 것이다.
[0016]
2D 이미징 및 이미지 디스플레이와 관련하여 종래에 사용되는 영상 엘리먼트들에 대한 "픽셀들", 3D 이미징과 관련하여 흔히 사용되는 볼륨 이미지 엘리먼트들에 대한 "복셀들", 및 4D 데이터세트들에 대한 "독셀들"이라는 용어들은 상호 교환가능하게 사용될 수 있다. 3D 볼륨 이미지 자체가 2D 센서 어레이 상의 픽셀들로서 획득된 이미지 데이터로부터 합성되고, 일부 시야각으로부터 2D 이미지로서 디스플레이된다는 점에 유의해야 한다. 따라서, 2D 이미지 프로세싱 및 이미지 분석 기법들이 3D 볼륨 이미지 데이터에 적용될 수 있다. 다음의 설명에서, 독셀들에 대해 동작하는 것으로 설명된 기법들은 디스플레이를 위해 2D 픽셀 데이터의 형태로 저장 및 표현되는 3D 복셀 데이터에 대해 동작하는 것으로서 대안적으로 설명될 수 있다. 동일한 방식으로, 복셀 데이터에 대해 동작하는 기법들은 또한 픽셀들에 대해 동작하는 것으로 설명될 수 있다. 다음의 설명에서, 변수 x는 특정 공간 위치에서의 대상 이미지 엘리먼트 또는 대안적으로 고려되는 대상 픽셀을 표시하는 데 사용된다. "대상 픽셀", "대상 복셀", 및 "대상 독셀"이라는 용어들은, 특정 이미지 엘리먼트가 본원에서 설명된 기법들을 사용하여 동작될 때 특정 이미지 엘리먼트를 표시하기 위해 사용된다.
[0017]
본 프레임워크의 일 양상은, 이를테면, 환자의 심장 내의 관심 구조 내부의 프로브의 포지션(예컨대, 위치 및 배향)을 예측하기 위해 기계 학습된 분류기에 입력되는 이미지들을 활용한다. 예측된 포지션은 사용자가 예컨대, 프로브를 원하는 포지션으로 조향(예컨대, 토크(torque), 회전 및/또는 병진 운동)하여 해부학적 구조를 시각화하기 위해 실시간으로 안내를 생성하기 위해 치료 또는 네비게이션 프로토콜(protocol)과 함께 사용될 수 있다.
[0018]
프레임워크는 프로브에 의해 포착된 이미지들에 의존하고, 센서들 및 부가적인 2차 이미징 양식들의 사용을 회피한다. 본 이미지-기반 프레임워크에 의해 생성된 포지셔닝(또는 네비게이션) 안내는 몇몇 이점들을 제공한다. 예컨대, ICE 사용자들은 형광 투시, 다른 현장 전문가들 또는 포지션 센서 피드백에 덜 의존할 수 있다. ICE 이미징은 전문화된 작업이며, 많은 의사들은 이전에 카테터의 위치를 정확하게 아는 것이 매우 어렵기 때문에 이를 사용하기를 꺼려한다. 경험 많은 의사들 조차도 ICE 포지셔닝에 어려움을 겪을 수 있다. 그들은 흔히 ICE 소노그래퍼들에 의존하거나 또는 프로시저 동안의 재배향을 위해 표준 ICE 뷰들로 네비게이션하는 데 더 긴 시간을 소비할 필요가 있다. 본 프레임워크는 ICE 사용자들이 자신들의 디바이스 포지션에 대해 더 잘 통지받는 것을 가능하게 할뿐만 아니라, 그것은 또한 프로시저를 완료하기 위한 단계별 안내를 제공할 수 있다. 그러한 프레임워크는 사용자 신뢰도를 증가시키고, 사용자 훈련을 용이하게 하고, 형광 투시 사용을 감소시키고, ICE 채택을 확장시킬 수 있다. 또한, 포지션 센서들의 사용을 제거함으로써, 일회용 카테터들의 사용과 연관된 비용들이 유리하게 감소된다. 본 프레임워크는 ICE 카테터에 대한 부가적인 하드웨어를 요구하지 않거나, 비용을 증가시키지 않거나 또는 기동성을 감소시키지 않는다. 이는 또한 유리하게 작업 흐름들을 간소화하고, ICE 사용의 신뢰도를 증가시키며, 그렇게 할 때 ICE 채택을 증가시킨다.
[0019]
ICE 카테터를 네비게이션하는 것에 관한 특정 애플리케이션(application)이 본원에 도시될 수 있지만, 기술은 예시된 특정 구현들로 제한되지 않는다는 것이 이해된다. 이 기술은 또한, 환자의 신체 내에서와 같이 관심 대상 또는 구조 내부에 있는 다른 유형들의 프로브들(예컨대, 바늘, 스텐트(stent), 내시경, 풍선 혈관 성형술 등)을 안내하는 데 적용될 수 있다.
[0020]
도 1은 예시적 시스템(100)을 예시하는 블록 다이어그램이다. 시스템(100)은 본원에서 설명된 바와 같은 프레임워크를 구현하기 위한 컴퓨터 시스템(101)을 포함한다. 컴퓨터 시스템(101)은 데스크탑(desktop) 개인용 컴퓨터, 휴대용 랩탑(laptop) 컴퓨터, 다른 휴대용 디바이스, 미니-컴퓨터(mini-computer), 메인프레임(mainframe) 컴퓨터, 서버(server), 클라우드 인프라구조(cloud infrastructure), 저장 시스템, 전용 디지털 기기, 통신 디바이스, 또는 디지털 데이터 항목들의 수집을 저장하도록 구성된 저장 서브시스템(sub-system)을 갖는 다른 디바이스일 수 있다. 일부 구현들에서, 컴퓨터 시스템(101)은 독립형 디바이스로서 동작한다. 다른 구현들에서, 컴퓨터 시스템(101)은 이미징 디바이스(102) 및 워크스테이션(workstation)(103)과 같은 다른 기계들에 (예컨대, 네트워크를 사용하여) 연결될 수 있다. 네트워크화된 배치(networked deployment)에서, 컴퓨터 시스템(101)은 서버(예컨대, Siemens Healthcare에 의한 syngo®.via와 같은 씬-클라이언트(thin-client) 서버)로서, 서버-클라이언트(server-client) 사용자 네트워크 환경의 클라이언트 사용자 기계로서, 또는 피어-투-피어(peer-to-peer)(또는 분산된) 네트워크 환경에서의 피어 기계로서 동작할 수 있다.
[0021]
컴퓨터 시스템(101)은 하나 이상의 비일시적 컴퓨터 판독가능한 매체들(105)(예컨대, 컴퓨터 저장소 또는 메모리)에 커플링(couple)된 프로세서 디바이스 또는 중앙 프로세싱 유닛(CPU; central processing unit)(104), 디스플레이 디바이스(108)(예컨대, 모니터(monitor)), 및 입력-출력 인터페이스(121)를 통한 다양한 입력 디바이스들(110)(예컨대, 마우스(mouse) 또는 키보드(keyboard))을 포함할 수 있다. 컴퓨터 시스템(101)은 캐시(cache), 전력 공급 장치, 클록 회로(clock circuit)들, 및 통신 버스(bus)와 같은 지원 회로들을 더 포함할 수 있다. 다양한 다른 주변 디바이스들 이를테면, 부가적인 데이터 저장 디바이스들 및 프린팅(printing) 디바이스들이 또한 컴퓨터 시스템(101)에 연결될 수 있다.
[0022]
본 기술은 마이크로명령 코드(microinstruction code)의 일부로서 또는 애플리케이션 프로그램 또는 소프트웨어 제품의 일부로서, 또는 이들의 조합으로서, 다양한 형태들의 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서들, 또는 이들의 조합으로 구현될 수 있으며, 이는 운영 시스템을 통해 실행된다. 일 구현에서, 본원에 설명된 기법들은 하나 이상의 비일시적 컴퓨터 판독가능한 매체들(105)에 유형적으로 구현되는 컴퓨터 판독가능한 프로그램 코드로서 구현된다. 특히, 본 기법들은 기계 학습 유닛(106) 및 프로세싱 유닛(107)에 의해 구현될 수 있다. 비일시적 컴퓨터 판독가능한 매체들(105)은 랜덤 액세스 메모리(RAM; random access memory), 판독 전용 메모리(ROM; read-only memory), 자기 플로피 디스크, 플래시 메모리, 및 다른 유형들의 메모리들, 또는 이들의 조합을 더 포함할 수 있다. 컴퓨터 판독가능한 프로그램 코드는 예컨대, 이미징 디바이스(102)에 의해 포착된 이미지들 또는 이미지 데이터를 프로세싱하기 위해 프로세서 디바이스(104)에 의해 실행된다. 이로써, 컴퓨터 시스템(101)은 컴퓨터 판독가능한 프로그램 코드를 실행할 때 특정 목적 컴퓨터 시스템이 되는 범용 컴퓨터 시스템이다. 컴퓨터 판독가능한 프로그램 코드는 임의의 특정 프로그래밍 언어 및 그의 구현으로 제한되는 것으로 의도되지 않는다. 다양한 프로그래밍 언어들 및 그들의 코딩은 본원에 포함된 개시내용의 교시들을 구현하는 데 사용될 수 있다는 것을 인식할 것이다.
[0023]
이미지 데이터세트들, 환자 기록들, 지식 베이스 등을 저장하는 데 동일한 또는 상이한 컴퓨터 판독가능한 매체들(105)이 사용될 수 있다. 그러한 데이터는 또한 외부 저장소 또는 다른 메모리들에 저장될 수 있다. 외부 저장소는 프로세서 디바이스(104)에 의해 관리되고 메모리 이를테면, 하드 디스크, RAM, 또는 제거가능한 매체들 상에 상주하는 데이터베이스 관리 시스템(DBMS; database management system)을 사용하여 구현될 수 있다. 외부 저장소는 하나 이상의 부가적인 컴퓨터 시스템들 상에 구현될 수 있다. 예컨대, 외부 저장소는 별도의 컴퓨터 시스템, 영상 저장 전송 시스템(PACS; picture archiving and communication system), 또는 임의의 다른 현재 알려진 또는 추후에 개발되는 병원, 의료 기관, 진료소, 시험 시설, 약국, 또는 다른 의료 환자 기록 저장 시스템 상에 상주하는 데이터 웨어하우스 시스템을 포함할 수 있다.
[0024]
프로브(111)는 환자의 신체와 같은 대상의 관심 구조 내에 삽입되는 조향가능한 디바이스이다. 예컨대, 프로브(111)는 환자의 오리피스(orifice)에, 이를테면, 입을 통해 식도 내로 포지셔닝된다. 대안적으로, 프로브(111)는 이를테면, 최소 침습 수술을 위해 환자의 피부를 통한 외과적 삽입에 의해 포지셔닝된다. 다른 구현들에서, 프로브(111)는 수술-간 프로브(inter-operative probe)와 같이, 수술의 일부로서 생성된 개구 내에 삽입된다.
[0025]
프로브(111)는 수술-내 프로브(intra-operative probe), 캐비티-간 프로브(inter-cavity probe), 카테터, 또는 다른 의료 디바이스일 수 있다. 일부 구현들에서, 프로브(111)는 환자 내에서의 개입 또는 다른 사용을 위한 임의의 카테터이다. 카테터는, 이를테면, 10 프렌치(French) 이하의 직경 및 발(foot) 길이 이상을 갖는 순환 시스템에서 사용하기 위해 크기가 정해지고 형상화될 수 있다. 대안적으로, 카테터는 신체의 다른 위치들에서 사용하기 위해 크기가 정해지고 형상화될 수 있다. 카테터는, 이를테면, 심장 챔버(chamber), 신체 캐비티(body cavity), 또는 환자 내의 다른 위치 내로 연장하기 위해 혈관 또는 정맥을 통해 환자 내에 삽입하도록 적응된다. 카테터는 안내 와이어(wire)들을 포함할 수 있거나 또는 이전에 포지셔닝된 다른 안내 카테터를 통해 삽입될 수 있다. 카테터는 전극, 메스(scalpel), 풍선, 스텐트, 이미징 어레이, 주입용 튜브, 또는 환자의 치료를 위한 다른 디바이스를 포함할 수 있다.
[0026]
일부 구현들에서, 프로브(111)는 이미징 소스(112)를 포함한다. 이미징 소스(112)는 어레이, 센서, 렌즈(lens), 변환기, 또는 프로브(111)로부터 환자를 이미징 또는 스캐닝(scan)하기 위한 다른 엘리먼트이다. 예컨대, 카테터 내의 이미징 소스(112)는 심장 내 심초음파 검사(ICE) 카테터의 초음파 변환기 엘리먼트 또는 어레이, 혈관 내 초음파(IVUS; intravascular ultrasound) 카테터의 초음파 변환기 엘리먼트, 광 간섭 단층 촬영(OCT; optical coherence tomography) 카테터의 렌즈 또는 카메라, 광 이미징 카테터의 렌즈 또는 카메라이거나, 또는 경식도 심초음파도(TEE; transesophageal echocardiogram) 초음파 변환기의 초음파 변환기 어레이이다.
[0027]
이미징 디바이스(102)는 프로브(111) 외부에 있거나 또는 프로브(111) 내에 있다. 예컨대, 이미징 디바이스(102)는 이미징 소스(112)에 연결되지만 환자의 외부에 포지셔닝되는 빔 형성기, 검출기, 및/또는 이미지 프로세서를 갖는 초음파 시스템이다. 외부 초음파 시스템은 스캐닝하기 위해 이미징 소스(112)와 연결된다. 다른 예로서, 이미징 디바이스(102)는 광 이미징을 위한 카메라 또는 비디오 디바이스이다. 카메라 또는 비디오는 프로브(111)로부터 환자를 보기 위해 이미징 소스(112)와 연결된다. 또 다른 예에서, 이미징 디바이스(102)는 광 간섭 이미저(imager)이다. 또 다른 예에서, 이미징 디바이스(102)는 자기 공명(MR; magnetic resonance) 시스템이다. MR 시스템은 프로브(111) 내의 이미징 소스(112)로서 로컬 코일과 연결된다. 이미징 디바이스(102)는 이미징 소스(112)를 사용하여 프로브(111)로부터 환자를 보거나 또는 스캐닝한다. 대안적으로, 이미징 디바이스(102)는 내부 또는 외부 위치로부터 환자를 스캐닝하기 위한 임의의 양식 이를테면, 자기 공명, 컴퓨팅 단층 촬영(computed tomography), 양전자 방사 단층 촬영, 또는 단일 광자 방사 단층 촬영 시스템이다.
[0028]
초음파 변환기 엘리먼트 또는 어레이로서, 이미징 소스(112)는 프로브(111)로부터 환자의 1차원, 2차원, 또는 3차원 구역을 스캐닝하기 위해 사용될 수 있다. 압전 또는 마이크로전기기계(예컨대, 용량성 막 초음파 변환기(capacitive membrane ultrasound transducer)) 엘리먼트 또는 엘리먼트들은 환자를 스캐닝하기 위해 전기 및 음향 에너지(energy)들 사이에서 변환된다. 그러한 엘리먼트들의 어레이는 2차원 또는 3차원으로 전자적으로 스캐닝 또는 조향하는 데 사용될 수 있다. 단일 엘리먼트 또는 엘리먼트들의 어레이는 1차원 또는 2차원으로 기계적으로 스캐닝하는 데 사용될 수 있다. 예컨대, 엘리먼트 또는 엘리먼트들은 구동 샤프트(drive shaft)와 연결되고 프로브(111) 내에서 회전된다. 회전은 프로브(111) 주위의 상이한 위치들의 초음파를 이용한 스캐닝을 야기한다. 다른 어레인지먼트(arrangement)들이 제공될 수 있다.
[0029]
워크스테이션(103)은 컴퓨터 및 적절한 주변기기들 이를테면, 키보드 및 디스플레이 디바이스를 포함할 수 있고, 전체 시스템(100)과 함께 동작될 수 있다. 예컨대, 워크스테이션(103)은 이미징 디바이스(102)에 의해 수집된 이미지 데이터가 워크스테이션(103)에서 렌더링되고 디스플레이 디바이스 상에서 볼 수 있도록 이미징 디바이스(102)와 통신할 수 있다.
[0030]
워크스테이션(103)은 프로세싱된 이미지 데이터를 디스플레이하고 그리고/또는 그래픽 사용자 인터페이스를 통해 이미지 프로세싱 결과들을 출력하기 위해 컴퓨터 시스템(101)과 직접 통신할 수 있다. 대안적으로, 컴퓨터 시스템(101) 자체는 프로세싱된 이미지 데이터를 디스플레이하고 그리고/또는 워크스테이션(103) 없이 디스플레이 디바이스(108) 상에서 그래픽 사용자 인터페이스를 통해 이미지 프로세싱 결과들을 출력할 수 있다. 워크스테이션(103)은 이미지 데이터의 시각화 및/또는 프로세싱을 조작하기 위해 입력 디바이스(예컨대, 키보드, 마우스, 터치 스크린(touch screen), 음성 또는 비디오 인식 인터페이스 등)를 통해 사용자 입력을 수신하기 위한 그래픽 사용자 인터페이스를 포함할 수 있다. 예컨대, 사용자는 프로세싱된 이미지 데이터를 볼 수 있고, 하나 이상의 뷰(view) 조정들 또는 선호도들(예컨대, 줌잉(zooming), 크롭핑(cropping), 패닝(panning), 회전, 콘트라스트(contrast) 변경, 색 변경, 뷰 각도 변경, 뷰 깊이 변경, 렌더링 변경, 또는 재구성 기법 등)을 특정할 수 있다.
[0031]
첨부된 도면들에 도시된 구성 시스템 컴포넌트들 및 방법 단계들 중 일부가 소프트웨어로 구현될 수 있기 때문에, 시스템 컴포넌트들(또는 프로세스 단계들) 사이의 실제 연결들은 본 프레임워크가 프로그래밍되는 방식에 따라 상이할 수 있다는 것을 추가로 이해할 것이다. 본원에서 제공된 교시들이 주어지면, 당업자는 본 프레임워크의 이러한 그리고 유사한 구현들 또는 구성들을 고려할 수 있을 것이다.
[0032]
도 2는 컴퓨터 시스템에 의해 수행되는 예시적 프로브 포지셔닝 방법(200)을 도시한다. 방법(200)의 단계들은 도시된 순서로 또는 상이한 순서로 수행될 수 있다는 것을 이해해야 한다. 부가적인, 상이한 또는 더 적은 단계들이 또한 제공될 수 있다. 추가로, 방법(200)은 도 1의 시스템(100), 상이한 시스템, 또는 이들의 조합으로 구현될 수 있다.
[0033]
202에서, 기계 학습 유닛(106)은 관심 구조의 훈련 이미지들을 수신한다. 훈련 이미지들과 훈련 이미지들이 포착된 개개의 프로브 포지션들 사이의 맵핑이 또한 수신될 수 있다. 훈련 이미지들은 상이한 환자들로부터 관심 구조 내의 특정 포지션들에서 프로브에 의해 포착된다. 훈련 이미지들은 예컨대, 조향가능한 ICE 카테터들의 원위 팁에 의해 포착된 인접 조직들의 초음파 이미지들인 ICE 이미지들일 수 있다. 관심 구조는 연구를 위해 식별된 임의의 해부학적 구조이다. 관심 구조는 예컨대, 심장(heart) 또는 심장 시스템(cardiac system)(예컨대, 판막, 혈관, 동맥, 심장 챔버) 전부 또는 그 일부일 수 있다. 훈련 이미지들은 대안적으로 또는 부가적으로, 환자의 장기들, 뼈, 또는 다른 관심 구조 전부 또는 그 부분들을 표현할 수 있다.
[0034]
각각의 훈련 이미지는 2차원(2D) 뷰 또는 평면 상에 분포된 위치들을 표현한다. 각각의 뷰는 프로브의 상대적 포지션(예컨대, 위치 및 배향)에 맵핑될 수 있다. 뷰는 하나 이상의 해부학적 랜드마크(landmark)들의 사전 정의된 세트(set)의 시각화이다. 예컨대, 홈 뷰(Home View)는 ICE 카테터의 홈 포지션(Home Position)에 맵핑될 수 있다. 홈 뷰는 심장의 우심방(RA), 우심실(RV), 및 삼첨판(TV)의 시각화로서 사전 정의될 수 있다. 도 3은 홈 뷰를 표현하는 예시적 ICE 이미지(301)를 도시한다. 홈 뷰는 ICE 카테터가 잠금해제(unlock)된 또는 중립(neutral) 포지션(즉, "홈 포지션(Home Position)")으로 RA의 중간에 포지셔닝되었을 때 포착되었으며, 이는 조향이 없고 텐션 잠금(tension lock)이 해제되는 것을 의미한다. 이 홈 뷰는 다른 뷰들이 유도될 수 있는 "기본 네비게이션 지점(point)"으로서 사용될 수 있다.
[0035]
프로브의 포지션은 통상적 네비게이션 프로토콜에서 시작 포지션으로서 고려되는 이 홈 포지션에 대해 정의될 수 있다. 이러한 네비게이션 방법은 인간이 글로벌 포지셔닝 시스템(GPS; global positioning system)을 사용하는 대신에 거리 표지판들 및 랜드마크들에 기초하여 자동차를 네비게이션하는 것과 유사하다. 이 홈 포지션에 대해 시계 방향으로 ICE 카테터를 회전시킴으로써, 대동맥판막, 좌심실 및 우심실 유출관들은, 좌심방이를 갖는 좌심방(LA) 및 승모판이 이미지 뷰에 나타나기 이전에 시야에 있다. ICE 카테터의 더 많은 시계 방향 회전에 따라, 좌측 상 폐정맥(LSPV; left superior pulmonary vein) 및 좌측 하 폐정맥(LIPV; left inferior pulmonary vein)이 이미지 뷰에서 시각화된다. ICE 카테터가 추가적 후방 방향에 있을 때, 식도, 하행대동맥 및 우측 폐정맥(PV; pulmonary vein)들이 이미지 뷰에 나타난다. 이미지 뷰와 이미지가 포착된 프로브의 상대적 포지션 사이의 맵핑은, 예컨대, 많은 수의 이미지들을 관찰하고 가장 가능성 있는 프로브의 포지션을 결정한 전문 소노그래퍼에 의해 제공될 수 있다. 그런 다음, 다수의 이미지들에 기초한 이러한 전문가 사용자-유래(user-derived) 맵핑은 나중에 설명될 바와 같이 기계 학습 분류기를 훈련시키는 데 활용될 수 있다.
[0036]
도 2로 돌아가면, 204에서, 기계 학습 유닛(106)은 입력 이미지에 기초하여 프로브의 상대적 포지션(예컨대, 심장 구조 내의 위치, 이미징 평면 배향, 카테터 굴곡(flexion))을 예측하도록 분류기를 훈련시키기 위해 훈련 이미지들을 사용한다. 프로브의 상대적 포지션과 이미지 뷰 사이의 맵핑은 훈련을 위한 실측 자료로서 사용된다. 일부 구현들에서, 분류기는 네비게이션 프로토콜에 의해 요구되는 바와 같이 프로브를 다음 위치로 조향하기 위해 다음 하나 이상의 기동들의 추천을 제공하도록 추가로 훈련된다. 하나 이상의 기동들은 네비게이션 명령들에 의해 표현될 수 있다. 네비게이션 명령들은 인간 사용자가 네비게이션 프로토콜에 의해 요구되는 바와 같이 특정 포지션으로 프로브를 조향(예컨대, 전진, 후퇴, 회전 또는 굽힘(flex))하도록 안내하기 위해 디스플레이될 수 있다. 대안적으로, 네비게이션 명령들은 프로브를 원하는 포지션으로 자동으로 조향하기 위해 로봇 제어기에 의해 실행가능한 기계 명령들의 형태일 수 있다.
[0037]
일부 구현들에서, 분류기는 포지션 예측들의 시간 이력을 사용함으로써 프로브의 예측된 포지션에서의 임의의 에러를 정정하도록 추가로 훈련된다. 예컨대, 훈련된 분류기가 먼저 홈 뷰를 예측하고, 그런 다음, 다음 뷰가 좌심방(LA)의 중격 뷰(transseptal view)인 것으로 예측하는 상황을 고려해보기로 한다. 그러한 순서로 뷰들을 캡처하기 위한 포지션 예측들의 이러한 시퀀스는 가능하지 않다. 분류기는 추가로, 그러한 예외를 캐치(catch)하고 포지션 예측들의 시간 이력이 주어지면 다음으로 가장 가능성 있는 포지션(또는 뷰)을 결정하도록 훈련될 수 있다.
[0038]
분류기는 임의의 하나 이상의 분류기들일 수 있다. 단일 클래스(class) 또는 이진 분류기, 상이한 분류기들의 집합, 캐스케이드(cascaded) 분류기들, 계층적 분류기, 다중-클래스 분류기, 모델-기반 분류기, 기계 학습에 기초한 분류기 또는 이들의 조합들이 사용될 수 있다. 다중-클래스 분류기들은 CART, K-최근접 이웃들, 뉴럴 네트워크(예컨대, 다중-계층 퍼셉트론(perceptron)), 혼합 모델들, 또는 다른 것들을 포함한다. 일부 구현에서, 분류기는 뉴럴 네트워크이다. 뉴럴 네트워크는 예컨대, 5-계층 컨볼루션 뉴럴 네트워크(CNN; convolutional neural network)일 수 있다. 분류기가 적절히 수행될 때까지 훈련이 진행됨에 따라 분류기의 가중치들이 조정된다.
[0039]
206에서, 프로세싱 유닛(107)은 프로브(111)로부터 현재 이미지를 수신한다. 현재 이미지는 관심 구조(예컨대, 심장 시스템) 내에 삽입될 때 프로브(111)에 의해 포착된다. 현재 이미지를 포착하기 위해, 프로브(111)는 조향 와이어들 및/또는 이전에 포지셔닝된 안내를 사용하여 관심 구조에서 안내되고 포지셔닝될 수 있다. 현재 이미지는 훈련 이미지들(예컨대, 심장의 ICE 이미지들)과 동일한 또는 유사한 관심 구조에 대한 동일한 유형이다.
[0040]
208에서, 프로세싱 유닛(107)은 훈련된 분류기에 현재 이미지를 적용하여 프로브(111)의 포지션을 예측하고, 네비게이션 프로토콜에 의해 요구되는 바와 같이 프로브를 다음 위치로 조향하기 위한 다음 하나 이상의 기동들의 추천을 생성한다. 일부 구현들에서, 프로브(111)의 포지션을 예측하기 위해 현재 이미지에 부가하여 포지션 예측들의 시간 이력을 활용함으로써 포지션 예측들의 견고성이 증가된다. 포지션 예측들의 시간 이력은 훈련된 분류기에 의해 이전에 예측된 사전 결정된 수의 포지션들의 현재 시퀀스이다. 포지션 예측들의 시간 이력은 예측된 포지션에서 임의의 에러(또는 예외)를 검출 및 정정하기 위해 훈련된 분류기에 의해 사용될 수 있다.
[0041]
210에서, 프로세싱 유닛(107)은 예측된 포지션 및 다음 하나 이상의 기동들의 추천을 출력한다. 일부 구현들에서, 프로세싱 유닛(107)은 관심 구조의 그래픽 표현에서 예측된 포지션에 프로브(111)를 디스플레이한다. 그래픽 표현은 예컨대, 워크스테이션(103)에 그래픽 사용자 인터페이스를 통해 디스플레이될 수 있다. 그래픽 표현은 예컨대, 관심 구조의 3차원 렌더링의 평면 투사 상에 오버레이(overlay)된 카테터 팁 또는 관심 구조의 이미지-유래 모델일 수 있다. 그래픽 표현은 프로브(111)가 현재 위치될 것으로 예측되는 곳의 시각적 안내를 제공한다.
[0042]
일부 구현들에서, 예측된 하나 이상의 기동들은, 선택된 치료 또는 네비게이션 프로토콜의 일부로서 프로브(111)를 특정 위치로 조향(예컨대, 전진, 후퇴, 회전 또는 굽힘)할 때 인간 사용자를 안내하기 위한 네비게이션 명령들에 의해 표현된다. 네비게이션 명령들은 예측된 포지션의 그래픽 표현 옆의(예컨대, 아래의 또는 위의) 박스(box)에 디스플레이될 수 있다. 대안적으로, 네비게이션 명령들은 프로브(111)를 원하는 포지션으로 자동으로 조향하기 위해 로봇 제어기(또는 프로세서)에 의해 실행가능한 기계 명령들의 형태일 수 있다.
[0043]
따라서, 프로브(111)는 새로운 포지션으로 재포지셔닝(reposition)될 수 있다. 새로운 포지션에서 프로브(111)에 의해 상이한 현재 이미지가 포착될 수 있다. 프로브가 관심 구조 내에서 네비게이션되고 새로운 현재 이미지들을 포착할 때, 실질적으로 실시간으로 그래픽 표현을 업데이트하기 위해 단계들(206, 208 및 210)이 반복될 수 있다.
[0044]
도 4는 훈련된 뉴럴 네트워크(404)의 예시적 입력 및 출력을 예시한다. 뉴럴 네트워크(404)는 전술된 방법(200)을 사용하여 훈련될 수 있다. 훈련된 뉴럴 네트워크(404)가 새로운 ICE 이미지(402a-c)를 입력으로서 수신할 때, 그것은 가장 가능성 있는 카테터(406a-c)의 포지션을 예측한다. 카테터(406a-c)는 이미징 스크린 상의 심장의 그래픽 표현(408a-c) 내에서 예측된 포지션에 디스플레이될 수 있다. 그래픽 표현(408a-c)은 심장의 일반적 3D 렌더링 또는 환자의 컴퓨팅 단층 촬영(CT; computed tomography) 이미지-유래 심장 모델일 수 있다. 그래픽 표현(408a-c)은 사용자가 심장 내에서 카테터(406a-c)를 네비게이션할 때 입력 ICE 이미지(402a-c)에 기초하여 실시간으로 업데이트될 수 있다.
[0045]
도 5는 예시적 사용자 인터페이스(501)를 도시한다. 예시적 사용자 인터페이스(501)는 예컨대, 환자의 심장에서 ICE 카테터를 네비게이션할 때 사용자를 안내하기 위해 워크스테이션(103)에 디스플레이될 수 있다. 사용자 인터페이스(501)는 자신의 현재 포지션에서 ICE 카테터에 의해 포착된 현재 초음파 2D 이미지(502)를 도시한다. 현재 이미지(502)에 기초하여, 기계 학습 유닛(106)에 의해 훈련된 분류기는 카테터의 가장 가능성 있는 현재 포지션을 예측한다. 카테터는 심장의 그래픽 표현(504)에서 예측된 포지션에 디스플레이된다. 그래픽 표현(504)은 현재 이미지 옆에 디스플레이될 수 있다.
[0046]
일부 구현에서, 박스(506)는 현재 이미지(502) 아래에(또는 옆에) 포지셔닝된다. 박스(506)는 예측된 다음 기동의 네비게이션 명령들을 디스플레이할 수 있다. 네비게이션 명령들은 예컨대, 텍스트(text), 다이어그램(diagram), 만화, 수행할 액션(들) 또는 기동(들)을 표시하는 화살표들, 또는 이들의 조합에 의해 표현될 수 있다. 네비게이션 명령들은 네비게이션 프로토콜에 따라 다음 뷰를 획득하기 위해 카테터를 다음 포지션으로 조향 및/또는 회전시키도록 사용자를 안내할 수 있다. 박스(506) 내의 그래픽 표현(504) 및 네비게이션 명령들은 카테터가 이동하고 새로운 현재 초음파 이미지들(502)을 포착함에 따라 실시간으로 업데이트될 수 있다.
[0047]
본 프레임워크가 예시적 실시예들을 참조하여 상세하게 설명되었지만, 당업자들은 첨부된 청구항들에 기술된 바와 같은 발명의 사상 및 범위를 벗어나지 않으면서 다양한 수정들 및 대체들이 이루어질 수 있다는 것을 인식할 것이다. 예컨대, 상이한 예시적 실시예들의 엘리먼트들 및/또는 특징들은 본 개시내용 및 첨부된 청구항들의 범위 내에서 서로 조합되고 그리고/또는 서로 대체될 수 있다.
Claims (20)
- 심장 내 카테터 포지셔닝(intracardiac catheter positioning)을 위한 동작들을 수행하기 위해 기계에 의해 실행가능한 명령들을 구현하는 하나 이상의 비일시적 컴퓨터(computer) 판독가능한 매체들로서,
(i) 심장 내에 삽입된 카테터에 의해 포착된 현재 심장 내 심초음파도(ICE; intracardiac echocardiogram) 이미지를 수신하는 단계;
(ii) 훈련된 분류기에 상기 현재 ICE 이미지를 적용함으로써, 상기 카테터의 포지션(position)을 예측하고, 상기 카테터를 사용하여 수행될 다음 기동(maneuver)의 추천을 생성하는 단계; 및
(iii) 상기 예측된 포지션 및 상기 다음 기동의 추천을 출력하는 단계를 포함하는, 하나 이상의 비일시적 컴퓨터 판독가능한 매체들. - 제1 항에 있어서,
상기 예측된 포지션을 출력하는 단계는 상기 심장의 그래픽 표현(graphical representation)에서 상기 예측된 포지션에 상기 카테터를 디스플레이하는 단계를 포함하는, 하나 이상의 비일시적 컴퓨터 판독가능한 매체들. - 제1 항에 있어서,
상기 동작들은, 다수의 ICE 훈련 이미지들에 기초하여 그리고 상기 ICE 훈련 이미지들과 상기 ICE 훈련 이미지들이 포착된 ICE 카테터 포지션들 사이의 맵핑(mapping)을 실측 자료로서 사용하여 상기 분류기를 훈련시키는 것을 더 포함하는, 하나 이상의 비일시적 컴퓨터 판독가능한 매체들. - 제1 항에 있어서,
상기 다음 기동은 네비게이션 명령(navigational instruction)들에 의해 표현되는, 하나 이상의 비일시적 컴퓨터 판독가능한 매체들. - 제4 항에 있어서,
상기 네비게이션 명령들은 상기 카테터를 원하는 포지션으로 자동으로 조향(steer)하기 위해 로봇 제어기(robotic controller)에 의해 실행가능한 기계 명령들을 포함하는, 하나 이상의 비일시적 컴퓨터 판독가능한 매체들. - 제1 항에 있어서,
상기 카테터의 포지션을 예측하는 단계는, 상기 예측된 포지션에서의 임의의 에러를 정정하기 위해 상기 훈련된 분류기에 포지션 예측들의 시간 이력을 추가로 적용하는 단계를 포함하는, 하나 이상의 비일시적 컴퓨터 판독가능한 매체들. - 프로브(probe) 포지셔닝 방법으로서,
(i) 관심 구조 내에서 프로브에 의해 포착된 현재 이미지를 수신하는 단계;
(ii) 훈련된 분류기에 상기 현재 이미지를 적용함으로써, 상기 프로브의 포지션을 예측하고, 상기 프로브를 사용하여 수행될 다음 기동의 추천을 생성하는 단계; 및
(iii) 상기 예측된 포지션 및 상기 다음 기동의 추천을 출력하는 단계를 포함하는, 프로브 포지셔닝 방법. - 제7 항에 있어서,
훈련 이미지들 및 상기 현재 이미지는 심장 내 심초음파도(ICE) 이미지들을 포함하는, 프로브 포지셔닝 방법. - 제7 항에 있어서,
다수의 훈련 이미지들에 기초하여 그리고 상기 훈련 이미지들과 상기 훈련 이미지들이 포착된 프로브 포지션들 사이의 맵핑을 실측 자료로서 사용하여 상기 분류기를 훈련시키는 단계를 더 포함하는, 프로브 포지셔닝 방법. - 제7 항에 있어서,
상기 다음 기동은 네비게이션 명령들에 의해 표현되는, 프로브 포지셔닝 방법. - 제10 항에 있어서,
상기 네비게이션 명령들은 상기 프로브를 원하는 포지션으로 자동으로 조향하기 위해 로봇 제어기에 의해 실행가능한 기계 명령들을 포함하는, 프로브 포지셔닝 방법. - 제7 항에 있어서,
상기 예측된 포지션을 출력하는 단계는 상기 관심 구조의 그래픽 표현에서 상기 예측된 포지션에 상기 프로브를 디스플레이하는 단계를 포함하는, 프로브 포지셔닝 방법. - 제12 항에 있어서,
상기 관심 구조의 그래픽 표현은 상기 관심 구조의 3차원 렌더링(rendering)을 포함하는, 프로브 포지셔닝 방법. - 제12 항에 있어서,
상기 관심 구조의 그래픽 표현은 상기 관심 구조의 이미지-유래 모델(image-derived model)을 포함하는, 프로브 포지셔닝 방법. - 제12 항에 있어서,
상기 프로브가 새로운 포지션에서 새로운 현재 이미지를 포착함에 따라, 상기 그래픽 표현을 실질적으로 실시간으로 업데이트하기 위해 단계들 (i), (ii) 및 (iii)을 반복하는 단계를 더 포함하는, 프로브 포지셔닝 방법. - 제7 항에 있어서,
상기 프로브의 포지션을 예측하는 단계는, 상기 훈련된 분류기에 포지션 예측들의 시간 이력을 추가로 적용하는 단계를 포함하는, 프로브 포지셔닝 방법. - 프로브 포지셔닝을 위한 시스템으로서,
컴퓨터 판독가능한 프로그램 코드를 저장하기 위한 비일시적 메모리 디바이스; 및
상기 메모리 디바이스와 통신하는 프로세서를 포함하며,
상기 프로세서는,
(i) 관심 구조 내에서 프로브에 의해 포착된 현재 이미지를 수신하는 단계,
(ii) 훈련된 분류기에 상기 현재 이미지를 적용함으로써, 상기 프로브의 포지션을 예측하고, 상기 프로브를 사용하여 수행될 다음 기동의 추천을 생성하는 단계, 및
(iii) 상기 예측된 포지션 및 상기 다음 기동의 추천을 출력하는 단계를 포함하는 단계들을 수행하도록 상기 컴퓨터 판독가능한 프로그램 코드로 동작하는, 프로브 포지셔닝을 위한 시스템. - 제17 항에 있어서,
상기 프로브는 심장 내 심초음파도(ICE) 카테터를 포함하는, 프로브 포지셔닝을 위한 시스템. - 제17 항에 있어서,
상기 프로세서는 상기 관심 구조의 그래픽 표현에서 상기 예측된 포지션에 상기 프로브를 디스플레이함으로써 상기 예측된 포지션을 출력하도록 상기 컴퓨터 판독가능한 프로그램 코드로 동작하는, 프로브 포지셔닝을 위한 시스템. - 제19 항에 있어서,
상기 그래픽 표현은 상기 관심 구조의 3차원 렌더링의 평면 투사를 포함하는, 프로브 포지셔닝을 위한 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020247012765A KR20240055167A (ko) | 2019-04-02 | 2020-03-12 | 이미지-기반 프로브 포지셔닝 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/372,727 US11707255B2 (en) | 2019-04-02 | 2019-04-02 | Image-based probe positioning |
| US16/372,727 | 2019-04-02 | ||
| PCT/US2020/022214 WO2020205187A1 (en) | 2019-04-02 | 2020-03-12 | Image-based probe positioning |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247012765A Division KR20240055167A (ko) | 2019-04-02 | 2020-03-12 | 이미지-기반 프로브 포지셔닝 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210149112A true KR20210149112A (ko) | 2021-12-08 |
Family
ID=70228803
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247012765A KR20240055167A (ko) | 2019-04-02 | 2020-03-12 | 이미지-기반 프로브 포지셔닝 |
| KR1020217035447A KR20210149112A (ko) | 2019-04-02 | 2020-03-12 | 이미지-기반 프로브 포지셔닝 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247012765A KR20240055167A (ko) | 2019-04-02 | 2020-03-12 | 이미지-기반 프로브 포지셔닝 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US11707255B2 (ko) |
| KR (2) | KR20240055167A (ko) |
| CN (1) | CN113661544A (ko) |
| DE (1) | DE112020001809T5 (ko) |
| WO (1) | WO2020205187A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11819288B2 (en) * | 2020-03-19 | 2023-11-21 | Verb Surgical Inc. | Trocar pose estimation using machine learning for docking surgical robotic arm to trocar |
| EP4197476A1 (en) * | 2021-12-16 | 2023-06-21 | Koninklijke Philips N.V. | System and method for estimating and visualizing trajectories of robotically controlled interventional device |
| WO2023110598A1 (en) * | 2021-12-16 | 2023-06-22 | Koninklijke Philips N.V. | System and method for estimating and visualizing trajectories of robotically controlled interventional device |
| DE102022206846A1 (de) | 2022-07-05 | 2024-01-11 | Siemens Healthcare Gmbh | Verfahren und System zum Ausführen einer bildbasierten Aufgabe |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7806829B2 (en) | 1998-06-30 | 2010-10-05 | St. Jude Medical, Atrial Fibrillation Division, Inc. | System and method for navigating an ultrasound catheter to image a beating heart |
| US8790262B2 (en) * | 2007-05-16 | 2014-07-29 | General Electric Company | Method for implementing an imaging and navigation system |
| US8989842B2 (en) | 2007-05-16 | 2015-03-24 | General Electric Company | System and method to register a tracking system with intracardiac echocardiography (ICE) imaging system |
| US9161817B2 (en) * | 2008-03-27 | 2015-10-20 | St. Jude Medical, Atrial Fibrillation Division, Inc. | Robotic catheter system |
| US8858436B2 (en) | 2008-11-12 | 2014-10-14 | Sonosite, Inc. | Systems and methods to identify interventional instruments |
| US8343053B2 (en) * | 2009-07-21 | 2013-01-01 | Siemens Medical Solutions Usa, Inc. | Detection of structure in ultrasound M-mode imaging |
| US20110245659A1 (en) | 2010-04-01 | 2011-10-06 | Sonosite, Inc. | Systems and methods to assist with internal positioning of instruments |
| JP6894839B2 (ja) * | 2014-10-17 | 2021-06-30 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 介入治療内で器具を挿入する間の実時間の臓器区分化及び器具ナビゲーションのためのシステム、並びにその作動方法 |
| US10278616B2 (en) * | 2015-05-12 | 2019-05-07 | Navix International Limited | Systems and methods for tracking an intrabody catheter |
| EP3656309A1 (en) * | 2015-06-09 | 2020-05-27 | Siemens Healthcare GmbH | Real-time collimation and roi-filter positioning in x-ray imaging via automatic detection of the landmarks of interest |
| JP7014517B2 (ja) * | 2016-02-26 | 2022-02-01 | キヤノンメディカルシステムズ株式会社 | 超音波診断装置及び画像処理プログラム |
| US10964424B2 (en) | 2016-03-09 | 2021-03-30 | EchoNous, Inc. | Ultrasound image recognition systems and methods utilizing an artificial intelligence network |
| KR20190021344A (ko) * | 2016-06-20 | 2019-03-05 | 버터플라이 네트워크, 인크. | 초음파 디바이스를 작동하는 사용자를 보조하기 위한 자동화된 영상 취득 |
| JP6796085B2 (ja) * | 2016-12-02 | 2020-12-02 | アヴェント インコーポレイテッド | 医用撮像に基づく処置における標的の解剖学的対象物へのナビゲーションのためのシステムおよび方法 |
| FR3059541B1 (fr) | 2016-12-07 | 2021-05-07 | Bay Labs Inc | Navigation guidee d'une sonde ultrason |
| US20210038321A1 (en) * | 2018-03-12 | 2021-02-11 | Koninklijke Philips N.V. | Ultrasound imaging dataset acquisition for neural network training and associated devices, systems, and methods |
-
2019
- 2019-04-02 US US16/372,727 patent/US11707255B2/en active Active
-
2020
- 2020-03-12 CN CN202080026117.0A patent/CN113661544A/zh active Pending
- 2020-03-12 KR KR1020247012765A patent/KR20240055167A/ko active Application Filing
- 2020-03-12 WO PCT/US2020/022214 patent/WO2020205187A1/en active Application Filing
- 2020-03-12 KR KR1020217035447A patent/KR20210149112A/ko active Application Filing
- 2020-03-12 DE DE112020001809.1T patent/DE112020001809T5/de active Pending
-
2023
- 2023-06-05 US US18/328,882 patent/US20230301624A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US11707255B2 (en) | 2023-07-25 |
| US20230301624A1 (en) | 2023-09-28 |
| DE112020001809T5 (de) | 2022-02-03 |
| US20200315572A1 (en) | 2020-10-08 |
| CN113661544A (zh) | 2021-11-16 |
| KR20240055167A (ko) | 2024-04-26 |
| WO2020205187A1 (en) | 2020-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230301624A1 (en) | Image-Based Probe Positioning | |
| US8787635B2 (en) | Optimization of multiple candidates in medical device or feature tracking | |
| EP3363365B1 (en) | Automatic imaging plane selection for echocardiography | |
| US8126239B2 (en) | Registering 2D and 3D data using 3D ultrasound data | |
| Noble et al. | Ultrasonic image analysis and image-guided interventions | |
| US20190099159A1 (en) | Measurement Point Determination in Medical Diagnostic Imaging | |
| US10755453B2 (en) | Image processing apparatus, image processing method, and ultrasound imaging apparatus having image processing unit | |
| US10685451B2 (en) | Method and apparatus for image registration | |
| US11839509B2 (en) | Ultrasound system and method for interventional device tracking and guidance using information from non-invasive and invasive probes | |
| US10186035B2 (en) | Method and apparatus for image registration | |
| Linte et al. | Virtual reality-enhanced ultrasound guidance: A novel technique for intracardiac interventions | |
| EP3558151B1 (en) | Navigation platform for an intracardiac catheter | |
| WO2018115200A1 (en) | Navigation platform for a medical device, particularly an intracardiac catheter | |
| EP4262565A1 (en) | Ultrasound image-based identification of anatomical scan window, probe orientation, and/or patient position | |
| US11941754B2 (en) | System and method for generating three dimensional geometric models of anatomical regions | |
| US20220409292A1 (en) | Systems and methods for guiding an ultrasound probe | |
| US20230010773A1 (en) | Systems and methods for guiding an ultrasound probe |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application | ||
| A107 | Divisional application of patent | ||
| J201 | Request for trial against refusal decision |