KR20210011005A - 초음파 영상 촬영을 안내하기 위한 시스템 및 방법 - Google Patents

초음파 영상 촬영을 안내하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20210011005A
KR20210011005A KR1020207036119A KR20207036119A KR20210011005A KR 20210011005 A KR20210011005 A KR 20210011005A KR 1020207036119 A KR1020207036119 A KR 1020207036119A KR 20207036119 A KR20207036119 A KR 20207036119A KR 20210011005 A KR20210011005 A KR 20210011005A
Authority
KR
South Korea
Prior art keywords
canonical
image
probe
neural network
navigator
Prior art date
Application number
KR1020207036119A
Other languages
English (en)
Inventor
이테이 케주러
요람 에셀
아챠우 루도미르스키
야론 립만
Original Assignee
뉴욕 유니버시티
예다 리서치 앤드 디벨럽먼트 캄파니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=68533844&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20210011005(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 뉴욕 유니버시티, 예다 리서치 앤드 디벨럽먼트 캄파니 리미티드 filed Critical 뉴욕 유니버시티
Publication of KR20210011005A publication Critical patent/KR20210011005A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427—Device being portable or laptop-like
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A61B8/585—Automatic set-up of the device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/20—Linear translation of a whole image or part thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/60—Rotation of a whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/286—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine for scanning or photography techniques, e.g. X-rays, ultrasonics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Abstract

휴대용 컴퓨팅 기기에서 실행되며, 초음파 프로브(probe)를 갖는 이동식 초음파 유닛을 위한 다운로딩 가능한 내비게이터(navigator)가 개시된다. 본 내비게이터는, 이동식 초음파 유닛으로부터 신체 부분의 비정준(non-canonical) 영상을 받고 또한 그 비정준 영상과 관련된 변환을 생성하는 훈련된 배향 신경 회로망(변환은 정준 영상과 관련된 위치와 회전으로부터 비정준 영상과 관련된 위치 및 회전으로 변환함); 및 변환을 프로브의 사용자를 위한 배향 지시로 전환시키고 또한 프로브의 위치와 회전을 변경하기 위해 배향 지시를 사용자에게 제공하고 나타내는 결과 전환기를 포함한다.

Description

초음파 영상 촬영을 안내하기 위한 시스템 및 방법
본 출원은 2018년 5월 15일에 출원된 미국 가특허 출원 62/671,692로부터 우선권을 주장하고, 이 미국 가특허 출원은 본원에 참조로 관련되어 있다.
본 발명은 일반적으로 이동식 휴대용 초음파 기계 및 특히 정확한 사용을 위한 배향에 관한 것이다.
의료 초음파(진단 음파 홀로그래피 또는 초음파 검사로도 알려져 있음)는 초음파의 인가에 기반하는 진단 영상 기술이다. 의료 초음파는 힘줄, 근육, 관절, 혈관 및 내부 기관(organ)과 같은 내부 신체 구조의 영상을 생성한다.
효과적인 검사와 진단을 수행하기 위해 정확한 영상을 얻기 위해서는, 지금 참조하고 있는 도 1에 도시되어 있는 바와 같이, 초음파 트랜스듀서를 관련 기관 또는 신체 부분으로 공간 내의 어떤 각위치에 배치하는 것이 필요하다. 도 1은 트랜스듀서(14)로 찍힌 관심 대상 기관의 초음파 영상(12)을 나타낸다. 장기의 최적의 또는 "정준(canonical)" 영상(12)을 얻기 위해 필요한 정확한 각위치로 트랜스듀서(14)를 조종하는 기술은 초음파 검사의 성공에 중요함을 알 것이다. 일반적으로 그 과정은 훈련된 그리고 숙달된 초음파 기사를 필요로 한다.
예컨대, 초음파 심전도를 수행하기 위해, 초음파 기사는 사심방 뷰(four-chamber view) 및 이심방 뷰와 같은 다양한 정준 방향에서 심장의 영상을 찍어야 한다. 트랜스듀서의 정확한 위치 설정은 좌심실의 최적의 뷰를 받고 따라서 심장의 기능 정보를 추출하는 데에 중요하다.
필립스에서 상용화된 Lumify와 같은 이동식 초음파 기계 또는 장치가 당 기술 분야에 알려져 있다. 이 이동식 초음파 기계는, 스마트폰 또는 태블릿과 같은 어떤 휴대용 기기에도 다운로딩될 수 있는 프로그램과 통신하는 트랜스듀서의 형태로 이용 가능하다.
그러한 기기의 이용 가능성은, 부피가 큰 값비싼 장비가 필요 없이, 초음파가 현장 밖에서(병원 등에서 떨어져서), 예컨대, 구급차용 환자 분류 도구로서 또는 심지어 전쟁터, 긴급 돌봄 시설, 요양소 등에서 사용될 수 있음을 의미한다.
본 발명의 바람직한 실시예에 따르면, 휴대용 컴퓨팅 기기에서 실행되며, 초음파 프로브를 갖는 이동식 초음파 유닛을 위한 다운로딩 가능한 내비게이터가 제공된다. 내비게이터는 이동식 초음파 유닛으로부터 신체 부분의 비정준(non-canonical) 영상을 받고 또한 그 비정준 영상과 관련된 변환을 생성하는 훈련된 배향 신경 회로망(변환은 정준 영상과 관련된 위치와 회전으로부터 비정준 영상과 관련된 위치 및 회전으로 변환함); 및 변환을 프로브의 사용자를 위한 배향 지시로 전환시키고 또한 프로브의 위치와 회전을 변경하기 위해 배향 지시를 사용자에게 제공하고 나타내는 결과 전환기를 포함한다.
더욱이, 본 발명의 바람직한 실시예에 따르면, 내비게이터는, 정준 영상 주위에서 찍힌 비정준 영상 및 정준 영상으로부터 비정준 영상과 관련된 공간내 위치와 회전으로의 변환과 함께 정준 영상을 사용하여 배향 신경 회로망을 훈련시키는 훈련기를 또한 포함한다.
또한, 본 발명의 바람직한 실시예에 따르면, 훈련기는, 훈련 기간 중에 훈련 프로브에 장착되어 있는 IMU(관성 측정 유닛)로부터 IMU 데이타를 받는 훈련 전환기를 포함하고, IMU 데이타는 비정준 영상 및 정준 영상과 관련된 위치와 회전을 제공하며, 훈련 전환기는 또한 위치와 회전을, 정준 영상과 관련된 위치와 회전으로부터 비정준 영상과 관련된 위치와 회전으로의 변환으로 전환시킨다.
또한, 본 발명의 바람직한 실시예에 따르면, 훈련기는 훈련되지 않은 배향 신경 회로망 및 이 훈련되지 않은 배향 신경 회로망을 훈련시키는 손실 함수를 포함하고, 손실 함수는, 훈련되지 않은 배향 신경 회로망에 의해 생성된 계산된 변환과 각 비정준 영상에 대한 실측 자료 변환 사이의 거리를 줄인다.
추가로, 본 발명의 바람직한 실시예에 따르면, 손실 함수는 계산된 변환을 복수의 상이한 정준 배향 중의 하나에 구속시키는 확률을 추가로 포함한다.
더욱이, 본 발명의 바람직한 실시예에 따르면, 정준 영상은 복수의 정준 영상 중의 하나이다.
또한, 본 발명의 바람직한 실시예에 따르면, 내비게이터는 정준 영상을 볼 때 프로브에 의해 생성된 최종 영상으로부터 진단을 하는 진단기를 또한 포함한다.
또한, 본 발명의 바람직한 실시예에 따르면, 휴대용 컴퓨팅 기기는 스마트폰, 태블릿, 랩탑, 개인 컴퓨터 및 스마트 기기 중의 하나이다.
추가적으로, 본 발명의 바람직한 실시예에 따르면, 내비게이터는, 프로브로부터의 영상에 응답하여 훈련된 배향 신경 회로망으로부터 다수의 변환을 받고 또한 영상 세트 및 그의 관련된 변환을 생성하는 세트 생성기; 충분한 세트가 언제 생성되었는지를 결정하는 충분성 검사기; 및 신체 부분 주기 동안에 신체 부분의 변화를 보여주는 일 세트의 간략한 주기적인 정준 영상을 생성하는 훈련된 주기적인 정준 뷰(view) 신경 회로망을 또한 포함한다.
더욱이, 본 발명의 바람직한 실시예에 따르면, 내비게이터는, 신체 주기 내의 각 점에서 영상 세트, 그의 관련된 변환 및 그의 관련된 간략한 주기적인 정준 영상으로, 훈련되지 않은 주기적인 정준 뷰 신경 회로망을 훈련시키는 주기적인 정준 뷰 훈련기를 또한 포함한다.
또한, 본 발명의 바람직한 실시예에 따르면, 신체 부분 주기는 심장 주기이다.
또한, 본 발명의 바람직한 실시예에 따르면, 각 세트는 단일 요소를 가지고 있다.
본 발명의 바람직한 실시예에 따르면, 휴대용 컴퓨팅 기기에서 실행되며, 초음파 프로브를 갖는 이동식 초음파 유닛을 위한 내비게이터가 제공된다. 이 내비게이터는, 신체 부분 주위에서 찍힌 다수의 초음파 영상에 대한 배향 정보를 제공하는 훈련된 배향 신경 회로망(배향 정보는 신체 부분의 정준 뷰에 대해 영상을 배향시킴); 및 영상을 배향 정보에 따라 배향시키고 단층 촬영 재구성을 사용하여 배향된 영상으로부터 신체 부분의 부피 표현을 생성하며 또한 이 부피 표현으로부터 정준 뷰의 정준 영상을 생성하는 부피 재구성기를 포함한다.
더욱이, 본 발명의 바람직한 실시예에 따르면, 내비게이터는, 프로브로부터의 영상에 응답하여 훈련된 배향 신경 회로망으로부터 배향을 받고 또한 충분한 영상이 언제 받아들여 졌는지를 결정하는 충분성 검사기; 및 충분성 검사기에 응답하여 훈련된 배향 신경 회로망에 대한 추가 영상을 요청하는 결과 전환기를 또한 포함한다.
또한, 본 발명의 바람직한 실시예에 따르면, 내비게이터는 신체 부분의 부피 표현으로부터 진단을 하는 진단기를 또한 포함한다.
본 발명의 바람직한 실시예에 따르면, 이동식 기기에서 실행되며, 초음파 프로브를 갖는 이동식 초음파 유닛을 위한 내비게이터가 제공된다. 이 내비게이터는, 프로브로부터 신체 부분의 비정준 영상을 받고 비정준 영상을 표시 가능한 맵 상의 비정준 맵점에 맵핑시키며 또한 비정준 영상과 관련된 다수의 정준 영상을 표시 가능한 맵 상의 정준 맵점에 맵핑시키는 훈련된 맵핑 신경 회로망; 및 정준 및 비정준 맵점으로 표시된 맵을 나타내는 결과 전환기를 포함한다.
또한, 본 발명의 바람직한 실시예에 따르면, 훈련된 맵핑 신경 회로망은, 프로브의 움직임 변화에 의해 표시 가능한 맵 상에서 작은 움직임이 생기고 영상들 사이의 거리는 맵 위치들 사이의 거리와 유사하고 또한 한 정준 영상과 다른 정준 영상 사이의 최적 경로는 곧은 일정한 속도의 궤적인 것을 보장하기 위해 손실 함수를 포함한다.
또한, 본 발명의 바람직한 실시예에 따르면, 내비게이터는, 사용자가 프로브를 정준 맵점 중의 하나로 이동시킬 때 프로브에 의해 생성된 최종 영상으로부터 진단을 하는 진단기를 또한 포함한다.
본 발명의 바람직한 실시예에 따르면, 이동식 기기에서 실행되며, 초음파 프로브를 갖는 이동식 초음파 유닛을 위한 다운로딩 가능한 내비게이터가 제공된다. 이 내비게이터는, 시간에 따라 프로브로부터 영상을 받고 또한 영상 세트를 생성하는 세트 생성기; 충분한 세트가 언제 생성되었는지를 결정하는 충분성 검사기; 및 신체 부분 주기 동안에 신체 부분의 변화를 보여주는 일 세트의 간략한 주기적인 정준 영상을 생성하는 주기적인 정준 뷰 신경 회로망을 포함한다.
더욱이, 본 발명의 바람직한 실시예에 따르면, 내비게이터는, 주기적인 정준 뷰 신경 회로망에 의해 생성된 최종 영상으로부터 진단을 하는 진단기를 또한 포함한다.
본 발명의 바람직한 실시예에 따르면, 휴대용 컴퓨팅 기기에서 실행되는, 초음파 프로브를 갖는 이동식 초음파 유닛을 위한 방법이 제공되며, 이 방법은, 훈련된 배향 신경 회로망을 사용하여, 이동식 초음파 유닛으로부터 신체 부분의 비정준 영상을 받고 또한 그 비정준 영상과 관련된 변환을 생성하는 단계(변환은 정준 영상과 관련된 위치와 회전으로부터 비정준 영상과 관련된 위치와 회전으로 변환함); 및 변환을 프로브의 사용자를 위한 배향 지시로 전환시키고 또한 프로브의 위치와 회전을 변경하기 위해 배향 지시를 사용자에게 제공하고 나타내는 단계를 포함한다.
더욱이, 본 발명의 바람직한 실시예에 따르면, 본 방법은, 정준 영상 주위에서 찍힌 비정준 영상 및 정준 영상으로부터 비정준 영상과 관련된 공간내 위치와 회전으로의 변환과 함께 정준 영상을 사용하여, 배향 신경 회로망을 훈련시키는 단계를 포함한다.
또한, 본 발명의 바람직한 실시예에 따르면, 훈련은, 훈련 기간 중에 훈련 프로브에 장착되어 있는 IMU(관성 측정 유닛)로부터 IMU 데이타를 받는 것을 포함하고, IMU 데이타는 비정준 영상 및 정준 영상과 관련된 위치와 회전을 제공하며, 훈련은 또한 위치와 회전을, 정준 영상과 관련된 위치와 회전으로부터 비정준 영상과 관련된 위치와 회전으로의 변환으로 전환시키는 것을 포함한다.
또한, 본 발명의 바람직한 실시예에 따르면, 훈련된 맵핑 신경 회로망은, 프로브의 움직임 변화에 의해 표시 가능한 맵 상에서 작은 움직임이 생기고 영상들 사이의 거리는 맵 위치들 사이의 거리와 유사하고 또한 한 정준 영상과 다른 정준 영상 사이의 최적 경로는 곧은 일정한 속도의 궤적인 것을 보장하기 위해 손실 함수를 포함한다.
추가적으로, 본 발명의 바람직한 실시예에 따르면, 손실 함수는 계산된 변환을 복수의 상이한 정준 배향 중의 하나에 구속시키는 확률을 추가로 포함한다.
더욱이, 본 발명의 바람직한 실시예에 따르면, 정준 영상은 복수의 정준 영상 중의 하나이다.
또한, 본 발명의 바람직한 실시예에 따르면, 본 방법은 정준 영상을 볼 때 프로브에 의해 생성된 최종 영상으로부터 진단하는 단계를 또한 포함한다.
또한, 본 발명의 바람직한 실시예에 따르면, 휴대용 컴퓨팅 기기는 스마트폰, 태블릿, 랩탑, 개인 컴퓨터 및 스마트 기기 중의 하나이다.
추가로, 본 발명의 바람직한 실시예에 따르면, 본 방법은, 프로브로부터의 영상에 응답하여 훈련된 배향 신경 회로망으로부터 다수의 변환을 받고 또한 영상 세트 및 그의 관련된 변환을 생성하는 단계; 충분한 세트가 언제 생성되었는지를 결정하는 단계; 및 훈련된 주기적인 정준 뷰 신경 회로망을 사용하여, 신체 부분 주기 동안에 신체 부분의 변화를 보여주는 일 세트의 간략한 주기적인 정준 영상을 생성하는 단계를 또한 포함한다.
더욱이, 본 발명의 바람직한 실시예에 따르면, 본 방법은, 신체 주기 내의 각 점에서 영상 세트, 그의 관련된 변환 및 그의 관련된 간략한 주기적인 정준 영상으로, 훈련되지 않은 주기적인 정준 뷰 신경 회로망을 훈련시키는 단계를 또한 포함한다.
또한, 본 발명의 바람직한 실시예에 따르면, 신체 부분 주기는 심장 주기이다.
또한, 본 발명의 바람직한 실시예에 따르면, 각 세트는 단일 요소를 가지고 있다.
본 발명의 바람직한 실시예에 따르면, 휴대용 컴퓨팅 기기에서 실행되는, 초음파 프로브를 갖는 이동식 초음파 유닛을 위한 방법이 제공되고, 이 방법은, 훈련된 배향 신경 회로망을 사용하여, 신체 부분 주위에서 찍힌 다수의 초음파 영상에 대한 배향 정보를 제공하는 단계(배향 정보는 신체 부분의 정준 뷰에 대해 영상을 배향시킴); 및 영상을 배향 정보에 따라 배향시키고 단층 촬영 재구성을 사용하여 배향된 영상으로부터 신체 부분의 부피 표현을 생성하며 또한 이 부피 표현으로부터 정준 뷰의 정준 영상을 생성하는 단계를 포함한다.
더욱이, 본 발명의 바람직한 실시예에 따르면, 본 방법은, 프로브로부터의 영상에 응답하여 훈련된 배향 신경 회로망으로부터 배향을 받고 또한 충분한 영상이 언제 받아들여 졌는지를 결정하는 단계; 및 배향을 받은 것에 응답하여 훈련된 배향 신경 회로망에 대한 추가 영상을 요청하는 단계를 또한 포함한다.
또한, 본 발명의 바람직한 실시예에 따르면, 본 방법은 신체 부분의 부피 표현으로부터 진단을 하는 단계를 또한 포함한다.
본 발명의 바람직한 실시예에 따르면, 이동식 기기에서 실행되는, 초음파 프로브를 갖는 이동식 초음파 유닛을 위한 방법이 제공되며, 이 방법은, 훈련된 맵핑 신경 회로망을 사용하여, 프로브로부터 신체 부분의 비정준 영상을 받고 비정준 영상을 표시 가능한 맵 상의 비정준 맵점에 맵핑시키며 또한 비정준 영상과 관련된 다수의 정준 영상을 표시 가능한 맵 상의 정준 맵점에 맵핑시키는 단계; 및 정준 및 비정준 맵점으로 표시된 맵을 나타내는 단계를 포함한다.
더욱이, 본 발명의 바람직한 실시예에 따르면, 훈련된 맵핑 신경 회로망은, 프로브의 움직임 변화에 의해 표시 가능한 맵 상에서 작은 움직임이 생기고 영상들 사이의 거리가 곧은 일정한 속도의 궤적과 유사한 것을 보장하기 위해 손실 함수를 포함한다.
또한, 본 발명의 바람직한 실시예에 따르면, 본 방법은, 사용자가 프로브를 정준 맵점 중의 하나로 이동시킬 때 프로브에 의해 생성된 최종 영상으로부터 진단을 하는 단계를 또한 포함한다.
본 발명의 바람직한 실시예에 따르면, 이동식 기기에서 실행되는, 초음파 프로브를 갖는 이동식 초음파 유닛을 위한 방법이 제공된다. 이 방법은, 시간에 따라 프로브로부터 영상을 받고 또한 영상 세트를 생성하는 단계; 충분한 세트가 언제 생성되었는지를 결정하는 단계; 및 주기적인 정준 뷰 신경 회로망을 통해, 신체 부분 주기 동안에 신체 부분의 변화를 보여주는 일 세트의 간략한 주기적인 정준 영상을 생성하는 단계를 포함한다.
더욱이, 본 발명의 바람직한 실시예에 따르면, 본 방법은 주기적인 정준 뷰 신경 회로망에 의해 생성된 최종 영상으로부터 진단을 하는 단계를 또한 포함한다.
본 발명으로 간주되는 주제는 본 명세서의 종결 부분에 특별히 제시되어 있고 또한 개별적으로 청구되어 있다. 그러나 본 발명은 그의 목적, 영상 및 이점과 함께 작동의 조직화와 방법 둘 모두에 관해, 첨부 도면과 함께 이하의 상세한 설명을 읽고 참조함으로써 가장 잘 이해될 수 있다.
도 1은 신체 부분의 영상을 찍기 위해 초음파 트랜스듀서가 어떻게 배치되는 지를 개략적으로 도시한다.
도 2는 본 발명에 따라 구성되고 작용하는 초음파 내비게이터를 개략적으로 도시한다.
도 3a 및 3b는 초음파 기사가 아닌 사람이 신체 부분의 적절한 영상을 찍기 위해 트랜스듀서의 프로브를 배향시키는 것을 본 발명에 따라 구성되고 작용하는 도 2의 내비게이터가 어떻게 도와 줄 수 있는 지를 개략적으로 도시한다.
도 4는 본 발명에 따라 구성되고 작용하는, 장기의 비정준 영상 및 그의 관련된 정준 영상에 대한 훈련 프로브의 배향 사이의 변환을 개략적으로 도시한다.
도 5는 본 발명에 따라 구성되고 작용하는, 배향 신경 회로망을 위한 훈련 과정을 개략적으로 도시한다.
도 6은 본 발명에 따라 구성되고 작용하는 도 2의 내비게이터의 요소를 개략적으로 도시한다.
도 7은 본 발명에 따라 구성되고 작용하는 도 2의 내비게이터의 대안적인 실시예의 요소를 개략적으로 도시한다.
도 8a, 8b 및 8c는 본 발명에 따라 구성되고 작용하는 도 2의 내비게이터의 대안적인 실시예의 요소와 기능을 개략적으로 도시한다.
도 9a 및 9b는 본 발명에 따라 구성되고 작용하는, 훈련 및 작동시에 있는 도 2의 내비게이터의 대안적인 실시예의 요소를 개략적으로 도시한다.
도 10a 및 10b는 본 발명에 따라 구성되고 작용하는, 훈련 및 작동시에 있는 도 9a 및 9b의 내비게이터의 대안적인 실시예의 요소를 개략적으로 도시한다.
도시의 단순성과 명료성을 위해, 도에 나타나 있는 요소들은 반드시 척도에 따라 그려질 필요는 없음을 알 것이다. 예컨대, 명료성을 위해 어떤 요소의 치수는 다른 요소에 비해 과장되어 있을 수 있다. 또한, 적절하다고 생각되는 경우, 참조 번호는 대응하거나 유사한 요소를 나타내기 위해 도들 중에서 반복될 수 있다.
이하의 상세한 설명에서, 본 발명의 철저한 이해를 제공하기 위해 많은 특정한 상세 내용을 언급한다. 그러나, 당업자는 본 발명은 이들 특정한 상세 내용 없이도 실시될 수 있음을 이해할 것이다. 다른 경우에, 잘 알려져 있는 방법, 절차 및 구성 요소들은 본 발명을 모호하게 하지 않도록 상세히 설명되지 않았다.
본 출원인은, 이동식 초음파 기계를 병원과 같은 통상적인 장소에서 벗어나 사용할 수 있는 능력은 훈련되지 않은 초음파 기사 또는 초음파 기사가 아닌 사람이 이 기계를 사용할 수 있다는 것을 인식하였다. 그러나, 훈련되지 않은 의사, 응급 처치 제공자 또는 심지어 환자 자신은 이 초음파를 정확히 가하기 위한 훈련이나 지식을 가지고 있지 않다. 상이한 기관 및 신체 부분에 대해서는 상이한 훈련이 요구됨을 알 것이다.
2018년 6월 7일에 공개된 미국 특허 공보 US2018/0153505("Guided Navigation of an Ultrasound Probe") 및 2016년 5월 26일에 공개된 미국 특허 특허 공보 US2016/0143627("Ultrasound Acquisition Feedback Guidance to a Target View")에 기재되어 있는 바와 같은 종래 기술의 시스템은, 초음파 기사가 아닌 사람이 그의 트랜스듀서를 가장 적합한 영상을 찍기 위한 최적의 배향으로 안내하는 것을 도와주기 위해 특정한 신체 부분의 공급된 영상과 바람직한 정준 영상 사이의 편차를 결정하기 위한 방법을 가르쳐 주고 있다.
본 출원인은, 이들 종래 기술의 시스템은 회전 계산에 관하여는 완전한 해결책을 제공하지 못한다는 것을 인식하였다. 본 출원인은 또한, 이들 종래 기술의 시스템은 초음파가 기사가 아닌 사람의 프로브의 위치를 결정하는 데에 도움을 주기 위해 추가적인 하드웨어(예컨대, 자기계, 자이로스코프, 가속도계 등과 같은 관성 측정 유닛)를 필요로 하기 때문에 특별히 유용한 것은 아니라는 것을 인식하였다. 본 출원인은, 추가적인 하드웨어를 필요로 하지 않고 또한 관련된 이동식 초음파 기계의 처리 소프트웨어와 통합되거나 오버레이(overlay)로서 사용되기 위해 예컨대 다운로드를 통해 쉽게 접근 가능한 시스템이 훨씬 더 사용하기 편리하다는 것을 인식하였다. 결과적으로, 본 발명은 초음파 유닛으로 생성된 디지털 영상만으로 작동한다.
이제, 본 발명의 제1 실시예에 따른 초음파 내비게이터(100)를 도시하는 도 2를 참조하며, 이 초음파 내비게이터는, 애플의 앱스토어 또는 구글의 구글 플레이와 같은 이동식 어플리케이션 스토어(10)로부터 스마트폰, 태블릿, 랩탑, 개인 컴퓨터, 스마트 기기 등과 같은 휴대용 컴퓨터 기기에 다운로딩될 수 있다.
내비게이터(100)는 훈련된 배향 신경 회로망(15)을 포함한다(다운로드의 일부분으로서). 배향 신경 회로망(15)은 아래에서 더 상세히 설명할 것이다. 여기서 위에서 논의한 바와 같이, 내비게이터(100)는 관련된 이동식 초음파 기계의 처리 소프트웨어와 통합되거나 오버레이로서 사용될 수 있다.
따라서, 사용자(5)는 트랜스듀서 또는 프로브(7)(이동식 초음파 유닛(8)과 관련되어 있음)를 환자(9)에 사용하여 관련된 신체 부분의 영상을 내비게이터(100)에 공급할 수 있고, 이에 따라 내비게이터(100)는 프로브(7)를 어떻게 배향시킬 것인가에 대한 배향 지시를 공급할 수 있다. 그 과정은 반복될 수 있음을 알 것이고, 초음파 기사가 아닌 사람 또는 사용자(5)는 적절한 영상을 받기 위해 프로브(7)를 정확히 배향시키기 위한 하나 보다 많은 시도를 하게 된다. 본 발명의 바람직한 실시예에 따르면, 내비게이터(100)가 영상만 받더라도, "배향" 지시는 위치(2차원 또는 3차원 공간 내의 위치) 및 회전 정보(3D 공간에서의 회전) 둘 다를 포함할 수 있다.
이제, 초음파 기사가 아닌 사람(5)이 특정한 신체 부분의 양호한 영상을 찍기 위해 프로브(7)를 배향시키는 것을 내비게이터(100)가 어떻게 도와주는 지를 도시하는 도 3a 및 3b를 참조한다. 도 3a는 잘못된 위치에 있는 프로브(7)(7A로 표시되어 있음)를 나타내는데, 즉, 결과적으로 얻어진 영상(20A)은 인정되지 않는다. 도 3a는 사용자(5)에게 프로브(7A)의 회전을 변경하라고 지시하는 일 세트의 화살표(21)를 추가로 포함한다. 화살표(21A)는 "피치 업(pitch up)" 종류의 회전을 나타낸다. 도 3b는 새로 피칭된 US 배향으로 있는 프로브(7B) 및 결과적으로 얻어진 영상(20B)을 나타내고, 이 영상은, 아직 정준 영상을 제공하지는 않지만, 더 양호한 것이다. 화살표(21B)는 새로운 "요(yaw)" 회전이 유용함을 나타낸다.
여기서 위에서 논의된 바와 같이, 내비게이터(100)는 배향 신경 회로망(15)을 받는데, 이 신경 회로망은 특정 신체 부분 또는 관심 대상 기관에 대해 숙련된 초음파 기사에 의해 취해지는 전문가 데이타로 훈련될 수 있다. 받은 훈련 데이타는 특정 신체 부분의 정준 영상 및 관련된 비정준 영상, 그리고 각각에 대해 초음파 기사의 프로브의 공간 배향(즉, 위치 및 회전)을 포함할 수 있다. 이 정보는, IMU(자기계, 자이로스코프, 가속도계 등을 포함할 수 있는 관성 측정 유닛)이 관련되어 있는 프로브를 사용하여 생성될 수 있다. IMU는 영상이 찍힐 때 프로브의 배향을 결정할 수 있다.
이제, 정준 영상을 찍기 위해 훈련된 초음파 기사에 의해 사용되는 훈련 프로브(4c)의 배향과 어떤 기관에 대한 비정준 영상을 찍을 때의 배향 사이의 변환을 도시하는 도 4를 참조한다. i번째 비정준 영상을 볼 때의 훈련 프로브(4i)의 배향은, 기준 프레임(Fi)이 6개의 자유도(6DoF)(IMU가 측정할 수 있는, 축 주위로 일어나는 3개의 회전 및 그 축을 따른 3개의 병진 이동을 갖는 3축 시스템(Q)에 대응함)를 가질 수 있는 공간에서의 "기준 프레임"(Fi)으로 정의될 수 있다.
기준 프레임(Fi)은 원점(O)에 있는 기준 프레임을 말하는 것일 수 있으며, 본 발명의 경우, 그 원점은 기관에 있을 수 있고 또한 그의 공간내 기준 프레임은 F0로 정의될 수 있다. 각 기준 프레임(Fi)에 대해, 원점(O)으로부터의 변환(Ri)이 있을 수 있고, 정준 영상을 보기 위해 변환(Rc)은 원하는 배향으로의 변환(Fc)일 수 있고, 다음과 같다:
RC = FcF0 -1
Ri = FiF0 -1 (1)
여기서, F0 -1는 F0의 역변환이다. 따라서, 정준 자세로부터 i번째 비정준 자세로의 변환(Ti)은 RiRc -1 일 수 있다:
Ti = RiRc -1 = FiF0 -1 (FoFc -1) = FiFc -1 (2)
이제, 훈련기(30)를 사용하여 배향 신경 회로망(15)에 대한 훈련 과정을 도시하는 도 5를 참조한다. 훈련 프로브(4)를 환자(3)에 사용하는 숙련된 초음파 기사(2)는 특정 신체 부분에 대해 정준 영상 및 관련된 비정준 영상 둘 다를 제공할 수 있다. 훈련 프로브(4)는 영상이 찍힐 때 프로브의 배향(Fi)을 결정할 수 있는 IMU(6)(자기계, 자이로스코프, 가속도계 등을 포함할 수 있는 관성 측정 유닛)과 관련될 수 있음을 알 것이다.
훈련 전환기(22)는 각 영상에 대한 배향 데이타(FI)를 받을 수 있고, 도 4에 대해 여기서 위에서 논의한 바와 같이, 관련된 정준 위치로부터 변환(Ti = RiRc -1)을 결정할 수 있다. 구체적으로, 훈련 전환기(22)는 훈련 프로브(4)로부터 영상(X)을 찍을 수 있고, 필요시에 그 영상을 처리할 수 있다. 데이타베이스(20)는 비정준 영상(Xi)을 그의 배향 데이타(Fi) 및 변환 데이타(Ti)와 함께 저장할 수 있다. 데이타베이스(20)는 또한 정준 영상(Xc) 및 그의 관련된 배향 데이타(Fc)를 저장할 수 있다. 신체 부분에 대해 다수의 정준 영상이 있을 수 있음을 알 것이다. 예컨대, 심장은 정준 사심방 영상, 정준 이심방 영상 등을 가질 수 있고, 그래서 훈련 전환기(22)는 각 관련된 정준 영상으로의 변환(Ti)을 생성할 수 있다. 관련된 정준 영상은 수동으로 제공될 수 있고 또는 적절한 알고리즘에 의해 자동적으로 결정될 수 있음을 알 것이다.
훈련기(30)에 들어오는 훈련 데이타는 영상(Xi) 및 그의 관련된 실측 자료(ground truth) 변환(Ti)의 조합일 수 있음을 알 것이다. 각 비정준 영상에 대해, 훈련기(30)는 각 정준 영상을 보는 것으로부터 각 비정준 영상을 보는 것으로 변경하기 위해 프로브(4)에 대한 위치 설정 변환을 학습할 수 있다. 들어오는 데이타는 많은 상이한 환자(3)로부터 얻어진 데이타를 포함할 수 있고, 그래서 훈련기(30)는 혹시 비정준 영상과 정준 영상 사이의 변환 정보에 영향을 줄 수 있는 환자(3)의 성별, 나이, 체중 등 및 기타 요인으로 인한 영상(Xi)의 변화를 학습할 수 있다.
또한, 훈련기(30)는, 배향 신경 회로망(15)에 의해 생성된 계산된 변환(S(Xi))과 영상(Xi)에 대한 그의 관련된 정준 영상으로부터의 실측 자료 변환(Ti) 사이의 거리와 같은 손실 함수로 결정되는 바와 같은 에너지 "손실"을 최소화하기 위해 회로망을 업데이트하여 회로망을 훈련시킬 수 있는, 콘볼루션 신경 회로망 훈련기와 같은 어떤 적절한 신경 회로망 훈련기라도 될 수 있다. 변환(S(Xi))은 훈련되지 않은 신경 회로망으로서 시작하고 훈련된 신경 회로망으로서 끝나게 됨을 알 것이다.
거리 함수는 어떤 적절한 거리 함수라도 될 수 있다. 하나 보다 많은 관련된 정준 영상이 있으면, 배향 신경 회로망(15)은 각 비정준 영상으로의 실측 자료 변환(Ti)으로 훈련될 수 있다. 손실 함수 "Loss"는 다음과 같이 계산될 수 있다:
Loss = loss(S(Xi), Ti) (3)
일단 배향 신경 회로망(15)이 훈련되면, 이 신경 회로망은 들어오는 각 영상(Xi)에 응답하여 사용자 프로브(7)에 대한 변환(T)을 생성할 수 있다. 그런 다음 이 변환은, 여기서 아래에서 더 상세히 설명하는 바와 같이, 비정준 영상에 대한 배향으로부터 정준 영상에 대한 배향으로 사용자(5)를 안내하기 위해 역변환되거나 전환될 수 있다.
이제, 내비게이터(100)의 구성 요소를 도시하는 도 6을 참조한다. 이 내비게이터(100)는 훈련된 배향 신경 회로망(15), 결과 전환기(40) 및 진단기(50)를 포함할 수 있다.
여기서 위에서 논의된 바와 같이, 사용자(5)는 원하는 신체 부분에 대해 사용자 프로브(7)를 무작위로 배치할 수 있다. 훈련된 배향 신경 회로망(15)은 관련된 정준 영상으로부터 특정 신체 부분의 현재 비정준 영상으로의 변환(T)을 제공할 수 있다. 결과 전환기(40)는 생성된 변환을 역변환시켜, 비정준 영상을 보는 현재 위치 및 회전으로부터 관련된 정준 영상을 보는 위치 및 회전으로 프로브(7)에 대한 배향 지시를 제공할 수 있다. 결과 전환기(40)는 다양한 방식으로 이들 배향 지시를 사용자(5)에 제공하고 나타낼 수 있다. 이 과정은 사용자(5)가 (오차 범위 내에서) 프로브(7)를 정확하게 ( 위치시킬 때까지 반복될 수 있음을 알 것이다.
결과 전환기(40)는, 선택된 정준 영상에 대해, 훈련된 배향 신경 회로망(15)에 의해 생성된 배향 데이타(S(X))를 사용자(5)를 위한 설명 가능한 배향으로 전환시킬 수 있다. 어떤 적절한 디스플레이라도 이용될 수 있다. 예시적인 디스플레이가 도 3a 및 3b를 참조하여 위에 나타나 있다. 결과 전환기(40)는 어떤 적절한 인터페이스라도 사용할 수 있고 또한 (예컨대) 유색의 회전 마킹을 나타낼 수 있다. 더욱이, 결과 전환기(40)는, 신체 부분에 대해 다수의 정준 영상이 있는 경우에 사용자가 어느 정준 영상이 현재 관심 대상인지를 나타내게 할 수 있는 요소를 포함할 수 있다.
진단기(50)는 사용자(5)에 의해 생성된 최종 정준 영상을 받을 수 있고 또한 그 영상 내의 이상(anomaly)을 검출할 수 있다. 진단기(50)는 어떤 적절한 진단기라도 될 수 있다. 예컨대, 진단기(50)는 2018년 7월 26에 공개된 PCT 국제 공보 WO2018/136805(본 발명의 공동 양수인에게 양도되었고 본원에 참조로 관련되어 있음)의 진단 방법을 실행할 수 있다.
본 출원인은, 단일 신체 부분에 대해 다수의 정준 영상이 있고 또한 하나의 정준 영상으로부터 다른 영상으로의 표준적인 알려져 있는 운동을 이용하여, 훈련된 배향 신경 회로망(15)의 출력의 오차를 줄일 수 있다는 것을 인식하였다.
이 개선된 실시예에서, 배향 신경 회로망(15)은 다수의 정준 영상으로 훈련될 수 있다. 따라서, 각 영상(Xi)에 대해, 다수의 계산된 변환이 있을 수 있다. 예컨대, 한쌍의 정준 영상(c, c')에 대해, 동일한 영상(Xi)에 대한 한쌍의 계산된 변환(Sc(Xi) 및 Sc'(Xi))이 있을 수 있고, 이 변환은 관련된 실측 자료 변환(Tc,i 및 Tc',i)을 가질 수 있다.
더욱이, 다음과 같이 정의되는 알려져 있는 운동 변환(Tk)이 있다:
Tk = RcRc' -1 (4)
여기서, Rc는 정준 영상(c)에 대한 것이고 Rc'는 정준 영상(c')에 대한 것이다. 이들 알려져 있는 운동은 상이한 대상자에 걸쳐 대략 일정하고 그래서 한 정준 영상(c)으로부터 다른 정준 영상(c')으로의 변환(Tk)을 이용하여, 계산된 변환(Sc(Xi) 및 Sc'(Xi))을 정준 배향 중의 하나에 구속시킬 수 있다. 이를 위해, 확률 척도(Pk)를 사용하여, 다음과 같이, 배향 신경 회로망(15)을 훈련시키기 위해 사용되는 손실에 더해지는 최대 가능 손실 항(logPk(Sc(Xi)Sc'(Xi)-1))을 다음과 같이 정의할 수 있다:
Loss=loss(Sc(Xi),Tc,i) + loss(Sc'(Xi),Tc',i)-δ*logPk(Sc(Xi)Sc'(Xi)-1) (5)
확률 척도(Pk)는 상이한 대상자에 걸쳐 정준 자세(c)와 자세(c') 사이의 실측 자료 변환(Tk)을 측정하여 실험적으로 결정될 수 있다. 더욱이, 신체 부분 당 다수의 확률 척도가 있을 수 있는데, 그 신체 부분에 대한 각 쌍의 정준 영상에 대대 하나의 확률 척도가 주어지며, 각 확률 척도(Pk)는 손실 함수에 대한 개별적인 추가 항을 정의할 수 있다.
대안적인 실시예에서, 내비게이터(100')는 또한 지금 참조하는 도 7에 도시되어 있는 바와 같이 충분성 검사기(60) 및 부피 재구성기(70)를 포함할 수 있다.
부피 개구성기(70)는 훈련된 배향 신경 회로망(15)의 출력을 이용할 수 있고 또한 프로브(7)에 의해 생성된 영상(Xi)으로부터 관심 대상의 신체 부분의 3D 또는 4D 기능 및/또는 3D 부피 또는 3D 공간-시간 부피를 생성할 수 있다. 이 실시예에서, 영상(Xi)은 관심 대상의 신체 부분의 단면으로 생각될 수 있다.
충분성 검사기(60)는, 3D/4D 부피 재구성을 수행하기 위해 충분한 단면이 훈련된 배향 신경 회로망(15)을 통해 받아 들여졌는지를 확인할 수 있고 또한 그에 따라 (결과 전환기(40)를 통해) 사용자(5)를 안내할 수 있다. 예컨대, 충분성 검사기(60)는 미리 정해진 최소 수의 영상이 언제 찍혔는지를 결정할 수 있다.
충분성 검사기(60)로부터의 지시가 있으면, 부피 재구성기(70)는 3D/4D 부피 를 생성할 수 있고, 그 후에, 재구성기(70)는 생성된 부피로부터 관련된 정준 뷰를 뽑을 수 있고 그 뷰를 진단기(50)에 제공할 수 있다. 이 실시예에서의 정준 뷰는 생성된 부피로부터 생성되고 또한 부피를 생성하기 위해 사용되는 영상들 중에 있거나 있지 않을 수 있음을 알 것이다.
부피 재구성기(70)는 역 무작위 변환 또는 다른 수단에 기반하는 것과 같은 단층 촬영 재구성을 이용하여, 영상으로부터 3D/4D 기능 및/또는 부피를 재구성할 수 있다. 성공적인 부피 단층 촬영 재구성을 위해서는, 3D 공간 또는 4D 공간-시간에서의 단면 위치를 아는 것이 중요함을 알 것이다. 본 출원인은, 훈련된 배향 신경 회로망(15)은 찍힌 각 영상에 대해 프로브(7)에 대한 제안된 변환(S(X))을 제공할 수 있고 또한 이 변환(S(X))을 사용하여 영상(Xi)의 화소(pixel)를 고정된 2D 영상 평면으로부터, 프로브(4i)가 영상(Xi)을 생성했을 때 그 프로브가 위치된 공간 내의 3D 배향(Q)으로 회전시킬 수 있다는 것을 인식하였다.
부피 재구성기(70)는 각 영상(Xi)에 대해 훈련된 배향 신경 회로망(15)으로부터 변환(S(Xi))을 받을 수 있고, 또한 그 변환을 이용하여, 신체 부분의 회전된 단면(CSi)을 생성하면서, 영상을 (프로브로부터 출력될 때의) 영상 평면으로부터 프로브의 변환에 의해 정의되는 평면으로 이동시킬 수 있다. 그런 다음에, 부피 재구성기(70)는 단층 촬영 재구성을 사용하여, 영상 단면(CS(Xi))으로부터 관심 대상의 신체 부분의 부피를 구축할 수 있다.
변환(S(Xi))을 적용하기 위해, 먼저, 영상(Xi)은 2D 영상 평면 내의 2D 위치 (xj,yj)와 세기(Ij)를 갖는 일 세트의 화소를 포함함을 알 것이다. 부피 재구성기(70)는 공간내의 3D 화소 위치(xj,yj,0)에 대해 변환(S(Xi))을 적용하여 영상(Xi)의 근사 3D 배향(Q)을 생성할 수 있고, 그 후에 연산자(H)를 적용하여, 배향된 영상(Xi)을 다음과 같이 센터링하거나 스케일링할 수 있다:
Q = H*S(Xi)*[xj,yj,0]T (6)
부피 재구성기(70)는 생성된 정준 영상을 진단기(50)에 제공할 수 있고, 그런 다음에, 진단기는, 위에서 설명한 바와 같이, 그 영상으로부터 진단을 할 수 있다.
지금 참조하는 도 8a, 8b 및 8c에 도시되어 있는 또 다른 실시예에서, 내비게이터(100'')는 영상 맵핑 신경 회로망(90)을 포함할 수 있다. 이 맵핑 신경 회로망(90)은 각 영상(Xi)을 2D 평면(92) 상에 맵핑할 수 있다(도 8b). 도 8b는 평면(92) 상의 3개의 다른 위치(A, B, D)에 맵핑되는 3개의 예시적인 영상(XA, XB 및 XD)을 나타낸다.
결과 전환기(42)는 2D 평면(92)을 사용자(5)에게 나타낼 수 있는데, 그의 현재 위치를 하나의 색으로 표시하고(예컨대, 회색점(도 8c에서 음영진 점으로 나타나 있음)으로 표시) 또한 이 신체 부분에 대한 정준 영상의 위치를 다른 색의 점(도 8c에서 번호 원 1 ∼ 5로 나타나 있음)으로 표시한다. 도 8c는 또한 얻어진 영상(Xi) 및 그의 맵(92)을 나타낸다. 맵점(M(Xi))은 맵(92) 상의 비정준 영상(Xi)을 나타낼 수 있고 다른 번호 원은 원하는 또는 요구되는 정준 뷰(c)를 나타내는 정준 맵점일 수 있다. 사용자(5)는 프로브(7)의 시행 착오 운동을 사용하여 맵점(M(Xi))을 원하는 원 쪽으로 더 가까이 이동시킬 수 있고, 맵퍼(mapper)(90)가 프로브(7)로부터의 각 새로운 영상(i)에 대한 2D 평면(92)을 재생성할 수 있다.
본 출원인은, 프로브(7)의 운동의 작은 변화는 2D 평면(92) 상에서의 작은 운동을 생성해야 하고 또한 영상(Xi) 사이의 거리는 맵 위치 사이의 거리와 유사해야 한다는 것을 인식하였다. 본 출원인은 또한, 한 정준 영상으로부터 다른 정준 영상으로의 최적 경로는 곧은 일정한 속도의 궤적이어야 한다는 것을 인식하였다.
이 실시예에 대해, 맵핑 신경 회로망(90)은, 각 영상(Xi) 및 그의 관련된 정준 뷰의 영상(Xc)을 포함할 수 있는 유입 데이타를 사용하여 훈련될 수 있다.
맵핑 신경 회로망(90)은, 각 정준 뷰(cj)에 대해, 훈련 동안에 현재 신경 회로망(90)에 의해 생성된 계산된 맵점(M(Xi)) 및 관련된 맵점(M(Xc)) 사이의 거리를 최소화하기 위해 손실 함수를 포함할 수 있다:
Loss = loss(M(Xi),M(Xcj)) (7)
최적 경로를 다른 정준 뷰에 포함시키기 위해, 확률 벡터(pi,j)를 추가할 수 있는데, 이 확률 벡터는, 영상(Xi)이 경로 상에서 j번째의 원하는 정준 영상(c)에 얼마나 가까운지를 정의할 수 있다. 그런 다음에 손실 함수는 다음과 같이 되도록 업데이트될 수 있다:
Loss = loss(M(Xi),∑pi,jM(Xcj)) (8)
거리를 보존하기 위해, 손실 함수는 다음과 같이 되도록 업데이트될 수 있다:
Loss = loss(M(Xi),∑pi,jM(Xcj))+loss(dist(Xi,Xj),∥M(Xi)-M(Xj)∥2)(9)
평면(92)은 원하는 바에 따라 2D 평면 또는 3D 부피일 수 있음을 알 것이다. 여기서 위에서 논의된 맵핑 작용은 3D 부피로의 맵핑에 효과적이다.
본 출원인은, 올바른 종류의 훈련이 주어지면, 신경 회로망은 변환 정보를 생성하기 위해서 뿐만 아니라 정준 영상을 생성하기 위해서도 훈련될 수 있다는 것을 인식하였다. 이는, 초음파 기사가 아닌 사람으로부터의 입력은 (그 사람의 손은 충분히 안정적이지 않을 수 있기 때문에) 잡음이 있을 것으로 예상되는 경우 및/또는 정준 뷰에서 신체 부분의 기능을 보는 것을 원하는 경우에 특히 유용할 수 있다. 예컨대, 초음파 기사는 심장 기능 분석을 위해 수축기부터 확장기로 다시 수축기까지의 전체 심장 주기에 대한 정보를 정기적으로 제공한다.
지금 참조하는 도 9a 및 9b에 나타나 있는 또 다른 실시예에서, 내비게이터(100)는 주기적인 정준 뷰 신경 회로망(110)을 포함할 수 있고, 이 신경 회로망은 훈련된 배향 신경 회로망(15)의 출력으로부터 훈련되는 신경 회로망일 수 있다. 정준 뷰 사이클러(cycler)(110)는, 잡음을 줄이고 또한 심장 주기와 같은 (예컨대) 기관 주기의 잡음이 적은 간략화를 제공하기 위해 반복적인 영상을 모을 수 있다.
도 9a에 나타나 있는 바와 같이, 주기적인 정준 뷰 신경 회로망(110)을 훈련시키기 위해 필요한 요소는, 훈련된 배향 신경 회로망(15), 회로망(110)에 대한 입력을 생성하는 세트 생성기(112) 및 주기적인 정준 뷰 훈련기(115)를 포함할 수 있다.
이 실시예의 경우, 숙련된 초음파 기사(2)는, 하나의 정준 뷰 자세(c)에서 시간에 따라 찍힌 다수의 영상(n) 뿐만 아니라 시간에 따라 찍힌 다수의 초음파 영상(m)을 제공할 수 있다. 세트 생성기(112)는 훈련된 배향 신경 회로망(15)으로부터 영상(Xm)을 그의 관련된 변환 정보(S(Xm))와 함께 받을 수 있고, 또한 이것들은 정준 뷰에서 찍힌 그의 관련된 영상(Xc,n)과 조합할 수 있다. 숙련된 초음파 기사(2)는 그러한 관련을 제공받을 수 있다.
세트 생성기(112)는 그런 다음에 트리플릿(triplet){[Ym, Zm],Wn}을 생성할 수 있고, 여기서 [Ym, Zm]는 주기적인 정준 뷰 훈련기(115)에 입력되고, Wn는 관련된 출력이다. 각 Ym 은 일 세트의 g개 영상으로 이루어질 수 있고, 여기서 Ym = {X1, X2,...Xg} 이고, Zm는 Zm={S(X1), S(X2) ... S(Xg)}가 되도록 영상(Ym)의 변환 정보(S(X))로 이루어질 수 있다. 전형적으로, g는 10 ∼ 100 개의 영상일 수 있다.
각 쌍 [Ym,Zm]은 0과 n 사이의 시간에서 정준 뷰(c)에서 찍힌 관련된 정준 영상(Xc)의 세트(Wn)를 가질 수 있다. 시간 n은 심장 주기 내의 시간을 나타낼 수 있다. 여기서 위에서 언급한 바와 같이, 숙련된 초음파 기사(2)는 심장 주기 정보를 나타내 줄 수 있고, 또한 세트(Wn)에 포함될 관련된 정준 영상(Xc)을 제공할 수 있다.
이 경우, 주기적인 정준 뷰 훈련기(115)는, 입력되는 일반적인 프레임(Ym)으로서, 배향 신경 회로망(15)에 의해 생성되는 바와 같은 그의 근사적인 변환(Zm) 및 그의 관련된 심장 주기 시간(n)을 받을 수 있고, 원하는 시간(n)에서 정준 뷰에 일 세트의 간략한 영상(Wn)을 생성하도록 훈련될 수 있다. 최적화는 다음과 같다:
Loss = loss(CCn,Wn) (10)
여기서, CCn는 주기적인 정준 뷰 신경 회로망(110)이 훈련되고 있을 때 그 신경 회로망의 출력이다.
주기적인 정준 뷰 훈련기(115)는, 완전 콘볼류션 회로망, 인코더-디코더형 회로망 또는 생성적 대립 회로망과 같은 적절한 신경 회로망을 사용하여 내비게이터(100)를 위한 훈련된 주기적 정준 뷰 신경 회로망(110)을 생성할 수 있다.
지금 참조하는 도 9b에 도시되어 있는 바와 같이, 내비게이터(100'')는 훈련된 배향 신경 회로망(15), 작동을 위한 세트 생성기(112'), 충분성 검사기(60'), 결과 전환기(40'), 훈련된 주기적인 정준 뷰 신경 회로망(110) 및 진단기(50)를 포함할 수 있다.
조작시, 초음파 기사가 아닌 사람(5)은, 적어도 원하는 신체 부분의 주기(예컨대, 심장 주기)를 커버하기에 충분히 긴 시간에 걸쳐 관심 대상 신체 부분 근처에서 프로브(7)를 조작할 수 있다. 프로브(7)로부터 얻어진 영상은 훈련된 배향 신경 회로망(15)에 제공되어 그의 관련된 변환(S(X))을 생성할 수 있고 또한 세트 생성기(112')에 제공되어 적절한 세트(Ym, Zm)를 생성할 수 있다. 충분성 검사기(60')는, 세트(Ym, Zm)가 충분히 큰지를 검사할 수 있고, 또한 결과 전환기(40')에 지시하여, 사용자(5)에게 프로브(7)를 원하는 방식으로 배향시키게 하거나 또는 현재의 배향에서 계속 보게 하도록 지시할 수 있다. 이 실시예에서, 초음파 기사가 아닌 사람(5)이 프로브(7)를 정준 뷰에서 정확히 잡고 있을 필요는 없고 그래서 결과 전환기(40')가 제공할 수 있는 지시는 더 거칠 수 있음을 알 것이다. 주기적인 정준 뷰 신경 회로망(110)은 세트 생성기(112')의 출력으로부터 간략한 주기적인 정준 뷰(CCn)를 생성할 수 있다.
이 실시예는 또한 비주기적인 신체 부분에, 특히, 사용자(5)가 프로브(7)를 불안정하게 잡을 수 있을 때 유용할 수 있음을 알 것이다. 이 실시예에서, 각 세트는 단지 하나의 또는 2개의 영상을 가질 수 있다.
본 출원인은, 신경 회로망은 또한 훈련된 배향 신경 회로망(15)에 의해 생성된 변환 정보 없이 훈련될 수 있다는 것을 더 인식하였다. 이는 도 10a 및 10b에 나타나 있고, 이들 도는 도 9a 및 9b와 유사한 시스템을 도시하지만, 훈련된 배향 신경 회로망(15)은 없다. 결과적으로, 훈련(도 10a)을 위해, 세트 생성기(113)가 시간(n)에서 영상(Xi)으로부터 Ym을 생성할 수 있고 또한 정준 영상(Xc)으로부터 Wn을 생성할 수 있다. 주기적인 정준 뷰 훈련기(115)는 식(10)을 사용하여 주기적인 정준 뷰 신경 회로망(110)을 생성할 수 있다.
실행 시간(도 10b)에서, 세트 생성기(113')는 영상(Xi)으로부터 Ym을 생성할 수 있고, 또한 주기적인 정준 뷰 신경 회로망(110)이 간략한 뷰(CCn )를 생성할 수 있다.
본 발명은 초음파 기사가 아닌 사람이 훈련 없이 또한 초음파 프로브 외의 어떤 추가적인 하드웨어도 없이 이동식 초음파 기계를 조작할 수 있게 해주는 내비게이터를 제공할 수 있음을 알 것이다. 따라서, 본 발명의 내비게이터는 그의 유일한 입력으로서 초음파 영상을 받는다. 이는 초음파 기사가 아닌 사람이 많은 비통상적인 경우에, 예컨대, 구급차에서, 전쟁터에서, 긴급 돌봄 시설에서, 요양소 등에서 초음파 스캔을 수행할 수 있게 해줌을 또한 알 것이다.
더욱이, 본 발명은, 카트(cart)에서도 실행될 수 있는, 병원 또는 진료소 환경에서 사용되는 통상적인 기계의 일부분과 같은 더 통상적인 경우에 실행될 수 있다.
다른 구체적인 언급이 없으면, 앞의 논의로부터 명백한 바와 같이, 명세서 전체에 걸쳐, "처리", "컴퓨팅", "계산", "결정" 등과 같은 용어를 사용하는 논의는, 컴퓨팅 시스템의 레지스터 및/또는 메모리 내에서 물리적(예컨대, 전자적) 양으로 나타내지는 데이타를, 컴퓨팅 시스템의 메모리, 레지스터 또는 다른 그러한 정보 저장부, 전송 또는 표시 장치 내에서 물리적 양으로 유사하게 나타내지는 다른 데이타로 조작 및/또는 변환시키는 고객/서버 시스템, 이동식 컴퓨팅 장치, 스마트 기기 또는 유사한 전자 컴퓨팅 기기와 같은 임의의 종류의 다목적 컴퓨터의 작용 및/또는 처리를 말한다.
본 발명의 실시예는 여기서 작동을 수행하기 위한 장치를 포함할 수 있다. 이 장치는 원하는 목적에 맞제 특별히 구성될 수 있거나, 또는 컴퓨터에 저장되어 있는 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 다목적 컴퓨터 또는 고객/서버 구성을 포함할 수 있다. 결과적인 장치는, 소프트웨어의 지시를 받으면, 다목적 컴퓨터를 여기서 논의된 바와 같은 독창적인 요소로 전환시킬 수 있다. 실행 가능한 지시는, 독창적인 기기가 요망되는 컴퓨터 플랫폼과 함께 작동하는 독창적인 기기를 규정할 수 있다. 이러한 컴퓨터 프로그램은, 전자적 지시를 저장하고 또한 컴퓨터 시스템 버스에 연결될 수 있는 광학 디스크, 자기 광학 디스크, 읽기 전용 메모리(ROM), 휘발성 및 비휘발성 메모리, 랜덤 액세스 메모리(RAM), 전기적으로 프로그램 가능한 읽기 전용 메모리(EPROM), 전기적으로 삭제 가능하고 프로그램 가능한 읽기 전용 메모리(EEPROM), 자기 또는 광학 카드, 플래시 메모리, 디스크-온-키(disk-on-key) 또는 다른 종류의 매체를 포함하는 임의의 종류의 디스크와 같은 하지만 이에 한정되지 않는 비일시적 매체일 수 있는 컴퓨터 접근 가능한 저장 매체에 저장될 수 있다.
여기에서 주어진 프로세스와 디스플레이는 본래 어떤 특정한 컴퓨터 또는 다른 장치에 관련되어 있지 않다. 다양한 다목적 시스템이 여기서의 가르침에 따른 프로그램과 함께 사용될 수 있거나, 또는 원하는 방법을 수행하기 위해 더 전문화된 장치를 구성하는 것이 편리한 것으로 입증될 수 있다. 다양한 이들 시스템을 위한 원하는 구조는 이하의 설명으로부터 알 수 있을 것이다. 추가로, 본 발명의 실시예는 어떤 특정한 프로그래밍 언어를 참조하여 설명되지 않았다. 여기서 설명한 바와 같은 본 발명의 가르침을 실행하기 위해 다양한 프로그래밍 언어를 사용할 수 있음을 알 것이다.
여기서 본 발명의 어떤 특징을 도시하고 설명했지만, 당업자는 이제 많은 수정예, 치환예, 변경예 및 등가물을 생각할 수 있을 것이다. 그러므로, 첨부된 청구 범위는 본 발명의 진정한 요지에 속하는 모든 그러한 수정예 및 변경예를 포함하도록 되어 있음을 알 것이다.

Claims (40)

  1. 휴대용 컴퓨팅 기기에서 실행되며, 초음파 프로브(probe)를 갖는 이동식 초음파 유닛을 위한 다운로딩 가능한 내비게이터(navigator)로서,
    상기 이동식 초음파 유닛으로부터 신체 부분의 비정준(non-canonical) 영상을 받고 또한 그 비정준 영상과 관련된 변환을 생성하는 훈련된 배향 신경 회로망 - 상기 변환은 정준 영상과 관련된 위치와 회전으로부터 상기 비정준 영상과 관련된 위치 및 회전으로 변환함 -; 및
    상기 변환을 상기 프로브의 사용자를 위한 배향 지시로 전환시키고 또한 상기 프로브의 위치와 회전을 변경하기 위해 상기 배향 지시를 상기 사용자에게 제공하고 나타내는 결과 전환기를 포함하는, 이동식 초음파 유닛을 위한 다운로딩 가능한 내비게이터.
  2. 제1항에 있어서,
    상기 정준 영상 주위에서 찍힌 비정준 영상 및 상기 정준 영상으로부터 상기 비정준 영상과 관련된 공간내 위치와 회전으로의 변환과 함께 상기 정준 영상을 사용하여, 상기 배향 신경 회로망을 훈련시키는 훈련기를 포함하는 내비게이터.
  3. 제2항에 있어서,
    상기 훈련기는, 훈련 기간 중에 훈련 프로브에 장착되어 있는 IMU(관성 측정 유닛)로부터 IMU 데이타를 받는 훈련 전환기를 포함하고, 상기 IMU 데이타는 상기 비정준 영상 및 정준 영상과 관련된 상기 위치와 회전을 제공하며, 상기 훈련 전환기는 또한 상기 위치와 회전을, 상기 정준 영상과 관련된 상기 위치와 회전으로부터 상기 비정준 영상과 관련된 상기 위치와 회전으로의 변환으로 전환시키는, 내비게이터.
  4. 제2항에 있어서,
    상기 훈련기는 훈련되지 않은 배향 신경 회로망 및 이 훈련되지 않은 배향 신경 회로망을 훈련시키는 손실 함수를 포함하고, 손실 함수는, 상기 훈련되지 않은 배향 신경 회로망에 의해 생성된 계산된 변환과 각 비정준 영상에 대한 실측 자료 변환 사이의 거리를 줄이는, 내비게이터.
  5. 제4항에 있어서,
    상기 손실 함수는 상기 계산된 변환을 복수의 상이한 정준 배향 중의 하나에 구속시키는 확률을 추가로 포함하는, 내비게이터.
  6. 제1항에 있어서,
    상기 정준 영상은 복수의 정준 영상 중의 하나인, 내비게이터.
  7. 제1항에 있어서,
    상기 정준 영상을 볼 때 상기 프로브에 의해 생성된 최종 영상으로부터 진단을 하는 진단기를 또한 포함하는 내비게이터.
  8. 제1항에 있어서,
    상기 휴대용 컴퓨팅 기기는 스마트폰, 태블릿, 랩탑, 개인 컴퓨터 및 스마트 기기 중의 하나인, 내비게이터.
  9. 제1항에 있어서,
    상기 프로브로부터의 영상에 응답하여 상기 훈련된 배향 신경 회로망으로부터 다수의 변환을 받고 또한 영상 세트 및 그의 관련된 변환을 생성하는 세트 생성기;
    충분한 세트가 언제 생성되었는지를 결정하는 충분성 검사기; 및
    신체 부분 주기 동안에 상기 신체 부분의 변화를 보여주는 일 세트의 간략한 주기적인 정준 영상을 생성하는 훈련된 주기적인 정준 뷰(view) 신경 회로망을 또한 포함하는 내비게이터.
  10. 제9항에 있어서,
    상기 신체 주기 내의 각 점에서 상기 영상 세트, 그의 관련된 변환 및 그의 관련된 간략한 주기적인 정준 영상으로, 훈련되지 않은 주기적인 정준 뷰 신경 회로망을 훈련시키는 주기적인 정준 뷰 훈련기를 또한 포함하는 내비게이터.
  11. 제9항에 있어서,
    상기 신체 부분 주기는 심장 주기인, 내비게이터.
  12. 제9항에 있어서,
    각 세트는 단일 요소를 가지고 있는, 내비게이터.
  13. 휴대용 컴퓨팅 기기에서 실행되며, 초음파 프로브를 갖는 이동식 초음파 유닛을 위한 내비게이터로서,
    신체 부분 주위에서 찍힌 다수의 초음파 영상에 대한 배향 정보를 제공하는 훈련된 배향 신경 회로망 - 상기 배향 정보는 상기 신체 부분의 정준 뷰에 대해 상기 영상을 배향시킴 -; 및
    상기 영상을 상기 배향 정보에 따라 배향시키고 단층 촬영 재구성을 사용하여 상기 배향된 영상으로부터 상기 신체 부분의 부피 표현을 생성하며 또한 이 부피 표현으로부터 상기 정준 뷰의 정준 영상을 생성하는 부피 재구성기를 포함하는, 이동식 초음파 유닛을 위한 내비게이터.
  14. 제13항에 있어서,
    상기 프로브로부터의 영상에 응답하여 상기 훈련된 배향 신경 회로망으로부터 배향을 받고 또한 충분한 영상이 언제 받아들여 졌는지를 결정하는 충분성 검사기; 및
    상기 충분성 검사기에 응답하여 상기 훈련된 배향 신경 회로망에 대한 추가 영상을 요청하는 결과 전환기를 또한 포함하는 내비게이터.
  15. 제13항에 있어서,
    상기 신체 부분의 상기 부피 표현으로부터 진단을 하는 진단기를 또한 포함하는 내비게이터.
  16. 이동식 기기에서 실행되며, 초음파 프로브를 갖는 이동식 초음파 유닛을 위한 내비게이터로서,
    상기 프로브로부터 신체 부분의 비정준 영상을 받고 상기 비정준 영상을 표시 가능한 맵 상의 비정준 맵점에 맵핑시키며 또한 상기 비정준 영상과 관련된 다수의 정준 영상을 상기 표시 가능한 맵 상의 정준 맵점에 맵핑시키는 훈련된 맵핑 신경 회로망; 및
    상기 정준 및 비정준 맵점으로 표시된 상기 맵을 나타내는 결과 전환기를 포함하는, 이동식 초음파 유닛을 위한 내비게이터.
  17. 제16항에 있어서,
    상기 훈련된 맵핑 신경 회로망은, 상기 프로브의 움직임 변화에 의해 상기 표시 가능한 맵 상에서 작은 움직임이 생기고 영상들 사이의 거리는 맵 위치들 사이의 거리와 유사하고 또한 한 정준 영상과 다른 정준 영상 사이의 최적 경로는 곧은 일정한 속도의 궤적인 것을 보장하기 위해 손실 함수를 포함하는, 내비게이터.
  18. 제16항에 있어서,
    사용자가 상기 프로브를 상기 정준 맵점 중의 하나로 이동시킬 때 상기 프로브에 의해 생성된 최종 영상으로부터 진단을 하는 진단기를 또한 포함하는 내비게이터.
  19. 이동식 기기에서 실행되며, 초음파 프로브를 갖는 이동식 초음파 유닛을 위한 다운로딩 가능한 내비게이터로서,
    시간에 따라 상기 프로브로부터 영상을 받고 또한 영상 세트를 생성하는 세트 생성기;
    충분한 세트가 언제 생성되었는지를 결정하는 충분성 검사기; 및
    신체 부분 주기 동안에 상기 신체 부분의 변화를 보여주는 일 세트의 간략한 주기적인 정준 영상을 생성하는 주기적인 정준 뷰 신경 회로망을 포함하는, 이동식 초음파 유닛을 위한 다운로딩 가능한 내비게이터.
  20. 제19항에 있어서,
    상기 주기적인 정준 뷰 신경 회로망에 의해 생성된 최종 영상으로부터 진단을 하는 진단기를 또한 포함하는 내비게이터.
  21. 휴대용 컴퓨팅 기기에서 실행되는, 초음파 프로브를 갖는 이동식 초음파 유닛을 위한 방법으로서,
    훈련된 배향 신경 회로망을 사용하여, 상기 이동식 초음파 유닛으로부터 신체 부분의 비정준 영상을 받고 또한 그 비정준 영상과 관련된 변환을 생성하는 단계 - 상기 변환은 정준 영상과 관련된 위치와 회전으로부터 상기 비정준 영상과 관련된 위치와 회전으로 변환함 -; 및
    상기 변환을 상기 프로브의 사용자를 위한 배향 지시로 전환시키고 또한 상기 프로브의 위치와 회전을 변경하기 위해 상기 배향 지시를 상기 사용자에게 제공하고 나타내는 단계를 포함하는, 이동식 초음파 유닛을 위한 방법.
  22. 제21항에 있어서,
    상기 정준 영상 주위에서 찍힌 비정준 영상 및 상기 정준 영상으로부터 상기 비정준 영상과 관련된 공간내 위치와 회전으로의 변환과 함께 상기 정준 영상을 사용하여, 상기 배향 신경 회로망을 훈련시키는 단계를 포함하는 방법.
  23. 제22항에 있어서,
    상기 훈련은, 훈련 기간 중에 훈련 프로브에 장착되어 있는 IMU(관성 측정 유닛)로부터 IMU 데이타를 받는 것을 포함하고, 상기 IMU 데이타는 상기 비정준 영상 및 정준 영상과 관련된 상기 위치와 회전을 제공하며, 상기 훈련은 또한 상기 위치와 회전을, 상기 정준 영상과 관련된 상기 위치와 회전으로부터 상기 비정준 영상과 관련된 상기 위치와 회전으로의 변환으로 전환시키는 것을 포함하는, 방법.
  24. 제22항에 있어서,
    상기 훈련된 맵핑 신경 회로망은, 상기 프로브의 움직임 변화에 의해 상기 표시 가능한 맵 상에서 작은 움직임이 생기고 영상들 사이의 거리는 맵 위치들 사이의 거리와 유사하고 또한 한 정준 영상과 다른 정준 영상 사이의 최적 경로는 곧은 일정한 속도의 궤적인 것을 보장하기 위해 손실 함수를 포함하는, 방법.
  25. 제24항에 있어서,
    상기 손실 함수는 상기 계산된 변환을 복수의 상이한 정준 배향 중의 하나에 구속시키는 확률을 추가로 포함하는, 방법.
  26. 제21항에 있어서,
    상기 정준 영상은 복수의 정준 영상 중의 하나인, 방법.
  27. 제21항에 있어서,
    상기 정준 영상을 볼 때 상기 프로브에 의해 생성된 최종 영상으로부터 진단하는 단계를 또한 포함하는 방법.
  28. 제21항에 있어서,
    상기 휴대용 컴퓨팅 기기는 스마트폰, 태블릿, 랩탑, 개인 컴퓨터 및 스마트 기기 중의 하나인, 방법.
  29. 제21항에 있어서,
    상기 프로브로부터의 영상에 응답하여 상기 훈련된 배향 신경 회로망으로부터 다수의 변환을 받고 또한 영상 세트 및 그의 관련된 변환을 생성하는 단계;
    충분한 세트가 언제 생성되었는지를 결정하는 단계; 및
    훈련된 주기적인 정준 뷰 신경 회로망을 사용하여, 신체 부분 주기 동안에 상기 신체 부분의 변화를 보여주는 일 세트의 간략한 주기적인 정준 영상을 생성하는 단계를 또한 포함하는 방법.
  30. 제29항에 있어서,
    상기 신체 주기 내의 각 점에서 상기 영상 세트, 그의 관련된 변환 및 그의 관련된 간략한 주기적인 정준 영상으로, 훈련되지 않은 주기적인 정준 뷰 신경 회로망을 훈련시키는 단계를 또한 포함하는 방법.
  31. 제29항에 있어서,
    상기 신체 부분 주기는 심장 주기인, 방법.
  32. 제29항에 있어서,
    각 세트는 단일 요소를 가지고 있는, 방법.
  33. 휴대용 컴퓨팅 기기에서 실행되는, 초음파 프로브를 갖는 이동식 초음파 유닛을 위한 방법으로서,
    훈련된 배향 신경 회로망을 사용하여, 신체 부분 주위에서 찍힌 다수의 초음파 영상에 대한 배향 정보를 제공하는 단계 - 상기 배향 정보는 상기 신체 부분의 정준 뷰에 대해 상기 영상을 배향시킴 -; 및
    상기 영상을 상기 배향 정보에 따라 배향시키고 단층 촬영 재구성을 사용하여 상기 배향된 영상으로부터 상기 신체 부분의 부피 표현을 생성하며 또한 이 부피 표현으로부터 상기 정준 뷰의 정준 영상을 생성하는 단계를 포함하는, 이동식 초음파 유닛을 위한 방법.
  34. 제33항에 있어서,
    상기 프로브로부터의 영상에 응답하여 상기 훈련된 배향 신경 회로망으로부터 배향을 받고 또한 충분한 영상이 언제 받아들여 졌는지를 결정하는 단계; 및
    배향을 받은 것에 응답하여 상기 훈련된 배향 신경 회로망에 대한 추가 영상을 요청하는 단계를 또한 포함하는 방법.
  35. 제33항에 있어서,
    상기 신체 부분의 상기 부피 표현으로부터 진단을 하는 단계를 또한 포함하는 방법.
  36. 이동식 기기에서 실행되는, 초음파 프로브를 갖는 이동식 초음파 유닛을 위한 방법으로서,
    훈련된 맵핑 신경 회로망을 사용하여, 상기 프로브로부터 신체 부분의 비정준 영상을 받고 상기 비정준 영상을 표시 가능한 맵 상의 비정준 맵점에 맵핑시키며 또한 상기 비정준 영상과 관련된 다수의 정준 영상을 상기 표시 가능한 맵 상의 정준 맵점에 맵핑시키는 단계; 및
    상기 정준 및 비정준 맵점으로 표시된 상기 맵을 나타내는 단계를 포함하는, 이동식 초음파 유닛을 위한 방법.
  37. 제36항에 있어서,
    상기 훈련된 맵핑 신경 회로망은, 상기 프로브의 움직임 변화에 의해 상기 표시 가능한 맵 상에서 작은 움직임이 생기고 영상들 사이의 거리가 곧은 일정한 속도의 궤적과 유사한 것을 보장하기 위해 손실 함수를 포함하는, 방법.
  38. 제36항에 있어서,
    사용자가 상기 프로브를 상기 정준 맵점 중의 하나로 이동시킬 때 상기 프로브에 의해 생성된 최종 영상으로부터 진단을 하는 단계를 또한 포함하는 방법.
  39. 이동식 기기에서 실행되는, 초음파 프로브를 갖는 이동식 초음파 유닛을 위한 방법으로서,
    시간에 따라 상기 프로브로부터 영상을 받고 또한 영상 세트를 생성하는 단계;
    충분한 세트가 언제 생성되었는지를 결정하는 단계; 및
    주기적인 정준 뷰 신경 회로망을 통해, 신체 부분 주기 동안에 상기 신체 부분의 변화를 보여주는 일 세트의 간략한 주기적인 정준 영상을 생성하는 단계를 포함하는, 이동식 초음파 유닛을 위한 방법.
  40. 제39항에 있어서,
    상기 주기적인 정준 뷰 신경 회로망에 의해 생성된 최종 영상으로부터 진단을 하는 단계를 또한 포함하는 방법.
KR1020207036119A 2018-05-15 2019-05-15 초음파 영상 촬영을 안내하기 위한 시스템 및 방법 KR20210011005A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862671692P 2018-05-15 2018-05-15
US62/671,692 2018-05-15
PCT/US2019/032368 WO2019222317A1 (en) 2018-05-15 2019-05-15 System and method for orientating capture of ultrasound images

Publications (1)

Publication Number Publication Date
KR20210011005A true KR20210011005A (ko) 2021-01-29

Family

ID=68533844

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207036119A KR20210011005A (ko) 2018-05-15 2019-05-15 초음파 영상 촬영을 안내하기 위한 시스템 및 방법

Country Status (13)

Country Link
US (2) US11593638B2 (ko)
EP (2) EP4218596A1 (ko)
JP (1) JP7445243B2 (ko)
KR (1) KR20210011005A (ko)
CN (1) CN112399828A (ko)
AU (1) AU2019268319A1 (ko)
CA (1) CA3099568A1 (ko)
DK (1) DK3793447T3 (ko)
ES (1) ES2938515T3 (ko)
FI (1) FI3793447T3 (ko)
IL (2) IL278468B2 (ko)
PL (1) PL3793447T3 (ko)
WO (1) WO2019222317A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113116386B (zh) * 2019-12-31 2023-08-04 无锡祥生医疗科技股份有限公司 超声成像引导方法、超声设备及存储介质
KR20210099967A (ko) * 2020-02-05 2021-08-13 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작 방법
CN113496442A (zh) * 2020-03-19 2021-10-12 荷盛崧钜智财顾问股份有限公司 图表征产生系统,图表征产生方法与其图表征智能模块
CN111643116B (zh) * 2020-07-03 2023-03-31 吉林大学 一种仿生智能超声检查体位变换装置
CN113274051B (zh) * 2021-04-30 2023-02-21 中国医学科学院北京协和医院 超声辅助扫查方法、装置、电子设备和存储介质
US20230200778A1 (en) * 2021-12-27 2023-06-29 GE Precision Healthcare LLC Medical imaging method
CN116152610B (zh) * 2023-04-04 2023-06-23 北京智源人工智能研究院 智能心脏超声探头位姿预估模型训练方法及位姿预估方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9025431D0 (en) 1990-11-22 1991-01-09 Advanced Tech Lab Three dimensional ultrasonic imaging
US7092749B2 (en) 2003-06-11 2006-08-15 Siemens Medical Solutions Usa, Inc. System and method for adapting the behavior of a diagnostic medical ultrasound system based on anatomic features present in ultrasound images
JP4263579B2 (ja) 2003-10-22 2009-05-13 アロカ株式会社 超音波診断装置
US7648460B2 (en) 2005-08-31 2010-01-19 Siemens Medical Solutions Usa, Inc. Medical diagnostic imaging optimization based on anatomy recognition
US7912258B2 (en) * 2005-09-27 2011-03-22 Vanderbilt University Method and apparatus for standardizing ultrasonography training using image to physical space registration of tomographic volumes from tracked ultrasound
DE102006008501B3 (de) 2006-02-23 2007-10-25 Albert-Ludwigs-Universität Freiburg Sonde und Verfahren zur Datenübertragung zwischen einem Gehirn und einer Datenverarbeitungsvorrichtung
RU2009102657A (ru) 2006-06-28 2010-08-10 Конинклейке Филипс Электроникс Н.В. (Nl) Сегментация изображения на основе модели с переменным разрешением
US7565262B2 (en) 2006-10-05 2009-07-21 Siemens Corporate Research, Inc. Bayesian sensor estimation for machine condition monitoring
US20120065510A1 (en) 2010-09-09 2012-03-15 General Electric Company Ultrasound system and method for calculating quality-of-fit
CA2827589C (en) 2011-02-18 2019-07-09 DePuy Synthes Products, LLC Tool with integrated navigation and guidance system and related apparatus and methods
KR101286222B1 (ko) * 2011-09-19 2013-07-15 삼성메디슨 주식회사 영상을 처리하는 방법, 장치, 초음파 진단장치 및 의료영상시스템
CA2851839C (en) * 2011-10-17 2020-09-15 Butterfly Network, Inc. Transmissive imaging and related apparatus and methods
US11109835B2 (en) * 2011-12-18 2021-09-07 Metritrack Llc Three dimensional mapping display system for diagnostic ultrasound machines
US9208432B2 (en) 2012-06-01 2015-12-08 Brain Corporation Neural network learning and collaboration apparatus and methods
GB2507987A (en) 2012-11-15 2014-05-21 Imp Innovations Ltd Method of automatically processing an ultrasound image
JP6271579B2 (ja) 2012-12-21 2018-01-31 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ポイントオブケア用の解剖学的にインテリジェントな超音波心臓検査
WO2014162232A1 (en) * 2013-04-03 2014-10-09 Koninklijke Philips N.V. 3d ultrasound imaging system
WO2014207642A1 (en) 2013-06-28 2014-12-31 Koninklijke Philips N.V. Ultrasound acquisition feedback guidance to a target view
US9730675B2 (en) * 2014-01-27 2017-08-15 Koninklijke Philips N.V. Ultrasound imaging system and an ultrasound imaging method
JP6479039B2 (ja) 2014-03-31 2019-03-06 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 超音波画像取得に対する触覚フィードバック
JP5939601B1 (ja) * 2015-03-12 2016-06-22 学校法人早稲田大学 超音波プローブの位置姿勢提示システム、画像生成装置及びそのプログラム
US10183130B2 (en) 2015-04-29 2019-01-22 Carefusion 303, Inc. Measuring valve health by pressure monitoring
JP6714019B2 (ja) * 2015-05-07 2020-06-24 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 医療手順における動き補償のためのシステム及び方法
US9773196B2 (en) 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
US10964424B2 (en) * 2016-03-09 2021-03-30 EchoNous, Inc. Ultrasound image recognition systems and methods utilizing an artificial intelligence network
JP2017167582A (ja) 2016-03-14 2017-09-21 富士通株式会社 演算処理装置、情報処理装置、及び演算処理装置の制御方法
WO2017182417A1 (en) 2016-04-19 2017-10-26 Koninklijke Philips N.V. Ultrasound imaging probe positioning
CN108882917A (zh) * 2016-05-30 2018-11-23 深圳迈瑞生物医疗电子股份有限公司 一种心脏容积识别分析系统和方法
FR3059541B1 (fr) 2016-12-07 2021-05-07 Bay Labs Inc Navigation guidee d'une sonde ultrason
CN110461240A (zh) 2017-01-19 2019-11-15 纽约大学 用于超声分析的系统、方法和计算机可访问介质

Also Published As

Publication number Publication date
CN112399828A (zh) 2021-02-23
DK3793447T3 (da) 2023-02-27
ES2938515T3 (es) 2023-04-12
EP4218596A1 (en) 2023-08-02
US11593638B2 (en) 2023-02-28
PL3793447T3 (pl) 2023-06-26
EP3793447B1 (en) 2023-01-18
US20230206065A1 (en) 2023-06-29
EP3793447A4 (en) 2021-11-10
JP7445243B2 (ja) 2024-03-07
IL305425A (en) 2023-10-01
AU2019268319A1 (en) 2020-12-24
EP3793447A1 (en) 2021-03-24
WO2019222317A1 (en) 2019-11-21
EP4218596A8 (en) 2023-09-27
JP2021522956A (ja) 2021-09-02
IL278468B1 (en) 2023-09-01
US20190354856A1 (en) 2019-11-21
CA3099568A1 (en) 2019-11-21
IL278468B2 (en) 2024-01-01
IL278468A (ko) 2020-12-31
FI3793447T3 (fi) 2023-03-18

Similar Documents

Publication Publication Date Title
JP7445243B2 (ja) 超音速画像のキャプチャを方向付けるシステムおよび方法
KR102014355B1 (ko) 수술도구의 위치 정보 산출 방법 및 장치
CN109077752B (zh) 移动机器臂
JP7277967B2 (ja) 超音波画像データの三次元撮像およびモデリング
US9554772B2 (en) Non-invasive imager for medical applications
CN113260313A (zh) 用于超声数据收集的方法和装置
US10685451B2 (en) Method and apparatus for image registration
US20200069291A1 (en) Methods and apparatuses for collection of ultrasound data
CN109313698A (zh) 同步的表面和内部肿瘤检测
CN113662573B (zh) 乳腺病灶定位方法、装置、计算机设备和存储介质
KR20210149112A (ko) 이미지-기반 프로브 포지셔닝
CN117279573A (zh) 机器人化成像系统
US20190388057A1 (en) System and method to guide the positioning of a physiological sensor
CN115965837A (zh) 图像重建模型训练方法、图像重建方法及相关设备
US20200138406A1 (en) System and Method for Identifying and Navigating Anatomical Objects Using Deep Learning Networks
TWM551477U (zh) 一種適用於人工智慧影像分析的超音波診斷裝置
JP2022516474A (ja) 外科手術中の遠隔カメラの向きに関するユーザインターフェース要素
EP3024408B1 (en) Wrong level surgery prevention
Kukuk An “optimal” k-needle placement strategy and its application to guiding transbronchial needle aspirations
JP2024515613A (ja) 医用撮像における自動計画のための仮想基準マーキング
RU2020139165A (ru) Система и способ для ориентирования захвата ультразвуковых изображений

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal