KR101907550B1 - 진단 초음파 이미징에서의 바늘 영상 향상 - Google Patents

진단 초음파 이미징에서의 바늘 영상 향상 Download PDF

Info

Publication number
KR101907550B1
KR101907550B1 KR1020140000780A KR20140000780A KR101907550B1 KR 101907550 B1 KR101907550 B1 KR 101907550B1 KR 1020140000780 A KR1020140000780 A KR 1020140000780A KR 20140000780 A KR20140000780 A KR 20140000780A KR 101907550 B1 KR101907550 B1 KR 101907550B1
Authority
KR
South Korea
Prior art keywords
needle
data
candidates
frames
ultrasound
Prior art date
Application number
KR1020140000780A
Other languages
English (en)
Other versions
KR20140088840A (ko
Inventor
펭 왕
테렌스 첸
앨리 카멘
제프리 스톨
도린 코마니치우
사라 굿
Original Assignee
지멘스 코포레이션
지멘스 메디컬 솔루션즈 유에스에이, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 코포레이션, 지멘스 메디컬 솔루션즈 유에스에이, 인크. filed Critical 지멘스 코포레이션
Publication of KR20140088840A publication Critical patent/KR20140088840A/ko
Application granted granted Critical
Publication of KR101907550B1 publication Critical patent/KR101907550B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/04—Supports for telephone transmitters or receivers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

바늘이 의료 진단 초음파 이미지에서 영상이 향상된다. 이미지 내 바늘과 연관된 이미지 강도들은 복수의 초음파 이미지들로부터의 합성에 의해 적응적으로 증가되고 및/또는 향상된다. 필터링 방법들 및 확률론적 방법들이 가능한 바늘 위치들을 위치파악하기 위해 이용된다. 일 접근방식에서, 가능한 바늘들은, 동일한 시간에서 그러나 상이한 빔 배향들에서 포착되는 컴포넌트 프레임들 내에서 발견된다. 가능한 바늘들은 컴포넌트 프레임들에 걸쳐 서로 연관되고, 그리고 연관들에 기초하여 오검출들이 제거된다. 초음파 컴포넌트 프레임 내에서의 바늘 검출의 일 실시예에서, 라인들이 첫 번째로 발견된다. 그 다음으로, 라인들은, 가능한 바늘 세그먼트들을 발견하기 위해 탐색된다. 다른 실시예에서, 상이한 시간들로부터의 데이터는, 바늘 모션 및 레퍼런스로부터의 차이들을 발견하기 위해 이용될 수 있어서, 바늘 검출을 위해 단일 컴포넌트 프레임으로부터의 피처들에 부가하여 피처들을 제공한다.

Description

진단 초음파 이미징에서의 바늘 영상 향상 {NEEDLE ENHANCEMENT IN DIAGNOSTIC ULTRASOUND IMAGING}
본 실시예들은 초음파 이미지들에서 바늘(needle)의 위치를 식별하는 것에 관한 것이다.
생체 검사(biopsy), 약물 투여, 또는 다른 의료 프로시저 동안, 바늘들이 환자 내로 삽입된다. 임상의(clinician)들은, 치료되고 있는 것이 아닌 장기(organ)들을 뚫는 것(piercing)을 회피하고, 정확도를 개선하고, 및/또는 결과(outcome)를 개선하기 위한 안내(guidance)를 위해 초음파 이미지들을 종종 이용한다. 초음파 이미지에서의 노이즈로 인해, 확실하게 바늘을 보는 것이 어려울 수 있다. 바늘의 가시성은 바늘 배향과 초음파 빔 배향 사이의 각도에 따른다. 초음파 빔이 바늘 배향에 수직할 때, 바늘 반사가 최대화된다. 바늘 및 초음파 프로브(probe) 위치들이 아나토미(anatomy)에 의해 좌우되어서, 수직 스캔 어레인지먼트는, 특히 깊게 삽입된 바늘들에 대해 제공될 수 없다.
능동적으로 스티어링된(steered) 초음파 빔들이, 가시성을 증가시키기 위해 이용될 수 있다. 결과적인 스캔 데이터는, 바늘을 검출하기 위해 이용될 수 있다. 허프 변환(Hough transform)은, 라인들로서 파라미터화된 가능한 바늘들을 검출하기 위해 이용된다. 단지 하나의 바늘만이 존재한다고 가정하면, 가장 가능한 바늘이 바늘로서 검출된다. 검출된 바늘은 스티어링된 이미지로부터 잘라내지고(cropped), 그리고 그 다음으로 바늘의 가시성을 향상시키기 위해 선택된 뷰에서 초음파 이미지와 함께 평균된다. 그러나, 허프 변환은 초음파 이미지들에서 노이즈가 발생하기 쉽다.
센서들, 이를 테면 전자기 또는 자기 센서들이 바늘에 접속될 수 있다. 센서들은 바늘의 위치를 추적하기 위해 이용된다. 위치는 임상의에게 강조될 수 있다. 그러나, 부가적인 센서들은 비용들을 증가시키고, 규칙적인 캘리브레이션을 요구하고, 그리고 기존의 임상 작업흐름을 변화시킬 수 있다.
서론으로, 아래에서 기술되는 바람직한 실시예들은, 의료 진단 초음파 이미지에서 바늘 영상을 향상시키기 위한 방법들, 시스템들, 명령들, 및 컴퓨터 판독가능 매체들을 포함한다. 이미지 내 바늘과 연관된 이미지 강도(intensity)들은 복수의 초음파 이미지들로부터의 합성(compounding)에 의해 적응적으로 증가되고 및/또는 향상된다. 필터링 방법들 및 확률론적(probabilistic) 방법들이, 가능한 바늘 위치들을 위치파악하기 위해 이용된다. 일 접근방식에서, 가능한 바늘들은, 동일한 시간에서 그러나 상이한 빔 배향들에서 포착되는 컴포넌트 프레임들 내에서 발견된다. 가능한 바늘들은 컴포넌트 프레임들에 걸쳐 서로 연관되고, 그리고 연관들에 기초하여 오검출(false detection)들이 제거된다. 초음파 컴포넌트 프레임 내에서의 바늘 검출의 일 실시예에서, 라인들이 첫 번째로 발견된다. 그 다음으로, 라인들은, 가능한 바늘 세그먼트들을 발견하기 위해 탐색된다. 다른 실시예에서, 상이한 시간들로부터의 데이터는, 바늘 모션(motion) 및 레퍼런스로부터의 차이들을 발견하기 위해 이용될 수 있어서, 바늘 검출을 위해 단일 컴포넌트 프레임으로부터의 피처들에 부가하여 피처들을 제공한다.
제 1 양상에서, 의료 진단 초음파 이미지들에서 바늘 영상을 향상시키기 위한 방법이 제공된다. 데이터의 복수의 초음파 프레임들이 각각 상이한 빔 배향들로 포착된다. 복수의 초음파 프레임들은 환자 및 환자 내의 바늘을 표시한다. 바늘 후보들은 데이터의 복수의 초음파 프레임들에서 검출된다. 데이터의 하나의 초음파 프레임 내의 바늘 후보들은 데이터의 다른 초음파 프레임 내의 다른 바늘 후보들과 연관된다. 데이터의 복수의 프레임들 내의 바늘 후보들 중 몇몇은 연관에 기초하여 제거된다. 환자 및 바늘의 이미지가 디스플레이된다. 디스플레이된 바늘은, 연관된 바늘의 위치들에서의 데이터의 복수의 초음파 프레임들로부터의 가중된 합성의 함수이다.
제 2 양상에서, 비-일시적 컴퓨터 판독가능 저장 매체는, 의료 진단 초음파 이미지들에서 바늘 영상을 향상시키기 위한 프로그래밍된 프로세서에 의해 실행가능한 명령들을 표시하는, 그 내부에 저장된 데이터를 갖는다. 저장 매체는, 상이한 이미지들에 대한 초음파 데이터에 의해 표시되는 복수의 가능한 바늘들 각각에 대한 제 1 확률을 계산하고, 상이한 이미지들에 걸쳐 가능한 바늘들의 각각의 조합에 대한 제 2 확률을 결정하고 ― 상기 제 2 확률은 제 1 확률들 및 변위 페널티부과(penalization)의 함수임 ―, 조합들을 제거하고 ― 상기 제 2 확률은 임계치 아래임 ― , 그리고 바늘에 대한 위치들에서의 초음파 데이터의 가중된 합성으로부터 이미지를 발생시키기 ― 가중은 조합들 중 남은 하나에 대한 제 2 확률의 함수임 ― 위한 명령들을 포함한다.
제 3 양상에서, 의료 진단 초음파 이미지에서 바늘 영상을 향상시키기 위한 시스템이 제공된다. 메모리는 환자의, 상이한 시간들에서의 구역 및 상기 구역 내 바늘을 표시하는 데이터를 저장하도록 동작가능하다. 프로세서는, 상이한 시간들 중 제 1 시간에서의 구역을 표시하는 데이터에서 라인 후보들을 식별하고, 픽셀들에 기초하여 라인 후보들을 스코어링하고, 후보 세그먼트들에 대해 임계치 초과의 스코어를 갖는 라인 후보들을 탐색하고, 상이한 시간들에 걸쳐서의 모션에 기초하여 그리고 레퍼런스 데이터로부터의 차이에 기초하여 후보 세그먼트들을 스코어링하고, 그리고 후보 세그먼트들 중 하나 또는 그 초과를 따라 데이터의 강도들을 증가시키도록 구성된다. 디스플레이는 증가된 강도들의 함수로써 이미지를 디스플레이하도록 동작가능하다.
본 발명은 아래의 청구항들에 의해 규정되고, 그리고 본 섹션 내의 어떠한 것도 그러한 청구항들에 대한 제한으로서 취해지지 않아야 한다. 본 발명의 추가의 양상들 및 이점들은 바람직한 실시예들과 함께 아래에서 논의되고, 그리고 후에 독립적으로 또는 조합하여 청구될 수 있다.
컴포넌트들 및 도면들은 반드시 축척에 맞지 않으며, 대신에 본 발명의 원리들을 예시할 때 강조가 이루어진다. 더욱이, 도면들에서, 같은 도면 번호들은 상이한 도면들에 걸쳐 대응하는 부분들을 지시한다.
도 1은 의료 진단 초음파 이미지들에서 바늘 영상을 검출 및 향상시키기 위한 방법의 일 실시예의 흐름도이고;
도 2는 의료 진단 초음파 이미지에서 바늘 영상을 향상시키기 위한 시스템의 일 실시예의 블록도이고;
도 3은 환자 내 바늘의 그래픽적 표시이고; 그리고
도 4는 의료 진단 초음파 이미지에서 바늘을 검출하기 위한 방법의 일 실시예의 흐름도이다.
프리핸드(freehand) 또는 다른 초음파 프로브에 의해 포착된 초음파 이미지들에서 바늘들 또는 다른 라인 구조의 가시성이 향상된다. 바늘은 초음파 데이터로부터 위치파악되고, 그리고 초음파 이미징을 위해 영상이 향상된다. 각각의 주어진 이미지 내에서 단일 위치를 초기에 식별하도록 시도하기보다는, 가능한 위치들의 세트들이 하나 또는 그 초과의 이미지들 내에서 식별된다. 각각의 주어진 이미지 내에서 바늘 위치를 더욱 정확하게 식별하기 위해, 상이한 이미지들로부터의 가능한 위치들이 이용된다. 복수의 가능한 위치들을 이용함으로써, 더욱 정확한 검출이 제공될 수 있다. 다수의 후보들로부터 최상의(best) 가능한 위치가 선택된다.
생체 검사 바늘들이 예들로서 이용된다. 접근방식들은 바늘들로 한정되는 것이 아니고, 라인 구조들을 갖는 임의의 유형들의 디바이스들에 적용될 수 있다.
일 실시예에서, 상이한 빔 배향들로 포착된 스티어링된 초음파 이미지들 내에서 하나 또는 그 초과의 바늘들이 검출된다. 다수의 스티어링된 이미지들 내에서 위치 및 배향을 추정하기 위해, 스티어링가능(steerable) 필터링 피처들 및 헤시안(Hessian) 피처들이 이용된다. 바늘 후보들은, 각각의 포착된 스티어링된 초음파 이미지에서 검출된다. 바늘 후보들 간의 연관들은 상이한 스티어링된 이미지들에 걸쳐 확립된다. 연관된 바늘 후보들은, 상이한 이미지들 내에서 동일한 바늘에 대응하는 것으로 가정된다. 바늘 후보 연관들에 기초하여 오검출들이 제거되고 그리고 미싱(missing) 검출들이 복구된다. 바늘 검출 결과들은, 다수의 스티어링된 이미지들을 합성함으로써 또는 하나의 초음파 이미지 내에서 가시성을 향상시킴으로써 바늘 가시성을 향상시키기 위해 이용된다. 초음파 이미징 파라미터들은 바늘 검출 결과들에 의해 자동적으로 조정될 수 있다.
바늘 검출의 일 실시예에서, 하나 또는 그 초과의 바늘들은 계층적 검출 프레임워크에서의 초음파 이미지들 내에 로컬라이징된다. 라인 후보들이 첫 번째로 검출된다. 라인 후보들은 타겟 바늘들을 포함하고, 그리고 라인들과 유사해 보이는 다른 구조들을 또한 포함할 수 있다. 다수의 필터링 결과들은, 단일 초음파 이미지 내에서 라인 구조들을 갖는 디바이스들을 검출하기 위해 융합(fuse)된다. 그 다음으로, 라인 후보들을 따라, 타겟 디바이스를 표시하는 라인 세그먼트에 대한 탐색이 수행된다. 계층적 라인-세그먼트 검출 프레임워크는 계산적인 효율성을 제공할 수 있다.
어느 실시예에서도, 다수의 초음파 이미지들로부터의 바늘 검출들은 바늘 검출 정확성을 개선할 수 있다. 동일한 이미지 내 다수의 바늘들 영상이 검출 및 향상될 수 있다. 바늘 검출은 프리핸드 초음파 프로브들을 이용하여 수행될 수 있다.
도 1은 의료 진단 초음파 이미지에서 바늘 영상을 검출 및 향상시키기 위한 방법의 일 실시예를 도시한다. 방법은 도 2의 시스템 또는 상이한 시스템에 의해 수행된다. 방법은 도시된 순서로 또는 상이한 순서로 수행된다. 예를 들어, 동작(36)은 동작(34) 전에 수행된다. 부가적인, 상이한, 또는 더 적은 동작들이 제공될 수 있다. 예를 들어, 동작(40)은 제공되지 않는다. 다른 예로서, 바늘은 동작(38)의 가중된 합성 없이 영상이 향상된다. 또 다른 예에서, 방법은, 스티어링된 공간 합성(steered spatial compounding)을 위해서보다는 시간적으로(temporally) 필터링될 이미지들의 시퀀스를 위해 제공된다.
동작(30)에서, 초음파 데이터가 포착된다. 초음파 데이터는 2차원 또는 3차원으로 스캐닝함으로써 (예를 들어, 평면 또는 볼륨 스캐닝) 포착된다. 초음파 데이터는 환자의 구역을 표시한다. 상기 구역은 환자 내로 유입되는 바늘 또는 다른 선형 구조를 포함한다. 상기 구역을 스캐닝함으로써, 부분적인 또는 전체적인 바늘이 또한 스캐닝된다.
초음파 데이터는 데이터의 프레임으로서 포착된다. 프레임은 주어진 시간에서의 환자의 전체적인 스캔 구역, 평면 구역, 또는 볼륨 구역을 표시한다. 스캐닝을 반복함으로써, 상이한 시간들에서 동일한 구역을 표시하는 데이터의 프레임들이 포착된다. 프레임들과는 다른 그룹핑들이 이용될 수 있다.
스티어링된 공간 합성을 위해, 데이터의 컴포넌트 프레임들이 포착된다. 데이터의 컴포넌트 프레임들은 상이한 공간 응답을 갖는다. 데이터의 컴포넌트 프레임들은 전기적으로, 기계적으로, 또는 트랜스듀서의 공간적인 포지셔닝에 의해 스티어링된다. 데이터의 스티어링된 컴포넌트 프레임들 중 각각 또는 다수가, 상이한 스티어링 각도들에서 포착된다. 데이터의 컴포넌트 프레임들 각각은 실질적으로, 이를 테면 의도적인 요동(wobbling)과 함께 또는 의도적인 요동 없이 동일한 위치에 트랜스듀서를 유지함으로써, 타겟의 구역의 동일한 공간적인 범위에 걸친다. 데이터의 컴포넌트 프레임들의 각각에 대한 스캐닝된 구역의 대부분, 90% 초과, 또는 거의 전체는 다른 컴포넌트 프레임들의 스캐닝된 구역들과 오버랩한다.
데이터의 컴포넌트 프레임들 중 하나는, 데이터의 컴포넌트 프레임들 중 다른 것보다 스캐닝된 구역 내 적어도 하나의 위치에 관하여 적어도 하나의 상이한 스캔 라인 각도에 응답한다. 환자 내의 적어도 몇몇 위치들에 있어서, 상이한 컴포넌트 프레임들로부터의 교차하는 스캔 라인들은 상이한 각도들에서 적어도, 컴포넌트 프레임들 중 2개의 컴포넌트 프레임들에 대한 것이다. 위치를 상이한 방향들로부터 스캐닝하는 것은 상이한 공간 응답을 제공한다.
대안적인 실시예들에서, 트랜스듀서는, 데이터의 순차적인 프레임들의 포착 동안 이동되고, 이를 테면 연장된 시야(field of view) 이미징과 연관된다. 비-선형 스캔 패턴들이 이용되는 경우, 트랜스듀서가 병진될뿐만 아니라 회전되는 경우, 또는 다수의 트랜스듀서들이 타겟 이미지들을 포착하기 위해 공간적으로 포지셔닝되는 경우, 데이터의 상이한 컴포넌트 프레임들이 상이한 각도들로부터 오버랩핑 구역들을 표시할 수 있어서, 상이한 공간 응답이 제공된다. 오버랩핑 구역들에 대한 데이터를 조합함으로써, 스티어링된 합성이 제공된다.
동일한 또는 상이한 구역들을 표시하는 데이터의 둘 또는 그 초과의 프레임들이 포착된다. 예를 들어, 데이터의 3개의 컴포넌트 프레임들의 스캔 라인들은 동일한 포맷을 갖지만, 상이한 오버랩핑 구역을 스캔한다. 스캔 라인들은, 선형, 커브형 선형, 섹터 커브형 섹터, Vector®, 커브형 Vector®, 및 이들의 조합들과 같은 임의의 포맷으로 포착될 수 있다. 예를 들어, 선형 트랜스듀서를 이용하여 포착된 스캔 라인들은, 각각, 데이터의 3개의 컴포넌트 프레임들에 대해 선형 또는 일반적으로 직사각형 또는 평행사변형 스캔 포맷으로 3개의 상이한 각도들(예를 들어, +/- 10° 및 직각(normal))에서 스티어링된다.
데이터의 하나의 컴포넌트 프레임에 있어서, 스캔 라인들은 트랜스듀서 상의 상이한 위치들에서 비롯되지만, 둘 또는 그 초과의 스캔 라인들은 동일한 위치로부터 비롯될 수 있다. 선형 포맷을 이용시, 스캔 라인들은 병렬이고, 그리고 트랜스듀서 상에서 기원(origin)들을 갖는 스캔 라인들의 교차점들과 관련하여 동일한 방향이다. 각각의 컴포넌트 프레임의 스캔 라인들의 대부분은 동일한 방향으로 연장된다. 다른 예로서, 트랜스듀서의 정면(face)로부터의 상이한 각도들은, 섹터 또는 Vector® 포맷들에 대해 트랜스듀서(14) 상의 또는 뒤(behind)의 스캔 라인 정점(apex) 위치를 따라 스캐닝함으로써 제공된다. 트랜스듀서 표면을 따르는 스캔 라인 밀도는 균일하거나 또는 스캔 라인 위치의 함수로서 변화한다. 스캔 라인 밀도는, 데이터의 다른 프레임과 비교하여 데이터의 하나의 프레임에 대해 상이할 수 있고, 이를 테면 상이한 균일 밀도들을 갖거나 또는 밀도의 변동들에 있어서 차이들을 갖는다.
데이터의 컴포넌트 프레임들 각각은 상이한 스티어링 각도들 또는 공간 응답에 대응한다. 예를 들어, 스캔 라인들의 대부분은 제 1 방향, 이를 테면 데이터의 하나의 컴포넌트 프레임에 대해 트랜스듀서로부터 10° 좌측으로 연장된다. 스캔 라인들의 대부분은, 데이터의 다른 컴포넌트 프레임에 대해 트랜스듀서로부터 10° 우측 각도로 연장된다. 스캔 라인들 대부분은, 데이터의 제 3 컴포넌트 프레임에 대해 트랜스듀서에 직각이다. 플러스 또는 마이너스 10° 및 0 이외의 상이한 스티어링 각도들이, 2개, 3개, 4개 또는 그 초과의 컴포넌트 프레임들과 함께 이용될 수 있다.
데이터의 프레임은 시야(filed of view) 또는 스캐닝된 구역을 표시하는 샘플들을 포함한다. 초음파 데이터는, 검출 이전에 빔형성된 데이터, 스캔 컨버전(예를 들어, B-모드, 흐름-모드, 속도(velocity), 에너지, 또는 변화(variance)) 이전에 검출된 데이터, 스캔 컨버전 이후의 데이터, 또는 이미지로서 디스플레이된 데이터이다. 초음파 데이터는 디스플레이를 위한 이미지 데이터이지만, 이미지 데이터는 이미지를 발생시키기 위해 포착된 데이터일 수 있다. 용어 픽셀 및 이미지는, 실제로 디스플레이된 이미지를 지칭하기 위해, 또는 디스플레이를 발생시키기 위한 데이터의 프레임 및 위치들을 지칭하기 위해 이용될 수 있다.
동작(32)에서, 초음파 데이터의 프레임들은 하나 또는 그 초과의 바늘들을 검출하기 위해 이용된다. 바늘들은, 첫 번째로, 스티어링가능 필터를 데이터의 프레임들에 적용함으로써, 그리고 그 다음으로 학습 기반 검출기를 이용하여 필터링 결과들을 불필요부분제거(pruning)함으로써 검출된다.
바늘 후보들은 데이터의 다수의 프레임들에서 검출된다. 예를 들어, 하나 또는 그 초과의 바늘 후보들은, 스티어링된 공간 합성에 대한 복수의 컴포넌트 프레임들 각각에서 검출된다. 바늘 후보들은 대안적으로, 데이터의 프레임들의 시퀀스 각각에서 검출될 수 있다.
데이터의 각각의 프레임에 대한 검출들은 데이터의 다른 프레임들에 대한 검출들과 독립적일 수 있다. 프레임 내 후보 바늘의 초기 검출은, 다른 프레임 내 후보 바늘의 검출에 의존하지 않는다. 대안적인 실시예들에서, 다수의 프레임들에서의 바늘 후보의 공동(joint) 검출이 제공된다.
라인 구조의 임의의 검출이 이용될 수 있다. 바늘은, 그레이 스케일(예를 들어, B-모드) 초음파 이미지들 또는 데이터의 프레임들에서 리지(ridge) 모델로서 표시된다. 바늘은
Figure 112018062803956-pat00001
로서 표기되고, 여기서 W 및 L은 바늘 폭 및 길이이고, K는 이미지 강도로서 표시된 바늘 반사이고, θ는 이미지 내 바늘 배향이고, 그리고 (xc, yc)는 바늘의 중심 위치이다. 바늘의 다른 파라미터화가 이용될 수 있다. 파라미터화된 바늘(R)은 2D 강도 함수로서 보여질 수 있다. 바늘의 검출은 데이터의 초음파 프레임들로부터 바늘 파라미터 세트
Figure 112018062803956-pat00002
를 추정하기 위한 것이다.
일 실시예에서, 스티어링가능 필터링 방법이 바늘들을 검출하기 위해 이용된다. 데이터의 프레임들은, 라인 구조들을 식별하기 위한 방향성 필터링을 이용하여 각각 필터링된다. 데이터의 컴포넌트 프레임들이 필터링된다. 스티어링가능 필터링은, 이미지 내 포인트를 지나가는 라인의 배향 및 세기(strength)의 추정을 제공한다. 다중-스케일 스티어링가능 필터링은 바늘 폭을 추정하기 위해 이용될 수 있다. 바늘들의 부분의 배향 및 세기를 추정할 수 있는 다른 필터링 방법들이 이용될 수 있다. 일 실시예에서, 헤시안 필터링이 적용된다.
스티어링가능 필터링은 3개의 배향들에서 필터들의 응답들을 계산하고, 그리고 상기 3개의 배향들로부터 임의의 다른 배향들에서 필터링 응답들을 내삽(interpolate)한다. 일 실시예에서, 필터들은 가우시안 함수들의 2차 도함수(derivative)들이다. 가우시안 함수들의 커널 크기는 바늘 폭을 피팅하기 위해 조정된다. 멀티-스케일 스티어링가능 필터링에서, 다수의 커널 크기들이 이용된다. 바늘 폭은 다수의 필터링 결과들로부터 추정될 수 있다. 다른 필터들은 스티어링가능 필터링을 위해 이용될 수 있다. 스티어링가능 필터들 내 3개의 배향들은 수평선, 수직선, 및 대각선 또는 다른 것들일 수 있다. 부가적인 배향이 필터링을 위해 이용될 수 있다.
스티어링가능 필터링의 결과들은 바늘에 속하는 포인트들의 확률들을 계산하기 위해 이용된다. 노이즈로 인해, 이미지 필터링 방법은 여전히 오검출들을 생성할 수 있다. 학습-기반 검출기는, 저품질 이미지들 내에서 리지 후보들을 추가로 식별하도록 트레이닝된다.
임의의 머신 트레이닝이 이용될 수 있다. 머신-트레이닝된 분류자(classifier)는 임의의 하나 또는 그 초과의 분류자들이다. 단일 클래스 또는 이진(binary) 분류자, 상이한 분류자들의 컬렉션, 캐스케이딩된 분류자들, 계층적 분류자, 멀티-클래스 분류자, 모델-기반 분류자, 머신 학습에 기초하는 분류자, 또는 이들의 조합들이 이용될 수 있다. 멀티-클래스 분류자들은 CART, K-최근린내삽법(nearest neighbor)들, 뉴럴 네트워크(예를 들어, 다층 구조 인식자(perceptron)), 혼합 모델들, 또는 다른 것들을 포함한다. 확률론적 부스팅 트리가 이용될 수 있다.
검출 동안, 트레이닝된 바늘 검출기는, 스티어링가능 필터링으로부터의 후보들이 실제(true) 바늘에 속하는지 또는 노이즈에 의해 생성되는지를 검증한다. 분류자는 이미지 내 각각의 포인트 X와 연관된 추정된 배향 및 확률 P(X)를 출력한다.
필터링 또는 검출기들 어느 한 측으로부터의, 실제 바늘에 속하는 포인트 후보들이 바늘을 검출하기 위해 이용된다. 일 실시예에서, 검출기는 포인트 후보들에 기초하여 바늘을 검출하기 위해 트레이닝될 수 있다. 임의의 머신 트레이닝이 이용될 수 있다. 단일 클래스 또는 이진 분류자, 상이한 분류자들의 컬렉션, 캐스케이딩된 분류자들, 계층적 분류자, 모델-기반 분류자, 머신 학습에 기초하는 분류자, 또는 이들의 조합들이 이용될 수 있다. 확률론적 부스팅 트리가 이용될 수 있다. 분류자에 대한 입력은, 데이터, 필터링 결과들, 포인트 후보들의 추정 결과들을 포함할 수 있고, 이들은 라인 후보들과 연관된다.
도 4는 의료 진단 초음파 이미지에서 바늘을 검출하기 위한 다른 방법을 도시한다. 계층적인 검출 프레임워크에서, 라인 후보들이 첫 번째로 검출된다. 라인 후보들은 바늘(24)을 포함하고, 그리고 라인들과 유사해 보이는 다른 구조들을 또한 포함할 수 있다. 그 다음으로, 바늘(24)을 표시하는 라인 세그먼트들에 대해 라인 후보들이 탐색된다. 계층적인 검출 프레임워크는 계산적인 효율성을 제공할 수 있다.
방법은 도 2의 시스템 또는 상이한 시스템에 의해 수행된다. 방법은 도시된 순서로 또는 상이한 순서로 수행된다. 부가적인, 상이한, 또는 더 적은 동작들이 제공될 수 있다. 예를 들어, 동작(62)은 제공되지 않는다. 다른 예로서, 바늘은 동작(60)의 강도들에 있어서의 증가 없이 영상이 향상된다. 스티어링된 공간 합성 및 이미지들에 걸친 연관과 같은 도 2의 방법의 양상들이 도 4의 방법에서 이용될 수 있다. 개개의 바늘 후보들을 검출하기 위한 선형-세그먼트 계층 및/또는 다수의 프레임들 내에서의 검출을 위한 레퍼런스로부터의 차이 또는 모션 히스토리의 이용과 같은 도 4의 방법의 양상들이 도 2의 방법에서 이용될 수 있다.
동작(50)에서, 초음파 데이터의 하나 또는 그 초과의 프레임들이 포착된다. 프레임들은 스티어링된 공간 합성에 대한 것이 아니다. 대신에, 프레임들은, 상이한 스티어링이 없는 시퀀스에서 바늘(24) 및 구역을 표시한다. 대안적인 실시예들에서, 프레임들은 스티어링된 공간 합성에 대한 컴포넌트 프레임들이다. 단지 단일 프레임만이 포착될 수 있다. 프레임과는 다른, 데이터의 그룹핑들이 이용될 수 있다. 동작(30)에 대해 상기 논의된 포착 중 임의의 것이 이용될 수 있다. 데이터는 스캐닝함으로써 또는 메모리로부터의 전달에 의해 포착될 수 있다.
동작(52)에서, 라인 후보들이 식별된다. 라인 후보들은 환자의 구역을 표시하는 초음파 데이터로부터 식별된다. 라인 후보들은 단일 프레임 내에서 식별된다. 다수의 프레임들 내에서의 식별을 위해, 각각의 프레임에 대해 분리된 또는 독립적인 식별이 제공된다. 대안적으로, 프레임들에 걸쳐 공동 식별이 제공된다.
라인 후보는 종단(end)-포인트들이 없는 직선이다. 라인 후보는 스캐닝된 구역의 하나의 에지로부터 다른 에지로 연장된다. 라인 후보는
Figure 112014000686100-pat00003
로서 규정되고, 여기서 θ는 라인 배향이고, 그리고 ρ는 기원으로부터 라인으로의 최단 거리이다. 도 3은 세그먼트 및 테일(tail)로 이루어진 라인을 도시한다.
일 실시예에서, 라인 후보들을 따르는 포인트들은 스티어링가능 필터링을 이용하여 식별된다. 예를 들어, 도 1에 대해 상기 논의된 스티어링가능 필터링이 이용된다. 대안적인 실시예에서, 다른 유형의 필터링이, 라인들과 연관된 데이터를 검출하기 위해 이용된다. 예를 들어, 헤시안 필터들이 적용된다. 스티어링가능 필터링 같이, 헤시안 필터는 라인 구조들을 검출하도록 설계된다. 바늘 검출을 위해 헤시안 및 스티어링가능 필터링 양측 모두를 수행하는 것과 같이, 상이한 유형들의 필터링이 조합될 수 있다.
필터링은, 라인과 연관되지 않은 데이터를 제거하도록 그리고 라인과 연관된 데이터를 남기도록 설정된다. 결과는 바늘에 대한 라인 후보들을 따르는 포인트들의 검출이다. 바늘(24)은 폭을 갖는다. 필터링, 이를 테면 커널의 크기는, 바늘(24)의 예상된 폭 및 스캐닝에 대한 스케일에 기초하여 설정될 수 있다. 대안적으로, 폭은 멀티-스케일 필터링으로부터 추론될 수 있다. 폭 정보를 이용하는 것은, 너무 넓은, 이를 테면 뼈와 연관되는 라인들의 식별들을 회피할 수 있다.
동작(54)에서, 라인 후보들이 스코어링된다. 스코어링은 라인 후보의 세기를 표시한다. 스코어는 확률, 정규화된 가중치, 또는 계산된 값일 수 있다. 스코어는 각각의 라인 후보에 대해 결정된다.
스코어는 라인을 따르는 데이터에 기초한다. 이미지 용어들에서, 스코어는 라인의 픽셀들에 기초한다. 각각의 위치로부터의 기여(contribution)는 스코어를 제공하기 위해 합산된다. 동작(52)의 필터링으로부터의 출력 또는 동작(52)의 필터링 이전의 데이터가 스코어링을 위해 이용된다.
임의의 스코어링이 이용될 수 있다. 일 실시예에서, 허프 변환이, 스티어링가능 필터링의 결과들에 적용된다. 다수의 필터들은 주어진 라인 후보에 대해 이용될 수 있다. 픽셀이 p로서 표시되는 것을 가정하면, 픽셀에 대한 필터로부터의 응답은, 매그니튜드 및 배향에 대해 각각
Figure 112014000686100-pat00004
및
Figure 112014000686100-pat00005
로서 표시된다. 후보 라인 L에 대한 i번째 필터로부터의 보팅(voting)은 C(p)이다:
Figure 112014000686100-pat00006
라인 후보의 스코어, C(L)는 라인(L)을 따르는 모든 픽셀들의 스코어들의 합계(summation)이다:
Figure 112014000686100-pat00007
보팅 스코어들은 각각의 필터에 대해 [0,1]로 정규화될 수 있다. 다수의 필터들이 이용되는 경우, 스코어들은 조합된다. 평균화(averaging)와 같은 임의의 조합이 이용될 수 있다. 가중된 평균이 이용될 수 있다. 예를 들어, 하나의 유형의 필터가 더욱 완벽한 것으로 고려될 수 있어서, 그러한 필터링으로부터의 스코어는 비교적 더 높게 가중된다. 최종적인 라인 후보 보팅 신뢰 스코어는 다음과 같이 주어질 수 있다:
Figure 112014000686100-pat00008
여기서, wi는 i번째 필터의 가중치이다.
가장 큰 신뢰 스코어들을 갖는 라인 후보들이 발견된다. 가장 큰 신뢰 스코어들에 대응하는 라인 후보들이 식별된다. 임계치가 이용되어서, 충분한 스코어를 갖는 임의의 수의 라인 후보들이 위치파악될 수 있다. 다른 실시예들에서, 상기 수는, 이를 테면 5개 또는 더 적은 수의 라인 후보들로 제한된다. 5개보다 많은 수의 라인 후보들이 임계치를 초과하는 경우, 최고의(top) 5개가 선택된다. 다른 임계치부여(thresholding) 또는 선택이 이용될 수 있다.
동작(56)에서, 세그먼트 후보들은, 선택된 라인 후보들로부터 발견된다. 하나 또는 그 초과의 세그먼트들이 각각의 라인 후보에 대해 발견된다. 일 실시예에서, 단지 하나의 세그먼트 후보만이 각각의 라인 후보에 대해 발견된다. 세그먼트는 라인의 부분이다. 세그먼트는 하나 또는 그 초과의 종단-포인트들을 갖는다. 세그먼트는
Figure 112018062803956-pat00009
로서 규정되고, 여기서
Figure 112018062803956-pat00010
는 라인 상의 세그먼트를 규정한다. 도 3은 ρ, θ에 의해 규정된 라인 상의 세그먼트(
Figure 112018062803956-pat00011
)를 도시한다. 세그먼트(
Figure 112018062803956-pat00012
)의 부분이 아닌 라인의 다른 부분은 테일이다. 세그먼트는 라인을 따르는 바늘(24)의 위치에 대응한다.
라인 후보들이 식별된 후에, 라인은, 바늘 파라미터들에 대한 세그먼트
Figure 112018062803956-pat00013
를 발견하기 위해 탐색된다. 임의의 탐색 기준들이 이용될 수 있다. 예를 들어, 라인을 따라 필터링된 결과들로부터의 강도에 있어서의 차이가 계산된다. 가능한 팁(tip) 위치는 라인을 따라 상이한 위치들에 놓이고, 그리고 라인의 각각의 측 상에서의 강도들이 합산된다. 상기 합들에서 가장 큰 차이를 갖는 위치는, 테일로부터 세그먼트를 분리하는 팁 위치를 표시한다. 다른 접근방식에서, 라인을 따라 그레디언트들이 계산된다. 다중 위치 윈도우에 걸쳐 가장 큰 그레디언트가 선택된다.
동작(58)에서, 세그먼트 후보들이 스코어링된다. 라인 후보로부터 세그먼트 후보의 식별은, 부분적으로 또는 전체적으로 스코어링에 기초할 수 있다. 예를 들어, 스코어는 라인을 따라 상이한 가능한 세그먼트들에 대해 계산된다. 가장 큰 스코어를 갖는 세그먼트가, 주어진 라인 후보에 대한 세그먼트 후보로서 선택된다.
일 실시예에서, 라인(L)을 따르는 각각의 세그먼트 후보(S)에 대해, 스코어가 다음과 같이 규정된다:
Figure 112014000686100-pat00014
여기서, T는 라인(L)을 따르는 세그먼트(S) 외부의 테일 부분이다. 각각의 후보 라인에 대해, 가장 큰 스코어를 갖는 후보 세그먼트가 선택된다.
단일 바늘을 위치파악하기 위해, 가장 큰 스코어를 갖는 모든 라인 후보들 간의 세그먼트 후보가 최종 바늘 검출 결과로서 선택된다. 다수의 바늘들에 대해, 임계치 스코어 초과의 임의의 세그먼트들 또는 최고의(top) X개의 세그먼트들 ― 여기서, X는 바늘들의 수로서 사용자에 의해 입력됨 ― 이 선택된다.
단일 프레임 내에서의 라인 구조 검출은 불충분한(poor) 품질을 겪을 수 있다. 일 실시예에서, 품질이 최적이 아닌 그러한 경우들을 핸들링하기 위해, 다수의 프레임들을 이용한 검출이 이용될 수 있다. 다수의 프레임들은 시간적인 시퀀스로, 연속적으로 포착된다. 다수의 프레임들은 현재 시간에서 및/또는 현재 시간 이전에 포착된 컴포넌트 프레임들을 포함한다. 일 실시예에서, 다수의 프레임들은 동일한 빔 배향에서 포착된다. 다른 실시예에서, 다수의 프레임들은 상이한 빔 배향들에서 포착되고, 그리고 공간적으로 정렬된다. 방법은, 단일 프레임들에서의 검출보다 다수의 프레임들로부터 추출된 더 많은 피처들을 이용한다. 개개의 프레임들 내에서의 라인들 및 세그먼트들의 검출에 기초하는 스코어링이 이용되지만, 다른 피처들에 기초하는 부가적인 스코어링이 제공된다. 다른 피처들은 프레임들 사이의 비교에 기초한다.
일 실시예에서, 후보 세그먼트들은 상이한 시간들로부터의 프레임들에 걸친 모션에 기초하여 스코어링된다. 바늘(24)은 시간에 걸쳐 지속적으로 이동할 가능성이 있다. 각각의 후보 세그먼트에 대해, 테일로부터 세그먼트 후보를 분리시키는 포인트의 라인 후보를 따르는 지속적인 모션이 식별된다. 시간(t)에서의 프레임에서, 모션 픽셀 (p, t)은 프레임 차이 It-It-1를 임계치부여함으로써 획득되고, 여기서 I는 초음파 이미지이다. 주어진 후보 라인 L=(ρ, θ)에 대해, 라인 내의 위치 p=(x, y)는 d로서 1D 라인 좌표 내에 규정되고, 여기서
Figure 112018062803956-pat00015
이다. 모션 픽셀의 지속적인 시퀀스는 다음과 같이 규정된다:
Figure 112014000686100-pat00016
모션 픽셀들의 시퀀스는, 바늘 움직임에 의해 야기되는 지속적인 모션 궤도(trajectory)를 표시하기 위해 이용된다. 가장 긴 모션 픽셀 시퀀스의 길이는 지속적인 모션을 수량화하기 위해 이용된다. 각각의 라인 상에서 가장 긴 모션 시퀀스를 발견하는 것은, 지향된 그래프 내 가장 긴 경로 문제(longest path problem)이다.
일 실시예에서, 지속적인 모션의 가장 긴 시퀀스는 시간(t)에서 모션 픽셀 (x, y, t)을 고려함으로써 발견된다. 픽셀은, (x, y, t)를 지나가는 모든 각각의 라인에 대해 라인 좌표 (d, t)로 변환된다. 새로운 모션 픽셀 (d, t, s)은 이러한 라인에 부가되고, 여기서 s는 이러한 픽셀과 함께 끝나는 가장 긴 모션 픽셀 시퀀스의 길이이다. 그 전에 어떠한 모션 픽셀도 없는 경우, s=1이다. 그렇지 않으면,
Figure 112014000686100-pat00017
및
Figure 112014000686100-pat00018
에 대해
Figure 112014000686100-pat00019
이다. 모션 기록들을 업데이트한 후에, 가장 긴 모션 세그먼트, 즉 가장 긴 s는 각각의 라인 상에서 각각의 d에 대해 발견된다.
시퀀스를 통한 그리고 라인을 따르는 세그먼트의 움직임을 식별하기 위해 다른 접근방식들이 이용될 수 있다. 예를 들어, 팁의 속도가 계산되고, 그리고 속도는 지속적인 속도의 다수의 프레임들을 발견하기 위해 임계치부여된다.
각각의 세그먼트 후보에 대해 모션 또는 모션 히스토리가 스코어링된다. 지속적인 모션의 시간의 양과 같은 임의의 스코어링이 이용될 수 있다. 일 실시예에서, 모션 히스토리로부터의 보팅 스코어는, 세그먼트로부터 계산된 가장 긴 모션 경로와 대응하는 테일을 포함할 때 가장 긴 모션 경로 사이의 차이로서 규정된다. 더 작은 차이는 더 양호한 세그먼트 후보들을 표시한다. 더 작은 차이는, 인버전(inversion), 또는 가우시안 함수와 같은 함수에 의해 더 큰 보팅 스코어로 변환될 수 있어서, 큰 스코어가 더 가능성 있는 바늘(24)을 반영하는 다른 피처들의 스코어링과 함께 이용하는 것을 허용한다.
부가적인 또는 대안적인 실시예에서, 레퍼런스 데이터로부터의 차이가 스코어링된다. 현재 후보 라인 및/또는 프레임의 후보 세그먼트들은 레퍼런스 데이터와 비교된다. 예를 들어, 템플릿(template), 제 1, 초기, 중간, 또는 시퀀스 내의 데이터의 다른 프레임이 레퍼런스로서 선택된다. 데이터의 현재 프레임은 레퍼런스에 대해 비교된다. 감산이 비교를 위해 이용될 수 있지만, 상관, 또는 유사성 또는 차이의 다른 측정들이 이용될 수 있다. 비교는, 필터링 이후 현재 및 레퍼런스 프레임들 내 후보 라인들을 따르는 차이를 계산하는 것과 같이, 후보 라인들 및/또는 세그먼트들로 한정될 수 있다.
일 실시예에서, 현재 프레임과, 이미지 포착의 시작시의 프레임 사이의 차이가 추출된다. 레퍼런스 또는 초기 프레임은 I0로서 표시된다. 프로브가 많이 움직이지 않는다는 가정 하에, 큰 차이들은, 더 많은 모션들이, 현재 이미지와 시작시 프레임 사이의 바늘 움직임에 의해 야기되었다는 것을 의미한다. 스코어의 일 예는 다음과 같이 표시된다:
Figure 112014000686100-pat00020
다른 스코어들이 이용될 수 있다.
스코어링에 대한 피처들은 다수의 이미지들로부터 추출된다. 이러한 피처들은 모션 히스토리, 2D/3D 필터링(동작(56)으로부터의 스코어), 및 프레임 차이들을 포함한다. 부가적인, 상이한, 또는 더 적은 스코어들이 포함될 수 있다. 다수의 프레임들에서 검출을 위해 이용되는 피처들은 상기 열거된 것들로 제한되지 않는다. 디바이스들의 시간적인 및/또는 공간적인 정보를 운반(carry)하는 임의의 유형들의 피처들이 보팅을 위해 이용될 수 있다.
각각의 피처에 대한 보팅 스코어가 계산된다. 세그먼트 후보들을 스코어링하기 위해, 상이한 피처들에 대한 상이한 스코어들이 조합된다. 예를 들어, 세그먼트 후보들에 대한 스코어들, 모션 히스토리에 대한 스코어, 및 레퍼런스 차이에 대한 스코어가 조합된다. 합산 또는 평균과 같은 임의의 조합이 이용될 수 있다. 다른 피처 스코어들보다 더 강하게 동작(56)의 세그먼트 스코어를 가중하는 것과 같이, 다른 것들과 관련하여 하나 또는 그 초과의 스코어들을 더 강하게 가중하기 위해, 가중된 평균이 이용될 수 있다.
조합된 스코어들은 각각의 후보 세그먼트에 대해 또는 선택된 수의 후보 세그먼트들에 대해 제공된다. 가장 큰 스코어가 임계치를 초과하는 경우, 대응하는 세그먼트가 바늘(24)로서 출력된다. 다수의 바늘들이 존재할 수 있는 경우, 임계치를 초과하는 스코어들을 갖는 세그먼트들 모두가 출력된다. 바늘들의 수가 알려지거나 또는 다수의 바늘 후보들이 필요한 경우, 더 큰 스코어들을 갖는 대응하는 수의 세그먼트들이 검출 결과들로서 선택된다.
도 1을 참조하면, 데이터의 컴포넌트 프레임들 각각의 바늘 후보들에 대해 확률들이 결정된다. 확률들은 각각의 후보에 대해 제공된다. 후보들 모두는, 데이터의 프레임들에서 표시되는 바와 같이 실제 바늘의 추가의 식별을 위해 이용될 수 있다. 대안적으로, 후보들 중 하나 또는 그 초과는 제거될 수 있다. 예를 들어, 임계치가 확률들에 적용된다. 임계치는 미리 결정될 수 있거나, 또는 더 높은 확률들을 갖는 퍼센티지 또는 특정 수의 후보들을 선택하는 것에 기초할 수 있다.
동작(34)에서, 데이터의 상이한 프레임들에 대한 바늘 후보들은 연관된다. 연관은 데이터의 다수의 프레임들 내 동일한 바늘 후보를 식별한다. 데이터의 하나의 프레임 내 바늘 후보는 데이터의 다른 프레임 내 바늘 후보와 쌍을 이루거나 또는 연관된다. 개개의 스티어링된 프레임들에서의 후보 바늘들의 검출은 노이즈가 발생하기 쉬울 수 있다. 단순 보팅 및 임계치부여 방법들, 이를 테면 허프 변환은 미싱 검출 및 오검출을 초래할 수 있다. 스티어링가능 필터링 및 학습 기반 검출을 이용할지라도, 개개의 프레임들에서의 에러들이 여전히 존재할 수 있다. 상이한 프레임들에서의 다수의 바늘 검출 결과들은, 실제 바늘들을 확인하기 위해 그리고 오검출들을 추가로 제거하기 위해 서로 연관된다.
상이한 프레임들 내 바늘 후보들 사이의 변환이 계산된다. 가장 가능성 있는 또는 최상의 매칭이 상기 변환으로부터 결정된다. i번째 프레임에서, j번째 바늘 후보는
Figure 112018062803956-pat00021
로서 표시된다. 상이한 이미지들로부터의 것들인 바늘 후보들의 쌍(
Figure 112018062803956-pat00022
및
Figure 112018062803956-pat00023
) 사이의 변환은
Figure 112018062803956-pat00024
로서 표시된다. 바늘 연관은, 바늘 대응성들을 식별하고 그리고 최대 확률로 그들 사이의 변환을 추정하기 위한 것이다:
Figure 112014000686100-pat00025
대안적으로, 프레임 내 바늘 후보들 각각은 다른 프레임들 내 바늘 후보들 모두와 연관된다. 변환은 각각의 가능한 매칭에 대해 결정된다.
변환을 해결하기 위해, 분류자 또는 다른 소스에 의해 출력된 확률들이, 프레임들에 걸쳐 바늘 후보들의 조합들에 대한 확률을 계산하기 위해 이용된다. 각각의 가능한 조합에 대한 확률은, 가장 큰 또는 충분한 확률을 갖는 조합들을 식별하기 위해 결정될 수 있다.
상당히 상이한 배향들 및/또는 공간 위치들을 갖는 후보 바늘들을 매칭시키는 것을 회피하기 위해, 조합에 대한 확률은, 배향 및/또는 변위 차이의 양만큼 가중될 수 있다. 이러한 가중은 더 큰 변위들 및/또는 회전들에 페널티를 부과(penalize)한다.
바늘 후보들의 검출이 상이한 이미지들 사이의 모션과 독립적인 것으로 가정하면, 방정식(7)은 다음과 같이 표시될 수 있다:
Figure 112014000686100-pat00026
각각의 바늘 후보의 확률 P(X)는 개개의 바늘 검출로부터의 확률이다. 확률은 머신-학습 분류자에 의해 출력되지만, 리지 모델링과 같은 다른 소스로부터의 것일 수 있다. P(T)는 2개의 후보들 사이의 큰 변위에 페널티를 부과하기 위해 규정된다. 일 실시예에서, P(T)는 하나의 바늘 후보 상에 집중된 가우시안이지만, 다른 가중 함수들이 이용될 수 있다. 가우시안의 크기 또는 분포는, 변위 및/또는 배향에 기초하여 페널티부과를 제공하도록 설정된다. 변위에 대한 하나 및 배향에 대한 하나와 같이 다수의 페널티부과 항(term)들이 이용될 수 있다.
컴포넌트 프레임들이 상이한 시간들에서 포착될 수 있기 때문에, 프레임들은, 환자 및/또는 트랜스듀서 모션으로 인해 정렬되지 않을 수 있다. 상관 또는 센서-기반 측정을 이용시, 프레임들 사이의 공간적인 오프셋이 결정될 수 있다. 이러한 공간적인 오프셋은, 이를 테면 상이한 이미지들에서의 후보 바늘들 사이의 변위 및/또는 배향의 측정을 변경함으로써, 페널티부과 항 내에 포함될 수 있다.
후보 바늘 연관은, 3개의 컴포넌트 프레임들을 갖는 3개의 후보 바늘들의 조합들에 대해서와 같이, 둘보다 많은 수의 이미지들 내의 다수의 바늘 후보들로 연장될 수 있다. 이러한 경우에서, 확률론적 데이터 연관(PDA) 또는 그래프-기반 최적화 방법들은 더 복잡한 연관 문제를 해결하기 위해 이용될 수 있다.
동작(36)에서, 바늘 후보들 중 하나 또는 그 초과가 제거된다. 그리디(greedy) 방법, 그래프-기반 최적화 방법, 또는 PDA가 이용되는 경우, 바늘 후보들 중 하나 또는 그 초과는 연관되지 않을 수 있다. 이들 바늘 후보들은 노이즈로서 제거된다. 다른 바늘 후보들은, 개개의 바늘 후보에 대한 확률에 임계치를 적용함으로써 제거될 수 있다. 대안적인 실시예들에서, 개개의 검출이 더 정확할 수 있는 이를 테면 낮은 노이즈 상황들에서, 바늘 후보들 중 어느 것도 개개의 후보들로서 제거되지 않는다.
연관에 대해 계산된 확률 또는 변환은 하나 또는 그 초과의 바늘 후보들을 제거하기 위해 이용된다. 바늘 후보들은 연관으로부터의 확률에 임계치를 부여함으로써 제거될 수 있다. 임계치는 바늘 후보들의 상이한 조합들 각각에 적용된다. 단지 임계치 미만의 조합들과 연관된 바늘 후보들만이 제거된다.
후보 연관 및 제거는 반복될 수 있다. 시작시에, 데이터의 N개의 상이한 초음파 프레임들에서의 다수의 바늘 후보들은 서로 연관된다. 연관된 바늘 후보들의 세트는
Figure 112018062803956-pat00027
로 표시된다. 후보 연관에 기초하여, 아웃라이어(outlier)들이 식별되고 그리고 바늘 풀(pool)로부터 제거된다. 아웃라이어들은, 단지 임계치 미만의 조합들에서의 이용 또는 연관의 부족에 의해 제거된다. 예를 들어, 바늘(
Figure 112018062803956-pat00028
)은, 그의 연관 확률들이 임계치보다 더 작은 경우, 아웃라이어이다:
Figure 112018062803956-pat00029
, 여기서
Figure 112018062803956-pat00030
이고, 그리고 θ는 미리 규정된 임계치이다. 연관들의 모두 또는 서브셋은 임계치부여된다.
하나 또는 그 초과의 바늘 후보들을 임계치부여 및 제거 후에, 새로운 후보 연관들이 결정된다. 그 다음으로, 연관된 바늘들 및 그들의 변환들의 세트는, 업데이트된 후보들 세트의 이용과 함께 개량(refine)된다. 남은 바늘 후보들은 프레임들에 걸쳐 매칭되고, 그리고 대응하는 확률들이 계산된다. 확률들은 더 적은 바늘 후보들로 인해 상이할 수 있다. 연관은 더 작은 구역 내에서 탐색될 수 있다. 더 작은 구역은, 대역폭 또는 페널티부과 항의 분포를 감소시킴으로써, 또는 후보 바늘들을, 풀 내에 남은 이러한 후보들의 대부분 또는 중간(median)을 갖는 구역으로 제한함으로써 구현될 수 있다.
반복은, 연관된 바늘들의 세트가 안정화될 때까지 계속된다. 각각의 반복에서, 동작(34)의 연관 및 동작(36)의 제거가 수행된다. 구역 또는 페널티부과 항은 각각의 반복에 대해 동일하거나 또는 상이하다. 예를 들어, 구역은 설정 레벨까지 줄어들고(shrink), 그리고 그 다음으로 동일하게 머무른다. 일단 제거가 반복에서 더 이상 발생하지 않으면, 프로세스는 안정화된다.
상기 방법들은 각각의 존재하는 바늘을 검출하기 위해 초음파 컴포넌트 프레임들의 그룹에 적용된다. 남은 연관된 후보들은 고려되는 실제 바늘들이다. 후보가 하나보다 많은 수의 연관들의 그룹 내에 포함되는 경우, 더 큰 확률을 갖는 그룹이 선택되고, 그리고 다른 연관은 이용되지 않는다. 대안적으로, 후보는 오버랩핑 또는 인접 바늘들을 표시하는 것으로 고려되고, 그리고 양측 그룹들이 유지된다. 주어진 그룹은 컴포넌트 프레임들 각각 내의 동일한 바늘을 표시한다.
동작(38)에서, 검출된 바늘들의 영상이 향상된다. 일 실시예에서, 다수의 컴포넌트 프레임들을 함께 합성하는 것은, 바늘들의 영상을 향상시킨다. 동일한 바늘이 각각의 컴포넌트 프레임 내에서 표시되기 때문에, 노이즈의 영향들은 스티어링된 공간 합성에 의해 비교적 감소된다. 합성은 바늘 또는 바늘들의 가시성을 증가시키는데, 그 이유는 더 많은 랜덤 노이즈는 동일한 강도 및/또는 공간적인 범위에 구조적으로(constructively) 합산되지 않을 수 있지만, 바늘 응답은 구조적으로 합산되기 때문이다. 합성된 프레임은, 하나의 뷰 또는 컴포넌트 프레임으로부터 숨겨졌을 더 많은 정보를 가질 수 있다.
스티어링된 공간 합성에 있어서, 조합은 입력된 또는 원래 포착된 컴포넌트 프레임들을 갖는다. 컴포넌트 프레임들은 저역 통과 필터링되거나 또는 그렇지 않으면 조합 이전에 프로세싱될 수 있다. 다른 실시예들에서, 조합은 스티어링가능 필터링에 의해 출력된 프레임들을 갖는다.
컴포넌트 프레임들은 특정 위치들을 표시하는 데이터를 포함한다. 프레임들의 정렬은 정확한 것으로 가정될 수 있거나 또는 추가의 정렬이 조합 이전에 수행될 수 있다. 데이터 상관 또는 트랜스듀서 위치 센서들은, 컴포넌트 프레임들 사이의 병진 및/또는 배향 변화를 결정하기 위해 이용될 수 있다.
데이터의 프레임들이 동일한 위치들 또는 그리드를 표시하는 경우, 주어진 위치를 표시하는 각각의 프레임으로부터의 값들은 조합된다. 일 실시예에서, 데이터의 검출된 및 스캔-컨버팅된 프레임들은 함께 합성된다. 스캔-컨버팅된 정보가 이용되기 때문에, 컴포넌트 프레임들의 각각의 데이터는 동일한 포맷 및 그리드 패턴에 있거나 또는 공간 위치 샘플링된다. 데이터의 프레임들이 상이한 그리드들을 따르는 샘플링을 표시하는 경우, 최근린내삽법(nearest neighbor) 또는 보간법(interpolation)은, 조합하기 위해 이용되는 값들을 선택 또는 계산하기 위해 이용된다. 데이터가 스캔 이전에 합성되는 경우, 컨버전, 보간법, 외삽법(extrapolation), 또는 다른 프로세스들은, 인접한 또는 유사한, 그러나 동일하지 않은 공간 위치들을 표시하는 임의의 데이터를 합성하기 위해 이용된다.
조합은 바늘들을 따르는 각각의 위치에 대한 것이다. 데이터의 프레임들은, 적어도 오버랩 구역 내 동일한 위치들을 표시한다. 컴포넌트 프레임들 각각은, 디스플레이 또는 오버랩 구역을 표시하는 공간 위치들을 위해 함께 합성된다. 상이한 위치들은 상이한 수들의 프레임들 및 대응하는 값들과 연관될 수 있다. 예를 들어, 오버랩 구역보다 더 많은 구역을 표시하는 이미지가 발생된다. 스티어링으로 인해, 더 적은 컴포넌트 프레임들이, 컴포넌트 프레임들 모두의 오버랩 구역 외측의 위치들을 표시한다. 임의의 수의 컴포넌트 프레임들은, 오버랩 구역에 대한 프레임들 모두 그리고 다른 위치들에 대한 모두보다 적은 것과 같이, 주어진 위치에 대한 값을 결정하기 위해 이용될 수 있다.
조합은 가중된다. 일 실시예에서, 동등한 가중치들이 이용된다. 조합은, 각각의 위치에 대한 데이터의 평균이다. 다른 실시예들에서, 가중은, 바늘 또는 바늘들 영상의 추가의 향상을 제공하기 위해 이용된다. 하나의 컴포넌트 프레임은 다른 것보다 더 많이 강조될 수 있다. 강조는 위치에 의해 변화할 수 있고, 이를 테면, 하나의 컴포넌트 프레임을 하나의 위치에 대한 다른 컴포넌트 프레임보다 그리고 다른 컴포넌트 프레임을 또 다른 위치에 대한 컴포넌트 프레임보다 강조한다. 대안적으로, 동일한 가중치가 컴포넌트 프레임의 오버랩 구역에 대해 적용된다.
가중치들은, 동작(36)에서의 제거 이후에 남은 바늘 후보들에 기초하여 선택된다. 예를 들어, 상이한 컴포넌트 프레임들 내 동일한 바늘로서 식별된 후보들의 그룹 또는 연관에 대한 확률이, 가중치를 선택하기 위해 이용된다. 다른 예로서, 가중치는, 컴포넌트 내 개개의 바늘 후보에 대한 확률의 상대적인 가중치에 기초하여 할당된다. 바늘이 하나의 컴포넌트 프레임 내에서 더 높은 확률을 갖는 경우, 그러한 컴포넌트 프레임은 다른 컴포넌트 프레임들보다 더 심하게(heavily) 가중된다. 가중치들의 선택은 확률 또는 다른 기준들로부터의 선형 또는 비-선형 맵핑을 이용할 수 있다.
일 실시예에서, 합성된 프레임이든 또는 컴포넌트 프레임이든, 남은 바늘들은 선택된 초음파 프레임(Ic)으로 변환된다. 바늘들은 자신들의 가중치들에 기초하여 변환되고:
Figure 112014000686100-pat00031
여기서, xb는 변환된 바늘(즉,
Figure 112018062803956-pat00032
)이고, 여기서 a번째 이미지는 향상된 바늘들 영상을 디스플레이하기 위해 이용됨). Pb는 검출된 바늘(
Figure 112018062803956-pat00033
)의 확률이고, 이는 합성으로부터 정규화된다:
Figure 112014000686100-pat00034
확률은 2개의 프레임들 내 연관된 바늘 사이이지만, 임의의 수의 프레임들에 대한 것일 수 있다. 정규화는 상이한 초음파 빔 배향들에서 바늘 검출 및 기하학적 연관들을 포함하고, 그러므로 견고함을 달성한다. 다른 향상이 대안적으로 또는 부가적으로 이용될 수 있다. 일 실시예에서, 선택된 세그먼트 또는 세그먼트들을 따라 데이터의 강도들 또는 스칼라 값들이 증가된다. 이를 테면 상수만큼 증가시킴으로써, 임의의 증가가 이용될 수 있다. 예를 들어, 이미지
Figure 112018062803956-pat00035
이고, 여기서 α는 상수이다. 라인을 따르는 결과적인 값들은, 더 높은 주파수 변동을 제거하기 위해 저역 통과 필터링될 수 있다.
일 실시예에서, 증가는, 스티어링가능 필터링에 대한 응답의 매그니튜드 및/또는 배향의 적응적 함수인 값만큼이다. 예를 들어, 세그먼트를 따르는 강도들은 상수 및 필터링 결과들 양측 모두 만큼 증가된다:
Figure 112014000686100-pat00036
여기서,
Figure 112018062803956-pat00037
는 상수 또는 가중치이다. 하나의 대역폭에 대한 및/또는 선택된 세그먼트와 가장 근접하게 연관된 방향에 대한 필터링 결과들과 같은 필터링 결과들은 바늘 검출에서 이용된 필터들의 서브셋이거나 모두이다.
부가적인 또는 대안적인 유형들의 향상이 이용될 수 있다. 예를 들어, 그래픽은 세그먼트 위치에 오버레이된다. 다른 예로서, 바늘과 연관된 위치들은 상이하게 컬러링된다.
동작(40)에서, 이미지가 디스플레이된다. 초음파 이미지들로부터 위치파악된 바늘들을 이용시, 바늘들의 표시가 향상되고 그리고 이미지 안내를 위해 시각화된다. 바늘 영상의 향상은, 선택되는 초음파 이미지 내에 디스플레이된다. 이미지는 스캐닝된 구역을 갖는다. 환자 조직 및 바늘 또는 바늘들 양측 모두가 이미지 내에 표시된다. 예를 들어, 가중된 합성 프레임은 스티어링된 공간 합성 이미지를 발생시키기 위해 이용된다. 다른 예로서, 컴포넌트 프레임은 합성 없이 이미지를 발생시키기 위해 이용된다. 이미지는, 주어진 유형의 스캐닝 또는 애플리케이션을 위해 최적화된 초음파 이미지일 수 있다. 바늘 및 환자 조직이 이미지에서 보여진다. 향상으로 인해, 이미지는, 검출된 바늘을 갖지 않는 것보다, 바늘 또는 바늘들을 더욱 가시적으로 보여준다.
스티어링된 공간 합성에 있어서, 환자 내 위치들을 표시하는 값들의 합성된 프레임은 픽셀 또는 이미지 값들을 결정하기 위해 이용된다. 이미지는 오버랩 구역을 갖지만, 다른 위치들을 포함할 수 있다. 이미지는 조합 뷰들로부터 발생된 공간 합성된 이미지이다. 합성 프레임은 동작(38)의 합성으로부터 출력된다. 데이터의 합성된 프레임을 공간적으로 및/또는 시간적으로 필터링하는 것과 같은 추가의 프로세싱이 이용될 수 있다.
바늘 또는 바늘들의 가시성을 추가적으로 개선하기 위해, 초음파 트랜스듀서 또는 프로브가 상이한 위치로 이동될 수 있고, 그리고 도 1의 방법이 반복된다. 다른 실시예들에서, 프로브는 컴포넌트 프레임들을 포착하기 위해 이동되거나, 또는 컴포넌트 프레임들의 상이한 그룹들이 상이한 프로브 위치들에서 포착된다. 국부화(localization) 센서들(예를 들어, 자기 위치 센서들)이 초음파 프로브 상에 부착되고 및/또는 데이터-기반 레지스트레이션이 상이한 프로브 위치들로부터의 컴포넌트 프레임들의 상대적 공간 위치를 결정하기 위해 이용된다. 그 다음으로, 상이한 프로브 위치들에서의 바늘 후보들이 연관 및 합성을 위해 공간적으로 정렬된다.
이미지 향상에 부가하여 또는 대안으로서, 초음파 시스템은 동작(42)에서, 검출된 바늘에 기초하여 제어될 수 있다. 빔 스티어링 방향 및/또는 스캐닝을 위한 다른 파라미터들은 후보 세그먼트들 중 하나 또는 그 초과의 함수로서 설정된다. 예를 들어, 세그먼트 후보는 바늘로서 선택된다. 바늘들에 가장 수직한 스티어링이 주어지면, 현재 프로브 위치 및 관심 구역이 스캐닝을 위해 이용된다.
초음파 이미지 특징들은 디바이스 검출 결과들에 영향을 미칠 수 있다. 초음파 이미지 특징들은 초음파 머신 파라미터들에 의해 규정된다. 파라미터들은 바늘을 검출하는 것을 돕도록 자동적으로 설정될 수 있다. 초음파 머신 파라미터들은 바늘 검출의 시작에서, 이를 테면 동작(54)에서 라인 후보들을 선택한 후에 또는 도 4의 방법의 제 1 반복 후에, 자동적으로 적응될 수 있다. 적응은 주기적으로, 트리거 이벤트에 응답하여, 사용자 활성화에 응답하여, 또는 스캐닝 동안 지속적으로 수행된다.
하나의 파라미터는 빔 스티어링 각도이다. 바늘 검출을 시작할 때, 빔 스티어링 각도는 첫 번째로, 모든 가능한 각도들에서 탐색된다. 가능한 각도 범위는 초음파 머신의 물리적 파라미터들에 의존하고, 그리고 상이한 머신들 및/또는 트랜스듀서들에 대해 변화할 수 있다. 바늘 검출은 다수의 각도들에서 포착된 프레임들에서 실행된다. 프레임-기반 바늘 검출로부터의 신뢰 스코어들이 비교되고, 그리고 검출로부터 최상의 신뢰 스코어를 생성하는 스티어링 각도가 최적화된 스티어링 각도로서 선택된다. 파라미터는, 이를 테면 프레임들의 시퀀스를 포착하기 위해, 후속하는 데이터 포착에서 이용된다.
파라미터 최적화는 진행형(on-going) 방식으로 계속될 수 있거나, 또는 빔들을 스티어링하기 위해 요구되는 시간을 감소시키기 위해 샘플링된 프레임들에서만 수행될 수 있다. 어느 경우에서도, 검출 또는 추적으로부터의 스코어들은 파라미터들을 최적화하기 위해 이용된다.
초음파 시스템(16)의 다른 조정가능(tunable) 파라미터들은, 이에 제한되는 것은 아니지만, 초음파 포커스 및 주파수를 포함한다. 상이한 설정들은, 스코어들에 대한 영향 및 바늘의 결과적인 가시성을 결정하기 위해 테스트될 수 있다. 모든 파라미터들의 최적화는 공동으로, 또는 그리디 방식으로 수행된다. 공동 최적화에서, 파라미터들은, 모든 조정가능 파라미터들의 공동 세트 상에서 포착된 프레임들의 세트 상에서 포착된다. 그리디 최적화에서, 파라미터가 첫 번째로 최적화되고 그리고 고정된다. 그 다음으로, 다른 파라미터들이 후속하여 최적화된다. 파라미터 최적화는 연속적으로 또는 이미지 포착 동안 샘플링된 프레임들에서 수행될 수 있다.
이미지 포착 동안 다수의 파라미터 설정들이 존재할 수 있다. 파라미터들의 하나의 세트는 상술된 바와 같이 바늘 검출을 위해 자동적으로 최적화된다. 파라미터들의 다른 세트는 애플리케이션에 대한 임상적 관심 또는 특정을 위해 최적화된다. 임상적 관심의 파라미터들의 최적화는 사용자들에 의해 수동으로 수행되거나, 미리 결정되거나, 또는 적응될 수 있다. 이미지 포착 동안, 상이한 파라미터들을 이용하여 프레임들은 각각의 시간 순간에서 동시에 또는 서로 인터리빙되어 포착된다. 동시적인 이미지 포착은, 하나의 트랜스듀서의 초음파 파라미터들의 다수의 세트들 사이를 자동적으로 스위칭함으로써, 또는 프로브 상에 다수의 트랜스듀서들을 물리적으로 제공함으로써 구현될 수 있다.
도 2는 의료 진단 초음파 이미지에서 바늘 영상을 향상시키기 위한 시스템을 도시한다. 시스템(10)은 메모리(12), 초음파 시스템(16), 트랜스듀서(18), 프로세서(26), 및 디스플레이(28)를 포함한다. 트랜스듀서(18)는 바늘(24)을 스캔하기 위해 이용되고, 그리고 프로세서(26)는 스캔 데이터로부터 바늘(24)을 검출한다. 부가적인, 상이한, 또는 더 적은 컴포넌트들이 제공될 수 있다. 예를 들어, 이를 테면 의료 이미징 네트워크 또는 데이터 보관(archival) 시스템과의 네트워킹을 위한 네트워크 또는 네트워크 접속이 제공된다. 다른 예로서, 사용자 인터페이스가 제공된다.
프로세서(26), 메모리(12), 및 디스플레이(28)는, 진단 또는 치료 초음파 시스템(16) 또는 다른 시스템과 같은 의료 이미징 시스템의 부분이다. 대안적으로, 프로세서(26), 메모리(12), 및/또는 디스플레이(28)는, 이를 테면 의료 기록들 데이터베이스 워크스테이션 또는 서버와 연관된 보관 및/또는 이미지 프로세싱 시스템의 부분이다. 다른 실시예들에서, 프로세서(26), 메모리(12), 및/또는 디스플레이(28)는 개인용 컴퓨터, 이를 테면 데스크톱 또는 랩톱, 워크스테이션, 서버, 네트워크, 또는 이들의 조합들이다. 프로세서(26), 디스플레이(28), 및 메모리(12)는 방법을 구현하기 위한 다른 컴포넌트들 없이 제공될 수 있다.
초음파 시스템(16)은 임의의 현재 알려진 또는 나중에 개발되는 초음파 이미징 시스템이다. 예를 들어, 초음파 시스템(16)은 음향 에너지와 전기 에너지들 사이를 컨버팅하기 위한 트랜스듀서(18)를 포함한다. 전송 및 수신 빔형성기들은 트랜스듀서(18)의 상이한 엘리먼트들을 위해 신호들을 상대적으로 지연 및 아포다이징(apodize)한다. B-모드, 도플러(Doppler), 또는 다른 검출이, 빔형성된 신호들 상에서 수행된다. 스캔 컨버터, 메모리, 3차원 이미징 프로세서, 및/또는 다른 컴포넌트들이 제공될 수 있다.
트랜스듀서(18)는 압전(piezoelectric) 또는 용량성(capacitive) 멤브레인 엘리먼트들의 1차원, 2차원, 또는 다차원 어레이이다. 예를 들어, 트랜스듀서(18)는 핸드헬드 프로브 내 엘리먼트들의 1차원 어레이이다. 다른 실시예에서, 트랜스듀서(18)는, 경식도(transesophageal) 또는 심장 카테터(catheter) 프로브와 같은, 환자 내에서의 이용을 위한 프로브의 부분이다.
메모리(12)는 그래픽스 프로세싱 메모리, 비디오 랜덤 액세스 메모리, 랜덤 액세스 메모리, 시스템 메모리, 캐시 메모리, 하드 드라이브, 광학 매체들, 자기 매체들, 플래시 드라이브, 버퍼, 데이터베이스, 이들의 조합들, 또는 데이터 또는 비디오 정보를 저장하기 위한 다른 현재 알려진 또는 나중에 개발되는 메모리 디바이스이다. 메모리(12)는, 이미징 시스템의 부분, 프로세서(26)와 연관된 컴퓨터의 부분, 데이터베이스의 부분, 다른 시스템의 부분, 픽처 보관 메모리, 또는 독립형 디바이스이다.
메모리(12)는 환자의, 상이한 시간들에서의 및/또는 상이한 스티어링 방향들로부터의 구역을 표시하는 데이터를 저장한다. 데이터의 단일 프레임 또는 다수의 프레임들이 저장될 수 있다. 데이터는, 구역 내에 있는 동안의 바늘(24)을 표시하는 정보를 포함한다. 바늘(24)은 구역 내 다른 구조들과 관련하여 인식하기 어려울 수 있다. 구역은 2차원 또는 3차원 구역이다. 흉부, 복부, 다리, 머리, 팔, 또는 이들의 조합들 내 구역과 같이, 구역은 환자의 임의의 부분이다.
데이터는 초음파로 구역을 스캐닝하는 것으로부터 비롯된다. 데이터는, 치료 이전의, 치료 동안의, 또는 치료 후의 환자를 표시한다. 예를 들어, 초음파 데이터의 프레임들은 생체 검사 동안 포착된다. 바늘이 환자 내로 삽입되기 이전에, 그리고 바늘이 환자 내로 삽입되고 그리고 환자 내에서 이동함에 따라, 초음파 데이터의 프레임들의 시퀀스가 포착된다. 프레임들은, 스티어링된 공간 합성을 위해 또는 동일한 빔 스티어링을 이용하여 동일한 구역을 시퀀스 스캐닝하기 위해 스티어링될 수 있다.
메모리(12)는 프로세싱된 데이터를 저장할 수 있다. 예를 들어, 스티어링가능 필터링의 결과들이 저장된다. 다른 예로서, 검출된 후보 위치들 및/또는 대응하는 확률들이 저장된다. 연관들이 저장될 수 있다. 임계치들, 가중치들, 또는 디스플레이된 이미지에서의 바늘의 가시성을 향상시키기 위해 이용되는 다른 정보가 저장될 수 있다.
메모리(12) 또는 다른 메모리는 대안적으로 또는 부가적으로, 의료 진단 초음파 이미지에서 바늘의 영상을 향상시키기 위한 프로그래밍된 프로세서(26)에 의해 실행가능한 명령들을 표시하는 데이터를 저장하는 컴퓨터 판독가능 저장 매체이다. 본 명세서에서 논의된 프로세스들, 방법들, 및/또는 기법들을 구현하기 위한 명령들은, 비-일시적 컴퓨터-판독가능 저장 매체들 또는 메모리들, 이를 테면 캐시, 버퍼, RAM, 탈착가능 매체들, 하드 드라이브, 또는 다른 컴퓨터 판독가능 저장 매체들에 제공된다. 비-일시적 컴퓨터 판독가능 저장 매체들은 다양한 유형들의 휘발성 및 비휘발성 저장 매체들을 포함한다. 도면들에서 예시되거나 또는 본 명세서에서 기술된 기능들, 동작들, 또는 태스크들은, 컴퓨터 판독가능 저장 매체들 상에 또는 내에 저장된 명령들의 하나 또는 그 초과의 세트들에 응답하여 실행된다. 기능들, 동작들, 또는 태스크들은 특정 유형의 명령들 세트, 저장 매체들, 프로세서, 또는 프로세싱 전략과 독립적이고, 그리고 단독으로 또는 조합하여 동작하는 소프트웨어, 하드웨어, 집적 회로들, 펌웨어, 마이크로 코드 등에 의해 수행될 수 있다. 또한, 프로세싱 전략들은 멀티프로세싱, 멀티태스킹, 병렬 프로세싱 등을 포함할 수 있다.
일 실시예에서, 명령들은 로컬 또는 원격 시스템들에 의한 판독을 위해 탈착가능 매체들 디바이스 상에 저장된다. 다른 실시예들에서, 명령들은 컴퓨터 네트워크를 통한 또는 전화 라인들을 통한 전달을 위해 원격 위치에 저장된다. 또 다른 실시예들에서, 명령들은 주어진 컴퓨터, CPU, GPU, 또는 시스템 내에 저장된다.
디스플레이(28)는 모니터, LCD, 프로젝터, 플라즈마 디스플레이, CRT, 프린터, 또는 시각적 정보를 출력하기 위한 다른 현재 알려진 또는 나중에 개발되는 디바이스이다. 디스플레이(28)는 이미지들, 그래픽들, 또는 다른 정보를 프로세서(26), 메모리(12), 또는 초음파 시스템(16)으로부터 수신한다.
환자 구역과 관련하여 바늘 위치를 표시하는 하나 또는 그 초과의 이미지들이 디스플레이된다. 이미지는, 이를 테면 바늘에 대한 좌표들을 디스플레이하는 위치를 가질 수 있다. 이미지는 환자의 구역을 표시하는 의료 스캔을 가질 수 있다. 의료 디바이스의 위치는 강조되거나, 그래픽에 의해 마킹되거나, 또는 그렇지 않으면 이미지 상에 표시된다. 이미지들의 시퀀스가 디스플레이되는 경우, 각각의 의료 디바이스의 위치가 이미지들 각각에서 표시된다.
이미지들은 2차원 이미지들일 수 있다. 평면 또는 영역 구역이 이미지 내에서 표시된다. 다른 실시예들에서, 볼륨이 표시된다. 상이한 평면들을 표시하는 다수의 평면 스캔들이 볼륨을 형성하기 위해 이용되거나 또는 적층(stack)된다. 바늘 검출은, 이를 테면 3D 필터링 또는 피처 추출을 이용하여 3차원들로 수행될 수 있다. 이미지는 볼륨으로부터의 렌더링이다.
프로세서(26)는 일반적인 프로세서, 중앙 프로세싱 유닛, 제어 프로세서, 그래픽스 프로세서, 디지털 신호 프로세서, 3차원의 렌더링 프로세서, 이미지 프로세서, 주문형 집적 회로, 필드 프로그램가능 게이트 어레이, 디지털 회로, 아날로그 회로, 이들의 조합들, 또는 바늘의 향상된 초음파 이미지를 발생시키기 위한 다른 현재 알려진 또는 나중에 개발되는 디바이스이다. 프로세서(26)는 직렬로, 병렬로, 또는 개별적으로 동작하는 단일 디바이스 또는 다수의 디바이스들이다. 프로세서(26)는 랩톱 또는 데스크톱 컴퓨터와 같은 컴퓨터의 메인 프로세서일 수 있거나, 또는 이미징 시스템 내에서와 같이 더 큰 시스템 내에서 몇몇 태스크들을 핸들링하기 위한 프로세서일 수 있다. 프로세서(26)는, 바늘 후보들의 그룹으로부터 위치를 선택하기 위한 확률 함수의 반복적인 솔루션과 같은, 본 명세서에서 논의된 동작들을 수행할 수 있을 명령들, 설계, 하드웨어, 및/또는 소프트웨어에 의해 구성된다.
프로세서(26)는 데이터의 하나 또는 그 초과의 초음파 프레임들 또는 다른 그룹핑으로부터 바늘(24) 또는 바늘들(24)을 검출하도록 구성된다. 예를 들어, 프로세서(26)는 도 1의 방법을 구현하도록 구성된다. 초음파 시스템(16)은 동작(30)에서 데이터를 포착하고, 그 다음으로 프로세서(26)는 동작들(32 내지 38)을 수행하고, 그리고 그 다음으로 디스플레이(28)는 동작(40)에서 이미지를 디스플레이한다. 다른 실시예에서, 프로세서(26)는 바늘 검출을 위해 도 4의 방법을 구현한다. 초음파 시스템(16)은 동작(50)에서 데이터를 포착하고, 그 다음으로 프로세서(26)는 동작들(52 내지 60)을 수행하고, 그리고 그 다음으로 디스플레이(28)는 동작(62)에서 이미지를 디스플레이한다.
시퀀스의 다른 프레임들 내 후보들을 식별하는 것을 돕기 위해, 하나의 프레임으로부터의 세그먼트들이 다른 프레임들에서 추적될 수 있다. 일단 바늘 세그먼트가 초기화되면, 추적 모듈은, 후속 프레임들 내에서 바늘을 연속적으로 위치파악하기 위해 활용된다. 추적 프로시저는 반복적인 탐색 문제: 이전의 프레임 내 바늘 세그먼트가 주어지면, 현재 프레임 내에서 발생된 가설들 간의 최상의 매칭을 발견하는 것으로서 공식화된다. 일 실시예에서, 2-스테이지 가설들 발생 프레임워크는 수행을 유지하면서 실행시간을 가속한다. 제 1 스테이지에서, 최상의 라인은 모든 라인 후보들 간에서 발견된다:
Figure 112014000686100-pat00038
여기서, s(Li)는 바늘이 Li를 따르는 우도(likelihood)(예를 들어, 스코어)이고, 그리고
Figure 112018062803956-pat00039
는 큰 각도 변화를 회피하기 위한 규칙화(regularization) 항 또는 공간적인 가중이다. 유사한 위치 및 스코어링을 갖는 라인 후보는 다른 프레임 내에서 동일한 후보로서 식별된다.
제 2 스테이지에서, 최상의 세그먼트(예를 들어, 바늘 팁)는 세그먼트 후보들 간에서 발견된다:
Figure 112014000686100-pat00040
여기서, s(Si)는 바늘 팁이 Si에 있는 우도(예를 들어, 세그먼트 스코어)이고, 그리고
Figure 112018062803956-pat00041
는 라인을 따른 큰 바늘 팁 변위를 회피하기 위한 규칙화 항이다.
우도 함수는 프레임 시퀀스로부터의 관찰들의 세트에 의해 계산된다. 예를 들어, 우도는: 제 1 프레임과 현재 프레임 사이의 차이 이미지; 이전 프레임과 현재 프레임 사이의 차이 이미지; 스티어링가능 필터링 응답들; 템플릿 매칭; 및/또는 광학적 흐름들을 포함한다. 템플릿 매칭은, 현재 세그먼트 또는 라인 정보를 예상된 세그먼트 또는 라인 정보의 템플릿과 비교한다. 광학적 흐름은 관측자(observer)와 씬(scene)(프레임) 사이의 모션의 측정이다. 우도를 위해 부가적인, 상이한, 또는 더 적은 스코어들이 이용될 수 있다.
컴포넌트 프레임들 내에서의 (예를 들어, 단일 스티어링 빔 방향에서의) 검출 대신에 또는 그에 부가하여, 검출은 합성된 프레임에 적용될 수 있다. 방법들은 3D 및 3D+t 초음파 프레임들에 적용될 수 있다. 3D에서, 단일 프레임에서의 검출 알고리즘이, 3D 필터링(예를 들어, 3D 스티어링가능 필터링 및 3D 헤시안 필터링)의 이용과 함께 적용된다. 3D+t 이미지들에서, 시간적인 도메인에서 연속적으로 포착되는 다수의 볼륨들에서의 검출 알고리즘이, 볼륨들 사이의 레퍼런스 및 모션 히스토리로부터의 차이의 이용과 함께 적용될 수 있다. 3D에서 라인 구조를 검출할 때, 픽셀 위치 및 배향은 또한 3D이다.
본 발명이 다양한 실시예들을 참조하여 상술되었지만, 본 발명의 범주로부터 벗어남이 없이 많은 변경들 및 수정들이 이루어질 수 있다는 것이 이해되어야 한다. 그러므로, 전술한 상세한 설명은 한정하는 것으로서보다는 예시적인 것으로서 간주되도록, 그리고 본 발명의 사상 및 범주를 규정하도록 의도되는 것은, 모든 동등물들을 포함하는 아래의 청구항들이라는 것이 이해되도록 의도된다.

Claims (24)

  1. 의료 진단 초음파 이미지에서 바늘(needle)을 향상시키기 위한 방법으로서,
    데이터의 제 1 및 제 2 초음파 프레임들 모두에 공통된 스캔 영역 내의 위치들이 상이한 각도들로부터의 교차하는 스캔 라인(intersecting scan line)들을 갖도록, 각각 제 1 및 제 2 상이한 조향(steering)으로 상기 데이터의 제 1 및 제 2 초음파 프레임들을 포착하는 단계 ― 상기 데이터의 제 1 및 제 2 초음파 프레임들은 환자 및 상기 환자 내의 바늘을 나타냄 ―;
    프로세서에 의해, 상기 데이터의 제 1 초음파 프레임으로부터 바늘 후보들을 검출하는 단계;
    상기 프로세서에 의해, 그리고 상기 데이터의 제 1 초음파 프레임으로부터 검출하는 단계와 별개로, 상기 데이터의 제 2 초음파 프레임으로부터 바늘 후보들을 검출하는 단계;
    상기 데이터의 제 1 초음파 프레임으로부터의 바늘 후보들을, 상기 데이터의 제 2 초음파 프레임으로부터의 바늘 후보들과 페어링(pairing)하는 단계 ― 상기 페어링은 상기 데이터의 제 1 및 제 2 초음파 프레임들로부터 별개로 검출하는 단계 이후에 상기 데이터의 제 1 초음파 프레임으로부터의 바늘 후보들을 상기 데이터의 제 2 초음파 프레임으로부터의 바늘 후보들에 연관시키는 것임 ―;
    상기 환자의 이미지를 디스플레이하는 단계 ― 상기 이미지는 상기 데이터의 제 1 초음파 프레임 내의 바늘 후보들을 상기 데이터의 제 2 초음파 프레임 내의 바늘 후보들과 페어링하는 단계에 기초하여 향상된 바늘을 가짐 ―; 및
    후속 포착에 대해 초음파 스캐닝 파라미터(scanning parameter)를 조정하는 단계 ― 상기 조정하는 단계는 상기 검출하는 단계 및 상기 페어링하는 단계로부터 향상된 바늘에 기초하고, 상기 초음파 스캐닝 파라미터는 빔 조향각, 초점, 또는 주파수임 ―
    를 포함하는,
    의료 진단 초음파 이미지에서 바늘을 향상시키기 위한 방법.
  2. 제 1 항에 있어서,
    상기 포착하는 단계는 스티어링된 공간 합성(steered spatial compounding)을 위해 포착하는 단계를 포함하고, 그리고
    상기 디스플레이하는 단계는 상기 이미지를 스티어링된 공간 합성 이미지로서 디스플레이하는 단계를 포함하는,
    의료 진단 초음파 이미지에서 바늘을 향상시키기 위한 방법.
  3. 제 1 항에 있어서,
    상기 데이터의 제 1 및 제 2 초음파 프레임들 내에서 상기 바늘 후보들을 검출하는 단계는, 상기 데이터의 제 1 및 제 2 초음파 프레임들을 스티어링가능(steerable) 필터링(filtering)하고, 상기 스티어링가능 필터링의 결과들로부터 피처들을 계산하고, 그리고 머신-학습 분류자(machine-learnt classifier)를 이용하여 상기 피처들로부터 확률들을 계산하는 단계를 포함하고,
    상기 바늘 후보들은 상기 확률들로부터 검출되는,
    의료 진단 초음파 이미지에서 바늘을 향상시키기 위한 방법.
  4. 제 1 항에 있어서,
    상기 데이터의 제 1 및 제 2 초음파 프레임들 내에서 상기 바늘 후보들을 검출하는 단계는, 바늘들을 검출하는 계층적 프레임워크를 포함하는,
    의료 진단 초음파 이미지에서 바늘을 향상시키기 위한 방법.
  5. 제 4 항에 있어서,
    상기 데이터의 제 1 및 제 2 초음파 프레임들 내에서 상기 바늘 후보들을 검출하는 단계는, 방향성 필터링하는 단계, 복수의 필터링 결과들에 기초하여 허프 보팅(Hough voting)하는 단계, 복수의 프레임들로부터의 피처들 계산하는 단계, 및 계층적 검출들 수행하는 단계를 포함하는,
    의료 진단 초음파 이미지에서 바늘을 향상시키기 위한 방법.
  6. 제 1 항에 있어서,
    상기 페어링하는 단계는 상기 데이터의 제 2 초음파 프레임 내의 바늘 후보들 각각과 상기 데이터의 제 1 초음파 프레임 내의 바늘 후보들 사이의 변환을 계산하는 단계를 더 포함하는,
    의료 진단 초음파 이미지에서 바늘을 향상시키기 위한 방법.
  7. 제 1 항에 있어서,
    상기 페어링하는 단계는 상기 데이터의 제 1 및 제 2 초음파 프레임들에 걸쳐 상기 바늘 후보들의 상이한 조합들 각각에 대한 확률을 계산하는 단계 ― 상기 확률은 변위의 양만큼 가중됨 ― 를 더 포함하고, 그리고
    상기 상이한 조합들의 확률들에 적용된 임계치에 기초하여 상기 바늘 후보들의 서브세트를 제거하는 단계를 더 포함하는,
    의료 진단 초음파 이미지에서 바늘을 향상시키기 위한 방법.
  8. 제 7 항에 있어서,
    상기 페어링하는 단계 및 제거하는 단계를 반복하는 단계를 더 포함하고,
    상기 반복하는 단계는 상기 제거된 바늘 후보들 내에서 이루어지는,
    의료 진단 초음파 이미지에서 바늘을 향상시키기 위한 방법.
  9. 제 1 항에 있어서,
    가중치를 계산하는 단계를 더 포함하고,
    상기 데이터의 제 1 및 제 2 초음파 프레임들 각각에 대한 가중치는 정규화된 확률을 포함하는,
    의료 진단 초음파 이미지에서 바늘을 향상시키기 위한 방법.
  10. 제 1 항에 있어서,
    상기 바늘에 기초하여 초음파 스캐닝 파라미터를 조정하는 단계는 주기적으로 조정하는 단계를 포함하는,
    의료 진단 초음파 이미지에서 바늘을 향상시키기 위한 방법.
  11. 명령들이 실행될 때, 프로세서로 하여금 제1항 내지 제10항 중 어느 한 항에 따른 방법을 수행하도록 하는 명령들을 저장하는 비-일시적 컴퓨터 판독가능 저장 매체.
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
KR1020140000780A 2013-01-03 2014-01-03 진단 초음파 이미징에서의 바늘 영상 향상 KR101907550B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/733,310 2013-01-03
US13/733,310 US9642592B2 (en) 2013-01-03 2013-01-03 Needle enhancement in diagnostic ultrasound imaging

Publications (2)

Publication Number Publication Date
KR20140088840A KR20140088840A (ko) 2014-07-11
KR101907550B1 true KR101907550B1 (ko) 2018-10-12

Family

ID=50928526

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140000780A KR101907550B1 (ko) 2013-01-03 2014-01-03 진단 초음파 이미징에서의 바늘 영상 향상

Country Status (5)

Country Link
US (1) US9642592B2 (ko)
JP (1) JP6230917B2 (ko)
KR (1) KR101907550B1 (ko)
CN (1) CN103908300B (ko)
DE (1) DE102013021729B4 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180263593A1 (en) * 2017-03-14 2018-09-20 Clarius Mobile Health Corp. Systems and methods for detecting and enhancing viewing of a needle during ultrasound imaging

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101478623B1 (ko) * 2012-11-07 2015-01-02 삼성메디슨 주식회사 니들의 가이드 라인을 제공하는 초음파 시스템 및 방법
US20140296694A1 (en) * 2013-04-02 2014-10-02 General Electric Company Method and system for ultrasound needle guidance
JP6123458B2 (ja) * 2013-04-25 2017-05-10 コニカミノルタ株式会社 超音波画像診断装置及び超音波画像診断装置の作動方法
CN105491955B (zh) * 2013-08-30 2018-07-03 富士胶片株式会社 超声波诊断装置及超声波图像生成方法
JP6447071B2 (ja) * 2013-12-11 2019-01-09 コニカミノルタ株式会社 超音波診断装置、超音波画像処理方法、および、プログラム
WO2015092582A1 (en) * 2013-12-20 2015-06-25 Koninklijke Philips N.V. Automatic ultrasound beam steering and needle artifact suppression
JP6274001B2 (ja) 2014-05-08 2018-02-07 コニカミノルタ株式会社 超音波画像処理方法及びそれを用いた超音波診断装置
JP6364942B2 (ja) * 2014-05-08 2018-08-01 コニカミノルタ株式会社 超音波画像処理方法及びそれを用いた超音波診断装置
TWI521225B (zh) 2014-10-01 2016-02-11 佳世達科技股份有限公司 超音波掃描方法及超音波掃描系統
CN104287777B (zh) * 2014-10-17 2017-09-26 苏州佳世达电通有限公司 超音波扫描方法及超音波扫描系统
JP6705134B2 (ja) * 2015-08-21 2020-06-03 コニカミノルタ株式会社 超音波画像診断装置、超音波画像処理方法及び超音波画像処理プログラム
WO2017061148A1 (ja) * 2015-10-09 2017-04-13 株式会社Ihi 線分検出方法
KR20170060852A (ko) 2015-11-25 2017-06-02 삼성메디슨 주식회사 초음파 영상을 제공하는 방법 및 이를 위한 초음파 장치
CN105806473B (zh) * 2016-03-14 2018-12-11 苏州佳世达电通有限公司 超音波探头的参数设定方法
DE102016221220B4 (de) * 2016-10-27 2023-09-28 Siemens Healthcare Gmbh Verfahren zur Ermittlung eines darzustellenden Überlagerungsbildes, Darstellungseinrichtung, Computerprogramm und Datenträger
US10932749B2 (en) * 2016-11-09 2021-03-02 Fujifilm Sonosite, Inc. Ultrasound system for enhanced instrument visualization
US11832969B2 (en) 2016-12-22 2023-12-05 The Johns Hopkins University Machine learning approach to beamforming
US11953593B2 (en) * 2017-02-10 2024-04-09 Covidien Lp Systems, methods, and computer readable media for processing and compounding ultrasound images in the presence of motion
US10102452B2 (en) 2017-03-14 2018-10-16 Clarius Mobile Health Corp. Systems and methods for identifying an imaged needle in an ultrasound image
WO2018234230A1 (en) * 2017-06-19 2018-12-27 Koninklijke Philips N.V. INTERLACEMENT IMAGING AND CONTINUOUS SEQUENCES FOR ULTRASONIC INSTRUMENT TRACKING
CN111031930A (zh) * 2017-08-25 2020-04-17 富士胶片株式会社 声波诊断装置及声波诊断装置的控制方法
JP7401459B2 (ja) * 2018-01-23 2023-12-19 コーニンクレッカ フィリップス エヌ ヴェ 針挿入誘導を提供する超音波イメージングシステム
WO2019168310A1 (ko) * 2018-02-28 2019-09-06 서울대학교산학협력단 딥러닝을 이용한 의료영상의 공간 정규화 장치 및 그 방법
KR102219890B1 (ko) 2018-02-28 2021-02-24 서울대학교산학협력단 딥러닝을 이용한 의료영상의 공간 정규화 장치 및 그 방법
KR102133695B1 (ko) * 2018-07-11 2020-07-14 동국대학교 경주캠퍼스 산학협력단 니들 가이드 시스템 및 그 방법
US20210267577A1 (en) * 2018-07-19 2021-09-02 Mayo Foundation For Medical Education And Research Systems and Methods for Removing Noise-Induced Bias in Ultrasound Blood Flow Imaging
KR102160443B1 (ko) * 2018-07-31 2020-09-28 한양대학교 산학협력단 탄성파 자료를 처리하는 방법, 이를 이용하는 탄성파 처리 장치, 및 프로그램
JP2021534861A (ja) * 2018-08-22 2021-12-16 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 介入性音響撮像におけるセンサ追跡推定値を制約するためのシステム、デバイス及び方法
US11896424B2 (en) * 2018-12-05 2024-02-13 Fujifilm Sonosite, Inc. Automated needle entry detection
CN109589145A (zh) * 2018-12-28 2019-04-09 吴莹 一种智能化肾穿刺控制系统
US20210015448A1 (en) * 2019-07-15 2021-01-21 GE Precision Healthcare LLC Methods and systems for imaging a needle from ultrasound imaging data
CN110236652B (zh) * 2019-07-16 2020-12-22 无锡祥生医疗科技股份有限公司 穿刺针增强显示装置、方法及存储介质
CN114430671A (zh) * 2019-09-26 2022-05-03 皇家飞利浦有限公司 用于超声成像中的目标定位的自动闭环超声平面转向以及相关联的设备、系统和方法
JP7427902B2 (ja) 2019-10-02 2024-02-06 コニカミノルタ株式会社 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置
WO2021072041A1 (en) * 2019-10-08 2021-04-15 Smith & Nephew, Inc. Methods for improved ultrasound imaging to emphasize structures of interest and devices thereof
WO2022204348A2 (en) * 2021-03-24 2022-09-29 Carnegie Mellon University System and method for tracking a curved needle
CN113040878B (zh) * 2021-03-25 2022-08-02 青岛海信医疗设备股份有限公司 超声穿刺针的位置信息处理方法、超声设备及存储介质
CN113534095B (zh) * 2021-06-18 2024-05-07 北京电子工程总体研究所 一种激光雷达地图构建方法和机器人自主导航方法
CN113208710B (zh) * 2021-07-08 2021-08-31 深圳华声医疗技术股份有限公司 穿刺针显影增强方法、装置、超声设备及存储介质
WO2023101707A1 (en) 2021-12-02 2023-06-08 Poplaw Steven System for color-coding medical instrumentation and methods of use

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120004533A1 (en) * 2010-05-03 2012-01-05 Slemens Corporation Optimization of multiple candidates in medical device or feature tracking
US20120078103A1 (en) * 2010-09-28 2012-03-29 Fujifilm Corporation Ultrasound diagnostic system, ultrasound image generation apparatus, and ultrasound image generation method
JP2012120747A (ja) * 2010-12-09 2012-06-28 Fujifilm Corp 超音波診断装置及び超音波画像生成方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4763652A (en) * 1986-04-16 1988-08-16 Northgate Research, Inc. Aiming system for kidney stone disintegrator
US6951542B2 (en) 2002-06-26 2005-10-04 Esaote S.P.A. Method and apparatus for ultrasound imaging of a biopsy needle or the like during an ultrasound imaging examination
CA2559053C (en) 2004-03-09 2015-11-03 Robarts Research Institute An apparatus and computing device for performing brachytherapy and methods of imaging using the same
JP4575033B2 (ja) * 2004-06-02 2010-11-04 株式会社東芝 超音波診断装置及び超音波診断装置の作動方法
US20060078196A1 (en) * 2004-10-13 2006-04-13 Siemens Medical Solutions Usa, Inc. Distributed apexes for 3-D ultrasound scan geometry
US8343053B2 (en) * 2009-07-21 2013-01-01 Siemens Medical Solutions Usa, Inc. Detection of structure in ultrasound M-mode imaging
US8526691B2 (en) * 2010-06-09 2013-09-03 Siemens Aktiengesellschaft System and method for passive medical device navigation under real-time MRI guidance
US8737725B2 (en) 2010-09-20 2014-05-27 Siemens Aktiengesellschaft Method and system for learning based object detection in medical images
CN102525547A (zh) * 2010-12-27 2012-07-04 通用电气公司 用于增强超声成像中针可视化的方法与装置
CN102727257B (zh) * 2011-03-31 2016-08-03 通用电气公司 穿刺针可视化方法和装置
JP6000569B2 (ja) * 2011-04-01 2016-09-28 東芝メディカルシステムズ株式会社 超音波診断装置及び制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120004533A1 (en) * 2010-05-03 2012-01-05 Slemens Corporation Optimization of multiple candidates in medical device or feature tracking
US20120078103A1 (en) * 2010-09-28 2012-03-29 Fujifilm Corporation Ultrasound diagnostic system, ultrasound image generation apparatus, and ultrasound image generation method
JP2012120747A (ja) * 2010-12-09 2012-06-28 Fujifilm Corp 超音波診断装置及び超音波画像生成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180263593A1 (en) * 2017-03-14 2018-09-20 Clarius Mobile Health Corp. Systems and methods for detecting and enhancing viewing of a needle during ultrasound imaging
US10588596B2 (en) * 2017-03-14 2020-03-17 Clarius Mobile Health Corp. Systems and methods for detecting and enhancing viewing of a needle during ultrasound imaging

Also Published As

Publication number Publication date
JP6230917B2 (ja) 2017-11-15
CN103908300B (zh) 2018-04-24
DE102013021729B4 (de) 2024-05-02
KR20140088840A (ko) 2014-07-11
US9642592B2 (en) 2017-05-09
JP2014138847A (ja) 2014-07-31
US20140187942A1 (en) 2014-07-03
DE102013021729A1 (de) 2014-07-03
CN103908300A (zh) 2014-07-09

Similar Documents

Publication Publication Date Title
KR101907550B1 (ko) 진단 초음파 이미징에서의 바늘 영상 향상
US10321892B2 (en) Computerized characterization of cardiac motion in medical diagnostic ultrasound
US8073215B2 (en) Automated detection of planes from three-dimensional echocardiographic data
KR101625256B1 (ko) 심장 ｍ-모드 뷰들의 자동 분석
US8343053B2 (en) Detection of structure in ultrasound M-mode imaging
JP4427548B2 (ja) 局所的に変形する可能性のある動きを分析するための装置および方法
JP5279783B2 (ja) 画像内の解剖学的構造の検出およびマッチング方法、画像内の解剖学的構造のマッチング方法、および、画像内の解剖学的構造の検出およびマッチングシステム
US20080009722A1 (en) Multi-planar reconstruction for ultrasound volume data
US9913625B2 (en) Medical diagnosis device and measurement method thereof
US10271817B2 (en) Valve regurgitant detection for echocardiography
US9082158B2 (en) Method and system for real time stent enhancement on live 2D fluoroscopic scene
US11712224B2 (en) Method and systems for context awareness enabled ultrasound scanning
US10282638B2 (en) Tracking for detection of TEE probe in fluoroscopy medical imaging
US10319090B2 (en) Acquisition-orientation-dependent features for model-based segmentation of ultrasound images
US20220370046A1 (en) Robust view classification and measurement in ultrasound imaging
US20220296219A1 (en) System and methods for adaptive guidance for medical imaging
JP2023552330A (ja) 個人が１つ又は複数の病害を有する可能性を予測すること
US20210038184A1 (en) Ultrasound diagnostic device and ultrasound image processing method
Kim et al. A learning-based, region of interest-tracking algorithm for catheter detection in echocardiography
Park et al. Automatic computation of 2D cardiac measurements from B-mode echocardiography
Tehrani Zade et al. Spatiotemporal analysis of speckle dynamics to track invisible needle in ultrasound sequences using Convolutional Neural Networks
WO2021099171A1 (en) Systems and methods for imaging screening

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right