KR20170108884A - 조사 모드 초음파 이미징을 위한 경보 지원 - Google Patents

조사 모드 초음파 이미징을 위한 경보 지원 Download PDF

Info

Publication number
KR20170108884A
KR20170108884A KR1020170033878A KR20170033878A KR20170108884A KR 20170108884 A KR20170108884 A KR 20170108884A KR 1020170033878 A KR1020170033878 A KR 1020170033878A KR 20170033878 A KR20170033878 A KR 20170033878A KR 20170108884 A KR20170108884 A KR 20170108884A
Authority
KR
South Korea
Prior art keywords
transducer
scanning
detection
alerting
patient
Prior art date
Application number
KR1020170033878A
Other languages
English (en)
Inventor
안드레 밀코우스키
레이 수이
Original Assignee
지멘스 메디컬 솔루션즈 유에스에이, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 메디컬 솔루션즈 유에스에이, 인크. filed Critical 지멘스 메디컬 솔루션즈 유에스에이, 인크.
Publication of KR20170108884A publication Critical patent/KR20170108884A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4411Device being modular
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54Control of the diagnostic device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0825Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the breast, e.g. mammography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0891Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4461Features of the scanning mechanism, e.g. for moving the transducer within the housing of the probe
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/481Diagnostic techniques involving the use of contrast agent, e.g. microbubbles introduced into the bloodstream
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/485Diagnostic techniques involving measuring strain or elastic properties
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/486Diagnostic techniques involving arbitrary m-mode
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48Diagnostic techniques
    • A61B8/488Diagnostic techniques involving Doppler signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Hematology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

초음파 스캐너에 대한 경보 지원을 위해, 환자가 스캐닝될 때 컴퓨터-보조 검출이 적용된다. 임의의 검출되는 오브젝트들이 사용자에게 통지되어, 적절한 경우 사용자가 더 많은 정보를 수집할 수 있다. 자동화된 시스템은 임의의 검출되는 오브젝트들을 스캐닝하기 위해 복귀하도록 구성될 수 있다. 정보는, 검출에 기반하는 환자의 주어진 검사에 대한 작업 흐름의 부분으로서 수집된다. 가외의 정보로부터 오브젝트의 역학적 특성이 유도되며, 그에 따라, 복귀 방문을 회피하고 그리고/또는 조사 모드 스캔들에서 감도를 증가시키기 위해 사용될 수 있는 추가의 정보가 초래된다.

Description

조사 모드 초음파 이미징을 위한 경보 지원{ALERT ASSISTANCE FOR SURVEY MODE ULTRASOUND IMAGING}
[0001] 본 실시예들은 초음파 이미징(ultrasound imaging)에 관한 것이다. 초음파 이미징에서, 사용자들은 의심스러운 영역(suspicious area)들에 대한 장기(organ)들을 '조사(survey)'한다. 조사는 통상적으로, 장기에 걸친 상이한 평면들을 스캐닝(scan)하기 위해 트랜스듀서(transducer)를 이동시킴으로써 수행된다. 그 목표는 조사하는 동안 생성된 이미지(image)들의 시퀀스(sequence)를 뷰잉(viewing)함으로써, 임의의 의심스러운 오브젝트(object)들을 식별하는 것이다. 때때로, 사용자가 더 빨리 트랜스듀서를 이동시키거나 이미지들을 리뷰(review)하여, 오브젝트를 놓칠 가능성이 증가된다. 이미지 퍼시스턴스(image persistence) 및/또는 관련된 모션 블러(motion blur)는 사용자가 의심스러운 영역을 놓치는 원인이 될 수 있다. 사용자가 의심을 갖는 경우, 사용자들은 감도를 증가시키기 위해 조사 스피드(survey speed)를 감소시키거나 또는 하나의 구역을 반복적으로 스캐닝할 수 있지만, 이는 이용가능하지 않을 수 있는 시간을 필요로 한다. 의심스러운 영역이 식별되지 않거나(감도가 저하됨) 또는 이미징 결과들을 확인하기 위해서는 스캐닝 시간(scanning time)이 연장된다.
[0002] 이를테면, 볼륨 스캐너(volume scanner)에 의한 자동화된 조사들의 경우, 시스템(system)은 환자를 한 번 스위핑(sweep)하여 이미지들의 시퀀스를 생성한다. 의심스러운 오브젝트들에 대한 리뷰는 환자 검사가 완료된 후에 발생할 수 있다. 결과적으로, 환자는 임의의 의심스러운 구역들의 더 상세한 스캔(scan)을 위해서는 다른 검사를 위해 복귀(return)해야 할 수 있다. 이러한 "콜백(call back)" 접근법은 비효율적이며 비용이 많이 들 수 있다.
[0003] 서론으로, 아래에서 설명되는 바람직한 실시예들은 초음파 스캐너에 대한 경보 지원(alert assistance)을 위한 방법들, 명령들, 및 시스템들을 포함한다. 환자가 스캐닝될(scanned) 때, 컴퓨터-보조 검출(computer-assisted detection)이 적용된다. 임의의 검출되는 오브젝트들이 사용자에게 통지되어, 적절한 경우 사용자가 더 많은 정보를 수집할 수 있다. 자동화된 시스템은 임의의 검출되는 오브젝트들을 스캐닝하기 위해 복귀하도록 구성될 수 있다. 정보는, 검출에 기반하는 환자의 주어진 검사에 대한 작업 흐름의 부분으로서 수집된다. 가외의(extra) 정보로부터 오브젝트의 역학적 특성(mechanical property)이 유도되며, 그에 따라, 복귀 방문(return visit)을 회피하고 그리고/또는 조사 모드 스캔들에서 감도를 증가시키기 위해 사용될 수 있는 추가의 정보가 초래된다.
[0004] 제1 양상에서, 초음파 스캐너에 대한 경보 지원을 위한 방법이 제공된다. 초음파 스캐너의 초음파 트랜스듀서(ultrasound transducer)가 환자에 대해 이동하는 조사 모드(survey mode)에서 초음파 트랜스듀서를 이용하여 환자가 스캐닝된다. 스캐닝(scanning)에 의해 포착된 프레임(frame)들의 시퀀스의 각각의 프레임에 초음파 스캐너에 의한 컴퓨터-보조 검출이 적용된다. 초음파 스캐너의 컴퓨터-보조 검출은 프레임들 중 제1 프레임에서 오브젝트를 식별한다. 제1 프레임에서의 오브젝트의 식별에 대한 응답으로, 오브젝트의 역학적 특성이 측정된다. 측정된 역학적 특성 및 제1 프레임을 식별하는 경보(alert)를 갖는 이미지가 생성된다.
[0005] 제2 양상에서, 비-일시적 컴퓨터 판독가능 저장 매체(computer readable storage medium)에는, 초음파 이미징에서의 경보 지원을 위해 프로그래밍된 프로세서(programmed processor)에 의해 실행가능한 명령들을 나타내는 데이터(data)가 저장된다. 저장 매체는, 초음파 트랜스듀서가 환자를 따라 이동하는 동안, 초음파 트랜스듀서를 이용하여 환자의 초음파 이미지들을 생성하기 위한 명령들; 초음파 이미지들의 포착 동안 타겟(target)의 검출을 초음파 이미지들에 적용하기 위한 명령들; 이미지들 중 하나의 이미지에서의 타겟의 검출에 대한 응답으로 초음파 트랜스듀서의 위치를 기록하기 위한 명령들; 검출을 통지하기 위한 명령들; 검출에 대한 응답으로 그리고 위치를 사용하여 오브젝트를 나타내는 데이터를 포착하기 위한 명령들; 데이터로부터 타겟의 특징(characteristic)의 값을 유도하기 위한 명령들; 및 값을 제공하기 위한 명령들을 포함한다.
[0006] 제3 양상에서, 초음파 이미징에서의 경보 지원을 위한 시스템이 제공된다. 로봇(robot)이 트랜스듀서와 연결되고, 로봇은 사전-결정된 스캔 패턴(scan pattern)으로 트랜스듀서를 이동시키도록 구성된다. 송신 빔형성기(beamformer) 및 수신 빔형성기는, 로봇이 트랜스듀서를 이동시키는 동안, 트랜스듀서를 이용하여, 초음파로 환자를 스캐닝하도록 구성된다. 프로세서는, 컴퓨터-보조 검출을 스캔으로부터의 결과들에 적용하고, 사전-결정된 스캔 패턴의 완료 후에 로봇으로 하여금 트랜스듀서를 컴퓨터-보조 검출에 의한 검출의 위치로 복귀시키게 하고, 그리고 위치로 복귀된 트랜스듀서를 이용하여 포착된 정보에 기반하여 조직(tissue)의 역학적 특성을 유도하도록 구성된다. 디스플레이(display)는 위치에 대한 결과들에 대한 플래그(flag)와 함께 조직의 역학적 특성을 디스플레이(display)하도록 동작가능하다.
[0007] 본 발명은 다음의 청구항들에 의해 정의되며, 본 단락의 어떠한 것도 그러한 청구항들에 대한 제한으로서 고려되지 않아야 한다. 본 발명의 추가의 양상들 및 이점들은 바람직한 실시예들과 함께 아래에서 논의되며, 나중에 독립적으로 또는 결합되어 청구될 수 있다.
[0008] 컴포넌트(component)들 및 도면들은 반드시 실척에 맞는 것은 아니며, 대신에 본 발명의 원리들을 예시할 때 강조가 이루어진다. 더욱이 도면들에서, 동일한 참조 번호들은 상이한 도면들 전체에 걸쳐 대응하는 부분들을 지시한다.
[0009] 도 1은 초음파 스캐너에 대한 경보 지원을 위한 방법의 일 실시예의 플로 차트 다이어그램(flow chart diagram)이고;
[0010] 도 2는 역학적 특성을 측정하기 위해 하나의 이미지에서 식별된 오브젝트를 이용하는 조사 모드의 예를 예시하고; 그리고
[0011] 도 3은 초음파 이미징에서의 경보 지원을 위한 시스템의 일 실시예이다.
[0012] 의료 초음파 이미징에서의 조사 모드 작업흐름이 개선된다. 조사 모드 동안, 초음파검사자(sonographer) 또는 로봇은 장기(organ)를 조사하기 위해 그리고/또는 관심 구역을 로케이팅(locate)하기 위해 트랜스듀서를 이동시킨다. 조사에서, 트랜스듀서의 모션(motion)은, 환자의 상이한 구역들을 스캐닝(scanning)하여, 임의의 의심스러운 오브젝트들에 대해 환자의 장기 또는 다양한 구역들을 조사하도록 허용한다. 예컨대, 임의의 종양(tumor)들 또는 낭종(cyst)들에 대해 가슴을 조사하기 위해 트랜스듀서가 환자의 가슴을 따라 이동된다. 관심 구역을 발견하기 위해 환자가 조사될 수 있다. 더 집중적인 이미징을 위해 관심 위치 또는 장기를 발견하기 위해 트랜스듀서가 이동된다. 관심 위치를 발견하기 위해 환자의 부분이 조사된다.
[0013] 사용자가 환자의 오브젝트들을 발견하는 것을 지원하기 위해 조사 모드에서 경보가 제공된다. 경보는 오브젝트의 검출의 사용자에게의 통지, 오브젝트를 나타내는 이미지 또는 데이터의 기록 또는 플래그, 오브젝트를 스캐닝하기 위한 트랜스듀서의 위치의 표시, 리뷰(review) 동안의 이미지 상의 하이라이트(highlight), 또는 다른 실시간 또는 절차 후 경보이다. 사용자는 경보에 의해 지원받는데, 이를테면, 경보는 오브젝트를 놓치는 것을 회피하도록 돕고 그리고/또는 스캐닝할 또는 측정할 곳을 표시한다.
[0014] 하나의 로봇식 스캐닝(robotic scanning) 실시예에서, 이미지 데이터는 음향 및/또는 역학적 특성들로 실시간으로 보완된다. 로봇은 사전 정의된 표준으로 스캐닝한다. 가슴 검사에서 조밀한 영역들과 같은 피처(feature)들을 인지하기 위한 알고리즘(algorithm)이 백그라운드(background)로 실행된다. 임의의 인지된 피처들에 대해, 이미징 자세(imaging posture)(예컨대, 트랜스듀서 포지션(position) 및 각도)가 기록되고 사용자에게 통지된다. 종래의 CINE 루프(CINE loop)에 부가하여, 의심되는 이미지들의 저장 및/또는 의심스러운 오브젝트들을 갖는 이미지들에 대한 라벨(label)들과 같은 경보들이 사용자에게 제공된다. 그 다음에, 사전 정의된 표준으로 스캐닝한 후에, 자동으로 또는 수동으로 타겟 영역으로 복귀함으로써, 타겟의 음향 및/또는 역학적 특성들이 검사된다. 대안적으로, 특성은 조사 스캔(survey scan)으로부터 저장된 데이터로부터 유도된다. 음향 및/또는 역학적 특성들의 연구는, 로봇 또는 사람에 의해 동작되는 상이한 디바이스(device)(즉, 초음파 스캐너 이외의 디바이스)를 이용하여 수행되거나 또는 동일한 초음파 시스템을 이용하여 수행될 수 있다. 연관된 역학적 특성들로 라벨링된(labeled) 의심되는 오브젝트들은 하나 이상의 이미지들 및/또는 볼륨 렌더링(volume rendering)들에서 하이라이팅된다(highlighted).
[0015] 도 1은 초음파 스캐너에 대한 경보 지원을 위한 방법을 도시한다. 트랜스듀서가 환자를 조사하기 위해 이동하는 조사 동작 모드 동안, 컴퓨터-보조 검출은, 역학적 특성이 측정되어야 하는 위치들을 표시한다. 이는, 환자가 떠나고 나서 다른 검사를 위해 돌아와야 할 가능성을 제한하는 것 및 감도를 증가시키는 것 둘 모두를 하면서, 의심스러운 구역을 사용자에게 경보하고 그리고 작업흐름의 필요한 데이터 부분을 수집하게 한다. 방법은 의료 진단을 위해 의사(physician)에 의해 사용가능한 정보를 수집하기 위한 의료 이미징 및 스캐닝을 개선한다.
[0016] 방법은 도 3의 시스템 또는 상이한 시스템에 의해 구현된다. 예컨대, 초음파 이미징 시스템은 빔형성기들 및 트랜스듀서를 사용하여 초음파 이미지들을 생성한다. 초음파 이미징 시스템의 프로세서, 제어기, 또는 이미지 프로세서는 컴퓨터-보조 검출을 적용하여 오브젝트를 식별하고, 트랜스듀서 및/또는 오브젝트의 위치를 기록하고, 검출을 통지한다. 초음파 이미징 시스템 또는 다른 디바이스는, 오브젝트에 대한 데이터를 포착하고, 오브젝트의 역학적 특성을 유도하고, 경보로서 값을 제공하여 사용자를 지원한다. 데이터를 포착하고, 동작들 중 하나 이상을 수행하며, 그리고/또는 데이터를 출력하기 위해, 빔형성기들, 메모리(memory), 검출기들 및/또는 다른 디바이스들이 사용될 수 있다. 프로세서는 도 1의 방법을 수행하도록 디바이스들을 제어할 수 있다.
[0017] 추가적인 동작들, 상이한 동작들, 또는 더 적은 동작들이 제공될 수 있다. 예컨대, 방법은 동작(32)에서의 위치의 기록 또는 동작(34)에서의 통지 없이 수행된다. 다른 예로서, 방법은 동작(40)에서 값을 제공함이 없이 수행된다. 동작(34) 및 동작(40)은 동일한 동작일 수 있는데, 이를테면, 동작(40)의 값의 제공은 동작(34)의 검출의 통지이다.
[0018] 동작들은 설명된 또는 도시된 순서로(예컨대, 위에서 아래로) 수행되지만, 다른 순서들로 수행될 수 있다. 동작(32) 및/또는 동작(34)은, 동작들(36, 38, 및/또는 40) 중 임의의 동작 전에, 후에, 또는 동시에 발생할 수 있다.
[0019] 동작(26)에서, 초음파 스캐너는 환자의 초음파 이미지들을 생성한다. 이미지들은, 환자를 스캐닝함으로써 생성된다. 대안적으로, 이미지들은 메모리로부터 데이터의 프레임들을 로딩(loading)함으로써 생성된다. 이미지들은, 메모리에 저장된 환자의 이전의 스캔으로부터 생성되었다.
[0020] B-모드(B-mode), 흐름 모드(예컨대, 도플러(Doppler) 속도 또는 파워(power)), 대조 에이전트(contrast agent), 고조파, 펄스파 도플러(pulsed wave Doppler)(즉, 스펙트럼 도플러(spectral Doppler)), M-모드, 도플러 조직(Doppler tissue)(즉, 조직 모션(tissue motion)), 또는 환자와의 음향 상호작용을 나타내는 다른 초음파 이미징 모드와 같은 임의의 유형의 초음파 이미지들이 생성될 수 있다. 상이한 모드들은 상이한 유형들의 정보, 이를테면, 음향 리턴(acoustic return)의 강도(예컨대, B-모드 및 M-모드) 또는 속도(예컨대, 흐름 모드 또는 도플러 조직)를 검출한다.
[0021] 이미지들을 포착하기 위해, 초음파 트랜스듀서가 환자를 따라 이동된다. 이동은 환자의 피부를 따르지만, 환자 내부의 혈관 또는 장기를 따를 수 있다(예컨대, 프로브(probe) 또는 카테터(catheter)를 이용한 스캐닝). 스캐닝 및 이미징을 위한 전체적인 프로세스(process)는, 환자 상에 트랜스듀서를 위치시키는 것, 환자를 조사하기 위해 트랜스듀서를 회전 및/또는 병진시키는 것, 트랜스듀서가 이동하는 동안 스캐닝하는 것, 및 조사의 부분으로서 이미지들을 생성하는 것을 포함한다. 이 프로세스에서, 트랜스듀서는 환자로부터 들어올려질 수 있거나 또는 들어올려지지 않을 수 있다. 트랜스듀서가 환자를 따라 이동하는 동안 그리고/또는 트랜스듀서를 이용하여 스캐닝하는 동안 이미지들이 생성된다. 대안적으로, 조사하는 동안 또는 트랜스듀서를 이동시키는 동안 데이터의 프레임들이 포착되고, 이미지들은 나중에 생성된다.
[0022] 조사 모드 동안, 트랜스듀서가 환자에 대해 이동됨에 따라 스캐닝이 발생한다. 이동은, 환자의 내부 부분들이 아니라, 트랜스듀서가 이동하는 것이다. 트랜스듀서는, 트랜스듀서와 접촉하는 환자의 조직에 대해 이동한다. 트랜스듀서의 이동은, 초음파 스캐너로 하여금 상이한 시간들에서 환자의 상이한 평면(plane)들 또는 볼륨(volume)들을 스캐닝하게 한다. 이러한 방식으로, 시간에 따라 환자가 조사된다. 스캔들의 시퀀스는 환자의 상이한 부분들을 나타내는 데이터를 포착한다.
[0023] 일 실시예에서, 트랜스듀서는 사용자 또는 초음파검사자에 의해 수동으로 이동된다. 사용자는 트랜스듀서를 홀딩(hold)하고, 환자를 조사하기 위해 트랜스듀서를 슬라이딩(slide)시키고 그리고/또는 회전시키는데, 이를테면, 장기(예컨대, 가슴)를 통해 상이한 평면들을 스캐닝하기 위해 트랜스듀서를 병진시킨다.
[0024] 다른 실시예에서, 트랜스듀서는 자동으로 이동된다. 로봇이 환자를 스캐닝한다. 로봇은 트랜스듀서의 포지션 및/또는 이동을 제어한다. 예컨대, 로봇식 아암(robotic arm)은 트랜스듀서를 병진 및/또는 회전시키기 위해 하나 이상의 관절(joint)들을 움직인다. 다른 예에서, 로봇은 평평한 또는 만곡된 플레이트(plate) 또는 표면을 따라 트랜스듀서를 이동시키기 위해, 체인 드라이브(chain drive), 스크루 드라이브(screw drive), 기어링(gearing), 랙(rack) 및 피니언(pinion), 또는 다른 트랜스미션(transmission)을 포함한다. 스캐닝 동안 이동시키기 위한 사용자 힘이 인가됨이 없이 트랜스듀서를 이동시키기 위해, 모터(motor)를 가진 임의의 현재 알려진 또는 나중에 개발되는 로봇식 시스템이 사용될 수 있다. 자동화된 가슴 볼륨 또는 다른 스캐닝이 로봇을 사용할 수 있다.
[0025] 로봇 및/또는 사용자는 사전 정의된 구역에 걸쳐 트랜스듀서를 이동시킨다. 스캐닝을 위해 사전-결정된 패턴이 사용된다. 예컨대, 로봇은 스캐닝하기 위해 트랜스듀서를 상이한 포인트(point)들로, 회전 범위에 걸쳐, 그리고/또는 병진 범위에 걸쳐 이동시킨다. 사전-결정된 패턴은 트랜스듀서의 이동에서 사용되는 간격, 스피드, 범위들 및/또는 단계들을 정의한다. 각각의 스캔이 발생하는 시간 및/또는 포지션이 설정될 수 있다. 대안적으로, 스캐닝은, 트랜스듀서가 이동하는 동안 포지션과 상관없이 연속적이거나 주기적이다. 다른 실시예들에서, 조사는, 이를테면, 수동 조사 동안, 사전-결정 없이 임의의 구역에 걸쳐 발생한다.
[0026] 도 2는 조사 모드 포착(40)의 예를 도시한다. 트랜스듀서(14)가 이동되어, 데이터의 프레임들(44)이 포착되는 것을 초래한다. 이 예에서, 상이한 프레임들(44)은 상이한 병렬 평면들을 나타낸다.
[0027] 이미징의 조사 모드 동안, 많은 양의 데이터가 수집된다. 평면 또는 볼륨의 각각의 스캔은 데이터의 프레임을 제공한다. 트랜스듀서의 다양한 포지션들에 대한 데이터의 프레임들이 제공된다. 각각의 프레임으로부터 이미지가 생성될 수 있다. 퍼시스턴스 또는 다른 합성의 이용시, 다수의 프레임들로부터 이미지들이 생성될 수 있다. 한 번의 검사에서(예컨대, 사전 결정된 패턴의 일 구현 및/또는 초음파검사자에게로의 환자의 주어진 방문 동안) 환자를 조사하기 위해 수십, 수백, 또는 수천 개의 프레임들 및/또는 이미지들이 생성된다. 많은 수의 프레임들 또는 이미지들은, 데이터를 리뷰하고 의심스러운 타겟들을 식별하기가 까다롭다는 문제를 제기한다.
[0028] 동작(28)에서, 초음파 스캐너 또는 이미지 프로세서는, 스캐닝에 의해 포착된 시퀀스의 이미지들 또는 프레임들 각각에 대해 컴퓨터-보조 검출(computer-assisted detection)을 적용한다. 이미지들은 디스플레이 값들(RGB) 또는 디스플레이 값들을 생성하는 데 사용되는 스칼라 데이터(scalar data)일 수 있다. 프레임들은 다른 프로세싱(processing) 스테이지(stage)들에서의 데이터 또는 이미지들이다. 스캐닝은 이미지들 및/또는 프레임들의 시퀀스를 제공한다. 본원에서 설명된 컴퓨터-보조 검출 및 다른 프로세싱이 프레임들 및/또는 이미지들에 적용된다.
[0029] 임의의 현재 알려진 또는 나중에 개발되는 컴퓨터-보조 검출이 적용될 수 있다. 예컨대, 패턴 매칭(pattern matching)은, 종양 또는 낭종을 표시하는 패턴이 프레임 또는 이미지에 로케이팅되어(located) 있는지의 여부를 결정하는 데 사용된다. 다른 예로서, 임계값처리(thresholding), 분할(segmentation) 또는 다른 이미지 프로세싱이 적용된다. 더 신속한 검출을 위해, 기계-학습 검출기가 적용될 수 있다. 기계-학습 검출은, 프레임 또는 이미지로부터의 입력 피처들(예컨대, 스티어링가능(steerable) 피처들 또는 하 웨이블릿(Haar wavelet)들)을 의심스러운 오브젝트들과 관련시키는 베이지안 네트워크(Bayesian network), 지원 벡터 기계(support vector machine), 신경 네트워크, 또는 다른 검출기이다.
[0030] 컴퓨터-보조 검출이 기계 학습에 기반하는 경우, 자가-학습(self-learning) 또는 피드백 학습(feedback learning)이 사용될 수 있다. 의사가 검출된 오브젝트들을 리뷰하고, 오브젝트가 의심스러운지 또는 관심 대상인지의 여부를 표시함에 따라, 이 정보는 부가적인 그라운드 트루스(ground truth)와 함께 검출기를 재-학습 또는 업데이트(update)하기 위한 추가의 트레이닝 데이터(training data)로서 사용될 수 있다.
[0031] 컴퓨터-보조 검출은 프레임들 모두에 적용된다. 다른 실시예들에서, 검출은 모든 프레임들보다는 더 적은 프레임들에 적용된다. 초음파 스캐너가 조사 모드를 위해 구성될 수 있는 경우, 검출은 모든 프레임들에 적용될 수 있다. 다른 접근법들에서, 검출은 트랜스듀서 이동과 연관된 프레임들에 적용된다. 트랜스듀서 상의 센서(sensor), 로봇의 동작의 지식, 및/또는 데이터 상관을 사용하여 트랜스듀서의 이동을 검출하여서, 초음파 스캐너는 검출을, 이동과 연관된 프레임들에 적용하고, 트랜스듀서가 정지된 프레임들에는 적용하지 않을 수 있다.
[0032] 프레임들 또는 이미지들의 포착 동안, 컴퓨터-보조 검출이 적용된다. 적용(application)은 실시간이다. 프레임을 프로세싱(process)하는 기간은 새로운 프레임을 포착하는 기간과 동일하거나 또는 새로운 프레임을 포착하는 기간 미만이어서, 적용이 실시간으로 발생하도록 허용하는데, 이를테면, 스캔을 생성한 1초 이내에 검출의 적용이 완료된다. 다른 실시예들에서, 적용은, 스캐닝이 완료된 후에 사후 프로세스(post process)에서 발생한다. 스캐닝 동안의 검출의 적용과 사후 프로세스로서의 검출의 적용의 조합들이 사용될 수 있다.
[0033] 상이한 컴퓨터-보조 검출기들은 상이한 유형들의 오브젝트들 및/또는 상이한 상황들의 오브젝트들을 검출할 수 있다. 다수의 검출기들이 각각의 프레임에 적용될 수 있다. 일 실시예에서, 적용될 검출기들은 검사의 유형에 기반하여 선택된다. 예컨대, 사용자는 가슴 검사를 위해 초음파 스캐너를 구성한다. 가슴의 의심스러운 오브젝트들(예컨대, 종양들 및/또는 낭종들)을 검출하기 위한 검출기 또는 검출기들이 선택되어 적용된다. 다른 예로서, 사용자는 암(cancer)을 검출하기 위한 가슴 검사를 위해 초음파 스캐너를 구성한다. 가슴에서 암 오브젝트(cancer object)들을 검출하기 위한 검출기 또는 검출기들이 선택된다. 선택은 프로세서에 의해 자동적이거나, 또는 사용자가 검출기들을 선택한다.
[0034] 동작(30)에서, 이미지 프로세서 또는 초음파 스캐너에 의해 하나 이상의 오브젝트들이 식별된다. 프레임들 또는 이미지들 중 임의의 수의 프레임들 또는 이미지들에서 하나 이상의 오브젝트들이 식별된다. 일부 프레임들은 타겟 오브젝트들 중 어떠한 것도 포함하지 않는 것으로 결정될 수 있다. 포착된 이미지들 각각 또는 일부에 대해, 타겟들이 인지된다. 예컨대, 컴퓨터-보조 검출은 천 개의 이미지들 중 5개의 이미지들에서 의심스러운 오브젝트들을 로케이팅(locate)한다. 종양 또는 다른 오브젝트가 식별된다. 어떠한 오브젝트들도 검출되지 않을 수 있다.
[0035] 도 2는 예를 도시한다. 검출 동작(42)에서, 프레임들(44) 중 하나의 프레임에서 오브젝트(46)가 검출된다. 트랜스듀서(14)는, 오브젝트(46)를 갖는 프레임(44)을 포착하기 위해, 환자에 대해 주어진 위치에 포지셔닝된다(positioned).
[0036] 컴퓨터-지원 특성화(computer-aided characterization)가 실시간으로 실행되는 경우, 환자를 조사하면서 실시간 스캐닝 동안 의심스러운 영역들이 하이라이팅된다. 스캐닝 동안 오브젝트들이 식별된다. 사후 프로세싱의 경우, 의심스러운 영역들은, 스캐닝이 완료된 후에 로케이팅된다(located).
[0037] 퍼시스턴스, 스티어링된(steered) 공간 합성, 또는 다른 합성이 사용되는 경우, 식별은, 퍼시스턴스 또는 합성 이미징의 부분으로서 디스플레이되지(displayed) 않는 이미지들 또는 프레임들에 있을 수 있다. 예컨대, 검출기는, 퍼시스트(persist)하기 위해 또는 공간적으로 합성하기 위해 사용된 컴포넌트 프레임(component frame)들에 적용된다. 조사 이미징의 경우, 컴포넌트 프레임들 또는 이미지들을 디스플레이(displaying)하지 않고, 퍼시스트된(persisted)(예컨대, 시간적으로 필터링된(temporally filtered)) 또는 공간적으로 합성된(예컨대, 상이한 스티어링 방향(steering direction)들을 갖는 프레임들의 조합) 이미지들이 디스플레이된다(displayed). 검출은 컴포넌트 프레임들 또는 이미지들 그리고/또는 합성된 바와 같은 프레임들 또는 이미지들에 적용된다. 검출이 포지티브(positive)인 경우, 컴포넌트 프레임 또는 이미지는 합성 또는 퍼시스턴스 없이 디스플레이될 수 있다. 대안적으로 또는 부가적으로, 검출의 신뢰도(confidence)를 표시하기 위해, 컴포넌트 프레임들 중 다수의 컴포넌트 프레임들에서의 검출 여부가 사용될 수 있다.
[0038] 동작(32)에서, 초음파 스캐너 또는 이미지 프로세서는 이미지들 중 하나의 이미지에서의 타겟의 검출에 대한 응답으로 초음파 트랜스듀서의 위치를 기록한다. 검출기는 프레임에서 오브젝트를 검출한다. 그 프레임은 트랜스듀서의 주어진 포지션에 대응한다. 검출된 프레임에 대한 트랜스듀서의 포지션이 기록된다. 검출에 대한 응답으로, 검출된 오브젝트를 갖는 임의의 프레임들에 대한 위치가 룩업될(looked-up) 수 있도록, 모든 프레임들에 대해 기록이 수행될 수 있다. 대안적으로, 기록은, 오브젝트가 검출된 프레임들에 대해서만 발생한다.
[0039] 기록은 전자적이거나 물리적이다. 트랜스듀서 위치는, 이를테면, 광학 시스템, 자기 시스템, 또는 다른 트랜스듀서 추적에 의해 추적될 수 있다. 트랜스듀서의 측방향 포지션 및 배향이 추적된다. 이들 시스템들은 교정된 참조 프레임에 기반하여 위치를 전자적으로 기록한다. 관성 추적(inertial tracking)이 사용될 수 있다. 물리적 기록의 경우, 트랜스듀서의 포지션이 물리적으로 마킹된다(marked). 예컨대, 위치가 환자 상에 그리고/또는 음향 커플링 겔(acoustic coupling gel)에 마킹되도록, 트랜스듀서는 검출 시에, 컬러링된 잉크(colored ink) 또는 염료(dye)를 배출한다. 다른 예로서, 마킹(marking)은 트랜스듀서를 위한 가이드(guide) 또는 프레임 상에 표시된다.
[0040] 마찬가지로, 프레임 또는 이미지는 식별된 오브젝트와 함께 또는 식별된 오브젝트 없이 기록될 수 있다. 검출된 오브젝트들을 갖는 프레임들 또는 이미지들의 세트(set)가, 사용자에 의한 참조를 위해 생성된다. 대안적으로, 이미지들 또는 프레임들의 시퀀스에서 프레임 또는 이미지의 아이덴티티(identity)가 기록된다. 프레임 또는 이미지는 시퀀스로부터 리콜될(recalled) 수 있다.
[0041] 동작(34)에서, 이미지 프로세서 또는 초음파 스캐너는 검출을 통지한다. 통지는 사용자에게로의 출력이다. 임의의 출력이 사용될 수 있다. 일 실시예에서, 출력은 디스플레이 상에서 시각적이다. 오브젝트가 검출되었다는 것을 표시하는 텍스트(text) 또는 심볼(symbol)이 출력된다. 검출된 오브젝트를 갖는 이미지는, 통지로서 이미지 내의 검출된 오브젝트를 하이라이팅(highlighting)하거나 또는 하이라이팅하지 않고 출력될 수 있다. 다른 예시적 출력은 환자 또는 음향 겔이 염색(dying)되거나 또는 착색(staining)되는 것이다.
[0042] 일 실시예에서, 통지는 위치를 포함한다. 위치는 좌표들, 환자 상의 공간 포지션(예컨대, 환자 상에 마킹되거나 또는 환자의 그래픽(graphic) 상에 표시됨), 트랜스듀서가 위치를 향해 또는 위치에서 이동하는지를 표시하는 피드백(feedback), 또는 위치의 다른 표시자로서 제공된다.
[0043] 부가적인 또는 대안적인 실시예들에서, 통지는 오디오(audio)에 의해 제공된다. 검출 시에 잡음이 만들어진다. 잡음은, 트랜스듀서가 실시간 구현에서 위치에 있다는 것을 표시한다. 대안적으로, 잡음은, 사용자로 하여금 트랜스듀서를 위치에 포지셔닝(position)하도록 가이드(guide)하기 위한 피드백(예컨대, 위치에 더 접근할수록 더 큰 주파수를 갖는 주기적 톤(periodic tone))으로서 제공된다.
[0044] 오디오와 비디오(video)의 조합과 같은 다른 통지들이 사용될 수 있다. 촉각(예컨대, 트랜스듀서의 진동) 및/또는 냄새가 사용될 수 있다. 통지는, 발생, 트랜스듀서 및/또는 스캔 평면의 위치, 이미지 내의 오브젝트의 위치, 검출에 관한 다른 정보, 및/또는 이들의 조합들에 대한 것이다.
[0045] 통지는 검출의 발생 시에 제공된다. 일단 검출되면, 트랜스듀서가 동작(36)에서 부가적인 정보를 수집하기 위해 포지션에서 유지될 수 있도록, 통지가 출력된다. 로봇식 구현의 경우, 검사가 예상보다 더 오래 걸릴 수 있다는 것을 환자에게 알릴 수 있도록 통지가 사용될 수 있다. 대안적인 또는 부가적인 실시예들에서, 통지는 검출의 발생 후에 수 초, 수 분, 수 시간 또는 임의의 기간으로 제공된다. 예컨대, 사전-결정된 포맷(format)의 스캔이 완료된 후에, 로봇식 시스템은, 하나 이상의 오브젝트들의 검출로 인해 추가의 스캐닝이 발생된다는 것을 통지한다. 다른 예로서, 의사는 나중의 리뷰를 위해 검사 결과들을 로딩(load)한다. 의사는 검출이 발생했다는 것을 통지받는다. 이 통지는, 검출된 오브젝트들, 플래그들, 또는 다른 정보로 플래그된 이미지(flagged image)들의 세트일 수 있다.
[0046] 일 실시예에서, 초음파 스캐너 또는 이미지 프로세서는, 트랜스듀서의 위치, 이미지 내의 오브젝트의 위치 및/또는 발생에 부가하여 또는 그 이외의, 검출에 관한 정보를 제공한다. 예컨대, 검출의 신뢰도가 제공된다. 기계-학습 분류자들이 신뢰도 정보를 제공할 수 있다. 이미지와 템플레이트(template)의 상관 정도 또는 퍼지 로직-기반 신뢰도(fuzzy logic-based confidence)와 같은 다른 신뢰도 소스(source)들이 사용될 수 있다. 동일한 또는 오버랩하는(overlapping) 시야(field of view)들을 나타내는 다수의 이미지들 또는 프레임들이 제공되는 경우(예컨대, 느린 이동 트랜스듀서 및/또는 합성 유형의 이미징), 다수의 프레임들 또는 이미지들로부터의 신뢰도들이 조합되어(예컨대, 평균되어) 특정 오브젝트에 대한 신뢰도를 제공할 수 있다.
[0047] 이 신뢰도는 퍼센티지(percentage)로서, 컬러-코딩(color-coding)으로서, 또는 다른 표시자로서 사용자에게 출력된다. 일 실시예에서, 이미지 내의 오브젝트의 하이라이팅(highlighting)의 상이한 컬러들 및/또는 강도들은 상이한 범위들 또는 레벨(level)들의 신뢰도를 나타낸다. 이미지들을 나타내는 순서와 같은 다른 신뢰도 표시자들이 제공될 수 있다. 저장된 이미지들은, 가장 신뢰적인 검출들이 처음에, 마지막에, 또는 신뢰도에 따라 랭크된(ranked) 순서로 제공된다.
[0048] 대안적인 실시예들에서, 사용자에게 통지되지 않는다. 대신에, 동작들(36, 38, 및 40)은 별개의 통지 없이 수행된다. 동작(40)은, 역학적 특성의 값을 제공하는 것이 오브젝트가 검출되었다는 것을 표시한다는 의미에서 통지의 형태일 수 있다.
[0049] 동작(36)에서, 초음파 스캐너, 다른 스캐너(예컨대, x-레이(x-ray)), 및/또는 실험실 테스팅 장비(laboratory testing equipment)(예컨대, 로봇식 생검(robotic biopsy))는 검출에 대한 응답으로 오브젝트를 나타내는 데이터를 포착한다. 역학적 특성에 대한 데이터를 포착하기 위해, 동일한 또는 상이한 측정 도구들(예컨대, 자기 공명, 초음파, 수동 탭(manual tap), 또는 다른 도구)이 사용된다. 환자의 오브젝트에 대해 수행되는 측정에 의해 데이터가 포착된다. 예컨대, 초음파 스캐너는 상이한 또는 부가적인 데이터를 수집하기 위해 오브젝트를 재-스캐닝(re-scan)한다. 대안적으로, 이를테면, 추가의 정보를 유도하기 위해 위치에서 프레임 또는 이미지 데이터(즉, 오브젝트를 검출하기 위해 사용되는 데이터)를 사용하여, 데이터가 메모리로부터 포착된다.
[0050] 포착된 데이터는 역학적 특성에 대한 것이다. 단지 이미징을 위해 스캐닝하기보다는(예컨대, 음향 리턴의 강도(B-모드) 및/또는 흐름의 파워 또는 속도(흐름 모드)), 오브젝트 자체의 역학적 특성 또는 특징을 나타내는 데이터가 포착된다. 예컨대, 탄성, 전단 속도, 영률(Young's modulus), 변형, 변형률, 또는 오브젝트의 다른 파라미터화(parameterization)가 측정된다. 측정은 오브젝트의 특징들을 유도하기 위해 단지 이미지 또는 데이터의 프레임보다는 더 많은 것을 사용한다. 측정은 오브젝트에 포커싱되고(focused) 그리고/또는 조사를 위한 이미지들의 생성에 대해서보다는 더 작은 시야를 가질 수 있다.
[0051] 이미지 프로세서, 초음파 스캐너, 또는 다른 제어기는 검출된 오브젝트에 대한 데이터의 포착을 야기한다. 포착은 자동화되거나, 반자동이거나, 또는 수동이다. 제어기는, 환자의 주어진 방문 또는 검사 동안 사용자가 데이터를 포착하도록, 사용자에게 명령들을 디스플레이할 수 있다. 사용자는 측정을 위해 디바이스를 이동시킨다. 일단 사용자가 작동시키고 그리고/또는 포지셔닝(positioning)하면, 제어기는 측정 및/또는 측정을 위한 포지셔닝과 같은 일부 동작들을 자동으로 수행할 수 있다. 제어기는, 위치, 스캐닝, 및/또는 작동의 사용자 입력 없이, 측정을 위해 로케이팅(locate)하고(예컨대, 트랜스듀서를 로봇식으로(robotically) 이동시킴) 측정을 수행할 수 있다(예컨대, 오브젝트의 역학적 특성을 스캐닝함). 데이터는 실시간으로(예컨대, 동일한 검사 동안) 포착되거나 또는 나중에(예컨대, 수동으로 오프-라인(off-line)으로) 수행된다.
[0052] 역학적 특성에 대한 데이터를 포착하기 위해, 오브젝트의 위치가 사용된다. 초음파 스캐너, 제어기, 또는 이미지 프로세서는, 오브젝트를 스캐닝할 때 트랜스듀서가 있었던 위치를 사용한다. 스캔 포맷에 기반하여 트랜스듀서의 그 위치 및 트랜스듀서에 대한 오브젝트의 위치가 데이터를 포착하는 데 사용된다. 데이터가 오브젝트로부터 포착되고, 트랜스듀서의 위치는, 오브젝트가 발견될 수 있는 곳을 표시하기 위해 사용된다. 마킹 및/또는 포지션 감지를 사용하여, 측정을 위해 디바이스를 포지셔닝하는 데 위치 정보가 사용된다. 동작(32)과 동작(36) 사이의 점선 화살표에 의해 나타낸 바와 같이, 동작(32)의 기록된 위치는, 동작(36)에서 오브젝트에 관한 추가의 정보의 포착을 가이드하기 위해 사용될 수 있거나 또는 사용되지 않을 수 있다. 의심되는 이미지들의 위치의 기록은, 로봇 자세(robotic posture), 전자기 센서(electromagnetic sensor), 관성 로케이터(inertial locator), 프로브 드롭 마커(probe dropped marker), 음향 이미지들 그 자체, 및/또는 비디오 기록 스캐닝으로부터 비롯될 수 있다.
[0053] 예컨대, 로봇은 특징을 측정하기 위해 사용되는 데이터를 포착하기 위해 트랜스듀서를 포지셔닝한다. 초음파 트랜스듀서와 연결된 모터는, 트랜스듀서가 오브젝트를 스캐닝하기 위한 포지션으로 복귀하도록 야기한다. 포지션은, 오브젝트가 검출된 조사 동안 사용된 포지션과 동일한 포지션이다. 트랜스듀서는, 오브젝트가 검출된 프레임을 포착하기 위해, 트랜스듀서가 환자를 스캐닝한 위치로 복귀된다. 조사를 위해 사전-결정된 스캔 패턴을 완료한 후에 또는 패턴을 인터럽트(interrupting)함으로써, 트랜스듀서는 오브젝트를 다시 스캐닝하도록 유지되거나 또는 재포지셔닝된다(repositioned). 그 다음에, 역학적 특성이 측정된다.
[0054] 수동적 조사 실시예에서, 사용자는 조사를 중지하고, 조사를 늦추고, 그리고/또는 조사 후에 데이터를 포착하기 위해 복귀한다. 예컨대, 트랜스듀서는 정지되거나 또는 데이터를 포착하기 위해 위치로 복귀된다(예컨대, 전단파 측정들을 수행함). 다른 예로서, 사용자는 통지 시에 조사를 일시적으로 중단하고, 트랜스듀서를 제 위치에서 홀딩(holding)한다. 그 다음에, 트랜스듀서는 추가의 데이터를 포착하는 데 사용된다.
[0055] 자동화된 또는 로봇식 조사 실시예에서, 로봇은 조사를 중지하거나 또는 조사를 완료한 후에 트랜스듀서를 위치로 복귀시킨다. 일단 검출된 오브젝트에 대응하는 위치로 트랜스듀서가 복귀되면, 탄성 이미징(elasticity imaging)과 같은 부가적인 인테로게이션(interrogation)이 초음파 스캐너에 의해 수행된다. 오브젝트의 실시간 검출에 기반하는 데이터의 포착은, 검사의 부분으로서 그리고/또는 환자가 검사를 떠나지 않으면서 발생한다. 의심스러운 오브젝트 또는 오브젝트들에 관한 정보를 수집하는 것을 포함하는 검사가 자동으로 발생되어, 환자의 주어진 약속 또는 검사의 종료 시에는 더 많은 또는 완전한 정보를 제공한다. 환자와 여러 번 약속들을 잡거나 또는 환자를 여러 번 검사하지 않고도, 진단을 위한 조사 및 추가의 정보 둘 모두가 포착된다. 검출 및 데이터의 포착은 더 콤팩트한 리포팅(compact reporting)을 또한 제공할 수 있는데, 이를테면, 조사와 함께 또는 조사 없이 검출된 오브젝트들 및 포착된 데이터를 갖는 이미지들 또는 프레임들을 전송하여서, 방사선과의사(radiologist)가 관심있는 정보에 포커싱(focus)할 수 있다.
[0056] 동작(36)에서 데이터를 포착하는 이미지 프로세서, 초음파 스캐너, 및/또는 다른 디바이스는 동작(38)에서, 포착된 데이터로부터 타겟의 특징의 값을 유도한다. 포착된 데이터는 역학적 특성을 유도하는 데 사용된다. 오브젝트의 특징은 역학적 특성으로서 측정되지만, 오브젝트의 다른 특징들이 계산될 수 있다.
[0057] 오브젝트의 식별 또는 검출에 대한 응답으로, 역학적 특성이 측정된다. 임의의 역학적 특성 또는 다른 특징이 유도될 수 있다. 예컨대, 초음파 스캐너는 변형, 변형률, 전단 속도, 탄성 또는 영률을 측정한다. 이들 역학적 특성들은 이미징으로부터의 에너지(energy)에 대한 응답보다 더 많은 것을 나타낸다. 변형 및 변형률의 경우, 조직의 모션으로 인한 변형을 유도하기 위해 다수의 스캔들이 제공된다. 전단 속도, 탄성, 또는 영률의 경우, 음향 또는 다른 힘에 의해 조직이 변위되고, 변위 또는 생성된 파에 대한 조직 응답이 측정된다. 오브젝트의 특징은 단지 이미징보다는 더 많은 것으로부터 유도된다. 그 다음에, 전단 속도 또는 탄성을 유도하는 데 사용되는 시간에 따른 변위를 계산하기 위해 다수의 스캔들이 사용될 수 있다. 영률은 전단 속도 및/또는 탄성으로부터 유도된다. 변위를 계산하기 위한 기준과 같은, 조사로부터의 프레임이 사용될 수 있지만, 오브젝트의 특징을 유도하기 위한 다른 데이터 프레임들이 동작(36)에서 포착된다.
[0058] 동작(40)에서, 초음파 스캐너, 이미지 프로세서, 또는 다른 디바이스는 유도된 값 또는 값들을 제공한다. 값은 진단적으로 유용할 수 있으며, 이미징에 부가하여 정보를 제공한다. 값은 사용자에게 출력되는데, 이를테면, 디스플레이 상에서 출력된다. 일 실시예에서, 하이라이팅되는 검출된 오브젝트를 갖는 이미지의 디스플레이가 생성된다. 특징의 값은 주석(annotation), 라벨로서 그리고/또는 이미지에서 텍스트, 그래프(graph), 바(bar), 컬러 코딩(color coding) 및/또는 밝기 코딩(brightness coding)으로서 제공된다. 디스플레이를 뷰잉(viewing)함으로써, 환자 및 오브젝트의 이미지뿐만 아니라 오브젝트의 역학적 특성 또는 특성들의 표시가 제공된다.
[0059] 일 실시예에서, 값은 동작(34)의 통지로서 또는 통지와 함께 제공된다. 다른 실시예들에서, 값은 통지와 별개로 제공되는데, 이를테면, 통지 후에 그리고 진단을 위한 후속 리뷰 동안 그리고/또는 동작(36)에서의 부가적인 데이터의 포착을 확인하기 위해 값이 제공된다. 어느 경우이든, 오브젝트의 특성에 대해 사용자에게 경보되어서, 조사를 지원한다.
[0060] 디스플레이 이외의 다른 출력들이 사용될 수 있다. 값은 환자 기록에 조사와 함께 그리고/또는 위치, 오브젝트, 및/또는 검출된 오브젝트들을 갖는 프레임들의 기록들과 함께 저장될 수 있다. 그 다음에, 값은 리뷰 동안 사용자에게 디스플레이된다.
[0061] 동작(28)은, 조사 모드에서 스캐닝에 의해 생성된 시퀀스의 모든 또는 다수의 프레임들 또는 이미지들에 적용된다. 동작(30)에서 오브젝트들이 다수의 프레임들에서 검출되는 경우, 위치 및/또는 프레임들이 동작(32)에서 저장되고 별개의 통지들이 동작(34)에서 제공된다. 다른 실시예들에서, 검출된 오브젝트들에 관한 위치들, 프레임들, 이미지들, 또는 다른 정보의 리스트(list)를 갖는 하나의 통지가 조사의 완료 시에 또는 나중에 제공된다. 동작(32)이 각각의 오브젝트에 대해 반복되기 때문에, 검출된 오브젝트들을 갖는 프레임들의 그룹(group)이 식별 또는 수집된다. 이 그룹은 리뷰 또는 추가의 분석을 위해 조사와는 별개로 제공될 수 있다. 동작들(36, 38, 및 40)은 각각의 오브젝트에 대해 수행된다.
[0062] 사용자가, 검출된 오브젝트들의 이미지들을 유도된 값들과 함께 리뷰할 때, 사용자는 오브젝트의 검출이 정확한지 아닌지를 표시할 수 있다. 예컨대, 값 및/또는 이미지는, 오브젝트가 종양, 낭종, 또는 다른 관심 오브젝트인지의 여부를 사용자에게 보여줄 수 있다. 사용자는 검출이 정확한지의 여부를 입력한다. 이 피드백은 그라운드 트루스 정보(ground truth information)로서 사용된다. 이미지 및 피드백은 동작(28)에서 적용된 검출기를 업데이트하기 위한 기계 학습을 위해 제공된다.
[0063] 도 3은 초음파 이미징에서의 경보 지원을 위한 시스템(10)의 일 실시예를 도시한다. 시스템은 오브젝트 검출을 적용하는 데 있어서 경보되어 지원을 제공한다. 대안적으로 또는 부가적으로, 시스템은 오브젝트 검출을 사용자에게 경보한다. 초음파 시스템은 환자를 조사하도록 구성된다. 조사 동안, 포착된 데이터는 관심 오브젝트들에 대해 시스템에 의해 분석된다. 임의의 오브젝트들이 검출되는 경우, 시스템은 오브젝트에 관한 역학적 특성 정보를 포착한다. 단지 조사로부터의 이미지들만을 제공하기보다는, 관심 오브젝트들에 대한 이미지들 및 역학적 특성 정보가 제공된다.
[0064] 시스템(10)은 의료 진단용 초음파 이미징 시스템(medical diagnostic ultrasound imaging system)이다. 대안적인 실시예들에서, 시스템(10)은, 빔형성기들(12, 16) 및 트랜스듀서(14)와의 연결을 통한 실시간 또는 포착 후 이미징을 위해 동일한 위치에 있는 또는 네트워크를 통해 분산된 개인 컴퓨터(personal computer), 워크스테이션(workstation), PACS 스테이션(station), 또는 다른 어레인지먼트(arrangement)이다.
[0065] 시스템(10)은 도 1의 방법, 도 2의 접근법, 또는 다른 방법들을 구현한다. 시스템(10)은 로봇(11), 송신 빔형성기(12), 트랜스듀서(14), 수신 빔형성기(16), 이미지 프로세서(18), 디스플레이(20), 메모리(22), 및 프로세서(24)를 포함한다. 부가적인, 상이한, 또는 더 적은 컴포넌트들이 제공될 수 있다. 예컨대, 사용자 입력은, 혼합 모드 이미징을 위한 시야 내의 관심 구역의 수동 또는 보조 지정을 위해 그리고/또는 혼합 모드 이미징을 위한 초음파 시스템(10)을 구성하기 위해 제공된다. 다른 예로서, 로봇(11)은 제공되지 않는다.
[0066] 로봇(11)은 모터 그리고 모터로부터의 힘으로 트랜스듀서(14)를 이동시키기 위한 디바이스이다. 로봇(11)은 임의의 수의 아암들 및 관절들을 가질 수 있다. 다른 실시예들에서, 로봇(11)은 레일(rail)들을 따라 트랜스듀서(14)를 지지하는 트레이(tray)이고, 여기서 모터는 레일들을 따라 트랜스듀서(14)를 이동시킨다. 트랜스듀서(14)의 이동을 위하여 모터 힘(예컨대, 회전)을 트랜슬레이팅(translating)하기 위해 기어(gear)들, 체인(chain)들, 스크루 드라이브(screw drive), 또는 다른 디바이스들이 제공될 수 있다.
[0067] 프로세서(24) 또는 다른 제어기의 제어 하에, 로봇(11)은 트랜스듀서를 사전-결정된 패턴으로 이동시키도록 구성된다. 이동은 일정하거나 또는 단계적이다. 트랜스듀서(14)를 라인(line)을 따라 시작 포인트로부터 정지 포인트까지 이동시키는 것과 같이, 임의의 패턴이 사용될 수 있다. 다른 패턴은 트랜스듀서(14)를 환자 상의 규칙적인 그리드(grid)에서 포인트로부터 포인트까지 이동시킨다. 패턴은 트랜스듀서(14)를 틸팅(tilting) 또는 회전시키는 것을 포함할 수 있거나 포함하지 않을 수 있다. 로봇(11)은, 오브젝트들의 검출에 기반하여 트랜스듀서(14)를 특정 위치들로 이동시키도록 구성될 수 있다. 이러한 추가의 이동은 사전-결정된 패턴에 대한 이동의 완료 후에 발생한다.
[0068] 로봇(11)은 트랜스듀서(14)와 연결된다. 연결은 고정되거나 또는 릴리즈가능(releasable)하다. 예컨대, 로봇(11)의 그리퍼(gripper)는 트랜스듀서(14)를 홀딩(hold)하지만, 트랜스듀서(14)를 릴리즈(release)할 수 있다. 다른 예로서, 트랜스듀서(14)는 스크루들, 볼트(bolt)들, 래치(latch)들, 또는 스냅 핏(snap fit)에 의해 로봇(11)의 홀더(holder)에 고정된다.
[0069] 송신 빔형성기(12)는 초음파 송신기, 메모리, 펄서(pulser), 아날로그 회로(analog circuit), 디지털 회로(digital circuit), 또는 이들의 조합들이다. 송신 빔형성기(12)는 상이한 또는 상대적 진폭들, 지연들, 및/또는 페이징(phasing)을 가진 복수의 채널(channel)들에 대한 파형들을 생성하도록 구성된다. 파형들은 생성되어, 임의의 타이밍(timing) 또는 펄스 반복 주파수(pulse repetition frequency)로 트랜스듀서 어레이(transducer array)에 적용된다. 예컨대, 송신 빔형성기(12)는 선형, 섹터(sector), 또는 벡터®(Vector®) 포맷의 B-모드 스캐닝(B-mode scanning)을 위해 펄스들의 시퀀스를 생성한다. 다른 예로서, 송신 빔형성기(12)는, B-모드 시야 내의 관심 구역에 대한 스캔 라인 당 진행중인 흐름 샘플 카운트(ongoing flow sample count)에서 2개 내지 12개의 빔(beam)들을 형성하기 위한 펄스들과 같이, 컬러 흐름 스캐닝(color flow scanning)을 위한 펄스들의 시퀀스를 생성한다. 또 다른 예에서, 송신 빔형성기(12)는 탄성 또는 전단 이미징을 위한 펄스들을 생성한다. 송신 빔형성기(12)는 음향 방사력 임펄스(acoustic radiation force impulse)를 위한 빔을 생성할 수 있다. 빔의 강도는 초점으로부터 전단파 또는 종파가 생성되도록 야기한다. 그 다음에, 송신 빔형성기(12)는 생성된 파에 대한 조직 응답을 추적하기 위한 빔들을 생성한다.
[0070] 송신 빔형성기(12)는 이를테면, 송신/수신 스위치(switch)를 통해 트랜스듀서(14)와 연결된다. 생성된 파들에 대한 응답으로 트랜스듀서(14)로부터의 음향파들의 송신 시에, 주어진 송신 이벤트(transmit event) 동안 하나 이상의 빔들이 형성된다. 빔들은 B-모드, 컬러 흐름 모드, 탄성, 전단파, 및/또는 다른 이미징 모드들을 위한 것이다. 송신 빔들의 시퀀스가 생성되어 1, 2, 또는 3차원 구역을 스캐닝한다. 섹터, 벡터®, 선형, 또는 다른 스캔 포맷들이 사용될 수 있다. 트랜스듀서(14)의 각각의 포지션에 대해 또는 트랜스듀서(14)가 이동함에 따라, 구역의 전체 스캔이 수행된다. 다수의 이러한 전체 스캔들은 상이한 위치들 또는 위치들의 범위들에서 트랜스듀서(14)를 이용하여 수행된다.
[0071] 트랜스듀서(14)는 1-, 1.25-, 1.5-, 1.75- 또는 2차원 어레이의 압전 또는 용량성 멤브레인 엘리먼트(membrane element)들이다. 트랜스듀서(14)는 음향 에너지와 전기 에너지 사이를 트랜스듀싱(transducing)하기 위한 복수의 엘리먼트들을 포함한다. 예컨대, 트랜스듀서(14)는 약 64개 내지 256개의 엘리먼트들을 가진 1차원 PZT 어레이이다.
[0072] 트랜스듀서(14)는 전기 파형들을 음향 파형들로 컨버팅(converting)하기 위해 송신 빔형성기(12)와 연결되고, 그리고 음향 에코(acoustic echo)들을 전기 신호들로 컨버팅하기 위해 수신 빔형성기(16)와 연결된다. 트랜스듀서(14)는 빔들을 송신한다. 빔들을 형성하기 위해, 파형들은 환자의 관심 조직 구역 또는 위치에 포커싱된다(focused). 음향 파형들은, 전기 파형들을 트랜스듀서 엘리먼트들에 적용하는 것에 대한 응답으로 생성된다. 초음파를 이용해 스캐닝하기 위해, 트랜스듀서(14)는 음향 에너지를 송신하고 에코들을 수신한다. 수신 신호들은 트랜스듀서(14)의 엘리먼트들 상에 부딪치는 초음파 에너지(에코들)에 대한 응답으로 생성된다.
[0073] 수신 빔형성기(16)는 증폭기들, 지연들, 및/또는 위상 회전자들, 및 하나 이상의 합산기들을 가진 복수의 채널들을 포함한다. 각각의 채널은 하나 이상의 트랜스듀서 엘리먼트들과 연결된다. 수신 빔형성기(16)는 이미징을 위한 각각의 송신에 대한 응답으로 하나 이상의 수신 빔들을 형성하기 위해 상대적 지연들, 위상들, 및/또는 아포디제이션(apodization)을 적용한다. 수신 시에 동적 포커싱(dynamic focusing)이 제공될 수 있다. 상대적 지연들 및/또는 페이징 그리고 상이한 엘리먼트들로부터의 신호들의 합산은 빔형성(beamformation)을 제공한다. 수신 빔형성기(16)는 수신된 음향 신호들을 사용하여 공간적 위치들을 나타내는 데이터를 출력한다. 대안적인 실시예들에서, 수신 빔형성기(16)는 푸리에(Fourier) 또는 다른 변환들을 사용하여 샘플(sample)들을 생성하기 위한 프로세서이다.
[0074] 수신 빔형성기(16)는, 송신 주파수 대역에 대해 제2 고조파, 송신(즉, 기본) 또는 다른 주파수 대역에서 정보를 격리시키기 위한 필터(filter)와 같은 필터를 포함할 수 있다. 이러한 정보는 원하는 조직, 대조 에이전트, 및/또는 흐름 정보를 포함할 가능성이 더 많을 수 있다. 다른 실시예에서, 수신 빔형성기(16)는 메모리 또는 버퍼(buffer) 및 필터 또는 가산기를 포함한다. 원하는 주파수 대역, 이를테면, 제2 고조파, 입방형 기본, 또는 다른 대역에서 정보를 격리시키기 위해 2 이상의 수신 빔들이 결합된다.
[0075] 수신 빔형성기(16)는 공간 위치들을 나타내는 빔 합산 데이터(beam summed data)를 출력한다. 단일 위치, 라인을 따르는 위치들, 영역에 대한 위치들, 또는 볼륨에 대한 위치들에 대한 데이터가 출력된다. 구역의 전체 스캔에 대한 응답으로 빔형성된(beamformed) 데이터는 데이터의 프레임이다. 트랜스듀서가 이를테면 로봇(11)에 의해 이동함에 따라, 각각의 구역의 전체 스캔이 수행되어, 공간적으로 상이한 시야들을 나타내는 데이터의 프레임들이 제공된다.
[0076] 이미지 프로세서(18)는 B-모드 검출기, 도플러 검출기, 펄스파 도플러 검출기(pulsed wave Doppler detector), 상관 프로세서, 푸리에 변환 프로세서(Fourier transform processor), 필터, 이미징 모드를 구현하기 위한 다른 현재 알려진 또는 나중에 개발되는 프로세서, 또는 이들의 조합들이다. 이미지 프로세서(18)는, 이를테면, 도플러 검출기(예컨대, 추정기) 및 B-모드 검출기를 포함한 이미징 모드들을 위한 검출을 제공한다. 공간 필터, 시간 필터, 및/또는 스캔 컨버터(scan converter)가 이미지 프로세서(18)에 포함되거나 또는 이미지 프로세서(18)에 의해 구현될 수 있다. 이미지 프로세서(18)는, 디스플레이 값들을 출력하는데, 이를테면, 검출하고, 검출된 값들을 디스플레이 값들에 맵핑(mapping)하고, 그리고 디스플레이 값들 또는 검출된 값들을 디스플레이 포맷(display format)으로 포맷화(formatting)한다. 이미지 프로세서(18)는 빔형성된 정보(beamformed information)를 수신하고, 디스플레이를 위한 이미지 데이터를 출력한다.
[0077] 프로세서(24)는 이미지들에서 오브젝트들을 검출하고 그에 따라 이미징(image)하도록 초음파 시스템(10)을 제어하기 위한 제어 프로세서, 일반 프로세서, 디지털 신호 프로세서(digital signal processor), 그래픽스 프로세싱 유닛(graphics processing unit), 주문형 집적 회로, 필드 프로그램가능 게이트 어레이(field programmable gate array), 네트워크, 서버(server), 프로세서들의 그룹, 데이터 경로, 이들의 조합들, 또는 다른 현재 알려진 또는 나중에 개발되는 디바이스이다. 프로세서(24)는 이미지 프로세서(18)와 별개이거나 또는 이미지 프로세서(18)의 부분이다. 별개의 디바이스로서, 프로세서(24)는 검출 및 제어를 위해 임의의 프로세싱 스테이지(예컨대, 빔형성(beamformed), 검출(detected), 스캔 컨버팅(scan converted), 또는 디스플레이 맵핑(display mapped) 또는 다른 스테이지)에서 데이터를 요청, 수신, 액세스(access), 또는 로딩한다. 프로세서(24)는 도 1의 동작들을 수행하도록 또는 동작들의 수행을 야기하도록 소프트웨어(software) 및/또는 하드웨어(hardware)에 의해 구성된다.
[0078] 프로세서(24)는 스캔으로부터의 결과들에 컴퓨터-보조 검출을 적용하도록 구성된다. 수신 빔형성기(16) 및/또는 이미지 프로세서(18)의 임의의 프로세싱 스테이지로부터의 데이터의 프레임들은 컴퓨터-보조 검출에 입력된다. 예컨대, 데이터의 각각의 프레임으로부터 하 웨이블릿(Haar wavelet)들, 그래디언트(gradient)들, 스티어링가능(steerable), 및/또는 다른 피처(feature)들이 계산된다. 이들 피처들은 기계-학습 검출기에 피처 벡터(feature vector)로서 입력된다. 이들 피처들에 기반하여, 검출기는 오브젝트가 이미지에 있는지의 여부, 이미지에서의 임의의 관심 오브젝트의 위치, 및/또는 임의의 검출에서의 신뢰도를 표시한다. 다른 예에서, 관심 오브젝트를 나타내는 템플레이트 또는 패턴은 프로세서(24)에 의해 다양한 상대적 포지션들의 데이터의 프레임과 상관된다. 충분한 상관이 발견되는 경우, 관심 오브젝트가 검출된다. 임의의 현재 알려진 또는 나중에 개발되는 컴퓨터-보조 검출이 사용될 수 있다.
[0079] 프로세서(24)는 로봇(11)을 제어하도록 구성된다. 로봇(11)은, 오브젝트가 스캐닝되었을 때와 동일한 또는 유사한(예컨대, 오버랩하는 시야를 갖는) 포지션으로 트랜스듀서(14)를 유지 또는 복귀시킨다. 관심 오브젝트의 검출에 기반하여, 프로세서(24)는 오브젝트를 갖는 프레임에 대한 스캐닝의 시점에서 트랜스듀서(14)의 위치를 결정한다. 트랜스듀서(14)는 역학적 특성을 측정하기 위한 데이터를 포착하기 위해 그 포지션에서 정지(halt)된다. 대안적으로, 트랜스듀서(14)의 사전-결정된 스캔 패턴 또는 이동 패턴이 로봇(11)에 의해 완료되고, 그 다음에, 프로세서(24)는 로봇(11)으로 하여금 트랜스듀서(14)를 위치로 복귀시키게 한다.
[0080] 다른 실시예들에서, 프로세서(24)는 사용자에 대한 통지를 생성한다. 예컨대, 통지는 디스플레이(20) 상에 표시된다. 다른 예로서, 트랜스듀서(14)는 환자 상의 위치를 마킹(mark)(예컨대, 염색(dye))하도록 제어된다. 프로세서(24)는 트랜스듀서(14)를 수동으로 포지셔닝하도록 사용자에게 피드백을, 이를테면, 이동의 양 및 방향, 위치에 대한 근접성을 표시하는 피드백을, 또는 부가적인 데이터를 포착하기 위해 사용자가 트랜스듀서(14)를 동일한 위치에 포지셔닝하거나 또는 트랜스듀서(14)를 현재 위치에 홀딩할 수 있도록 초래하는 다른 통신을 제공하도록 구성될 수 있다.
[0081] 프로세서(24)는 위치, 오브젝트를 갖는 프레임, 오브젝트의 검출, 검출의 신뢰도, 및/또는 다른 정보를 기록하도록 구성된다. 정보는 조사의 이미지 결과들과 함께 또는 그와 별개로 기록된다.
[0082] 프로세서(24)는 조직의 역학적 특성을 유도하도록 구성된다. 일단 트랜스듀서(14)가 정확한 위치에 있으면, 빔형성기들(12, 16)은 오브젝트에 관한 부가적인 데이터를 포착하도록 제어된다. 예컨대, 탄성 또는 전단파 추적이 수행된다. 프로세서(24)는 포착된 데이터를 검출된 오브젝트의 역학적 특성을 계산하는 데 사용한다.
[0083] 프로세서(24) 또는 이미지 프로세서(18)는 이미지들 또는 값들을 생성하고 디스플레이(20)에 출력한다. 예컨대, B-모드 또는 혼합 모드(예컨대, B-모드 및 흐름 모드) 이미지들이 출력된다. 텍스트, 수치 표시, 또는 그래픽이 부가되어 사용자에게 디스플레이될 수 있다. 그래프가 디스플레이될 수 있다. 예컨대, 검출된 오브젝트를 마킹하는 주석(annotation), 검출된 오브젝트를 포함하는 것으로 이미지를 표시하는 플래그, 오브젝트의 역학적 특성의 유도된 값, 검출의 신뢰도, 또는 다른 오브젝트 관련 정보가 출력된다. 조사의 CINE 제공과는 별개로 디스플레이(20) 상에 이미지들을 제공하는 것과 같이, 검출된 오브젝트들과 연관된 이미지들이 플래그된다(flagged). 마찬가지로, 값 및/또는 오브젝트 하이라이팅의 출력이, 검출된 오브젝트를 포함하는 것으로 이미지를 플래그(flag)할 수 있다. 이를테면, 트랜스듀서(14)의 위치 정보가 출력될 수 있다.
[0084] 조사 동안, 디스플레이(20)는 환자의 상이한 시야들 또는 구역들을 나타내는 이미지들을 디스플레이한다. 그 시점에서 또는 나중의 리뷰 동안, 플래그들, 경보들, 통지, 값들, 또는 다른 정보가 디스플레이될 수 있다.
[0085] 디스플레이(20)는 CRT, LCD, 모니터(monitor), 플라즈마(plasma), 프로젝터(projector), 프린터(printer), 또는 이미지 또는 이미지들의 시퀀스를 디스플레이하기 위한 다른 디바이스이다. 임의의 현재 알려진 또는 나중에 개발되는 디스플레이(20)가 사용될 수 있다. 디스플레이(20)는 하나의 이미지 또는 이미지들의 시퀀스를 디스플레이하도록 동작가능하다. 디스플레이(20)는 2차원 이미지들 또는 3차원 표현들을 디스플레이한다.
[0086] 이미지 프로세서(18), 프로세서(24), 수신 빔형성기(16), 및 송신 빔형성기(12)는 메모리(22) 또는 다른 메모리에 저장된 명령들에 따라 동작한다. 명령들은 도 1의 동작들의 수행을 위해 시스템을 구성한다. 명령들은 제어기에 로딩됨(loaded)으로써, 값들(예컨대, 탄성 이미징 시퀀스(elasticity imaging sequence))의 테이블(table)이 로딩되게 함으로써, 그리고/또는 실행됨으로써, 동작을 위해 이미지 프로세서(18), 프로세서(24), 수신 빔형성기(16), 및/또는 송신 빔형성기(12)를 구성한다.
[0087] 메모리(22)는 비-일시적 컴퓨터 판독가능 저장 매체들이다. 본원에서 논의되는 프로세스들, 방법들 및/또는 기법들을 구현하기 위한 명령들이 컴퓨터-판독가능 저장 매체들 또는 메모리들, 이를테면, 캐시(cache), 버퍼(buffer), RAM, 착탈식 매체들, 하드 드라이브(hard drive) 또는 다른 컴퓨터 판독가능 저장 매체들 상에 제공된다. 컴퓨터 판독가능 저장 매체들은 다양한 유형들의 휘발성 및 비휘발성 저장 매체들을 포함한다. 도면들에서 예시되거나 또는 본원에서 설명되는 기능들, 동작들, 또는 태스크(task)들은 컴퓨터 판독가능 저장 매체들에 또는 컴퓨터 판독가능 저장 매체들 상에 저장된 하나 이상의 세트들의 명령들에 대한 응답으로 실행된다. 기능들, 동작들, 또는 태스크들은 특정 유형의 명령들 세트, 저장 매체들, 프로세서 또는 프로세싱 전략과 독립적이고, 그리고 단독으로 또는 조합되어 동작하는 소프트웨어, 하드웨어, 집적 회로들, 펌웨어(firmware), 마이크로 코드(micro code) 등에 의해 수행될 수 있다. 마찬가지로, 프로세싱 전략들은 멀티프로세싱(multiprocessing), 멀티태스킹(multitasking), 병렬 프로세싱(parallel processing) 등을 포함할 수 있다. 일 실시예에서, 명령들은, 로컬(local) 또는 원격 시스템들에 의한 판독을 위해 착탈식 매체 디바이스 상에 저장된다. 다른 실시예들에서, 명령들은, 컴퓨터 네트워크를 통한 또는 전화 라인들을 통한 전달을 위해 원격 위치에 저장된다. 또 다른 실시예들에서, 명령들은 주어진 컴퓨터, CPU, GPU 또는 시스템 내에 저장된다.
[0088] 본 발명이 다양한 실시예들을 참조하여 위에서 설명되었지만, 본 발명의 범위로부터 벗어남이 없이 많은 변경들 및 수정들이 이루어질 수 있음이 이해되어야 한다. 그러므로, 전술한 상세한 설명이 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다는 것이 의도되며, 그리고 본 발명의 사상 및 범위를 정의하도록 의도되는 것은, 모든 등가물들을 포함하는 다음의 청구항들이라는 것이 이해되어야 한다.

Claims (20)

  1. 초음파 스캐너(ultrasound scanner)에 대한 경보 지원(alert assistance)을 위한 방법으로서,
    상기 초음파 스캐너의 초음파 트랜스듀서(ultrasound transducer)가 환자에 대해 이동하는 조사 모드(survey mode)에서 상기 초음파 트랜스듀서를 이용하여 상기 환자를 스캐닝(scanning)하는 단계;
    상기 스캐닝에 의해 포착된 프레임(frame)들의 시퀀스(sequence)의 각각의 프레임에 상기 초음파 스캐너에 의한 컴퓨터-보조 검출(computer-assisted detection)을 적용하는 단계;
    상기 초음파 스캐너의 컴퓨터-보조 검출을 이용하여 상기 프레임들 중 제1 프레임에서 오브젝트(object)를 식별하는 단계;
    상기 제1 프레임에서의 상기 오브젝트의 식별에 대한 응답으로, 상기 오브젝트의 역학적 특성(mechanical property)을 측정하는 단계; 및
    상기 제1 프레임 및 측정된 역학적 특성을 식별하는 경보(alert)를 갖는 이미지(image)를 생성하는 단계를 포함하는,
    초음파 스캐너에 대한 경보 지원을 위한 방법.
  2. 제 1 항에 있어서,
    상기 스캐닝하는 단계는 모터(motor)에 의해 제어되는 상기 초음파 트랜스듀서의 이동을 이용하여 스캐닝하는 단계를 포함하는,
    초음파 스캐너에 대한 경보 지원을 위한 방법.
  3. 제 1 항에 있어서,
    상기 스캐닝하는 단계는 사용자에 의해 수동으로 수행되는 상기 초음파 트랜스듀서의 이동을 이용하여 스캐닝하는 단계를 포함하는,
    초음파 스캐너에 대한 경보 지원을 위한 방법.
  4. 제 1 항에 있어서,
    상기 스캐닝하는 단계는 로봇식 스캐닝(robotic scanning) 단계를 포함하고, 그리고
    상기 측정하는 단계는 로봇식 측정 단계를 포함하는,
    초음파 스캐너에 대한 경보 지원을 위한 방법.
  5. 제 1 항에 있어서,
    상기 적용하는 단계는, 상기 스캐닝이 수행되는 동안 상기 시퀀스의 프레임들을 프로세싱(process)하도록 동작가능한, 상기 오브젝트의 기계 학습 검출기(machine learnt detector)로서 상기 컴퓨터-보조 검출을 적용하는 단계를 포함하는,
    초음파 스캐너에 대한 경보 지원을 위한 방법.
  6. 제 1 항에 있어서,
    상기 식별하는 단계는 상기 제1 프레임에서 종양(tumor)을 식별하는 단계 및 상기 시퀀스의 복수의 다른 프레임들에서는 어떠한 종양도 식별하지 않는 단계를 포함하는,
    초음파 스캐너에 대한 경보 지원을 위한 방법.
  7. 제 1 항에 있어서,
    상기 스캐닝하는 단계는 상기 시퀀스에 대해 사전-결정된 패턴(pattern)으로 스캐닝하는 단계를 포함하고, 그리고
    상기 측정하는 단계는, 상기 사전-결정된 패턴이 완료된 후에 상기 초음파 트랜스듀서를 상기 제1 프레임에 대한 포지션(position)으로 복귀시키기 위해 상기 초음파 트랜스듀서와 연결된 모터를 제어하는 단계 및 상기 초음파 스캐너를 이용하여 상기 역학적 특성에 대해 스캐닝하는 단계를 포함하는,
    초음파 스캐너에 대한 경보 지원을 위한 방법.
  8. 제 1 항에 있어서,
    상기 측정하는 단계는 적어도 부분적으로 상기 제1 프레임으로부터 상기 역학적 특성을 유도하는 단계를 포함하는,
    초음파 스캐너에 대한 경보 지원을 위한 방법.
  9. 제 1 항에 있어서,
    상기 측정하는 단계는 변형, 변형률, 전단 속도, 탄성 또는 영률(Young's modulus)을 측정하는 단계를 포함하는,
    초음파 스캐너에 대한 경보 지원을 위한 방법.
  10. 제 1 항에 있어서,
    상기 측정하는 단계는 이미징(imaging)으로부터 에너지(energy)에 대한 응답 이외에 상기 오브젝트의 특징(characteristic)을 유도하는 단계를 포함하는,
    초음파 스캐너에 대한 경보 지원을 위한 방법.
  11. 제 1 항에 있어서,
    상기 생성하는 단계는, 상기 오브젝트를 스캐닝하기 위한 상기 초음파 트랜스듀서의 위치의 플래그(flag)인 상기 경보를 갖는 상기 이미지를 생성하는 단계를 포함하는,
    초음파 스캐너에 대한 경보 지원을 위한 방법.
  12. 제 1 항에 있어서,
    상기 시퀀스의 다른 프레임들에서 오브젝트들을 식별하는 단계; 및
    상기 제1 프레임 및 상기 다른 프레임들을 저장하는 단계를 더 포함하는,
    초음파 스캐너에 대한 경보 지원을 위한 방법.
  13. 제 1 항에 있어서,
    상기 생성하는 단계는, 상기 오브젝트가 상기 이미지에서 검출되었다는 표시를 포함하는 상기 경보를 갖는 상기 이미지를 상기 제1 프레임으로부터 생성하는 단계를 포함하는,
    초음파 스캐너에 대한 경보 지원을 위한 방법.
  14. 명령들을 나타내는 데이터(data)가 저장되는 비-일시적 컴퓨터 판독가능 저장 매체(computer readable storage medium)로서,
    상기 명령들은 초음파 이미징(ultrasound imaging)에서의 경보 지원을 위해 프로그래밍된 프로세서(programmed processor)에 의해 실행가능하며,
    상기 저장 매체는,
    초음파 트랜스듀서가 환자를 따라 이동하는 동안, 상기 초음파 트랜스듀서를 이용하여 상기 환자의 초음파 이미지들을 생성하기 위한 명령들,
    상기 초음파 이미지들의 포착 동안 타겟(target)의 검출을 상기 초음파 이미지들에 적용하기 위한 명령들,
    상기 이미지들 중 하나의 이미지에서의 상기 타겟의 검출에 대한 응답으로 상기 초음파 트랜스듀서의 위치를 기록하기 위한 명령들,
    상기 검출을 통지하기 위한 명령들,
    상기 검출에 대한 응답으로 그리고 상기 위치를 사용하여, 오브젝트를 나타내는 데이터를 포착하기 위한 명령들,
    상기 데이터로부터 상기 타겟의 특징의 값을 유도하기 위한 명령들, 및
    상기 값을 제공하기 위한 명령들을 포함하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  15. 제 14 항에 있어서,
    상기 검출을 적용하는 것은 스캐닝이 수행되는 검사의 유형에 특정된 컴퓨터-보조 검출을 적용하는 것을 포함하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  16. 제 14 항에 있어서,
    상기 값을 제공하는 것은 하이라이팅된(highlighted) 상기 타겟을 갖는 하나의 이미지의 디스플레이(display)를 생성하고 그리고 상기 특징의 값을 포함시키는 것을 포함하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  17. 제 14 항에 있어서,
    상기 데이터를 포착하는 것은, 상기 이미지를 사용하는 것, 상기 위치에서 상기 환자를 재스캐닝(re-scanning)하는 것, 또는 상기 이미지를 사용하는 것과 상기 위치에서 상기 환자를 재스캐닝하는 것 둘 모두를 포함하고, 그리고
    상기 값을 유도하는 것은 상기 특징으로서 역학적 특성을 유도하는 것을 포함하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  18. 제 14 항에 있어서,
    상기 위치를 기록하는 것은 상기 초음파 트랜스듀서의 포지션을 전자적으로 또는 물리적으로 기록하는 것을 포함하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  19. 제 14 항에 있어서,
    상기 통지하는 것은 상기 위치를 사용자에게 표시하는 것을 포함하는,
    비-일시적 컴퓨터 판독가능 저장 매체.
  20. 초음파 이미징에서의 경보 지원을 위한 시스템(system)으로서,
    트랜스듀서;
    상기 트랜스듀서와 연결되고 그리고 사전-결정된 스캔 패턴(scan pattern)으로 상기 트랜스듀서를 이동시키도록 구성된 로봇(robot);
    상기 로봇이 상기 트랜스듀서를 이동시키는 동안, 상기 트랜스듀서를 이용하여, 초음파로 환자를 스캐닝(scan)하도록 구성된 송신 빔형성기(beamformer) 및 수신 빔형성기;
    컴퓨터-보조 검출을 상기 스캐닝으로부터의 결과들에 적용하고, 상기 사전-결정된 스캔 패턴의 완료 후에 상기 로봇으로 하여금 상기 트랜스듀서를 상기 컴퓨터-보조 검출에 의한 검출의 위치로 복귀시키게 하고, 그리고 상기 위치로 복귀된 상기 트랜스듀서를 이용하여 포착된 정보에 기반하여 조직(tissue)의 역학적 특성을 유도하도록 구성된 프로세서; 및
    상기 위치에 대한 결과들에 대한 플래그와 함께 상기 조직의 역학적 특성을 디스플레이(display)하도록 동작가능한 디스플레이를 포함하는,
    초음파 이미징에서의 경보 지원을 위한 시스템.
KR1020170033878A 2016-03-18 2017-03-17 조사 모드 초음파 이미징을 위한 경보 지원 KR20170108884A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/075,013 US20170265846A1 (en) 2016-03-18 2016-03-18 Alert assistance for survey mode ultrasound imaging
US15/075,013 2016-03-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190010090A Division KR20190011794A (ko) 2016-03-18 2019-01-25 조사 모드 초음파 이미징을 위한 경보 지원

Publications (1)

Publication Number Publication Date
KR20170108884A true KR20170108884A (ko) 2017-09-27

Family

ID=59751619

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170033878A KR20170108884A (ko) 2016-03-18 2017-03-17 조사 모드 초음파 이미징을 위한 경보 지원
KR1020190010090A KR20190011794A (ko) 2016-03-18 2019-01-25 조사 모드 초음파 이미징을 위한 경보 지원

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020190010090A KR20190011794A (ko) 2016-03-18 2019-01-25 조사 모드 초음파 이미징을 위한 경보 지원

Country Status (5)

Country Link
US (1) US20170265846A1 (ko)
KR (2) KR20170108884A (ko)
CN (1) CN107198542A (ko)
DE (1) DE102017204471A1 (ko)
FR (1) FR3048870A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11264135B2 (en) * 2017-11-10 2022-03-01 Siemens Medical Solutions Usa, Inc. Machine-aided workflow in ultrasound imaging
JP6782747B2 (ja) * 2018-10-24 2020-11-11 ゼネラル・エレクトリック・カンパニイ 超音波装置及びその制御プログラム
US11630083B2 (en) * 2018-12-21 2023-04-18 The Boeing Company Location-based scanner repositioning using non-destructive inspection
US11844654B2 (en) 2019-08-19 2023-12-19 Caption Health, Inc. Mid-procedure view change for ultrasound diagnostics
FR3099984A1 (fr) * 2019-08-19 2021-02-26 Bay Labs, Inc. Changement de dynamique de mode de guidage d'imagerie par ultrasons
FR3099985A1 (fr) * 2019-08-19 2021-02-26 Bay Labs, Inc. Changement de vue à mi-procédure pour diagnostic par ultrasons
US11710229B2 (en) * 2020-03-23 2023-07-25 GE Precision Healthcare LLC Methods and systems for shear wave elastography
US20230017173A1 (en) * 2021-07-15 2023-01-19 Sonocine, Inc. Breast ultrasound screening and diagnostics system and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009225904A (ja) * 2008-03-21 2009-10-08 Gifu Univ 超音波乳房診断支援システム
US20130310690A1 (en) * 2012-05-18 2013-11-21 National Taiwan University Breast ultrasound scanning and diagnosis aid system

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005010711A2 (en) * 2003-07-21 2005-02-03 Johns Hopkins University Robotic 5-dimensional ultrasound
EP1815796A4 (en) * 2004-11-17 2009-10-28 Hitachi Medical Corp ULTRASONOGRAPH AND ULTRASONIC IMAGE DISPLAY METHOD
US20120095322A1 (en) * 2010-09-08 2012-04-19 Tsekos Nikolaos V Devices, systems and methods for multimodal biosensing and imaging
US8831708B2 (en) * 2011-03-15 2014-09-09 Siemens Aktiengesellschaft Multi-modal medical imaging
TWI476403B (zh) * 2011-04-22 2015-03-11 Pai Chi Li 超音波自動掃描系統及其掃描方法
CN102599938B (zh) * 2012-02-01 2015-11-25 无锡海斯凯尔医学技术有限公司 一种用于弹性测量的复合探头
CN102908168A (zh) * 2012-10-24 2013-02-06 华南理工大学 一种基于机械扫描的a超弹性成像系统及其方法
KR20140091177A (ko) * 2013-01-10 2014-07-21 삼성전자주식회사 병변 진단 장치 및 방법
US20150141821A1 (en) * 2013-04-03 2015-05-21 Hitachi Aloka Medical, Ltd. Ultrasonic diagnostic apparatus and elastic evaluation method
CN103300891B (zh) * 2013-05-29 2015-05-06 北京索瑞特医学技术有限公司 对组织的定量弹性信息和结构信息组合显示的方法和系统
EP3013243B1 (en) * 2013-06-26 2018-09-19 Koninklijke Philips N.V. Elastography measurement system and method
KR20150005052A (ko) * 2013-07-04 2015-01-14 삼성메디슨 주식회사 대상체 정보를 제공하는 초음파 시스템 및 방법
WO2015080522A1 (en) * 2013-11-28 2015-06-04 Samsung Electronics Co., Ltd. Method and ultrasound apparatus for marking tumor on ultrasound elastography image
KR102251245B1 (ko) * 2014-04-30 2021-05-12 삼성전자주식회사 관심 영역별 추가 정보 제공 장치 및 방법
KR20160014470A (ko) * 2014-07-29 2016-02-11 삼성전자주식회사 비시각 정보 제공 기반의 컴퓨터 보조 진단 지원 장치 및 방법과, 컴퓨터 보조 진단 시스템
CN104224233B (zh) * 2014-09-16 2017-05-24 无锡海斯凯尔医学技术有限公司 影像引导型弹性检测系统及其检测方法
CN104398272B (zh) * 2014-10-21 2017-09-19 无锡海斯凯尔医学技术有限公司 选择检测区域的方法及装置及弹性检测系统
KR101623431B1 (ko) * 2015-08-06 2016-05-23 주식회사 루닛 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009225904A (ja) * 2008-03-21 2009-10-08 Gifu Univ 超音波乳房診断支援システム
US20130310690A1 (en) * 2012-05-18 2013-11-21 National Taiwan University Breast ultrasound scanning and diagnosis aid system

Also Published As

Publication number Publication date
US20170265846A1 (en) 2017-09-21
KR20190011794A (ko) 2019-02-07
CN107198542A (zh) 2017-09-26
FR3048870A1 (fr) 2017-09-22
DE102017204471A1 (de) 2017-09-21

Similar Documents

Publication Publication Date Title
KR20190011794A (ko) 조사 모드 초음파 이미징을 위한 경보 지원
KR102191467B1 (ko) 초음파 이미징에서의 기계-보조 작업흐름
US10338203B2 (en) Classification preprocessing in medical ultrasound shear wave imaging
US8187187B2 (en) Shear wave imaging
US10278671B2 (en) Shear wave detection in medical ultrasound imaging
US11266380B2 (en) Medical ultrasound image processing device
US7949160B2 (en) Imaging apparatus and imaging method
US20080130972A1 (en) Storing imaging parameters
US20190216423A1 (en) Ultrasound imaging apparatus and method of controlling the same
JP2005000656A (ja) 生理学的構造及び事象の標識付けの方法及びシステム
KR20150024167A (ko) 바디 마커 생성 방법 및 초음파 진단 장치
JP2023503818A (ja) 医用超音波画像を取得するためのシステム及び方法
US20200405264A1 (en) Region of interest positioning for longitudinal montioring in quantitative ultrasound
EP2853918B1 (en) Shear wave detection in medical ultrasound imaging
KR20140074093A (ko) 볼륨 데이터를 이용한 초음파 진단 방법 및 장치
EP4270411A1 (en) Analysing an ultrasound image feed
JP7216738B2 (ja) 三次元超音波画像の提供
EP3685753A1 (en) Ultrasound imaging apparatus and method of controlling the same
KR101553042B1 (ko) 볼륨 데이터를 이용한 초음파 진단 방법 및 장치
WO2023208877A1 (en) Analysing an ultrasound image feed

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment