KR20200118502A - 초음파 검사를 주석화하기 위한 방법 및 장치 - Google Patents

초음파 검사를 주석화하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20200118502A
KR20200118502A KR1020207028173A KR20207028173A KR20200118502A KR 20200118502 A KR20200118502 A KR 20200118502A KR 1020207028173 A KR1020207028173 A KR 1020207028173A KR 20207028173 A KR20207028173 A KR 20207028173A KR 20200118502 A KR20200118502 A KR 20200118502A
Authority
KR
South Korea
Prior art keywords
ultrasound
image
processor
imaging system
ultrasound imaging
Prior art date
Application number
KR1020207028173A
Other languages
English (en)
Other versions
KR102646194B1 (ko
Inventor
앤드류 런드버그
토마스 엠. 더피
로버트 더블유. 슈타인즈
Original Assignee
후지필름 소노사이트, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지필름 소노사이트, 인크. filed Critical 후지필름 소노사이트, 인크.
Publication of KR20200118502A publication Critical patent/KR20200118502A/ko
Application granted granted Critical
Publication of KR102646194B1 publication Critical patent/KR102646194B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A61B8/585—Automatic set-up of the device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427—Device being portable or laptop-like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

음파 이미징 시스템은 정상 작동 상태와 둘 이상의 낮은 전력 상태에서 시스템을 작동하도록 프로그래밍되는 프로세서를 포함한다. 프로세서는 미리 결정된 시간 제한 내에 조직이 이미징되지 않았거나 이미징 시스템 또는 변환기가 시간 제한 내에 이동되지 않은 것과 같은 하나 이상의 작동 조건을 감지하면 작동 전력 상태를 더 낮은 전력 상태로 낮춘다. 전력 오프 상태에서 깨어 나면, 프로세서는 정상 작동 상태에서 작동하기 전에 더 낮은 전력 상태를 구현하여 변환기가 조직을 이미징하기 위해 위치될 때까지 과도한 전원 사용을 방지한다.

Description

초음파 검사를 주석화하기 위한 방법 및 장치
개시된 기술은 일반적으로 초음파 이미징 시스템, 특히 픽토그래프(pictographs)를 초음파 이미지와 연관시키는 시스템과 관련이 있다.
당업자에 의해 이해되는 바와 같이, 대부분의 현대 초음파 이미징 시스템은 압전 재료(piezoelectric material)의 시트에 형성된 다수의 개별 변환기 요소를 갖는 변환기로부터 음향 신호를 생성함으로써 작동한다. 요소에 전압 펄스를 적용함으로써 요소가 물리적으로 변형되어 해당 초음파 신호가 생성된다. 신호는 신호의 일부가 에코 신호로 변환기에 다시 반사되는 관심 영역으로 이동한다. 에코 신호가 변환기 요소에 충돌하면, 요소가 진동하여 전자 신호로 검출되는 해당 전압이 생성된다. 다수의 변환기 요소로부터의 전자 신호들이 결합되고 분석되어 진폭, 주파수, 위상 변이, 전력 등과 같은 결합된 신호의 특성을 결정한다. 특성은 정량화되고 관심 영역의 이미지를 생성하는데 사용되는 픽셀 데이터로 변환된다.
초음파 검사자(sonographer, 소노그래퍼)가 환자의 초음파 검사를 수행할 때, 의료 기록에 저장할 이미지 중 하나 이상을 선택하는 것이 일반적이다. 일반적으로 초음파 검사자에 의해 선택되는 이미지는 몇 가지 일반적인 시야각 중 하나로부터 가져온다. 예를 들어 심장을 이미징할 때, 흉곽을 통해 또는 흉곽 아래에서 심장 근육의 선명한 뷰를 획득할 수 있는 몇 가지 잘 알려진 또는 표준화된 위치가 신체에 있다. 이미지에 도시된 환자의 해부학적 뷰를 식별하는 데 도움을 주기 위해, 초음파 검사자는 종종 이미지 상에 픽토그래프(때때로 픽토그램(pictogram)이라고도 함)를 연관시키거나 배치한다. 픽토그래프는 특정 위치 및/또는 시야각에서 보이는 조직 유형 또는 이미지 특징을 나타내는 단순화된 초음파 이미지 또는 기타 상징(symbol)이다. 일부 실시예에서, 픽토그래프는 또한 "간", "심장", "승모판(Mitral Valve)" 등과 같은 텍스트 주석(text annotation)이거나 이를 포함할 수 있다. 픽토그래프는 초음파 검사자 또는 의사가 즉시 인식할 수 있으며 환자로부터 획득한 실제 초음파 이미지를 해석하는 데 사용된다.
현재의 초음파 이미징 시스템에서는 가능한 많은 조직 유형 또는 이미지 특징 및 시야각과 연관된 픽토그래프가 이미징 시스템의 메모리에 저장된다. 초음파 검사자가 픽토그래프를 이미지에 추가하길 원하는 경우, 초음파 검사자는 이용가능한 모든 픽토그래프에서 특정 픽토그래프를 선택해야 한다. 일부 시스템은 조직 유형별로 픽토그래프를 그룹화한다. 예를 들어, 간 조직에 대한 픽토그래프의 서브세트는 하나의 폴더에 저장될 수 있고, 한편 심장 조직에 대한 픽토그래프의 다른 서브세트는 다른 폴더 등에 저장될 수 있다. 조직 유형별로 구분된 픽토그래프를 사용하더라도, 조작자는 여전히 정확한 폴더로 탐색(navigate)해야 하고 저장되는 이미지를 획득하는 데 사용되는 프로브의 방향(orientation)과 가장 일치하는 픽토그래프를 선택해야 한다. 결과는 초음파 검사자가 저장되는 초음파 이미지와 가장 가깝게 일치하는 하나 이상을 선택하기 위해 다수의 픽토그래프를 봐야 하는 다소 번거로운 과정이다.
이들 및 다른 문제를 해결하기 위해, 개시된 기술은 초음파 검사자에 의해 획득된 초음파 이미지에 대응하는 하나 이상의 픽토그래프를 자동으로 제시하는 초음파 이미징 시스템을 지향한다. 초음파 검사자는 초음파 이미지와 관련하여 저장될 픽토그래프를 하나 이상의 제시된 픽토그래프로부터 선택할 수 있다.
일 실시예에서, 초음파 이미징 시스템은 훈련된 컨볼루션 신경망(trained convolutional neural network)과 같은 인공 지능을 채용하여 이미지에 존재하거나 존재하지 않는 특징을 기초로 이미지를 분류한다. 그런 다음 프로세서는 분류된 이미지에 대응하는 하나 이상의 픽토그래프를 제공한다. 프로세서는 분류된 이미지에 대응하고 초음파 이미지에 주석을 달기 위해 초음파 검사자에 의해 선택될 수 있는 픽토그래프의 서브세트를 제시한다.
다른 실시예에서, 초음파 검사 유형은 검사 유형에 필요한 하나 이상의 원하는 초음파 이미지 뷰와 연관된다. 훈련된 컨볼루션 신경망과 같은 신경망은 초음파 검사자가 얻은 다수의 초음파 이미지에 대한 초음파 데이터를 비교하고 필요한 초음파 뷰에 대응하는 하나 이상의 이미지를 식별한다. 조작자는 특정 검사를 위해 환자 기록에 저장하기 위한 식별된 이미지 중 하나 이상을 수용할 수 있다.
도 1은 개시된 기술의 실시예에 따른 대표적인 초음파 이미징 시스템을 도시하고;
도 2는 개시된 기술의 일 실시예에 따른 입력 초음파 이미지의 특징을 분류하는 데 사용되는 대표적인 컨볼루션 신경망을 도시하고;
도 3은 개시된 기술의 일 실시예에 따른 초음파 이미징 시스템에서 사용될 신경망을 훈련시키는 과정을 도시하고;
도 4는 개시된 기술의 실시예에 따른 초음파 이미지에 주석을 달기 위해 조작자에 의해 선택될 수 있는 다수의 제시된 픽토그래프를 갖는 대표적인 초음파 이미지를 도시하고;
도 5는 개시된 기술의 일 실시예에 따른 하나 이상의 픽토그래프를 초음파 이미지와 연관시키기 위해 프로세서에 의해 수행되는 단계의 흐름도이고;
도 6은 개시된 기술의 다른 실시예에 따른 심장 검사에 필요한 뷰를 나타내는 한 쌍의 픽토그래프 및 개시된 기술의 다른 실시예에 따른 필요한 뷰에 대응하는 신경망에 의해 선택된 대응하는 초음파 이미지를 도시하고;
도 7은 개시된 기술의 다른 실시예에 따라 검사 유형에 대해 요구되는 뷰에 대응하는 하나 이상의 초음파 이미지를 식별하기 위해 프로세서에 의해 수행되는 단계의 흐름도이고; 및
도 8은 개시된 기술의 다른 실시예에 따라 이미징되는 해부학적 유형에 대해 이미징 파라미터가 적절한지 확인하기 위해 프로세서에 의해 수행되는 단계의 흐름도이다.
도 1은 개시된 기술의 일 실시예에 따른 대표적인 초음파 이미징 시스템(10)을 도시한다. 초음파 이미징 시스템은 하나 이상의 이미징 변환기(20)를 포함하는 유형의 휴대용, 핸드헬드(handheld) 또는 카트 기반(cart-based) 시스템일 수 있다. 이미징 변환기(20)는 음향 초음파 신호를 생성하고 대응하는 초음파 에코를 검출한다. 초음파 이미징 시스템 내의 이미지 처리 회로는 초음파 에코에 대응하는 전자 신호를 수신하고 신호를 처리하여 검사중인 영역의 일련의 이미지(30)를 생성한다. 초음파 이미징 시스템(10)은 일반적으로 초음파 이미지가 디스플레이되는 하나 이상의 비디오 디스플레이를 갖는다. 디스플레이 중 하나 이상이 터치에 민감할 수 있어서 조작자는 디스플레이 상의 그래픽 사용자 인터페이스를 가지고 또는 키보드, 트랙볼, 터치 패드, 버튼, 음성 명령 등과 같은 이미징 시스템 자체 상의 보다 종래의 입력 디바이스를 사용하여 이미징 시스템을 작동시킬 수 있다. 일부 실시예에서, 초음파 이미징 시스템은 유선 또는 무선 통신 링크를 통해 원격 서버, 태블릿, 랩톱, 스마트 폰 등과 같은 보조 디스플레이 또는 컴퓨팅 디바이스(도시되지 않음)에 연결될 수 있다. 보조 컴퓨팅 장치는 또 다른 비디오 스크린, 입력 디바이스로서 및/또는 이미징 시스템에 대해 추가 컴퓨팅 파워를 제공하기 위해 사용될 수 있다.
위에서 언급한 바와 같이, 초음파 검사자가 검사중인 조직 유형 또는 이미지 특징을 나타내는 픽토그래프(32)로 초음파 이미지에 주석을 달고자 하는 경우가 있으며, 초음파 이미지(30)가 획득된 뷰(이미징 프로브의 방향)에 따라 다를 수 있다. 픽토그래프는 단순화된 이미지, 그래픽 심볼 또는 텍스트 주석이기 때문에, 픽토그래프(32)는 실제 초음파 이미지(30)가 보여주고자 하는 것을 이해하는 데 방사선 전문의(radiologist), 의사(physician) 또는 초음파 검사자를 돕는 역할을 한다. 특정 초음파 이미지에 대한 대응하는 픽토그래프를 선택하는 작업을 단순화하기 위해, 초음파 이미징 시스템(10) 내의 프로세서(예컨대, CPU, GPU, DSP, FPGA, ASIC, 전용 집적 회로 또는 프로세서 조합 등)는 인공 지능을 채용하여 초음파 이미지(30)을 분류한다. 일 실시예에서, 조작자가 일단 특정 픽토그래프와 연관시키고 싶은 이미지를 캡처하면, 조작자는 화면에서 GUI를 터치하고, 버튼을 누르고, 음성 명령을 말하는 등의 명령을 입력하고 이는 프로세서로 하여금 이미지에 대응하는 하나 이상의 픽토그래프를 식별하게 한다. 프로세서는 프로세서-판독가능 메모리에 저장된 일련의 명령을 실행하도록 또는 미리 구성된 논리에 따라 작동하여 컨볼루션 신경망(40)과 같은 훈련된 신경망을 구현하도록 구성된다. 신경망(40)은 이미지에 존재하는 (또는 존재하지 않는) 이미지 특징에 기초한 입력 초음파 이미지(또는 이미지의 일부)를 분류하도록 훈련된다. 예를 들어, 이미지는 여러 다른 조직 유형 또는 이미지 특징(심장 조직, 간 조직, 유방 조직, 복부 조직, 방광 조직, 신장 조직, 심장 판막, 혈관 등) 중 하나로 분류될 수 있다. 일 실시예에서, 신경망(40)은 이미지가 다수의 특정 분류(조직 유형, 이미지 특징, 이미지에서 특정 특징의 결여 또는 신경망이 인식하도록 훈련되는 다른 기준)에 대응할 가능성의 정도를 나타내는 계산된 값의 목록을 반환한다. 이러한 계산된 값은 이미지가 특정 조직 유형일 확률이거나(예컨대, 심장 조직 = 0.72) 이미지가 특정 해부학적 특징을 함유하거나(경동맥 = 0.87) 이미지 특징이 결여될 확률(신장 조직 없음 = 0.87) 등일 수 있다. 결정된 확률들을 신경망으로부터 수신하면, 프로세서는, 픽토그래프 라이브러리(50) 또는 초음파 이미징 시스템의 다른 메모리에 저장되고 분류된 이미지에 대응하는 하나 이상의 픽토그래프를 불러오도록(recall) 프로그래밍된다. 일부 실시예에서, 훈련된 신경망은 초음파 이미징 시스템 자체에 상주한다. 그러나 만약 초음파 이미징 시스템이 컴퓨터 통신 링크에 연결되어 있으면, 훈련된 신경망은 원격 컴퓨터 시스템에 위치될 수 있고 이미징 시스템의 프로세서에 의해 제공되는 분석될 이미지를 제공받을 수 있다.
픽토그래프 라이브러리(50)는 이미지 특징 별로 카테고리화된 다양한 픽토그래프에 대한 링크를 갖는 데이터베이스로서 배열될 수 있거나, 이미지 특징 별로 그룹화된 픽토그래프를 함유하는 일련의 폴더일 수 있다. 다양한 이미지 기능을 특정(specify)하는 메타 데이터로 태깅(tagging)하는 것과 같이 메모리에서 픽토그래프를 조직하는 다른 방법도 가능하다. 일부 실시예에서, 프로세서는 원격에 위치된 컴퓨팅 디바이스로부터 대응하는 픽토그래프를 요청하도록 프로그래밍될 수 있다. 예를 들어, 초음파 이미징 시스템의 프로세서는 심장 조직 또는 간 조직에 대응하는 또는 경동맥이 없는 경우 등에 대한 원격 컴퓨팅 디바이스에 저장된 모든 픽토그래프 전송을 요청할 수 있다.
일부 실시예에서, 프로세서는 분류된 이미지에 대응하는 하나 이상의 픽토그래프를 초음파 이미징 시스템 또는 보조 시스템의 비디오 디스플레이 화면에 표시하고, 조작자는 초음파 이미지(30)와 연관시키거나 초음파 이미지(30)에 주석을 달기 위해 사용하고자 하는 픽토그래프(들)를 선택할 수 있다. 예를 들어, 신경망이 "심장 조직 = 0.98"과 같은 확률 값을 반환하는 경우, 프로세서는 픽토그래프 데이터베이스 또는 원격 컴퓨팅 디바이스로부터의 픽토그래프 라이브러리 내의 폴더로부터 심장 조직과 연관된 픽토그래프 중 하나 이상을 검색하는 프로그램 단계를 실행한다. 일부 실시예에서, 하나 이상의 신경망의 사용은 더 특정한 픽토그래프가 검색되는 것을 허용한다. 예를 들어, 제1 신경망이 조직 유형을 식별하도록 훈련되고 "심장 조직 = 0.98"과 같은 값을 반환하는 경우, 분류된 이미지는 이미지가 특정 뷰로부터 나올 가능성의 정도에 대한 확률 값을 반환하도록 구성되는 제2 심장-특정 신경망에 제공될 수 있다. 제2 신경망이 "심천 단면(apical view) = 0.92"와 같은 값을 반환하면, 심장의 심천 단면에 대응하는 하나 이상의 픽토그래프가 검색되고 비디오 디스플레이 화면에 제시될 수 있으며, 조작자가 대응하는 픽토그래프를 검색하라는 명령에 응답하여 선택할 수 있다. 다른 실시예에서, 단일 신경망은 조직 유형 및 이미지에 도시된 뷰 모두에 의해 이미지를 분류하도록 훈련된다.
일부 초음파 이미징 시스템은 조작자가 특정 검사 유형에 대해 시스템을 프로그래밍하거나 특정 유형의 조직에 대한 이미징 파라미터를 조정할 수 있게 한다. 예를 들어, 조작자는 복부 검사를 위한 또는 심장 조직 등을 이미징하기 위해 최적화된 이미징 파라미터를 선택할 수 있다. 일부 실시예에서: 초음파 이미징 시스템은 수행되는 검사 유형의 기록을 유지할 수 있고, 조작자에 의해 설정된 이미징 파라미터의 값 또는 검사 세트의 유형을 훈련된 신경망(들)에 의해 결정된 이미지의 분류와 비교할 수 있다. 일 실시예에서, 조작자가 일단 픽토그래프와 연관시키고자 하는 조직의 이미지를 획득하면, 조작자는 프로세서가 이미지를 신경망(들)에 공급하게 하는 명령을 입력한다. 신경망에 의해 분류된 이미지가 그 검사 유형에 사용된 이미징 파라미터에 대응하는 경우, 프로세서는 신경망(40)에 의해 식별된 조직 유형에 더 높은 확률을 할당할 수 있다. 이미징 시스템에 설정된 검사 유형 또는 이미징 파라미터가 신경망에 의한 이미지 분류와 일치하지 않는 경우, 프로세서는 조작자에게 초음파 이미징 시스템의 설정을 체크하도록 요청할 수 있고 조작자가 설정을 신경망에 의해 식별된 조직 유형에 최적인 것들로 변경하도록 제안할 수 있다. 예를 들어, 간의 초음파 이미지를 캡처할 때, 조작자는 이미지에 대해 연관된 픽토그래프를 식별하기 위한 명령을 개시한다. 신경망은 이미지 내의 조직 유형이 심장 조직일 확률이 높은 이미지를 분류한다. 프로세서는 이 결과를 이미징 시스템이 프로그래밍된 방법에 대한 기록과 비교하고, 이미지화된 해부학 유형(예컨대, 심장 조직)이 수행중인 검사 유형(예컨대, 간 검사)과 일치하지 않는지 결정한다. 따라서 프로세서는, 검출된 조직의 유형에 더 적합하게 하기 위해 이미징 파라미터를 변경할 것을 조작자에게 프롬프트하도록 (또는 이미징 시스템이 이미징 파라미터를 선택하도록) 또는 일부 실시예에서 조작자가 그들이 설정한 이미징 파라미터로 계속하기를 원한다는 것을 확인하도록 프로그래밍된다. 일부 실시예에서, 프로세서에 의한 이미지의 분류는 픽토그래프가 이미지와 연관되도록 사용자가 요청할 필요 없이 수행될 수 있다. 예를 들어, 검사 중에 생성된 처음 몇 개의 이미지를 분류하여 검사 유형 또는 이미징 파라미터가 검출된 조직 유형에 최적화되었는지 확인할 수 있다.
도 2는 입력 초음파 이미지(120)를 분류하도록 구성된 훈련된 신경망(100)의 하나의 가능한 실시예를 도시한다. 당업자에 의해 이해되는 바와 같이, 디지털 이미지 내에 존재하거나 존재하지 않는 특징들을 식별하는 데 사용될 수 있는 수많은 유형의 신경망이 있다. 이미지 분석을 위한 보다 흔한 네트워크 중 하나는 컨볼루션 신경망(convolutional neural network)이다. 일 실시예에서, 훈련된 컨볼루션 신경망은 미리 결정된 크기(예컨대, 320x320 픽셀 값의 행렬(matrix) 또는 정사각형일 수도 있고 아닐 수도 있는 다른 크기의 행렬)의 입력 이미지를 가져와 이미지에 다수의 필터(예컨대, 필터 값의 행렬)를 컨볼루션한다(convolve). 컬러 초음파 이미지의 경우, 각 픽셀은 일반적으로 적색, 녹색 및 청색 구성요소에 대한 픽셀 세기(pixel intensity) 값을 저장한다. 필터는 각 색상 구성요소의 픽셀 세기 수치(pixel intensity numbers)와 컨볼루션된다. 필터는 이미지의 특징에 반응하도록 설계된다. 다수의 컨볼루션 단계가 사용될 수 있다. 대부분의 컨볼루션 네트워크에서, 행렬 값(예컨대, 5x5 등)의 그룹을 분석하고 그것들의 최대 값, 평균 등을 취하여 출력 행렬의 단일 엔트리(single entry)를 정의함으로써 출력 행렬의 크기를 줄이는 풀링(pooling)이 수행된다. 풀링된 값들에 대해 추가 컨볼루션이 수행될 수 있다. 사용된 신경망의 유형에 따라, 필터링되고 풀링된 값들은 이미지가 특정 분류를 가질 가능성의 정도을 나타내는 완전 연결 계층(fully connected layer)에 값을 제공하는 것과 같이 추가로 처리된다. 예를 들어, 완전 연결 계층은 입력 이미지가 다른 조직 유형에 대응할 가능성의 백분율을 포함하는 출력을 제공할 수 있다. 도 2에 표시된 예에서, 훈련된 신경망은 입력 이미지가 심장, 간, 복부, 가슴 또는 방광 해부학적 특징과 같은 다양한 조직 유형을 나타낼 가능성에 대한 추정(확률)을 생성한다. 일 실시예에서, 프로세서는 확률 값을 수신하고 가장 가능성이 높은 결정된 조직 유형을 나타내는 하나 이상의 픽토그래프를 검색하도록 프로그래밍된다. 추가 분류가 필요한 경우 프로세서는 분류된 이미지를 하나 이상의 다른 신경망에 제공하여 이미지를 추가로 분류한다. 예를 들어, 심장 조직 이미지는 흉골(parasternal), 심천(apical), 늑골하(subcostal) 또는 흉골상(suprasternal) 노치 뷰(notch view)와 같이 이러한 이미지가 획득되는 뷰를 식별하도록 훈련된 신경망으로 분류될 수 있다. 프로세서는 이미지가 이러한 상이한 뷰 각각을 나타낼 가능성을 수신하고, 가장 가능성이 높은 결정된 조직 유형 및 뷰를 나타내는 픽토그래프를 검색할 수 있다.
도 3은 다수의 초음파 이미지를 분류하기 위해 신경망을 훈련시키는 하나의 대표적인 시스템을 도시한다. 일 실시예에서, 이미지 특징에 의해 분류된 많은 (예를 들어, 수천 개 이상의) 초음파 이미지(120)의 훈련 세트(training set)는 이용 가능한 소프트웨어 패키지로 전형적으로 생성되는 신경망(140)에 제공된다. 신경망(140)은 이미지(120)로 훈련되어 이미지 내의 특징의 존재 또는 부재를 분류한다. 일부 실시예에서, 신경망의 노드에 대한 필터 및 바이어스 값은 초기에 임의의 값이 주어지고, 그런 다음 훈련 시스템은 수학적 탐색 기술을 사용하여 잘못 분류된 이미지의 오차율(error rate)을 줄이는 파라미터 값에 대한 변화를 식별한다. 훈련 과정의 결과는 신경망(140)이 원하는 정확도 수준 내에서 훈련 이미지를 정확하게 식별하거나 분류할 수 있게 하는 네트워크 파라미터 값의 세트이다. 훈련 세트의 훈련 이미지 수가 많을수록, 네트워크 파라미터 값이 더 정확할 수 있다. 신경망이 일단 훈련되면, 다양한 파라미터의 값이 신경망(140)에 의해 사용되어 초음파 이미징 시스템에 의해 획득된 이미지와 같은 실제 이미지를 분류한다. 다른 실시예에서, 훈련된 신경망은 초음파 이미징 시스템의 프로세서와는 상이한 프로세서에 의해 구현된다. 신경망이 작동하는 방법 및 분류된 입력 훈련 이미지 세트를 기초로 훈련되는 방법에 대한 세부 사항은 인공 지능 분야의 통상의 기술자에게 잘 알려져 있다.
도 4는 초음파 검사자에 의해 획득된 초음파 이미지(150) 및 초음파 이미지(150)에 대한 데이터를 훈련된 신경망에 제공한 결과로서 초음파 이미징 시스템에 의해 선택되고 비디오 디스플레이에 제시되는 다수의 픽토그래프(152, 154, 156)를 도시한다. 이 예시에서, 신경망(들)은 좌심실 및 우심실의 횡단면(cross section)을 보여주는 늑골하 윈도우(subcostal window)을 사용하여 이미지(150)가 심장 조직을 나타낼 가능성이 가장 높다고 결정한다. 이미징 시스템의 프로세서는 신경망으로부터 이미지 분류를 수신한 다음 가장 가능성 높은 결정된 조직 및 뷰 유형에 대응하는 하나 이상의 픽토그래프를 메모리로부터 검색하고 비디오 디스플레이 및/또는 보조 시스템에 디스플레이한다.
픽토그래프(152, 154, 156)가 디스플레이되면, 조작자는 초음파 이미지와의 연관을 위해 하나 이상의 픽토그래프를 선택할 수 있다. 도시된 예에서, 픽토그래프(152, 154 및 156)는 모두 심장 조직 및 늑골하 뷰와 연관되어 있다. 일 실시예에서, 조작자는 환자 의료 기록에 포함시키기 위해 초음파 이미지(150)와 연관될 제시된 픽토그래프 중 하나 이상을 자유롭게 선택할 수 있다. 일부 실시예에서, 픽토그래프는 각각의 픽토그래프가 분류된 이미지에 대응할 가능성의 정도가 가장 높은 것에서 가장 낮은 것까지 또는 그 반대를 나타내는 순서로 그것들을 비디오 모니터에 디스플레이함으로써 제시된다. 다른 실시예에서, 픽토그래프는 각각의 픽토그래프가 분류된 이미지에 대응할 가능성의 정도를 나타내는 방식으로 색상 코드된다(color coded)(녹색 - 가능성이 가장 높음, 적색 - 가능성이 가장 낮음 등). 또 다른 실시예에서, 픽토그래프는 각각의 픽토그래프가 분류된 이미지에 대응할 가능성의 정도를 나타내는 시각적 큐(숫자, 점수, 가능성이 가장 높음, 가능성이 가장 낮음과 같은 단어 설명 등)과 함께 표시된다. 픽토그래프의 제시는 식별된 조직 유형에 대응하는 모든 픽토그래프를 보여주는 것을 포함할 수 있다. 예를 들어, 신경망이 심장 조직을 보여주는 것으로서 이미지를 분류된 경우, 심장 조직에 대응하는 픽토그래프 만이 제시된다. 다른 실시예에서, 픽토그래프는 분류된 이미지에 대응하지 않는 픽토그래프를 보여주지 않음으로써 제시된다. 예를 들어, 이미지가 심장 조직을 보여주는 것으로서 분류된 경우, 신장 조직에 대응하는 픽토그래프가 제시되지 않는다. 일부 실시예에서, 초음파 이미지에 대응할 수 있는 픽토그래프의 서브세트 만이 한 번에 제시된다. 이러한 픽토그래프는 그것들의 신뢰도 값 또는 색상 코드 등으로 보여질 수 있어서 조작자는 가장 가능성이 높은 픽토그래프를 쉽게 식별할 수 있다. 조작자가 제시된 픽토그래프 중 어느 것도 마음에 들지 않으면, 후보 가능성이 약간 낮은 다른 픽토그래프를 볼 수 있다. 일부 실시예에서, 픽토그래프의 가능한 세트가 초음파 이미징 시스템 자체에 저장될 필요는 없다. 조작자에게 제시된 픽토그래프는 신경망에 의해 식별된 이미지의 분류(들)를 특정하는 요청에 응답하여 유선 또는 무선 통신 링크를 통해 원격 소스의 로컬 메모리 또는 메모리로부터 검색될 수 있다.
훈련된 신경망에 의해 결정된 이미지 분류에 기초하여 제시된 하나 이상의 픽토그래프와 함께, 프로세서는 어떤 픽토그래프가, 만약 있다면, 선택되는지를 결정하도록 프로그래밍된다. 조작자가 일단 GUI에 제공된 명령, 음성 명령, 버튼 누름 등을 사용하여 원하는 픽토그래프를 선택하면, 선택된 픽토그래프와 함께 초음파 이미지가 저장될 수 있다. 일부 실시예에서, 픽토그래프의 픽셀은 초음파 이미지의 픽셀과 블렌딩되고, 다른 실시예에서, 초음파 이미지는 이미지와 함께 디스플레이될 픽토그래프 및 픽토그래프가 이미지에 오버레이로 나타날 위치를 나타내는 메타데이터와 함께 저장된다.
일부 실시예에서, 신경망은 이미지에서 픽토그래프를 배치할 위치를 식별하도록 훈련된다. 예를 들어 픽토그래프가 신장을 나타내는 경우, 훈련된 신경망은 이미지에서 신장의 두드러진 특징을 식별하도록 구성된다. 신장 조직을 포함하는 것으로 분류된 이미지는 두드러진 특징을 함유하는 이미지의 각 부분의 확률을 반환하는 훈련된 신경망에 주어진다. 이미지에서 확률이 가장 높은 부분이나 영역은 두드러진 특징에 인접하게 픽토그래프를 배치하는 위치로서 프로세서에 의해 사용된다. 대안으로, 픽토그래프와 연관된 라벨(label)들이 이미지 내의 식별된 특징들에 인접하게 배치될 수 있다. 일부 실시예에서, 신경망은 이미지에서 자유 공간을 검출하도록 훈련될 수 있고, 픽토그래프 또는 주석을 배치하기 위한 위치로 사용될 수 있다. 사용자가 픽토그래프 또는 라벨에 대해 선택된 위치가 마음에 들지 않는 경우, 사용자는 이미지 내의 새 위치로 그것들을 자유롭게 이동시킬 수 있다.
이 실시예에서, 훈련된 신경망 및 프로세서는 임의의 특정 초음파 이미지에 대한 대응하는 픽토그래프를 찾기 위해 조작자가 볼 필요가 있는 가능한 픽토그래프의 수를 제한하도록 작동한다. 초음파 이미징 시스템에 의해 생성된 이미지와 관련된 픽토그래프를 선택하기 위해 조작자가 봐야하는 픽토그래프의 수를 줄임으로써 이해될 수 있듯이, 작업 흐름 속도가 증가하고 검사 과정이 단순화된다.
전술한 실시예에서, 신경망에 공급되는 픽셀 값은 색상 밝기 값이다. 예를 들어, 흑백 초음파 이미지를 분류하도록 훈련된 신경망에 대한 입력으로서 밝기 강도 값만을 제공함으로써 흑백 픽셀이 또한 사용될 수 있다는 것을 이해할 수 있을 것이다. 일부 실시예에서, 이미지에 대한 사전 스캔 변환 데이터, 빔포밍된(beamformed) 에코 데이터 또는 RF 데이터와 같은, 그러나 이에 제한되지 않는, 이미지에 대한 사전 픽셀 데이터가 이미지를 분류하기 위해 신경망에 제공될 수 있다.
도 5는 개시된 기술의 일 실시예에 따라 초음파 이미지와 연관될 수 있는 하나 이상의 픽토그래프를 결정하기 위해 프로세서에 의해 수행되는 단계의 흐름도이다. 설명의 편의를 위해 단계가 특정 순서로 설명되었지만, 단계가 다른 순서로 수행될 수 있거나 설명된 기능을 달성하기 위해 대안적인 단계가 수행될 수 있다는 것이 이해될 것이다.
160 에서 시작하여, 초음파 이미징 시스템의 프로세서는 이미징 모드로 작동하여 환자에게 전달되는 초음파 신호와 환자로부터 수신되는 초음파 에코 신호에 응답하여 초음파 이미지를 생성한다. 162 에서, 프로세서는 조작자가 "고정(freeze)" 버튼 또는 초음파 이미징 시스템이 초음파 이미지를 캡처하도록 하는 유사한 기능을 활성화했는지 검출한다. 조작자가 일단 이미지 데이터를 캡처하면, 초음파 이미징 시스템은 이미지에 대응하는 하나 이상의 픽토그래프를 결정하는 단계를 실행하기 시작한다.
164 에서, 프로세서는 캡처된 이미지 데이터를 컨볼루션 신경망과 같은 하나 이상의 훈련된 신경망에 제공하여 이미지를 하나 이상의 이미지 특징을 갖거나 갖지 않는 것으로 분류한다. 166 에서 프로세서는 신경망(들)의 출력을 수신한다. 네트워크가 설계되는 방식에 따라 이러한 출력은 하나 이상의 조직 유형에 대응하는 입력 이미지의 확률을 포함할 수 있다. 일부 실시예에서, 신경망은 이미지가 특정 조직 유형의 것일 확률을 나타내는 다수의 값(예를 들어, 0.05, 0.05, 0.05, 0.8, 0.05 등)을 반환한다.
168 에서, 프로세서는 그런 다음 분류된 이미지와 관련된 픽토그래프 중 하나 이상을 수신한다. 예를 들어, 신경망이 특정 이미지를 심장 조직일 확률이 높은 것으로 식별하는 경우, 프로세서는 메모리로부터 심장 조직을 나타내는 픽토그래프를 불러올 수 있다. 이러한 픽토그래프는 원격 위치 또는 보조 디바이스(랩탑, 원격 서버, 스마트 폰 등)의로부터의 로컬 메모리로부터 픽토그래프에 대한 픽셀 값(또는 텍스트)을 검색하는 데 사용되는 ID 번호로 또는 이름으로 식별될 수 있다. 예를 들어, 프로세서는 식별된 픽토그래프의 ID 번호 또는 분류된 이미지 유형의 표시를 원격 위치 또는 보조 디바이스로 전송하고 대응하는 픽토그래프를 수신할 수 있다.
170 에서, 프로세서는 입력 이미지의 분류에 대응하는 픽토그래프를 조작자에게 제시한다. 그런 다음 조작자는 환자 기록의 초음파 이미지에 혼합(blend)되거나 이와 관련하여 저장될 픽토그래프(만약 있는 경우)를 선택할 수 있다. 일부 실시예에서, 단계 170은 프로세서에 의해 생략될 수 있고, 분류된 입력 이미지에 가장 근접하게 대응하는 픽토그래프는 조작자에게 픽토그래프를 승인하도록 요구하지 않고 입력 이미지에 혼합되거나 입력 이미지와 저장될 수 있다. 그 결과, 개시된 기술의 일부 실시예에서, 초음파 이미징 시스템은 조작자가 검사 유형과 관련된 모든 가능한 픽토그래프에서 특정 픽토그래프를 선택하지 않고도 입력 이미지에 대응하는 픽토그래프를 신속하게 식별할 수 있어서, 작업 흐름을 가속화하고 더 쉬운 검사 과정을 제공할 수 있다.
전술한 실시예에서, 이미지는 사용자가 "고정" 버튼 또는 유사한 특징을 누를 때 신경망으로 전송된다. 다른 실시예에서, 이미지는 사용자 입력을 요구하지 않고 예를 들어 연속적으로 또는 사용자가 생성된 이미지에 대한 대응하는 픽토그래프를 식별하기 위해 검사를 완료할 때 신경망으로 전송된다.
개시된 기술의 다른 실시예에서, 초음파 검사자는 다수의 초음파 이미지를 생성하기 위해 초음파 이미징 시스템을 작동시킬 수 있다. 따라서 초음파 검사자는 환자 기록에 저장할 이미지(들)를 선택해야 한다. 예를 들어, 특정 검사 유형에 대한 환자 워크시트 또는 기타 규칙 세트는 세 가지 다른 뷰로부터 획득된 심장의 이미지들을 필요로 할 수 있다.
이 실시예에서, 신경망은 초음파 이미지가 특정 뷰를 나타낼 가능성을 결정하도록 훈련된다. 일 실시예에서, 특정 검사 유형에 대한 규칙 세트는 어떤 뷰가 환자 보고서에 포함될지를 정의한다. 훈련된 신경망은 초음파 검사자에 의해 획득된 하나 이상의 초음파 이미지를 분석하여 임의의 특정 이미지가 원하는 뷰를 나타낼 가능성을 결정한다. 원하는 뷰를 나타낼 확률이 가장 높은 이미지는 환자 기록에 포함하기 위해 조작자에게 제시될 수 있다. 예를 들어, 이미지-1 이 필요한 뷰를 나타낼 확률이 0.87 이고 이미지-2가 필요한 뷰를 나타낼 확률이 0.91 이면, 환자 기록에 통합할 수 있도록 이미지-2가 조작자에게 제공된다. 따라서 필요한 뷰와 가장 유사한 이미지(들)를 환자 보고서에 포함할 수 있도록 프로세서에 의해 자동으로 선택된다. 일부 실시예에서, 선택된 이미지와 연관된 픽토그래프는 또한 환자 기록에 포함시키기 위해 선택된 이미지에 혼합되거나 연관된다.
도 6은 특정 검사 유형에 대해 서로 다른 뷰로 촬영한 필요 심장 초음파 이미지를 나타내는 두 개의 픽토그래프(180, 182)를 보여준다. 검사 유형에 대한 규칙은 초음파 검사자가 환자 기록에 이들 픽토그래프에 대응하는 이미지를 포함하도록 요구한다. 초음파 이미징 시스템에 의해 캡처된 모든 이미지를 수동으로 평가하는 대신에, 초음파 이미징 시스템은 하나 이상의 훈련된 신경망에 다수의 초음파 이미지를 제공한다. 훈련된 신경망은 이미지를 분류하여 하나 이상이 원하는 뷰에 대응하는지 결정하도록 동작한다. 원하는 뷰에 대응하는 하나 이상의 이미지(184)가 식별되면, 식별된 이미지는 환자 보고서에 포함될 이미지(들)를 선택하기 위해 조작자에게 보여질 수 있다. 일부 실시예에서, 프로세서는 이미지가 원하는 뷰에 대응할 가능성의 정도에 따라 순위가 매겨진 순서로 식별된 이미지를 제시하고, 사용자는 환자 보고서에 포함할 이미지를 선택할 수 있다.
일부 실시예에서, 필요한 뷰에 대응하는 가장 높은 확률을 갖는 것으로 신경망에 의해 결정된 초음파 이미지는 조작자가 둘 이상의 가능한 초음파 이미지의 프리젠테이션으로부터 이미지를 선택하지 않고 프로세서에 의해 환자 기록에 통합된다.
일부 실시예에서, 다수의 다르게 훈련된 신경망이 있을 수 있으며, 훈련된 각각은 이미지의 다른 특징들을 분류한다. 예를 들어, 제1 신경망은 이미지에서 조직의 유형을 식별하도록 구성될 수 있으며, 조직 특정 신경망의 또 다른 세트는 다른 조직 유형의 뷰를 식별하도록 훈련된다. 따라서 프로세서는 이미지를 분류하고 필요한 뷰를 나타내는 지 결정하기 위해 일련의 신경망에 이미지를 제공하도록 프로그래밍된다.
일부 실시예에서, 특정 검사에 대한 규칙은 원하는 뷰를 나타내는 픽토그래프에 의해 정의될 수 있다. 일부 실시예에서, 픽토그래프는 예를 들어 픽토그래프에 의해 보여지는 조직 유형 및 뷰를 나타내는 메타 데이터와 연관된다. 프로세서는 필요한 조직 및 뷰 유형을 결정하기 위해 메타 데이터를 분석하고 이미지가 원하는 뷰를 나타내는지 결정하기 위해 대응하는 신경망에 초음파 이미지 데이터를 제공하도록 프로그래밍된다.
도 7은 원하는 뷰를 나타내는 초음파 이미지를 식별하기 위해 개시된 기술의 일 실시예에 따라 초음파 이미징 시스템의 프로세서에 의해 수행되는 일련의 단계를 보여준다. 설명의 편의를 위해 단계가 특정 순서로 설명되었지만, 단계가 다른 순서로 수행될 수 있거나 설명된 기능을 달성하기 위해 대안적인 단계가 수행될 수 있다는 것이 이해될 것이다. 190 에서 시작하며, 프로세서는 조작자에 의해 수행되는 검사 유형을 결정하고 기록한다. 192 에서, 프로세서는 수행되는 검사 유형에 필요한 하나 이상의 초음파 뷰를 결정한다. 필요한 뷰는 초음파 이미징 시스템의 소프트웨어에서 프로그래밍될 수 있다. 대안으로, 필요한 뷰는 환자 워크 시트에 의해 특정되어 조작자에 의해 채워질 수 있다. 다른 실시예에서, 어떤 유형의 검사가 수행되고 있는지에 대한 초음파 이미징 시스템의 제출에 응답하여 원격 컴퓨터 또는 보조 컴퓨터 또는 스마트 폰에 의해 필요한 뷰가 특정된다. 예를 들어, 환자가 특정 뷰가 필요한 특정 보험 계획을 가지고 있는 경우, 초음파 이미징 시스템은 "환자 ID, 검사 유형"이 포함된 메시지를 보험 회사에 보내고 상환에 필요한 뷰에 대한 표시를 받을 수 있다. 필요한 뷰는 필요한 조직 유형 및 뷰를 나타내는 메타 데이터와 함께 픽토그래프로 코딩되거나 특정될 수 있다.
194 에서 조작자는 이미징 과정(imaging process)을 시작하고, 196 에서 이미징 시스템에 의해 생성된 이미지는 시네 버퍼(cine buffer) 또는 기타 메모리에 저장된다. 198 에서, 저장된 이미지에 대한 초음파 이미지 데이터는 이미지를 분류하기 위해 하나 이상의 훈련된 신경망에 제공된다.
200 에서 프로세서는 이미지 데이터가 필요한 뷰에 대응하는지 결정한다. 만약 그렇다면, 초음파 시스템은 바람직하게는 원하는 뷰가 확보되었음을 조작자에게 알린다(alert). 이러한 알림의 예시는 해당 이미지가 획득되었다는 청각적 또는 시각적 큐(audible or visual queue)을 포함할 수 있다. 원하는 뷰가 픽토그래프에 의해 나타나는 경우, 알림은 원하는 뷰에 대응하는 픽토그래프에 체크를 하거나(place a check) 다른 색상으로 픽토그래프를 보여줄 수 있다. 다른 알림 또는 표시는 디스플레이 화면 상에 또는 스피커 등으로부터 사용자에게 제공되는 인쇄된 메시지 또는 청각적 큐를 포함할 수 있다. 204 에서, 프로세서는 모든 필요한 뷰가 획득되었는지 결정하고, 시스템은 모든 필요한 이미지가 획득되었다는 알림 또는 표시를 사용자에게 제공한다. 그렇지 않은 경우, 사용자는 하나 이상의 필요한 뷰가 아직 획득되지 않았음을 알림 받을 수 있고, 처리가 194 로 되돌아가고, 더 많은 이미지가 획득된다. 필요한 모든 뷰가 획득된 경우, 검사는 206 에서 중지할 수 있다.
일부 실시예에서, 사용자는 이미지가 신경망으로 분석되어 필요한 뷰에 대응하는 이미지를 식별하기 전에 검사의 종료를 특정하는 "검사 종료" 제어 또는 다른 키를 누른다. 대안으로, 프로세서는 검사가 종료되었음을 추론하기 위해 변환기를 이동하거나 조작자 제어(operator control)와 상호 작용하는 것과 같이 조작자가 임계 시간 이상 기계와 상호 작용하지 않았음을 검출할 수 있다.
전술한 바와 같이, 일부 실시예에서, 프로세서는 조작자가 선택을 확인하도록 요구하지 않고 환자 기록에 통합할 초음파 이미지를 자동으로 선택하는 프로그램 단계를 실행한다.
일부 실시예에서, 전체 초음파 이미지가 신경망(들)에 제공된다. 다른 실시예에서, 이미지의 일부가 신경망에 제공된다. 예를 들어, 이미지를 정의하는 픽셀의 더 작은 서브세트가 신경망으로 전송될 수 있다. 슬라이딩 윈도우(sliding window)는 신경망으로 전송되는 픽셀 값을 선택할 수 있다. 이런 방식으로, 프로세서는 이미지의 어느 부분이 필요한 이미지에 가장 가까운지를 결정할 수 있다. 이해되는 바와 같이, 픽셀 값의 다중 슬라이딩 윈도우(multiple sliding windows)를 적용하는 것은 훈련된 신경망에 전체 초음파 이미지를 제공하는 것과 비교하여 처리 시간을 증가시킨다.
전술한 바와 같이, 일부 실시예에서, 개시된 기술은 초음파 시스템의 조작자가 수행되는 검사 유형에 대해 정확한(correct) 설정을 사용하고 있음을 확인하는 데 사용된다. 도 8은 이미지 설정이 캡처되는 실제 이미지에 적합하거나 정확한지 확인하기 위해 프로세서에 의해 수행되는 일련의 단계를 보여준다. 본 명세서에서 사용된 "적절한(appropriate)" 또는 "정확한(correct)"은 생성된 이미지가 이미징 파라미터를 변경함으로써 크게 개선될 수 없음을 의미한다. 적절하거나 정확한 이미징 파라미터는 최적일 필요는 없지만 숙련된 초음파 검사자가 파라미터가 최적과는 거리가 멀다는 것을 즉시 이해하지 못할 만큼 충분히 가까울 것이다. 설명의 편의를 위해 단계가 특정 순서로 설명되었지만, 단계가 다른 순서로 수행될 수 있거나 설명된 기능을 달성하기 위해 대안적인 단계가 수행될 수 있다는 것이 이해될 것이다.
250 에서 시작하여, 초음파 시스템 내의 프로세서는 저장된 이미지를 훈련된 신경망에 제공하여 이미지에 보인 조직 유형을 식별한다. 252에서 프로세서는 다시 훈련된 신경망으로부터 식별된 조직 유형을 수신한다. 254에서: 프로세서는 훈련된 신경망에 의해 식별된 조직 유형이 초음파 이미징 시스템에 설정된 (예컨대, 게인(gain), 프레임 속도(frame rate), 라인 밀도(line density), 음향 파워(acoustic poser), 섹터 크기, 이용가능한 워크 시트 등과 같은 그러나 이에 제한되지 않는) 사전-설정된 이미징 파라미터 또는 선택된 검사 유형에 대응하는지 확인한다. 예를 들어, 조작자가 간 이미징에 최적화된 이미징 파라미터를 선택했고 신경망에 의해 식별된 조직이 심장 조직인 경우, 256 에서 초음파 시스템은 정확한 초음파 이미지 파라미터의 세트가 선택되었는지 또는 정확한 유형의 검사가 설정되었는지 확인하도록 사용자에게 프롬프트(prompt)할 수 있다. 초음파 이미징 시스템 상의 이미징 파라미터 또는 검사 유형이 검출된 조직 유형에 대응하는 경우, 이미징 파라미터 또는 검사 유형을 확인/수정하라는 권장사항 없이 과정이 258에서 종료한다. 따라서 이 실시예에서 신경망은 검사를 수행하기 위해 부정확한(incorrect) 이미징 파라미터 세트가 사용될 가능성을 줄이는 역할을 한다.
본 명세서에 기술된 주제(subject matter) 및 동작의 실시예는 이 명세서에 개시된 구조와 그 구조적 등가물 또는 이들 중 하나 이상의 조합을 포함하는 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있다. 본 명세서에 설명된 주제의 실시예는 하나 이상의 컴퓨터 프로그램, 즉 데이터 처리 장치에 의해 실행되거나 데이터 처리 장치의 동작을 제어하기 위해 컴퓨터 저장 매체에 인코딩된 컴퓨터 프로그램 명령의 하나 이상의 모듈로서 구현될 수 있다.
컴퓨터 저장 매체는 컴퓨터 판독가능 저장 디바이스, 컴퓨터 판독가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 어레이 또는 디바이스, 또는 이들 중 하나 이상의 조합일 수 있거나 여기에 포함될 수 있다. 더욱이, 컴퓨터 저장 매체는 전파된 신호가 아니지만, 컴퓨터 저장 매체는 인위적으로 생성된 전파 신호로 인코딩된 컴퓨터 프로그램 명령의 소스 또는 목적지가 될 수 있다. 컴퓨터 저장 매체는 또한 하나 이상의 개별 물리적 구성요소 또는 매체(예를 들어, 다중 CD, 디스크 또는 기타 저장 디바이스)일 수 있거나 여기에 포함될 수 있다. 본 명세서에 설명된 동작은 하나 이상의 컴퓨터 판독가능 저장 디바이스에 저장되거나 다른 소스로부터 수신된 데이터에 대해 프로세서에 의해 수행되는 동작으로 구현될 수 있다.
'프로세서' 라는 용어는 예를 들어 프로그래머블 프로세서, 컴퓨터, 칩 상의 시스템 또는 전술한 것의 여러 가지 또는 조합을 포함하는 데이터 처리를 위한 모든 종류의 장치(apparatus), 디바이스(device) 및 머신(machine)를 포함한다. 이 장치는 특수 목적 논리 회로, 예를 들어 FPGA(필드 프로그래머블 게이트 어레이) 또는 ASIC(애플리케이션-특정 집적 회로)를 포함할 수 있다. 이 장치는 또한 하드웨어에 추가하여 예컨대, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 시스템, 크로스 플랫폼 런타임 환경, 가상 머신 또는 이들 중 하나 이상의 조합을 구성하는 코드와 같은, 문제의 컴퓨터 프로그램을 위한 실행 환경을 생성하는 코드를 포함할 수 있다. 장치 및 실행 환경은 웹 서비스, 분산 컴퓨팅 및 그리드 컴퓨팅 인프라와 같은 다양한 컴퓨팅 모델 인프라를 구현할 수 있다.
프로세서에 의해 실행되는 컴퓨터 프로그램(또한 프로그램, 소프트웨어, 소프트웨어 어플리케이션, 스크립트 또는 코드라고 라고도 함)은 컴파일된 또는 해석된 언어, 선언적 또는 절차적 언어를 포함하는 모든 형태의 프로그래밍 언어로 작성될 수 있으며, 독립형 프로그램(stand-alone program) 또는 컴퓨팅 환경에서 사용하기에 적합한 모듈, 구성요소, 서브루틴, 객체 또는 기타 단위를 포함하여 모든 형태로 배포될 수 있다. 컴퓨터 프로그램은 파일 시스템 내의 파일에 대응할 수 있지만 반드시 그럴 필요는 없다. 프로그램은 다른 프로그램 또는 데이터(예컨대, 마크업 언어 문서에 저장된 하나 이상의 스크립트)를 보유하는 파일의 일부 내에, 해당 프로그램 전용의 단일 파일 내에, 또는 다수의 조정된 파일(예컨대, 하나 이상의 모듈, 하위 프로그램 또는 코드 일부를 저장하는 파일) 내에 저장될 수 있다.
본 명세서에 설명된 과정 및 논리 흐름은 입력 데이터에 대해 동작하고 출력을 생성함으로써 동작을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그래머블 프로세서에 의해 수행될 수 있다. 과정들 및 논리 흐름들은 또한 수행될 수 있으며, 장치는 FPGA(필드 프로그래머블 게이트 어레이) 또는 ASIC(애플리케이션-특정 집적 회로)와 같은 특수 목적의 논리 회로로 구현될 수도 있다.
컴퓨터 프로그램의 실행에 적합한 프로세서는 예를 들어 범용 및 특수 목적의 마이크로 프로세서와 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 읽기-전용 메모리나 랜덤 액세스 메모리 또는 둘 다로부터 명령과 데이터를 수신할 것이다. 컴퓨터의 필수 요소는 명령에 따라 동작을 수행하기 위한 프로세서와 명령 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스(예컨대, 자기, 광자기 디스크 또는 광 디스크)를 포함하거나, 하나 이상의 대용량 저장 장치로부터 데이터를 수신하거나 그에 데이터를 전송하도록 작동 가능하게 결합되거나, 둘 다일 수 있다. 그러나 컴퓨터는 이러한 디바이스들을 필요로 하지 않는다. 컴퓨터 프로그램 명령어 및 데이터를 저장하기에 적합한 디바이스는 예를 들어 EPROM, EEPROM 및 플래시 메모리 디바이스와 같은 반도체 메모리 디바이스; 예를 들어 내부 하드 디스크 또는 이동식 디스크와 같은 자기 디스크; 광자기 디스크; 및 CD-ROM과 DVD-ROM 디스크;를 예를 들어 포함하는 모든 형태의 비-휘발성 메모리 매체 및 메모리 디바이스를 포함한다. 프로세서와 메모리는 특수 목적 논리 회로에 의해 보완되거나 이에 통합될 수 있다.
이해되는 바와 같이, 개시된 기술은 위에서 설명된 특정 실시예로 제한되지 않으며, 본 발명의 범위를 벗어나지 않고 변경이 이루어질 수 있음을 알 수 있다. 예를 들어, 개시된 실시예가 인간 주체에 대해 설명되었지만, 개시된 기술은 수의학 환경에서도 사용될 수 있다. 따라서 본 발명은 첨부된 청구 범위를 제외하고는 제한되지 않는다.

Claims (21)

  1. 초음파 이미징 시스템으로서,
    프로세서에 의해 실행가능한 다수의 명령을 저장하기 위한 메모리; 및
    프로세서를 포함하고, 상기 프로세서는:
    초음파 이미지를 분류하도록 훈련된 신경망(neural network)에 이미지에 대한 초음파 데이터를 제공하고; 및
    신경망에 의한 분류에 기초하여 상기 이미지와 연관될 수 있는 하나 이상의 픽토그래프(pictograph)를 제시하기 위해
    명령을 실행하도록 구성되는, 초음파 이미징 시스템.
  2. 제1항에 있어서, 프로세서는 분류된 초음파 이미지에 대응하는 하나 이상의 픽토그래프를 표시함으로써 하나 이상의 픽토그래프를 제시하도록 구성되는, 초음파 이미징 시스템.
  3. 제1항에 있어서, 프로세서는 분류된 초음파 이미지에 대응하지 않는 하나 이상의 픽토그래프를 표시하지 않도록 구성되는, 초음파 이미징 시스템.
  4. 제1항에 있어서, 프로세서는 각각의 픽토그래프가 분류된 초음파 이미지에 대응할 가능성의 정도의 표시를 갖는 하나 이상의 픽토그래프를 제공하도록 구성되는, 초음파 이미징 시스템.
  5. 제4항에 있어서, 프로세서는 각각의 픽토그래프가 분류된 초음파 이미지에 대응할 가능성의 정도를 나타내는 순서로 하나 이상의 픽토그래프를 제시하도록 구성되는, 초음파 이미징 시스템.
  6. 제4항에 있어서, 프로세서는 각각의 픽토그래프가 분류된 초음파 이미지에 대응할 가능성의 정도를 나타내는 시각적 큐를 갖는 하나 이상의 픽토그래프를 제시하도록 구성되는, 초음파 이미징 시스템.
  7. 제6항에 있어서, 시각적 큐는 각각의 픽토그래프가 분류된 초음파 이미지에 대응할 가능성의 정도를 나타내는 색상인, 초음파 이미징 시스템.
  8. 제4항에 있어서, 시각적 큐는 각각의 픽토그래프가 분류된 초음파 이미지에 대응할 가능성의 정도를 나타내는 점수인, 초음파 이미징 시스템.
  9. 제1항에 있어서, 프로세서는 훈련된 신경망에 대한 입력으로서 초음파 이미지의 픽셀 값을 제공하도록 구성되는, 초음파 이미징 시스템.
  10. 제1항에 있어서, 프로세서는 훈련된 신경망에 대한 입력으로서 초음파 이미지에 대한 사전 픽셀 이미지 데이터를 제공하도록 구성되는, 초음파 이미징 시스템.
  11. 제1항에 있어서, 초음파 이미징 시스템은 상이한 유형의 조직을 나타내는 다수의 픽토그래프를 저장하기 위한 메모리를 포함하는, 초음파 이미징 시스템.
  12. 제1항에 있어서, 신경망은 초음파 데이터가 다수의 상이한 조직 유형을 나타낼 가능성의 정도의 표시를 생성하도록 구성되고, 프로세서는 가장 가능성이 높은 조직 유형에 대응하는 하나 이상의 픽토그래프를 제공하도록 구성되는, 초음파 이미징 시스템.
  13. 제12항에 있어서, 신경망은 초음파 데이터가 조직의 다수의 상이한 뷰를 나타낼 가능성의 정도의 표시를 생성하도록 구성되고, 프로세서는 가장 가능성이 높은 조직 유형 및 가장 가능성이 높은 뷰에 대응하는 하나 이상의 픽토그래프를 제공하도록 구성되는, 초음파 이미징 시스템.
  14. 제12항에 있어서, 신경망은 상기 이미지 내의 각 영역이 조직 특징을 나타낼 가능성의 정도의 표시를 생성하도록 구성되고, 프로세서는 신경망으로부터의 표시에 기초하여 이미지의 영역에 픽토그래프를 제시하도록 구성되는, 초음파 이미징 시스템.
  15. 초음파 이미징 시스템으로서,
    프로세서에 의해 실행가능한 다수의 명령을 저장하기 위한 메모리; 및
    프로세서를 포함하고, 상기 프로세서는:
    특정 검사 유형에 대한 환자 기록에 포함될 필요가 있는 하나 이상의 초음파 이미지 뷰를 결정하기 위해 명령을 실행하도록 구성되고,
    상기 프로세서는, 초음파 이미지 데이터가 필요한 초음파 이미지 뷰에 대응할 가능성의 정도의 표시를 생성하도록 구성된 하나 이상의 훈련된 신경망에 초음파 이미지 데이터를 제공하도록 더 구성되는, 초음파 이미징 시스템.
  16. 제15항에 있어서, 프로세서는:
    필요한 뷰에 대응하는 하나 이상의 초음파 이미지에 대한 데이터를 식별하고;
    식별된 하나 이상의 초음파 이미지를 디스플레이 스크린상의 조작자에게 제시하고;
    조작자가 제시된 초음파 이미지를 선택했는지 결정하고; 및
    선택된 초음파 이미지를 환자 기록에 통합하기 위해 명령을 실행하도록 구성되는, 초음파 이미징 시스템.
  17. 제15항에 있어서, 프로세서는 필요한 뷰에 대응할 가능성이 있는 초음파 이미지를 환자 보고서에 통합하기 위한 명령을 실행하도록 구성되는, 초음파 이미징 시스템.
  18. 제15항에 있어서, 프로세서는 초음파 이미지 데이터가 필요한 이미지 뷰에 대응할 가능성이 있음을 사용자에게 알리도록 구성되는, 초음파 이미징 시스템.
  19. 제15항에 있어서, 프로세서는 필요한 뷰에 대응하는 이미지들이 식별되면 사용자에게 표시를 제공하도록 구성되는, 초음파 이미징 시스템.
  20. 초음파 이미징 시스템으로서,
    프로세서에 의해 실행가능한 다수의 명령어를 저장하기 위한 메모리; 및
    프로세서를 포함하고, 상기 프로세서는:
    이미지를 분류하도록 훈련된 하나 이상의 신경망에 초음파 이미지에 대한 데이터를 제공하고; 및
    하나 이상의 신경망에 의한 초음파 이미지의 분류에 기초하여 초음파 이미징 시스템에 설정된 하나 이상의 이미징 파라미터를 확인하기 위해
    명령을 실행하도록 구성되는, 초음파 이미징 시스템.
  21. 제20항에 있어서, 하나 이상의 신경망은 조직 유형에 대응하는 것으로 초음파 이미지에 대한 데이터를 분류하도록 훈련되고, 프로세서는 조직 유형을 초음파 이미징 시스템에 설정된 하나 이상의 이미징 파라미터와 비교하기 위한 명령을 실행하도록 구성되는, 초음파 이미징 시스템.
KR1020207028173A 2018-03-01 2019-02-18 초음파 검사를 주석화하기 위한 방법 및 장치 KR102646194B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/909,839 2018-03-01
US15/909,839 US11382601B2 (en) 2018-03-01 2018-03-01 Method and apparatus for annotating ultrasound examinations
PCT/US2019/018438 WO2019168699A1 (en) 2018-03-01 2019-02-18 Method and apparatus for annotating ultrasound examinations

Publications (2)

Publication Number Publication Date
KR20200118502A true KR20200118502A (ko) 2020-10-15
KR102646194B1 KR102646194B1 (ko) 2024-03-08

Family

ID=67767858

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207028173A KR102646194B1 (ko) 2018-03-01 2019-02-18 초음파 검사를 주석화하기 위한 방법 및 장치

Country Status (7)

Country Link
US (1) US11382601B2 (ko)
EP (1) EP3758613A4 (ko)
JP (1) JP7373494B2 (ko)
KR (1) KR102646194B1 (ko)
CN (1) CN111885963B (ko)
CA (1) CA3092561A1 (ko)
WO (1) WO2019168699A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102328596B1 (ko) * 2021-06-15 2021-11-19 대한검사기술(주) 위상 배열 초음파 검사 보고서 자동 작성 방법 및 시스템
WO2023238987A1 (ko) * 2022-06-07 2023-12-14 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작 방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200108912A (ko) * 2018-03-16 2020-09-21 미쓰비시덴키 가부시키가이샤 학습 장치 및 학습 방법
EP3547254A1 (de) * 2018-03-29 2019-10-02 Siemens Healthcare GmbH Analyse-verfahren und analyseeinheit zur ermittlung radiologischer ergebnisdaten
US20210265042A1 (en) * 2018-07-20 2021-08-26 Koninklijke Philips N.V. Ultrasound imaging by deep learning and associated devices, systems, and methods
EP3827282A1 (en) * 2018-07-26 2021-06-02 Koninklijke Philips N.V. Ultrasound system with automated dynamic setting of imaging parameters based on organ detection
US11399803B2 (en) * 2018-08-08 2022-08-02 General Electric Company Ultrasound imaging system and method
US10818013B2 (en) * 2019-02-03 2020-10-27 Nec Corporation Of America Systems and methods for processing data extracted from frames captured from video signals
US11602332B2 (en) * 2019-10-29 2023-03-14 GE Precision Healthcare LLC Methods and systems for multi-mode ultrasound imaging
WO2021133549A1 (en) * 2019-12-23 2021-07-01 Covidien Lp Energy-based surgical systems and methods based on an artificial-intelligence learning system
KR102304750B1 (ko) * 2020-06-24 2021-09-24 주식회사 파워인스 인공지능 기반 비파괴검사 방법 및 시스템
US20220071595A1 (en) * 2020-09-10 2022-03-10 GE Precision Healthcare LLC Method and system for adapting user interface elements based on real-time anatomical structure recognition in acquired ultrasound image views
CN112863647A (zh) * 2020-12-31 2021-05-28 北京小白世纪网络科技有限公司 一种视频流处理显示方法、系统及存储介质
US20220277175A1 (en) * 2021-02-28 2022-09-01 Clarius Mobile Health Corp. Method and system for training and deploying an artificial intelligence model on pre-scan converted ultrasound image data
JP7302051B1 (ja) 2022-02-17 2023-07-03 ジーイー・プレシジョン・ヘルスケア・エルエルシー 超音波画像表示システムおよび記憶媒体
US20230389898A1 (en) * 2022-06-01 2023-12-07 Fujifilm Sonosite, Inc. Ultrasound system for a virtual sonography team
WO2023242072A1 (en) * 2022-06-17 2023-12-21 Koninklijke Philips N.V. Supplemented ultrasound

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070055153A1 (en) * 2005-08-31 2007-03-08 Constantine Simopoulos Medical diagnostic imaging optimization based on anatomy recognition
US20080051652A1 (en) * 2006-06-01 2008-02-28 Kenichi Ichioka Ultrasonic diagnostic apparatus and diagnostic method of the apparatus
JP2009095644A (ja) * 2007-04-12 2009-05-07 Fujifilm Corp 画像認識結果判定装置、方法、およびプログラム
KR101182880B1 (ko) * 2009-01-28 2012-09-13 삼성메디슨 주식회사 영상 지시자를 제공하는 초음파 시스템 및 방법
KR101495083B1 (ko) * 2011-12-28 2015-02-24 삼성메디슨 주식회사 바디마커 제공 방법 및 그를 위한 초음파 진단 장치
KR20160012590A (ko) * 2014-07-24 2016-02-03 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어방법
JP2016514564A (ja) * 2013-04-03 2016-05-23 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄ超音波撮像システム
WO2017156329A1 (en) * 2016-03-09 2017-09-14 EchoNous, Inc. Ultrasound image recognition systems and methods utilizing an artificial intelligence network
KR101906916B1 (ko) * 2015-05-27 2018-10-11 지멘스 메디컬 솔루션즈 유에스에이, 인크. 지식-기반 초음파 이미지 개선

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970587B1 (en) * 1997-08-28 2005-11-29 Icad, Inc. Use of computer-aided detection system outputs in clinical practice
US7308126B2 (en) * 1997-08-28 2007-12-11 Icad, Inc. Use of computer-aided detection system outputs in clinical practice
US6238342B1 (en) 1998-05-26 2001-05-29 Riverside Research Institute Ultrasonic tissue-type classification and imaging methods and apparatus
US6654728B1 (en) * 2000-07-25 2003-11-25 Deus Technologies, Llc Fuzzy logic based classification (FLBC) method for automated identification of nodules in radiological images
US7103205B2 (en) * 2000-11-24 2006-09-05 U-Systems, Inc. Breast cancer screening with ultrasound image overlays
US7597663B2 (en) * 2000-11-24 2009-10-06 U-Systems, Inc. Adjunctive ultrasound processing and display for breast cancer screening
US7615008B2 (en) * 2000-11-24 2009-11-10 U-Systems, Inc. Processing and displaying breast ultrasound information
US6855114B2 (en) * 2001-11-23 2005-02-15 Karen Drukker Automated method and system for the detection of abnormalities in sonographic images
US8265728B2 (en) * 2003-11-26 2012-09-11 University Of Chicago Automated method and system for the evaluation of disease and registration accuracy in the subtraction of temporally sequential medical images
US7727151B2 (en) * 2003-11-28 2010-06-01 U-Systems Inc. Navigation among multiple breast ultrasound volumes
US20100076311A1 (en) * 2006-09-22 2010-03-25 U-Systems, Inc. Thick-slice processing and display of information from a volumetric ultrasound scan of a chestwardly compressed breast
JP2008259622A (ja) * 2007-04-11 2008-10-30 Fujifilm Corp レポート作成支援装置およびそのプログラム
US8989468B2 (en) * 2007-05-25 2015-03-24 Definiens Ag Generating an anatomical model using a rule-based segmentation and classification process
US20090082637A1 (en) * 2007-09-21 2009-03-26 Michael Galperin Multi-modality fusion classifier with integrated non-imaging factors
US8483454B2 (en) * 2008-10-10 2013-07-09 Sti Medical Systems, Llc Methods for tissue classification in cervical imagery
US9146663B2 (en) * 2008-12-08 2015-09-29 Hologic, Inc. Displaying computer-aided detection information with associated breast tomosynthesis image information
US8326012B2 (en) * 2009-10-07 2012-12-04 Hologic, Inc. Selective display of computer-aided detection findings with associated breast X-ray mammogram and/or tomosynthesis image information
US9439621B2 (en) * 2009-11-27 2016-09-13 Qview, Medical Inc Reduced image reading time and improved patient flow in automated breast ultrasound using enchanced, whole breast navigator overview images
JP2011115456A (ja) 2009-12-04 2011-06-16 Toshiba Corp 超音波診断装置及び画像データ表示用制御プログラム
US20110257505A1 (en) * 2010-04-20 2011-10-20 Suri Jasjit S Atheromatic?: imaging based symptomatic classification and cardiovascular stroke index estimation
US11612377B2 (en) * 2010-12-16 2023-03-28 Best Medical International, Inc. Image guided surgical methodology and system employing patient movement detection and correction
US9721338B2 (en) * 2011-01-11 2017-08-01 Rutgers, The State University Of New Jersey Method and apparatus for segmentation and registration of longitudinal images
US8885901B1 (en) * 2013-10-22 2014-11-11 Eyenuk, Inc. Systems and methods for automated enhancement of retinal images
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
US11238975B2 (en) * 2014-04-02 2022-02-01 University Of Louisville Research Foundation, Inc. Computer aided diagnosis system for classifying kidneys
US9538985B2 (en) * 2014-04-18 2017-01-10 Fujifilm Sonosite, Inc. Hand-held medical imaging system with improved user interface for deploying on-screen graphical tools and associated apparatuses and methods
KR102325346B1 (ko) 2014-12-15 2021-11-11 삼성전자주식회사 의료 영상 진단 장치 및 방법
US10835210B2 (en) 2015-03-30 2020-11-17 Siemens Medical Solutions Usa, Inc. Three-dimensional volume of interest in ultrasound imaging
US11266383B2 (en) * 2015-09-22 2022-03-08 University Health Network System and method for optimized mass spectrometry analysis
CN105574820A (zh) 2015-12-04 2016-05-11 南京云石医疗科技有限公司 一种基于深度学习的自适应超声图像增强方法
EP3431009A4 (en) * 2016-03-14 2019-04-17 FUJIFILM Corporation ULTRASOUND DIAGNOSIS DEVICE AND METHOD FOR CONTROLLING THE ULTRASONIC DIAGNOSIS DEVICE
EP3445250B1 (en) * 2016-04-21 2021-09-15 The University of British Columbia Echocardiographic image analysis
US10706533B2 (en) * 2016-05-13 2020-07-07 National Jewish Health Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
EP3471623B1 (en) * 2016-06-20 2023-01-25 Butterfly Network, Inc. Automated image acquisition for assisting a user to operate an ultrasound device
US10918357B2 (en) * 2017-06-30 2021-02-16 General Electric Company Methods and systems for automatically determining an anatomical measurement of ultrasound images
US20190122073A1 (en) * 2017-10-23 2019-04-25 The Charles Stark Draper Laboratory, Inc. System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070055153A1 (en) * 2005-08-31 2007-03-08 Constantine Simopoulos Medical diagnostic imaging optimization based on anatomy recognition
US20080051652A1 (en) * 2006-06-01 2008-02-28 Kenichi Ichioka Ultrasonic diagnostic apparatus and diagnostic method of the apparatus
JP2009095644A (ja) * 2007-04-12 2009-05-07 Fujifilm Corp 画像認識結果判定装置、方法、およびプログラム
KR101182880B1 (ko) * 2009-01-28 2012-09-13 삼성메디슨 주식회사 영상 지시자를 제공하는 초음파 시스템 및 방법
KR101495083B1 (ko) * 2011-12-28 2015-02-24 삼성메디슨 주식회사 바디마커 제공 방법 및 그를 위한 초음파 진단 장치
JP2016514564A (ja) * 2013-04-03 2016-05-23 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄ超音波撮像システム
KR20160012590A (ko) * 2014-07-24 2016-02-03 삼성메디슨 주식회사 초음파 영상 장치 및 그 제어방법
KR101906916B1 (ko) * 2015-05-27 2018-10-11 지멘스 메디컬 솔루션즈 유에스에이, 인크. 지식-기반 초음파 이미지 개선
WO2017156329A1 (en) * 2016-03-09 2017-09-14 EchoNous, Inc. Ultrasound image recognition systems and methods utilizing an artificial intelligence network

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102328596B1 (ko) * 2021-06-15 2021-11-19 대한검사기술(주) 위상 배열 초음파 검사 보고서 자동 작성 방법 및 시스템
WO2023238987A1 (ko) * 2022-06-07 2023-12-14 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US20190269384A1 (en) 2019-09-05
CA3092561A1 (en) 2019-09-06
US11382601B2 (en) 2022-07-12
CN111885963B (zh) 2023-05-12
KR102646194B1 (ko) 2024-03-08
CN111885963A (zh) 2020-11-03
JP2021516090A (ja) 2021-07-01
EP3758613A1 (en) 2021-01-06
WO2019168699A1 (en) 2019-09-06
JP7373494B2 (ja) 2023-11-02
EP3758613A4 (en) 2021-11-17

Similar Documents

Publication Publication Date Title
KR102646194B1 (ko) 초음파 검사를 주석화하기 위한 방법 및 장치
KR101922180B1 (ko) 초음파 영상 처리 장치 및 초음파 영상 처리 방법
CN111374703B (zh) 用于医疗分级系统的方法和系统
US20210313048A1 (en) Neural network-based object detection in visual input
JP6916876B2 (ja) 画像セレクタを有する超音波イメージング装置
US20210295510A1 (en) Heat map based medical image diagnostic mechanism
CN109346158A (zh) 超声影像处理方法、计算机设备和可读存储介质
US20120278105A1 (en) Protocol guided imaging procedure
US20230135046A1 (en) Classification display method of ultrasound data and ultrasound imaging system
KR20100011669A (ko) 초음파 진단 시스템에서 사용자 맞춤형 인터페이스 제공방법 및 장치
US10650923B2 (en) Automatic creation of imaging story boards from medical imaging studies
US20230355211A1 (en) Systems and methods for obtaining medical ultrasound images
JP2002253552A (ja) リモート閲覧用ステーションにおいて画像及びリポートを結合する方法及び装置
JP6554579B1 (ja) システム
CN111374698A (zh) 超声成像系统及相关的工作流系统和方法
US20210280298A1 (en) Methods and systems for detecting abnormalities in medical images
CN117616511A (zh) 用户性能评价和训练
KR101284039B1 (ko) 복수의 키 세트를 표시하는 초음파 장치 및 그를 이용한 초음파 진단 방법
US20240127929A1 (en) System and method for reviewing annotated medical images
US20210118568A1 (en) Medical information processing apparatus and medical information processing method
US20230062781A1 (en) Methods and systems for implementing and using digital imaging and communications in medicine (dicom) structured reporting (sr) object consolidation
US20230181163A1 (en) System and Method for Automatic Association and Display of Video Loop Subject Matter for Enhanced Identification
US20230363731A1 (en) Medical information processing apparatus
US20230099284A1 (en) System and method for prognosis management based on medical information of patient
US20230363642A1 (en) Medical image processing apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant