KR20190061041A - 이미지 프로세싱 - Google Patents

이미지 프로세싱 Download PDF

Info

Publication number
KR20190061041A
KR20190061041A KR1020197012215A KR20197012215A KR20190061041A KR 20190061041 A KR20190061041 A KR 20190061041A KR 1020197012215 A KR1020197012215 A KR 1020197012215A KR 20197012215 A KR20197012215 A KR 20197012215A KR 20190061041 A KR20190061041 A KR 20190061041A
Authority
KR
South Korea
Prior art keywords
image
logic
specified
operable
image frame
Prior art date
Application number
KR1020197012215A
Other languages
English (en)
Inventor
크리스티안 바움가르트너
다니엘 루에커트
Original Assignee
킹즈 컬리지 런던
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 킹즈 컬리지 런던 filed Critical 킹즈 컬리지 런던
Publication of KR20190061041A publication Critical patent/KR20190061041A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06K9/00201—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G06K9/00885—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06K2209/051—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10076—4D tomography; Time-sequential 3D tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Gynecology & Obstetrics (AREA)
  • Physiology (AREA)
  • Pregnancy & Childbirth (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

이미징 방법들, 이미징 장치 및 컴퓨터 프로그램 제품들이 개시된다. 이미징 방법은: 3-차원 오브젝트의 이미지 데이터를 수신하는 단계; 및 머신-학습 알고리즘을 사용하여 이미지 데이터의 이미지 프레임의 적어도 일부분에 신뢰 레벨을 할당하는 단계를 포함하고, 신뢰 레벨은 이미지 프레임이 3-차원 오브젝트를 통해 특정된 평면 상에 이미지화되는 특정된 엘리먼트를 가질 공산을 표시한다. 이러한 방식으로, 특정 엘리먼트들은, 바람직한 방식으로 이미지화될 때, 3-차원 오브젝트의 이미지 데이터로부터 식별될 수 있다.

Description

이미지 프로세싱
본 발명은 이미징 방법들, 이미징 장치 및 컴퓨터 프로그램 제품들에 관한 것이다.
이미지 프로세싱이 공지되어 있다. 일반적으로, 이미징 디바이스 또는 센서는 오브젝트를 이미지화하고 오브젝트의 표현을 제공하는 이미지 데이터를 제공한다. 해당 이미지 데이터는 오브젝트의 엘리먼트들을 식별하기 위해 검토될 수 있다. 오브젝트의 엘리먼트들을 식별하는 것을 보조하는 이미지 프로세싱 기법이 존재하지만, 이들 각각은 나름의 단점들을 가진다. 따라서, 개선된 이미지 프로세싱 기법들을 제공하는 것이 바람직하다.
제1 양태에 따르면, 3-차원 오브젝트의 이미지 데이터를 수신하는 것; 및 머신-학습 알고리즘을 사용하여 이미지 데이터의 이미지 프레임의 적어도 일부에 신뢰 레벨을 할당하는 것을 포함하는 이미징 방법이 제공되고, 신뢰 레벨은 상기 이미지 프레임이 3-차원 오브젝트를 통해 특정된 평면 상에 이미지화되는 특정된 엘리먼트를 가질 공산을 표시한다.
제1 양태는 오브젝트들의 복잡성이 증가함에 따라, 오브젝트들 내의 엘리먼트들을 식별하는 것이 더욱 복잡해짐을 인지한다. 또한, 3-차원 오브젝트들의 이미지 데이터를 제공하는 것이 공지되는데, 이는 그 3-차원 오브젝트들 내의 엘리먼트들을 식별하는 것을 훨씬 더 복잡하게 만든다. 또한, 3-차원 오브젝트의 엘리먼트의 특정 뷰를 찾는 것은 이러한 복잡성을 더한다.
따라서, 이미지 프로세싱 방법이 제공된다. 방법은 이미지 데이터를 수신하는 단계를 포함한다. 이미지 데이터는 3-차원 오브젝트의 이미지의 이미지 데이터이거나, 또는 이를 나타낼 수 있다. 방법은 이미지 데이터의 이미지 프레임의 일부 또는 부분에 대한 신뢰 레벨을 할당하거나 결정하는 것을 포함할 수 있다. 신뢰 레벨은 머신 학습 알고리즘을 사용하여 결정될 수 있다. 신뢰 레벨은 이미지 프레임이 3-차원 오브젝트를 통해 특정된 평면 또는 특별한 평면 상에 이미지화되거나 보일 때, 특정된, 정의된, 또는 특별한 엘리먼트 또는 피처를 가질 공산 또는 확률을 표시할 수 있다. 다시 말해, 머신 학습 알고리즘은 3-차원 오브젝트를 통해 특별한 방식으로 이미지화되거나 보일 때 3-차원 오브젝트의 특정 엘리먼트들 또는 피처들의 존재를 식별할 수 있다. 이러한 방식으로, 특정 엘리먼트들은 바람직한 방식으로 이미지화될 때, 3-차원 오브젝트의 이미지 데이터로부터 식별될 수 있다.
일 실시예에서, 할당하는 것은 이미지 데이터의 이미지 프레임에 복수의 신뢰 레벨을 할당하는 것을 포함하고, 각각의 신뢰 레벨은 상기 이미지 프레임이 3-차원 오브젝트를 통해 대응하는 특정된 평면 상에 이미지화되는 대응하는 특정된 엘리먼트를 가질 공산을 표시한다. 따라서, 다수의 상이한 엘리먼트 각각이, 3-차원 오브젝트를 통해 이들의 고유한 연관된 평면 상에 이미지화될 때, 이미지 프레임 내에 존재하는지를 표시하는 신뢰 레벨이 할당되거나 배당될 수 있다.
일 실시예에서, 할당하는 것은 이미지 데이터의 복수의 이미지 프레임의 각각에 신뢰 레벨을 할당하는 것을 포함한다. 따라서, 3-차원 이미지 데이터를 통해 비디오 스트림 또는 이미지 프레임들의 시퀀스에 의해 제공되는 바와 같이, 이미지 데이터의 일련의 이미지 프레임들의 각각에 신뢰 레벨들이 할당되거나 배당될 수 있다.
일 실시예에서, 이미지 데이터는 이미지 캡처 장치의 운용자에 의해 캡처되고, 방법은 각각의 신뢰 레벨을 운용자에게 표시하는 것을 포함한다. 따라서, 이미지 데이터는 이미지 캡처 장치, 센서 또는 디바이스의 운용자에 의해 획득될 수 있다. 방법은 운용자 피드백을 제공하기 위해 신뢰 레벨들 각각을 운용자에게 표시할 수 있다.
일 실시예에서, 방법은 이미지 프레임들 간의 각각의 신뢰 레벨의 변경을 운용자에게 표시하는 것을 포함한다. 따라서, 절대적 신뢰 레벨들이 운용자에게 표시될 수 있을 뿐만 아니라, 이미지 프레임별 신뢰 레벨들의 임의의 변경 역시 운용자에게 식별될 수 있다.
일 실시예에서, 방법은 각각의 신뢰 레벨의 증가 및 감소 중 하나를 운용자에게 표시하는 것을 포함한다. 따라서, 상이한 신뢰 레벨들의 증가들 및/또는 감소들이 운용자에게 식별될 수 있다. 이는 특정 엘리먼트를 취득하려고 시도할 때 운용자에게 유용할 수 있다.
일 실시예에서, 방법은 신뢰 레벨을 증가시키기 위해 요구되는 이미지 캡처 장치의 움직임을 운용자에게 표시하는 것을 포함한다. 따라서, 신뢰 레벨들 중 하나 이상을 증가시키기 위해 이미지 캡처 디바이스를 움직이는 방법에 대한 표시가 운용자에게 제공될 수 있다.
일 실시예에서, 방법은 언제 각각의 신뢰 레벨이 임계량을 초과하는지를 운용자에게 표시하는 것을 포함한다. 임계는 그것이 초과될 때, 엘리먼트의 적절한 이미지가 취득되었다고 가정될 수 있고, 이것이 운용자에게 식별될 수 있도록 설정될 수 있다.
일 실시예에서, 방법은 적어도 하나의 이미지 프레임에 대한 신뢰 레벨이 임계량을 초과할 때 해당 이미지 프레임을 저장하고 상기 이미지 프레임을 그것의 특정된 엘리먼트와 연관시키는 것을 포함한다. 따라서, 그것의 신뢰 레벨이 임계량을 초과하는 이미지 프레임들이 저장되고, 향후 기준 및/또는 선택을 위해 상기 이미지 프레임들 내에 이미지화되는 특정된 엘리먼트와 연관될 수 있다.
일 실시예에서, 방법은 적어도 하나의 이미지 프레임에 대한 신뢰 레벨이 임계량을 초과하지 못할 때 해당 이미지 프레임을 저장하고, 해당 이미지 프레임을 그것의 특정된 엘리먼트와 연관시키는 것을 포함한다. 따라서, 임계량을 달성하지 않는 하나 이상의 이미지 프레임은 또한, 이들이 머신 학습 알고리즘을 리트레이닝할 때 유용할 수 있기 때문에, 향후 기준 및/또는 선택을 위해 저장될 수 있다.
일 실시예에서, 방법은 그것의 특정된 엘리먼트의 표시로 저장된 이미지 프레임들에 주석을 다는 것을 포함한다. 따라서, 어느 엘리먼트가 해당 이미지 프레임 내에서 이미지화되는지에 대한 표시는 저장된 이미지 프레임에 주석으로 달리거나 제공될 수 있다.
일 실시예에서, 머신 학습 알고리즘은 각각의 특정된 엘리먼트에 대한 피처 맵을 생성하고, 피처 맵은 맵 컴포넌트들을 가지고, 방법은 피처 맵으로부터의 활성화된 맵 컴포넌트들을 해당 이미지 프레임 내의 픽셀들에 매핑시키는 해당 이미지 프레임에 대한 돌극성 맵을 생성하는 것을 포함한다.
일 실시예에서, 머신 학습 알고리즘은 각각의 특정된 엘리먼트에 대한 피처 맵을 생성하고, 피처 맵은 맵 컴포넌트들을 가지고, 방법은 신뢰 레벨이 해당 이미지 프레임에 대한 임계량을 초과할 때, 피처 맵으로부터의 활성화된 맵 컴포넌트들을 해당 이미지 프레임 내의 픽셀들에 매핑시키는 해당 이미지 프레임에 대한 돌극성 맵을 생성하는 것을 포함한다. 따라서, 피처 맵이 각각의 엘리먼트에 대해 생성될 수 있다. 각각의 피처 맵은 해당 이미지 프레임에 대한 돌극성 맵을 생성하기 위해 사용될 수 있는 맵 컴포넌트들 또는 신경들을 가질 수 있다. 돌극성 맵은 인지된 이미지 프레임 내의 엘리먼트를 식별하는 것을 보조하기 위해, 피처 맵 상의 활성화된 맵 컨포넌트들을, 피처 맵이 유도되는 소스 이미지 프레임의 픽셀들에 공간적으로 매핑시킬 수 있다.
일 실시예에서, 돌극성 맵을 생성하는 것은 피처 맵으로부터의 가장 많이 활성화된 컴포넌트들의 선택된 백분율을 해당 이미지 프레임 내의 픽셀들에 매핑시키는 것을 포함한다. 따라서, 피처 맵 상에서 가장 적게 활성화된 맵 컴포넌트들 또는 뉴런들은 무시될 수 있고, 더 많이 활성화된 맵 컴포넌트들만이 소스 이미지 프레임 내의 픽셀들에 공간적으로 매핑될 수 있다.
일 실시예에서, 방법은 돌극성 맵을 사용하여 그것의 특정된 엘리먼트를 강조함으로써 이미지 프레임들에 주석을 다는 것을 포함한다. 따라서, 돌극성 맵이 사용되어 이미지 프레임들 내에서 공간적으로 엘리먼트를 강조하여 해당 이미지 프레임들 내의 엘리먼트를 식별하는 것을 보조할 수 있다.
일 실시예에서, 강조하는 것은 해당 특정된 엘리먼트를 둘러싸는 경계 박스를 오버레이하는 것을 포함한다.
일 실시예에서, 강조하는 것은 해당 특정된 엘리먼트를 정의하는 이미지 프레임 내의 픽셀들의 컬러 변경을 오버레이하는 것을 포함한다.
일 실시예에서, 강조하는 것은 특정된 엘리먼트의 측정을 오버레이하는 것을 포함한다.
일 실시예에서, 방법은 언제 각각의 신뢰 레벨이 신뢰 레벨의 상이한 범위들 내에 드는지를 표시하는 것을 포함한다. 이것은 신뢰 레벨들을 표시하는 간단하고 직관적인 방식을 운용자에게 제공한다.
일 실시예에서, 방법은 특정된 엘리먼트들의 목록을 운용자에게 표시하는 것을 포함한다. 따라서, 취득될 모든 엘리먼트들이 운용자에게 표시될 수 있다.
일 실시예에서, 방법은 언제 적어도 하나의 이미지 프레임이 저장되었고 그것의 특정된 엘리먼트와 연관되었는지를 목록 내에 표시하는 것을 포함한다. 어느 엘리먼트들이 이미지 프레임들 및 저장된 해당 이미지 프레임들 내에서 식별되는지를 목록 내에 표시하는 것은, 어느 엘리먼트들이 이미지 프레임 내에서 식별되었고 아직 식별되지 않았다는 것에 대한 추적을 유지하도록 운용자를 보조한다.
일 실시예에서, 방법은 언제 적어도 하나의 이미지 프레임이 아직 저장되어야 하고 그것의 특정된 엘리먼트와 연관되어야 하는지를 목록 내에 표시하는 것을 포함한다.
일 실시예에서, 방법은, 각각의 특정된 엘리먼트에 대해, 운용자에 의한 선택을 위한 특정된 엘리먼트와 연관된 각각의 저장된 이미지 프레임을 제시하는 것을 포함한다. 따라서, 저장되고 엘리먼트와 연관된 모든 이미지 프레임이 운용자에 의한 선택을 위해 제공된다.
일 실시예에서, 제시하는 단계는 일단 적어도 하나의 이미지 프레임이 모든 특정된 엘리먼트에 대해 저장되면 발생한다.
일 실시예에서, 방법은 운용자에 의해 선택된 이미지 프레임 이외의 해당 특정된 엘리먼트와 연관된 이미지 프레임들을 폐기하는 것을 포함한다. 따라서, 운용자에 의해 선택되지 않은 해당 이미지들이 폐기될 수 있다.
일 실시예에서, 방법은 머신 학습 알고리즘의 트레이닝을 위해 선택된 이미지 프레임을 사용하는 것을 포함한다. 따라서, 각각의 엘리먼트에 대해 선택된 이미지는 머신 학습 알고리즘의 후속적인 트레이닝을 위해 사용될 수 있다.
일 실시예에서, 이미지 데이터는 3-차원 이미지 데이터 세트를 포함하고, 방법은 3-차원 이미지 데이터 세트로부터 이미지 프레임들을 생성하는 것을 포함한다. 따라서, 이미지 프레임들은 프로세싱을 위해 3-차원 이미지 데이터 세트로부터 생성될 수 있다.
일 실시예에서, 생성하는 것은 3-차원 이미지 데이터 세트를 통해 평행한 평면들의 시퀀스를 나타내는 이미지 프레임들을 생성하는 것을 포함한다.
일 실시예에서, 생성하는 것은 3-차원 이미지 데이터 세트를 통해 평행한 평면들의 제1 시퀀스를 나타내는 이미지 프레임들, 및 평행한 평면들의 제1 시퀀스에 직교하는 3-차원 이미지 데이터 세트를 통해 평행한 평면들의 적어도 제2 시퀀스를 나타내는 이미지 프레임들을 생성하는 것을 포함한다. 따라서, 3-차원 이미지 데이터 세트는 평행한 평면들의 시퀀스로서, 예를 들어, x, y 및 z 평면들 내에 표현될 수 있다.
일 실시예에서, 방법은 각각의 시퀀스로부터의 돌극성 맵들을 조합하는 것, 및 3-차원 변환을 수행하여 3-차원 오브젝트를 통해 해당 특정된 평면 상에 이미지화되는 해당 특정된 엘리먼트를 가지는 이미지 프레임을 획득하는 것을 포함한다. 따라서, 이미지 프레임들의 시퀀스들 각각으로부터의 돌극성 맵들이 조합되고 3-차원 변환이 수행되어 최대 돌극성을 포함하는 3-차원 이미지 데이터를 통해 하나의 평면의 파라미터들을 획득할 수 있다. 평면 상의 이미지 프레임은 이후, 머신 학습 알고리즘에 의해 프로세싱되고 신뢰 레벨 할당될 수 있다.
일 실시예에서, 방법은 소스 트레이닝 데이터의 배치들을 사용하여 머신 학습 알고리즘을 트레이닝하는 것을 포함하고, 소스 트레이닝 데이터는 3-차원 오브젝트를 통해 특정된 평면 상에 이미지화되는 각각의 특정된 엘리먼트에 대한 이미지 프레임들을 포함하고, 하나의 특정된 엘리먼트는 관심 대상인 항목이 존재하지 않는 배경 엘리먼트이다. 따라서, 트레이닝 데이터의 배치들 또는 그룹들이 이용될 수 있다. 트레이닝 데이터는 요구되는 평면 상에 이미지화될 때 각각의 엘리먼트에 대한 하나 이상의 이미지 프레임을 포함할 수 있고, 엘리먼트들 중 하나는 관심 있는 항목 또는 엘리먼트가 존재하지 않는 배경 엘리먼트일 수 있다. 이런 방식으로 트레이닝 데이터의 배치들을 생성하는 것은 각각의 엘리먼트가 식별될 수 있음을 보장하는데 도움이 되고, 머신-학습 알고리즘이 특정된 엘리먼트가 존재하지 않는 배경 이미지들을 식별할 수 있음을 보장한다.
일 실시예에서, 트레이닝 데이터의 각각의 배치는 배경 엘리먼트를 포함하는 각각의 특정된 엘리먼트에 대해 유사한 개수들의 이미지 프레임들을 포함한다. 일반적으로 더 복잡하며 여러 가지 외관들을 가질 수 있는, 배경 엘리먼트 클래스를 적절하게 모델링하기 위해, 데이터세트는 전경 엘리먼트들보다 현저하게 더 많은 수의 배경 엘리먼트들로 구성된다. 머신 학습 알고리즘이 전경 엘리먼트와 배경 엘리먼트를 강건하게 구별하는 것을 학습한다는 것을 보장하기 위해, 배경 엘리먼트들만을 포함하는 배치들 상에 트레이닝하는 것이 회피되어야 한다. 유사한 수의 각각의 엘리먼트의 이미지 프레임들을 포함하는 배치들을 생성하는 것은 이 곤란함을 방지한다.
일 실시예에서, 배경 엘리먼트에 대한 이미지 프레임들의 포맷은 다른 특정된 엘리먼트들에 대한 이미지 프레임들의 포맷과는 상이하고, 방법은 다른 특정된 엘리먼트들에 대한 이미지 프레임들의 포맷을 조정하여 배경 엘리먼트의 이미지 프레임들의 포맷에 맞춰 정렬하는 것을 포함한다. 따라서, 이미지 프레임들은 각각이 시각적으로 유사한 포맷이도록 변형될 수 있다.
일 실시예에서, 방법은 배경 엘리먼트에 대한 이미지 프레임들로서, 소스 트레이닝 데이터로부터의 이미지 프레임들을 포함시키는 것을 포함하고, 소스 트레이닝 데이터의 인접한 이미지 프레임들 간에 임계량보다 더 큰 움직임이 발생한다. 이미지 프레임들 간에 높은 정도의 움직임이 발생할 때 배경 이미지가 일반적인 이미지 데이터로부터 식별될 가능성이 더 높다는 것이 인지될 것이다.
일 실시예에서, 방법은 트레이닝 데이터의 각각의 배치 사이의 각각의 특정된 엘리먼트에 대한 이미지 프레임들을 수정하는 것을 포함한다. 일반적으로, 각각의 특정된 엘리먼트에 대한 이미지 프레임들의 수는 배경 엘리먼트에 대한 프레임들의 수보다 일반적으로 더 적을 수 있다. 각각의 엘리먼트에 대한 이미지 프레임들을 수정하는 것은 해당 이미지 프레임들이 트레이닝을 위해 재사용될 수 있도록 하고, 과다-적합(over-fitting)을 방지하는데 유용하다. 이미지 프레임들을 수정하는 것은 데이터세트의 사이즈를 효과적으로 증가시키는데 유용하다.
일 실시예에서, 수정하는 것은 이미지 프레임들의 회전, 자르기, 스케일링, 평행이동, 미러링, 필터링, 잡음 가산 및 이미지 프레임들의 밝기 및 콘트라스트의 조정 중 적어도 하나를 포함한다.
일 실시예에서, 이미지 데이터는 3-차원 오브젝트를 통과해서 찍히는 초음파 이미지 데이터, 자기 공명 영상 이미지 데이터, X-레이 컴퓨터 단층 촬영 이미지 데이터, 양전자 방출 단층 촬영 이미지 데이터 및 단일-광자 방출 컴퓨터 단층 촬영 이미지 데이터 중 하나를 포함한다. 다양한 상이한 이미지 데이터 타입들이 제공될 수 있다는 것이 인지될 것이다.
일 실시예에서, 이미지 데이터는 레코딩된 이미지 데이터 및 실시간 이미지 데이터 중 하나를 포함한다.
일 실시예에서, 3-차원 오브젝트는 생물 오브젝트 및 무생물 오브젝트 중 하나를 포함한다. 다양한 상이한 오브젝트들이 이미지화될 수 있다는 것이 인지될 것이다.
일 실시예에서, 3-차원 오브젝트는 태아, 장기 및 이식물 중 하나를 포함한다.
일 실시예에서, 머신 학습 알고리즘은 컨볼루션 신경망을 포함한다.
제2 양태에 따르면, 3-차원 오브젝트의 이미지 데이터를 수신하도록 동작가능한 수신 로직; 및 머신-학습 알고리즘을 사용하여 이미지 데이터의 이미지 프레임의 적어도 일부에 신뢰 레벨을 할당하도록 동작가능한 로직을 포함하는 이미징 장치가 제공되고, 신뢰 레벨은 이미지 프레임이 3-차원 오브젝트를 통해 특정된 평면 상에 이미지화되는 특정된 엘리먼트를 가질 공산을 표시한다.
일 실시예에서, 로직은 이미지 데이터의 이미지 프레임에 복수의 신뢰 레벨을 할당하도록 동작가능하고, 각각의 신뢰 레벨은 이미지 프레임이 3-차원 오브젝트를 통해 대응하는 특정된 평면 상에 이미지화되는 대응하는 특정된 엘리먼트를 가질 공산을 표시한다.
일 실시예에서, 로직은 이미지 데이터의 복수의 이미지 프레임의 각각에 신뢰 레벨을 할당하도록 동작가능하다.
일 실시예에서, 이미지 데이터는 이미지 캡처 장치의 운용자에 의해 캡처되고, 로직은 각각의 신뢰 레벨을 운용자에게 표시하도록 동작가능하다.
일 실시예에서, 로직은 이미지 프레임들 간의 각각의 신뢰 레벨의 변경을 운용자에게 표시하도록 동작가능하다.
일 실시예에서, 로직은 각각의 신뢰 레벨의 증가 및 감소 중 하나를 운용자에게 표시하도록 동작가능하다.
일 실시예에서, 로직은 신뢰 레벨을 증가시키기 위해 요구되는 이미지 캡처 장치의 움직임을 운용자에게 표시하도록 동작가능하다.
일 실시예에서, 로직은 언제 각각의 신뢰 레벨이 임계량을 초과하는지를 운용자에게 표시하도록 동작가능하다.
일 실시예에서, 로직은 적어도 하나의 이미지 프레임에 대한 신뢰 레벨이 임계량을 초과할 때 해당 이미지 프레임을 저장하고, 해당 이미지 프레임을 그것의 특정된 엘리먼트와 연관시키도록 동작가능하다.
일 실시예에서, 로직은 적어도 하나의 이미지 프레임에 대한 신뢰 레벨이 임계량을 초과하지 못할 때 해당 이미지 프레임을 저장하고, 해당 이미지 프레임을 그것의 특정된 엘리먼트와 연관시키도록 동작가능하다.
일 실시예에서, 로직은 그것의 특정된 엘리먼트의 표시로 저장된 이미지 프레임들에 주석을 달도록 동작가능하다.
일 실시예에서, 머신 학습 알고리즘은 각각의 특정된 엘리먼트에 대한 피처 맵을 생성하도록 동작가능하고, 피처 맵은 맵 컴포넌트들을 가지고, 로직은, 신뢰 레벨이 해당 프레임에 대한 임계량을 초과할 때, 피처 맵으로부터의 활성화된 맵 컴포넌트들을 해당 이미지 프레임 내의 픽셀들에 매핑시키는 해당 이미지 프레임에 대한 돌극성 맵을 생성하도록 동작가능하다.
일 실시예에서, 로직은 피처 맵으로부터의 가장 많이 활성화된 맵 컴포넌트들의 선택된 백분율을 해당 이미지 프레임 내의 픽셀들에 매핑시키도록 동작가능하다.
일 실시예에서, 로직은 돌극성 맵을 사용하여 그것의 특정된 엘리먼트를 강조함으로써 이미지 프레임들에 주석을 달도록 동작가능하다.
일 실시예에서, 로직은 그것의 특정된 엘리먼트를 둘러싸는 경계 박스를 오버레이시킴으로써 해당 특정된 엘리먼트를 강조하도록 동작가능하다.
일 실시예에서, 로직은 그것의 특정된 엘리먼트를 정의하는 이미지 프레임 내의 픽셀들의 컬러 변경을 오버레이시킴으로써 해당 특정된 엘리먼트를 강조하도록 동작가능하다.
일 실시예에서, 로직은 그것의 특정된 엘리먼트의 측정을 오버레이시킴으로써 그 특정된 엘리먼트를 강조하도록 동작가능하다.
일 실시예에서, 로직은 언제 각각의 신뢰 레벨이 신뢰 레벨의 상이한 범위들 내에 드는지를 표시하도록 동작가능하다.
일 실시예에서, 로직은 특정된 엘리먼트들의 목록을 운용자에게 표시하도록 동작가능하다.
일 실시예에서, 로직은 언제 적어도 하나의 이미지 프레임이 저장되었고 그것의 특정된 엘리먼트와 연관되었는지를 목록 내에 표시하도록 동작가능하다.
일 실시예에서, 로직은 언제 적어도 하나의 이미지 프레임이 아직 저장되어야 하고 그것의 특정된 엘리먼트와 연관되어야 하는지를 목록 내에 표시하도록 동작가능하다.
일 실시예에서, 로직은, 각각의 특정된 엘리먼트에 대해, 운용자에 의한 선택을 위한 해당 특정된 엘리먼트와 연관된 각각의 저장된 이미지 프레임을 표시하도록 동작가능하다.
일 실시예에서, 로직은 일단 적어도 하나의 이미지 프레임이 모든 특정된 엘리먼트에 대해 저장되면 각각의 저장된 이미지 프레임을 표시하도록 동작가능하다.
일 실시예에서, 로직은 운용자에 의해 선택된 이미지 프레임 이외의 해당 특정된 엘리먼트와 연관된 이미지 프레임들을 폐기하도록 동작가능하다.
일 실시예에서, 로직은 머신 학습 알고리즘의 트레이닝을 위해 선택된 이미지 프레임을 사용하도록 동작가능하다.
일 실시예에서, 이미지 데이터는 3-차원 이미지 데이터 세트를 포함하고, 로직은 3-차원 이미지 데이터 세트로부터 이미지 프레임들을 생성하도록 동작가능하다.
일 실시예에서, 로직은 3-차원 이미지 데이터 세트를 통해 평행한 평면들의 시퀀스를 나타내는 이미지 프레임들을 생성하도록 동작가능하다.
일 실시예에서, 로직은 3-차원 이미지 데이터 세트를 통해 평행한 평면들의 제1 시퀀스를 나타내는 이미지 프레임들, 및 평행한 평면들의 제1 시퀀스에 직교하는 3-차원 이미지 데이터 세트를 통해 평행한 평면들의 적어도 제2 시퀀스를 나타내는 이미지 프레임들을 생성하도록 동작가능하다.
일 실시예에서, 로직은 각각의 시퀀스로부터의 돌극성 맵들을 조합하고, 3-차원 변환을 수행하여 3-차원 오브젝트를 통과해 해당 특정된 평면 상에 이미지화되는 해당 특정된 엘리먼트를 가지는 이미지 프레임을 획득하도록 동작가능하다.
일 실시예에서, 로직은 소스 트레이닝 데이터의 배치들을 사용하여 머신 학습 알고리즘을 트레이닝하도록 동작가능하고, 소스 트레이닝 데이터는 3-차원 오브젝트를 통과해 특정된 평면 상에 이미지화되는 각각의 특정된 엘리먼트에 대한 이미지 프레임들을 포함하고, 하나의 특정된 엘리먼트는 관심 있는 항목이 존재하지 않는 배경 엘리먼트이다.
일 실시예에서, 트레이닝 데이터의 각각의 배치는 배경 엘리먼트를 포함하는 각각의 특정된 엘리먼트에 대한 유사한 개수의 이미지 프레임들을 포함한다.
일 실시예에서, 배경 엘리먼트에 대한 이미지 프레임들의 포맷은 다른 특정된 엘리먼트들에 대한 이미지 프레임들의 포맷과는 상이하고, 로직은 다른 특정된 엘리먼트들에 대한 이미지 프레임들의 포맷을 조정하여 배경 엘리먼트의 이미지 프레임들의 포맷에 맞춰 정렬하도록 동작가능하다.
일 실시예에서, 로직은 배경 엘리먼트에 대한 이미지 프레임들로서, 소스 트레이닝 데이터로부터의 이미지 프레임들을 포함시키도록 동작가능하고, 소스 트레이닝 데이터의 인접한 이미지 프레임들 간에 임계량보다 더 큰 움직임이 발생한다.
일 실시예에서, 로직은 트레이닝 데이터의 각각의 배치 간의 각각의 특정된 엘리먼트에 대한 이미지 프레임들을 수정하도록 동작가능하다.
일 실시예에서, 로직은 이미지 프레임들의 회전, 자르기, 스케일링, 평행이동, 미러링, 필터링, 잡음 가산, 및 이미지 프레임들의 밝기 및 콘트라스트 조정 중 적어도 하나를 사용하여 이미지 프레임들을 수정하도록 동작가능하다.
일 실시예에서, 이미지 데이터는 3-차원 오브젝트를 통과해 찍히는 초음파 이미지 데이터, 자기 공명 영상 이미지 데이터, X-레이 컴퓨터 단층 촬영 이미지 데이터, 양전자 방출 단층 촬영 이미지 데이터 및 단일-광자 방출 컴퓨터 단층 촬영 이미지 데이터 중 하나를 포함한다.
일 실시예에서, 이미지 데이터는 레코딩된 이미지 데이터 및 실시간 이미지 데이터 중 하나를 포함한다.
일 실시예에서, 3-차원 오브젝트는 생물 오브젝트 및 무생물 오브젝트 중 하나를 포함한다.
일 실시예에서, 3-차원 오브젝트는 태아, 장기 및 이식물 중 하나를 포함한다.
일 실시예에서, 머신 학습 알고리즘은 컨볼루션 신경망을 포함한다.
제3 양태에 따르면, 3-차원 오브젝트의 이미지 프레임이 3-차원 오브젝트를 통과해 특정된 평면 상에 이미지화되는 특정된 엘리먼트를 가지는 신뢰 레벨을 운용자에게 표시하는 것을 포함하는, 이미징 방법이 제공된다.
일 실시예에서, 표시하는 것은 3-차원 오브젝트의 이미지 프레임이 3-차원 오브젝트를 통과해 대응하는 특정된 평면 상에 이미지화되는 복수의 특정된 엘리먼트 중 대응하는 특정된 엘리먼트를 가지는 복수의 신뢰 레벨을 운용자에게 표시하는 것을 포함한다.
일 실시예에서, 방법은 이미지 프레임들 간의 각각의 신뢰 레벨의 변경을 운용자에게 표시하는 것을 포함한다.
일 실시예에서, 방법은 각각의 신뢰 레벨의 증가 및 감소 중 하나를 운용자에게 표시하는 것을 포함한다.
일 실시예에서, 방법은 신뢰 레벨을 증가시키기 위해 요구되는 이미지 캡처 장치의 움직임을 운용자에게 표시하는 것을 포함한다.
일 실시예에서, 방법은 언제 각각의 신뢰 레벨이 임계량을 초과하는지를 운용자에게 표시하는 것을 포함한다.
일 실시예에서, 방법은 돌극성 맵을 사용하여 그것의 특정된 엘리먼트를 강조함으로써 이미지 프레임들에 주석을 다는 것을 포함한다.
일 실시예에서, 강조하는 것은 해당 특정된 엘리먼트를 둘러싸는 경계 박스를 오버레이시키는 것을 포함한다.
일 실시예에서, 강조하는 것은 해당 특정된 엘리먼트를 정의하는 이미지 프레임 내의 픽셀들의 컬러 변경을 오버레이시키는 것을 포함한다.
일 실시예에서, 강조하는 것은 특정된 엘리먼트의 측정을 오버레이시키는 것을 포함한다.
일 실시예에서, 방법은 언제 각각의 신뢰 레벨이 신뢰 레벨의 상이한 범위들 내에 드는지를 표시하는 것을 포함한다.
일 실시예에서, 방법은 특정된 엘리먼트들의 목록을 운용자에게 표시하는 것을 포함한다.
일 실시예에서, 방법은 언제 적어도 하나의 이미지 프레임이 저장되었고 그것의 특정된 엘리먼트와 연관되었는지를 목록 내에 표시하는 것을 포함한다.
일 실시예에서, 방법은 언제 적어도 하나의 이미지 프레임이 아직 저장되어야 하고 그것의 특정된 엘리먼트와 연관되어야 하는지를 목록 내에 표시하는 것을 포함한다.
일 실시예에서, 방법은, 각각의 특정된 엘리먼트에 대해, 운용자에 의한 선택을 위한 특정된 엘리먼트와 연관된 각각의 저장된 이미지 프레임을 제시하는 것을 포함한다.
일 실시예에서, 제시하는 단계는 일단 적어도 하나의 이미지 프레임이 모든 특정된 엘리먼트에 대해 저장되면 발생한다.
일 실시예에서, 이미지 데이터는 3-차원 오브젝트를 통과해 찍히는 초음파 이미지 데이터, 자기 공명 영상 이미지 데이터, X-레이 컴퓨터 단층 촬영 이미지 데이터, 양전자 방출 단층 촬영 이미지 데이터 및 단일-광자 방출 컴퓨터 단층 촬영 이미지 데이터 중 하나를 포함한다.
일 실시예에서, 이미지 데이터는 레코딩된 이미지 데이터 및 실시간 이미지 데이터 중 하나를 포함한다.
일 실시예에서, 3-차원 오브젝트는 생물 오브젝트 및 무생물 오브젝트 중 하나를 포함한다.
일 실시예에서, 3-차원 오브젝트는 태아, 장기 및 이식물 중 하나를 포함한다.
제4 양태에 따르면, 3-차원 오브젝트의 이미지 프레임이 3-차원 오브젝트를 통과해 특정된 평면 상에 이미지화되는 특정된 엘리먼트를 가지는 신뢰 레벨을 운용자에게 표시하도록 동작가능한 로직을 포함하는 이미징 장치가 제공된다.
일 실시예에서, 로직은 3-차원 오브젝트의 이미지 프레임이 3-차원 오브젝트를 통과해 대응하는 특정된 평면 상에 이미지화되는 복수의 특정된 엘리먼트 중 대응하는 엘리먼트를 가지는 복수의 신뢰 레벨을 운용자에게 표시하도록 동작가능하다.
일 실시예에서, 로직은 이미지 프레임 간의 각각의 신뢰 레벨의 변경을 운용자에게 표시하도록 동작가능하다.
일 실시예에서, 로직은 각각의 신뢰 레벨의 증가 및 감소 중 하나를 운용자에게 표시하도록 동작가능하다.
일 실시예에서, 로직은 신뢰 레벨을 증가시키기 위해 요구되는 이미지 캡처 장치의 움직임을 운용자에게 표시하도록 동작가능하다.
일 실시예에서, 로직은 언제 각각의 신뢰 레벨이 임계량을 초과하는지를 운용자에게 표시하도록 동작가능하다.
일 실시예에서, 로직은 돌극성 맵을 사용하여 그것의 특정된 엘리먼트를 강조함으로써 이미지 프레임들에 주석을 달도록 동작가능하다.
일 실시예에서, 로직은 해당 특정된 엘리먼트를 둘러싸는 경계 박스, 해당 특정된 엘리먼트를 정의하는 이미지 프레임 내의 픽셀들의 컬러 변경 및 특정된 엘리먼트의 측정 중 적어도 하나를 오버레이시킴으로써 강조하도록 동작가능하다.
일 실시예에서, 로직은 언제 각각의 신뢰 레벨이 신뢰 레벨의 상이한 범위들 내에 드는지를 표시하도록 동작가능하다.
일 실시예에서, 로직은 특정된 엘리먼트들의 목록을 운용자에게 표시하도록 동작가능하다.
일 실시예에서, 로직은 언제 적어도 하나의 이미지 프레임이 저장되었고 그것의 특정된 엘리먼트와 연관되었는지를 목록 내에 표시하도록 동작가능하다.
일 실시예에서, 로직은 언제 적어도 하나의 이미지 프레임이 아직 저장되어야 하고 그것의 특정된 엘리먼트와 연관되어야 하는지를 목록 내에 표시하도록 동작가능하다.
일 실시예에서, 로직은, 각각의 특정된 엘리먼트에 대해, 운용자에 의한 선택을 위한 해당 특정된 엘리먼트와 연관된 각각의 저장된 이미지 프레임을 제시하도록 동작가능하다.
일 실시예에서, 로직은 일단 적어도 하나의 이미지 프레임이 모든 특정된 엘리먼트에 대해 저장되면 제시하도록 동작가능하다.
일 실시예에서, 이미지 데이터는 3-차원 오브젝트를 통과해 찍히는 초음파 이미지 데이터, 자기 공명 영상 이미지 데이터, X-레이 컴퓨터 단층 촬영 이미지 데이터, 양전자 방출 단층 촬영 이미지 데이터 및 단일-광자 방출 컴퓨터 단층 촬영 이미지 데이터 중 하나를 포함한다.
일 실시예에서, 이미지 데이터는 레코딩된 이미지 데이터 및 실시간 이미지 데이터 중 하나를 포함한다.
일 실시예에서, 3-차원 오브젝트는 생물 오브젝트 및 무생물 오브젝트 중 하나를 포함한다.
일 실시예에서, 3-차원 오브젝트는 태아, 장기 및 이식물 중 하나를 포함한다.
제5 양태에 따르면, 컴퓨터 상에서 실행될 때, 제1 양태 또는 제3 양태의 방법을 수행하도록 동작가능한 컴퓨터 프로그램 제품이 제공된다.
또한 특별한 그리고 바람직한 양태들이 첨부되는 독립 청구항 및 종속 청구항에 나열된다. 종속 청구항들의 피처들은 적절한 경우 독립 청구항들의 피처들과 함께, 그리고 청구항들에 명시적으로 나열된 것 이외의 조합들로 조합될 수 있다.
장치 피처가 기능을 제공하도록 동작가능한 것으로서 기술되는 경우, 이것이 해당 기능을 제공하는 또는 해당 기능을 제공하도록 적응되거나 구성되는 장치 피처를 포함한다는 것이 인지될 것이다.
본 발명의 실시예들이 첨부 도면들과 관련하여, 이제 추가로 기술될 것이다.
도 1은 일 실시예에 따른 이미지 프로세싱 장치의 배열을 예시한다.
도 2는 일 실시예에 따른 CNN의 아키텍처를 요약한다.
도 3은 일 실시예에 따라 데이터 프로세서(10)에 의해 수행되는 주 프로세싱 단계들을 도시하는 플로우 차트이다.
도 4는 실시예들에 따른 2개의 표준 뷰 예에 대한 개요를 제공한다.
도 5는 실시예들에 따라 입력 프레임으로부터 획득되는 돌극성 맵을 도시한다.
도 6은 일 실시예에 따른 각각의 특정 엘리먼트에 대한 신뢰 레벨들의 예시적인 디스플레이를 도시한다.
도 7은 일 실시예에 따른 2명의 지원자에 대해 검색된 프레임들의 예들을 도시한다.
실시예들을 더 상세히 논의하기 이전에, 먼저 개요가 제공될 것이다. 실시예들은 이미지화되고 이미지 데이터 내에 표현되는 3-차원 오브젝트의 엘리먼트들, 부분들, 컴포넌트들 또는 피처들을 위치시키기(locate) 위한 기법을 제공한다. 통상적으로, 3-차원 오브젝트의 해당 엘리먼트들은 이미지 데이터 내에서 인지될 필요가 있을 뿐만 아니라, 해당 엘리먼트들은 3-차원 오브젝트를 통과해 특정 배향으로 또는 특정 이미징 평면 상에서 식별되거나 보일 필요가 있다. 예를 들어, 기계적 어셈블리와 같은 복잡한 3-차원 부분을 이미지화하는 것을 고려한다. 해당 기계적 어셈블리 내에서 O-링과 같은 엘리먼트를 식별하는 것 뿐만 아니라, 단면도 보다는 평면도로 볼 때 O-링을 식별하는 것이 바람직할 수 있다. 동일하게, 사람 또는 동물의 몸과 같은 복잡한 3-차원 부분을 이미지화하는 것을 고려한다. 심장의 판막을 식별하는 것 뿐만 아니라, 평면도보다는 단면도로 볼 때 판막을 식별하는 것이 바람직할 수 있다.
따라서, 실시예들은 3-차원 오브젝트를 통과해 특정된 평면 상에 이미지화될 때 이미지 프레임 내의 이러한 엘리먼트들을 식별하도록 트레이닝되는 머신 학습 알고리즘을 이용한다. 일반적으로, 머신 학습 알고리즘은 3-차원 오브젝트의 이미지 데이터로부터, 각각이 자신의 고유한 특별한 평면 상에 이미지화되는, 하나 초과의 엘리먼트를 식별하도록 트레이닝된다.
일단 머신 학습 알고리즘의 초기 트레이닝이 수행되면, 실시간 또는 저장된 이미지 데이터는 머신 학습 알고리즘에 공급될 수 있고, 이는 이후 특정 이미지 프레임이 그것의 연관된 평면 상에 이미지화되는 각각의 엘리먼트를 포함하는지를 표시하는 신뢰 레벨들을 제공한다. 일반적으로, 머신 학습 알고리즘은 해당 엘리먼트에 대한 신뢰 레벨을 도출하는, 각각의 엘리먼트가 식별될 피처 맵을 생성한다. 각각의 엘리먼트에 대한 신뢰 레벨의 표시는 사람 또는 로봇 운용자에게 표시될 수 있다. 신뢰 레벨들의 변경들 또는 신뢰 레벨들을 개선하기 위해 요구되는 이미징 방향 변경의 표시는 또한 운용자에게 표시될 수 있다.
엘리먼트에 대한 신뢰 레벨이 임계량을 초과할 때, 이후 해당 엘리먼트에 대한 피처 맵이 이용되어 돌극성 맵을 생성할 수 있다. 특히, 피처 맵 내에서 가장 활성화된 맵 컴포넌트들 또는 뉴런들은 이들이 이미지 프레임 내에서 픽셀들과 공간적으로-상관되기 때문에 이용될 수 있다. 이미지 프레임 내의 대응하는 픽셀들은 이들의 컬러를 변경하고 그리고/또는 경계 박스를 배치하고 그리고/또는 모든 다른 픽셀들을 배경 값으로 설정함으로써 일반적으로 증가된다. 이미지 프레임에 대한 신뢰 레벨이 임계량을 초과하는 경우, 해당 이미지 프레임이 저장되고 그리고/또는 이미지 프레임 증가가 수행되어 해당 이미지 프레임 내의 엘리먼트를 식별하는 것을 보조할 수 있다. 각각의 엘리먼트가 이미지 데이터에서 인지되고 연관된 이미지가 저장됨에 따라, 이것은 디스플레이상에서 운용자에게 표시될 수 있다. 특히, 식별된 또는 식별되지 않은 각각의 엘리먼트의 표시가 사용자에게 표시될 수 있다. 이것은 개별 엘리먼트들이 신속하고 용이하게 식별될 수 있도록 한다.
일반적 아키텍처
도 1은 일 실시예에 따른 이미지 프로세싱 장치의 배열을 예시한다. 사용자 디스플레이(20)와 커플링되는 데이터 프로세서(10)가 제공된다. 이미지 데이터는 센서(40)로부터 또는 저장소(50)로부터 실시간으로 데이터 프로세서(10)에 제공된다. 이미지 데이터는 다수의 상이한 포맷 중 임의의 포맷으로 다양한 소스들로부터 제공될 수 있다. 이미지 데이터는 개별 2-차원 이미지 프레임들을 포함할 수 있거나 또는 3-차원 이미지 데이터일 수 있다. 일반적으로, 이미지 데이터는 센서(40)에 의해 제공된다. 초음파 디바이스, 자기 공명 영상 디바이스, X-레이 컴퓨터 단층 촬영 디바이스, 양전자 방출 단층 촬영(PET) 디바이스, 또는 단일-광자 방출 컴퓨터 단층 촬영(SPECT) 디바이스와 같은, 다양한 상이한 센서들 중 임의의 것이 사용될 수 있다는 것이 인지될 것이다.
머신 학습 알고리즘 아키텍처
실시예들은 데이터 프로세서(10) 상에서 실행하는 컨볼루션 신경망(CNN) 또는 모델을 이용하여 이미지 데이터에 대한 이미지 인식을 수행한다. CNN의 아키텍처는 도 2에 요약되고 표 1에 기술된다. 도 2에서 알 수 있는 바와 같이, 컨볼루션 커널들의 사이즈 및 스트라이드(stride)는 최상부에 표시된다(비고: 커널 사이즈/스트라이즈). 최대-풀링 단계들은 MP(2x2 빈, 2의 스트라이드)에 의해 표시된다. C6을 제외한 모든 컨볼루션들의 활성화 기능들은 정류된 비-선형 유닛(ReLU)들이다. C6은 전체 평균 풀링 단계에 선행한다. 각각의 이미지/피처 맵의 최하부에서의 사이즈들은 트레이닝 페이즈(phase)를 지칭하며, 더 큰 입력 이미지들로 인해 추론 동안 약간 더 클 것이다.
Figure pct00001
여기서 K는 스캔 평면들의 개수(우리의 경우, K=13)이고, AP는 전체 평균 풀링 계층인데, 이는 사이즈와는 무관하게 처음 2개의 디멘젼에 대한 모든 활성화들을 평균낸다.
CNN은 통상의 완전히 접속된 계층들을 1x1 커널[5,9]을 사용하여 컨볼루션 계층들로 대체하는 전체 컨볼루션 네트워크 아키텍처이다. 최종 컨볼루션 계층(C6)에서, 입력은 K개의 13x13 피처 맵들(Fk)로 축소되고, 여기서 K는 클래스들의 개수이다. 이들 피처 맵들 각각은 이후 평균화되어 최종 소프트맥스 계층에 대한 입력을 획득한다. 이 아키텍처는 네트워크를 입력 이미지들의 사이즈에 대해 유연하게 만든다. 더 큰 이미지들은 단순히 더 큰 피처 맵들을 초래할 것인데, 이는 그럼에도, 최종 네트워크 출력에 대한 스칼라에 매핑될 것이다. 이러한 사실이 사용되어 전체 뷰 필드보다는 절단된 정사각형 이미지들에 대해 트레이닝하는데, 이는 데이터 증가를 위해 유리하다.
네트워크 아키텍처의 핵심 양태는 각각의 피처 맵(Fk)과 각자의 예측(yk) 간에 일-대-일 대응이 강제된다는 것이다. 피처 맵들(Fk) 내의 각각의 뉴런이 원래 이미지에서 각자의 필드를 가지기 때문에, 트레이닝 동안, 뉴런은 클래스(k)의 오브젝트가 해당 필드 내에 있는 경우에만 활성화하도록 학습할 것이다. 이것은 Fk를 클래스 k[5]에 대한 공간적으로-인코딩된 신뢰맵으로서 해석하는 것을 허용한다. 이러한 사실은 하기에 기술되는 바와 같이 로컬화된 돌극성 맵들을 생성하기 위해 사용된다.
태아 이미징
실시예들의 이미지 프로세싱 기법들이 다양한 이미징 기법들을 사용하여 의료 및 다른 이미징에 응용가능하지만, 후속하는 예들은 초음파 태아 이미징에서 표준 스캔 평면들의 식별에 관해 이미지 프로세싱 기법들을 기술한다.
기형적 태아 발달은 선진국 및 개발 도상국[11] 모두에서 출산 전후 사망률의 주된 원인이다. 많은 국가들이 약 20주의 재태기간에서의 임신-중기 초음파(US) 스캐닝들에 기초하여 태아 스크리닝 프로그램들을 도입하였지만, 검출률은 상대적으로 낮게 유지된다. 예를 들어, 임신[4] 동안 UK에서 대략 26%의 태아 기형이 검출되지 않는다고 추정된다. 검출률들은, 적어도 부분적으로는, 트레이닝에서의 차이들이 이 가변성에 책임이 있을 수 있음을 제안하는 상이한 기관들[1]에 대해, 현저하게 달라지는 것으로 보고되기도 했다. 또한, WHO에 따르면, 전세계적으로 많은 US 스캐닝들이 공식적 트레이닝[11]이 적거나 또는 전혀 없는 개인들에 의해 수행될 가능성이 있다.
생체 측정들 및 기형들의 식별이 태아 몸 내의 상이한 위치들에서 취득되는 다수의 표준화된 2D US 뷰 평면 상에서 수행된다. UK에서, 이러한 평면들을 선택하기 위한 가이드라인이 [7]에 정의된다. 표준 스캔 평면들은 심지어 숙련된 소노그래퍼들에 대한 위치를 찾아내기가 종종 어려우며, 낮은 재생성 및 큰 운용자 바이어스[4]를 겪는 것으로 보여진다. 따라서, 이 단계를 이용한 시스템 자동화 또는 보조는 특히 여력이 되는(available) 고도로 숙련된 소노그래퍼들이 거의 적은 지리적 영역들에서 상당한 의료적 효과를 가질 수 있다. 또한, 그것은 자동화된 측정들 또는 자동화된 기형들의 검출과 같은 추가적인 프로세싱을 위한 본질적인 단계이다.
트레이닝
위에서 언급된 바와 같이, 실시예들의 이미지 프로세싱 기법들이 초음파 태아 이미징에서 표준 스캔 평면들의 식별에 관해 예시되지만, 이들 기법들이 다양한 이미징 기법들을 사용하여 의료 및 다른 이미징에 동일하게 응용가능하다는 것이 인지될 것이다. 상이한 평면들 상에 이미지화되는 상이한 엘리먼트들에 대한 상이한 3-차원 오브젝트들의 이미지 프로세싱을 수행하기 위해, 머신 학습 알고리즘은 상이한 평면들 상에 이미지화되는 해당 상이한 엘리먼트들의 대표적 데이터를 사용하여 트레이닝될 것이다.
이 예에서, 전체 데이터 세트는 GE Voluson E8 시스템들을 사용하여 전문 소노그래퍼들의 팀에 의해 취득된 18-22주 사이의 재태 기간을 가지는 동의한 지원자들의 1003개의 2D US 스캔으로 이루어진다. 전체 데이터세트의 80%는 트레이닝을 위해 사용되고(802개 케이스), 전체 데이터세트의 20%(201개 케이스)는 평가를 위해 사용된다. 각각의 스캔에 대해, 전체 절차의 스크린 캡처 비디오가 레코딩되었다. 추가로, 소노그래퍼들은 각각의 대상에 대한 다수의 표준 뷰들 중 "정지 프레임들"을 저장하였다. 이들 프레임들의 큰 부분은 정확한 지상검증 자료(ground-truth)(GT) 라벨이 추론되도록 하는 주석이 달린다. 모든 비디오 프레임들 및 이미지들은 후속 인식을 위해 제공되는 이미지들의 사이즈에 매치하도록 225x273 픽셀들의 사이즈로 다운샘플링된다.
12개의 표준 스캔 평면들은 [7] 내의 가이드 라인들에 기초하여 고려되었다. 특히, 다음이 선택되었다: 뇌실들(Vt.) 및 소뇌(Cb.)의 레벨에서의 2개의 뇌의 뷰들, 표준 복부 뷰, 횡 신장 뷰, 관상면의 입술(coronal lip), 중앙 프로파일, 및 대퇴골 및 시상봉합 척추 뷰들. 4개의 공통적으로 취득되는 심장 뷰들이 또한 포함되었다: 좌우 심실 유출로들(LVOT 및 RVOT), 3 정맥 뷰(3VV) 및 4 챔버 뷰(4CH). 라벨링된 정지 프레임들 뿐만 아니라, 50개의 랜덤 프레임들이 배경 클래스, 즉 "표준 스캔 평면이 아닌" 클래스를 모델링하기 위해 각각의 비디오로부터 샘플링되었다. 따라서, 데이터가 CNN을 트레이닝하기 위해 제공되어 13개의 상이한 엘리먼트 또는 카테고리를 식별하였다; 위에서 언급된 태아 장기들의 12개 뷰 더하기 12개 뷰 중 어느 것도 포함하지 않는 배경 뷰.
데이터세트는 스캐닝들의 20%를 포함하는 데이터 세트 및 스캐닝들의 80%를 포함하는 트레이닝 세트로 분할되었다. 트레이닝 데이터의 10%는 트레이닝 진행을 모니터링하기 위해 유효화 세트로서 사용되었다. 통틀어, 12개의 표준 뷰 평면이 모델링되었고, 더하기 하나의 배경 클래스가 K=13개 카테고리를 초래한다.
CNN 모델은 미니-배치 경사율 감소 및 카테고리상의 교차-엔트로피 비용 함수를 사용하여 트레이닝되었다. 과다적합이 발생한 경우, C5 및 C6 계층들 다음에 50%의 드롭아웃(dropout)가 추가될 수 있다. 배경 카테고리에 의해 유입된 상당한 클래스 불균형을 설명하기 위해, 미니-배치들은 균일한 클래스-샘플링으로 생성되었다. 추가로, 각각의 배치는 랜덤 수평 및/또는 수직 평행이동을 이용하여 225x225 정사각형 서브-이미지들을 취하고 그리고/또는 작은 랜덤 회전 및/또는 수직 및/또는 수평축을 따른 플립들을 이용하여 이들을 변환함으로써 5배 증가되었다. 랜덤 정사각형 서브-이미지들을 취하는 것은 전체 뷰 필드 상에서 트레이닝하는 것에 비해 증가된 배치들에 대해 더 많은 변형을 도입하는 것을 보조한다. 이는 네트워크의 과다적합을 감소시키는 것을 보조한다. 네트워크는 50개 에포크(epoch)에 대해 트레이닝되었고, 유효화 세트에 대해 가장 낮은 에러를 내는 네트워크 파라미터들이 선택되었다.
하기에 더 상세히 언급될 바와 같이, 추가적인 트레이닝이 운용자 선택 이미지 프레임들을 사용하여 수행될 수 있다.
이미지 인식 동작
도 3은 일 실시예에 따라 데이터 프로세서(10)에 의해 수행되는 주 프로세싱 단계들을 도시하는 플로우 차트이다. 이 실시예가 이미지 데이터의 개별 프레임들을 획득하는 것을 기술하지만, 이미지화되는 3-차원 오브젝트의 3-차원 데이터 세트가 또한 제공될 수 있고, 해당 3-차원 데이터 세트를 통과하는 섹션들 또는 평면들이 이미지 프레임들로서 제공된다는 것이 인지될 것이다.
이미지들의 획득
단계(S10)에서, 이미지 데이터가 획득된다. 이 실시예에서, 입력 비디오의 전체 뷰 필드를 포함하는 비디오 프레임들(즉, 병원, 환자 및 스캐너 데이터를 배제시키도록 잘린 경계들을 가지는 프레임의 중심을 포함하는 유용한 US 데이터의 225x273 픽셀들)이, 한번에 하나의 프레임씩 제공된다. 이러한 프레임들은 센서(40)로부터 직접 제공되거나 또는 저장소(50)로부터 검색될 수 있다.
피처 맵들
단계(S20)에서, 개별 이미지 프레임(100)(도 4 참조)이 프로세싱을 위해 CNN에 제공된다. 이것은 13x16의 더 큰 카테고리-특정적 피처 맵들(110)을 초래한다. 각각의 프레임의 예측(yk) 및 신뢰(ck)는 최고의 확률을 가지는 예측 및 확률 그 자체에 의해 주어진다.
각각의 특정 엘리먼트에 대한 신뢰 레벨들은 운용자에 대해 디스플레이될 수 있는데, 도 6에 도시된 바와 같이, 이미지화될 엘리먼트들 각각은, 해당 엘리먼트들에 대한 신뢰 레벨의 그래픽 표현과 함께 도시된다. 이 실시예에서, 이들은 일련의 바들(140)에 의해 표시된다. 또한, 가장 큰 신뢰 레벨을 가지는 엘리먼트는, 신뢰 레벨(160)과 함께, 텍스트(160)를 사용하여 표시된다.
실시예들은 신호등 시스템을 제공하며, 각각의 엘리먼트에 대한 신뢰 레벨은 2개의 임계 레벨에 대해 평가된다. 엘리먼트의 신뢰 레벨이 제1 임계 레벨 미만일 때, 이후 적색 표시가 제공된다. 엘리먼트의 신뢰 레벨이 제1 임계 레벨 초과이지만, 제2 임계 레벨 미만일 때, 이후 황색 표시가 제공된다. 엘리먼트의 신뢰 레벨이 제2 임계 레벨 초과일 때, 녹색 표시가 제공된다.
신뢰 레벨들의 변경이 계산되고, 특정 엘리먼트를 위치시키는 것을 보조하기 위해 신뢰 레벨이 증가하는지 또는 감소하는지에 대한 표시가 운용자에게 제공된다. 신뢰 레벨의 변경 및 프레임들 간의 이미지 움직임이 사용되어 특정 엘리먼트의 위치를 찾아내도록 센서(40)에 명령하는 것을 보조하도록 운용자에게 표시될 수 있는 방향 벡터를 도출할 수 있다.
단계(S30)에서, 해당 프레임에 대한 신뢰 레벨이 특정 엘리먼트에 대한 임계량을 초과하는지가 결정되는데, 이는 이미지 프레임이 해당 엘리먼트의 적절한 이미지를 제공함을 의미한다. 신뢰 레벨들 중 어느 것도 임계량을 초과하지 않는 경우(이미지 프레임이 임의의 엘리먼트들의 적절한 이미지를 제공하지 않음을 의미함), 프로세싱은 단계(S20)로 진행하고, 여기서 다음 프레임이 머신 학습 알고리즘에 제공된다. 신뢰 레벨이 단계(S30)에서 임계를 초과하는 경우(이미지 프레임이 엘리먼트들 중 적어도 하나의 적절한 이미지를 제공함을 의미함), 프로세싱은 단계(S40)로 진행한다.
돌극성 맵들
단계(S40)에서, 운용자가 CNN에 의해 인식되는 엘리먼트를 식별하는 것을 보조하도록 이미지 늘림이 발생한다. 네트워크를 통한 순방향 통과로부터 현재 프레임(X)의 카테고리(k)를 획득한 이후, 예측되는 카테고리(k)에 대응하는 피처 맵(Fk)(즉, C6 계층의 출력)이 조사된다.
도 4는 2개의 표준 뷰 예들에 대한 개요를 제공한다. 비디오 프레임이 주어지면(a), 트레이닝된 컨볼루션 신경망은 예측 및 신뢰 값을 제공한다(b). 설계에 의해, 각각의 분류자 출력은 대응하는 저-해상도 피처 맵을 가진다(c). 가장 활성적인 피처 뉴론들로부터의 에러를 역-전파시키는 것은 돌극성 맵을 초래한다(d). 경계 박스는 임계화를 사용하여 도출될 수 있다(e).
따라서, 피처 맵들(110)의 2개의 예들이 도 4c에 도시된다. 피처 맵(Fk)이 [9]와 유사한 각자의 해부학적 구조의 위치의 대략적인 추정을 수행하기 위해 이미 사용될 수 있다는 것이 인지될 것이다. 그러나, 피처 맵들을 직접 사용하는 것 대신, 실시예들은 원래 입력 이미지들의 해상도를 가지는 위치측정된(localised) 돌극성을 획득한다. 피처 맵 내의 위치(p,q)에서의 각각의 뉴런
Figure pct00002
에 대해, 각각의 원래 입력 픽셀
Figure pct00003
이 뉴런의 활성화에 얼마나 기여하는지를 계산하는 것이 가능하다. 이것은 부분 도함수
Figure pct00004
를 계산하는 것에 대응하며, 이는 네트워크를 통과하는 부분적인 역방향 통과를 사용하여 효율적으로 풀릴 수 있다. [12]는 더 상위 계층들(즉, 네트워크 출력에 더 가까운 계층들)에서의 활성화의 증가에 기여하는 에러 신호들만 역전파하는 것을 허용함으로써 가이드된 방식으로 이 역-전파를 수행하기 위한 방법을 제안한다. 특히, 에러는 뉴런(x)에 대한 입력, 뿐만 아니라 더 상위 계층
Figure pct00005
에서의 에러가 긍정적인 경우 각각의 뉴런의 ReLU를 통해 오직 역전파만 된다. 즉, 각각의 뉴런의 역전파되는 에러
Figure pct00006
는
Figure pct00007
로 주어지며, 여기서
Figure pct00008
는 단위 계단 함수이다.
최종 출력으로부터 역-전파시키는 [12]에 비해, 실시예들은 카테고리-특정적 피처 맵들에서 공간적 인코딩을 사용하고, 10%의 가장 활성적인 피처 맵 뉴런들에 대한 에러들, 즉, 태아의 해부학적 구조가 예상되는 공간적 위치들을 단지 역전파한다. 결과 돌극성 맵들(120, 130)은 도 4d 및 도 5에 예시된 바와 같이, [12]에 비해 훨씬 더 많이 위치측정된다. 특히, 도 5는 좌측에 도시된 바와 같이, 입력 프레임(100)(LVOT 클래스)으로부터 획득된 돌극성 맵을 도시한다. 중간 맵(140)은 평균 풀 계층 출력으로부터의 가이드된 역-전파를 사용하여 획득되었다[12]. 우측 상의 맵(120)은 위에서 언급된 실시예에 의해 획득되었다.
이들 돌극성 맵들(120, 130)은 자동화된 세그먼트화 또는 측정들과 같은 다양한 이미지 분석 작업들에 대한 시작점으로서 사용될 수 있다. 특히, 이들은 이미지 프로세싱을 사용하는 근사적 위치측정을 위해 사용될 수 있다. 돌극성 맵 |Sk|의 절댓값 이미지는 25x25 가우시안 커널 및 Otsu의 방법[10]을 사용하여 적용되는 임계화를 사용하여 블러링된다. 임계화된 이미지 내의 컴포넌트들의 최소 경계 박스(180)가 이후 계산된다.
도 4e에 도시된 바와 같이, 돌극성 맵(120, 130)이 사용되어 소스 이미지를 늘려서 식별된 엘리먼트를 강조할 수 있다. 예를 들어, 경계 박스(180)는 소스 이미지 상의 식별된 엘리먼트 주위에 위치될 수 있다. 대안적으로 또는 추가로, 돌극성 맵 내의 임계보다 더 큰 값을 가지는 픽셀들은 소스 이미지 상에서 유색화될 수 있다. 대안적으로 또는 추가로, 돌극성 맵 내에서 임계 미만의 값을 가지는 해당 픽셀들은 소스 이미지 상에서 상수 값으로 설정될 수 있다. 대안적으로 또는 추가로, 돌극성 맵 자체가 디스플레이될 수 있다. 대안적으로 또는 추가로, 돌극성 맵 내에 도시된 엘리먼트의 측정이 디스플레이될 수 있다. 대안적으로 또는 추가로, 엘리먼트 및/또는 신뢰 레벨(160)의 기재(150)가 디스플레이될 수 있다.
이미지 프레임 저장소
임계가 초과될 때, 운용자는 일반적으로 저장소(50) 내에서 (이미지 늘림 및/또는 돌극성 맵들을 가지고 또는 이들이 없이), 도시된 이미지 프레임을 저장할지의 여부를 질문받을 수 있고 그리고/또는 도시된 이미지 프레임이 자동으로 저장될 수 있다. 또한 임계를 초과하는 다른 이미지 프레임들이 역시 저장될 수 있다. 일 실시예에서, 임계를 초과하지 못한 이미지 프레임들이 또한 저장될 수 있다 - 이는 하기에 더 상세히 언급될 바와 같이 후속적인 학습을 보조할 수 있다.
소급적 프레임 검색을 위해, 각각의 대상에 대해, 입력 비디오의 전체 듀레이션에 걸쳐 각각의 클래스에 대한 신뢰가 계산되고 레코딩된다. 후속적으로, 각각의 클래스에 대해 가장 높은 신뢰를 가지는 프레임(들)이 검색되고 저장된다.
각각의 엘리먼트에 대한 이미지 프레임이 저장됨에 따라, 이것이 운용자에게 (예를 들어, 바(140)들을 사용하여) 표시될 수 있고, 따라서, 엘리먼트들이 여전히 처리되지 않는(outstanding) 것이 명백하다.
단계(S50)에서, 모든 요구되는 이미지가 캡처되는지에 대한 결정이 이루어지고, 만약 그렇지 않은 경우, 프로세싱은 다음 이미지 프레임이 분석되는 단계(S20)로 돌아간다. 모든 이미지가 캡처되는 경우, 프로세싱은 단계(S60)로 진행하며, 여기서 캡처된 이미지들이 운용자에게 디스플레이된다.
이미지 선택
단계(S70)에서, 운용자는 각각의 엘리먼트에 대해 캡처된 최상의 이미지 프레임을 선택할 수 있고, 일반적으로 선택되지 않은 이미지 프레임들은 폐기된다. 위에서 언급된 바와 같이, 해당 이미지 프레임들 중 일부는 CNN이 최상의 매치가 아니라고 간주하는 이미지 프레임들을 포함할 수 있다. 해당 이미지 프레임들 중 하나가 선택되는 경우, 이것은 트레이닝 배치들 내에 이들을 포함시킴으로써 CNN을 리트레이닝시키는 것을 보조할 수 있다.
단계(S80)에서, 운용자에 의해 선택된 이미지들은 이후 머신 학습 알고리즘의 오프라인 트레이닝을 위해 사용되는 트레이닝 세트에 추가된다.
실험 결과들
랜덤으로 샘플링된 배경 클래스를 포함하는 테스트 데이터를 분류함으로써 표준 프레임들을 검출하기 위한 실시예들의 능력이 평가되었다. 달성된 정확도(pc) 및 리콜(rc) 점수들이 표 2에 도시된다. 최저의 스코어들은 심장 뷰들에 대해 획득되었는데, 이는 또한 전문 소노그래퍼들이 스캐닝하기에도 가장 어렵다. 이 사실은 심각한 심장 이상들에 대한 낮은 검출률들(예를 들어, UK에서 단지 35%)에서 반영된다.
[2]는 복부 표준 뷰에 대해 0.75/0.75, 및 US 스위프 데이터에서 4CH 뷰에 대해 0.77/0.61의 pc/rc 스코어들을 최근 보고했다. 4CH에 대한 비교가능한 값들 및 복부 뷰에 대해 현저하게 더 양호한 값들이 획득되었다. 그러나, 12개의 모델링된 표준 평면들 및 프리-핸드 US 데이터를 가지고, 이것은 훨씬 더 복잡하다. Nvidia Tesla K80 그래픽 프로세싱 유닛(GPU) 실시예들을 사용하는 것은 평균적으로 초당 113개 프레임(FPS)을 분류할 수 있고, 3.6GHz에서 클로킹되는 Intel Core i7은 40 FPS를 달성하지만, 임의의 최신의 GPU가 분류를 가속화시키기 위해 사용될 수 있다는 것이 인지될 것이다.
Figure pct00009
소급적 프레임 검색을 이용하여, 표준 뷰들은 모든 테스트 대상들의 비디오들로부터 검색되고, 검색된 프레임들이 각각의 카테고리에 대해 주석이 달린 GT 프레임들에 대응하는지가 수동으로 평가된다. 몇 개의 경우들은 이들이 원래 스캔에서 소노그래퍼에 의해 수동으로 포함되지 않았기 때문에 모든 뷰들에 대해 GT들을 가지지는 않았다. 해당 경우들에 대해, 검색된 프레임은 평가되지 않았다. 결과들이 표 3에 요약된다.
Figure pct00010
2명의 지원자들에 대해 검색된 프레임들의 예들이 도 7에 도시되며, 이는 검색된 표준 프레임(RET)들 및 GT 프레임들이 2명의 지원자들에 대해 전문 소노그래퍼들에 의해 주석이 달리고 저장되었음을 도시한다. 정확하게 검색된 프레임 및 부정확하게 검색된 프레임은 각자 체크 마크 또는 크로스로 표기된다. GT 주석이 없는 프레임들이 표시된다. 신뢰도가 각각의 이미지의 우측 하단에 도시된다. (b) 내의 프레임들은 실시예들에 따른 위치측정의 결과들(박스들)을 추가로 포함한다.
많은 경우들에서, 검색된 평면들은 전문 GT를 거의 정확하게 매치시킨다. 또한, 전문가들에 의해 주석이 달리지 않은 일부 평면들이 그럼에도 정확하게 발견되었다. 이전과 같이, 가장 많은 심장 뷰들은 다른 뷰들에 비해 더 낮은 스코어들을 달성하였다.
하나의 대표적인 경우에 대해 검색된 프레임들에서의 각자의 태아의 해부학적 구조의 대략적인 위치측정의 결과들이 도 7b에 도시된다. 위치측정을 수행하는 것은 프레임 레이트를 평균 39 FPS로 감소시킨다.
다른 실시예들에서, 오브젝트의 3-차원 이미지를 나타내는 데이터 세트가 제공될 수 있다는 것이 인지될 것이다. 그 실시예들에서, 해당 데이터 세트로부터의 이미지 프레임들이 제공될 수 있다. 예를 들어, 데이터 세트를 통하는 평행한 섹션들을 나타내는 이미지 프레임들의 제1 세트가 제공될 수 있다. 다른 세트들에 대해 직교하는 데이터 세트를 통하는 평행한 섹션들을 나타내는 이미지 프레임들의 추가적인 세트들이 이후 제공될 수 있다. 각각의 시퀀스로부터의 돌극성 맵들이 조합되고 3-차원(예를 들어, Hough) 변환이 수행되어 해당 특정된 엘리먼트를 포함하는 3-차원 데이터를 통해 평면의 파라미터들을 획득한다.
따라서, 실시예들은 실제 의료용 태아 US 스캐닝들로부터의 12개의 태아 표준 스캔 평면들의 자동 검출을 위한 시스템을 제공한다. 사용되는 전체 CNN 아키텍처는 강건한 실시간 추론을 허용한다. 또한, 위치측정된 돌극성 맵들은 카테고리-특정적 피처 맵들 내의 정보를 가이드된 역-전파 단계와 조합시킴으로써 획득된다. 이것은 프리-핸드 US 스캐닝들의 실질적인 모집단(population)으로부터 다수의 태아 표준 뷰들의 모델링을 가능하게 한다. 방법은, 일부 표준 평면들에 대해 관련된 작업에서, 그러나 훨씬 더 도전적인 시나리오에서 보고된 값들을 초과하는 분류 스코어들로 US 데이터에 강건하게 주석을 달기 위해 사용될 수 있다. 실시예들은 잠재적으로, 경험없는 소노그래퍼들을 보조하거나 트레이닝하도록 사용될 수 있다. 실시예들은 소급적으로 표준 스캔 평면들을 검색하기 위해 사용될 수 있다. 이 방식으로, 관련 키 프레임들은 경험없는 운용자에 의해 취득되는 비디오로부터 추출되고 추가적인 분석을 위해 전문가에게 송신될 수 있다. 위치측정된 돌극성 맵들은 또한 태아의 해부학적 구조의 대략적인 경계 박스를 추출하기 위해 사용될 수도 있다.
실시예들은 의료용 프리-핸드 2D US 데이터에서 12개의 공통적으로 취득된 표준 스캔 평면들을 자동으로 검출할 수 있는 실시간 시스템을 제공한다. 검출 프레임워크는 (1) 소노그래퍼들을 보조하기 위한 US 데이터의 실시간 주석들, 및 (2) 전체 검사의 레코딩들로부터 표준 스캔 평면들의 소급적 검색을 위해 시연되었다. 실시예들은 초당 100개 초과의 프레임으로 강건한 스캔 평면 검출을 허용하는 전체 컨볼루션 신경망(CNN) 아키텍처를 사용한다. 또한, 이 아키텍처는 예측에 가장 높은 기여를 제공하는 이미지의 부분을 강조하는 돌극성 맵을 획득하도록 확장된다(도 4 참조). 이러한 돌극성 맵들은 각자의 태아의 해부학적 구조의 위치측정을 제공하고, 추가적인 자동 프로세싱을 위한 시작점으로서 사용될 수 있다. 이러한 위치측정 단계는 자율적이며(unsupervised), 트레이닝 동안 지상검증 자료 경계 박스 주석들을 요구하지 않는다.
7개 평면들의 표준 스캔 평면 분류가 큰 태아 이미지 데이터베이스[13]에 대해 제안되었다. 이것은, 그 시나리오에서, 모든 이미지가 실제로 표준 평면이라는 것이 알려진 반면, 비디오 데이터에서, 대다수의 프레임이 표준 평면들을 보이지 않기 때문에, 실시예들과는 현저히 상이하다. 다수의 논문들이 태아 2D US 스위프들의 비디오에서 태아의 해부학적 구조를 검출하는 방법들을 제안하였다(예를 들어, [6]). 해당 문건(work)들에서, 저자들은 표준화된 스캔 평면들보다는, 두개골, 심장 또는 복부와 같은 태아 구성체들의 존재를 검출하는 것을 목표로 하였다. 자동화된 태아 표준 스캔 평면 검출이 2D 태아 US 스위프들[2, 3, 8]에서 1-3개 표준 평면들에 대해 시연되었다. [2, 3]이 또한 CNN들을 사용하였다. US 스위프들은 하나의 연속적 모션으로 US 프로브를 자궁 경부로부터 위쪽으로 이동시킴으로써 취득된다[3]. 그러나, 태아의 건강 상태를 결정하기 위해 요구되는 모든 표준 뷰들이 스위프 프로토콜을 사용하여 적합하게 시각화되지는 않는다. 예를 들어, 대퇴골 또는 입술을 시각화하는 것은 일반적으로 주의 깊은 수동 스캔 평면 선택을 요구한다. 또한, 스위프 프로토콜을 사용하여 획득되는 데이터는 일반적으로 단지 2-5초 길이이며, 50개 미만의 프레임으로 구성된다[3]. 태아 표준 스캔 평면 검출이 일반적으로 10,000+ 개 프레임으로 구성되는 실제(true) 프리-핸드 US 데이터에 대해서는 수행되지 않았다고 간주된다.
또한, 관련 문건들 중 어느 것도 실시간으로 실행되는 것을 시연하지 않았는데, 이는 일반적으로 프레임 당 수 초를 요구한다.
위에서 언급된 바와 같이, 태아 임신-중기 스캐닝들은 일반적으로 고정된 프로토콜들에 따라 수행된다. 기형들의 정확한 검출 및 정확한 생체 측정들은 명료하게 정의된 표준 스캔 평면들의 정확한 취득에 달려 있다. 이들 정확한 평면들을 위치시키는 것은 높은 전문가 레벨을 요구한다. 그러나, 전세계적으로 전문 소노그래퍼들은 부족하다. 따라서, 실시예들은 UK 태아 기형 스크리닝 프로그램에 의해 정의된 바와 같이 12개의 표준 스캔 평면을 검출할 수 있는 컨볼루션 신경망들에 기초한 완전 자동화 시스템을 제공한다. 네트워크 설계는 실시간 추론을 허용하고, 이미지 내의 태아의 해부학적 구조의 근사적 위치측정을 제공하도록 자연적으로 확장될 수 있다. 이러한 프레임워크는 스캔 평면 선택을 자동화 또는 보조하도록, 또는 레코딩된 비디오들로부터의 스캔 평면들의 소급적 검색을 위해 사용될 수 있다. 방법은 1003명의 지원자 임신-중기 스캐닝들의 큰 데이터베이스에 대해 평가된다. 의료용 시나리오에서 취득되는 표준 평면들이 69% 및 80%의 정확도 및 리콜을 가지고 강건하게 검출된다는 것이 보여지는데, 이는 현재의 기법들보다 우수하다. 또한, 실시예들은 심장 뷰들에 대해 71% 및 비-심장 뷰들에 대해 81%의 정확도를 가지고 정확한 스캔 평면들을 소급적으로 검색한다.
따라서, 실시예들이: 태아의 표준 스캔 평면들의 존재(또는 부재)를 자동으로 검출할 수 있는 시스템을 제공한다는 것을 알 수 있고; 예측들이 스트림 2D US 데이터의 레이트를 초과하는 레이트로, 즉, 실시간으로 획득될 수 있고; 예측들은 컴퓨터에 의해 보조되는 스캐닝을 위해 스크린 상에서 US 운용자에게 디스플레이될 수 있고; 예측들은 임의의 손의 모션으로 취득되는 시퀀스들에 대해 획득될 수 있고(즉, 고정된 취득 프로토콜이 요구되지 않음); 표준 스캔 평면들은 자동으로 실시간으로 또는 레코딩된 2D US 스트림 데이터세트들로부터 소급적으로 추출될 수 있고; 각각의 검출된 표준 스캔 평면은 해당 뷰의 신뢰도로 (또는 실시간으로) 라벨링될 수 있고; 신뢰도는 특정 뷰가 만족스러울 때(녹색)를 표시하는 "신호등 시스템"(녹색, 황색, 적색)을 전개하도록 사용될 수 있고 표준 측정들을 수행하도록 레코딩되어야 하고; "돌극성" 이미지들의 생성은 특정 표준 뷰에 속하는 태아의 해부학적 구조를 시각화하고; 돌극성 이미지들은 스트림 2D US 데이터의 레이트를 초과하는 레이트로 획득될 수 있고; 스크린 뷰는 돌극성 이미지들에 의해 늘려져서, 예를 들어, 열-지도의 형태로 태아의 해부학적 구조의 가능성 있는 위치를 시각화할 수 있고; 그리고/또는 경계 박스의 추출은 태아의 해부학적 구조의 위치를 대략적으로 표시하는데: (1) 스크린 뷰를 늘리고, (2) 후속적인 이미지 분석을 위한 해부학적 구조, 예를 들어, 뼈들의 윤곽형성을 포함하는 잘린 이미지를 생성한다. 위의 포인트들 모두는 예를 들어, 상당량의 스캐닝들이 비숙련 운용자들에 의해 수행되는 개발 도상국들에서, 비-전문가들에 의해 취득되는 비디오들을 자동으로 분석하기 위한 잠재적 응용예들을 가진다. 시스템은 특정 뷰에 도달하기 위해 프로브를 어느 방향으로 이동시킬지를 US 운용자에게 표시할 수 있다. 시스템은 로봇 팔의 자동 안내를 제공할 수 있다. 예를 들어, 특정 뷰를 포함하는 더 높은 신뢰도의 영역들 쪽으로 프로브를 움직인다. 따라서, 실시예들은: 3D 볼륨으로 표준 뷰들의 검출(어느 것들이 존재하는지?); (만약 존재하는 경우) 3D 볼륨으로부터 하나 이상의 2D 표준 뷰의 추출을 수행하여 US 운용자에게 디스플레이하고; 실시간으로 위 항목들을 수행할 능력을 가진다.
본 발명의 예시적인 실시예들이 첨부 도면들에 관해, 본원에 상세히 개시되었지만, 본 발명이 정확한 실시예로 제한되지 않으며, 다양한 변경들 및 수정들이 첨부된 청구항들 및 그 등가물들에 의해 정의되는 바와 같은 본 발명의 범위로부터 벗어나지 않고 본 기술분야의 통상의 기술자에 의해 본원에서 실행될 수 있다는 것이 이해된다.
참조 문헌들:
[1] Bull, C., 등 공저: Current and potential impact of foetal diagnosis on prevalence and spectrum of serious congenital heart disease at term in the UK. The Lancet 354(9186), 1242-1247 (1999)
[2] Chen, H., Dou, Q., Ni, D., Cheng, J.Z., Qin, J., Li, S.and Heng, P.A.: Automatic foetal ultrasound standard plane detection using knowledge transferred recurrent neural networks. In: Proc MICCAI, pp. 507-514. Springer (2015)
[3] Chen, H., Ni, D., Qin, J., Li, S., Yang, X., Wang, T., Heng, P.: Standard plane localization in foetal ultrasound via domain transferred deep neural networks. IEEE J Biomed Health Inform 19(5), 1627-1636 (2015)
[4] Kurinczuk, J., Hollowell, J., Boyd, P., Oakley, L., Brocklehurst, P., Gray, R.: The contribution of congenital anomalies to infant mortality. National Perinatal Epidemiology Unit, University of Oxford (2010)
[5] Lin, M., Chen, Q., Yan, S.: Network in network. arXiv: 1312.4400 (2013)
[6] Maraci, M., Napolitano, R., Papageorghiou, A., Noble, J.: Searching for structures of interest in an ultrasound video sequence. In: Proc MLMI, pp. 133-140 (2014)
[7] NHS Screening Programmes: Fetal anomalie screen programme handbook pp. 28-35 (2015)
[8] Ni, D., Yang, X., Chen, X., Chin, C.T., Chen, S., Heng, P.A., Li, S., Qin, J., Wang, T.: Standard plane localization in ultrasound by radial component model and selective search. Ultrasound Med Biol 40(11), 2728-2742 (2014)
[9] Oquab, M., Bottou, L., Laptev, I., Sivic, J.: Is object localization for free? -weakly-supervised learning with convolutional neural networks. In: IEEE Proc CVPR. pp. 685-694 (2015)
[10] Otsu, N.: A threshold selection method from gray-level histograms. Automatica 11(285-296), 23-27 (1975)
[11] Salomon, L., Alfirevic, Z., Berghella, V., Bilardo, C., Leung, K.Y., Malinger, G., Munoz, H.등 공저: Practice guidelines for performance of the routine mid-trimester foetal ultrasound scan. Ultrasound Obst Gyn 37(1), 116-126 (2011)
[12] Springenberg, J., Dosovitskiy, A., Brox, T., Riedmiller, M.: Striving for simplicity: The all convolutional net. arXiv: 1412.6806 (2014)
[13] Yaqub, M., Kelly, B., Papageorghiou, A., Noble, J.: Guided random forests for identification of key foetal anatomy and image categorization in ultrasound scans. In: Proc MICCAI, pp. 687-694. Springer (2015)

Claims (114)

  1. 이미징 방법으로서,
    3-차원 오브젝트의 이미지 데이터를 수신하는 단계; 및
    머신-학습 알고리즘을 사용하여 상기 이미지 데이터의 이미지 프레임의 적어도 일부에 신뢰 레벨(confidence level)을 할당하는 단계
    를 포함하고, 상기 신뢰 레벨은 그 이미지 프레임이 상기 3-차원 오브젝트를 통해 특정된 평면 상에 이미지화되는 특정된 엘리먼트를 가질 공산을 표시하는 방법.
  2. 제1항에 있어서,
    상기 할당하는 단계는 상기 이미지 데이터의 상기 이미지 프레임에 복수의 신뢰 레벨을 할당하는 단계를 포함하고, 각각의 신뢰 레벨은 그 이미지 프레임이 상기 3-차원 오브젝트를 통해 대응하는 특정된 평면 상에 이미지화되는 대응하는 특정된 엘리먼트를 가질 공산을 표시하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 할당하는 단계는 상기 이미지 데이터의 복수의 이미지 프레임의 각각에 신뢰 레벨을 할당하는 단계를 포함하는 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 이미지 데이터는 이미지 캡처 장치의 운용자에 의해 캡처되고, 상기 방법은 상기 운용자에게 각각의 신뢰 레벨을 표시하는 단계를 포함하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 운용자에게 이미지 프레임들 간의 각각의 신뢰 레벨의 변경을 표시하는 단계를 포함하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 운용자에게 각각의 신뢰 레벨의 증가 및 감소 중 하나를 표시하는 단계를 포함하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    신뢰 레벨을 증가시키기 위해 요구되는 상기 이미지 캡처 장치의 움직임을 상기 운용자에게 표시하는 단계를 포함하는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    언제 각각의 신뢰 레벨이 임계량을 초과하는지를 상기 운용자에게 표시하는 단계를 포함하는 방법.
  9. 제8항에 있어서,
    적어도 하나의 이미지 프레임에 대한 상기 신뢰 레벨이 상기 임계량을 초과할 때 그 이미지 프레임을 저장하는 단계 및 그 이미지 프레임을 그것의 특정된 엘리먼트와 연관시키는 단계를 포함하는 방법.
  10. 제8항 또는 제9항에 있어서,
    적어도 하나의 이미지 프레임에 대한 상기 신뢰 레벨이 상기 임계량을 초과하지 못할 때 그 이미지 프레임을 저장하는 단계 및 그 이미지 프레임을 그것의 특정된 엘리먼트와 연관시키는 단계를 포함하는 방법.
  11. 제10항에 있어서,
    저장된 이미지 프레임들에 그것의 특정된 엘리먼트의 표시로 주석을 다는 단계를 포함하는 방법.
  12. 제8항 내지 제11항 중 어느 한 항에 있어서,
    상기 머신 학습 알고리즘은 각각의 특정된 엘리먼트에 대한 피처 맵(feature map)을 생성하고, 상기 피처 맵은 맵 컴포넌트들을 가지고, 상기 방법은, 상기 신뢰 레벨이 그 이미지 프레임에 대한 상기 임계량을 초과할 때, 상기 피처 맵으로부터의 활성화된 맵 컴포넌트들을 그 이미지 프레임 내의 픽셀들에 매핑시키는 그 이미지 프레임에 대한 돌극성 맵(saliency map)을 생성하는 단계를 포함하는 방법.
  13. 제12항에 있어서,
    상기 돌극성 맵을 생성하는 상기 단계는 상기 피처 맵으로부터의 가장 많이 활성화된 맵 컴포넌트들의 선택된 백분율을 그 이미지 프레임 내의 픽셀들에 매핑시키는 단계를 포함하는 방법.
  14. 제12항 또는 제13항에 있어서,
    상기 돌극성 맵을 사용하여 그것의 특정된 엘리먼트를 강조함으로써 이미지 프레임들에 주석을 다는 단계를 포함하는 방법.
  15. 제14항에 있어서,
    상기 강조하는 단계는 그 특정된 엘리먼트를 둘러싸는 경계 박스, 상기 특정된 엘리먼트를 정의하는 그 이미지 프레임 내의 픽셀들의 컬러 변경 및 상기 특정된 엘리먼트의 측정 중 적어도 하나를 오버레이시키는 단계를 포함하는 방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    언제 각각의 신뢰 레벨이 상기 신뢰 레벨의 상이한 범위들 내에 드는지를 표시하는 단계를 포함하는 방법.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    상기 운용자에게 상기 특정된 엘리먼트들의 목록을 표시하는 단계를 포함하는 방법.
  18. 제17항에 있어서,
    언제 적어도 하나의 이미지 프레임이 저장되었고 그것의 특정된 엘리먼트와 연관되었는지를 상기 목록 내에 표시하는 단계를 포함하는 방법.
  19. 제17항 또는 제18항에 있어서,
    언제 적어도 하나의 이미지 프레임이 아직 저장되어야 하고 그것의 특정된 엘리먼트와 연관되어야 하는지를 상기 목록 내에 표시하는 단계를 포함하는 방법.
  20. 제10항 내지 제19항 중 어느 한 항에 있어서,
    각각의 특정된 엘리먼트에 대해, 상기 운용자에 의한 선택을 위해 그 특정된 엘리먼트와 연관된 각각의 저장된 이미지 프레임을 제시하는 단계를 포함하는 방법.
  21. 제20항에 있어서,
    상기 제시하는 단계는 일단 적어도 하나의 이미지 프레임이 모든 특정된 엘리먼트에 대해 저장되면 발생하는 방법.
  22. 제20항 또는 제21항에 있어서,
    상기 운용자에 의해 선택된 이미지 프레임 이외의 그 특정된 엘리먼트와 연관된 이미지 프레임들을 폐기하는 단계를 포함하는 방법.
  23. 제20항 내지 제22항 중 어느 한 항에 있어서,
    상기 머신 학습 알고리즘의 트레이닝을 위해 상기 선택된 이미지 프레임을 사용하는 단계를 포함하는 방법.
  24. 제1항 내지 제23항 중 어느 한 항에 있어서,
    상기 이미지 데이터는 3-차원 이미지 데이터 세트를 포함하고, 상기 방법은 상기 3-차원 이미지 데이터 세트로부터 상기 이미지 프레임들을 생성하는 단계를 포함하는 방법.
  25. 제24항에 있어서,
    상기 생성하는 단계는 상기 3-차원 이미지 데이터 세트를 통해 평행한 평면들의 시퀀스를 나타내는 이미지 프레임들을 생성하는 단계를 포함하는 방법.
  26. 제24항 또는 제25항에 있어서,
    상기 생성하는 단계는 상기 3-차원 이미지 데이터 세트를 통해 평행한 평면들의 제1 시퀀스를 나타내는 이미지 프레임들, 및 상기 평행한 평면들의 제1 시퀀스에 직교하는 상기 3-차원 이미지 데이터 세트를 통해 평행한 평면들의 적어도 제2 시퀀스를 나타내는 이미지 프레임들을 포함하는 방법.
  27. 제26항에 있어서,
    각각의 시퀀스로부터의 돌극성 맵들을 조합하는 단계 및 3-차원 변환을 수행하여 상기 3-차원 오브젝트를 통해 그 특정된 평면 상에 이미지화되는 그 특정된 엘리먼트를 가지는 이미지 프레임을 획득하는 단계를 포함하는 방법.
  28. 제1항 내지 제27항 중 어느 한 항에 있어서,
    소스 트레이닝 데이터의 배치(batch)들을 사용하여 상기 머신 학습 알고리즘을 트레이닝하는 단계를 포함하고, 상기 소스 트레이닝 데이터는 상기 3-차원 오브젝트를 통해 상기 특정된 평면 상에 이미지화되는 각각의 특정된 엘리먼트에 대한 이미지 프레임들을 포함하고, 하나의 특정된 엘리먼트는 관심 있는 항목이 존재하지 않는 배경 엘리먼트인 방법.
  29. 제28항에 있어서,
    트레이닝 데이터의 각각의 배치는 상기 배경 엘리먼트를 포함하는 각각의 특정된 엘리먼트에 대해 유사한 개수들의 이미지 프레임들을 포함하는 방법.
  30. 제28항 또는 제29항에 있어서,
    상기 배경 엘리먼트에 대한 이미지 프레임들의 포맷은 다른 특정된 엘리먼트들에 대한 이미지 프레임들의 포맷과 상이하고, 상기 방법은 다른 특정된 엘리먼트들에 대한 상기 이미지 프레임들의 포맷을 조정하여 상기 배경 엘리먼트의 이미지 프레임들의 포맷에 맞춰 정렬하는 단계를 포함하는 방법.
  31. 제28항 내지 제30항 중 어느 한 항에 있어서,
    상기 배경 엘리먼트에 대한 상기 이미지 프레임들로서, 상기 소스 트레이닝 데이터로부터의 이미지 프레임들을 포함시키는 단계를 포함하고, 상기 소스 트레이닝 데이터의 인접한 이미지 프레임들 간에 임계량보다 더 큰 움직임이 발생하는 방법.
  32. 제28항 내지 제31항 중 어느 한 항에 있어서,
    트레이닝 데이터의 각각의 배치 사이의 각각의 특정된 엘리먼트에 대한 이미지 프레임들을 수정하는 단계를 포함하는 방법.
  33. 제32항에 있어서,
    상기 수정하는 단계는 이미지 프레임들의 회전, 자르기, 스케일링, 평행이동, 미러링, 필터링, 잡음 가산, 및 이미지 프레임들의 밝기 및 콘트라스트 조정 중 적어도 하나를 포함하는 방법.
  34. 제1항 내지 제33항 중 어느 한 항에 있어서,
    상기 이미지 데이터는 상기 3-차원 오브젝트를 통과해 찍히는 초음파 이미지 데이터, 자기 공명 영상 이미지 데이터, X-레이 컴퓨터 단층 촬영 이미지 데이터, 양전자 방출 단층 촬영 이미지 데이터 및 단일-광자 방출 컴퓨터 단층 촬영 이미지 데이터 중 하나를 포함하는 방법.
  35. 제1항 내지 제34항 중 어느 한 항에 있어서,
    상기 이미지 데이터는 레코딩된 이미지 데이터 및 실시간 이미지 데이터 중 하나를 포함하는 방법.
  36. 제1항 내지 제35항 중 어느 한 항에 있어서,
    상기 3-차원 오브젝트는 생물 오브젝트 및 무생물 오브젝트 중 하나를 포함하는 방법.
  37. 제1항 내지 제36항 중 어느 한 항에 있어서,
    상기 3-차원 오브젝트는 태아, 장기 및 이식물 중 하나를 포함하는 방법.
  38. 제1항 내지 제37항 중 어느 한 항에 있어서,
    상기 머신 학습 알고리즘은 컨볼루션 신경망을 포함하는 방법.
  39. 이미징 장치로서,
    3-차원 오브젝트의 이미지 데이터를 수신하도록 동작가능한 수신 로직;
    머신-학습 알고리즘을 사용하여 상기 이미지 데이터의 이미지 프레임의 적어도 일부에 신뢰 레벨을 할당하도록 동작가능한 로직
    을 포함하고, 상기 신뢰 레벨은 그 이미지 프레임이 상기 3-차원 오브젝트를 통해 특정된 평면 상에 이미지화되는 특정된 엘리먼트를 가질 공산을 표시하는 이미징 장치.
  40. 제39항에 있어서,
    상기 로직은 상기 이미지 데이터의 상기 이미지 프레임에 복수의 신뢰 레벨을 할당하도록 동작가능하고, 각각의 신뢰 레벨은 그 이미지 프레임이 상기 3-차원 오브젝트를 통해 대응하는 특정된 평면 상에 이미지화되는 대응하는 특정된 엘리먼트를 가질 공산을 표시하는 이미징 장치.
  41. 제39항 또는 제40항에 있어서,
    상기 로직은 상기 이미지 데이터의 복수의 이미지 프레임의 각각에 신뢰 레벨을 할당하도록 동작가능한 이미징 장치.
  42. 제39항 내지 제41항 중 어느 한 항에 있어서,
    상기 이미지 데이터는 이미지 캡처 장치의 운용자에 의해 캡처되고, 상기 로직은 상기 운용자에게 각각의 신뢰 레벨을 표시하도록 동작가능한 이미징 장치.
  43. 제39항 내지 제42항 중 어느 한 항에 있어서,
    상기 로직은 상기 운용자에게 이미지 프레임들 간의 각각의 신뢰 레벨의 변경을 표시하도록 동작가능한 이미징 장치.
  44. 제39항 내지 제43항 중 어느 한 항에 있어서,
    상기 로직은 상기 운용자에게 각각의 신뢰 레벨의 증가 및 감소 중 하나를 표시하도록 동작가능한 이미징 장치.
  45. 제39항 내지 제44항 중 어느 한 항에 있어서,
    상기 로직은 신뢰 레벨을 증가시키기 위해 요구되는 상기 이미지 캡처 장치의 움직임을 상기 운용자에게 표시하도록 동작가능한 이미징 장치.
  46. 제39항 내지 제45항 중 어느 한 항에 있어서,
    상기 로직은 언제 각각의 신뢰 레벨이 임계량을 초과하는지를 상기 운용자에게 표시하도록 동작가능한 이미징 장치.
  47. 제46항에 있어서,
    상기 로직은 적어도 하나의 이미지 프레임에 대한 상기 신뢰 레벨이 상기 임계량을 초과할 때 그 이미지 프레임을 저장하고, 그 이미지 프레임을 그것의 특정된 엘리먼트와 연관시키도록 동작가능한 이미징 장치.
  48. 제46항 또는 제47항에 있어서,
    상기 로직은 적어도 하나의 이미지 프레임에 대한 상기 신뢰 레벨이 상기 임계량을 초과하지 못할 때 그 이미지 프레임을 저장하고, 그 이미지 프레임을 그것의 특정된 엘리먼트와 연관시키도록 동작가능한 이미징 장치.
  49. 제47항 또는 제48항에 있어서,
    상기 로직은 저장된 이미지 프레임들에 그것의 특정된 엘리먼트의 표시로 주석을 달도록 동작가능한 이미징 장치.
  50. 제39항 내지 제49항 중 어느 한 항에 있어서,
    상기 머신 학습 알고리즘은 각각의 특정된 엘리먼트에 대한 피처 맵을 생성하고, 상기 피처 맵은 맵 컴포넌트들을 가지고, 상기 로직은, 상기 신뢰 레벨이 그 이미지 프레임에 대한 상기 임계량을 초과할 때, 상기 피처 맵으로부터의 활성화된 맵 컴포넌트들을 그 이미지 프레임 내의 픽셀들에 매핑시키는 그 이미지 프레임에 대한 돌극성 맵을 생성하도록 동작가능한 이미징 장치.
  51. 제50항에 있어서,
    상기 로직은 상기 피처 맵으로부터의 가장 많이 활성화된 맵 컴포넌트들의 선택된 백분율을 그 이미지 프레임 내의 픽셀들에 매핑시키도록 동작가능한 이미징 장치.
  52. 제50항 또는 제51항에 있어서,
    상기 로직은 상기 돌극성 맵을 사용하여 그것의 특정된 엘리먼트를 강조함으로써 이미지 프레임들에 주석을 달도록 동작가능한 이미징 장치.
  53. 제52항에 있어서,
    상기 로직은 그 특정된 엘리먼트를 둘러싸는 경계 박스, 상기 특정된 엘리먼트를 정의하는 그 이미지 프레임 내의 픽셀들의 컬러 변경 및 상기 특정된 엘리먼트의 측정 중 적어도 하나를 오버레이시킴으로써 그것의 특정된 엘리먼트를 강조하도록 동작가능한 이미징 장치.
  54. 제39항 내지 제53항 중 어느 한 항에 있어서,
    상기 로직은 언제 각각의 신뢰 레벨이 상기 신뢰 레벨의 상이한 범위들 내에 드는지를 표시하도록 동작가능한 이미징 장치.
  55. 제39항 내지 제44항 중 어느 한 항에 있어서,
    상기 로직은 상기 운용자에게 상기 특정된 엘리먼트들의 목록을 표시하도록 동작가능한 이미징 장치.
  56. 제55항에 있어서,
    상기 로직은 언제 적어도 하나의 이미지 프레임이 저장되었고 그것의 특정된 엘리먼트와 연관되었는지를 상기 목록 내에 표시하도록 동작가능한 이미징 장치.
  57. 제55항 또는 제56항에 있어서,
    상기 로직은 언제 적어도 하나의 이미지 프레임이 아직 저장되어야 하고 그것의 특정된 엘리먼트와 연관되어야 하는지를 상기 목록 내에 표시하도록 동작가능한 이미징 장치.
  58. 제47항 내지 제57항 중 어느 한 항에 있어서,
    상기 로직은, 각각의 특정된 엘리먼트에 대해, 상기 운용자에 의한 선택을 위해 그 특정된 엘리먼트와 연관된 각각의 저장된 이미지 프레임을 제시하도록 동작가능한 이미징 장치.
  59. 제47항 내지 제58항 중 어느 한 항에 있어서,
    상기 로직은 일단 적어도 하나의 이미지 프레임이 모든 특정된 엘리먼트에 대해 저장되면 각각의 저장된 이미지 프레임을 제시하도록 동작가능한 이미징 장치.
  60. 제58항 또는 제59항에 있어서,
    상기 로직은 상기 운용자에 의해 선택된 이미지 프레임 이외의 그 특정된 엘리먼트와 연관된 이미지 프레임들을 폐기하도록 동작가능한 이미징 장치.
  61. 제58항 내지 제60항 중 어느 한 항에 있어서,
    상기 로직은 상기 머신 학습 알고리즘의 트레이닝을 위해 상기 선택된 이미지 프레임을 사용하도록 동작가능한 이미징 장치.
  62. 제39항 내지 제61항 중 어느 한 항에 있어서,
    상기 이미지 데이터는 3-차원 이미지 데이터 세트를 포함하고, 상기 로직은 상기 3-차원 이미지 데이터 세트로부터 상기 이미지 프레임들을 생성하도록 동작가능한 이미징 장치.
  63. 제62항에 있어서,
    상기 로직은 상기 3-차원 이미지 데이터 세트를 통해 평행한 평면들의 시퀀스를 나타내는 이미지 프레임들을 생성하도록 동작가능한 이미징 장치.
  64. 제62항 또는 제63항에 있어서,
    상기 로직은 상기 3-차원 이미지 데이터 세트를 통해 평행한 평면들의 제1 시퀀스를 나타내는 이미지 프레임들, 및 상기 평행한 평면들의 제1 시퀀스에 직교하는 상기 3-차원 이미지 데이터 세트를 통해 평행한 평면들의 적어도 제2 시퀀스를 나타내는 이미지 프레임들을 생성하도록 동작가능한 이미징 장치.
  65. 제62항 내지 제64항 중 어느 한 항에 있어서,
    상기 로직은 각각의 시퀀스로부터의 돌극성 맵들을 조합하고, 3-차원 변환을 수행하여 상기 3-차원 오브젝트를 통해 그 특정된 평면 상에 이미지화되는 그 특정된 엘리먼트를 가지는 이미지 프레임을 획득하도록 동작가능한 이미징 장치.
  66. 제39항 내지 제65항 중 어느 한 항에 있어서,
    상기 로직은 소스 트레이닝 데이터의 배치들을 사용하여 상기 머신 학습 알고리즘을 트레이닝하도록 동작가능하고, 상기 소스 트레이닝 데이터는 상기 3-차원 오브젝트를 통해 상기 특정된 평면 상에 이미지화되는 각각의 특정된 엘리먼트에 대한 이미지 프레임들을 포함하고, 하나의 특정된 엘리먼트는 관심 있는 항목이 존재하지 않는 배경 엘리먼트인 이미징 장치.
  67. 제66항에 있어서,
    트레이닝 데이터의 각각의 배치는 상기 배경 엘리먼트를 포함하는 각각의 특정된 엘리먼트에 대해 유사한 개수들의 이미지 프레임들을 포함하는 이미징 장치.
  68. 제66항 또는 제67항에 있어서,
    상기 배경 엘리먼트에 대한 이미지 프레임들의 포맷은 다른 특정된 엘리먼트들에 대한 이미지 프레임들의 포맷과 상이하고, 상기 로직은 다른 특정된 엘리먼트들에 대한 상기 이미지 프레임들의 포맷을 조정하여 상기 배경 엘리먼트의 이미지 프레임들의 포맷에 맞춰 정렬하도록 동작가능한 이미징 장치.
  69. 제66항 내지 제68항 중 어느 한 항에 있어서,
    상기 로직은 상기 배경 엘리먼트에 대한 상기 이미지 프레임들로서 상기 소스 트레이닝 데이터로부터의 이미지 프레임들을 포함시키도록 동작가능하고, 상기 소스 트레이닝 데이터의 인접한 이미지 프레임들 간에 임계량보다 더 큰 움직임이 발생하는 이미징 장치.
  70. 제66항 내지 제69항 중 어느 한 항에 있어서,
    상기 로직은 트레이닝 데이터의 각각의 배치 사이의 각각의 특정된 엘리먼트에 대한 이미지 프레임들을 수정하도록 동작가능한 이미징 장치.
  71. 제70항에 있어서,
    상기 로직은 이미지 프레임들의 회전, 자르기, 스케일링, 평행이동, 미러링, 필터링, 잡음 가산, 및 이미지 프레임들의 밝기 및 콘트라스트 조정 중 적어도 하나를 사용하여 이미지 프레임들을 수정하도록 동작가능한 이미징 장치.
  72. 제39항 내지 제71항 중 어느 한 항에 있어서,
    상기 이미지 데이터는 상기 3-차원 오브젝트를 통과해 찍히는 초음파 이미지 데이터, 자기 공명 영상 이미지 데이터, X-레이 컴퓨터 단층 촬영 이미지 데이터, 양전자 방출 단층 촬영 이미지 데이터 및 단일-광자 방출 컴퓨터 단층 촬영 이미지 데이터 중 하나를 포함하는 이미징 장치.
  73. 제39항 내지 제72항 중 어느 한 항에 있어서,
    상기 이미지 데이터는 레코딩된 이미지 데이터 및 실시간 이미지 데이터 중 하나를 포함하는 이미징 장치.
  74. 제39항 내지 제73항 중 어느 한 항에 있어서,
    상기 3-차원 오브젝트는 생물 오브젝트 및 무생물 오브젝트 중 하나를 포함하는 이미징 장치.
  75. 제39항 내지 제74항 중 어느 한 항에 있어서,
    상기 3-차원 오브젝트는 태아, 장기 및 이식물 중 하나를 포함하는 이미징 장치.
  76. 제39항 내지 제75항 중 어느 한 항에 있어서,
    상기 머신 학습 알고리즘은 컨볼루션 신경망을 포함하는 이미징 장치.
  77. 이미징 방법으로서,
    3-차원 오브젝트의 이미지 프레임이 상기 3-차원 오브젝트를 통해 특정된 평면 상에 이미지화되는 특정된 엘리먼트를 가지는 신뢰 레벨을 운용자에게 표시하는 단계
    를 포함하는 이미징 방법.
  78. 제77항에 있어서,
    상기 표시하는 단계는 3-차원 오브젝트의 이미지 프레임이 상기 3-차원 오브젝트를 통해 대응하는 특정된 평면 상에 이미지화되는 복수의 특정된 엘리먼트 중 대응하는 엘리먼트를 가지는 복수의 신뢰 레벨을 상기 운용자에게 표시하는 단계를 포함하는 이미징 방법.
  79. 제77항 또는 제78항에 있어서,
    상기 운용자에게 이미지 프레임들 간의 각각의 신뢰 레벨의 변경을 표시하는 단계를 포함하는 이미징 방법.
  80. 제77항 내지 제79항 중 어느 한 항에 있어서,
    상기 운용자에게 각각의 신뢰 레벨의 증가 및 감소 중 하나를 표시하는 단계를 포함하는 이미징 방법.
  81. 제77항 내지 제80항 중 어느 한 항에 있어서,
    신뢰 레벨을 증가시키기 위해 요구되는 상기 이미지 캡처 장치의 움직임을 상기 운용자에게 표시하는 단계
    를 포함하는 이미징 방법.
  82. 제77항 내지 제81항 중 어느 한 항에 있어서,
    언제 각각의 신뢰 레벨이 임계량을 초과하는지를 상기 운용자에게 표시하는 단계
    를 포함하는 이미징 방법.
  83. 제77항 내지 제82항 중 어느 한 항에 있어서,
    돌극성 맵을 사용하여 그것의 특정된 엘리먼트를 강조함으로써 이미지 프레임들에 주석을 다는 단계
    를 포함하는 이미징 방법.
  84. 제83항에 있어서,
    상기 강조하는 단계는 그 특정된 엘리먼트를 둘러싸는 경계 박스, 상기 특정된 엘리먼트를 정의하는 그 이미지 프레임 내의 픽셀들의 컬러 변경 및 상기 특정된 엘리먼트의 측정 중 적어도 하나를 오버레이시키는 단계를 포함하는 이미징 방법.
  85. 제77항 내지 제84항 중 어느 한 항에 있어서,
    언제 각각의 신뢰 레벨이 상기 신뢰 레벨의 상이한 범위들 내에 드는지를 표시하는 단계
    를 포함하는 이미징 방법.
  86. 제77항 내지 제85항 중 어느 한 항에 있어서,
    상기 운용자에게 상기 특정된 엘리먼트들의 목록을 표시하는 단계
    를 포함하는 이미징 방법.
  87. 제86항에 있어서,
    언제 적어도 하나의 이미지 프레임이 저장되었고 그것의 특정된 엘리먼트와 연관되었는지를 상기 목록 내에 표시하는 단계
    를 포함하는 이미징 방법.
  88. 제86항 또는 제87항에 있어서,
    언제 적어도 하나의 이미지 프레임이 아직 저장되어야 하고 그것의 특정된 엘리먼트와 연관되어야 하는지를 상기 목록 내에 표시하는 단계
    를 포함하는 이미징 방법.
  89. 제87항 또는 제88항에 있어서,
    각각의 특정된 엘리먼트에 대해, 상기 운용자에 의한 선택을 위해 그 특정된 엘리먼트와 연관된 각각의 저장된 이미지 프레임을 제시하는 단계
    를 포함하는 이미징 방법.
  90. 제89항에 있어서,
    상기 제시하는 단계는 일단 적어도 하나의 이미지 프레임이 모든 특정된 엘리먼트에 대해 저장되면 발생하는 이미징 방법.
  91. 제77항 내지 제90항 중 어느 한 항에 있어서,
    상기 이미지 데이터는 상기 3-차원 오브젝트를 통과해 찍히는 초음파 이미지 데이터, 자기 공명 영상 이미지 데이터, X-레이 컴퓨터 단층 촬영 이미지 데이터, 양전자 방출 단층 촬영 이미지 데이터 및 단일-광자 방출 컴퓨터 단층 촬영 이미지 데이터 중 하나를 포함하는 이미징 방법.
  92. 제77항 내지 제91항 중 어느 한 항에 있어서,
    상기 이미지 데이터는 레코딩된 이미지 데이터 및 실시간 이미지 데이터 중 하나를 포함하는 이미징 방법.
  93. 제77항 내지 제92항 중 어느 한 항에 있어서,
    상기 3-차원 오브젝트는 생물 오브젝트 및 무생물 오브젝트 중 하나를 포함하는 이미징 방법.
  94. 제77항 내지 제93항 중 어느 한 항에 있어서,
    상기 3-차원 오브젝트는 태아, 장기 및 이식물 중 하나를 포함하는 이미징 방법.
  95. 이미징 장치로서,
    3-차원 오브젝트의 이미지 프레임이 상기 3-차원 오브젝트를 통해 특정된 평면 상에 이미지화되는 특정된 엘리먼트를 가지는 신뢰 레벨을 운용자에게 표시하도록 동작가능한 로직
    을 포함하는 이미징 장치.
  96. 제95항에 있어서,
    상기 로직은 3-차원 오브젝트의 이미지 프레임이 상기 3-차원 오브젝트를 통해 대응하는 특정된 평면 상에 이미지화되는 복수의 특정된 엘리먼트 중 대응하는 엘리먼트를 가지는 복수의 신뢰 레벨을 상기 운용자에게 표시하도록 동작가능한 이미징 장치.
  97. 제95항 또는 제96항에 있어서,
    상기 로직은 상기 운용자에게 이미지 프레임들 간의 각각의 신뢰 레벨의 변경을 표시하도록 동작가능한 이미징 장치.
  98. 제95항 내지 제97항 중 어느 한 항에 있어서,
    상기 로직은 상기 운용자에게 각각의 신뢰 레벨의 증가 및 감소 중 하나를 표시하도록 동작가능한 이미징 장치.
  99. 제95항 내지 제99항 중 어느 한 항에 있어서,
    상기 로직은 신뢰 레벨을 증가시키기 위해 요구되는 상기 이미지 캡처 장치의 움직임을 상기 운용자에게 표시하도록 동작가능한 이미징 장치.
  100. 제95항 내지 제99항 중 어느 한 항에 있어서,
    상기 로직은 언제 각각의 신뢰 레벨이 임계량을 초과하는지를 상기 운용자에게 표시하도록 동작가능한 이미징 장치.
  101. 제95항 내지 제100항 중 어느 한 항에 있어서,
    상기 로직은 돌극성 맵을 사용하여 그것의 특정된 엘리먼트를 강조함으로써 이미지 프레임들에 주석을 달도록 동작가능한 이미징 장치.
  102. 제101항에 있어서,
    상기 로직은 그 특정된 엘리먼트를 둘러싸는 경계 박스, 상기 특정된 엘리먼트를 정의하는 그 이미지 프레임 내의 픽셀들의 컬러 변경 및 상기 특정된 엘리먼트의 측정 중 적어도 하나를 오버레이시킴으로써 강조하도록 동작가능한 이미징 장치.
  103. 제95항 내지 제102항 중 어느 한 항에 있어서,
    상기 로직은 언제 각각의 신뢰 레벨이 상기 신뢰 레벨의 상이한 범위들 내에 드는지를 표시하도록 동작가능한 이미징 장치.
  104. 제95항 내지 제103항 중 어느 한 항에 있어서,
    상기 로직은 상기 운용자에게 상기 특정된 엘리먼트들의 목록을 표시하도록 동작가능한 이미징 장치.
  105. 제104항에 있어서,
    상기 로직은 언제 적어도 하나의 이미지 프레임이 저장되었고 그것의 특정된 엘리먼트와 연관되었는지를 상기 목록 내에 표시하도록 동작가능한 이미징 장치.
  106. 제104항 또는 제105항에 있어서,
    상기 로직은 언제 적어도 하나의 이미지 프레임이 아직 저장되어야 하고 그것의 특정된 엘리먼트와 연관되어야 하는지를 상기 목록 내에 표시하도록 동작가능한 이미징 장치.
  107. 제105항 또는 제106항에 있어서,
    상기 로직은, 각각의 특정된 엘리먼트에 대해, 상기 운용자에 의한 선택을 위해 그 특정된 엘리먼트와 연관된 각각의 저장된 이미지 프레임을 제시하도록 동작가능한 이미징 장치.
  108. 제105항 내지 제107항 중 어느 한 항에 있어서,
    상기 로직은 일단 적어도 하나의 이미지 프레임이 모든 특정된 엘리먼트에 대해 저장되면 제시하도록 동작가능한 이미징 장치.
  109. 제95항 내지 제108항 중 어느 한 항에 있어서,
    상기 이미지 데이터는 상기 3-차원 오브젝트를 통과해 찍히는 초음파 이미지 데이터, 자기 공명 영상 이미지 데이터, X-레이 컴퓨터 단층 촬영 이미지 데이터, 양전자 방출 단층 촬영 이미지 데이터 및 단일-광자 방출 컴퓨터 단층 촬영 이미지 데이터 중 하나를 포함하는 이미징 장치.
  110. 제95항 내지 제109항 중 어느 한 항에 있어서,
    상기 이미지 데이터는 레코딩된 이미지 데이터 및 실시간 이미지 데이터 중 하나를 포함하는 이미징 장치.
  111. 제95항 내지 제110항 중 어느 한 항에 있어서,
    상기 3-차원 오브젝트는 생물 오브젝트 및 무생물 오브젝트 중 하나를 포함하는 이미징 장치.
  112. 제95항 내지 제111항 중 어느 한 항에 있어서,
    상기 3-차원 오브젝트는 태아, 장기 및 이식물 중 하나를 포함하는 이미징 장치.
  113. 컴퓨터 프로그램 제품으로서,
    컴퓨터 상에서 실행될 때, 제1항 내지 제38항 및 제77항 내지 제94항 중 어느 한 항의 방법을 수행하도록 동작가능한 컴퓨터 프로그램 제품.
  114. 첨부 도면들을 참조하여 전술된 바와 같은 이미징 방법 또는 장치.
KR1020197012215A 2016-09-29 2017-09-29 이미지 프로세싱 KR20190061041A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1616536.7 2016-09-29
GB1616536.7A GB2554641A (en) 2016-09-29 2016-09-29 Image processing
PCT/GB2017/052925 WO2018060723A1 (en) 2016-09-29 2017-09-29 Image processing

Publications (1)

Publication Number Publication Date
KR20190061041A true KR20190061041A (ko) 2019-06-04

Family

ID=57571206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197012215A KR20190061041A (ko) 2016-09-29 2017-09-29 이미지 프로세싱

Country Status (6)

Country Link
US (1) US11200693B2 (ko)
EP (1) EP3520021A1 (ko)
KR (1) KR20190061041A (ko)
CN (1) CN109923554B (ko)
GB (1) GB2554641A (ko)
WO (1) WO2018060723A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3399465A1 (en) * 2017-05-05 2018-11-07 Dassault Systèmes Forming a dataset for fully-supervised learning
WO2019067054A1 (en) * 2017-09-28 2019-04-04 Apple Inc. GENERATING STATIC IMAGES USING AN EVENT CAMERA
US11024025B2 (en) * 2018-03-07 2021-06-01 University Of Virginia Patent Foundation Automatic quantification of cardiac MRI for hypertrophic cardiomyopathy
CN109407067B (zh) * 2018-10-13 2023-06-27 中国人民解放军海军航空大学 基于时频图卷积神经网络的雷达动目标检测与分类一体化方法
US20200395119A1 (en) * 2018-11-21 2020-12-17 Enlitic, Inc. Medical scan labeling quality assurance system
WO2020126712A1 (en) * 2018-12-17 2020-06-25 Koninklijke Philips N.V. Systems and methods for frame indexing and image review
KR102289277B1 (ko) 2018-12-21 2021-08-13 주식회사 인피니트헬스케어 복수의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하는 의료 영상 판독 지원 장치 및 방법
CN114430671A (zh) * 2019-09-26 2022-05-03 皇家飞利浦有限公司 用于超声成像中的目标定位的自动闭环超声平面转向以及相关联的设备、系统和方法
KR102360615B1 (ko) 2019-11-05 2022-02-09 주식회사 인피니트헬스케어 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법
EP3838163A1 (en) * 2019-12-17 2021-06-23 Koninklijke Philips N.V. Method and system for improved ultrasound plane acquisition
US11501121B2 (en) * 2020-01-07 2022-11-15 Siemens Medical Solutions Usa, Inc. Binomial subsample data augmented CNN for image classification
CN111549766B (zh) * 2020-04-23 2021-11-19 山西华晋岩土工程勘察有限公司 一种桩基工程的施工装置及其控制方法、控制系统
KR102528727B1 (ko) * 2020-10-22 2023-05-03 경북대학교 산학협력단 딥 뉴럴 네트워크 기반의 뇌출혈 진단 시스템
CN112598043B (zh) * 2020-12-17 2023-08-18 杭州电子科技大学 一种基于弱监督学习的协同显著性检测方法
US20230252311A1 (en) * 2022-02-10 2023-08-10 Clarifai, Inc. Systems and methods for transductive out-of-domain learning

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1345154A1 (en) * 2002-03-11 2003-09-17 Bracco Imaging S.p.A. A method for encoding image pixels and method for processing images aimed at qualitative recognition of the object reproduced by one more image pixels
US8073215B2 (en) * 2007-09-18 2011-12-06 Siemens Medical Solutions Usa, Inc. Automated detection of planes from three-dimensional echocardiographic data
US8891881B2 (en) * 2012-01-25 2014-11-18 General Electric Company System and method for identifying an optimal image frame for ultrasound imaging
US8831311B2 (en) * 2012-12-31 2014-09-09 General Electric Company Methods and systems for automated soft tissue segmentation, circumference estimation and plane guidance in fetal abdominal ultrasound images
US10231704B2 (en) * 2013-12-20 2019-03-19 Raghu Raghavan Method for acquiring ultrasonic data
US9245338B2 (en) * 2014-05-19 2016-01-26 Xerox Corporation Increasing accuracy of a physiological signal obtained from a video of a subject
US20160081663A1 (en) * 2014-09-18 2016-03-24 General Electric Company Method and system for automated detection and measurement of a target structure
US9792531B2 (en) * 2015-09-16 2017-10-17 Siemens Healthcare Gmbh Intelligent multi-scale medical image landmark detection

Also Published As

Publication number Publication date
CN109923554A (zh) 2019-06-21
GB2554641A (en) 2018-04-11
WO2018060723A1 (en) 2018-04-05
CN109923554B (zh) 2023-11-28
US20200027237A1 (en) 2020-01-23
GB201616536D0 (en) 2016-11-16
US11200693B2 (en) 2021-12-14
EP3520021A1 (en) 2019-08-07

Similar Documents

Publication Publication Date Title
CN109923554B (zh) 图像处理
US11151721B2 (en) System and method for automatic detection, localization, and semantic segmentation of anatomical objects
CN110338844B (zh) 三维成像数据的显示处理方法和三维超声成像方法及系统
US7648460B2 (en) Medical diagnostic imaging optimization based on anatomy recognition
US8369593B2 (en) Systems and methods for robust learning based annotation of medical radiographs
CN110325119B (zh) 卵巢卵泡计数和大小确定
Kumar et al. Plane identification in fetal ultrasound images using saliency maps and convolutional neural networks
CN111227864A (zh) 使用超声图像利用计算机视觉进行病灶检测的方法与装置
US11712224B2 (en) Method and systems for context awareness enabled ultrasound scanning
KR102030533B1 (ko) 근감소증 분석지원을 위한 인공 신경망 기반의 인체 형태 분석법을 채용하는 영상 처리 장치 및 이를 이용한 영상 처리 방법
CN111345847B (zh) 基于组织密度管理波束成形参数的方法和系统
Di Cosmo et al. Learning-based median nerve segmentation from ultrasound images for carpal tunnel syndrome evaluation
CN116434918A (zh) 医学图像处理方法及计算机可读存储介质
CN114202516A (zh) 一种异物检测方法、装置、电子设备及存储介质
CN115249279A (zh) 医学图像处理方法、装置、计算机设备和存储介质
US20210319210A1 (en) Region specification apparatus, region specification method, and region specification program
WO2023133929A1 (zh) 一种基于超声的人体组织对称性检测分析方法
CN115004225A (zh) 弱监督病灶分割
KR102353842B1 (ko) 인공지능 모델 기반의 관심영역 자동인식 및 도플러 영상 추출영역 자동고정 방법 및 장치
KR102132564B1 (ko) 진단 장치 및 진단 방법
EP4252670A1 (en) Methods and systems for ultrasound-based structure localization using image and user inputs
KR102069774B1 (ko) 영상 처리 장치 및 방법
Joseph et al. lungEcho-Resource Constrained Lung Ultrasound Video Analysis Tool for Faster Triaging and Active Learning
CN116012763A (zh) 一种消融图像的处理方法、设备及存储介质
WO2023186584A1 (en) Methods and systems for ultrasound-based structure localization using image and user inputs

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application