KR20210073282A - 영상 처리 장치 및 이를 포함하는 석회화 분석 시스템 - Google Patents

영상 처리 장치 및 이를 포함하는 석회화 분석 시스템 Download PDF

Info

Publication number
KR20210073282A
KR20210073282A KR1020190163934A KR20190163934A KR20210073282A KR 20210073282 A KR20210073282 A KR 20210073282A KR 1020190163934 A KR1020190163934 A KR 1020190163934A KR 20190163934 A KR20190163934 A KR 20190163934A KR 20210073282 A KR20210073282 A KR 20210073282A
Authority
KR
South Korea
Prior art keywords
vectors
voxel
weights
vector
target
Prior art date
Application number
KR1020190163934A
Other languages
English (en)
Inventor
정호열
최재훈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190163934A priority Critical patent/KR20210073282A/ko
Priority to US16/950,573 priority patent/US11669961B2/en
Publication of KR20210073282A publication Critical patent/KR20210073282A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/503—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/504—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of blood vessels, e.g. by angiography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Quality & Reliability (AREA)
  • Vascular Medicine (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)

Abstract

본 발명은 영상 처리 장치 및 이를 포함하는 석회화 분석 시스템에 관한 것이다. 본 발명의 실시예에 따른 장치는 복셀 추출기, 학습기, 및 예측기를 포함한다. 복셀 추출기는 3차원 영상으로부터 타겟 복셀 및 타겟 복셀과 이웃한 이웃 복셀들을 추출 한다. 학습기는 타겟 복셀 및 이웃 복셀들에 각각 대응되는 벡터들을 생성하고, 벡터들 및 파라미터 그룹에 기초하여 벡터들에 각각 대응되는 벡터 가중치들을 생성하고, 벡터들에 벡터 가중치들을 적용함으로써 생성된 타겟 복셀의 분석 결과에 기초하여 파라미터 그룹을 조절한다. 예측기는 타겟 복셀 및 이웃 복셀들에 각각 대응되는 벡터들을 생성하고, 벡터들에 파라미터 그룹을 적용하여 벡터들 사이의 관계 가중치들을 생성하고, 벡터들에 관계 가중치들을 적용하여 벡터들에 각각 대응되는 벡터 가중치들을 생성하고, 벡터들에 벡터 가중치들을 적용하여 타겟 복셀의 분석 결과를 생성한다.

Description

영상 처리 장치 및 이를 포함하는 석회화 분석 시스템{IMAGE PROCESSING DEVICE AND SYSTEM FOR ANALYZING CALCIFICATION INCLUDING THE SAME}
본 발명은 영상 처리에 관한 것으로, 좀 더 구체적으로 영상 처리 장치 및 이를 포함하는 석회화 분석 시스템에 관한 것이다.
심혈관 질환은 현대 사회에서 사망률이 높은 질환들 중 하나이다. 심혈관 질환의 발병 매커니즘은 정확하게 알려져 있지 않으나, 생활 패턴과 같은 환경적 요인이 심혈관 질환의 위험 요인으로 알려져 있다. 관상 동맥의 석회화는 혈액 중의 칼슘이 심장의 관상 동맥에 침착하는 현상이다. 관상 동맥은 심장으로 혈액을 공급함으로써, 심근에 산소 및 영양분을 공급할 수 있다. 관상 동맥의 석회화가 진행됨에 따라 혈관이 좁아지고, 심혈관 질환의 발생 가능성이 높아질 수 있다.
전통적으로, 관상 동맥의 석회화는 의사가 심장 CT(Computed Tomography) 영상을 분석하여, 수동적으로 석회화 영역을 탐색하였다. 최근에는, 영상 처리 기술의 발전에 따라, 영상 처리 장치가 석회화 영역의 후보군들을 찾아주고, 의사가 후보군들에서 오류를 수정하여, 반자동적으로 석회화 영역을 탐색하고 있다. 그러나, 이러한 오류가 많은 경우, 의사가 수정하여야 하는 작업이 많아진다. 이에 따라, 석회화 영역의 탐색의 정확도를 향상시켜, 궁극적으로 완전 자동적으로 석회화 영역을 탐색할 수 있는 방안이 요구된다.
본 발명은 3차원 영상의 분석 정확성을 향상시키고, 관상 동맥의 석회화 분석의 정확성을 향상시키는 영상 처리 장치 및 이를 포함하는 석회화 분석 시스템을 제공할 수 있다.
본 발명의 실시예에 따른 영상 처리 장치는 복셀 추출기 및 학습기를 포함한다. 복셀 추출기는 3차원 영상으로부터 타겟 복셀 및 타겟 복셀과 이웃한 이웃 복셀들을 추출한다. 학습기는 타겟 복셀 및 이웃 복셀들에 각각 대응되는 벡터들을 생성하고, 벡터들 및 파라미터 그룹에 기초하여 벡터들에 각각 대응되는 벡터 가중치들을 생성하고, 벡터들에 벡터 가중치들을 적용함으로써 생성된 타겟 복셀의 분석 결과에 기초하여 파라미터 그룹을 조절한다.
일례로, 이웃 복셀들의 개수는 자연수 n에 대하여, (2n+1)3-1개일 수 있다.
일례로, 학습기는 벡터들에 파라미터 그룹을 적용하여 벡터들 사이의 관계 가중치들을 생성하고, 벡터들에 관계 가중치들을 적용하여 벡터 가중치들을 생성할 수 있다. 일례로, 학습기는 벡터들에 관계 가중치들 중 타겟 벡터와 벡터들 사이의 관계 가중치들을 적용하여, 타겟 벡터에 대응되는 벡터 가중치를 생성할 수 있다.
일례로, 학습기는 타겟 복셀 및 이웃 복셀들 각각에 대한 컨볼루션 뉴럴 네트워크 연산을 통하여 벡터들을 생성할 수 있다. 일례로, 학습기는 타겟 복셀 및 이웃 복셀들 각각에 대한 컨볼루션 뉴럴 네트워크 연산의 결과 및 확장된(dilated) 컨볼루션 뉴럴 네트워크 연산의 결과를 병합하여 벡터들을 생성할 수 있다.
일례로, 학습기는 분석 결과가 기설정된 결과로부터 기준 오차 이내일 때까지 상기 파라미터 그룹을 조절할 수 있다.
일례로, 3차원 영상은 컴퓨터 단층 촬영 영상이고, 분석 결과는 석회화 지수일 수 있다.
본 발명의 실시예에 따른 영상 처리 장치는 복셀 추출기 및 예측기를 포함한다. 복셀 추출기는 3차원 영상으로부터 타겟 복셀 및 타겟 복셀과 이웃한 이웃 복셀들을 추출한다. 예측기는 타겟 복셀 및 이웃 복셀들에 각각 대응되는 벡터들을 생성하고, 벡터들에 파라미터 그룹을 적용하여 벡터들 사이의 관계 가중치들을 생성하고, 벡터들에 관계 가중치들을 적용하여 벡터들에 각각 대응되는 벡터 가중치들을 생성하고, 벡터들에 벡터 가중치들을 적용하여 타겟 복셀의 분석 결과를 생성한다.
일례로, 이웃 복셀들의 개수는 자연수 n에 대하여, (2n+1)3-1개일 수 있다.
일례로, 예측기는 벡터들 중 타겟 복셀에 대응되는 타겟 벡터, 벡터들, 및 파라미터 그룹에 기초하여, 타겟 벡터와 벡터들 사이의 타겟 관계 가중치들을 생성할 수 있다. 일례로, 예측기는 벡터들 각각에 타겟 관계 가중치들 각각을 곱한 값들을 합하여, 타겟 벡터에 대응되는 벡터 가중치를 생성할 수 있다. 일례로, 파라미터 그룹은 벡터들 각각에 대한 벡터들의 상관 관계에 따른 파라미터 값들을 포함할 수 있다.
일례로, 복셀 추출기는 3차원 영상에 포함된 복수의 복셀들 각각을 타겟 복셀로 설정하고, 설정된 타겟 복셀을 기준으로 이웃 복셀들을 추출할 수 있다. 일례로, 예측기는 복셀들 각각의 분석 결과들에 기초하여, 3차원 영상의 석회화 지수를 계산할 수 있다.
본 발명의 실시예에 따른 석회화 분석 시스템은 컴퓨터 단층 촬영 장치 및 영상 처리 장치를 포함한다. 컴퓨터 단층 촬영 장치는 3차원 컴퓨터 단층 영상을 생성한다. 영상 처리 장치는 3차원 컴퓨터 단층 영상으로부터 타겟 복셀 및 타겟 복셀과 이웃한 이웃 복셀들을 추출하고, 타겟 복셀 및 이웃 복셀들에 각각 대응되는 벡터들을 생성하고, 벡터들 사이의 상관 관계에 기초하여 벡터들에 각각 대응되는 벡터 가중치들을 생성하고, 벡터들에 벡터 가중치들을 적용하여 타겟 복셀의 석회화 지수를 계산한다.
일례로, 영상 처리 장치는 벡터들에 파라미터 그룹을 적용하여 벡터들 사이의 관계 가중치들을 생성하고, 벡터들에 관계 가중치들을 적용하여 벡터 가중치들을 생성하고, 석회화 지수에 기초하여 파라미터 그룹을 조절하는 학습기를 포함할 수 있다. 일례로, 학습기는 석회화 지수가 기설정된 지수로부터 기준 오차 이내일 때까지 파라미터 그룹을 조절하고, 조절된 파라미터 그룹은 학습 모델 데이터베이스에 저장될 수 있다.
일례로, 영상 처리 장치는 학습 모델 데이터베이스로부터 제공된 파라미터 그룹을 벡터들에 적용하여 벡터들 사이의 관계 가중치들을 생성하고, 벡터들에 관계 가중치들을 적용하여 벡터 가중치들을 생성하고, 벡터들에 벡터 가중치들을 적용하여 타겟 복셀의 석회화 지수를 계산하는 예측기를 포함할 수 있다. 일례로, 영상 처리 장치는 3차원 영상에 포함된 복수의 복셀들 각각을 타겟 복셀로 설정하고, 설정된 타겟 복셀을 기준으로 이웃 복셀들을 추출하는 복셀 추출기를 더 포함하고, 예측기는 복셀들 각각의 분석 결과들에 기초하여, 3차원 영상의 석회화 지수를 계산할 수 있다.
본 발명의 실시예에 따르면, 복셀들 각각의 이웃한 복셀들을 타겟 복셀의 분석에 활용함으로써, 3차원 영상에서 혈관과 같은 해부학적인 정보를 간접적으로 반영한 분석 결과를 획득할 수 있다.
또한, 본 발명의 실시예에 따르면, 타겟 복셀 및 이웃한 복셀들을 집중 모델(self-attention model)에 적용함으로써, 석회화 판별 및 석회화 지수의 정확성이 향상될 수 있다.
도 1은 본 발명의 실시예에 따른 석회화 분석 시스템을 도시한 도면이다.
도 2는 도 1에서 설명된 관상 동맥의 석회화를 설명하기 위한 도면이다.
도 3은 도 1의 영상 처리 장치의 예시적인 블록도이다.
도 4는 도 1 및 도 3의 영상 처리 장치에서 학습 또는 예측을 위한 복셀 추출을 설명하기 위한 도면이다.
도 5는 도 3의 학습기의 예시적인 블록도이다.
도 6은 도 5의 표현 벡터 생성기의 예시적인 계층 구조를 도시한 도면이다.
도 7은 도 3의 예측기의 예시적인 블록도이다.
아래에서는, 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로, 본 발명의 실시 예들이 명확하고 상세하게 기재된다.
도 1은 본 발명의 실시예에 따른 석회화 분석 시스템을 도시한 도면이다. 도 1을 참조하면, 석회화 분석 시스템(100)은 컴퓨터 단층 촬영(CT) 장치(110), 영상 처리 장치(120), 및 디스플레이 장치(130)를 포함한다. 도시된 바와 달리, 영상 처리 장치(120) 및 디스플레이 장치(130)는 컴퓨터 단층 촬영 장치(110)에 포함될 수도 있다.
석회화 분석 시스템(100)은 사용자의 심장 관상 동맥의 석회화를 판별하고 석회화 지수를 계산하기 위하여 사용될 수 있다. 다만, 이에 제한되지 않고, 석회화 분석 시스템(100)은 사용자의 다른 기관 등의 석회화를 판별하고, 석회화 지수를 계산하는데 사용될 수 있다. 나아가, 석회화 분석 시스템(100)은 컴퓨터 단층 촬영 영상으로 판독 가능한 사용자의 병변 등을 판별하는데 사용될 수도 있다.
컴퓨터 단층 촬영 장치(110)는 3차원 영상(CI), 즉 3차원 컴퓨터 단층 영상을 생성할 수 있다. 일레로, 컴퓨터 단층 촬영 장치(110)는 사용자와 같은 피사체에 엑스레이와 같은 광을 조사할 수 있다. 광은 사용자를 투사하며, 컴퓨터 단층 촬영 장치(110)는 투사된 광을 수용할 수 있다. 광원은 피사체의 주위를 회전하면서 광을 출력할 수 있다. 컴퓨터 단층 촬영 장치(110)는 다양한 방향에서 조사된 광을 수용함으로써, 3차원 영상(CI)이 생성될 수 있다. 3차원 영상(CI)은 영상 처리 장치(120)로 출력되고, 영상 데이터베이스(101)로 데이터베이스화될 수 있다. 영상 데이터베이스(101)는 영상 처리 장치(120)의 서버 또는 저장 매체, 또는 별도의 서버 또는 저장 매체에 데이터베이스화될 수 있다.
영상 처리 장치(120)는 3차원 영상(CI)을 분석하여 사용자의 석회화를 판단하고 석회화 지수를 계산할 수 있다. 영상 처리 장치(120)는 3차원 영상(CI)을 이용하여 학습 모델을 학습할 수 있다. 학습 모델은 3차원 영상(CI)을 통하여 석회화를 판단하고 석회화 지수를 계산하기 위하여 모델화된 구조일 수 있다. 학습 모델은 학습 모델 데이터베이스(102)로 데이터베이스화될 수 있다. 학습 모델 데이터베이스(102)는 영상 처리 장치(120)의 서버 또는 저장 매체, 또는 별도의 서버 또는 저장 매체에 데이터베이스화될 수 있다. 학습 모델은 사용자의 석회화를 판단에 사용될 수 있다.
3차원 영상(CI)은 복셀(voxel) 단위로 분석될 수 있다. 영상 처리 장치(120)는 타겟 복셀에 대한 석회화 판단을 위하여, 타겟 복셀 및 타겟 복셀과 이웃한 이웃 복셀들을 추출할 수 있다. 타겟 복셀은 3차원 영상(CI)에서 분석하고자 하는 대상으로, 3차원 영상(CI)의 복셀들 전체가 순차적으로 타겟 복셀로 설정될 수 있다. 이웃 복셀들은 3차원 공간에서, 타겟 복셀과 인접하게 배치되는 복셀들을 의미할 수 있다. 일례로, 육면체의 타겟 복셀을 둘러싸는 26개의 복셀들이 이웃 복셀들로 추출될 수 있다. 이웃 복셀들의 개수는 (2n+1)3-1개일 수 있고, n은 자연수이며 특정 방향으로 인접한 복셀들의 개수일 수 있다.
영상 처리 장치(120)는 타겟 복셀 및 이웃 복셀들 각각에 대한 뉴럴 네트워크 연산을 통하여 타겟 복셀 및 이웃 복셀들에 각각 대응되는 벡터들을 생성할 수 있다. 일례로, 뉴럴 네트워크 연산은 컨볼루션 뉴럴 네트워크(CNN) 레이어에 의하여 수행될 수 있다. 일례로, 뉴럴 네트워크 연산은 컨볼루션 뉴럴 네트워크(CNN) 레이어 및 확장된(dilated) CNN 레이어에 의하여 병렬로 수행되고 그 결과들이 병합될 수 있다.
영상 처리 장치(120)는 벡터들 사이의 상관 관계를 나타내는 파라미터 값들을 벡터들에 적용하여 벡터들 사이의 관계 가중치들을 생성할 수 있다. 학습 모델은 학습 모델 데이터베이스(102)에서 파라미터 값들로 관리될 수 있다. 영상 처리 장치(120)는 관계 가중치들을 벡터들에 적용하여 벡터들에 각각 대응되는 벡터 가중치들을 생성할 수 있다. 영상 처리 장치(120)는 벡터 가중치들을 벡터에 적용하여 타겟 복셀의 석회화 지수를 계산할 수 있다. 이러한 연산들은 이웃 집중(attention) 모델을 이용하여 수행되고, 이웃 집중 모델을 이용하여 관계 가중치들 및 벡터 가중치들이 생성될 수 있다.
학습 단계에서, 영상 처리 장치(120)는 타겟 복셀의 분석 결과, 즉 석회화 지수에 기초하여 파라미터 값들을 포함하는 파라미터 그룹을 조절할 수 있다. 일례로, 영상 처리 장치(120)는 타겟 복셀의 분석 결과가 미리 알고 있는 타겟 복셀의 결과로부터 기준 오차 이내일 때까지 파라미터 그룹을 조절할 수 있다. 조절된 파라미터 그룹은 학습 모델 데이터베이스(102)에 갱신될 수 있다.
예측 단계에서, 영상 처리 장치(120)는 타겟 복셀의 분석 결과, 즉 석회화 지수에 기초하여 사용자의 석회화를 판단할 수 있다. 일례로, 영상 처리 장치(120)는 3차원 영상(CI)의 복셀들 각각의 석회화 지수들을 종합하여 사용자의 최종 석회화 지수를 계산할 수 있다. 이와 같은 분석 결과들은 예측 결과 데이터베이스(103)로 데이터베이스화될 수 있다. 예측 결과 데이터베이스(103)는 영상 처리 장치(120)의 서버 또는 저장 매체, 또는 별도의 서버 또는 저장 매체에 데이터베이스화될 수 있다.
디스플레이 장치(130)는 영상 처리 장치(120)로부터 3차원 영상(CI)에 대응되는 표시 이미지(DI)를 수신할 수 있다. 영상 처리 장치(120)는 3차원 영상(CI)을 표시 가능한 영상으로 변환함으로써, 표시 이미지(DI)를 생성할 수 있다. 디스플레이 장치(130)는 CT 이미지뿐만 아니라, 사용자의 석회화 분석 결과와 관련된 이미지를 표시할 수 있다.
도 2는 도 1에서 설명된 관상 동맥의 석회화를 설명하기 위한 도면이다. 도 2는 도 1의 컴퓨터 단층 촬영 장치(110)에 의하여 획득된 심장 영역의 3차원 영상(CI)의 일부를 도시한 것으로 이해될 것이다. 관상 동맥의 석회화는 혈액 중의 칼슘이 심장의 관상 동맥에 침착하는 현상이다. 도 1의 영상 처리 장치(120)는 상술된 학습 모델에 기초하여, 복셀들 각각의 하운스필드 단위(Hounsfield Unit, HU)를 분석함으로써, 관상 동맥의 석회화 지수를 계산할 수 있다. 일반적으로, 130HU 이상의 복셀들이 석회화를 나타내는 복셀일 수 있다. 그러나, 도 2와 같이, 뼈 영상 등도 130HU 이상의 복셀들일 수 있다. 도 1의 석회화 분석 시스템(100)은 타겟 복셀과 이웃한 복셀들을 학습된 이웃 집중 모델에 적용함으로써, 별도의 탐색 과정 없이 혈관이라는 해부학적인 정보를 고려하여 관상 동맥의 석회화 지수를 계산할 수 있다. 따라서, 석회화 판별 및 석회화 지수의 정확성이 향상될 수 있다.
도 3은 도 1의 영상 처리 장치의 예시적인 블록도이다. 도 3을 참조하면, 영상 처리 장치(120)는 네트워크 인터페이스(121), 프로세서(122), 메모리(123), 스토리지(124), 및 버스(128)를 포함할 수 있다.
네트워크 인터페이스(121)는 도 1의 컴퓨터 단층 촬영 장치(100), 디스플레이 장치(130), 또는 외부 전자 장치 등과 통신하도록 구성된다. 네트워크 인터페이스(121)는 3차원 영상(CI) 등과 같이 영상 처리 장치(120)로 수신된 데이터를 버스(128)를 통하여 프로세서(122), 메모리(123) 또는 스토리지(124)에 제공할 수 있다.
프로세서(122)는 영상 처리 장치(120)의 중앙 처리 장치로의 기능을 수행할 수 있다. 프로세서(122)는 영상 처리 장치(120)의 데이터 관리, 학습, 및 예측을 위하여 요구되는 제어 동작 및 연산 동작을 수행할 수 있다. 예를 들어, 프로세서(122)의 제어에 따라, 네트워크 인터페이스(121)는 3차원 영상(CI)을 컴퓨터 단층 촬영 장치(110)로부터 수신할 수 있다. 프로세서(122)의 제어에 따라, 학습 모델의 파라미터 그룹이 조절될 수 있고, 학습 모델을 이용하여 석회화 지수와 같은 분석 결과가 계산될 수 있다. 프로세서(122)는 메모리(123)의 연산 공간을 활용하여 동작할 수 있고, 스토리지(124)로부터 운영체제를 구동하기 위한 파일들 및 어플리케이션의 실행 파일들을 읽을 수 있다. 프로세서(122)는 운영 체제 및 다양한 어플리케이션들을 실행할 수 있다.
메모리(123)는 프로세서(122)에 의하여 처리되거나 처리될 예정인 데이터 및 프로세스 코드들을 저장할 수 있다. 예를 들어, 메모리(123)는 처리를 위한 3차원 영상(CI), 3차원 영상(CI)을 관리하기 위한 정보들, 학습 모델의 파라미터 그룹을 생성하기 위한 정보들, 석회화 지수와 같은 분석 결과를 계산하기 위한 정보들, 및 학습 모델을 구축하기 위한 정보들을 저장할 수 있다. 메모리(123)는 영상 처리 장치(120)의 주기억 장치로 이용될 수 있다. 메모리(123)는 DRAM (Dynamic RAM), SRAM (Static RAM), PRAM (Phase-change RAM), MRAM (Magnetic RAM), FeRAM (Ferroelectric RAM), RRAM (Resistive RAM) 등을 포함할 수 있다.
복셀 추출기(125), 학습기(126), 및 예측기(127)는 메모리(123)에 로딩되어 실행될 수 있다. 복셀 추출기(125), 학습기(126), 및 예측기(127)는 메모리(123)의 연산 공간의 일부일 수 있다. 이 경우, 복셀 추출기(125), 학습기(126), 및 예측기(127)는 펌웨어 또는 소프트웨어로 구현될 수 있다. 예를 들어, 펌웨어는 스토리지(124)에 저장되고, 펌웨어를 실행 시에 메모리(123)에 로딩될 수 있다. 프로세서(122)는 메모리(123)에 로딩된 펌웨어를 실행할 수 있다. 다만, 이에 제한되지 않고, 복셀 추출기(125), 학습기(126), 및 예측기(127)는 FPGA(Field Programmable Gate Aray) 또는 ASIC(Application Specific Integrated Circuit)와 같은 전용 논리 회로 등의 하드웨어로 구현될 수 있다.
복셀 추출기(125)는 3차원 영상(CI)으로부터 타겟 복셀 및 타겟 복셀과 이웃한 이웃 복셀들을 추출할 수 있다. 추출된 타겟 복셀 및 이웃 복셀들은 입력 복셀 그룹으로 그룹화되어, 타겟 복셀의 분석 결과를 계산하는데 사용될 수 있다. 복셀 추출기(125)는 3차원 영상(CI)의 복셀들 각각을 순차적으로 타겟 복셀로 설정할 수 있다. 이웃 복셀들은 3차원 공간에서, 타겟 복셀과 인접하게 배치되는 복셀들일 수 있다. 타겟 복셀의 분석 결과를 계산하기 위하여, 타겟 복셀뿐만 아니라 이웃 복셀들을 함께 추출함으로써, 타겟 복셀에 대응되는 영역이 인체의 어떠한 기관인지 고려될 수 있다. 따라서, 관상 동맥의 석회화와 같은 분석 결과의 정확도가 향상될 수 있다.
학습기(126)는 입력 복셀 그룹을 이용하여 학습 모델을 훈련시켜 파라미터 그룹을 조절할 수 있다. 학습기(126)는 입력 복셀 그룹에 대한 CNN 연산 등을 통하여, 타겟 복셀 및 이웃 복셀들에 각각 대응되는 벡터들을 생성할 수 있다. 학습기(126)는 벡터들에 파라미터 그룹을 적용하여 벡터들 사이의 관계 가중치들을 생성할 수 있다. 학습기(126)는 벡터들에 관계 가중치들을 적용하여 벡터들에 각각 대응되는 벡터 가중치들을 생성할 수 있다. 학습기(126)는 벡터들에 벡터 가중치들을 적용하여 타겟 복셀의 석회화 지수와 관련된 분석 결과를 생성할 수 있다. 학습기(126)는 분석 결과가 기설정된 결과로부터 기준 오차 이내일 때까지 파라미터 그룹을 조절할 수 있다.
예측기(127)는 학습 모델을 이용하여 3차원 영상(CI)의 석회화 지수를 계산하고 관상 동맥의 석회화를 판단할 수 있다. 예측기(127)는 3차원 영상(CI)의 입력 복셀 그룹에 대한 CNN 연산 등을 통하여, 타겟 복셀 및 이웃 복셀들에 각각 대응되는 벡터들을 생성할 수 있다. 학습기(126)와 마찬가지로, 예측기(127)는 벡터들 및 파라미터 그룹에 기초하여, 관계 가중치들 및 벡터 가중치들을 생성하고, 타겟 복셀의 석회화 지수와 관련된 분석 결과를 생성할 수 있다. 예측기(127)는 3차원 영상(CI)의 복셀들 각각의 석회화 지수를 종합하여 최종 석회화 지수를 계산할 수 있고, 관상 동맥의 석회화를 판단할 수 있다.
스토리지(124)는 운영 체제 또는 어플리케이션들에 의해 장기적인 저장을 목적으로 생성되는 데이터, 운영 체제를 구동하기 위한 파일, 또는 어플리케이션들의 실행 파일 등을 저장할 수 있다. 예를 들어, 스토리지(124)는 복셀 추출기(125), 학습기(126), 및 예측기(127)의 실행을 위한 파일들을 저장할 수 있다. 스토리지(124)는 영상 처리 장치(120)의 보조 기억 장치로 이용될 수 있다. 스토리지(124)는 플래시 메모리, PRAM (Phase-change RAM), MRAM (Magnetic RAM), FeRAM (Ferroelectric RAM), RRAM (Resistive RAM) 등을 포함할 수 있다.
버스(128)는 영상 처리 장치(120)의 구성 요소들 사이에서 통신 경로를 제공할 수 있다. 네트워크 인터페이스(121), 프로세서(122), 메모리(123), 및 스토리지(124)는 버스(128)를 통해 서로 데이터를 교환할 수 있다. 버스(128)는 영상 처리 장치(120)에서 이용되는 다양한 유형의 통신 포맷을 지원하도록 구성될 수 있다.
도 4는 도 1 및 도 3의 영상 처리 장치에서 학습 또는 예측을 위한 복셀 추출을 설명하기 위한 도면이다. 도 4를 참조하면, 3차원 영상(CI)은 복수의 복셀들을 포함한다. 영상 처리 장치(120) 또는 도 3의 복셀 추출기(125)는 복셀들에서 타겟 복셀(TVX)을 설정하고, 타겟 복셀(TVX)의 이웃 복셀들(NVX)을 추출할 수 있다. 복셀 추출기(125)는 순차적으로 복셀들 각각을 타겟 복셀(TVX)로 설정할 수 있다. 설정된 타겟 복셀(TVX)이 변경됨에 따라, 이웃 복셀들(NVX)도 변경될 수 있다.
육면체로 표현되는 타겟 복셀(TVX)을 기준으로, 3차원 공간에서 타겟 복셀(TVX)을 둘러싸는 이웃한 복셀들이 이웃 복셀들(NVX)로 추출될 수 있다. 일례로, 도 4에 도시된 바와 같이, 타겟 복셀(TVX)을 둘러싸는 26개의 복셀들이 이웃 복셀들(NVX)로 추출될 수 있다. 다만, 이웃 복셀들(NVX)의 개수는 도 4에 제한되지 않는다. 도 4에서, 타겟 복셀(TVX)을 기준으로 하나의 복셀 거리를 갖는 복셀들이 이웃 복셀들(NVX)로 도시되었으나, 2개 이하의 복셀 거리를 갖는 복셀들이 이웃 복셀들(NVX)로 추출될 수 있다. 이 경우, 이웃 복셀들의 개수는 (2n+1)3-1 (n=2)인 124개일 수 있다.
추출된 타겟 복셀(TVX) 및 이웃 복셀들(NVX)은 학습 모델에 입력될 수 있도록 입력 복셀 그룹(IVX)으로 그룹화될 수 있다. 입력 복셀 그룹(IVX)은 학습 모델을 이용하여 타겟 복셀(TVX)의 석회화 지수를 판단하는데 사용될 수 있다. 타겟 복셀과 이웃한 복셀들을 학습 모델에 적용함으로써, 혈관이라는 해부학적인 정보를 고려하여 관상 동맥의 석회화 지수가 계산될 수 있다. 따라서, 석회화 판별 및 석회화 지수의 정확성이 향상될 수 있다.
도 5는 도 3의 학습기의 예시적인 블록도이다. 도 5의 학습기(126)는 도 4에서 설명된 입력 복셀 그룹(IVX)에 기초하여 학습 모델을 훈련시키고, 파라미터 그룹을 결정하는 예시적인 구성으로 이해될 것이다. 도 5를 참조하면, 학습기(126)는 표현 벡터 생성기(126_1), 가중치 생성기(126_2), 가중치 적용기(126_3), 결과 계산기(126_4), 및 가중치 제어기(126_5)를 포함할 수 있다. 상술한 바와 같이, 학습기(126)에 포함된 각 구성들은 하드웨어로 구현되거나, 펌웨어, 소프트웨어, 또는 이의 조합으로 구현될 수 있다.
표현 벡터 생성기(126_1)는 입력 복셀 그룹(IVX)에 대한 뉴럴 네트워크 연산을 통하여 표현 벡터(PV)를 생성할 수 있다. 표현 벡터(PV)는 타겟 복셀(TVX) 및 이웃 복셀들(NVX1, NVX2, ??, NVXn)에 각각 대응되는 복수의 벡터들(P0, P1, P2, ??, Pn)을 포함할 수 있다. 벡터들(P0~Pn) 각각은 대응되는 복셀의 석회화 여부를 나타내는 추상화된 요소로 이해될 것이다. 표현 벡터 생성기(126_1)는 영상 분석에 사용되는 컨볼루션 뉴럴 네트워크(CNN) 모델을 통하여 표현 벡터(PV)를 생성할 수 있다. 표현 벡터 생성기(126_1)는 CNN 모델의 가중치(Wc) 및 바이어스(bc)에 기초하여, 타겟 복셀(TVX) 및 이웃 복셀들(NVX1~NVXn) 각각에 대응되는 벡터들(P0~Pn)을 생성할 수 있다. 가중치(Wc) 및 바이어스(bc)는 상술된 파라미터 그룹에 포함될 수 있다.
표현 벡터 생성기(126_1)는 입력 복셀 그룹(IVX)을 분석하기 위하여, CNN 및 확장된(dilated) CNN을 병렬로 사용할 수 있다. 확장된 CNN은 필터(가중치)에 제로 패딩(zero padding)을 추가하여, 필터링 영역을 확장시키는 CNN일 수 있다. 확장된 CNN은 필터링 영역을 확장시켜 복셀들 각각의 글로벌한 특징을 분석할 수 있다. 즉, 표현 벡터 생성기(126_1)는 확장된 CNN을 통하여 복셀들 각각의 전체적인 특징을 분석하고, CNN을 통하여 보다 지엽적인 특징을 분석하고, 이러한 분석 결과들을 병합함으로써, 벡터들(P0~Pn) 각각의 효용성을 증가시킬 수 있다.
가중치 생성기(126_2)는 표현 벡터(PV)에 기초하여, 벡터 가중치 그룹(VW)을 생성할 수 있다. 벡터 가중치 그룹(VW)은 벡터들(P0~Pn)에 각각 대응되는 벡터 가중치들(B0, B1, B2, ??, Bn)을 포함할 수 있다. 벡터 가중치들(B0~Bn) 각각은 타겟 복셀(TVX)의 석회화 판단을 위하여, 분석될 벡터의 중요도를 나타내는 지표일 수 있다. 가중치 생성기(126_2)는 이웃 집중 매커니즘을 이용하여, 분석 결과가 특정 벡터에 주목하도록 벡터 가중치들(B0~Bn)을 생성할 수 있다. 가중치 생성기(126_2)는 이웃 집중 모델의 가중치(Wb) 및 바이어스(bb)에 기초하여 벡터 가중치 그룹(BW)을 생성할 수 있다. 가중치(Wb) 및 바이어스(bb)는 상술된 파라미터 그룹에 포함될 수 있다.
가중치 생성기(126_2)는 벡터 가중치 그룹(VW)을 생성하기 위한 관계 가중치들을 생성할 수 있다. 관계 가중치들은 벡터들 사이의 상관 관계, 연결 관계, 또는 중요도를 나타내는 지표일 수 있다. 관계 가중치들은 이웃 집중 모델의 가중치(Wb) 및 바이어스(bb)을 벡터들(P0~Pn)에 적용함으로써 생성될 수 있다. 예시적으로, 관계 가중치들(Bij)은 수학식 1에 의하여 생성될 수 있다.
Figure pat00001
Figure pat00002
수학식 1을 참조하면, 가중치 생성기(126_2)는 임의의 2개의 벡터들에 가중치(Wb) 및 바이어스(bb)를 적용하고, 적용 결과에 softmax 함수를 적용함으로써, 벡터들 사이의 관계 가중치들(Bij)을 생성할 수 있다.
가중치 생성기(126_2)는 벡터들(P0~Pn)에 관계 가중치들(Bij)을 적용하여, 벡터들(P0~Pn)에 각각 대응되는 벡터 가중치들(B0~Bn)을 생성할 수 있다. 예시적으로, 벡터 가중치들(B0~Bn, Bi)은 수학식 2에 의하여 생성될 수 있다.
Figure pat00003
수학식 2를 참조하면, 가중치 생성기(126_2)는 벡터들(P0~Pn) 각각에 관계 가중치들(Bij)을 곱하고 그 결과들을 더하여, 벡터들(P0~Pn)에 각각 대응되는 벡터 가중치들(B0~Bn, Bi)을 생성할 수 있다.
가중치 적용기(126_3)는 벡터들(P0~Pn)에 벡터 가중치들(B0~Bn)을 적용할 수 있다. 가중치 적용기(126_3)는 벡터들(P0~Pn) 각각에 대응되는 벡터 가중치를 벡터에 곱하여 적용 결과 그룹(CV)을 생성할 수 있다. 적용 결과 그룹(CV)은 타겟 복셀(TVX) 및 이웃 복셀들(NVX) 각각에 대응되는 중간 결과들(C0, C1, C2, ??, Cn)을 포함할 수 있다. 중간 결과들(C0~Cn) 각각은 벡터들(P0~Pn) 각각에 벡터 가중치들(B0~Bn) 각각을 곱한 결과일 수 있다.
결과 계산기(126_4)는 적용 결과 그룹(CV)에 기초하여, 타겟 복셀(TVX)의 석회화 지수를 계산할 수 있다. 결과 계산기(126_4)는 중간 결과들(C0, C1, C2, ??, Cn)을 합할 수 있다. 결과 계산기(126_4)는 뉴럴 네트워크를 통하여 합산 결과를 분석할 수 있다. 결과 계산기(126_4)는 가중치(Wr) 및 바이어스(br)에 기초하여 합산 결과를 분석하고, 타겟 복셀(TVX)의 석회화 지수를 계산할 수 있다. 일례로, 결과 계산기(126_4)는 합산 결과를 조정하고, 바이어스(br)를 더한 후 tanh 함수에 그 결과를 적용하고, 가중치(Wr)를 더 곱하여 타겟 복셀(TVX)의 분석 결과를 생성할 수 있다. 가중치(Wr) 및 바이어스(br)는 상술된 파라미터 그룹에 포함될 수 있다.
가중치 제어기(126_5)는 분석 결과 (타겟 복셀(TVX)의 석회화 지수)를 기설정된 결과와 비교하여 파라미터 그룹에 포함된 파라미터들(Wc, bc, Wb, bb, Wr, br)을 조절할 수 있다. 기설정된 결과는 학습을 위하여, 3차원 영상에서 이미 알고 있는 석회화 지수일 수 있다. 가중치 제어기(126_5)는 분석 결과가 기설정된 결과에 도달하도록, 파라미터 그룹을 조절할수 있다. 조절된 파라미터 그룹에 기초하여, 입력 복셀 그룹(IVX)은 반복적으로 분석될 수 있다. 조절된 파라미터 그룹은 도 1의 학습 모델 데이터베이스(102)에 업데이트될 수 있다.
도 6은 도 5의 표현 벡터 생성기의 예시적인 계층 구조를 도시한 도면이다. 도 6은 표현 벡터 생성기(126_1)의 뉴럴 네트워크 구조를 예시적으로 도시한다. 이러한 뉴럴 네트워크 구조는 상술된 학습 모델의 적어도 일부일 수 있다. 도 6을 참조하면, 표현 벡터 생성기(126_1)는 컨볼루션 뉴럴 네트워크(CNN) 레이어(CL) 확장된 CNN 레이어(DCL), 및 병합기(MG)를 포함할 수 있다.
CNN 레이어(CL)는 타겟 복셀(TVX) 및 이웃 복셀들(NVX1~NVXn)을 포함하는 입력 복셀 그룹(IVX)을 수신한다. CNN 레이어(CL)는 타겟 복셀(TVX) 및 이웃 복셀들(NVX1~NVXn) 각각의 벡터들(제1 벡터들)을 계산할 수 있다. CNN 레이어(CL)는 도 5에서 설명된 파라미터(Wc, bc)의 일부를 입력 복셀 그룹(IVX)에 적용함으로써, 제1 벡터들을 계산할 수 있다. CNN 레이어(CL)는 컨볼루션 뉴럴 네트워크 연산을 통하여, 제1 벡터들을 계산할 수 있다.
확장 CNN 레이어(DCL)는 CNN 레이어(CL)와 병렬로, 타겟 복셀(TVX) 및 이웃 복셀들(NVX1~NVXn)을 포함하는 입력 복셀 그룹(IVX)을 수신한다. 확장 CNN 레이어(DCL)는 타겟 복셀(TVX) 및 이웃 복셀들(NVX1~NVXn) 각각의 벡터들(제2 벡터들)을 계산할 수 있다. 확장 CNN 레이어(DCL)는 도 5에서 설명된 파라미터(Wc, bc)의 일부를 입력 복셀 그룹(IVX)에 적용함으로써, 제2 벡터들을 계산할 수 있다. 확장된 CNN은 필터(가중치)에 제로 패딩(zero padding)을 추가하여, 필터링 영역이 확장된 CNN일 수 있다. 따라서, 제2 벡터들은 복셀들 각각의 글로벌한 특징을 분석한 결과이고, 제1 벡터들은 복셀들 각각의 지엽적인 특징을 분석한 결과일 수 있다.
병합기(MG)는 제1 벡터들과 제2 벡터들을 병합하여, 표현 벡터(PV)를 생성할 수 있다. 표현 벡터(PV)는 타겟 복셀(TVX) 및 이웃 복셀들(NVX1~NVXn)에 각각 대응되는 복수의 벡터들(P0~Pn)을 포함할 수 있다. 제1 벡터들과 제2 벡터들의 병합을 통하여, 효용성이 증가된 벡터들(P0~Pn)이 생성될 수 있다.
도 7은 도 3의 예측기의 예시적인 블록도이다. 도 7의 예측기(127)는 도 4에서 설명된 입력 복셀 그룹(IVX)을 학습 모델에 적용하여 석회화 지수와 같은 분석 결과를 생성하는 예시적인 구성으로 이해될 것이다. 도 7을 참조하면, 예측기(127)는 표현 벡터 생성기(127_1), 가중치 생성기(127_2), 가중치 적용기(127_3), 및 결과 계산기(127_4)를 포함할 수 있다. 상술한 바와 같이, 예측기(127)에 포함된 각 구성들은 하드웨어로 구현되거나, 펌웨어, 소프트웨어, 또는 이의 조합으로 구현될 수 있다.
표현 벡터 생성기(127_1)는 입력 복셀 그룹(IVX)에 대한 뉴럴 네트워크 연산을 통하여 표현 벡터(PV)를 생성할 수 있다. 표현 벡터(PV)는 타겟 복셀(TVX) 및 이웃 복셀들(NVX1, NVX2, ??, NVXn)에 각각 대응되는 복수의 벡터들(P0, P1, P2, ??, Pn)을 포함할 수 있다. 표현 벡터 생성기(127_1)는 가중치(Wc) 및 바이어스(bc)에 기초하여, 타겟 복셀(TVX) 및 이웃 복셀들(NVX1~NVXn) 각각에 대응되는 벡터들(P0~Pn)을 생성할 수 있다. 가중치(Wc) 및 바이어스(bc)는 학습 단계에서 조절된 파라미터 그룹의 일부일 수 있다.
가중치 생성기(127_2)는 표현 벡터(PV)에 기초하여, 벡터 가중치 그룹(VW)을 생성할 수 있다. 벡터 가중치 그룹(VW)은 벡터들(P0~Pn)에 각각 대응되는 벡터 가중치들(B0, B1, B2, ??, Bn)을 포함할 수 있다. 가중치 생성기(127_2)는 이웃 집중 매커니즘을 이용하여, 분석 결과가 특정 벡터에 주목하도록 벡터 가중치들(B0~Bn)을 생성할 수 있다. 가중치 생성기(127_2)는 이웃 집중 모델의 가중치(Wb) 및 바이어스(bb)에 기초하여 벡터 가중치 그룹(BW)을 생성할 수 있다. 가중치(Wb) 및 바이어스(bb)는 학습 단계에서 조절된 파라미터 그룹의 일부일 수 있다.
가중치 생성기(127_2)는 상술한 바와 같이, 벡터 가중치 그룹(VW)을 생성하기 위한 관계 가중치들을 생성할 수 있다. 그리고, 가중치 생성기(127_2)는 벡터들(P0~Pn)에 관계 가중치들을 적용하여, 벡터들(P0~Pn)에 각각 대응되는 벡터 가중치들(B0~Bn)을 생성할 수 있다. 이러한 과정은 도 5에서 설명된 가중치 생성기(126_2)의 벡터 가중치들(B0~Bn)의 생성 과정과 실질적으로 동일할 수 있다.
가중치 적용기(127_3)는 벡터들(P0~Pn)에 벡터 가중치들(B0~Bn)을 적용할 수 있다. 가중치 적용기(127_3)는 벡터들(P0~Pn) 각각에 대응되는 벡터 가중치를 벡터에 곱하여 적용 결과 그룹(CV)을 생성할 수 있다.
결과 계산기(127_4)는 적용 결과 그룹(CV)에 기초하여, 타겟 복셀(TVX)의 석회화 지수와 관련된 분석 결과(RD)를 생설할 수 있다. 결과 계산기(127_4)는 가중치(Wr) 및 바이어스(br)에 기초하여 적용 결과 그룹(CV)을 분석하고, 타겟 복셀(TVX)의 석회화 지수를 계산할 수 있다. 가중치(Wr) 및 바이어스(br)는 학습 단계에서 조절된 파라미터 그룹의 일부일 수 있다. 결과 계산기(127_4)는 복셀들 각각에 대한 분석 결과(RD)를 종합하여 3차원 영상의 최종 석회화 지수를 계산하고, 관상 동맥의 석화회를 판단할 수 있다.
위에서 설명한 내용은 본 발명을 실시하기 위한 구체적인 예들이다. 본 발명에는 위에서 설명한 실시 예들뿐만 아니라, 단순하게 설계 변경하거나 용이하게 변경할 수 있는 실시 예들도 포함될 것이다. 또한, 본 발명에는 상술한 실시 예들을 이용하여 앞으로 용이하게 변형하여 실시할 수 있는 기술들도 포함될 것이다.
100: 석회화 분석 시스템 110: 컴퓨터 단층 촬영 장치
120: 영상 처리 장치 125: 복셀 추출기
126: 학습기 127: 예측기

Claims (20)

  1. 3차원 영상으로부터 타겟 복셀 및 상기 타겟 복셀과 이웃한 이웃 복셀들을 추출하는 복셀 추출기; 및
    상기 타겟 복셀 및 상기 이웃 복셀들에 각각 대응되는 벡터들을 생성하고, 상기 벡터들 및 파라미터 그룹에 기초하여 상기 벡터들에 각각 대응되는 벡터 가중치들을 생성하고, 상기 벡터들에 상기 벡터 가중치들을 적용함으로써 생성된 상기 타겟 복셀의 분석 결과에 기초하여 상기 파라미터 그룹을 조절하는 학습기를 포함하는 영상 처리 장치.
  2. 제1 항에 있어서,
    상기 이웃 복셀들의 개수는 자연수 n에 대하여, (2n+1)3-1개인 영상 처리 장치.
  3. 제1 항에 있어서,
    상기 학습기는, 상기 벡터들에 상기 파라미터 그룹을 적용하여 상기 벡터들 사이의 관계 가중치들을 생성하고, 상기 벡터들에 상기 관계 가중치들을 적용하여 상기 벡터 가중치들을 생성하는 영상 처리 장치.
  4. 제3 항에 있어서,
    상기 학습기는, 상기 벡터들에 상기 관계 가중치들 중 타겟 벡터와 상기 벡터들 사이의 관계 가중치들을 적용하여, 상기 타겟 벡터에 대응되는 벡터 가중치를 생성하는 영상 처리 장치.
  5. 제1 항에 있어서,
    상기 학습기는, 상기 타겟 복셀 및 상기 이웃 복셀들 각각에 대한 컨볼루션 뉴럴 네트워크 연산을 통하여 상기 벡터들을 생성하는 영상 처리 장치.
  6. 제1 항에 있어서,
    상기 학습기는, 상기 타겟 복셀 및 상기 이웃 복셀들 각각에 대한 컨볼루션 뉴럴 네트워크 연산의 결과 및 확장된(dilated) 컨볼루션 뉴럴 네트워크 연산의 결과를 병합하여 상기 벡터들을 생성하는 영상 처리 장치.
  7. 제1 항에 있어서,
    상기 학습기는, 상기 분석 결과가 기설정된 결과로부터 기준 오차 이내일 때까지 상기 파라미터 그룹을 조절하는 영상 처리 장치.
  8. 제1 항에 있어서,
    상기 3차원 영상은 컴퓨터 단층 촬영 영상이고, 상기 분석 결과는 석회화 지수인 영상 처리 장치.
  9. 3차원 영상으로부터 타겟 복셀 및 상기 타겟 복셀과 이웃한 이웃 복셀들을 추출하는 복셀 추출기; 및
    상기 타겟 복셀 및 상기 이웃 복셀들에 각각 대응되는 벡터들을 생성하고, 상기 벡터들에 파라미터 그룹을 적용하여 상기 벡터들 사이의 관계 가중치들을 생성하고, 상기 벡터들에 상기 관계 가중치들을 적용하여 상기 벡터들에 각각 대응되는 벡터 가중치들을 생성하고, 상기 벡터들에 상기 벡터 가중치들을 적용하여 상기 타겟 복셀의 분석 결과를 생성하는 예측기를 포함하는 영상 처리 장치.
  10. 제9 항에 있어서,
    상기 이웃 복셀들의 개수는 자연수 n에 대하여, (2n+1)3-1개인 영상 처리 장치.
  11. 제9 항에 있어서,
    상기 예측기는, 상기 벡터들 중 타겟 복셀에 대응되는 타겟 벡터, 상기 벡터들, 및 상기 파라미터 그룹에 기초하여, 상기 타겟 벡터와 상기 벡터들 사이의 타겟 관계 가중치들을 생성하는 영상 처리 장치.
  12. 제11 항에 있어서,
    상기 예측기는, 상기 벡터들 각각에 상기 타겟 관계 가중치들 각각을 곱한 값들을 합하여, 상기 타겟 벡터에 대응되는 벡터 가중치를 생성하는 영상 처리 장치.
  13. 제9 항에 있어서,
    상기 파라미터 그룹은, 상기 벡터들 각각에 대한 상기 벡터들의 상관 관계에 따른 파라미터 값들을 포함하는 영상 처리 장치.
  14. 제9 항에 있어서,
    상기 복셀 추출기는, 상기 3차원 영상에 포함된 복수의 복셀들 각각을 상기 타겟 복셀로 설정하고, 상기 설정된 타겟 복셀을 기준으로 상기 이웃 복셀들을 추출하는 영상 처리 장치.
  15. 제14 항에 있어서,
    상기 예측기는, 상기 복셀들 각각의 분석 결과들에 기초하여, 상기 3차원 영상의 석회화 지수를 계산하는 영상 처리 장치.
  16. 3차원 컴퓨터 단층 영상을 생성하는 컴퓨터 단층 촬영 장치; 및
    상기 3차원 컴퓨터 단층 영상으로부터 타겟 복셀 및 상기 타겟 복셀과 이웃한 이웃 복셀들을 추출하고, 상기 타겟 복셀 및 상기 이웃 복셀들에 각각 대응되는 벡터들을 생성하고, 상기 벡터들 사이의 상관 관계에 기초하여 상기 벡터들에 각각 대응되는 벡터 가중치들을 생성하고, 상기 벡터들에 상기 벡터 가중치들을 적용하여 상기 타겟 복셀의 석회화 지수를 계산하는 영상 처리 장치를 포함하는 석회화 분석 시스템.
  17. 제16 항에 있어서,
    상기 영상 처리 장치는,
    상기 벡터들에 파라미터 그룹을 적용하여 상기 벡터들 사이의 관계 가중치들을 생성하고, 상기 벡터들에 상기 관계 가중치들을 적용하여 상기 벡터 가중치들을 생성하고, 상기 석회화 지수에 기초하여 상기 파라미터 그룹을 조절하는 학습기를 포함하는 석회화 분석 시스템.
  18. 제17 항에 있어서,
    상기 학습기는, 상기 석회화 지수가 기설정된 지수로부터 기준 오차 이내일 때까지 상기 파라미터 그룹을 조절하고,
    상기 조절된 파라미터 그룹은 학습 모델 데이터베이스에 저장되는 석회화 분석 시스템.
  19. 제16 항에 있어서,
    상기 영상 처리 장치는,
    학습 모델 데이터베이스로부터 제공된 파라미터 그룹을 상기 벡터들에 적용하여 상기 벡터들 사이의 관계 가중치들을 생성하고, 상기 벡터들에 상기 관계 가중치들을 적용하여 상기 벡터 가중치들을 생성하고, 상기 벡터들에 상기 벡터 가중치들을 적용하여 상기 타겟 복셀의 상기 석회화 지수를 계산하는 예측기를 포함하는 석회화 분석 시스템.
  20. 제19 항에 있어서,
    상기 영상 처리 장치는,
    상기 3차원 영상에 포함된 복수의 복셀들 각각을 상기 타겟 복셀로 설정하고, 상기 설정된 타겟 복셀을 기준으로 상기 이웃 복셀들을 추출하는 상기 복셀 추출기를 더 포함하고,
    상기 예측기는 상기 복셀들 각각의 분석 결과들에 기초하여, 상기 3차원 영상의 석회화 지수를 계산하는 석회화 분석 시스템.

KR1020190163934A 2019-12-10 2019-12-10 영상 처리 장치 및 이를 포함하는 석회화 분석 시스템 KR20210073282A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190163934A KR20210073282A (ko) 2019-12-10 2019-12-10 영상 처리 장치 및 이를 포함하는 석회화 분석 시스템
US16/950,573 US11669961B2 (en) 2019-12-10 2020-11-17 Image processing device and calcification analysis system including the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190163934A KR20210073282A (ko) 2019-12-10 2019-12-10 영상 처리 장치 및 이를 포함하는 석회화 분석 시스템

Publications (1)

Publication Number Publication Date
KR20210073282A true KR20210073282A (ko) 2021-06-18

Family

ID=76210640

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190163934A KR20210073282A (ko) 2019-12-10 2019-12-10 영상 처리 장치 및 이를 포함하는 석회화 분석 시스템

Country Status (2)

Country Link
US (1) US11669961B2 (ko)
KR (1) KR20210073282A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023132523A1 (ko) * 2022-01-10 2023-07-13 주식회사 온택트헬스 인공지능 모델에 기반하여 석회화에 대한 진단을 보조하기 위한 방법 및 장치

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208558B2 (en) * 1999-08-11 2015-12-08 Osteoplastics Llc Methods and systems for producing an implant
US7885442B2 (en) * 2004-05-14 2011-02-08 The General Hospital Corporation Perfusion weighted MRI with local arterial input functions
EP1880364A1 (en) 2005-05-12 2008-01-23 Bracco Imaging S.P.A. Method for coding pixels or voxels of a digital image and a method for processing digital images
US20090080740A1 (en) * 2007-09-11 2009-03-26 Siemens Medical Solutions Usa, Inc. Automatic Lesion Detection and Characterization Using Generative Model of Enhancement Dynamics in Breast MR
DE102009053471B4 (de) * 2009-11-16 2018-08-02 Siemens Healthcare Gmbh Verfahren und Vorrichtung zur Identifizierung und Zuordnung von Koronarkalk zu einem Herzkranzgefäß sowie Computerprogrammprodukt
CN102762978A (zh) 2009-11-17 2012-10-31 薇拉莱特公司 用于检测冠状动脉钙化或疾病的方法和装置
WO2015112804A1 (en) * 2014-01-23 2015-07-30 The General Hospital Corporation System and method for generating magnetic resonance imaging (mri) images using structures of the images
CO7020178A1 (es) * 2014-05-14 2014-08-11 Leon Ricardo Antonio Mendoza Método para la segmentación y cuantificación automática de tejidos corporales
US9792703B2 (en) * 2015-07-06 2017-10-17 Siemens Healthcare Gmbh Generating a synthetic two-dimensional mammogram
KR102527017B1 (ko) 2017-01-23 2023-05-02 한국전자통신연구원 평면 보간 기반 2차원 의료 영상을 생성하는 방법 및 장치
US10580131B2 (en) 2017-02-23 2020-03-03 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
EP3462412B1 (de) * 2017-09-28 2019-10-30 Siemens Healthcare GmbH Bestimmen eines zweidimensionalen mammographiedatensatzes
US20190164037A1 (en) 2017-11-29 2019-05-30 Electronics And Telecommunications Research Institute Apparatus for processing convolutional neural network using systolic array and method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023132523A1 (ko) * 2022-01-10 2023-07-13 주식회사 온택트헬스 인공지능 모델에 기반하여 석회화에 대한 진단을 보조하기 위한 방법 및 장치

Also Published As

Publication number Publication date
US11669961B2 (en) 2023-06-06
US20210174498A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
JP6878509B2 (ja) データ及びモデルを用いた画像再構成ならびに補正のためのシステム及び方法
JP6876204B2 (ja) 深層学習を用いたアトラスベースセグメンテーション
US11948695B2 (en) Systems and methods for identifying and modeling unresolved vessels in image-based patient-specific hemodynamic models
EP3117771B1 (en) Direct computation of image-derived biomarkers
RU2413995C2 (ru) Способ улучшения последующей обработки изображений с использованием деформируемых сеток
CN106037710A (zh) 在医学成像中合成数据驱动的血液动力学测定
Lin et al. Artificial intelligence in cardiovascular CT: Current status and future implications
He et al. Automatic segmentation and quantification of epicardial adipose tissue from coronary computed tomography angiography
CN110546685B (zh) 图像分割和分割预测
CN106062782A (zh) 针对基于图集的配准的无监督的训练
US20240221156A1 (en) Methods and systems for determining hemodynamic parameters
Tiago et al. A data augmentation pipeline to generate synthetic labeled datasets of 3D echocardiography images using a GAN
US20240029868A1 (en) Ai-based analysis of coronary angiograms
Badano et al. Artificial intelligence and cardiovascular imaging: A win-win combination.
US12100502B2 (en) Multi-view matching across coronary angiogram images
Bratt et al. Deep learning improves the temporal reproducibility of aortic measurement
US11669961B2 (en) Image processing device and calcification analysis system including the same
Kumar et al. Grey Wolf optimized SwinUNet based transformer framework for liver segmentation from CT images
AU2019204365C1 (en) Method and System for Image Segmentation and Identification
Zifan et al. Patient‐Specific Computational Models of Coronary Arteries Using Monoplane X‐Ray Angiograms
US12062168B2 (en) Real-time estimation of local cardiac tissue properties and uncertainties based on imaging and electro-anatomical maps
US11678853B2 (en) Multi-task learning framework for fully automated assessment of coronary artery disease
US20220151567A1 (en) Joint assessment of myocardial strain and intracardiac blood flow
Bertrand et al. Deep learning-based emulation of human cardiac activation sequences
Benjamins et al. Hybrid cardiac imaging: the role of machine learning and artificial intelligence

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application
E90F Notification of reason for final refusal
X701 Decision to grant (after re-examination)