KR102532851B1 - Pet image analyzing apparatus based on time series for determining brain disease, and method thereof - Google Patents

Pet image analyzing apparatus based on time series for determining brain disease, and method thereof Download PDF

Info

Publication number
KR102532851B1
KR102532851B1 KR1020210010683A KR20210010683A KR102532851B1 KR 102532851 B1 KR102532851 B1 KR 102532851B1 KR 1020210010683 A KR1020210010683 A KR 1020210010683A KR 20210010683 A KR20210010683 A KR 20210010683A KR 102532851 B1 KR102532851 B1 KR 102532851B1
Authority
KR
South Korea
Prior art keywords
value
time
input
predetermined
time point
Prior art date
Application number
KR1020210010683A
Other languages
Korean (ko)
Other versions
KR20220108272A (en
Inventor
강도영
강현
Original Assignee
동아대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동아대학교 산학협력단 filed Critical 동아대학교 산학협력단
Priority to KR1020210010683A priority Critical patent/KR102532851B1/en
Publication of KR20220108272A publication Critical patent/KR20220108272A/en
Application granted granted Critical
Publication of KR102532851B1 publication Critical patent/KR102532851B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • A61B6/037Emission tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • A61B6/501Clinical applications involving diagnosis of head, e.g. neuroimaging, craniography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Abstract

본 발명은 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치 및 그 방법에 관한 것으로서, 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영하는 PET 기법에 따라 소정 시간 동안 상기 단층 촬영을 수행함에 따라 연속적으로 촬영된 복수 개의 단층 촬영 이미지로 구성되는 PET 영상을 획득하는 이미지 획득부와, 상기 복수 개의 단층 촬영 이미지가 각각 획득된 시간정보와 상기 단층 촬영 이미지에 대한 영역별 픽셀 조합에 대응하는 스코어값에 기초한 소정의 이미지 벡터를 생성하는 시계열 벡터 생성 모듈과, 적어도 하나 이상의 상기 이미지 벡터를 상기 시계열 정보에 기초하여 순차적으로 하나씩 입력받아 입력 시점별로 구분하여 저장하는 복수 개의 입력층을 포함하는 입력 레이어부와, 각각의 상기 입력 시점에 대응하는 상기 입력층의 입력값에 기초한 소정의 상태값을 생성하되, 현재 시점에 대응하는 상기 입력층의 입력값과 상기 현재 시점의 바로 이전 시점에 대응하여 생성된 상기 상태값에 기초하여 상기 현재 시점에 대한 상태값을 생성하는 복수 개의 은닉층을 포함하는 은닉 레이어부와, 상기 입력 시점이 마지막인 상기 입력층에 대응되는 상기 은닉층의 상태값에 기초하여 상기 현재 시점의 바로 이후 시점에 대한 소정의 출력값을 생성하는 출력 레이어부와, 상기 출력값에 기초하여 기설정된 복수 개의 클래스 중 적어도 하나의 클래스에 대응되는 확률값을 산출하는 확률 산출부를 포함하는 것을 특징으로 한다.
이에 따라, 시간의 흐름에 따른 시계열 데이터 분석에 의해 짧은 시간 동안 촬영된 PET 영상만으로 종래의 PET 영상 전체를 이용한 치매 여부 판단에 버금가는 높은 정확도 및 민감도의 예측 결과를 도출할 수 있는 효과가 있다.
The present invention relates to a time-series-based PET image analysis device and method for determining brain disease, wherein the tomography is performed for a predetermined time according to a PET technique for taking tomography of the brain of a subject to whom an amyloid agent is administered, so that continuous tomography is performed. An image acquisition unit that acquires a PET image composed of a plurality of tomography images captured by , and time information obtained from each of the plurality of tomography images and a score value corresponding to a pixel combination for each region of the tomography image An input layer unit including a time-series vector generation module for generating a predetermined image vector based on the time-series vector, and a plurality of input layers for receiving at least one image vector sequentially one by one based on the time-series information and classifying and storing the image vectors according to input time points; , A predetermined state value is generated based on the input value of the input layer corresponding to each input time point, and the generated state value corresponds to the input value of the input layer corresponding to the current time point and a time point immediately before the current time point. A hidden layer unit including a plurality of hidden layers generating state values for the current time point based on state values, and a state value of the hidden layer corresponding to the input layer having the last input time point, It is characterized in that it includes an output layer unit generating a predetermined output value for an immediately subsequent time point, and a probability calculation unit calculating a probability value corresponding to at least one class among a plurality of preset classes based on the output value.
Accordingly, there is an effect of deriving prediction results with high accuracy and sensitivity comparable to dementia determination using the entire PET image using only PET images captured for a short period of time by analyzing time-series data over time.

Description

뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치 및 그 방법{PET IMAGE ANALYZING APPARATUS BASED ON TIME SERIES FOR DETERMINING BRAIN DISEASE, AND METHOD THEREOF}Time-series-based PET image analysis device and method for determining brain disease

본 발명은 시간의 흐름에 따른 시계열 데이터를 이용해 과거 정보에 기초한 가까운 미래 정보를 예측하는 신경망 모듈을 적용하여 아밀로이드 제재의 반응 정도에 대한 예측 데이터를 산출하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치 및 그 방법에 관한 것이다.The present invention applies a neural network module that predicts near-future information based on past information using time-series data over time to calculate predictive data on the degree of response to an amyloid agent, time-series-based PET image analysis for brain disease determination device and its method.

퇴행성 뇌질환 중 특히 아밀로이드 양성 반응을 보이는 퇴행성 뇌질환은, 상태가 매우 악화되고 나서야 증상이 나타나고 그 증상 또한 정확한 판별이 불가능하여 조기에 발견하는 것이 어려운 실정이다.Among degenerative brain diseases, especially degenerative brain diseases that show a positive reaction to amyloid, symptoms appear only after the condition deteriorates, and the symptoms are also difficult to accurately determine, so it is difficult to detect them early.

아밀로이드 양성 반응을 보이는 퇴행성 뇌질환은 뇌세포의 손상으로 발생하는 대표적인 뇌질환으로 주로 노년기에 많이 생기며, 뇌세포는 다른 세포와는 달리 재생되지 않으므로 예방 또는 조기에 발견하여 치료하는 것이 가장 안전하고 효율적으로 치료할 수 있는 방법으로 알려져 있다.Amyloid-positive degenerative brain disease is a representative brain disease caused by damage to brain cells. It mainly occurs in old age. Unlike other cells, brain cells do not regenerate, so prevention or early detection and treatment is the safest and most efficient way. It is known as a way to treat.

최근에 이르러 초음파, CT 및 MRI 등 단층 촬영 장치와 같은 영상 의학적 검사 방법이 발달함에 따라 의학 영상의 분석 및 처리 기술에 의해 인체의 질환을 진단하는 장치의 중요성이 확대되고 있으며, 이에 따라 뇌를 단층 촬영한 이미지를 통해 치매를 일관적이고 정확한 진단을 할 필요가 있다.Recently, with the development of imaging medical examination methods such as tomography devices such as ultrasound, CT, and MRI, the importance of devices for diagnosing diseases of the human body through medical image analysis and processing technology has been expanded. It is necessary to make a consistent and accurate diagnosis of dementia through the captured images.

한편, 이러한 뇌 단층 촬영 이미지를 얻기 위한 검사법 중에서는 양전자를 방출하는 방사성 의약품을 체내에 투여하여 인체 내부의 여러 조직에서 일어나고 있는 생화학적, 생리적 대사의 활성 상태에 대한 정보를 획득하는 양전자 방출 단층(PET) 기법을 적용한 검사 방식이 현재 가장 널리 사용되고 있다.On the other hand, among the test methods for obtaining such a brain tomography image, positron emission tomography is obtained by administering radiopharmaceuticals that emit positrons into the body to obtain information on the active state of biochemical and physiological metabolism occurring in various tissues inside the human body ( PET) technique is the most widely used test method.

그러나, PET 검사를 수행하기 위해선 검사자에게 투여한 방사성 의약품이 체내에 흡수되는 시간, 예컨대, 평균적으로 1시간 정도의 시간 동안 미동 상태를 유지하면서 연속 촬영해야 하는데, 대부분의 환자의 경우엔 오랜 시간 동안의 촬영 자체에 대한 부담이 커서 검사를 진행하기 어려운 문제점이 있다.However, in order to perform a PET scan, continuous imaging is required while maintaining a fine motion state for the time during which the radiopharmaceutical administered to the examiner is absorbed into the body, for example, an average of about 1 hour. There is a problem in that it is difficult to proceed with the examination because the burden on the shooting itself is large.

KRKR 10-2016-005322010-2016-0053220 AA KRKR 10-217096810-2170968 B1B1

본 발명의 목적은 상기 문제점을 해결하기 위한 것으로서, 시간의 흐름에 따른 시계열 데이터를 이용해 과거 정보에 기초한 가까운 미래 정보를 예측하는 신경망 모듈을 적용하여 아밀로이드 제재의 반응 정도에 대한 예측 데이터를 산출하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치 및 그 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to solve the above problems, and by applying a neural network module that predicts near future information based on past information using time series data over time, the brain that calculates predictive data for the degree of response of an amyloid agent An object of the present invention is to provide a time series-based PET image analysis device and method for disease determination.

상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치는, 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영하는 PET 기법에 따라 소정 시간 동안 상기 단층 촬영을 수행함에 따라 연속적으로 촬영된 복수 개의 단층 촬영 이미지로 구성되는 PET 영상을 획득하는 이미지 획득부와, 상기 복수 개의 단층 촬영 이미지가 각각 획득된 시간정보에 대응하는 시계열 정보와 상기 단층 촬영 이미지에 대한 영역별 픽셀 조합에 대응하는 스코어값에 기초한 소정의 이미지 벡터를 생성하는 시계열 벡터 생성 모듈과, 적어도 하나 이상의 상기 이미지 벡터를 상기 시계열 정보에 기초하여 순차적으로 하나씩 입력받아 입력 시점별로 구분하여 저장하는 복수 개의 입력층을 포함하는 입력 레이어부와, 각각의 상기 입력 시점에 대응하는 상기 입력층의 입력값에 기초한 소정의 상태값을 생성하되, 현재 시점에 대응하는 상기 입력층의 입력값과 상기 현재 시점의 바로 이전 시점에 대응하여 생성된 상기 상태값에 기초하여 상기 현재 시점에 대한 상태값을 생성하는 복수 개의 은닉층을 포함하는 은닉 레이어부와, 상기 입력 시점이 마지막인 상기 입력층에 대응되는 상기 은닉층의 상태값에 기초하여 상기 현재 시점에 대한 소정의 출력값을 생성하는 출력 레이어부와, 상기 출력값에 기초하여 기설정된 복수 개의 클래스 중 적어도 하나의 클래스에 대응되는 확률값을 산출하는 확률 산출부를 포함하는 것을 특징으로 한다.Time-series-based PET image analysis device for determining brain disease according to an aspect of the present invention for achieving the above object is the tomography for a predetermined time according to the PET technique of tomographically imaging the brain of a subject to whom an amyloid agent is administered. An image acquisition unit that acquires a PET image composed of a plurality of tomography images taken consecutively as imaging is performed, and time series information corresponding to time information obtained from each of the plurality of tomography images and the tomography image A time-series vector generation module that generates a predetermined image vector based on a score value corresponding to a pixel combination for each region for each region, and sequentially receives at least one image vector based on the time-series information and stores the image vectors separately for each input time point. An input layer unit including a plurality of input layers, and a predetermined state value based on an input value of the input layer corresponding to each input time point is generated, and the input value of the input layer corresponding to the current time point and the current A hidden layer unit including a plurality of hidden layers for generating a state value for the current time point based on the state value generated corresponding to a time point immediately before the point of view, and the input layer corresponding to the input layer having the last input time point An output layer unit generating a predetermined output value for the current time point based on the state value of the hidden layer, and a probability calculation unit calculating a probability value corresponding to at least one class among a plurality of preset classes based on the output value characterized by

또한, 상기와 같은 목적을 달성하기 위한 본 발명의 다른 일면에 따른 시계열 기반의 PET 영상 분석 방법은, 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영하는 PET 기법에 따라 소정 시간 동안 상기 단층 촬영을 수행함에 따라 연속적으로 촬영된 복수 개의 단층 촬영 이미지로 구성되는 PET 영상을 획득하는 단계와, 상기 복수 개의 단층 촬영 이미지가 각각 획득된 시간정보에 대응하는 시계열 정보와 상기 단층 촬영 이미지에 대한 영역별 픽셀 조합에 대응하는 스코어값에 기초한 소정의 이미지 벡터를 생성하는 단계와, 적어도 하나 이상의 상기 이미지 벡터를 상기 시계열 정보에 기초하여 순차적으로 하나씩 입력받아 입력 시점별로 구분하여 복수 개의 입력값으로 저장하는 단계와, 각각의 상기 입력 시점에 대응하는 입력값에 기초한 소정의 상태값을 생성하되, 현재 시점에 대응하는 상기 입력값과 상기 현재 시점의 바로 이전 시점에 대응하여 생성된 상기 상태값에 기초하여 상기 현재 시점에 대한 상태값을 생성하는 단계와, 상기 입력 시점이 마지막인 상기 입력값에 대응되는 상기 상태값에 기초하여 상기 현재 시점에 대한 소정의 출력값을 생성하는 단계와, 상기 출력값에 기초하여 기설정된 복수 개의 클래스 중 적어도 하나의 클래스에 대응되는 확률값을 산출하는 단계를 포함하는 것을 특징으로 한다.In addition, a time-series-based PET image analysis method according to another aspect of the present invention for achieving the above object is a PET technique for taking tomography of the brain of a subject to whom an amyloid agent is administered, and the tomography is performed for a predetermined time. Acquiring a PET image composed of a plurality of tomography images sequentially taken as performed, time-series information corresponding to time information obtained from each of the plurality of tomography images, and pixels for each region of the tomography image generating a predetermined image vector based on a score value corresponding to the combination; receiving at least one image vector sequentially one by one based on the time-series information, classifying them according to input time points, and storing them as a plurality of input values; , Generates a predetermined state value based on an input value corresponding to each input time point, based on the input value corresponding to the current time point and the state value generated corresponding to a time point immediately before the current time point. generating a state value for a point in time; generating a predetermined output value for the current point in time based on the state value corresponding to the input value at which the input point in time is the last; and based on the output value, a predetermined output value It is characterized in that it includes calculating a probability value corresponding to at least one class among a plurality of classes.

본 발명에 따르면, 시간의 흐름에 따른 시계열 데이터 분석에 의해 초기 구간에 대응하는 짧은 시간 동안 촬영된 PET 영상만으로도 종래의 PET 영상 전체를 이용한 치매 여부 판단에 버금가는 높은 정확도 및 민감도의 예측 결과를 도출할 수 있다.According to the present invention, by analyzing time-series data over time, only PET images taken for a short time corresponding to the initial section derive predictive results with high accuracy and sensitivity comparable to dementia determination using the entire conventional PET image. can do.

또한, 본 발명에 따르면, 뇌질환 판단을 위한 PET 기법에 따른 전체 검사 시간을 단축할 수 있어 미동 상태로 연속 촬영해야 하는 검사자의 부담을 경감시킬 수 있는 효과가 있다.In addition, according to the present invention, the total examination time according to the PET technique for brain disease determination can be shortened, thereby reducing the burden on the examiner of continuous imaging in a fine motion state.

또한, 본 발명에 따르면, 초기 아밀로이드 영상에 대한 최적의 대사상태를 나타내는 최적구간을 사전에 설정하거나 직접 수동으로 영상 프레임 단위로 추출하는 종래 방법과 달리, 시계열적 데이터 분석에 의해 각 시점별 특징 벡터들로부터 최적구간에 대응하는 정보를 취합하여 획득함에 따라 빠른 시간 내에 높은 정확도의 예측 결과를 도출해낼 수 있는 효과가 있다.In addition, according to the present invention, unlike conventional methods in which an optimal section representing an optimal metabolic state for an initial amyloid image is previously set or manually extracted in image frame units, feature vectors for each time point are analyzed through time-sequential data analysis. By collecting and acquiring information corresponding to the optimal section from the fields, it is possible to derive highly accurate prediction results in a short time.

도 1은 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치의 구성을 개략적으로 나타낸 도면이고,
도 2는 도 1의 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치의 구성을 상세하게 나타낸 블록도이고,
도 3은 도 1의 순환 신경망 모듈의 일 실시예를 나타낸 도면이고,
도 4는 도 1의 순환 신경망 모듈의 다른 일 실시예를 나타낸 도면이고,
도 5는 도 1의 이미지 획득부를 통해 획득되는 PET 영상에 기초한 정상인과 알츠하이머병 환자 각각에 대한 결과 그래프의 일례를 나타낸 도면이고,
도 6은 도 2의 공간 정규화부에 공간 정규화된 볼륨 데이터의 일례를 나타낸 도면이고,
도 7은 도 2의 영역 검출부에 의해 검출되는 영역별 픽셀 조합의 일례를 나타낸 도면이고,
도 8은 정상인과 알츠하이머병 환자 각각에 대하여 도 2의 이미지 획득부에 의해 획득된 단층 촬영 이미지와 도 2의 이미지 전처리부에 의해 정규화된 이미지를 시간대별로 구분한 비교 데이터의 일례를 나타낸 도면이고,
도 9는 아밀로이드 반응에 따른 정상인과 알츠하이머병 환자 각각에 대하여 도 2의 출력 레이어부에 의해 생성된 출력값에 대한 특징 벡터의 분포 상태를 나타낸 그래프의 일례를 나타낸 도면이고,
도 10은 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 방법을 개략적으로 나타낸 순서도이고,
도 11은 도 10의 이미지 벡터 생성 단계를 더욱 상세히 나타낸 순서도이다.
1 is a diagram schematically showing the configuration of a time-series-based PET image analysis device for brain disease determination according to an embodiment of the present invention;
FIG. 2 is a block diagram showing in detail the configuration of a time-series-based PET image analysis device for brain disease determination according to an embodiment of the present invention of FIG. 1;
3 is a diagram showing an embodiment of the recurrent neural network module of FIG. 1;
4 is a diagram showing another embodiment of the recurrent neural network module of FIG. 1;
5 is a diagram showing an example of a result graph for each of a normal person and an Alzheimer's disease patient based on PET images acquired through the image acquisition unit of FIG. 1;
6 is a diagram showing an example of spatially normalized volume data in the spatial normalization unit of FIG. 2;
7 is a diagram showing an example of a pixel combination for each region detected by the region detection unit of FIG. 2;
FIG. 8 is a diagram showing an example of comparison data in which a tomographic image obtained by the image acquisition unit of FIG. 2 and a normalized image by the image preprocessing unit of FIG. 2 are classified by time period for a normal person and an Alzheimer's disease patient, respectively;
9 is a graph showing an example of a distribution state of feature vectors for output values generated by the output layer unit of FIG. 2 for each of a normal person and an Alzheimer's disease patient according to amyloid response;
10 is a flowchart schematically illustrating a time-series-based PET image analysis method for determining brain disease according to an embodiment of the present invention;
FIG. 11 is a flowchart illustrating the image vector generation step of FIG. 10 in more detail.

이상과 같은 본 발명에 대한 해결하려는 과제, 과제의 해결수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시예 및 도면에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예를 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.The specific details, including the problems to be solved, the solutions to the problems, and the effect of the invention for the present invention as described above are included in the embodiments and drawings to be described below. Advantages and features of the present invention, and methods of achieving them, will become clear with reference to the detailed description of the following embodiments taken in conjunction with the accompanying drawings. Like reference numbers designate like elements throughout the specification.

도 1은 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치의 구성을 개략적으로 나타낸 도면이고, 도 2는 도 1의 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치의 구성을 상세하게 나타낸 블록도이고, 도 3은 도 1의 순환 신경망 모듈의 일 실시예를 나타낸 도면이고, 도 4는 도 1의 순환 신경망 모듈의 다른 일 실시예를 나타낸 도면이고, 도 5는 도 1의 이미지 획득부를 통해 획득되는 PET 영상에 기초한 정상인과 알츠하이머병 환자 각각에 대한 결과 그래프의 일례를 나타낸 도면이고, 도 6은 도 2의 공간 정규화부에 공간 정규화된 볼륨 데이터의 일례를 나타낸 도면이고, 도 7은 도 2의 영역 검출부에 의해 검출되는 영역별 픽셀 조합의 일례를 나타낸 도면이다.1 is a diagram schematically showing the configuration of a time-series-based PET image analysis device for determining brain disease according to an embodiment of the present invention, and FIG. 2 is a view showing brain disease determination according to an embodiment of the present invention in FIG. FIG. 3 is a diagram showing an embodiment of the recurrent neural network module of FIG. 1, and FIG. 4 is another embodiment of the recurrent neural network module of FIG. 1. FIG. 5 is a diagram showing an example of a result graph for each of a normal person and an Alzheimer's disease patient based on a PET image acquired through the image acquisition unit of FIG. 1 , and FIG. FIG. 7 is a diagram showing an example of a pixel combination for each region detected by the region detection unit of FIG. 2 .

이하, 전술한 도면들을 참조하여 본 발명의 바람직한 실시예에 따른 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치에 대해 설명하도록 한다.Hereinafter, a time-series-based PET image analysis device for brain disease determination according to a preferred embodiment of the present invention will be described with reference to the above-described drawings.

도 1 및 도 2를 참조하면, 본 발명에 따른 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치는 크게 이미지 획득부(100), 시계열 벡터 생성 모듈(200), 순환 신경망 모듈 및 확률 산출부(400)를 포함하여 구성된다.1 and 2, the time-series-based PET image analysis device for brain disease determination according to the present invention largely includes an image acquisition unit 100, a time-series vector generation module 200, a recurrent neural network module, and a probability calculation unit ( 400).

이미지 획득부(100)는 진단 대상자의 뇌를 단층 촬영함에 따른 복수 개의 단층 촬영 이미지(I0)를 획득하는 역할을 한다.The image acquisition unit 100 serves to acquire a plurality of tomographic images I 0 according to tomography of the brain of a subject to be diagnosed.

여기서, 이미지 획득부(100)는 아밀로이드 PET 방사성 추적자(Amyloid PET Radiotracer)가 포함된 방사성 화합물에 기초한 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영하는 PET(Position Emission Tomography, 양전자 방출 단층 촬영) 기법에 따라 소정 시간 동안 상기 단층 촬영을 수행함에 따라 연속적으로 촬영된 복수 개의 단층 촬영 이미지(I0)로 구성되는 PET 영상을 획득할 수 있다.Here, the image acquisition unit 100 is a position emission tomography (PET) technique of tomographically imaging the brain of a diagnosis subject to whom an amyloid agent based on a radioactive compound containing an amyloid PET radiotracer has been administered. According to this, as the tomography is performed for a predetermined time, a PET image composed of a plurality of tomography images (I 0 ) continuously photographed may be obtained.

이러한 단층 촬영 이미지(I0)는 뇌 영역에 해당하는 부분을 경계로 하여 테두리가 형성되어 표시되며, 소정의 뇌 영역에 병이 존재하는 경우엔 해당 뇌 영역에 속하는 세포 또는 조직 부분의 픽셀이 아밀로이드의 침착(Brain Amyloid Plague Load)에 의한 양성 반응으로서 검은색 부분에 대비되는 회색 또는 하얀색으로 나타나는 픽셀 부분의 색상, 즉, 하얀색에 가까운 색상을 가지는 것일 수 있다.Such a tomography image (I 0 ) is displayed with a border formed around a portion corresponding to a brain region as a boundary, and when a disease exists in a predetermined brain region, pixels of a cell or tissue portion belonging to the corresponding brain region are amyloid As a positive reaction by the deposition of (Brain Amyloid Plague Load), it may have a color of a pixel part appearing gray or white in contrast to a black part, that is, a color close to white.

이때, 상기 PET 영상은 소정의 방사성의약품이 투여된 진단 대상자의 뇌 영역에서의 시간에 따른 상기 방사성의약품의 집적 및 제거율을 통해 대사량 또는 특정 물질의 절대값을 측정하기 위한 것으로서, 일반적으로 뇌 질환 여부를 판단하기 위해선 상기 방사성의약품의 주사 직후부터 상기 방사성의약품이 제거되는 시점까지인 체내 흡수 시간에 기초하여 평균적으로 약 60분 내지 90분 정도의 연속 촬영을 통한 동적 이미지(dynamic image) 형태로 획득해야만 하는 전제조건이 요구된다.At this time, the PET image is for measuring the metabolic amount or the absolute value of a specific substance through the accumulation and removal rate of the radiopharmaceutical over time in the brain region of the subject to whom the radiopharmaceutical was administered, and is generally brain disease. In order to determine, on average, based on the absorption time in the body, which is from immediately after the injection of the radiopharmaceutical to the point at which the radiopharmaceutical is removed, a dynamic image must be acquired through continuous shooting for about 60 to 90 minutes. prerequisites are required.

이와 관련하여, 도 5에 도시된 바와 같이 일반적으로 상기 방사성의약품의 주사 직후부터 소정의 제1 시점까지의 초기 구간(eFBB; early phase FBB), 예컨대, 상기 주사 이후부터 20분까지의 구간에 대한 상기 PET 영상에 기초한 결과 데이터(51)는 혈액 관류 정보를 알아내는 데 사용되고, 상기 제1 시점 이후의 제2 시점으로부터 상기 방사성의약품이 제거되는 시점까지의 후기 구간(dFBB), 예컨대, 상기 주사 이후 60분 내지 90분까지의 구간에 대한 결과 데이터(52)는 전술한 아밀로이드의 침착에 의한 양성 반응 여부를 판단하는 데 사용되어 왔다.In this regard, as shown in FIG. 5, generally for an early period (eFBB; early phase FBB) from immediately after the injection of the radiopharmaceutical to a predetermined first time point, for example, for a period from the injection to 20 minutes. The resulting data 51 based on the PET image is used to find blood perfusion information, and is used to determine the later period (dFBB) from the second time point after the first time point to the time point at which the radiopharmaceutical is removed, e.g., after the injection. The resultant data 52 for the period from 60 minutes to 90 minutes has been used to determine whether or not a positive reaction is caused by the amyloid deposition described above.

이에 본 발명에서는 추후 서술할 시계열 벡터 생성 모듈(200) 및 순환 신경망 모듈(Mn)의 특징을 이용하여 초기 구간에 촬영한 일부 PET 영상의 시계열적 데이터 흐름을 파악하여 종래의 PET 영상 전체를 이용한 치매 판단 시에 버금가는 예측을 수행하는 방안을 제시하고 있다.Therefore, in the present invention, by using the characteristics of the time-series vector generation module 200 and the recurrent neural network module (Mn), which will be described later, the time-series data flow of some PET images captured in the initial section is identified, and dementia using the entire conventional PET image is used. It proposes a way to make predictions comparable to judgment.

시계열 벡터 생성 모듈(200)은 이미지 획득부(100)에 의해 복수 개의 단층 촬영 이미지(I0)가 각각 획득된 시간정보와 단층 촬영 이미지(I0)에 대한 영역별 픽셀 조합에 대응하는 스코어값에 기초한 소정의 이미지 벡터(VI)를 생성한다.The time-series vector generation module 200 is a score value corresponding to the pixel combination for each region of the time information and the tomographic image I 0 obtained by the image acquisition unit 100, respectively, of the plurality of tomographic images I 0 . Generates a predetermined image vector (V I ) based on .

여기서, 시계열 벡터 생성 모듈(200)은 도 2에 도시된 바와 같이 시계열 정보 생성부(220), 이미지 전처리부(240) 및 벡터 변환부(260)를 포함할 수 있다.Here, the time-series vector generation module 200 may include a time-series information generation unit 220, an image pre-processing unit 240, and a vector conversion unit 260 as shown in FIG.

시계열 정보 생성부(220)는 복수 개의 단층 촬영 이미지(I0)에 대한 소정의 시계열 정보(Ts)를 생성한다.The time series information generator 220 generates predetermined time series information Ts for the plurality of tomographic images I 0 .

구체적으로, 시계열 정보 생성부(220)는 이미지 획득부(100)에 의해 복수 개의 단층 촬영 이미지(I0)가 각각 획득된 시간정보(Ti)를 검출하여 이를 시간 순서대로 정렬함에 따른 이미지별 순서정보(Oi)를 생성하고, 각각의 단층 촬영 이미지(I0)에 대응하는 상기 시간정보(Ti) 및 상기 순서정보(Oi)에 기초하여 복수 개의 단층 촬영 이미지(I0)에 대한 시계열 정보(Ts)를 생성할 수 있다.Specifically, the time-series information generation unit 220 detects the time information Ti obtained from each of the plurality of tomographic images I 0 by the image acquisition unit 100 and arranges them according to the order of time. Information (Oi) is generated, and time-series information ( about a plurality of tomographic images I 0 ) based on the time information (Ti) and the sequence information (Oi) corresponding to each tomographic image (I 0 ) Ts) can be created.

이미지 전처리부(240)는 이미지 획득부(100)에 의해 획득된 복수 개의 단층 촬영 이미지(I0)를 기설정된 영상처리 기법에 따라 정규화하여 2차원 배열 형식의 정규화된 이미지(I1)로 변환하는 역할을 한다.The image pre-processing unit 240 normalizes the plurality of tomographic images (I 0 ) obtained by the image acquisition unit 100 according to a predetermined image processing technique and converts them into normalized images (I 1 ) in a 2D array format. play a role

여기서, 이미지 전처리부(240)는 도 2에 도시된 바와 같이 공간 정규화부(242) 및 강도 정규화부(244)를 포함할 수 있다.Here, the image pre-processing unit 240 may include a spatial normalization unit 242 and an intensity normalization unit 244 as shown in FIG. 2 .

공간 정규화부(242)는 상기 복수 개의 단층 촬영 이미지(I0)를 기설정된 볼륨 데이터(Dv)로 공간 정규화한다.The spatial normalization unit 242 spatially normalizes the plurality of tomographic images I 0 with preset volume data Dv.

여기서, 공간 정규화부(242)는 단층 촬영 이미지(I0)에 포함된 복수의 뇌 영역 각각에 대한 볼륨(가로 x 세로 x 높이)이 일정한 크기를 갖도록 공간 정규화할 수 있다.Here, the space normalizer 242 may spatially normalize a volume (width x length x height) of each of a plurality of brain regions included in the tomography image I 0 to have a constant size.

강도 정규화부(244)는 공간 정규화부(242)에 의해 공간 정규화된 볼륨 데이터(Dv)를 구성하는 복수 개의 복셀 각각의 값을 기설정된 스케일 팩터에 따라 일정 비율로 스케일링한다.The intensity normalizer 244 scales each value of a plurality of voxels constituting the volume data Dv spatially normalized by the spatial normalizer 242 at a predetermined ratio according to a preset scale factor.

이때, 상기 스케일 팩터(scale factor)는 단층 촬영 이미지(I0)에 포함된 복수 개의 뇌 영역 중 어느 하나인 소뇌(cerebellum)에 대한 평균 영상 강도를 나타내는 값으로 아래의 수학식 1과 같이 정리할 수 있다.At this time, the scale factor is a value representing the average image intensity of the cerebellum, which is one of a plurality of brain regions included in the tomographic image I 0 , and can be summarized as in Equation 1 below. there is.

Figure 112021010155009-pat00001
Figure 112021010155009-pat00001

여기서, 상기 Ci,ref는 소뇌 영역에서의 복셀값을 나타내고, Ni,ref는 복셀 개수를 나타낸다.Here, C i,ref represents a voxel value in the cerebellar region, and N i,ref represents the number of voxels.

비록, 전술한 도 2에 도시되진 않았으나, 본 발명에 따른 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치의 경우, 사용자로부터 상기 PET 영상에 기초하여 진단 대상자의 뇌질환 여부에 대한 판단 대상이 되는 뇌 영역을 선택 입력받기 위한 영역 선택부(미도시)의 구성을 추가로 더 포함할 수 있으며, 이 경우, 강도 정규화부(244)는 사용자가 단층 촬영 이미지(I0)에 포함된 복수 개의 뇌 영역 중 어느 하나를 선택하는 경우, 선택된 영역에 대응하는 볼륨 데이터(Dv)를 구성하는 복수 개의 복셀 값들을 소정의 기준 영역에 대응하도록 기설정된 스케일 팩터로 나눔으로써 상기 기준 영역을 기준으로 한 상대적인 값으로 변환하는 스케일링을 수행할 수 있다.Although not shown in FIG. 2 described above, in the case of the time-series-based PET image analysis device for brain disease determination according to the present invention, based on the PET image from the user, it is a subject of judgment as to whether or not the patient is diagnosed with a brain disease. It may further include a configuration of a region selection unit (not shown) for selecting and receiving brain regions. In this case, the intensity normalization unit 244 allows the user to select a plurality of brain regions included in the tomographic image I 0 . When any one of the regions is selected, a relative value based on the reference region is obtained by dividing a plurality of voxel values constituting the volume data Dv corresponding to the selected region by a preset scale factor to correspond to the predetermined reference region. You can perform scaling to convert to .

예컨대, 만일 상기 기준 영역이 '소뇌'인 경우, 강도 정규화부(244)에 의한 스케일링 결과값은 사용자가 선택한 영역이 소뇌 영역일 땐 '1'이 되고 그 외 다른 영역일 땐 소뇌 영역을 기준으로 한 상대적인 값으로 변환되게 된다.For example, if the reference region is the 'cerebellum', the scaling result value by the intensity normalizer 244 is '1' when the region selected by the user is the cerebellum region, and is based on the cerebellum region for other regions. converted to a relative value.

벡터 변환부(260)는 이미지 전처리부(240)에 의해 변환된 상기 정규화된 이미지(I1)와 시계열 정보 생성부(220)에 의해 생성된 시계열 정보(Ts)에 기초한 소정의 이미지 벡터(VI)를 생성하는 역할을 한다.The vector converter 260 generates a predetermined image vector V based on the normalized image I 1 converted by the image preprocessor 240 and the time series information Ts generated by the time series information generator 220. I ) plays a role in generating.

구체적으로, 벡터 변환부(260)는 상기 정규화된 이미지(I1)에 대한 영역별 픽셀 조합에 대응하는 스코어값을 산출한 후 상기 산출된 스코어값과 상기 생성된 시계열 정보(Ts)에 기초한 소정의 이미지 벡터(VI)로 변환할 수 있다.Specifically, the vector converter 260 calculates a score value corresponding to a pixel combination for each region of the normalized image I 1 , and then calculates a score value based on the calculated score value and the generated time series information Ts. Can be converted into an image vector (V I ) of

여기서, 벡터 변환부(260)는 도 2에 도시된 바와 같이 영역 검출부(262), 대표값 산출부(264), 스코어 산출부(266) 및 행렬 생성부(268)를 포함할 수 있다.Here, the vector converter 260 may include a region detector 262 , a representative value calculator 264 , a score calculator 266 and a matrix generator 268 as shown in FIG. 2 .

영역 검출부(262)는 각각의 상기 정규화된 이미지(I1)를 기설정된 SUV 기법에 기초한 관심 영역에 대응하는 복수 개의 영역으로 구분하여 영역별 픽셀 조합을 검출한다.The region detection unit 262 classifies each normalized image I 1 into a plurality of regions corresponding to a region of interest based on a preset SUV technique and detects a pixel combination for each region.

여기서, 영역 검출부(262)는 상기 정규화된 이미지(I1)에 대하여 생물학적이나 물리적인 인자에 대응하도록 기설정된 복수의 관심영역(ROI; Region of Interest)에 기초하여 표준섭취계수(SUV; Standardized uptake values)를 측정하는 기법에 따라 복수의 관심영역(ROI) 각각에 대응하는 복수 개의 영역에 대한 영역별 픽셀 조합을 검출할 수 있다.Here, the region detection unit 262 has a standardized uptake coefficient (SUV) based on a plurality of regions of interest (ROIs) preset to correspond to biological or physical factors with respect to the normalized image I 1 . values), pixel combinations for each region of a plurality of regions corresponding to each of a plurality of regions of interest (ROIs) may be detected.

이때, 상기 표준섭취계수(SUV)는 인체 내에 주입한 방사능의약품이 균등하게 퍼져있다는 가정하에 종양 내에 얼마나 평균보다 높게 섭취되는지를 평가하는 방법의 일종으로 예컨대, 영역별로의 단위면적당 방사성물질 흡수량값에 대한 반정량적 지표를 나타낸다.At this time, the standard uptake coefficient (SUV) is a kind of method for evaluating how much higher than the average uptake is in the tumor under the assumption that the radiopharmaceutical injected into the human body is evenly spread. represents a semi-quantitative indicator for

대표값 산출부(264)는 영역 검출부(262)에 의해 검출된 영역별 픽셀 조합에 대한 대표값을 산출한다.The representative value calculating unit 264 calculates a representative value for each pixel combination detected by the area detecting unit 262 .

여기서, 대표값 산출부(264)는 각 영역에 대응하는 픽셀 조합을 이루는 복수 개의 픽셀 각각에 대하여 상기 표준섭취계수(SUV)에 기초한 측정값을 모두 더하여 평균한 값을 상기 대표값으로 산출할 수 있다.Here, the representative value calculation unit 264 may calculate an average value as the representative value by adding all measured values based on the standard consumption coefficient (SUV) for each of a plurality of pixels constituting the pixel combination corresponding to each region. there is.

스코어 산출부(266)는 대표값 산출부(264)에 의해 산출된 대표값을 기설정된 색 모델에 적용한 결과에 기초한 명도 좌표값에 대응하는 스코어값을 산출한다.The score calculation unit 266 calculates a score value corresponding to the brightness coordinate value based on a result of applying the representative value calculated by the representative value calculation unit 264 to a preset color model.

이때, 상기 색 모델은 색상(Hue), 채도(Saturation) 및 명도(Value)의 3가지 성분에 대한 공간 좌표값(h,s,v)을 가지는 HSV 색 모델을 포함할 수 있다.In this case, the color model may include an HSV color model having spatial coordinate values (h, s, v) for three components of hue, saturation, and value.

행렬 생성부(268)는 스코어 산출부(266)에 의해 산출된 스코어값과 시계열 정보 생성부(220)에 의해 생성된 시계열 정보(Ts)에 기초한 소정의 이미지 벡터(VI)에 대한 행렬 데이터를 생성한다.The matrix generator 268 generates matrix data for a predetermined image vector V I based on the score value calculated by the score calculator 266 and the time series information Ts generated by the time series information generator 220. generate

여기서, 행렬 생성부(268)는 상기 스코어값을 행(row)에 대한 값으로 하고 상기 시계열 정보에 포함된 해당 이미지를 획득한 시간정보(Ti)를 열(column)에 대한 값으로 하는 2D 배열 스칼라(array of scalar) 구조의 벡터에 대응하는 행렬 데이터를 생성할 수 있다.Here, the matrix generator 268 forms a 2D array having the score value as a value for a row and the time information (Ti) obtained for the corresponding image included in the time series information as a value for a column. Matrix data corresponding to a vector having an array of scalar structure may be generated.

순환 신경망 모듈(Mn)은 시간의 흐름에 따라 변화하는 시계열 데이터를 학습하기 위한 인공 신경망으로서, 도 1에 도시된 바와 같이 입력 레이어부(300), 은닉 레이어부(400) 및 출력 레이어부(500)를 포함할 수 있다.The recurrent neural network module Mn is an artificial neural network for learning time-series data that changes over time. As shown in FIG. 1, the input layer unit 300, the hidden layer unit 400, and the output layer unit 500 ) may be included.

입력 레이어부(300)는 행렬 생성부(268)에 의해 생성된 적어도 하나 이상의 이미지 벡터(VI)를 시계열 정보(Ts)에 기초하여 순차적으로 하나씩 입력받아 입력 시점별로 구분하여 저장하는 복수 개의 입력층(X1,X2,...,Xt)을 포함한다.The input layer unit 300 sequentially receives at least one image vector (V I ) generated by the matrix generator 268 one by one based on the time-series information (Ts), and classifies and stores the plurality of inputs for each input time point. layers (X 1 ,X 2 ,...,X t ).

은닉 레이어부(400)는 각각의 상기 입력 시점에 대응하는 입력층의 입력값에 기초한 소정의 상태값(h)을 생성하되, 현재 시점(t)에 대응하는 입력층(Xt)의 입력값과 현재 시점의 바로 이전 시점(t-1)에 대응하여 생성된 상태값(ht-1)에 기초하여 현재 시점(t)에 대한 상태값(ht)을 생성하는 복수 개의 은닉층(A)을 포함한다.The hidden layer unit 400 generates a predetermined state value (h) based on the input value of the input layer corresponding to each input time point, and the input value of the input layer (X t ) corresponding to the current time point (t) A plurality of hidden layers (A) generating a state value (h t ) for the current time point (t) based on a state value (h t-1 ) generated corresponding to a point in time (t- 1 ) immediately preceding the current point in time. includes

여기서, 은닉 레이어부(400)는 도 3에 도시된 바와 같이 내부에 히든 스테이트를 포함하는 셀 구조로 마련되어 기저장된 활성 함수에 따른 소정의 상태값(h)을 생성하여 상기 히든 스테이트에 저장하는 복수 개의 은닉층(A)을 포함하는 순환 신경망 구조, 예컨대, RNN(Recurrent Neural Network)일 수 있다.Here, as shown in FIG. 3, the hidden layer unit 400 has a cell structure including a hidden state therein, and generates a predetermined state value (h) according to a pre-stored activation function and stores it in the hidden state. It may be a recurrent neural network structure including two hidden layers (A), for example, a recurrent neural network (RNN).

이 경우, 은닉 레이어부(400)는 복수 개의 입력층의 개수에 대응되도록 마련되는 입력 노드를 통해 복수 개의 은닉층(A)과 복수 개의 입력층(X)이 각각 연결되고 소정의 연결 노드를 통해 서로 인접한 적어도 한 쌍의 은닉층(A) 사이를 직렬로 상호간 연결함에 따라, 현재 시점(t)에 대응하는 입력층(Xt)의 입력값과 현재 시점의 바로 이전 시점(t-1)에 대응하여 기저장된 상태값(ht-1)을 상기 활성 함수에 적용한 결과에 기초하여 현재 시점(t)에 대응하는 상태값(ht)을 생성할 수 있다.In this case, in the hidden layer unit 400, a plurality of hidden layers (A) and a plurality of input layers (X) are respectively connected through input nodes provided to correspond to the number of the plurality of input layers, and mutually connect through a predetermined connection node. As at least one pair of adjacent hidden layers (A) are interconnected in series, corresponding to the input value of the input layer (X t ) corresponding to the current time point (t) and the time point (t-1) immediately preceding the current time point Based on a result of applying the previously stored state value (h t-1 ) to the activation function, a state value (h t ) corresponding to the current point in time (t) may be generated.

구체적으로, 은닉 레이어부(400)는 현재 시점(t)에 대응하는 입력층(Xt)의 입력값과 기설정된 입력가중치(Wx)를 곱한 제1값과, 현재 시점의 바로 이전 시점(t-1)에 대응하여 기저장된 상태값(ht-1)과 기설정된 은닉가중치(Wh)를 곱한 제2값을 각각 구한 후, 상기 제1값과 상기 제2값을 합한 값을 상기 활성 함수에 적용한 결과에 기초하여 현재 시점(t)에 대응하는 상태값(ht)을 생성할 수 있으며, 입력가중치(Wx)와 은닉가중치(Wh)는 각 계층마다 모두 같은 매개변수(가중치)를 공유하는 순환 신경망의 특성에 따라 동일한 값을 가질 수 있다.Specifically, the hidden layer unit 400 generates a first value obtained by multiplying an input value of the input layer (X t ) corresponding to the current time point (t) by a preset input weight (W x ), and a time point immediately preceding the current time point ( After obtaining a second value obtained by multiplying a pre-stored state value (h t-1 ) and a preset hidden weight (W h ) corresponding to t-1), the sum of the first value and the second value Based on the result of applying the activation function, a state value (h t ) corresponding to the current point in time (t) can be generated, and the input weight (W x ) and hidden weight (W h ) are all the same parameters for each layer ( weight) may have the same value depending on the characteristics of the recurrent neural network that shares it.

이때, 상기 활성 함수는 비선형 함수인 하이퍼볼릭탄젠트(tanh) 함수를 포함할 수 있고, 이러한 경우의 현재 시점(t)에 대응하는 상태값(ht)에 대한 수식을 정리하면 아래의 수학식 2와 같다.At this time, the activation function may include a hyperbolic tangent (tanh) function, which is a nonlinear function, and in this case, the formula for the state value (h t ) corresponding to the current point in time (t) is summarized in Equation 2 below Same as

Figure 112021010155009-pat00002
Figure 112021010155009-pat00002

여기서, Wx 는 입력가중치, Wh는 은닉가중치, b는 소정의 편향값을 나타낸다.Here, W x is an input weight, W h is a hidden weight, and b is a predetermined bias value.

한편, 은닉 레이어부(400)는 도 4에 도시된 바와 같이 전술한 히든 스테이트(S1)와 더불어 내부에 셀 스테이트(S2)를 더 포함하는 셀 구조로 마련되어 상기 활성 함수에 따른 소정의 상태값(ht)을 생성하여 히든 스테이트(S1)에 저장하는 복수 개의 은닉층(A)을 포함하는 순환 신경망 구조, 예컨대, LSTM(Long Short-Term Memory)일 수 있다.On the other hand, as shown in FIG. 4, the hidden layer unit 400 is provided with a cell structure further including a cell state S2 therein in addition to the aforementioned hidden state S1, and a predetermined state value according to the activation function ( h t ) may be a recurrent neural network structure including a plurality of hidden layers (A) generating and storing the hidden state (S1), for example, LSTM (Long Short-Term Memory).

이 경우, 은닉 레이어부(400)는 현재 시점(t)에 대응하는 입력층(Xt)의 입력값에 기초한 입력 데이터와 현재 시점의 바로 이전 시점(t-1)에 대응하는 상태값(ht-1)에 기초한 과거 데이터 각각에 대응하여 기설정된 반영률을 적용한 결과에 기초하여, 현재 시점(t)에 대응하는 은닉층(A)의 셀 상태값(Ct)을 생성하여 셀 스테이트(S2)에 저장하고, 기저장된 셀 상태값(Ct)을 상기 활성 함수에 적용하여 현재 시점(t)에 대응하는 상태값(ht)을 생성할 수 있다.In this case, the hidden layer unit 400 generates input data based on the input value of the input layer (X t ) corresponding to the current time point (t) and a state value (h corresponding to a point in time (t-1) immediately before the current point in time. Based on the result of applying the preset reflection factor corresponding to each of the past data based on t-1 ), the cell state value (C t ) of the hidden layer (A) corresponding to the current time point (t) is generated to generate the cell state (S2) , and a previously stored cell state value (C t ) is applied to the activation function to generate a state value (h t ) corresponding to the current point in time (t).

또한, 은닉 레이어부(400)는 도 4에 도시된 바와 같이 은닉층(A)의 내부에서 히든 스테이트(S1)와 셀 스테이트(S2) 간의 연결 관계를 형성하며 현재 시점(t)에 대응하는 입력층(Xt)의 입력값과 현재 시점의 바로 이전 시점(t-1)에 대응하여 기저장된 상태값(ht-1)에 기초한 소정의 결과값을 생성한 후 현재 시점(t)에 대응하는 셀 상태값(Ct) 또는 상태값(ht)에 반영되도록 하는 삭제 게이트(410), 입력 게이트(420) 및 출력 게이트(430)를 더 포함할 수 있다.In addition, as shown in FIG. 4, the hidden layer unit 400 forms a connection relationship between the hidden state S1 and the cell state S2 inside the hidden layer A, and the input layer corresponding to the current time point t After generating a predetermined result value based on the input value of (X t ) and the pre-stored state value (h t- 1 ) corresponding to the time point (t-1) immediately preceding the current point in time, A deletion gate 410, an input gate 420, and an output gate 430 that are reflected in the cell state value (C t ) or state value (h t ) may be further included.

삭제 게이트(410)는 상기 과거 데이터(ht-1)의 삭제 정도에 기초하여 기설정된 제1 반영률을 적용함에 따른 제1 결과값을 생성하여 셀 스테이트(S2)로 전달한다.The deletion gate 410 generates a first result value by applying a preset first reflection factor based on the degree of deletion of the past data h t-1 and transfers it to the cell state S2.

여기서, 삭제 게이트(410)는 아래의 수학식 3과 같이 현재 시점(t)의 입력값과 현재 시점의 바로 이전 시점(t-1)의 상태값(ht-1)에 기설정된 가중치(Wf)를 반영한 후 이를 모두 합한 값을 상기 제1 반영률에 대응하는 시그모이드(sigmoid) 함수에 적용함에 따른 '0' 내지 '1' 사이의 제1 결과값(ft)을 생성할 수 있다.Here, the deletion gate 410, as shown in Equation 3 below, has a weight (W After reflecting f ), a first result value (f t ) between '0' and '1' can be generated by applying the sum of all of them to a sigmoid function corresponding to the first reflection factor. .

Figure 112021010155009-pat00003
Figure 112021010155009-pat00003

이때, 제1 결과값(ft)이 '0'에 가까울수록 과거 정보를 많이 삭제하여 잊는 것이고 '1'에 가까울수록 과거 정보를 온전히 기억하는 것일 수 있다.At this time, the closer the first result value (f t ) is to '0', the more past information is deleted and forgotten, and the closer to '1', the past information may be completely remembered.

입력 게이트(420)는 상기 입력 데이터(Xt)의 기억 정도에 기초하여 기설정된 제2 반영률을 적용함에 따른 게이트값(it)과, 상기 입력 데이터(Xt) 및 상기 과거 데이터(ht-1)를 상기 활성 함수에 적용함에 따른 후보 상태값(gt)에 대한 기설정된 연산을 수행함에 따른 제2 결과값을 생성하여 셀 스테이트(S2)로 전달한다.The input gate 420 generates a gate value (i t ) by applying a predetermined second reflection factor based on the storage degree of the input data (X t ), the input data (X t ), and the past data (h t ) . -1 ) is applied to the activation function, and a second result value is generated by performing a preset operation on the candidate state value (g t ) and transmitted to the cell state (S2).

여기서, 입력 게이트(420)는 아래의 수학식 4와 같이 현재 시점(t)의 입력값과 현재 시점의 바로 이전 시점(t-1)의 상태값(ht-1) 각각에 기설정된 가중치(Wi)를 반영한 후 이를 모두 합한 값을 상기 제2 반영률에 대응하는 시그모이드(sigmoid) 함수에 적용함에 따른 '0' 내지 '1' 사이의 게이트값(it)을 생성할 수 있다.Here, the input gate 420, as shown in Equation 4 below, has a predetermined weight ( A gate value (i t ) between '0' and '1' may be generated by applying the sum of W i ) to a sigmoid function corresponding to the second reflection factor.

Figure 112021010155009-pat00004
Figure 112021010155009-pat00004

또한, 입력 게이트(420)는 현재 시점(t)의 입력값과 현재 시점의 바로 이전 시점(t-1)의 상태값(ht-1) 각각에 기설정된 가중치(Wg)를 반영한 후 이를 모두 합한 값을 상기 활성 함수에 적용함에 따른 후보 상태값(gt)을 생성할 수 있다.In addition, the input gate 420 reflects a preset weight (W g ) to each of the input value at the current time point (t) and the state value (h t-1) at the time point ( t-1 ) immediately before the current time point, and then A candidate state value (g t ) may be generated by applying the sum of all values to the activation function.

이때, 상기 활성 함수는 비선형 함수인 하이퍼볼릭탄젠트(tanh) 함수를 포함할 수 있고, 이러한 경우의 후보 상태값(gt)에 대한 수식을 정리하면 아래의 수학식 5와 같다.In this case, the activation function may include a hyperbolic tangent (tanh) function, which is a nonlinear function, and the formula for the candidate state value (g t ) in this case is summarized as Equation 5 below.

Figure 112021010155009-pat00005
Figure 112021010155009-pat00005

또한, 입력 게이트(420)는 도 4에 도시된 바와 같이 게이트값(it) 및 후보 상태값(gt)에 대한 요소별 곱셈(Hadamard Product; 아다마르곱)을 수행한 결과로써 산출되는 제2 결과값(it·gt)을 최종적으로 셀 스테이트(S2)로 전달하게 된다.In addition, as shown in FIG. 4, the input gate 420 generates a second value obtained as a result of element-by-element multiplication (Hadamard Product) of the gate value (i t ) and the candidate state value (g t ). 2 The resulting value (i t · g t ) is finally transferred to the cell state (S2).

이 경우, 셀 스테이트(S2)에는 전술한 삭제 게이트(410) 및 입력 게이트(420) 각각으로부터 전달된 값에 기초하여 현재 시점(t)의 셀 상태값(Ct)이 생성되어 저장된다.In this case, the cell state value Ct at the current point in time t is generated and stored in the cell state S2 based on the values transferred from each of the above-described deletion gate 410 and input gate 420 .

구체적으로, 삭제 게이트(410)에서 전달된 제1 결과값(ft)을 현재 시점의 바로 이전 시점(t-1)의 셀 상태값(Ct-1)과 요소별 곱(·)한 후, 입력 게이트(420)에서 전달된 값(it·gt)과 더한 결과로써 산출되는 값이 현재 시점(t)의 셀 상태값(Ct)으로 저장될 수 있으며, 이를 수식으로 정리하면 아래의 수학식 6과 같다.Specifically, the first result value (f t ) delivered from the deletion gate 410 is multiplied ( ) by the cell state value (C t -1 ) of the time point (t-1) immediately before the current point in time, and then , The value calculated as the result of adding the value (i t g t ) transferred from the input gate 420 can be stored as the cell state value (C t ) at the current point in time (t). It is the same as Equation 6 of

Figure 112021010155009-pat00006
Figure 112021010155009-pat00006

출력 게이트(430)는 현재 시점(t)의 셀 상태값(Ct)의 출력 정도에 기초하여 기설정된 제3 반영률을 적용함에 따른 제3 결과값(ot)을 생성한다.The output gate 430 generates a third result value (o t ) by applying a preset third reflection factor based on the output level of the cell state value (C t ) at the current point in time (t).

여기서, 출력 게이트(430)는 아래의 수학식 7과 같이 현재 시점(t)의 입력값과 현재 시점의 바로 이전 시점(t-1)의 상태값(ht-1) 각각에 기설정된 가중치(Wo)를 반영한 후 이를 모두 합한 값을 상기 제3 반영률에 대응하는 시그모이드(sigmoid) 함수에 적용함에 따른 '0' 내지 '1' 사이의 제3 결과값(ot)을 생성할 수 있다.Here, the output gate 430, as shown in Equation 7 below, has a predetermined weight ( W o ) is reflected and then the sum of all of them is applied to the sigmoid function corresponding to the third reflection factor to generate a third result value (o t ) between '0' and '1' there is.

Figure 112021010155009-pat00007
Figure 112021010155009-pat00007

이에 따라, 은닉 레이어부(400)는 전술한 현재 시점(t)의 셀 상태값(Ct)과 제3 결과값(ot)을 상기 활성 함수에 적용한 결과에 기초하여 현재 시점(t)에 대응하는 상태값(ht)을 생성하는 것일 수 있다.Accordingly, the hidden layer unit 400 calculates the cell state value (C t ) and the third resultant value (o t ) at the current time point (t), based on the result of applying the activation function to the current time point (t). It may be to generate a corresponding state value (h t ).

이때, 상기 활성 함수는 비선형 함수인 하이퍼볼릭탄젠트(tanh) 함수를 포함할 수 있고, 이러한 경우 현재 시점(t)에 대응하는 상태값(ht)에 대한 수식을 정리하면 아래의 수학식 8과 같다.At this time, the activation function may include a hyperbolic tangent (tanh) function, which is a nonlinear function. In this case, the formula for the state value (h t ) corresponding to the current point in time (t) is summarized in Equation 8 below and same.

Figure 112021010155009-pat00008
Figure 112021010155009-pat00008

출력 레이어부(500)는 상기 입력 시점이 마지막인 입력층(Xt)에 대응되는 은닉층(A)의 상태값(ht)에 기초하여 현재 시점(t)에 대한 소정의 출력값(yt)을 생성한다.The output layer unit 500 generates a predetermined output value (y t ) for the current time point (t) based on the state value (h t ) of the hidden layer (A) corresponding to the input layer (X t ) at which the input time point is the last. generate

여기서, 출력 레이어부(500)는 소정의 출력 노드를 통해 복수 개의 은닉층(A) 각각에 연결되되, 시계열 정보(Ts)에 기초한 입력 시점이 마지막인 입력층(Xt)에 대응하여 연결된 은닉층(A)의 상태값(ht)에 소정의 출력 가중치(Wy)가 반영된 값을 출력값(yt)으로 생성하여 저장하는 것일 수 있으며, 이를 수식으로 정리하면 아래의 수학식 9와 같다.Here, the output layer unit 500 is connected to each of the plurality of hidden layers (A) through a predetermined output node, and the hidden layer ( A value in which a predetermined output weight (Wy) is reflected in the state value (h t ) of A) may be generated and stored as an output value (y t ).

Figure 112021010155009-pat00009
Figure 112021010155009-pat00009

확률 산출부(400)는 출력 레이어부(500)의 출력값에 기초하여 기설정된 복수 개의 클래스 중 적어도 하나의 클래스에 대응되는 확률값을 산출한다.The probability calculation unit 400 calculates a probability value corresponding to at least one class among a plurality of preset classes based on the output value of the output layer unit 500 .

이때, 상기 복수 개의 클래스는 알츠하이머병군(AD; Alzheimer's Disease)와 정상군(CN; Cognitively Normal)의 2종류로 구성되거나, 또는 아밀로이드 양성인 알츠하이머병군(Aβ(+)AD), 아밀로이드 음성인 정상군(Aβ(+)CN), 아밀로이드 음성인 알츠하이머병군(Aβ(-)AD), 아밀로이드 양성인 정상군(Aβ(+)CN)의 4종류로 구성될 수도 있다.At this time, the plurality of classes are composed of two types of Alzheimer's Disease (AD) and Cognitively Normal (CN), or amyloid-positive Alzheimer's disease group (Aβ(+)AD), amyloid-negative normal group ( Aβ(+)CN), amyloid-negative Alzheimer's disease group (Aβ(-)AD), and amyloid-positive normal group (Aβ(+)CN).

전술한 바와 같이, 본 발명에 따른 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치에 의하면 소정 시간 동안 촬영된 PET 영상의 시계열적 데이터 흐름에 기초한 분석이 가능한 특징을 가진다는 점에서, 상기 특징을 이용하여 진단 대상자의 PET 전체 영상의 일부 구간에 대한 분석을 수행한 결과와 종래의 분석 결과를 비교한 결과는 다음과 같다.As described above, according to the time-series-based PET image analysis device for brain disease determination according to the present invention, it has the feature of being able to analyze based on the time-sequential data flow of PET images taken for a predetermined time. The result of comparing the result of performing analysis on a part of the whole PET image of the diagnosis subject using this method and the conventional analysis result is as follows.

이와 관련하여, 도 8은 정상인과 알츠하이머병 환자 각각에 대하여 이미지 획득부(100)에 의해 획득된 단층 촬영 이미지와 이미지 전처리부(240)에 의해 정규화된 이미지를 초기 구간(eFBB)과 후기 구간(dFBB)으로 구분한 비교 데이터의 일례를 나타낸 도면이고, 도 9는 초기 구간(eFBB)과 후기 구간(dFBB) 각각에 대응하여 출력 레이어부(500)에 의해 생성된 출력값에 대한 특징 벡터의 분포 상태를 나타낸 그래프이다.In this regard, FIG. 8 shows tomographic images acquired by the image acquisition unit 100 and normalized images by the image pre-processing unit 240 for a normal person and an Alzheimer's disease patient, respectively, in an initial section (eFBB) and a later section ( dFBB) is a diagram showing an example of comparison data, and FIG. 9 is a distribution state of feature vectors for output values generated by the output layer unit 500 corresponding to the initial section (eFBB) and the later section (dFBB), respectively. is a graph showing

또한, 아래의 표 1은 도 8에 도시된 바와 같은 초기 구간(eFBB) 및 후기 구간(dFBB) 각각에 대응하는 PET 영상에 대하여 전술한 본 발명에 따른 확률 산출부(400)에 의해 산출된 확률값에 기초한 정확도(Accuracy), 특이도(Specificity), 민감도(Sensitivity), ROC 곡선(AUROC)을 정리하여 나타낸 것이다.In addition, Table 1 below shows probability values calculated by the probability calculation unit 400 according to the present invention described above for PET images corresponding to the initial period (eFBB) and the late period (dFBB), respectively, as shown in FIG. 8 . It summarizes the accuracy, specificity, sensitivity, and ROC curve (AUROC) based on .

이때, 상기 초기 구간은 주사 직후부터 소정의 제1 시점까지의 구간으로서, 예컨대, 상기 주사 이후부터 20분까지의 구간을 나타내고, 상기 후기 구간은 상기 제1 시점 이후의 제2 시점으로부터 상기 방사성의약품이 제거되는 시점까지의 구간으로서, 예컨대, 상기 주사 이후 60분 내지 90분까지의 구간을 나타낼 수 있다.At this time, the initial interval is an interval from immediately after the injection to a predetermined first time point, for example, from the injection to 20 minutes, and the later interval is the radiopharmaceutical from the second time point after the first time point. As an interval up to the point of removal, for example, an interval from 60 minutes to 90 minutes after the injection may be indicated.

Ac.PhaseAc. Phase Accuracy(%)Accuracy (%) Specificity(%)Specificity (%) Sensitivity(%)Sensitivity (%) AUROC(%)AUROC (%) eFBBeFBB 78.18278.182 67.87267.872 84.19184.191 0.8460.846 dFBBdFBB 81.36481.364 72.25072.250 86.13886.138 0.8460.846

예컨대, 상기 표 1을 참조하면, 종래의 후기 구간(dFBB)에 의한 분석 결과와 비교하여 초기 구간(eFBB)에 대응하는 데이터를 이용한 분석 결과의 정확도, 민감도 및 특이도는 각각 '3.182(%)','1.947(%)','4.378(%)'만큼 낮아 5% 내외의 작은 오차 범위를 가지고, 민감도와 특이도에 기초한 ROC 곡선의 경우엔 종래와 동일한 값을 가진다는 점에서, 초기 구간에 촬영한 일부 PET 영상만으로도 본 발명에 의한 시계열적 데이터 흐름에 기초한 데이터 분석에 의해 종래의 PET 영상 전체를 이용한 치매 판단 시에 버금가는 예측을 수행 가능함을 확인할 수 있다.For example, referring to Table 1, the accuracy, sensitivity, and specificity of the analysis results using data corresponding to the early period (eFBB) compared to the analysis results by the conventional late period (dFBB) are '3.182 (%)', respectively. ','1.947 (%)','4.378 (%)', in that it has a small error range of around 5%, and in the case of the ROC curve based on sensitivity and specificity, it has the same value as the conventional one, the initial interval It can be confirmed that prediction comparable to dementia determination using the entire conventional PET image can be performed by data analysis based on a time-sequential data flow according to the present invention using only some of the PET images captured in the present invention.

또한, 아래의 표 2는 상기 PET 영상에 기초한 입력 데이터를 아밀로이드 분포(Aβ)에 따라 정상군(CN)과 알츠하이머병군(AD)을 수집하고 초기 구간(eFBB-LSTM)과 후기 구간(dFBB-SVM)에서 나타난 아밀로이드 PET 영상을 이용하여 전체 정상군과 알츠하이머병군을 분류한 결과를 보여주고 있으며, 이는 상기 도 9에 도시된 그래프와도 어느 정도 대응하는 결과를 가진다.In addition, Table 2 below collects the input data based on the PET image into the normal group (CN) and the Alzheimer's disease group (AD) according to the amyloid distribution (Aβ), and the early period (eFBB-LSTM) and late period (dFBB-SVM) ) shows the results of classifying the entire normal group and the Alzheimer's disease group using the amyloid PET image shown in ), which has results corresponding to some extent with the graph shown in FIG. 9.

Pop./Ac.Phase (Model)Pop./Ac.Phase (Model) AUROC(%)AUROC (%) Aβ(-)CN vs Aβ(-)ADAβ(-)CN vs Aβ(-)AD Early FBB (LSTM)Early FBB (LSTM) 0.843(0.048)0.843 (0.048) Delay FBB (SVM)Delay FBB (SVM) 0.790(0.055)0.790 (0.055) Aβ(+)CN vs Aβ(+)ADAβ(+)CN vs Aβ(+)AD Early FBB (LSTM)Early FBB (LSTM) 0.867(0.037)0.867 (0.037) Delay FBB (SVM)Delay FBB (SVM) 0.765(0.075)0.765 (0.075)

예컨대, 상기 표 2를 참조하면, 아밀로이드 음성 반응을 나타내는 정상군 및 알츠하이머병군에 대한 비교 분석 결과와 아밀로이드 양성 반응을 나타내는 정상군 및 알츠하이머병군에 대한 비교 분석 결과 각각에 대한 ROC 곡선값의 경우, 후기 구간(dFBB)의 PET 영상 데이터를 이용한 종래의 SVM(Support Vector Machine) 기법보다 초기 구간(eFBB)의 PET 영상 데이터를 이용한 본 발명에 따른 분석 기법(LSTM)이 '0.843(%)'과 '0.867(%)'으로 더 높음을 확인할 수 있다.For example, referring to Table 2, in the case of ROC curve values for each of the comparative analysis results of the normal group and Alzheimer's disease group showing amyloid-negative reaction and the comparison analysis result of normal group and Alzheimer's disease group showing amyloid-positive reaction, Compared to the conventional SVM (Support Vector Machine) technique using PET image data of the interval (dFBB), the analysis method (LSTM) according to the present invention using the PET image data of the initial interval (eFBB) shows '0.843 (%)' and '0.867' (%)' to confirm that it is higher.

이에 따라, 기존의 아밀로이드 플라크의 침착을 관찰하는 데 사용되었던 후기 구간의 아밀로이드 PET은 유사한 아밀로이드 섭취를 보이는 경우엔 오히려 알츠하이머 병을 분류해내지 못하는 조건에서 초기 구간의 아밀로이드 PET이 더 좋은 분류 성능을 보여줄 수 있음을 입증할 수 있다.Accordingly, amyloid PET of the later phase, which was used to observe the deposition of existing amyloid plaques, shows better classification performance under the condition that it cannot classify Alzheimer's disease when similar amyloid uptake is shown. can prove that it can.

한편, 아래의 표 3은 초기 구간(eFBB)에 대응하는 데이터를 이용한 종래의 다양한 회귀 분류 기법들(LR,SVM)에 의한 예측 결과와 본 발명에 따른 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 기법(LSTM)에 의한 예측 결과에 기초하여 정확도(Accuracy), 특이도(Specificity), 민감도(Sensitivity), ROC 곡선(AUROC) 각각에 대하여 비교 정리하여 나타낸 것이다.On the other hand, Table 3 below shows prediction results by various conventional regression classification techniques (LR, SVM) using data corresponding to the initial interval (eFBB) and time series-based PET image analysis for brain disease determination according to the present invention. Based on the prediction result by the method (LSTM), each of the accuracy, specificity, sensitivity, and ROC curve (AUROC) is compared and summarized.

이와 관련하여, 일반적으로 아밀로이드 제재의 투여 직후부터 소정 시간 동안의 초기 구간(eFBB), 예컨대, 상기 주사 이후부터 20분까지의 구간에 대한 PET 영상 데이터의 경우, 혈액 관류 정보를 알아내는 데 중요한 지표로서 사용되어 왔다.In this regard, in general, in the case of PET image data for an initial period (eFBB) for a predetermined time from immediately after administration of an amyloid agent, for example, a period from the injection to 20 minutes, an important indicator for finding blood perfusion information has been used as

아래의 표 3에 기재된 종래의 회귀 분류 기법들(LR,SVM)은 초기 구간(eFBB)을 촬영하여 뇌 혈류를 가장 반영하는 최적의 대사상태를 나타내는 최적구간(2~7분)을 사전에 정의하고, 주어진 시간 프레임 범위 내에서 시간 축에 대하여 평균한 영상을 사용하여 분석하는 방식인 데 반해, 본 발명에 따른 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 기법(LSTM)은 초기 아밀로이드 PET 영상(0~20분)을 그대로 입력받더라도 시계열적 분석에 의해 각 시점별 특징 벡터들을 취합해서 상기 최적구간에 대응하는 정보를 도출해내는 방식이라는 점에서 동일한 입력 데이터를 이용함에도 결과를 획득하는 방식상 차이가 있다.In the conventional regression classification techniques (LR, SVM) described in Table 3 below, the initial period (eFBB) is taken and the optimal period (2 to 7 minutes) representing the optimal metabolic state that most reflects cerebral blood flow is defined in advance. and analysis using images averaged on the time axis within a given time frame range, whereas the time-series-based PET image analysis technique (LSTM) for brain disease determination according to the present invention is an initial amyloid PET image ( 0 to 20 minutes), there is a difference in the method of obtaining results even though the same input data is used in that it is a method of deriving information corresponding to the optimal section by collecting feature vectors for each time point through time-series analysis. there is.

이때, 상기 LR은 로지스틱 회귀분석(LR; Logistic Regression)을 나타내고, 상기 SVM은 서포트 벡터 머신(SVM; Support Vector Machine)을 나타낸다.In this case, the LR represents Logistic Regression (LR), and the SVM represents Support Vector Machine (SVM).

ModelModel Accuracy(%)Accuracy (%) Specificity(%)Specificity (%) Sensitivity(%)Sensitivity (%) AUROC(%)AUROC (%) LRLR 74.54674.546 61.27861.278 82.06682.066 0.8430.843 SVMSVM 76.36476.364 59.10859.108 85.64785.647 0.8280.828 LSTMLSTM 78.18278.182 67.87267.872 84.19184.191 0.8460.846

예컨대, 상기 표 3을 참조하면, 종래의 회귀 분류 기법(LR,SVM)에 의한 분석 결과와 비교하여 본 발명에 따른 분석 기법(LSTM)에 의한 분석 결과의 정확도 및 특이도는 각각 '78.182(%)' 및 '67.872(%)'로 가장 높고, 민감도와 특이도에 기초한 ROC 곡선의 경우에도 '0.846(%)'으로 가장 높다는 점에서, 본 발명에 따른 기법이 종래 기법과 비교하여 더 개선된 성능을 보이는 초기 아밀로이드 PET 영상 정량 방법임을 입증할 수 있다.For example, referring to Table 3, the accuracy and specificity of the analysis result by the analysis technique (LSTM) according to the present invention compared to the analysis result by the conventional regression classification technique (LR, SVM) are '78.182 (%), respectively. )' and '67.872 (%)', and even in the case of the ROC curve based on sensitivity and specificity, the highest at '0.846 (%)', the technique according to the present invention is further improved compared to the conventional technique. It can be demonstrated that it is an early amyloid PET image quantification method that shows performance.

도 10은 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 방법을 개략적으로 나타낸 순서도이고, 도 11은 도 10의 이미지 벡터 생성 단계를 더욱 상세히 나타낸 순서도이다.10 is a flowchart schematically illustrating a time-series-based PET image analysis method for determining a brain disease according to an embodiment of the present invention, and FIG. 11 is a flowchart illustrating the image vector generation step of FIG. 10 in more detail.

이하, 전술한 도면들과 도 10 및 도 11을 참조하여 본 발명의 일 실시예에 따른 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 방법에 대해 설명하도록 한다.Hereinafter, a PET image analysis method based on time series for brain disease determination according to an embodiment of the present invention will be described with reference to the above-described drawings and FIGS. 10 and 11 .

먼저, 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영하는 PET 기법에 따라 소정 시간 동안 상기 단층 촬영을 수행함에 따라 연속적으로 촬영된 복수 개의 단층 촬영 이미지(I0)로 구성되는 PET 영상을 획득한다(S100).First, a PET image consisting of a plurality of tomographic images (I 0 ) taken sequentially is obtained by performing the tomography for a predetermined time according to a PET technique for taking tomography of the brain of a subject to whom an amyloid agent has been administered. (S100).

여기서, 상기 S100 단계는, 아밀로이드 PET 방사성 추적자(Amyloid PET Radiotracer)가 포함된 방사성 화합물에 기초한 아밀로이드 제재가 투여된 진단 대상자의 뇌를 단층 촬영하는 PET(Position Emission Tomography, 양전자 방출 단층 촬영) 기법에 따라 소정 시간 동안 상기 단층 촬영을 수행함에 따라 연속적으로 촬영된 복수 개의 단층 촬영 이미지(I0)로 구성되는 PET 영상을 획득할 수 있다.Here, the step S100 is performed according to a position emission tomography (PET) technique of tomography of the brain of a subject to whom an amyloid preparation based on a radioactive compound containing an amyloid PET radiotracer is administered. As the tomography is performed for a predetermined time, a PET image composed of a plurality of tomography images (I 0 ) continuously photographed may be obtained.

이러한 단층 촬영 이미지(I0)는 뇌 영역에 해당하는 부분을 경계로 하여 테두리가 형성되어 표시되며, 소정의 뇌 영역에 병이 존재하는 경우엔 해당 뇌 영역에 속하는 세포 또는 조직 부분의 픽셀이 아밀로이드의 침착(Brain Amyloid Plague Load)에 의한 양성 반응으로서 검은색 부분에 대비되는 회색 또는 하얀색으로 나타나는 픽셀 부분의 색상, 즉, 하얀색에 가까운 색상을 가지는 것일 수 있다.Such a tomography image (I 0 ) is displayed with a border formed around a portion corresponding to a brain region as a boundary, and when a disease exists in a predetermined brain region, pixels of a cell or tissue portion belonging to the corresponding brain region are amyloid As a positive reaction by the deposition of (Brain Amyloid Plague Load), it may have a color of a pixel part appearing gray or white in contrast to a black part, that is, a color close to white.

다음으로, 상기 100 단계에 의해 복수 개의 단층 촬영 이미지가 각각 획득된 시간정보에 대응하는 시계열 정보와 단층 촬영 이미지(I0)에 대한 영역별 픽셀 조합에 대응하는 스코어값에 기초한 소정의 이미지 벡터(VI)를 생성한다(S200).Next, a predetermined image vector based on time-series information corresponding to the time information obtained by each of the plurality of tomographic images in step 100 and a score value corresponding to a pixel combination for each region of the tomographic image I 0 . V I ) is generated (S200).

여기서, 상기 S200 단계는 도 11에 도시된 바와 같이 시계열 정보 생성 단계(S210), 정규화 변환 단계(S220) 및 이미지 벡터 변환 단계(S230)를 포함할 수 있다.Here, the step S200 may include time series information generation step S210, normalization conversion step S220, and image vector conversion step S230, as shown in FIG.

시계열 정보 생성 단계(S210)는 복수 개의 단층 촬영 이미지(I0)에 대한 소정의 시계열 정보(Ts)를 생성한다.In step S210 of generating time series information, predetermined time series information Ts for the plurality of tomographic images I 0 is generated.

구체적으로, 상기 S210 단계에서는 상기 S100 단계에 의해 복수 개의 단층 촬영 이미지(I0)가 각각 획득된 시간정보(Ti)를 검출하여 이를 시간 순서대로 정렬함에 따른 이미지별 순서정보(Oi)를 생성하고, 각각의 단층 촬영 이미지(I0)에 대응하는 상기 시간정보(Ti) 및 상기 순서정보(Oi)에 기초하여 복수 개의 단층 촬영 이미지(I0)에 대한 시계열 정보(Ts)를 생성할 수 있다.Specifically, in step S210, order information Oi for each image is generated by detecting time information Ti obtained from each of the plurality of tomographic images I 0 in step S100 and arranging them in chronological order, , Based on the time information Ti and the sequence information Oi corresponding to each tomographic image I 0 , time series information Ts for a plurality of tomographic images I 0 may be generated. .

정규화 변환 단계(S220)는 상기 S100 단계에 의해 획득된 복수 개의 단층 촬영 이미지(I0)를 기설정된 영상처리 기법에 따라 정규화하여 2차원 배열 형식의 정규화된 이미지(I1)로 변환하는 역할을 하며, 공간 정규화 단계(S222) 및 강도 정규화 단계(S224)를 포함한다.The normalization conversion step (S220) normalizes the plurality of tomographic images (I 0 ) obtained in step S100 according to a preset image processing technique and converts them into normalized images (I 1 ) in a 2D array format. and includes a spatial normalization step (S222) and an intensity normalization step (S224).

공간 정규화 단계(S222)는 복수 개의 단층 촬영 이미지(I0)를 기설정된 볼륨 데이터(Dv)로 공간 정규화한다.In the spatial normalization step ( S222 ), the plurality of tomographic images I 0 are spatially normalized with preset volume data Dv.

여기서, 상기 S222 단계에서는 단층 촬영 이미지(I0)에 포함된 복수의 뇌 영역 각각에 대한 볼륨(가로 x 세로 x 높이)이 일정한 크기를 갖도록 공간 정규화할 수 있다.Here, in step S222, spatial normalization may be performed so that the volume (width x length x height) of each of the plurality of brain regions included in the tomography image I 0 has a constant size.

강도 정규화 단계(S224)는 상기 S222 단계에 의해 공간 정규화된 볼륨 데이터(Dv)를 구성하는 복수 개의 복셀 각각의 값을 기설정된 스케일 팩터에 따라 일정 비율로 스케일링한다.In the intensity normalization step (S224), each value of a plurality of voxels constituting the volume data Dv spatially normalized by the step S222 is scaled at a predetermined ratio according to a preset scale factor.

이때, 상기 스케일 팩터(scale factor)는 단층 촬영 이미지(I0)에 포함된 복수 개의 뇌 영역 중 어느 하나인 소뇌(cerebellum)에 대한 평균 영상 강도를 나타내는 값으로 상기 수학식 1과 같이 정리할 수 있다.At this time, the scale factor is a value representing the average image intensity of the cerebellum, which is one of a plurality of brain regions included in the tomographic image I 0 , and can be summarized as in Equation 1 above. .

비록, 전술한 도 11에 도시되진 않았으나, 본 발명에 따른 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 방법의 경우, 사용자로부터 상기 PET 영상에 기초하여 진단 대상자의 뇌질환 여부에 대한 판단 대상이 되는 뇌 영역을 선택 입력받는 단계(미도시)를 공간 정규화 단계(S222)와 강도 정규화 단계(S224) 사이에 추가로 더 포함할 수 있으며, 추가된 선택 입력 단계에서 사용자가 단층 촬영 이미지(I0)에 포함된 복수 개의 뇌 영역 중 어느 하나를 선택하는 경우, 선택된 영역에 대응하는 볼륨 데이터(Dv)를 구성하는 복수 개의 복셀 값들을 소정의 기준 영역에 대응하도록 기설정된 스케일 팩터로 나눔으로써 상기 기준 영역을 기준으로 한 상대적인 값으로 변환하는 스케일링을 수행할 수 있다.Although not shown in FIG. 11, in the case of the time-series-based PET image analysis method for brain disease determination according to the present invention, based on the PET image from the user, the subject of diagnosis A step (not shown) of receiving a selection input of a brain region may be further included between the spatial normalization step (S222) and the intensity normalization step (S224), and in the added selection input step, the user selects the tomography image (I 0 ) When any one of the plurality of brain regions included in is selected, the plurality of voxel values constituting the volume data Dv corresponding to the selected region are divided by a preset scale factor to correspond to the predetermined reference region, and the reference region It is possible to perform scaling that converts to a relative value based on .

예컨대, 만일 상기 기준 영역이 '소뇌'인 경우, 강도 정규화 단계(S224)에 의한 스케일링 결과값은 사용자가 선택한 영역이 소뇌 영역일 땐 '1'이 되고 그 외 다른 영역일 땐 소뇌 영역을 기준으로 한 상대적인 값으로 변환되게 된다.For example, if the reference region is the 'cerebellum', the scaling result value by the intensity normalization step (S224) is '1' when the user-selected region is the cerebellum region, and other regions are based on the cerebellum region. converted to a relative value.

이미지 벡터 변환 단계(S230)는 정규화 변환 단계(S220)에 의해 변환된 상기 정규화된 이미지(I1)와 시계열 정보 생성 단계(S210)에 의해 생성된 시계열 정보(Ts)에 기초한 소정의 이미지 벡터(VI)를 생성하는 역할을 한다.The image vector conversion step (S230) is a predetermined image vector (based on the normalized image (I 1 ) converted by the normalization conversion step (S220) and the time series information (Ts) generated by the time series information generation step (S210). It plays a role in generating V I ).

구체적으로, 이미지 벡터 변환 단계(S230)는 상기 정규화된 이미지(I1)에 대한 영역별 픽셀 조합에 대응하는 스코어값을 산출한 후 상기 산출된 스코어값과 상기 생성된 시계열 정보(Ts)에 기초한 소정의 이미지 벡터(VI)로 변환할 수 있다.Specifically, the image vector conversion step (S230) calculates a score value corresponding to a pixel combination for each region of the normalized image I 1 , and then calculates a score value based on the calculated score value and the generated time series information Ts. It can be converted into a predetermined image vector (V I ).

여기서, 이미지 벡터 변환 단계(S230)는 도 11에 도시된 바와 같이 영역 검출 단계(S262), 대표값 산출 단계(S234), 스코어 산출 단계(S236) 및 행렬 생성 단계(S238)를 포함할 수 있다.Here, the image vector conversion step (S230) may include a region detection step (S262), a representative value calculation step (S234), a score calculation step (S236), and a matrix generation step (S238) as shown in FIG. 11. .

영역 검출 단계(S262)는 각각의 상기 정규화된 이미지(I1)를 기설정된 SUV 기법에 기초한 관심 영역에 대응하는 복수 개의 영역으로 구분하여 영역별 픽셀 조합을 검출한다.In the region detection step S262, each of the normalized images I 1 is divided into a plurality of regions corresponding to a region of interest based on a preset SUV technique, and a pixel combination for each region is detected.

여기서, 영역 검출 단계(S262)는 상기 정규화된 이미지(I1)에 대하여 생물학적이나 물리적인 인자에 대응하도록 기설정된 복수의 관심영역(ROI; Region of Interest)에 기초하여 표준섭취계수(SUV; Standardized uptake values)를 측정하는 기법에 따라 복수의 관심영역(ROI) 각각에 대응하는 복수 개의 영역에 대한 영역별 픽셀 조합을 검출할 수 있다.Here, the region detection step (S262) is a standardized uptake coefficient (SUV) based on a plurality of regions of interest (ROI) preset to correspond to biological or physical factors with respect to the normalized image (I 1 ). A pixel combination for each region of a plurality of regions corresponding to each of a plurality of regions of interest (ROIs) may be detected according to a technique for measuring uptake values.

대표값 산출 단계(S234)는 영역 검출 단계(S262)에 의해 검출된 영역별 픽셀 조합에 대한 대표값을 산출한다.In the representative value calculation step (S234), a representative value for each pixel combination detected by the region detection step (S262) is calculated.

여기서, 대표값 산출 단계(S234)는 각 영역에 대응하는 픽셀 조합을 이루는 복수 개의 픽셀 각각에 대하여 상기 표준섭취계수(SUV)에 기초한 측정값을 모두 더하여 평균한 값을 상기 대표값으로 산출할 수 있다.Here, in the representative value calculation step (S234), the average value obtained by adding all measured values based on the standard consumption coefficient (SUV) for each of a plurality of pixels constituting the pixel combination corresponding to each region may be calculated as the representative value. there is.

스코어 산출 단계(S236)는 대표값 산출 단계(S234)에 의해 산출된 대표값을 기설정된 색 모델에 적용한 결과에 기초한 명도 좌표값에 대응하는 스코어값을 산출한다.In the score calculation step (S236), a score value corresponding to the lightness coordinate value is calculated based on a result of applying the representative value calculated in the representative value calculation step (S234) to a preset color model.

이때, 상기 색 모델은 색상(Hue), 채도(Saturation) 및 명도(Value)의 3가지 성분에 대한 공간 좌표값(h,s,v)을 가지는 HSV 색 모델을 포함할 수 있다.In this case, the color model may include an HSV color model having spatial coordinate values (h, s, v) for three components of hue, saturation, and value.

행렬 생성 단계(S238)는 스코어 산출 단계(S236)에 의해 산출된 스코어값과 시계열 정보 생성 단계(S210)에 의해 생성된 시계열 정보(Ts)에 기초한 소정의 이미지 벡터(VI)에 대한 행렬 데이터를 생성한다.The matrix generation step (S238) is the matrix data for a predetermined image vector (V I ) based on the score value calculated by the score calculation step (S236) and the time series information (Ts) generated by the time series information generation step (S210). generate

여기서, 행렬 생성 단계(S238)는 상기 스코어값을 행(row)에 대한 값으로 하고 상기 시계열 정보에 포함된 해당 이미지를 획득한 시간정보(Ti)를 열(column)에 대한 값으로 하는 2D 배열 스칼라(array of scalar) 구조의 벡터에 대응하는 행렬 데이터를 생성할 수 있다.Here, in the matrix generation step (S238), a 2D array having the score value as a value for a row and the time information (Ti) obtained for the image included in the time series information as a value for a column Matrix data corresponding to a vector having an array of scalar structure may be generated.

다음으로, 적어도 하나 이상의 이미지 벡터(VI)를 시계열 정보(Ts)에 기초하여 순차적으로 하나씩 입력받아 입력 시점별로 구분하여 복수 개의 입력값(X1,X2,...,Xt)으로 저장한다(S300).Next, at least one image vector (V I ) is sequentially input one by one based on the time series information (Ts), and divided by input time point into a plurality of input values (X 1 ,X 2 ,...,X t ) Save (S300).

다음으로, 각각의 상기 입력 시점에 대응하는 입력값에 기초한 소정의 상태값(h)을 생성하되, 현재 시점(t)에 대응하는 입력값(Xt)과 현재 시점의 바로 이전 시점(t-1)에 대응하여 생성된 상기 상태값(ht-1)에 기초하여 현재 시점(t)에 대한 상태값(ht)을 생성한다(S400).Next, a predetermined state value (h) is generated based on the input value corresponding to each of the input time points, but the input value (X t ) corresponding to the current time point (t) and the time point immediately preceding the current time point (t- Based on the state value (h t-1 ) generated corresponding to 1), a state value (h t ) for the current point in time (t) is generated (S400).

여기서, 상기 S400 단계는, 상기 S300 단계에 의해 상기 입력값을 입력받아 기저장된 활성 함수에 따른 소정의 상태값을 생성하여 저장하되, 현재 시점(t)에 대응하는 입력값(Xt)과 현재 시점의 바로 이전 시점(t-1)에 대응하여 기저장된 상기 상태값(ht-1)을 상기 활성 함수에 적용한 결과에 기초하여 현재 시점(t)에 대응하는 상태값(ht)을 생성하는 것일 수 있다.Here, in the step S400, the input value is received by the step S300, and a predetermined state value according to a pre-stored activation function is generated and stored, and the input value (X t ) corresponding to the current point in time (t) and the current The state value (h t ) corresponding to the current time point (t) is generated based on the result of applying the previously stored state value (h t-1 ) corresponding to the time point (t-1) immediately before the time point to the activation function it may be

구체적으로, 상기 S400 단계는 현재 시점(t)에 대응하는 입력값(Xt)에 기설정된 입력가중치(Wx)를 곱한 제1값과, 현재 시점의 바로 이전 시점(t-1)에 대응하여 기저장된 상태값(ht-1)과 기설정된 은닉가중치(Wh)를 곱한 제2값을 각각 구한 후, 상기 제1값과 상기 제2값을 합한 값을 상기 활성 함수에 적용한 결과에 기초하여 현재 시점(t)에 대응하는 상태값(ht)을 생성할 수 있으며, 입력가중치(Wx)와 은닉가중치(Wh)는 각 계층마다 모두 같은 매개변수(가중치)를 공유하는 순환 신경망의 특성에 따라 동일한 값을 가질 수 있다.Specifically, the step S400 corresponds to a first value obtained by multiplying an input value (X t ) corresponding to the current time point (t) by a preset input weight value (W x ), and a time point (t-1) immediately preceding the current time point After obtaining the second value obtained by multiplying the pre-stored state value (h t-1 ) and the preset hidden weight (W h ), the result of applying the sum of the first value and the second value to the activation function Based on this, it is possible to generate a state value (h t ) corresponding to the current point in time (t), and the input weight (W x ) and hidden weight (W h ) share the same parameter (weight) for each layer. It may have the same value according to the characteristics of the neural network.

이때, 상기 활성 함수는 비선형 함수인 하이퍼볼릭탄젠트(tanh) 함수를 포함할 수 있고, 이러한 경우의 현재 시점(t)에 대응하는 상태값(ht)에 대한 수식을 정리하면 상기 수학식 2와 같다.At this time, the activation function may include a hyperbolic tangent (tanh) function, which is a nonlinear function, and in this case, the formula for the state value (h t ) corresponding to the current point in time (t) is summarized to obtain Equation 2 and same.

한편, 상기 S400 단계는, 현재 시점(t)에 대응하는 입력값(Xt)에 기초한 입력 데이터와 현재 시점의 바로 이전 시점(t-1)에 대응하는 상태값(ht-1)에 기초한 과거 데이터 각각에 대응하여 기설정된 반영률을 적용한 결과에 기초하여 현재 시점(t)에 대응하는 셀 상태값(Ct)을 생성하여 저장하고, 기저장된 셀 상태값(Ct)을 상기 활성 함수에 적용하여 현재 시점(t)에 대응하는 상태값(Ct)을 생성하는 것일 수 있다.On the other hand, the step S400 is based on the input data based on the input value (X t ) corresponding to the current time point (t) and the state value (h t- 1 ) corresponding to the time point (t-1) immediately preceding the current time point. A cell state value (C t ) corresponding to the current point in time (t) is generated and stored based on the result of applying a predetermined reflection rate corresponding to each of the past data, and the previously stored cell state value (C t ) is applied to the activation function It may be applied to generate a state value (C t ) corresponding to the current time point (t).

구체적으로, 상기 S400 단계는, 상기 과거 데이터(ht-1)의 삭제 정도에 기초하여 기설정된 제1 반영률을 적용함에 따른 제1 결과값을 생성하는 단계(S410)와, 상기 입력 데이터(Xt)의 기억 정도에 기초하여 기설정된 제2 반영률을 적용함에 따른 게이트값과, 상기 과거 데이터(ht-1)와 상기 입력 데이터(Xt)를 상기 활성 함수에 적용함에 따른 후보 상태값에 대한 기설정된 연산을 수행함에 따른 제2 결과값을 생성하는 단계(S420)와, 상기 제1 결과값 및 상기 제2 결과값에 기초하여 상기 현재 시점에 대응하는 셀 상태값(Ct)을 생성하는 단계(S430)와, 셀 상태값(Ct)의 출력 정도에 기초하여 기설정된 제3 반영률을 적용함에 따른 제3 결과값을 생성하는 단계(S440)와, 현재 시점(t)에 대응하는 셀 상태값(Ct)과 상기 제3 결과값을 상기 활성 함수에 적용한 결과에 기초하여 현재 시점(t)에 대응하는 상태값(ht)을 생성하는 단계(S450)를 포함할 수 있다.Specifically, the step S400 includes generating a first result value by applying a preset first reflection rate based on the degree of deletion of the past data (h t-1 ) (S410), and the input data (X A gate value by applying a second reflection factor preset based on the memory degree of t ) and a candidate state value by applying the past data (h t-1 ) and the input data (X t ) to the activation function Generating a second result value by performing a predetermined operation for (S420), and generating a cell state value (C t ) corresponding to the current time point based on the first result value and the second result value (S430), generating a third result value by applying a preset third reflection factor based on the output degree of the cell state value (C t ) (S440), and It may include generating a state value (h t ) corresponding to the current point in time ( t ) based on a result of applying the cell state value (C t ) and the third result value to the activation function (S450).

상기 제1 결과값을 생성하는 단계(S410)는 상기 과거 데이터(ht-1)의 삭제 정도에 기초하여 기설정된 제1 반영률을 적용함에 따른 제1 결과값을 생성한다.In the generating of the first result value ( S410 ), a first result value is generated by applying a predetermined first reflection rate based on the degree of deletion of the past data (h t-1 ).

여기서, 상기 S410 단계에서는, 상기 수학식 3과 같이 현재 시점(t)의 입력값과 현재 시점의 바로 이전 시점(t-1)의 상태값(ht-1)에 기설정된 가중치(Wf)를 반영한 후 이를 모두 합한 값을 상기 제1 반영률에 대응하는 시그모이드(sigmoid) 함수에 적용함에 따른 '0' 내지 '1' 사이의 제1 결과값(ft)을 생성할 수 있다.Here, in the step S410, as shown in Equation 3 above, the input value of the current time point (t) and the state value (h t-1) of the time point (t -1 ) immediately before the current time point have a preset weight (W f ) A first resultant value (f t ) between '0' and '1' may be generated by applying the sum of all values to a sigmoid function corresponding to the first reflection factor after reflecting .

이때, 제1 결과값(ft)이 '0'에 가까울수록 과거 정보를 많이 삭제하여 잊는 것이고 '1'에 가까울수록 과거 정보를 온전히 기억하는 것일 수 있다.At this time, the closer the first result value (f t ) is to '0', the more past information is deleted and forgotten, and the closer to '1', the past information may be completely remembered.

상기 제2 결과값을 생성하는 단계(S420)는 상기 입력 데이터(Xt)의 기억 정도에 기초하여 기설정된 제2 반영률을 적용함에 따른 게이트값(it)과, 상기 입력 데이터(Xt) 및 상기 과거 데이터(ht-1)를 상기 활성 함수에 적용함에 따른 후보 상태값(gt)에 대한 기설정된 연산을 수행함에 따른 제2 결과값을 생성한다.In the step of generating the second result value (S420), the gate value (i t ) according to applying the second reflection factor preset based on the storage degree of the input data (X t ) and the input data (X t ) and a second result value is generated by performing a preset operation on a candidate state value (g t ) by applying the past data (h t-1 ) to the activation function.

여기서, 상기 S420 단계에서는 상기 수학식 4와 같이 현재 시점(t)의 입력값과 현재 시점의 바로 이전 시점(t-1)의 상태값(ht-1) 각각에 기설정된 가중치(Wi)를 반영한 후 이를 모두 합한 값을 상기 제2 반영률에 대응하는 시그모이드(sigmoid) 함수에 적용함에 따른 '0' 내지 '1' 사이의 게이트값(it)을 생성할 수 있다.Here, in the step S420, as shown in Equation 4 above, the input value of the current time point (t) and the state value (h t-1) of the time point (t-1 ) immediately preceding the current time point have a preset weight (W i ) A gate value (i t ) between '0' and '1' can be generated by applying the sum of all values to a sigmoid function corresponding to the second reflection factor after reflecting .

또한, 상기 S420 단계에서는 상기 수학식 5와 같이 현재 시점(t)의 입력값과 현재 시점의 바로 이전 시점(t-1)의 상태값(ht-1) 각각에 기설정된 가중치(Wg)를 반영한 후 이를 모두 합한 값을 상기 활성 함수에 적용함에 따른 후보 상태값(gt)을 생성할 수 있다.In addition, in the step S420, as shown in Equation 5 above, the input value of the current time point (t) and the state value (h t-1) of the time point ( t-1 ) immediately before the current time point have a predetermined weight (W g ) A candidate state value (g t ) can be generated by applying the sum of all values after reflecting t to the activation function.

이때, 상기 활성 함수는 비선형 함수인 하이퍼볼릭탄젠트(tanh) 함수를 포함할 수 있고, 이러한 경우의 후보 상태값(gt)에 대한 수식을 정리하면 상기 수학식 5와 같다.In this case, the activation function may include a hyperbolic tangent (tanh) function, which is a nonlinear function, and the formula for the candidate state value (g t ) in this case is summarized as Equation 5 above.

또한, 상기 S420 단계에서는 전술한 단계에 의해 생성된 게이트값(it) 및 후보 상태값(gt)에 대한 요소별 곱셈(Hadamard Product; 아다마르곱)을 수행한 결과로써 산출되는 제2 결과값(it·gt)을 생성할 수 있다.In addition, in the step S420, a second result calculated as a result of performing element-by-element multiplication (Hadamard Product) on the gate value (i t ) and the candidate state value (g t ) generated in the above-described step A value (i t · g t ) can be created.

상기 상태값(Ct)을 생성하는 단계(S430)는 상기 S410 단계에 의해 생성된 제1 결과값(ft)과 상기 S420 단계에 의해 생성된 제2 결과값(it·gt)에 기초하여 현재 시점(t)에 대응하는 셀 상태값(Ct)을 생성한다.In the step of generating the state value (C t ) (S430), the first result value (f t ) generated by the step S410 and the second result value (i t g t ) generated by the step S420 are Based on this, a cell state value (C t ) corresponding to the current time point (t) is generated.

구체적으로, 상기 S430 단계는, 제1 결과값(ft)과 현재 시점의 바로 이전 시점(t-1)의 셀 상태값(Ct-1)을 요소별 곱(·)한 후 제2 결과값(it·gt)과 더한 결과로써 산출되는 값을 현재 시점(t)의 셀 상태값(Ct)으로 저장할 수 있다.Specifically, in the step S430, the first result value (f t ) is multiplied (·) by the cell state value (C t-1 ) of the time point (t - 1) immediately preceding the current point in time, and then the second result is obtained. A value calculated as a result of adding the value (i t ·g t ) may be stored as a cell state value (C t ) at the current point in time (t).

상기 제3 결과값을 생성하는 단계(S440)는 현재 시점(t)의 셀 상태값(Ct)의 출력 정도에 기초하여 기설정된 제3 반영률을 적용함에 따른 제3 결과값(ot)을 생성한다.In the step of generating the third result value (S440), a third result value (o t ) is obtained by applying a preset third reflection factor based on the output level of the cell state value (C t ) at the current point in time (t). generate

여기서, 상기 S440 단계는 상기 수학식 7과 같이 현재 시점(t)의 입력값과 현재 시점의 바로 이전 시점(t-1)의 상태값(ht-1) 각각에 기설정된 가중치(Wo)를 반영한 후 이를 모두 합한 값을 상기 제3 반영률에 대응하는 시그모이드(sigmoid) 함수에 적용함에 따른 '0' 내지 '1' 사이의 제3 결과값(ot)을 생성할 수 있다.Here, in the step S440, as shown in Equation 7, the input value of the current time point (t) and the state value (h t-1) of the time point (t-1 ) immediately preceding the current time point have a preset weight (W o ) A third resultant value (o t ) between '0' and '1' may be generated by applying the sum of all values to a sigmoid function corresponding to the third reflection factor after reflecting .

상기 상태값(ht)을 생성하는 단계(S450)는, 현재 시점(t)에 대응하는 셀 상태값(Ct)과 상기 제3 결과값을 상기 활성 함수에 적용한 결과에 기초하여 현재 시점(t)에 대응하는 상태값(ht)을 생성한다.In the step of generating the state value (h t ) (S450), the current time point (S450) is based on a result of applying the cell state value (C t ) corresponding to the current time point (t) and the third result value to the activation function ( A state value (h t ) corresponding to t) is generated.

이때, 상기 활성 함수는 비선형 함수인 하이퍼볼릭탄젠트(tanh) 함수를 포함할 수 있고, 이러한 경우 현재 시점(t)에 대응하는 상태값(ht)에 대한 수식은 상기 수학식 8과 같다.In this case, the activation function may include a hyperbolic tangent (tanh) function, which is a nonlinear function, and in this case, the equation for the state value (h t ) corresponding to the current time point (t) is as shown in Equation 8 above.

다음으로, 상기 입력 시점이 마지막인 입력값(Xt)에 대응되는 상태값(ht)에 기초하여 현재 시점(t)에 대한 소정의 출력값(yt)을 생성한다(S500).Next, a predetermined output value (y t ) for the current time point (t) is generated based on the state value (h t ) corresponding to the input value (X t ) at which the input time point is the last (S500).

여기서, 상기 S500 단계는 시계열 정보(Ts)에 기초한 입력 시점이 마지막인 입력층(Xt)에 대응하여 상기 S400 단계에 의해 생성된 상태값(ht)에 소정의 출력 가중치(Wy)가 반영된 값을 출력값(yt)으로 생성하여 저장하는 것일 수 있으며, 이를 수식으로 정리하면 상기 수학식 9와 같다.Here, in the step S500, a predetermined output weight (Wy) is reflected in the state value (h t ) generated by the step S400 corresponding to the input layer (X t ) in which the input time point based on the time series information (Ts) is the last. It may be to generate and store a value as an output value (y t ), which is summarized as Equation 9 above.

다음으로, S500 단계에 의해 생성된 출력값(yt)에 기초하여 기설정된 복수 개의 클래스 중 적어도 하나의 클래스에 대응되는 확률값을 산출한다(S600).Next, a probability value corresponding to at least one class among a plurality of preset classes is calculated based on the output value (y t ) generated in step S500 (S600).

이때, 상기 복수 개의 클래스는 알츠하이머병군(AD; Alzheimer's Disease)과 정상군(CN; Cognitively Normal)의 2종류로 구성되거나, 또는 아밀로이드 양성인 알츠하이머병군(Aβ(+)AD), 아밀로이드 음성인 정상군(Aβ(+)CN), 아밀로이드 음성인 알츠하이머병군(Aβ(-)AD), 아밀로이드 양성인 정상군(Aβ(+)CN)의 4종류로 구성될 수도 있다.At this time, the plurality of classes are composed of two types of Alzheimer's Disease (AD) and Cognitively Normal (CN), or amyloid-positive Alzheimer's disease group (Aβ(+)AD), amyloid-negative normal group ( Aβ(+)CN), amyloid-negative Alzheimer's disease group (Aβ(-)AD), and amyloid-positive normal group (Aβ(+)CN).

이상, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.Above, the present invention has been described in detail through preferred embodiments, but the present invention is not limited thereto and may be variously practiced within the scope of the claims.

특히, 전술한 내용은 후술할 발명의 청구범위를 더욱 잘 이해할 수 있도록 본 발명의 특징과 기술적 강점을 다소 폭넓게 상술하였으므로, 상술한 본 발명의 개념과 특정 실시예는 본 발명과 유사 목적을 수행하기 위한 다른 형상의 설계나 수정의 기본으로써 즉시 사용될 수 있음이 해당 기술 분야의 숙련된 사람들에 의해 인식되어야 한다.In particular, the foregoing has outlined rather broadly the features and technical strengths of the present invention so that the claims of the invention to be described later may be better understood, so that the concept and specific embodiments of the present invention described above are intended to serve similar purposes to the present invention. It should be recognized by those skilled in the art that it can be readily used as a basis for designing or modifying other shapes for the purpose.

또한, 상기에서 기술된 실시예는 본 발명에 따른 하나의 실시예일 뿐이며, 해당 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상의 범위에서 다양한 수정 및 변경된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 이러한 다양한 수정 및 변경 또한 본 발명의 기술적 사상의 범위에 속하는 것으로 전술한 본 발명의 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.In addition, the embodiment described above is only one embodiment according to the present invention, and can be implemented in various modified and changed forms within the scope of the technical idea of the present invention by those skilled in the art. You will understand. Therefore, the disclosed embodiments should be considered from an explanatory point of view rather than a limiting point of view, and these various modifications and changes are also shown in the claims of the present invention described above as belonging to the scope of the technical idea of the present invention, and the scope equivalent thereto. Any differences within them should be construed as being included in the present invention.

100: 이미지 획득부 200: 시계열 벡터 생성 모듈
220: 시계열 정보 생성부 240: 이미지 전처리부
242: 공간 정규화부 244: 강도 정규화부
260: 벡터 변환부 262: 영역 검출부
264: 대표값 산출부 266: 스코어 산출부
268: 행렬 생성부 300; 입력 레이어부
400: 은닉 레이어부 410: 삭제 게이트
420: 입력 게이트 430: 출력 게이트
500: 출력 레이어부 600: 확률 산출부
100: image acquisition unit 200: time series vector generation module
220: time series information generation unit 240: image pre-processing unit
242: spatial normalization unit 244: intensity normalization unit
260: vector conversion unit 262: region detection unit
264: representative value calculation unit 266: score calculation unit
268: matrix generator 300; input layer
400: hidden layer unit 410: deletion gate
420: input gate 430: output gate
500: output layer unit 600: probability calculation unit

Claims (18)

아밀로이드 제제가 투여된 진단 대상자의 뇌를 단층 촬영하는 PET 기법에 따라 소정 시간 동안 상기 단층 촬영을 수행함에 따라 연속적으로 촬영된 복수 개의 단층 촬영 이미지로 구성되는 PET 영상을 획득하는 이미지 획득부;
상기 복수 개의 단층 촬영 이미지가 각각 획득된 시간정보에 대응하는 시계열 정보와 상기 단층 촬영 이미지에 대한 영역별 픽셀 조합에 대응하는 스코어값에 기초한 소정의 이미지 벡터를 생성하는 시계열 벡터 생성 모듈;
적어도 하나 이상의 상기 이미지 벡터를 상기 시계열 정보에 기초하여 순차적으로 하나씩 입력받아 입력 시점별로 구분하여 저장하는 복수 개의 입력층을 포함하는 입력 레이어부;
각각의 상기 입력 시점에 대응하는 상기 입력층의 입력값에 기초한 소정의 상태값을 생성하되, 현재 시점에 대응하는 상기 입력층의 입력값과 상기 현재 시점의 바로 이전 시점에 대응하여 생성된 상기 상태값에 기초하여 상기 현재 시점에 대한 상태값을 생성하는 복수 개의 은닉층을 포함하는 은닉 레이어부;
상기 입력 시점이 마지막인 상기 입력층에 대응되는 상기 은닉층의 상태값에 기초하여 상기 현재 시점에 대한 소정의 출력값을 생성하는 출력 레이어부; 및
상기 출력값에 기초하여 기설정된 복수 개의 클래스 중 적어도 하나의 클래스에 대응되는 확률값을 산출하는 확률 산출부;를 포함하며,
상기 복수 개의 단층 촬영 이미지는,
상기 아밀로이드 제제가 투여된 시점으로부터 제거되는 시점까지의 상기 진단 대상자의 체내 흡수 시간 중에서 초기 구간에 대응하여 획득되는 것을 특징으로 하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치.
an image acquiring unit configured to obtain a PET image consisting of a plurality of tomographic images sequentially taken by performing tomography for a predetermined time according to a PET technique for taking tomography of the brain of a subject to whom an amyloid agent is administered;
a time-series vector generation module that generates a predetermined image vector based on time-series information corresponding to time information obtained from each of the plurality of tomographic images and a score value corresponding to a pixel combination of each region of the tomography image;
an input layer unit including a plurality of input layers which sequentially receive at least one image vector one by one based on the time-series information and classify and store the image vectors according to input time points;
A predetermined state value is generated based on the input value of the input layer corresponding to each input time point, and the state generated corresponding to the input value of the input layer corresponding to the current time point and a time point immediately before the current time point a hidden layer unit including a plurality of hidden layers that generate a state value for the current view based on a value;
an output layer unit generating a predetermined output value for the current point in time based on a state value of the hidden layer corresponding to the input layer at which the input point in time is the last; and
A probability calculation unit for calculating a probability value corresponding to at least one class among a plurality of predetermined classes based on the output value; includes,
The plurality of tomographic images,
Time-series based PET image analysis device for determining brain disease, characterized in that obtained in correspondence with the initial section of the absorption time in the body of the diagnosed subject from the time the amyloid agent is administered to the time it is removed.
제1항에 있어서,
상기 은닉 레이어부는,
내부에 히든 스테이트를 포함하는 셀 구조로 마련되어 기저장된 활성 함수에 따른 소정의 상태값을 생성하여 상기 히든 스테이트에 저장하는 복수 개의 은닉층을 포함하되,
상기 복수 개의 입력층의 개수에 대응되도록 마련되는 입력 노드를 통해 상기 복수 개의 은닉층과 상기 복수 개의 입력층이 각각 연결되고 소정의 연결 노드를 통해 서로 인접한 적어도 한 쌍의 상기 은닉층 사이를 직렬로 상호간 연결함에 따라 현재 시점에 대응하는 상기 입력층의 입력값과 상기 현재 시점의 바로 이전 시점에 대응하여 기저장된 상기 상태값을 상기 활성 함수에 적용한 결과에 기초하여 상기 현재 시점에 대응하는 상기 상태값을 생성하는 것을 특징으로 하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치.
According to claim 1,
The hidden layer unit,
A plurality of hidden layers provided in a cell structure including a hidden state therein to generate a predetermined state value according to a pre-stored activation function and store it in the hidden state,
The plurality of hidden layers and the plurality of input layers are connected to each other through input nodes corresponding to the number of the plurality of input layers, and at least one pair of the hidden layers adjacent to each other are connected in series to each other through a predetermined connection node. Accordingly, the state value corresponding to the current time point is generated based on a result of applying the activation function to the input value of the input layer corresponding to the current time point and the state value previously stored corresponding to a time point immediately before the current time point Time series-based PET image analysis device for brain disease determination, characterized in that.
제2항에 있어서,
상기 은닉 레이어부는,
상기 은닉층은 내부에 셀 스테이트를 더 포함하는 셀 구조로 마련되어 상기 활성 함수에 따른 소정의 상태값을 생성하여 상기 히든 스테이트에 저장하되,
상기 현재 시점에 대응하는 상기 입력층의 입력값에 기초한 입력 데이터와 상기 현재 시점의 바로 이전 시점에 대응하는 상기 상태값에 기초한 과거 데이터 각각에 대응하여 기설정된 반영률을 적용한 결과에 기초하여 상기 현재 시점에 대응하는 상기 은닉층의 셀 상태값을 생성하여 상기 셀 스테이트에 저장하고,
상기 기저장된 셀 상태값을 상기 활성 함수에 적용하여 상기 현재 시점에 대응하는 상기 상태값을 생성하는 것을 특징으로 하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치.
According to claim 2,
The hidden layer unit,
The hidden layer is provided with a cell structure further including a cell state therein to generate a predetermined state value according to the activation function and store it in the hidden state,
Based on a result of applying a preset reflectance corresponding to each of input data based on the input value of the input layer corresponding to the current view and past data based on the state value corresponding to a time immediately before the current view, the current view A cell state value of the hidden layer corresponding to is generated and stored in the cell state;
Time-series based PET image analysis device for determining brain disease, characterized in that the state value corresponding to the current time point is generated by applying the previously stored cell state value to the activation function.
제3항에 있어서,
상기 은닉 레이어부는,
상기 과거 데이터의 삭제 정도에 기초하여 기설정된 제1 반영률을 적용함에 따른 제1 결과값을 생성하여 상기 셀 스테이트로 전달하는 삭제 게이트;
상기 입력 데이터의 기억 정도에 기초하여 기설정된 제2 반영률을 적용함에 따른 게이트값과, 상기 과거 데이터와 상기 입력 데이터를 상기 활성 함수에 적용함에 따른 후보 상태값에 대한 기설정된 연산을 수행함에 따른 제2 결과값을 생성하여 상기 셀 스테이트로 전달하는 입력 게이트; 및
상기 셀 상태값의 출력 정도에 기초하여 기설정된 제3 반영률을 적용함에 따른 제3 결과값을 생성하는 출력 게이트;를 포함하며,
상기 제1 결과값 및 상기 제2 결과값에 기초하여 상기 현재 시점에 대응하는 상기 셀 상태값을 생성하고,
상기 현재 시점에 대응하는 상기 셀 상태값과 상기 제3 결과값을 상기 활성 함수에 적용한 결과에 기초하여 상기 현재 시점에 대응하는 상기 상태값을 생성하는 것을 특징으로 하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치.
According to claim 3,
The hidden layer unit,
a deletion gate generating a first result value by applying a predetermined first reflection factor based on the degree of deletion of the past data and transmitting the first result value to the cell state;
A gate value by applying a second reflectance preset based on the storage degree of the input data and a candidate state value by applying the past data and the input data to the activation function. an input gate generating 2 result values and transferring them to the cell state; and
An output gate generating a third resultant value by applying a preset third reflection factor based on the output degree of the cell state value;
generating the cell state value corresponding to the current time point based on the first result value and the second result value;
Based on a result of applying the cell state value corresponding to the current time point and the third result value to the activation function, the state value corresponding to the current time point is generated. PET image analysis device.
제2항에 있어서,
상기 출력 레이어부는,
소정의 출력 노드를 통해 상기 복수 개의 은닉층 각각에 연결되되, 상기 시계열 정보에 기초한 입력 시점이 마지막인 상기 입력층에 대응하여 연결된 상기 은닉층의 상태값에 소정의 출력 가중치가 반영된 값을 출력값으로 생성하여 저장하는 것을 특징으로 하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치.
According to claim 2,
The output layer unit,
It is connected to each of the plurality of hidden layers through a predetermined output node, and a value in which a predetermined output weight is reflected in the state value of the hidden layer connected to the input layer corresponding to the input layer at which the input time based on the time series information is the last is generated as an output value A time-series-based PET image analysis device for determining brain disease, characterized in that for storing.
제1항에 있어서,
상기 시계열 벡터 생성 모듈은,
상기 복수 개의 단층 촬영 이미지가 각각 획득된 시간정보를 검출하여 이를 시간 순서대로 정렬함에 따른 이미지별 순서정보를 생성하고, 각각의 상기 단층 촬영 이미지에 대응하는 상기 시간정보 및 상기 순서정보에 기초하여 상기 복수 개의 단층 촬영 이미지에 대한 시계열 정보를 생성하는 시계열 정보 생성부;
상기 복수 개의 단층 촬영 이미지를 기설정된 영상처리 기법에 따라 정규화하여 2차원 배열 형식의 정규화된 이미지로 변환하는 이미지 전처리부; 및
상기 정규화된 이미지에 대한 영역별 픽셀 조합에 대응하는 스코어값을 산출한 후 상기 산출된 스코어값과 상기 생성된 시계열 정보에 기초한 소정의 이미지 벡터로 변환하는 벡터 변환부;를 포함하는 것을 특징으로 하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치.
According to claim 1,
The time series vector generation module,
Detecting time information obtained from each of the plurality of tomographic images and arranging them in chronological order to generate order information for each image, and based on the time information and the order information corresponding to each of the tomographic images, a time-series information generating unit generating time-series information for a plurality of tomographic images;
an image pre-processing unit normalizing the plurality of tomographic images according to a predetermined image processing technique and converting them into normalized images in a 2D array format; and
and a vector converter for calculating a score value corresponding to a pixel combination for each region of the normalized image and then converting it into a predetermined image vector based on the calculated score value and the generated time-series information. A time-series-based PET image analysis device for brain disease determination.
제6항에 있어서,
상기 벡터 변환부는,
각각의 상기 정규화된 이미지를 기설정된 SUV 기법에 기초한 관심 영역에 대응하는 복수 개의 영역으로 구분하여 영역별 픽셀 조합을 검출하는 영역 검출부;
상기 검출된 영역별 픽셀 조합에 대한 대표값을 산출하는 대표값 산출부;
상기 산출된 대표값을 기설정된 색 모델에 적용한 결과에 기초한 명도 좌표값에 대응하는 스코어값을 산출하는 스코어 산출부; 및
상기 산출된 스코어값과 상기 생성된 시계열 정보에 기초한 소정의 이미지 벡터에 대한 행렬 데이터를 생성하는 행렬 생성부;를 포함하는 것을 특징으로 하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치.
According to claim 6,
The vector converter,
a region detection unit dividing each of the normalized images into a plurality of regions corresponding to a region of interest based on a predetermined SUV technique and detecting a pixel combination for each region;
a representative value calculating unit calculating a representative value for the pixel combination for each detected region;
a score calculation unit that calculates a score value corresponding to a lightness coordinate value based on a result of applying the calculated representative value to a preset color model; and
A time-series-based PET image analysis device for determining a brain disease, comprising: a matrix generator for generating matrix data for a predetermined image vector based on the calculated score value and the generated time-series information.
제6항에 있어서,
상기 이미지 전처리부는,
상기 복수 개의 단층 촬영 이미지를 기설정된 볼륨 데이터로 공간 정규화하는 공간 정규화부; 및
상기 볼륨 데이터를 구성하는 복수 개의 복셀 각각의 값을 기설정된 스케일 팩터에 따라 일정 비율로 스케일링하는 강도 정규화부;를 포함하는 것을 특징으로 하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 장치.
According to claim 6,
The image pre-processing unit,
a spatial normalization unit for spatially normalizing the plurality of tomographic images with predetermined volume data; and
A time-series-based PET image analysis device for determining a brain disease, comprising: an intensity normalizer that scales each value of a plurality of voxels constituting the volume data at a predetermined ratio according to a preset scale factor.
아밀로이드 제제가 투여된 진단 대상자의 뇌를 단층 촬영하는 PET 기법에 따라 소정 시간 동안 상기 단층 촬영을 수행함에 따라 연속적으로 촬영된 복수 개의 단층 촬영 이미지로 구성되는 PET 영상을 획득하는 단계;
상기 복수 개의 단층 촬영 이미지가 각각 획득된 시간정보에 대응하는 시계열 정보와 상기 단층 촬영 이미지에 대한 영역별 픽셀 조합에 대응하는 스코어값에 기초한 소정의 이미지 벡터를 생성하는 단계;
적어도 하나 이상의 상기 이미지 벡터를 상기 시계열 정보에 기초하여 순차적으로 하나씩 입력받아 입력 시점별로 구분하여 복수 개의 입력값으로 저장하는 단계;
각각의 상기 입력 시점에 대응하는 입력값에 기초한 소정의 상태값을 생성하되, 현재 시점에 대응하는 상기 입력값과 상기 현재 시점의 바로 이전 시점에 대응하여 생성된 상기 상태값에 기초하여 상기 현재 시점에 대한 상태값을 생성하는 단계;
상기 입력 시점이 마지막인 상기 입력값에 대응되는 상기 상태값에 기초하여 상기 현재 시점에 대한 소정의 출력값을 생성하는 단계; 및
상기 출력값에 기초하여 기설정된 복수 개의 클래스 중 적어도 하나의 클래스에 대응되는 확률값을 산출하는 단계;를 포함하며,
상기 복수 개의 단층 촬영 이미지는,
상기 아밀로이드 제제가 투여된 시점으로부터 제거되는 시점까지의 상기 진단 대상자의 체내 흡수 시간 중에서 초기 구간에 대응하여 획득되는 것을 특징으로 하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 방법.
Obtaining a PET image consisting of a plurality of tomographic images sequentially taken by performing tomography for a predetermined time according to a PET technique for taking tomography of the brain of a subject to whom an amyloid agent has been administered;
generating a predetermined image vector based on time-series information corresponding to time information obtained for each of the plurality of tomographic images and a score value corresponding to a pixel combination for each region of the tomographic image;
receiving at least one image vector sequentially one by one based on the time-series information, classifying the image vectors according to input time points, and storing them as a plurality of input values;
A predetermined state value is generated based on an input value corresponding to each input time point, and the current time point is based on the input value corresponding to the current time point and the state value generated corresponding to a time point immediately before the current time point. generating a state value for;
generating a predetermined output value for the current point in time based on the state value corresponding to the input value at which the input point in time is the last; and
Calculating a probability value corresponding to at least one class among a plurality of predetermined classes based on the output value; includes,
The plurality of tomographic images,
Time series-based PET image analysis method for determining brain disease, characterized in that obtained in correspondence with the initial section of the absorption time in the body of the diagnosed subject from the time the amyloid agent is administered to the time it is removed.
제9항에 있어서,
상기 상태값을 생성하는 단계는,
상기 입력값을 입력받아 기저장된 활성 함수에 따른 소정의 상태값을 생성하여 저장하되, 현재 시점에 대응하는 상기 입력값과 상기 현재 시점의 바로 이전 시점에 대응하여 기저장된 상기 상태값을 상기 활성 함수에 적용한 결과에 기초하여 상기 현재 시점에 대응하는 상기 상태값을 생성하는 것을 특징으로 하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 방법.
According to claim 9,
The step of generating the state value is,
Upon receiving the input value, a predetermined state value according to a previously stored activation function is generated and stored, and the input value corresponding to the current time point and the state value previously stored corresponding to the time point immediately before the current time point are converted into the activation function. Time-series-based PET image analysis method for determining brain disease, characterized in that for generating the state value corresponding to the current time point based on a result applied to.
제10항에 있어서,
상기 상태값을 생성하는 단계는,
상기 현재 시점에 대응하는 상기 입력값에 기초한 입력 데이터와 상기 현재 시점의 바로 이전 시점에 대응하는 상기 상태값에 기초한 과거 데이터 각각에 대응하여 기설정된 반영률을 적용한 결과에 기초하여 상기 현재 시점에 대응하는 셀 상태값을 생성하여 저장하고, 상기 기저장된 셀 상태값을 상기 활성 함수에 적용하여 상기 현재 시점에 대응하는 상기 상태값을 생성하는 것을 특징으로 하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 방법.
According to claim 10,
The step of generating the state value is,
Corresponding to the current time point based on a result of applying a predetermined reflection rate corresponding to each of input data based on the input value corresponding to the current point in time and past data based on the state value corresponding to a time point immediately before the current point in time Time-series-based PET image analysis method for determining brain disease, characterized by generating and storing a cell state value, and generating the state value corresponding to the current time point by applying the previously stored cell state value to the activation function. .
제11항에 있어서,
상기 상태값을 생성하는 단계는,
상기 과거 데이터의 삭제 정도에 기초하여 기설정된 제1 반영률을 적용함에 따른 제1 결과값을 생성하여 상기 셀 상태값에 반영하는 단계;
상기 입력 데이터의 기억 정도에 기초하여 기설정된 제2 반영률을 적용함에 따른 게이트값과, 상기 과거 데이터와 상기 입력 데이터를 상기 활성 함수에 적용함에 따른 후보 상태값에 대한 기설정된 연산을 수행함에 따른 제2 결과값을 생성하여 상기 셀 상태값에 반영하는 단계;
상기 제1 결과값 및 상기 제2 결과값에 기초하여 상기 현재 시점에 대응하는 상기 셀 상태값을 생성하는 단계;
상기 셀 상태값의 출력 정도에 기초하여 기설정된 제3 반영률을 적용함에 따른 제3 결과값을 생성하는 단계; 및
상기 현재 시점에 대응하는 상기 셀 상태값과 상기 제3 결과값을 상기 활성 함수에 적용한 결과에 기초하여 상기 현재 시점에 대응하는 상기 상태값을 생성하는 단계;를 포함하는 것을 특징으로 하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 방법
According to claim 11,
The step of generating the state value is,
generating a first result value by applying a predetermined first reflection rate based on the degree of deletion of the past data and reflecting the first result value to the cell state value;
A gate value by applying a second reflectance preset based on the storage degree of the input data and a candidate state value by applying the past data and the input data to the activation function. 2 generating a result value and reflecting it to the cell state value;
generating the cell state value corresponding to the current time point based on the first result value and the second result value;
generating a third result value by applying a predetermined third reflectance based on the output degree of the cell state value; and
and generating the state value corresponding to the current time point based on a result of applying the cell state value corresponding to the current time point and the third result value to the activation function. Time series-based PET image analysis method for
제9항에 있어서,
상기 출력값을 생성하는 단계는,
상기 시계열 정보에 기초한 입력 시점이 마지막인 상기 입력값에 대응하는 상기 상태값에 소정의 출력 가중치가 반영된 값을 출력값으로 생성하여 저장하는 것을 특징으로 하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 방법.
According to claim 9,
The step of generating the output value is,
A time-series-based PET image analysis method for determining brain disease, characterized in that a value obtained by reflecting a predetermined output weight in the state value corresponding to the input value at which the input time point based on the time-series information is the last is generated as an output value and stored. .
제9항에 있어서,
상기 이미지 벡터를 생성하는 단계는,
상기 복수 개의 단층 촬영 이미지가 각각 획득된 시간정보를 검출하여 이를 시간 순서대로 정렬함에 따른 이미지별 순서정보를 생성하고, 각각의 상기 단층 촬영 이미지에 대응하는 상기 시간정보 및 상기 순서정보에 기초하여 상기 복수 개의 단층 촬영 이미지에 대한 시계열 정보를 생성하는 단계;
상기 복수 개의 단층 촬영 이미지를 기설정된 영상처리 기법에 따라 정규화하여 2차원 배열 형식의 정규화된 이미지로 변환하는 단계; 및
상기 정규화된 이미지에 대한 영역별 픽셀 조합에 대응하는 스코어값을 산출한 후 상기 산출된 스코어값과 상기 생성된 시계열 정보에 기초한 소정의 이미지 벡터로 변환하는 단계;를 포함하는 것을 특징으로 하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 방법.
According to claim 9,
The step of generating the image vector,
Detecting time information obtained from each of the plurality of tomographic images and arranging them in chronological order to generate order information for each image, and based on the time information and the order information corresponding to each of the tomographic images, generating time-series information for a plurality of tomographic images;
normalizing the plurality of tomographic images according to a predetermined image processing technique and converting them into normalized images in a 2D array format; and
Calculating a score value corresponding to a pixel combination for each region of the normalized image and then converting it into a predetermined image vector based on the calculated score value and the generated time-series information; Time series-based PET image analysis method for judgment.
제14항에 있어서,
상기 이미지 벡터로 변환하는 단계는,
각각의 상기 정규화된 이미지를 기설정된 SUV 기법에 기초한 관심 영역에 대응하는 복수 개의 영역으로 구분하여 영역별 픽셀 조합을 검출하는 단계;
상기 검출된 영역별 픽셀 조합에 대한 대표값을 산출하는 단계;
상기 산출된 대표값을 기설정된 색 모델에 적용한 결과에 기초한 명도 좌표값에 대응하는 스코어값을 산출하는 단계; 및
상기 산출된 스코어값과 상기 생성된 시계열 정보에 기초한 소정의 이미지 벡터에 대한 행렬 데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 방법.
According to claim 14,
The step of converting the image vector,
dividing each of the normalized images into a plurality of regions corresponding to a region of interest based on a predetermined SUV technique and detecting a pixel combination for each region;
calculating a representative value of the pixel combination for each detected region;
calculating a score value corresponding to a lightness coordinate value based on a result of applying the calculated representative value to a preset color model; and
Generating matrix data for a predetermined image vector based on the calculated score value and the generated time-series information; time-series-based PET image analysis method for determining brain disease, comprising:
제14항에 있어서,
상기 정규화된 이미지로 변환하는 단계는,
상기 복수 개의 단층 촬영 이미지를 기설정된 볼륨 데이터로 공간 정규화하는 단계; 및
상기 볼륨 데이터를 구성하는 복수 개의 복셀 각각의 값을 기설정된 스케일 팩터에 따라 일정 비율로 스케일링하는 단계;를 포함하는 것을 특징으로 하는 뇌질환 판단을 위한 시계열 기반의 PET 영상 분석 방법.
According to claim 14,
The step of converting the normalized image,
spatially normalizing the plurality of tomographic images with preset volume data; and
Scaling each value of a plurality of voxels constituting the volume data at a predetermined ratio according to a predetermined scale factor; time-series-based PET image analysis method for determining a brain disease, comprising:
삭제delete 삭제delete
KR1020210010683A 2021-01-26 2021-01-26 Pet image analyzing apparatus based on time series for determining brain disease, and method thereof KR102532851B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210010683A KR102532851B1 (en) 2021-01-26 2021-01-26 Pet image analyzing apparatus based on time series for determining brain disease, and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210010683A KR102532851B1 (en) 2021-01-26 2021-01-26 Pet image analyzing apparatus based on time series for determining brain disease, and method thereof

Publications (2)

Publication Number Publication Date
KR20220108272A KR20220108272A (en) 2022-08-03
KR102532851B1 true KR102532851B1 (en) 2023-05-16

Family

ID=82847371

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210010683A KR102532851B1 (en) 2021-01-26 2021-01-26 Pet image analyzing apparatus based on time series for determining brain disease, and method thereof

Country Status (1)

Country Link
KR (1) KR102532851B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091418A1 (en) 2004-10-04 2017-03-30 Banner Health Methodologies linking patterns from multi-modality datasets

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102348139B1 (en) 2014-10-31 2022-01-10 한국전기연구원 Method and system of interior tomography using dual resolution projection data in region of interest
KR102051666B1 (en) * 2017-12-07 2019-12-04 사회복지법인 삼성생명공익재단 A measuring method and apparatus of alzheimer's disease clinical stage using amyloid pet
KR102170968B1 (en) 2018-10-26 2020-10-28 주식회사 피도텍 Method and system for constructing meta model based on machine learning
KR102421110B1 (en) * 2020-10-26 2022-07-14 동아대학교 산학협력단 Pet image classification apparatus for determining brain disease based on deep learning and method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091418A1 (en) 2004-10-04 2017-03-30 Banner Health Methodologies linking patterns from multi-modality datasets

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
X. Hong et al., "Predicting Alzheimer’s Disease Using LSTM," in IEEE Access, vol. 7, pp. 80893-80901, 2019, doi: 10.1109/ACCESS.2019.2919385. 2019.5.27. 공개.*

Also Published As

Publication number Publication date
KR20220108272A (en) 2022-08-03

Similar Documents

Publication Publication Date Title
US9370304B2 (en) Subvolume identification for prediction of treatment outcome
Kurgan et al. Knowledge discovery approach to automated cardiac SPECT diagnosis
CN113711271A (en) Deep convolutional neural network for tumor segmentation by positron emission tomography
US8170347B2 (en) ROI-based assessment of abnormality using transformation invariant features
Mahanand et al. Identification of brain regions responsible for Alzheimer’s disease using a Self-adaptive Resource Allocation Network
CN101626726B (en) Identification and analysis of lesions in medical imaging
KR101902883B1 (en) A method for analyzing plaque in a computed tomography image and an apparatus thereof
WO2010117576A2 (en) Image processing and machine learning for diagnostic analysis of microcirculation
US10522253B2 (en) Machine-learnt prediction of uncertainty or sensitivity for hemodynamic quantification in medical imaging
JP4589114B2 (en) Display image data information
US20230218169A1 (en) Brain imaging system and brain imaging method
Jafari et al. Automated diagnosis of cardiovascular diseases from cardiac magnetic resonance imaging using deep learning models: A review
JP2006500099A5 (en)
US20230277151A1 (en) System and Methods of Prediction of Ischemic Brain Tissue Fate from Multi-Phase CT-Angiography in Patients with Acute Ischemic Stroke using Machine Learning
EP3923810A1 (en) Prediction of coronary microvascular dysfunction from coronary computed tomography
Marin et al. Numerical surrogates for human observers in myocardial motion evaluation from SPECT images
Li et al. An 8-layer residual U-Net with deep supervision for segmentation of the left ventricle in cardiac CT angiography
CN112237435A (en) Method and apparatus for imaging in computed tomography
US11704803B2 (en) Methods and systems using video-based machine learning for beat-to-beat assessment of cardiac function
JP4302180B2 (en) Method and apparatus for calculating an index relating to local hemodynamics
KR102532851B1 (en) Pet image analyzing apparatus based on time series for determining brain disease, and method thereof
KR102461893B1 (en) Pet image medium-term data prediction apparatus based on least squares method for determining brain disease, and method thereof
EP3477551B1 (en) Machine-learnt prediction of uncertainty or sensitivity for hemodynamic quantification in medical imaging
Takagi et al. Comparison of determinations of left atrial volume by the biplane area-length and Simpson's methods using 64-slice computed tomography
Daviller et al. Direct comparison of Bayesian and Fermi deconvolution approaches for myocardial blood flow quantification: In silico and clinical validations

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant