KR102164091B1 - PET image analysis method for diagnosis of dementia - Google Patents

PET image analysis method for diagnosis of dementia Download PDF

Info

Publication number
KR102164091B1
KR102164091B1 KR1020190011813A KR20190011813A KR102164091B1 KR 102164091 B1 KR102164091 B1 KR 102164091B1 KR 1020190011813 A KR1020190011813 A KR 1020190011813A KR 20190011813 A KR20190011813 A KR 20190011813A KR 102164091 B1 KR102164091 B1 KR 102164091B1
Authority
KR
South Korea
Prior art keywords
dementia
image
coronal
sagittal
plane
Prior art date
Application number
KR1020190011813A
Other languages
Korean (ko)
Other versions
KR20200094393A (en
Inventor
박장식
강도영
Original Assignee
동아대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동아대학교 산학협력단 filed Critical 동아대학교 산학협력단
Priority to KR1020190011813A priority Critical patent/KR102164091B1/en
Publication of KR20200094393A publication Critical patent/KR20200094393A/en
Application granted granted Critical
Publication of KR102164091B1 publication Critical patent/KR102164091B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/037Emission tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Neurology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Neurosurgery (AREA)
  • Nuclear Medicine (AREA)

Abstract

본 발명은 치매 진단을 위한 PET(양전자방출단층촬영)영상 분석 방법에 관한 것으로, 보다 구체적으로는 뇌의 축상면을 단층으로 촬영한 PET영상으로 구한 축상면 영상으로부터 시상면(sagittal plane)과 관상면(coronal plane) 영상을 자동으로 생성한 후, 이들 3 가지 단면 영상에 인공지능 학습 결과를 활용하여 치매에 대하여 정상, 초기, 중기, 말기 또는 정상, 치매 초기, 치매 단계를 자동으로 분류하여 분석할 수 있는 치매 진단 및 예측을 위한 심층학습 기반 PET 영상 분석 방법에 관한 것이다.
본 발명은 뇌의 축상면을 단층으로 촬영하여 복수개의 축상면 영상을 생성한 후, 복수개의 상기 축상면 영상에 대하여 영상 내삽(image interpolation)을 수행하여 3차원 모델을 생성하고, 상기 3차원 모델의 시상면과 관상면에 대하여 일정한 편 간격으로 표본화(sampling)하여 복수개의 시상면 영상과 복수개의 관상면 영상을 생성하고 기계학습 방법을 이용하여 학습을 수행하고, 학습의 결과를 이용하여 치매의 정도를 추론하는 과정을 수행하는 치매 진단을 수행하는 추론기를 구비하는 PET영상 분석 방법으로서,
복수개로 이루어진 소정의 축상면 영상을 제공하는 단계;
3차원 모델 생성기를 이용하여 상기 소정의 축상면 영상을 기초로 복수개로 이루어진 소정의 시상면 영상 및 관상면 영상을 각각 생성하는 단계;
상기 소정의 축상면 영상, 상기 소정의 시상면 영상, 및 상기 소정의 관상면 영상을 축상면 추론기, 시상면 추론기, 관상면 추론기에 제공하고 상기 축상면 추론기, 시상면 추론기, 및 관상면 추론기의 결과를 선택기에 입력하여 치매 진단을 수행하는 단계를 구비하며,

상기 축상면 영상에 대하여 정상, 초기, 치매 출력값을

Figure 112019010927193-pat00071
,
Figure 112019010927193-pat00072
,
Figure 112019010927193-pat00073
으로 각각 정의하고,
상기 시상면 영상에 대하여 정상, 초기, 치매 출력값을
Figure 112019010927193-pat00074
,
Figure 112019010927193-pat00075
,
Figure 112019010927193-pat00076
로 각각 정의하고,
상기 관상면 영상에 대하여 정상, 초기, 치매 출력값을
Figure 112019010927193-pat00077
,
Figure 112019010927193-pat00078
,
Figure 112019010927193-pat00079
로 각각 정의하는 경우,
상기 축상면 영상, 상기 시상면 영상, 및 상기 관상면 영상 각각의 출력값에 대하여 평균값을 아래의 식 (1), (2), (3) 같이 계산하고,
Figure 112019010927193-pat00080
(1)
Figure 112019010927193-pat00081
(2)
Figure 112019010927193-pat00082
(3)
아래의 식 (4)와 같은 기준으로 진단 결과를 산출하며,
Figure 112019010927193-pat00083
(4)
여기서,
Figure 112019010927193-pat00084
는 최종 진단결과로써 0 이면 정상, 1 이면 초기, 2 이면 치매로 분류된다. max()는 원소 중에서 최대값인 것을 특징으로 한다.
본 발명에 따른 치매 진단 및 예측을 위한 심층학습 기반 PET 영상 분석 방법을 실시하는 경우 단순히 뇌의 특정 영상만에 기초한 종래의 진단 방법과 대비하여 보다 입체적이고 정밀한 치매 진단이 가능하다는 이점이 있다.The present invention relates to a PET (positron emission tomography) image analysis method for diagnosing dementia, and more specifically, a sagittal plane and a coronal view from an axial plane image obtained by a PET image obtained by tomography of the axial plane of the brain. After automatically generating a coronal plane image, it is analyzed by automatically classifying and analyzing normal, early, intermediate, late or normal, dementia early, and dementia stages for dementia by using artificial intelligence learning results on these three cross-sectional images. It relates to a PET image analysis method based on deep learning for the diagnosis and prediction of possible dementia.
The present invention generates a plurality of axial plane images by photographing an axial plane of the brain in a tomography, and then image interpolation is performed on the plurality of axial plane images to generate a 3D model, and the 3D model The sagittal and coronal planes of are sampled at regular intervals to generate a plurality of sagittal images and a plurality of coronal images, and learning is performed using a machine learning method. As a PET image analysis method having a reasoning device for performing a diagnosis of dementia that performs a process of inferring a degree,
Providing a predetermined axial plane image consisting of a plurality of;
Generating a plurality of predetermined sagittal images and coronal images, respectively, based on the predetermined axial plane image using a 3D model generator;
The predetermined axial plane image, the predetermined sagittal plane image, and the predetermined coronal plane image are provided to an axial plane reasoning machine, a sagittal plane reasoning machine, a coronal plane reasoning machine, and the axial plane reasoning machine, a sagittal plane reasoning machine, and Comprising the step of performing a diagnosis of dementia by inputting the result of the coronal surface inferior to a selector,

Normal, initial, dementia output values for the axial plane image
Figure 112019010927193-pat00071
,
Figure 112019010927193-pat00072
,
Figure 112019010927193-pat00073
Respectively defined as,
Normal, initial, and dementia output values for the sagittal image
Figure 112019010927193-pat00074
,
Figure 112019010927193-pat00075
,
Figure 112019010927193-pat00076
Respectively defined as,
Normal, initial and dementia output values for the coronal image
Figure 112019010927193-pat00077
,
Figure 112019010927193-pat00078
,
Figure 112019010927193-pat00079
If each is defined as,
The average value of the output values of the axial plane image, the sagittal plane image, and the coronal plane image is calculated as shown in the following equations (1), (2), and (3),
Figure 112019010927193-pat00080
(One)
Figure 112019010927193-pat00081
(2)
Figure 112019010927193-pat00082
(3)
The diagnosis result is calculated based on the criteria shown in Equation (4) below,
Figure 112019010927193-pat00083
(4)
here,
Figure 112019010927193-pat00084
Is the final diagnosis result, and if it is 0, it is classified as normal, if it is 1, it is classified as dementia. max() is characterized by being the maximum value among the elements.
When the PET image analysis method based on deep learning for diagnosing and predicting dementia according to the present invention is performed, there is an advantage in that it is possible to diagnose dementia more three-dimensionally and accurately compared to a conventional diagnosis method based only on a specific image of the brain.

Description

치매 진단 및 예측을 위한 심층학습 기반 PET 영상 분석 방법 {PET image analysis method for diagnosis of dementia}PET image analysis method for diagnosis of dementia based on deep learning for diagnosis and prediction of dementia

본 발명은 치매 진단을 위한 PET(양전자방출단층촬영)영상 분석 방법에 관한 것으로, 보다 구체적으로는 뇌의 축상면을 단층으로 촬영한 PET영상으로 구한 축상면 영상으로부터 시상면(sagittal plane)과 관상면(coronal plane) 영상을 자동으로 생성한 후, 이들 3 가지 단면 영상에 인공지능 학습 결과를 활용하여 치매에 대하여 정상, 초기, 중기, 말기 또는 정상, 치매 초기, 치매 단계를 자동으로 분류하여 분석할 수 있는 치매 진단 및 예측을 위한 심층학습 기반 PET 영상 분석 방법에 관한 것이다.The present invention relates to a PET (positron emission tomography) image analysis method for diagnosing dementia, and more specifically, a sagittal plane and a coronal view from an axial plane image obtained by a PET image obtained by tomography of the axial plane of the brain. After automatically generating a coronal plane image, it is analyzed by automatically classifying and analyzing normal, early, intermediate, late or normal, dementia early, and dementia stages for dementia by using artificial intelligence learning results on these three cross-sectional images. It relates to a PET image analysis method based on deep learning for the diagnosis and prediction of possible dementia.

치매는 현대 생명과학, 의학 분야에서 가장 큰 난제다. Dementia is the biggest challenge in modern life science and medicine.

미국 통계에 따르면 암이나 심혈관 질환 등 주요한 질환에 의한 사망률은 치료법 개선으로 꾸준히 낮아지고 있지만, 오히려 사망률이 높아지고 있는 단 하나의 질병이 바로 치매라고 보고되고 있다.According to US statistics, the mortality rate from major diseases such as cancer and cardiovascular disease is steadily decreasing due to improved treatment, but it is reported that the only disease that is increasing mortality is dementia.

실제로 미국알츠하이머협회에 따르면 2000∼2014년 치매에 따른 사망률은 89% 급증했다. 고령화와 함께 치매 발생률도 높아지고 있는 데다 아직 뚜렷한 원인이 밝혀지지 않아 대책 마련이 어렵기 때문이다. In fact, according to the American Alzheimer's Association, the death rate from dementia from 2000 to 2014 soared 89%. This is because the incidence of dementia is increasing along with the aging population, and it is difficult to come up with a countermeasure as no clear cause has been identified.

한국보건산업진흥원이 2015년 발표한 ‘치매 분야 국가연구개발 조사분석보고서’에 따르면 치매 환자 수는 2015년 100만 명당 46.8명에서 2050년 131.5명으로 세 배로 증가할 것으로 예상된다. According to the “National Research and Development Survey and Analysis Report for Dementia” released in 2015 by the Korea Health Industry Development Institute, the number of dementia patients is expected to triple from 46.8 per 1 million in 2015 to 131.5 in 2050.

치매 원인과 관련해서는 몇 가지 단서만 그림자처럼 알려져 있다. As for the cause of dementia, only a few clues are known as shadows.

치매 환자의 뇌세포 주변에 아밀로이드 베타라는 단백질이 엉긴 덩어리(플라크)가 일종의 노폐물로 관찰된다는 사실이 대표적이다.A typical example is the fact that a lump (plaque) of a protein called amyloid beta around the brain cells of dementia patients is observed as a kind of waste product.

이 노폐물이 신경세포의 괴사를 일으키는 것으로 추정된다. 이 현상이 알려지며 최근 20년 사이에 플라크의 원인 물질인 아밀로이드 베타를 제거하는 치료제 연구가 급물살을 탔다. It is believed that this waste product causes necrosis of nerve cells. As this phenomenon is known, research on treatments to remove amyloid beta, the causative agent of plaque, has been in rapid success in the last 20 years.

문제는 이런 연구에도 불구하고 아직까지 마땅한 치매 해결책을 아무도 찾지 못하고 있다는 점이다. 최 연구부장은 “아밀로이드 베타 플라크를 제거하는 약을 써도 인지적 능력이 개선되지 않는 경우도 많고, 반대로 플라크가 많이 쌓여 있는데도 치매에 걸리지 않는 경우도 있다”고 말했다. The problem is that despite these studies, no one has yet found a dementia solution. Research director Choi said, "There are many cases where cognitive abilities do not improve even with drugs that remove amyloid beta plaques, and on the contrary, there are cases in which dementia does not occur even though a lot of plaque is accumulated."

자연히 약 개발도 더디다. 미국 식품의약국(FDA)의 승인을 받은 약이 4종(칵테일 약 포함 5종) 있지만, 아직은 뇌 신호전달물질을 보충해 전반적인 뇌 활성을 돕는 증상완화제일 뿐 근본적인 치료제는 아니다. Naturally, drug development is also slow. There are four drugs approved by the U.S. Food and Drug Administration (FDA) (5 including cocktail drugs), but it is not a fundamental treatment only as a symptom reliever that helps overall brain activity by supplementing brain signaling substances.

성과가 더뎌 약 개발 포기가 속출하기도 했다. Due to the slow performance, drug development was abandoned one after another.

묵인희 서울대 의대 교수도 2017년 12월 8일 한국과학기술한림원 주최 토론회 ‘치매국가책임제, 과학기술이 어떻게 기여할 것인가’에서 “알츠하이머병 약물 개발 순위가 2015년 6위에서 현재 8위까지 밀려났다”고 언급한 바 있다.Seoul National University School of Medicine Professor Mok In-hee also said, "The Alzheimer's disease drug development ranking has been pushed from 6th in 2015 to 8th in the debate hosted by the National Academy of Science and Technology of Korea" on December 8, 2017. I mentioned it.

최근에는 아밀로이드 베타 단백질만 파고드는 대신, 치매 원인을 다각도로 모색하는 분위기다. In recent years, instead of digging into only amyloid beta protein, the atmosphere is looking for the cause of dementia from various angles.

신희섭 기초과학연구원 인지및사회성연구단장은 “아밀로이드 베타 연구가 성과가 없자 지금은 많은 연구자가 또 다른 노폐물인 ‘타우 단백질’ 분야로 관심을 돌리고 있다”고 말했다. Shin Hee-seop, director of the Research Center for Cognitive and Social Studies of the Institute of Basic Sciences, said, "As the amyloid beta research has not been successful, many researchers are now turning their attention to another waste product, "tau protein."

타우 단백질은 아밀로이드 베타 단백질 이후에 주목받은 대상 물질이다. The tau protein is an object of interest after the amyloid beta protein.

원래는 신경세포 내 미세섬유를 구성하는 재료지만, 아밀로이드 베타에 의해 변형되면 노폐물이 되어 뭉친다. 아밀로이드 베타가 신경세포 바깥에 쌓여 문제를 일으킨다면, 타우 단백질은 신경세포 안에 쌓인다. 그렇다 보니 약물로 뚫기 어렵고, 아밀로이드보다 제거하기 어렵다. Originally, it is a material constituting microfibers in nerve cells, but when it is transformed by amyloid beta, it becomes a waste product and aggregates. If amyloid beta builds up outside the neuron and causes problems, the tau protein builds up inside the neuron. As such, it is difficult to penetrate with drugs, and more difficult to remove than amyloid.

한편, 치매는 유전자와도 관련이 깊다고도 알려져 있다. Meanwhile, dementia is also known to be deeply related to genes.

치매와 관련이 있는 것으로 추정되는 트렘2(TREM2) 유전자를 없앤 쥐는 뇌 속에 문제가 생겼을 때 활동하는 면역세포가 많지만(흰색이 면역세포·왼쪽 사진), 유전자가 있는 쥐는 상대적으로 활동이 떨어졌다. Mice that have removed the TREM2 gene, which is believed to be related to dementia, have many immune cells that are active when there is a problem in the brain (white is immune cells, picture on the left), but mice with the gene are relatively inactive.

완전히 관점을 바꾼 연구도 등장하고도 있다. There are also studies that have completely changed their perspectives.

면역학과 결합해 염증의 관점에서 이해하려는 시도가 대표적이다. An attempt to understand in terms of inflammation combined with immunology is typical.

아밀로이드 등 노폐물 단백질이 신장 등 다른 기관에서 혈액을 타고 뇌로 이동하여 마치 좀비처럼 정상 단백질을 공격해 감염시키는 사례가 발견되면서 이 과정을 규명하기 위한 연구도 진행 중이다. As waste proteins such as amyloid travel through blood from other organs such as the kidneys to the brain, attacking normal proteins like a zombie and infecting them, studies are underway to investigate this process.

뇌 속을 지키는 경찰 역할을 하는 면역세포도 이 과정에서 변성되는 것으로 알려져 있다. Immune cells that act as police officers to protect the brain are also known to be denatured during this process.

또 치매와 연관된 유전자도 게놈 해독 연구를 밝히는 있는 중이다. In addition, genes related to dementia are in the process of revealing genome translation studies.

현재 트렘2(TREM2) 등 3개 정도의 유전자가 주목 받고 있다. Currently, about three genes, such as TREM2, are attracting attention.

한편, 장내 세균과의 연관성도 논의되고 있다. Meanwhile, the association with intestinal bacteria is also being discussed.

아직 치매와 장내세균 사이의 직접 관련성은 밝혀지지 않았지만, 자폐증 등 다른 뇌 질환과의 연관성이 밝혀지면서 주목받고 있다.Although the direct relationship between dementia and intestinal bacteria has not yet been revealed, it is drawing attention as the association with other brain diseases such as autism is revealed.

따라서, 노년의 삶의 질을 개선시키기 위한 치매 예방 및 치료는 매우 시습한 과제 중의 하나라고 할 수 있다. Therefore, it can be said that the prevention and treatment of dementia to improve the quality of life of the elderly is one of the very challenging tasks.

질병관리본부가 발간한 ‘치매 조기진단 연구’ 관련 보고서에 따르면, 빠른 인구 고령화로 치매 유병률이 급증하고 있어 의료비 등이 크게 늘고 있다고 한다.According to a report on ‘Early Diagnosis of Dementia,’ published by the Centers for Disease Control and Prevention, the prevalence of dementia is rapidly increasing due to the rapid aging of the population, and medical expenses are increasing significantly.

65세 이상 노인의 치매 유병률은 2017년 10.18%(72만명)로 집계됐다.The prevalence of dementia among the elderly over 65 was 10.18% (72 million) in 2017.

이후 2020년 10.39%(84만명), 2050년 15.06%(217만명)로 늘어날 것으로 예상됐다.After that, it is expected to increase to 10.39% (84 million) in 2020 and 15.06% (2.17 million) in 2050.

또한 치매는 상당한 장기요양비와 의료비가 발생하는 질환이어서 치매 관리 비용도 증가일로다.In addition, dementia is a disease that incurs significant long-term care and medical expenses, so the cost of managing dementia is also increasing.

국회예산정책처에 따르면 2013년 국가치매관리 비용은 약 11조7000억원으로,GDP(국내총생산)의 1%에 이르렀고, 2050년엔 43조2000억원으로 4배 폭증해 GDP의 1.5% 가량 달할 것으로 추산된다.According to the National Assembly Budget Office, the cost of managing dementia in 2013 was estimated at 11 trillion won, reaching 1% of GDP (Gross Domestic Product), and by 2050 it will quadruple to 43.2 trillion won, reaching 1.5% of GDP. do.

이런 가운데 현재 치매를 완치할 수 있는 치료제는 없지만, 약물치료(증상완화제)를 하면 치매 발병을 지연시킬 수 있어 조기 발견이 중요해지고 있다.Among these, there is currently no cure to cure dementia, but early detection is becoming more important as medication (symptom reliever) can delay the onset of dementia.

치매 초기 단계부터 약물치료시 5년 뒤 요양시설 입원율이 55% 줄어드는 것으로 보고되고 있다.It is reported that the hospitalization rate in nursing facilities decreases by 55% after 5 years of drug treatment from the initial stage of dementia.

질병관리본부 관계자는 “치매는 발병 10∼20년 전에 점차 인지기능 저하가 진행되기 때문에 새로운 조기진단 방법이 요구되고 있다”고 말했다.An official from the Centers for Disease Control and Prevention said, "Because dementia gradually declines in cognitive function 10 to 20 years before the onset, a new early diagnosis method is required."

이어 “경도인지장애 환자의 치매 발생 지연 및 예방을 위한 검사법이 개발돼야 한다”며 “아울러 치매 관련 인체 자원,임상 정보, 뇌 영상 정보<PET도 1 참조>를 활용한 새로운 기술의 등장과 함께 완치 가능한 신약의 개발도 필요하다”고 강조했다. “A test method for delaying and preventing the occurrence of dementia in patients with mild cognitive impairment should be developed.” In addition, he added, “With the advent of new technology using human resources related to dementia, clinical information, and brain imaging information <see PET Figure 1> It is also necessary to develop possible new drugs.”

또한, 치매 조기 진단시 약물 치료를 하면 3조원 가량의 경제ㆍ사회적 비용을 절감시킬 수 있다는 분석도 나와 있다.In addition, there is an analysis that the economic and social costs of about 3 trillion won can be saved by drug treatment in the early diagnosis of dementia.

따라서 치매의 조기 진단은 현실적으로 매우 중요하다고 볼 수 있다. Therefore, early diagnosis of dementia can be viewed as very important in reality.

치매 조기 진단과 관련하여 업계에서 널리 사용되고 있는 방법 중의 하나는 PET 영상을 이용하는 것이다.One of the methods widely used in the industry for early diagnosis of dementia is using PET imaging.

그런데, PET영상을 이용한 종래의 영상분석은 전문가(의사 또는 의료영상 분석가)가 다수의 PET 영상 중에서 5장 정도의 영상을 선택하여 분석하고 치매를 수동으로 진단하고 있다. However, in the conventional image analysis using PET images, an expert (a doctor or a medical image analyst) selects and analyzes about 5 images from a plurality of PET images, and diagnoses dementia manually.

즉, 치매 진단을 위하여 한 사람에 대하여 축상면(axial plane)을 단층으로 평균 110장의 PET 영상을 촬영하는데, 단층 촬영된 110장의 PET 영상 중에서 중간 층(예: 55 번째 층)의 영상 1장과 중간 층에서 가까운 상하 층(예: 45, 50, 60, 65 번째 층)의 영상 각 2장을 치매 분석하는데 이용하고 있는 실정이다. In other words, for the diagnosis of dementia, an average of 110 PET images are taken with a tomography of an axial plane. Among 110 tomographic PET images, one image of the middle layer (eg, the 55th layer) and Two images of each of the upper and lower layers (eg, the 45th, 50th, 60th, and 65th layers) close to the middle layer are being used to analyze dementia.

이 때문에 종래의 PET 영상을 이용한 치매 사전 진단 결과는 신뢰성이 많이 부족한 편이다. For this reason, the results of pre-diagnosis of dementia using PET images of the related art have a lot of lack of reliability.

1. 특허출원번호; 1020160066266 , 발명의 명칭 : 13C 자기공명분광영상을 이용한 조기 치매 진단 방법1. Patent application number; 1020160066266, Title of invention: Early dementia diagnosis method using 13C magnetic resonance spectroscopy

1. F. Li, L. Tran, K.-H. Thung, S. Ji, D. Shen, and J. Li, “A robust deep model for improved classification of AD/MCI patients,” IEEE J. Biomed. Health Inform.,vol. 19, no. 5, pp. 1610-1616, 2015.1. F. Li, L. Tran, K.-H. Thung, S. Ji, D. Shen, and J. Li, “A robust deep model for improved classification of AD/MCI patients,” IEEE J. Biomed. Health Inform., vol. 19, no. 5, pp. 1610-1616, 2015. 2. A. Payan and G. Montana, “Predicting alzheimer’'s disease: a neuroimaging study with 3D convolutional neural networks,” arXiv:1502.02506 [cs.CV], 2015.2. A. Payan and G. Montana, “Predicting alzheimer's disease: a neuroimaging study with 3D convolutional neural networks,” arXiv:1502.02506 [cs.CV], 2015. 3. E. Bron, M. Smits,W. van der Flier et al., "Standardized evaluation of algorithms for computer-aided diagnosis of dementia based on structural MRI: The CADDementia challenge," NeuroImage, 2015.3. E. Bron, M. Smits, W. van der Flier et al., "Standardized evaluation of algorithms for computer-aided diagnosis of dementia based on structural MRI: The CADDementia challenge," NeuroImage, 2015. 4. S. Plis, D. Hjelm, R. Salakhutdinov, E. Allen, H. Bockholt, J. Long, H. Johnson, J. Paulsen, J. Turner, and V. Calhoun, “Deep learning for neuroimaging: a validation study,” Frontiers in Neuroscience, vol. 8, 2014.4. S. Plis, D. Hjelm, R. Salakhutdinov, E. Allen, H. Bockholt, J. Long, H. Johnson, J. Paulsen, J. Turner, and V. Calhoun, “Deep learning for neuroimaging: a validation study,” Frontiers in Neuroscience, vol. 8, 2014.

1. 본 발명은 이러한 종래의 문제점을 해결하기 위하여 제안된 것으로 PET 영상 전부를 이용함은 물론이고 축상면을 기초로 시상면 및 관상면 영상을 자동 생성한 후 이들 영상 전부를 기초로 하여 뇌의 상태를 입체적으로 분석함으로써 치매의 진척도를 자동으로 진단할 수 있는 방법을 제안하고자 한다. 1. The present invention is proposed to solve such a conventional problem, and not only uses all PET images, but also automatically generates sagittal and coronal images based on the axial plane, and then based on all of these images, the state of the brain We propose a method that can automatically diagnose the progress of dementia by analyzing in three dimensions.

2. 3D PET 영상에 대한 딥러닝 분석을 통한 치매 진단 정확도 확보 2. Securing the accuracy of dementia diagnosis through deep learning analysis of 3D PET images

치매 진단을 위한 이용자 1명 당 약 100 슬라이스의 영상을 확보할 수 있으나, 약 100 슬라이스 전체 PET 영상을 의사가(사람이) 모두 확인하고 치매 진단하기 어렵기 때문에 현재는 5 슬라이스만을 활용하여 치매 진단을 하고 있으나, 딥러닝을 적용한 3D PET 영상 분석 즉, 영상 분할과 슬라이스 간의 상관 관계 분석을 수행함으로써 보다 정확한 치매 진단하고자 한다.For the diagnosis of dementia, about 100 slices of images can be obtained per user, but since it is difficult for a doctor (human) to check all of the PET images of about 100 slices and diagnose dementia, currently, only 5 slices are used to diagnose dementia. However, by performing a 3D PET image analysis applying deep learning, that is, a correlation analysis between image segmentation and slices, we intend to diagnose dementia more accurately.

3. 의료 영상 분할 및 분석에 주로 사용되고 있는 U-Net 등의 인코더-디코더 계열 네트워크에서 컨벌루션 창의 크기, 레이어 수 등의 파라메터를 경험적(trial and error)으로 선정하고 있어, 딥러닝 학습 과정에서 GA 알고리즘 등의 최적화 알고리즘을 적용함으로써 체계적(systematically) 으로 딥러닝 파라메터를 선정하여 치매를 진단하는 방법을 제안하고자 한다. 3. In the encoder-decoder network such as U-Net, which is mainly used for segmentation and analysis of medical images, parameters such as the size of the convolution window and the number of layers are selected as trial and error. We propose a method of diagnosing dementia by systematically selecting deep learning parameters by applying an optimization algorithm such as et al.

제 1 실시예Embodiment 1

본 발명은 뇌의 축상면을 단층으로 촬영하여 복수개의 축상면 영상을 생성한 후, 복수개의 상기 축상면 영상에 대하여 영상 내삽(image interpolation)을 수행하여 3차원 모델을 생성하고, 상기 3차원 모델의 시상면과 관상면에 대하여 일정한 편 간격으로 표본화(sampling)하여 복수개의 시상면 영상과 복수개의 관상면 영상을 생성하고 기계학습 방법을 이용하여 학습을 수행하고, 학습의 결과를 이용하여 치매의 정도를 추론하는 과정을 수행하는 치매 진단을 수행하는 추론기를 구비하는 PET영상 분석 방법으로서, The present invention generates a plurality of axial plane images by photographing an axial plane of the brain in a tomography, and then image interpolation is performed on the plurality of axial plane images to generate a 3D model, and the 3D model The sagittal and coronal planes of are sampled at regular intervals to generate a plurality of sagittal images and a plurality of coronal images, and learning is performed using a machine learning method. As a PET image analysis method having a reasoning device for performing a diagnosis of dementia that performs a process of inferring a degree,

복수개로 이루어진 소정의 축상면 영상을 제공하는 단계;Providing a predetermined axial plane image consisting of a plurality of;

3차원 모델 생성기를 이용하여 상기 소정의 축상면 영상을 기초로 복수개로 이루어진 소정의 시상면 영상 및 관상면 영상을 각각 생성하는 단계;Generating a plurality of predetermined sagittal images and coronal images, respectively, based on the predetermined axial plane image using a 3D model generator;

상기 소정의 축상면 영상, 상기 소정의 시상면 영상, 및 상기 소정의 관상면 영상을 축상면 추론기, 시상면 추론기, 관상면 추론기에 제공하고 상기 축상면 추론기, 시상면 추론기, 및 관상면 추론기의 결과를 선택기에 입력하여 치매 진단을 수행하는 단계를 구비하며, The predetermined axial plane image, the predetermined sagittal plane image, and the predetermined coronal plane image are provided to an axial plane reasoning machine, a sagittal plane reasoning machine, a coronal plane reasoning machine, and the axial plane reasoning machine, a sagittal plane reasoning machine, and Comprising the step of performing a diagnosis of dementia by inputting the result of the coronal surface inferior to a selector,

상기 축상면 영상에 대하여 상기 축상면 추론기에서 출력되는 정상, 초기, 치매 출력값을

Figure 112019010927193-pat00001
,
Figure 112019010927193-pat00002
,
Figure 112019010927193-pat00003
으로 각각 정의하고, For the axial plane image, the normal, initial, and dementia output values output from the axial plane inference machine
Figure 112019010927193-pat00001
,
Figure 112019010927193-pat00002
,
Figure 112019010927193-pat00003
Respectively defined as,

상기 시상면 영상에 대하여 상기 시상면 추론기에서 출력되는 정상, 초기, 치매 출력값을

Figure 112019010927193-pat00004
,
Figure 112019010927193-pat00005
,
Figure 112019010927193-pat00006
로 각각 정의하고, The normal, initial, and dementia output values output from the sagittal plane inferred for the sagittal plane image
Figure 112019010927193-pat00004
,
Figure 112019010927193-pat00005
,
Figure 112019010927193-pat00006
Respectively defined as,

상기 관상면 영상에 대하여 상기 관상면 추론기에서 출력되는 정상, 초기, 치매 출력값을

Figure 112019010927193-pat00007
,
Figure 112019010927193-pat00008
,
Figure 112019010927193-pat00009
로 각각 정의하는 경우, The normal, initial, and dementia output values output from the coronal surface inferior for the coronal surface image
Figure 112019010927193-pat00007
,
Figure 112019010927193-pat00008
,
Figure 112019010927193-pat00009
If each is defined as,

상기 선택기는 상기 축상면 영상, 상기 시상면 영상, 및 상기 관상면 영상 각각의 출력값에 대하여 평균값을 아래의 식 (1), (2), (3) 같이 계산하고, The selector calculates an average value for each output value of the axial plane image, the sagittal plane image, and the coronal plane image as shown in Equations (1), (2), and (3) below,

Figure 112019010927193-pat00010
(1)
Figure 112019010927193-pat00010
(One)

Figure 112019010927193-pat00011
(2)
Figure 112019010927193-pat00011
(2)

Figure 112019010927193-pat00012
(3)
Figure 112019010927193-pat00012
(3)

아래의 식 (4)와 같은 기준으로 진단 결과를 산출하며, The diagnosis result is calculated based on the criteria shown in Equation (4) below,

Figure 112019010927193-pat00013
(4)
Figure 112019010927193-pat00013
(4)

여기서,

Figure 112019010927193-pat00014
는 최종 진단결과로써 0 이면 정상, 1 이면 초기, 2 이면 치매로 분류된다. max()는 원소 중에서 최대값인 것을 특징으로 한다.here,
Figure 112019010927193-pat00014
Is the final diagnosis result, and if it is 0, it is classified as normal, if it is 1, it is classified as dementia. max() is characterized by being the maximum value among the elements.

실시예2Example 2

본 발명은 뇌의 축상면을 단층으로 촬영하여 복수개의 축상면 영상을 생성한 후, 복수개의 상기 축상면 영상에 대하여 영상 내삽(image interpolation)을 수행하여 3차원 모델을 생성하고, 상기 3차원 모델의 시상면과 관상면에 대하여 일정한 편 간격으로 표본화(sampling)하여 복수개의 시상면 영상과 복수개의 관상면 영상을 생성하고 기계학습 방법을 이용하여 학습을 수행하고, 학습의 결과를 이용하여 치매의 정도를 추론하는 과정을 수행하는 치매 진단을 수행하는 추론기를 구비하는 PET영상 분석 방법으로서, The present invention generates a plurality of axial plane images by photographing an axial plane of the brain in a tomography, and then image interpolation is performed on the plurality of axial plane images to generate a 3D model, and the 3D model The sagittal and coronal planes of are sampled at regular intervals to generate a plurality of sagittal images and a plurality of coronal images, and learning is performed using a machine learning method. As a PET image analysis method having a reasoning device for performing a diagnosis of dementia that performs a process of inferring a degree,

복수개로 이루어진 소정의 축상면 영상을 제공하는 단계;Providing a predetermined axial plane image consisting of a plurality of;

3차원 모델 생성기를 이용하여 상기 소정의 축상면 영상을 기초로 복수개로 이루어진 소정의 시상면 영상 및 관상면 영상을 각각 생성하는 단계;Generating a plurality of predetermined sagittal images and coronal images, respectively, based on the predetermined axial plane image using a 3D model generator;

상기 소정의 축상면 영상, 상기 소정의 시상면 영상, 및 상기 소정의 관상면 영상을 축상면 추론기, 시상면 추론기, 관상면 추론기에 제공하고 상기 축상면 추론기, 시상면 추론기, 및 관상면 추론기의 결과를 선택기에 입력하여 치매 진단을 수행하는 단계를 구비하며, The predetermined axial plane image, the predetermined sagittal plane image, and the predetermined coronal plane image are provided to an axial plane reasoning machine, a sagittal plane reasoning machine, a coronal plane reasoning machine, and the axial plane reasoning machine, a sagittal plane reasoning machine, and Comprising the step of performing a diagnosis of dementia by inputting the result of the coronal surface inferior to a selector,

상기 축상면 영상에 대하여 상기 축상면 추론기에서 출력되는 정상, 초기, 치매 출력값을

Figure 112019010927193-pat00015
,
Figure 112019010927193-pat00016
,
Figure 112019010927193-pat00017
으로 각각 정의하고, For the axial plane image, the normal, initial, and dementia output values output from the axial plane inference machine
Figure 112019010927193-pat00015
,
Figure 112019010927193-pat00016
,
Figure 112019010927193-pat00017
Respectively defined as,

상기 시상면 영상에 대하여 상기 시상면 추론기에서 출력되는 정상, 초기, 치매 출력값을

Figure 112019010927193-pat00018
,
Figure 112019010927193-pat00019
,
Figure 112019010927193-pat00020
로 각각 정의하고, The normal, initial, and dementia output values output from the sagittal plane inferred for the sagittal plane image
Figure 112019010927193-pat00018
,
Figure 112019010927193-pat00019
,
Figure 112019010927193-pat00020
Respectively defined as,

상기 관상면 영상에 대하여 상기 관상면 추론기에서 출력되는 정상, 초기, 치매 출력값을

Figure 112019010927193-pat00021
,
Figure 112019010927193-pat00022
,
Figure 112019010927193-pat00023
로 각각 정의하는 경우, The normal, initial, and dementia output values output from the coronal surface inferior for the coronal surface image
Figure 112019010927193-pat00021
,
Figure 112019010927193-pat00022
,
Figure 112019010927193-pat00023
If each is defined as,

상기 선택기는 상기 축상면 영상과 시상면 영상과 관상면 영상에 대하여 식 (5)- 식(7)과 같이 계산 평균값을 계산하고, The selector calculates a calculated average value for the axial plane image, the sagittal plane image, and the coronal plane image as in Equation (5)-Equation (7),

Figure 112019010927193-pat00024
(5)
Figure 112019010927193-pat00024
(5)

Figure 112019010927193-pat00025
(6)
Figure 112019010927193-pat00025
(6)

Figure 112019010927193-pat00026
(7)
Figure 112019010927193-pat00026
(7)

아래의 식 (8)과 같은 진단 결과를 출력하되,Output the diagnosis result as in Equation (8) below,

Figure 112019010927193-pat00027
(8)
Figure 112019010927193-pat00027
(8)

여기서,

Figure 112019010927193-pat00028
는 최종 진단결과로써 0 이면 정상, 1 이면 초기, 2 이면 치매로 분류하는 것을 특징으로 한다.here,
Figure 112019010927193-pat00028
Is characterized in that 0 is normal, 1 is early, and 2 is dementia as the final diagnosis result.

실시예 3Example 3

본 발명은 뇌의 축상면을 단층으로 촬영하여 복수개의 축상면 영상을 생성한 후, 복수개의 상기 축상면 영상에 대하여 영상 내삽(image interpolation)을 수행하여 3차원 모델을 생성하고, 상기 3차원 모델의 시상면과 관상면에 대하여 일정한 편 간격으로 표본화(sampling)하여 복수개의 시상면 영상과 복수개의 관상면 영상을 생성하고 기계학습 방법을 이용하여 학습을 수행하고, 학습의 결과를 이용하여 치매의 정도를 추론하는 과정을 수행하는 치매 진단을 수행하는 추론기를 구비하는 PET영상 분석 방법으로서, The present invention generates a plurality of axial plane images by photographing an axial plane of the brain in a tomography, and then image interpolation is performed on the plurality of axial plane images to generate a 3D model, and the 3D model The sagittal and coronal planes of are sampled at regular intervals to generate a plurality of sagittal images and a plurality of coronal images, and learning is performed using a machine learning method. As a PET image analysis method having a reasoning device for performing a diagnosis of dementia that performs a process of inferring a degree,

복수개로 이루어진 소정의 축상면 영상을 제공하는 단계;Providing a predetermined axial plane image consisting of a plurality of;

3차원 모델 생성기를 이용하여 상기 소정의 축상면 영상을 기초로 복수개로 이루어진 소정의 시상면 영상 및 관상면 영상을 각각 생성하는 단계;Generating a plurality of predetermined sagittal images and coronal images, respectively, based on the predetermined axial plane image using a 3D model generator;

상기 소정의 축상면 영상, 상기 소정의 시상면 영상, 및 상기 소정의 관상면 영상을 축상면 추론기, 시상면 추론기, 관상면 추론기에 제공하고 상기 축상면 추론기, 시상면 추론기, 및 관상면 추론기의 결과를 선택기에 입력하여 치매 진단을 수행하는 단계를 구비하며, The predetermined axial plane image, the predetermined sagittal plane image, and the predetermined coronal plane image are provided to an axial plane reasoning machine, a sagittal plane reasoning machine, a coronal plane reasoning machine, and the axial plane reasoning machine, a sagittal plane reasoning machine, and Comprising the step of performing a diagnosis of dementia by inputting the result of the coronal surface inferior to a selector,

상기 축상면 영상에 대하여 상기 축상면 추론기에서 출력되는 정상, 초기, 치매 출력값을

Figure 112019010927193-pat00029
,
Figure 112019010927193-pat00030
,
Figure 112019010927193-pat00031
으로 각각 정의하고, For the axial plane image, the normal, initial, and dementia output values output from the axial plane inference machine
Figure 112019010927193-pat00029
,
Figure 112019010927193-pat00030
,
Figure 112019010927193-pat00031
Respectively defined as,

상기 시상면 영상에 대하여 상기 시상면 추론기에서 출력되는 정상, 초기, 치매 출력값을

Figure 112019010927193-pat00032
,
Figure 112019010927193-pat00033
,
Figure 112019010927193-pat00034
로 각각 정의하고, The normal, initial, and dementia output values output from the sagittal plane inferred for the sagittal plane image
Figure 112019010927193-pat00032
,
Figure 112019010927193-pat00033
,
Figure 112019010927193-pat00034
Respectively defined as,

상기 관상면 영상에 대하여 상기 관상면 추론기에서 출력되는 정상, 초기, 치매 출력값을

Figure 112019010927193-pat00035
,
Figure 112019010927193-pat00036
,
Figure 112019010927193-pat00037
로 각각 정의하는 경우, The normal, initial, and dementia output values output from the coronal surface inferior for the coronal surface image
Figure 112019010927193-pat00035
,
Figure 112019010927193-pat00036
,
Figure 112019010927193-pat00037
If each is defined as,

상기 선택기는 상기 축상면, 시상면 그리고 관상면 영상의 출력값 중에서 최대값을 기초로 치매 여부를 진단하는 것을 특징으로 한다.The selector is characterized in that the diagnosis of dementia is based on a maximum value among output values of the axial, sagittal and coronal images.

본 발명에 따른 치매 진단 및 예측을 위한 심층학습 기반 PET 영상 분석 방법을 실시하는 경우 단순히 뇌의 특정 영상만에 기초한 종래의 진단 방법과 대비하여 보다 입체적이고 정밀한 치매 진단이 가능하다는 이점이 있다.When the PET image analysis method based on deep learning for diagnosing and predicting dementia according to the present invention is performed, there is an advantage in that it is possible to diagnose dementia more three-dimensionally and accurately compared to a conventional diagnosis method based only on a specific image of the brain.

도 1은 축상면 영상으로부터 시상면과 관상면 영상을 확득하는 과정을 설명하는 도면이다.
도 2는 각 단면별 영상에 대한 학습과 추론을 하는 프로세스를 설명하는 도면이다.
도 3은 특정 검진자의 축상면 영상이 제공되는 경우 본 발명에 따라 치매 정도를 진단하는 프로세스를 설명하는 도면이다.
1 is a view for explaining a process of acquiring a sagittal plane and a coronal plane image from an axial plane image.
2 is a diagram for explaining a process of learning and inferring on an image for each section.
3 is a diagram for explaining a process of diagnosing the degree of dementia according to the present invention when an axial image of a specific examinee is provided.

이하, 도면 등을 참조하여 본 발명에서 제안하는 치매 진단을 위한 PET영상 분석 방법을 설명하기로 한다. Hereinafter, a PET image analysis method for diagnosis of dementia proposed by the present invention will be described with reference to the drawings.

본 발명은 뇌의 축상면을 단층으로 촬영한 PET영상으로부터 시상면(sagittal plane)과 관상면(coronal plane) 영상을 자동으로 생성하고, 3 가지 단면 영상에 인공지능 학습 결과를 활용하여 치매에 대하여 정상, 초기, 중기, 말기 또는 정상, 치매 초기, 치매 단계를 자동으로 분류하는 방법을 제안하다. The present invention automatically generates sagittal plane and coronal plane images from PET images taken of the axial plane of the brain in a tomography, and uses artificial intelligence learning results in three cross-sectional images for dementia. Proposed a method of automatically classifying normal, early, intermediate, late or normal, early dementia, and dementia stages.

1. One. 시상면과Sagittal and 관상면Coronal surface 영상 획득 과정 Image acquisition process

먼저, 뇌의 수평 횡단면을 단층 촬영한 축상면(axial plane) PET영상으로부터 시상면 영상과 뇌의 종단면 영상인 관상면 영상을 생성하는 과정은 도 1과 같다. First, a process of generating a sagittal image and a coronal image, which is a longitudinal cross-sectional image of the brain, from an axial plane PET image obtained by taking a tomography of a horizontal cross section of the brain is shown in FIG. 1.

축상면 PET영상은 일정한 편(slice) 간격으로 촬영이 되고, 촬영 영상은 의료 영상 표준인 디지털 의료 영상 전송 표준인 DICOM(digital imaging and communication in medicine)으로 저장된다. The axial PET image is photographed at regular slice intervals, and the photographed image is stored in DICOM (digital imaging and communication in medicine), a standard for digital medical image transmission, which is a medical image standard.

DICOM 표준을 따르는 축상면 PET 영상에는 편 간격 정보가 포함되어 있다. The axial plane PET image conforming to the DICOM standard contains the information of the slice spacing.

본 발명에서는 축상면 PET영상에 대하여 영상 내삽(image interpolation)을 수행하여 3차원 모델을 생성하고, 해당 3차원 모델의 시상면과 관상면에 대하여 일정한 편 간격으로 표본화(sampling)하여 시상면과 관상면 영상을 획득한다.In the present invention, image interpolation is performed on the axial PET image to generate a 3D model, and the sagittal and coronal planes of the 3D model are sampled at regular intervals Acquire a surface image.

영상 내삽 방법은 이중선형 보간법(bilinear interpolation) 또는 3차 만곡 보간법(cubic spline)을 적용할 수 있다.As for the image interpolation method, bilinear interpolation or cubic spline may be applied.

2. 자동 분류를 위한 영상학습 방법2. Video learning method for automatic classification

촬영된 PET 축상면 및 이를 기초로 생성한 시상면과 관상면 영상에 대하여 학습하고, 학습 또는 훈련 결과를 이용하여 추론하는 과정은 도 2와 같다.A process of learning about the photographed PET axial plane and the sagittal plane and coronal plane images generated based on the images, and inferring using the learning or training results are shown in FIG. 2.

축상면, 시상면 그리고 관상면 영상에 대하여 각각 기계학습 방법을 이용하여 학습을 수행하고, 학습의 결과를 이용하여 추론을 수행한다. Each of the axial, sagittal, and coronal images is trained using a machine learning method, and inference is performed using the results of the learning.

기계학습(machine learning) 방법은 Adaboost(adaptive boosting), SVM(support vector machine), 랜덤 포리스트(random forest) 그리고 심층학습(deep learning) 기법을 적용할 수 있다.The machine learning method can apply Adaboost (adaptive boosting), SVM (support vector machine), random forest, and deep learning techniques.

한편, 각 추론기에는 훈련 결과에 따른 가중치가 세팅되어 고정될 것이다.Meanwhile, a weight according to the training result will be set and fixed in each reasoner.

본 발명에서는 단면 촬영된 110장의 영상으로 대부분 사용함으로써 종래의 전문가가 5장의 영상으로 진단하는 것보다 정확한 분류를 할 수 있도록 한다.In the present invention, most of the 110 cross-sectional images are used, so that more accurate classification can be performed than a conventional expert diagnoses with 5 images.

각 추론기에서는 치매 증상에 따라 n 단계(예를 들어 3 단계; 정상 초기 치매)로 구분할 수 있도록 한다.In each reasoning stage, according to the symptoms of dementia, it can be classified into n stages (eg, stage 3; normal initial dementia).

3. 자동분류 추론 3. Automatic classification reasoning

도 2에 따라 기계학습된 결과를 이용하여 치매를 진단하는 과정은 [도 3]과 같다. The process of diagnosing dementia using the machine-learned results according to FIG. 2 is shown in FIG. 3.

도시된 바와 같이, 소정의 입력 영상에 대하여 축상면, 시상면, 및 관상면 추론기를 통과하면, 각각의 추론기에서는 정상, 초기, 말기 또는 정상, 초기, 치매 단계 등으로 구분되는 소정의 값을 출력하게 된다. As shown, when passing through the axial plane, sagittal plane, and coronal plane inferred for a given input image, each inferring device sets a predetermined value divided into normal, early, late or normal, early, dementia stages, etc. Will be printed.

각 추론기의 수치는 선택기로 입력되고, 선택기에서는 이들 중에서 가장 적합한 결과를 도출하게 된다The number of each reasoner is entered into a selector, and the selector yields the most suitable result among them.

이에 대하여 보다 구체적으로 설명하기로 한다.This will be described in more detail.

진단 대상자에 대하여 축상면으로 PET 영상으로부터 3차원 모델 생성기를 통하여 시상면과 관상면 영상을 생성하고 이를 학습과 동일한 모델로 구성된 추론기에 입력하여 정상, 초기, 중기, 말기 또는 정상(normal), 초기(MCI), 치매(AD) 단계(클래스, class)로 분류한다. For the subject to be diagnosed, the sagittal and coronal images are generated from the PET image as an axial plane through a 3D model generator, and then input to the inference machine composed of the same model as the learning, and normal, early, intermediate, late or normal (normal), early It is classified into (MCI) and dementia (AD) stage (class).

심층학습의 경우는 각 클래스에 대하여 확률을 0에서 1사이 값으로 출력된다. In the case of deep learning, the probability for each class is output as a value between 0 and 1.

예를 들면, 각 단면에 대하여 정상일 확률 0.9, 초기일 확률 0.06, 치매일 확률 0.04의 값을 출력한다.For example, for each section, values of a normal probability of 0.9, an initial probability of 0.06, and a dementia probability of 0.04 are output.

본 발명에서는 각 단면 영상에 대한 추론 출력값에 대하여 도 3의 선택기로 최종 진단 결과를 결정한다.In the present invention, the final diagnosis result is determined by the selector of FIG. 3 for the inferred output value for each cross-sectional image.

축상면, 시상면, 관상면에 대하여 정상, 초기, 치매 클래스의 평균값을 각각

Figure 112019010927193-pat00038
,
Figure 112019010927193-pat00039
그리고
Figure 112019010927193-pat00040
로 정의한다.For the axial, sagittal, and coronal planes, the average values of normal, initial, and dementia classes are respectively
Figure 112019010927193-pat00038
,
Figure 112019010927193-pat00039
And
Figure 112019010927193-pat00040
Is defined as

축상면 영상에 대하여 정상, 초기, 치매 각각의 추론기 출력값을

Figure 112019010927193-pat00041
,
Figure 112019010927193-pat00042
,
Figure 112019010927193-pat00043
으로 정의하고, For the image of the axial plane, the output values of the deducer for normal, initial and dementia
Figure 112019010927193-pat00041
,
Figure 112019010927193-pat00042
,
Figure 112019010927193-pat00043
Defined as,

시상면 영상에 대하여 정상, 초기, 치매 각각의 추론기 출력값을

Figure 112019010927193-pat00044
,
Figure 112019010927193-pat00045
,
Figure 112019010927193-pat00046
, 로 정의하고, For the image of the sagittal plane, the output values of the normal, initial and dementia
Figure 112019010927193-pat00044
,
Figure 112019010927193-pat00045
,
Figure 112019010927193-pat00046
Defined as,

관상면 영상에 대하여 정상, 초기, 치매 각각의 추론기 출력값을

Figure 112019010927193-pat00047
,
Figure 112019010927193-pat00048
,
Figure 112019010927193-pat00049
, 로 설정하여 선택기에서 진단 결과(클래스)를 결정하는 방법은 다음과 같은 방법을 적용할 수 있다.For the coronal image, the output values of the normal, initial, dementia
Figure 112019010927193-pat00047
,
Figure 112019010927193-pat00048
,
Figure 112019010927193-pat00049
The following method can be applied to the method of determining the diagnosis result (class) in the selector by setting to,.

(1) 각 단면 영상 추론 결과값을 평균하여 높은 값을 갖는 클래스로 결정하는 방법(1) A method of determining a class with a high value by averaging the results of inferring images of each section

선택기는 각 단면에 대한 출력값에 대하여 평균값을 식 (1), (2), (3) 같이 계산하고, 식 (4)와 같은 기준으로 진단 결과를 산출한다.The selector calculates the average value for the output value for each section as shown in equations (1), (2), and (3), and calculates the diagnostic result based on the criteria shown in equation (4).

Figure 112019010927193-pat00050
(1)
Figure 112019010927193-pat00050
(One)

Figure 112019010927193-pat00051
(2)
Figure 112019010927193-pat00051
(2)

Figure 112019010927193-pat00052
(3)
Figure 112019010927193-pat00052
(3)

Figure 112019010927193-pat00053
(4)
Figure 112019010927193-pat00053
(4)

여기서,

Figure 112019010927193-pat00054
는 최종 진단결과로써 0 이면 정상, 1 이면 초기, 2 이면 치매로 분류된다. max()는 원소 중에서 최대값을 추출한다. here,
Figure 112019010927193-pat00054
Is the final diagnosis result, and if it is 0, it is classified as normal, if it is 1, it is classified as dementia. max() extracts the maximum value from the elements.

(2) 축상면과 시상면과 관상면의 평균으로 높은 값을 갖는 클래스로 결정하는 방법(2) A method of determining the class with a high value based on the average of the axial, sagittal and coronal planes

선택기는 축상면과 시상면과 관상면에 대하여 식 (5)- 식(7)과 같이 계산 평균값을 계산하고, 식(8)과 같이 결정한다.The selector calculates the average value for the axial plane, the sagittal plane, and the coronal plane as in Equation (5)- Equation (7), and is determined as in Equation (8).

Figure 112019010927193-pat00055
(5)
Figure 112019010927193-pat00055
(5)

Figure 112019010927193-pat00056
(6)
Figure 112019010927193-pat00056
(6)

Figure 112019010927193-pat00057
(7)
Figure 112019010927193-pat00057
(7)

Figure 112019010927193-pat00058
(8)
Figure 112019010927193-pat00058
(8)

여기서,

Figure 112019010927193-pat00059
는 최종 진단결과로써 0 이면 정상, 1 이면 초기, 2 이면 치매로 분류된다.here,
Figure 112019010927193-pat00059
Is the final diagnosis result, and if it is 0, it is classified as normal, if it is 1, it is classified as dementia.

(3) 각 단면 영상 추론 결과값 중에서 최대값으로 결정하는 방법 (3) Method to determine the maximum value among the results of inferring images of each section

선택기는 축상면, 시상면 그리고 관상면의 출력 중에서 최대값 즉, 정상, 초기, 치매 3단계의 분류 중에서 최대 확률을 갖는 출력값을 가진 클래스를 최종 진단 결과로 결정한다. 예를 들어 다음과 같은 경우에는 정상으로 설정한다.The selector determines the class with the maximum value among the outputs of the axial, sagittal, and coronal planes, that is, the class having the highest probability among the three classifications of normal, initial, and dementia as the final diagnosis result. For example, in the following cases, it is set to normal.

Figure 112019010927193-pat00060
(9)
Figure 112019010927193-pat00060
(9)

식 (9)에서

Figure 112019010927193-pat00061
즉 시상면의 정상 결과가 가장 높은 값을 가지고 있기 때문에 최종 진단 결과를 정상으로 결정한 결과이다.In equation (9)
Figure 112019010927193-pat00061
That is, since the normal result of the sagittal plane has the highest value, it is the result of determining the final diagnosis result as normal.

이상에서 설명한 바와 같이, 본 발명은 축상면을 기초로 시상면 및 관상면 영상을 자동 생성한 후 이들 영상 전부를 기초로 하여 뇌의 상태를 입체적으로 분석함으로써 치매의 진척도를 자동으로 진단하고자 하였다. As described above, the present invention attempts to automatically diagnose the progression of dementia by automatically generating sagittal and coronal images based on the axial plane and then analyzing the state of the brain three-dimensionally based on all of these images.

전술한 본 발명에 따른 치매 진단 및 예측을 위한 심층학습 기반 PET 영상 분석 방법을 실시하는 경우 단순히 뇌의 특정 영상만에 기초한 종래의 진단 방법과 대비하여 보다 입체적이고 정밀한 치매 진단이 가능하다는 이점이 있다.In the case of performing the PET image analysis method based on deep learning for diagnosis and prediction of dementia according to the present invention described above, there is an advantage that a more three-dimensional and precise diagnosis of dementia is possible compared to a conventional diagnosis method based on only a specific image of the brain. .

Claims (2)

뇌의 축상면을 단층으로 촬영하여 복수개의 축상면 영상을 생성한 후, 복수개의 상기 축상면 영상에 대하여 영상 내삽(image interpolation)을 수행하여 3차원 모델을 생성하고, 상기 3차원 모델의 시상면과 관상면에 대하여 일정한 편 간격으로 표본화(sampling)하여 복수개의 시상면 영상과 복수개의 관상면 영상을 생성하고 기계학습 방법을 이용하여 학습을 수행하고, 학습의 결과를 이용하여 치매의 정도를 추론하는 과정을 수행하는 치매 진단을 수행하는 추론기를 구비하는 PET영상 분석 방법으로서,
복수개로 이루어진 소정의 축상면 영상을 제공하는 단계;
3차원 모델 생성기를 이용하여 상기 소정의 축상면 영상을 기초로 복수개로 이루어진 소정의 시상면 영상 및 관상면 영상을 각각 생성하는 단계;
상기 소정의 축상면 영상, 상기 소정의 시상면 영상, 및 상기 소정의 관상면 영상을 축상면 추론기, 시상면 추론기, 관상면 추론기에 제공하고 상기 축상면 추론기, 시상면 추론기, 및 관상면 추론기의 결과를 선택기에 입력하여 치매 진단을 수행하는 단계를 구비하고,
상기 축상면 영상에 대하여 상기 축상면 추론기에서 출력되는 정상, 초기, 치매 출력값을
Figure 112020079287841-pat00062
,
Figure 112020079287841-pat00063
,
Figure 112020079287841-pat00064
으로 각각 정의하고,
상기 시상면 영상에 대하여 상기 시상면 추론기에서 출력되는 정상, 초기, 치매 출력값을
Figure 112020079287841-pat00065
,
Figure 112020079287841-pat00066
,
Figure 112020079287841-pat00067
로 각각 정의하고,
상기 관상면 영상에 대하여 상기 관상면 추론기에서 출력되는 정상, 초기, 치매 출력값을
Figure 112020079287841-pat00068
,
Figure 112020079287841-pat00069
,
Figure 112020079287841-pat00070
로 각각 정의하는 경우,
상기 선택기는 상기 축상면, 시상면 그리고 관상면 영상의 출력값 중에서 최대값을 기초로 치매 여부를 진단하는 것을 특징으로 하는 치매 진단 및 예측을 위한 심층학습 기반 PET 영상 분석 방법.
After generating a plurality of axial plane images by photographing the axial plane of the brain as tomography, image interpolation is performed on the plurality of axial plane images to generate a 3D model, and the sagittal plane of the 3D model A plurality of sagittal images and a plurality of coronal images are generated by sampling the and coronal planes at regular intervals, learning is performed using a machine learning method, and the degree of dementia is inferred using the results of the learning. As a PET image analysis method having a reasoning device for performing a dementia diagnosis that performs a process of,
Providing a predetermined axial plane image consisting of a plurality of;
Generating a plurality of predetermined sagittal images and coronal images, respectively, based on the predetermined axial plane image using a 3D model generator;
The predetermined axial plane image, the predetermined sagittal plane image, and the predetermined coronal plane image are provided to an axial plane reasoning machine, a sagittal plane reasoning machine, a coronal plane reasoning machine, and the axial plane reasoning machine, a sagittal plane reasoning machine, and Comprising the step of performing a diagnosis of dementia by inputting the result of the coronal surface inferring to a selector,
For the axial plane image, the normal, initial, and dementia output values output from the axial plane inference machine
Figure 112020079287841-pat00062
,
Figure 112020079287841-pat00063
,
Figure 112020079287841-pat00064
Respectively defined as,
The normal, initial, and dementia output values output from the sagittal plane inferred for the sagittal plane image
Figure 112020079287841-pat00065
,
Figure 112020079287841-pat00066
,
Figure 112020079287841-pat00067
Respectively defined as,
The normal, initial, and dementia output values output from the coronal surface inferior for the coronal surface image
Figure 112020079287841-pat00068
,
Figure 112020079287841-pat00069
,
Figure 112020079287841-pat00070
If each is defined as,
The selector diagnoses the presence of dementia based on a maximum value among output values of the axial, sagittal, and coronal images. A PET image analysis method based on deep learning for dementia diagnosis and prediction, characterized in that.
삭제delete
KR1020190011813A 2019-01-30 2019-01-30 PET image analysis method for diagnosis of dementia KR102164091B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190011813A KR102164091B1 (en) 2019-01-30 2019-01-30 PET image analysis method for diagnosis of dementia

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190011813A KR102164091B1 (en) 2019-01-30 2019-01-30 PET image analysis method for diagnosis of dementia

Publications (2)

Publication Number Publication Date
KR20200094393A KR20200094393A (en) 2020-08-07
KR102164091B1 true KR102164091B1 (en) 2020-10-12

Family

ID=72050158

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190011813A KR102164091B1 (en) 2019-01-30 2019-01-30 PET image analysis method for diagnosis of dementia

Country Status (1)

Country Link
KR (1) KR102164091B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230111318A (en) 2022-01-18 2023-07-25 경상국립대학교산학협력단 System and Method for Learning Hand Motion based on Artificial Intelligence Technology, and Disease Prediction System and Method using Artificial Intelligence Model

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022145988A1 (en) * 2020-12-29 2022-07-07 고려대학교 산학협력단 Apparatus and method for facial fracture reading using artificial intelligence

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100766622B1 (en) * 2006-02-15 2007-10-15 재단법인 아산사회복지재단 Picture Archiving and Communication System and Method thereof
KR101382735B1 (en) * 2012-10-12 2014-04-08 전남대학교산학협력단 X-ray ct system of high resolution and method for acquiring 3d images using the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102271666B1 (en) 2014-12-02 2021-06-30 엘지디스플레이 주식회사 Organic light emitting diode

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100766622B1 (en) * 2006-02-15 2007-10-15 재단법인 아산사회복지재단 Picture Archiving and Communication System and Method thereof
KR101382735B1 (en) * 2012-10-12 2014-04-08 전남대학교산학협력단 X-ray ct system of high resolution and method for acquiring 3d images using the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230111318A (en) 2022-01-18 2023-07-25 경상국립대학교산학협력단 System and Method for Learning Hand Motion based on Artificial Intelligence Technology, and Disease Prediction System and Method using Artificial Intelligence Model

Also Published As

Publication number Publication date
KR20200094393A (en) 2020-08-07

Similar Documents

Publication Publication Date Title
Pires et al. A data-driven approach to referable diabetic retinopathy detection
Singh et al. Shallow 3D CNN for detecting acute brain hemorrhage from medical imaging sensors
Tanveer et al. Deep learning for brain age estimation: A systematic review
KR20190022216A (en) Eye image analysis method
Wu et al. Gamma challenge: glaucoma grading from multi-modality images
Masumoto et al. Accuracy of a deep convolutional neural network in detection of retinitis pigmentosa on ultrawide-field images
KR102164091B1 (en) PET image analysis method for diagnosis of dementia
CN114549520B (en) Retina pathological section analysis system based on full convolution attention enhancement network
Hatanaka et al. Automatic microaneurysms detection on retinal images using deep convolution neural network
Islam et al. Understanding 3D CNN behavior for Alzheimer's disease diagnosis from brain PET scan
Liu et al. Attention deficit/hyperactivity disorder Classification based on deep spatio-temporal features of functional Magnetic Resonance Imaging
Liang et al. Foveal avascular zone segmentation of octa images using deep learning approach with unsupervised vessel segmentation
Liu et al. Disentangled representation learning for OCTA vessel segmentation with limited training data
Devika et al. A machine learning approach for diagnosing neurological disorders using longitudinal resting-state fMRI
Maiti et al. Automatic detection and segmentation of optic disc using a modified convolution network
Hassan et al. Conditional GAN for prediction of glaucoma progression with macular optical coherence tomography
Zhang et al. Comparing multi-dimensional fnirs features using bayesian optimization-based neural networks for mild cognitive impairment (mci) detection
Vamsi et al. Early Detection of Hemorrhagic Stroke Using a Lightweight Deep Learning Neural Network Model.
Zuo et al. Deep Learning-based Eye-Tracking Analysis for Diagnosis of Alzheimer's Disease Using 3D Comprehensive Visual Stimuli
KR102142207B1 (en) PET image analysis method for diagnosis of dementia
Brancati et al. Segmentation of pigment signs in fundus images for retinitis pigmentosa analysis by using deep learning
US20220351373A1 (en) Systems and Methods Related to Age-Related Macular Degeneration
Coyner et al. Diagnosability of synthetic retinal fundus images for plus disease detection in retinopathy of prematurity
Pugazhenthi et al. Identification of autism in MR brain images using deep learning networks
Maulana et al. Robustness of probabilistic u-net for automated segmentation of white matter hyperintensities in different datasets of brain mri

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant