KR102304420B1 - blood vessel age diagnosis apparatus, blood vessel age diagnosis method, and computer program for executing the method - Google Patents
blood vessel age diagnosis apparatus, blood vessel age diagnosis method, and computer program for executing the method Download PDFInfo
- Publication number
- KR102304420B1 KR102304420B1 KR1020180135327A KR20180135327A KR102304420B1 KR 102304420 B1 KR102304420 B1 KR 102304420B1 KR 1020180135327 A KR1020180135327 A KR 1020180135327A KR 20180135327 A KR20180135327 A KR 20180135327A KR 102304420 B1 KR102304420 B1 KR 102304420B1
- Authority
- KR
- South Korea
- Prior art keywords
- blood vessel
- age
- image
- vascular
- unit
- Prior art date
Links
- 210000004204 blood vessel Anatomy 0.000 title claims abstract description 305
- 238000003745 diagnosis Methods 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000004590 computer program Methods 0.000 title claims description 8
- 230000002792 vascular Effects 0.000 claims abstract description 85
- 238000003384 imaging method Methods 0.000 claims abstract description 12
- 239000000284 extract Substances 0.000 claims description 21
- 230000011218 segmentation Effects 0.000 claims description 10
- 208000024172 Cardiovascular disease Diseases 0.000 claims description 3
- 208000006011 Stroke Diseases 0.000 claims description 3
- 208000026106 cerebrovascular disease Diseases 0.000 claims description 3
- 208000019622 heart disease Diseases 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 1
- 238000011156 evaluation Methods 0.000 description 20
- 238000012549 training Methods 0.000 description 17
- 230000006438 vascular health Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000003840 blood vessel health Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000002583 angiography Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 210000002216 heart Anatomy 0.000 description 2
- 210000003657 middle cerebral artery Anatomy 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000001841 basilar artery Anatomy 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 210000001627 cerebral artery Anatomy 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007917 intracranial administration Methods 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000003388 posterior cerebral artery Anatomy 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 210000002385 vertebral artery Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Physiology (AREA)
- High Energy & Nuclear Physics (AREA)
- Artificial Intelligence (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Vascular Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Cardiology (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Pulmonology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
본 명세서에 따르면, 혈관 나이 진단 장치가 영상 촬영 장치로부터 대상체를 촬영한 영상을 수신하는 단계; 상기 혈관 나이 진단 장치가 상기 영상에서 3차원 이진 혈관 영상을 추출하는 단계; 상기 혈관 나이 진단 장치가 상기 3차원 이진 혈관 영상에서 해부학적으로 구분된 영역별 혈관 분할 영역들을 추출하는 단계; 상기 혈관 나이 진단 장치가 상기 혈관 분할 영역들을 이용하여 제1 혈관 구간의 중심점들을 잇는 중심선을 추출하는 단계; 상기 혈관 나이 진단 장치가 상기 중심선을 기초로 혈관의 뒤틀림 값을 산출하는 단계; 및 상기 혈관 나이 진단 장치가 상기 뒤틀림 값을 기초로 상기 대상체의 혈관 나이를 추론하는 단계;를 포함하는, 혈관 나이 진단 방법이 개시된다. According to the present specification, the method comprising: receiving, by an apparatus for diagnosing a blood vessel age, an image obtained by photographing an object from an imaging apparatus; extracting, by the blood vessel age diagnosis apparatus, a three-dimensional binary blood vessel image from the image; extracting, by the blood vessel age diagnosis apparatus, blood vessel division regions for each anatomically divided region from the three-dimensional binary blood vessel image; extracting, by the blood vessel age diagnosis apparatus, a center line connecting center points of a first blood vessel section using the blood vessel division regions; calculating, by the blood vessel age diagnosis apparatus, a distortion value of a blood vessel based on the center line; and inferring, by the vascular age diagnosis apparatus, the vascular age of the subject based on the distortion value.
Description
본 명세서에 따르면, 혈관 나이 진단 장치, 혈관 나이 진단 방법 및 상기 방법을 실행하기 위한 컴퓨터 프로그램에 관한 것이다. According to the present specification, an apparatus for diagnosing blood vessel age, a method for diagnosing blood vessel age, and a computer program for executing the method are provided.
자기 공명 영상(MRI: magnetic resonance imaging) 촬영 장치는 자기장을 이용해 대상체를 촬영하는 장치로, 뼈는 물론, 디스크, 관절, 신경 인대, 심장, 뇌혈관 등을 원하는 각도에서 입체적으로 보여주기 때문에 정확한 질병 진단을 위해서 널리 이용되고 있다. 자기 공명 영상은 여러 파라미터를 조절함으로써 다양한 대조비를 얻을 수 있는 장점이 있고 이를 이용하여 임상 진단에서는 같은 부위에 대해 여러 대조비의 영상들을 얻어 진단을 한다. 국내 특허 공개 공보 2009-0075644는 자기 공명 영상의 대조비를 생성하도록 환자의 지방 및 수분의 스핀 상들을 변경하여 환자의 정상-상태 영상을 얻는 자기 공명 영상 장치를 개시하고 있다.
[선행문헌]
WO 2017/047819호 (2017.03.23 공개)Magnetic resonance imaging (MRI) is a device that uses a magnetic field to image an object, and it shows three-dimensional images of not only bones, but also discs, joints, nerve ligaments, heart, and cerebrovascular blood vessels from a desired angle. It is widely used for diagnosis. Magnetic resonance imaging has the advantage of obtaining various contrast ratios by adjusting various parameters, and using this, in clinical diagnosis, images of different contrast ratios are obtained for the same area for diagnosis. Korean Patent Laid-Open Publication No. 2009-0075644 discloses a magnetic resonance imaging apparatus that obtains a steady-state image of a patient by changing the spin phases of fat and water in a patient to generate a contrast ratio of the magnetic resonance image.
[Prior Literature]
WO 2017/047819 (published on March 23, 2017)
본 발명의 일 실시예는 대상체의 혈관, 특히 뇌혈관을 촬영한 영상을 기초로 대상체의 혈관 나이를 진단하는 혈관 나이 진단 장치, 방법 및 컴퓨터 프로그램을 제공하는데 있다. An embodiment of the present invention provides an apparatus, method, and computer program for diagnosing blood vessel age of an object based on an image of blood vessels, particularly cerebral blood vessels, of an object.
본 발명의 실시예들에 따른 혈관 나이 진단 방법은 혈관 나이 진단 장치가 영상 촬영 장치로부터 대상체를 촬영한 영상을 수신하는 단계; 상기 혈관 나이 진단 장치가 상기 영상에서 3차원 이진 혈관 영상을 추출하는 단계; 상기 혈관 나이 진단 장치가 상기 3차원 이진 혈관 영상에서 해부학적으로 구분된 영역별 혈관 분할 영역들을 추출하는 단계; 상기 혈관 나이 진단 장치가 상기 혈관 분할 영역들을 이용하여 제1 혈관 구간의 중심점들을 잇는 중심선을 추출하는 단계; 상기 혈관 나이 진단 장치가 상기 중심선을 기초로 혈관의 뒤틀림 값을 산출하는 단계; 및 상기 혈관 나이 진단 장치가 상기 뒤틀림 값을 기초로 상기 대상체의 혈관 나이를 추론하는 단계;를 포함할 수 있다. A method for diagnosing vascular age according to embodiments of the present invention includes: receiving, by an apparatus for diagnosing vascular age, an image obtained by photographing an object from an imaging apparatus; extracting, by the blood vessel age diagnosis apparatus, a three-dimensional binary blood vessel image from the image; extracting, by the blood vessel age diagnosis apparatus, blood vessel division regions for each anatomically divided region from the three-dimensional binary blood vessel image; extracting, by the blood vessel age diagnosis apparatus, a center line connecting center points of a first blood vessel section using the blood vessel division regions; calculating, by the blood vessel age diagnosis apparatus, a distortion value of a blood vessel based on the center line; and inferring, by the blood vessel age diagnosis apparatus, the blood vessel age of the object based on the distortion value.
상기 3차원 이진 혈관 영상을 추출하는 단계는 상기 영상의 각 복셀의 x, y, z 성분들을 인터폴레이션(interpolation) 함으로써, 각 복셀의 z 성분을 보정하고, 보정한 결과를 이용하여 상기 영상의 각 복셀의 x, y, z 성분들을 보정하고, 보정한 x, y, z 성분으로 각 복셀의 위치를 변경함으로써, 3차원 이진 혈관 영상을 추출하는 점을 특징으로 할 수 있다. The extracting of the 3D binary blood vessel image may include correcting the z component of each voxel by interpolating the x, y, and z components of each voxel of the image, and using a result of the correction, each voxel of the image It may be characterized in that the 3D binary blood vessel image is extracted by correcting the x, y, and z components of , and changing the position of each voxel with the corrected x, y, and z components.
상기 혈관 나이를 추론하는 단계는 상기 영상에 포함된 영역별 혈관 분할 영역들의 뒤틀림 값으로 학습한 혈관 나이 진단 모델을 이용하여 상기 대상체의 혈관 나이를 추론하는 점을 특징으로 할 수 있다. The inferring of the blood vessel age may include inferring the blood vessel age of the object by using a blood vessel age diagnosis model learned from the distortion values of the blood vessel division regions for each region included in the image.
상기 중심선을 추출하는 단계는 상기 3차원 이진 혈관 영상 위(on)에서 사용자 입력들에 의해 설정된 시작점 및 끝점을 잇는 중심점들을 트랙킹(tracking) 함으로써, 혈관의 구부러진 정도 (뒤틀림 혹은 tortuosity)를 수치화하는 점을 특징으로 할 수 있다. 또한 혈관의 길이 (branch length)를 수치화하여 특징점 (feature)으로 산출할 수 있다. 더 나아가 좀 더 복잡하게는 중심점을 지나는 혈관의 횡단면의 직경이나 면적을 시작점에서부터 끝점까지 계산한 값들을 특징점들로 산출할 수도 있다. The step of extracting the center line is a point of quantifying the degree of curvature (distortion or tortuosity) of the blood vessel by tracking center points connecting the start point and the end point set by user inputs on the 3D binary blood vessel image. can be characterized. In addition, the length of the blood vessel (branch length) can be digitized and calculated as a feature. Further, more complicatedly, values calculated from the starting point to the end point of the diameter or area of the cross section of the blood vessel passing through the central point may be calculated as feature points.
상기 추론하는 단계 이후에, 상기 대상체의 혈관 나이와 실제 대상체의 나이를 비교하여 혈관 나이의 추론 결과를 평가하는 단계를 포함할 수 있다. After the inferring, the method may include comparing the vascular age of the subject with the actual age of the subject to evaluate the inference result of the vascular age.
본 실시예는 상기 영상, 및 상기 3차원 이진 혈관 영상 위에 추출한 중심선을 오버랩하여 입출력부를 통해 출력하는 단계를 더 포함할 수 있다. The present embodiment may further include the step of overlapping the image and the extracted center line on the 3D binary blood vessel image and outputting the image through the input/output unit.
본 발명의 실시예에 따른 컴퓨터 프로그램은 컴퓨터를 이용하여 본 발명의 실시예에 따른 혈관 나이 진단 방법 중 어느 하나의 방법을 실행시키기 위하여 매체에 저장될 수 있다. The computer program according to the embodiment of the present invention may be stored in a medium to execute any one of the methods of diagnosing blood vessel age according to the embodiment of the present invention using a computer.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다. In addition to this, another method for implementing the present invention, another system, and a computer readable recording medium for recording a computer program for executing the method are further provided.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해 질 것이다. Other aspects, features and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.
본 발명의 일 실시예에 따르면, 영상으로부터 추출된 혈관 줄기들의 뒤틀림 값들을 기초로 대상체의 혈관 나이를 추론할 수 있다. According to an embodiment of the present invention, the blood vessel age of the object may be inferred based on distortion values of the blood vessel stems extracted from the image.
또한, 본 발명의 일 실시예에 따르면, 영상으로부터 혈관 나이 인식 모델을 학습시키고, 학습된 혈관 나이 진단 모델을 이용하여 대상체의 혈관 나이를 추론할 수 있다. Also, according to an embodiment of the present invention, a blood vessel age recognition model may be trained from an image, and the blood vessel age of the object may be inferred using the learned blood vessel age diagnosis model.
도 1은 본 발명의 실시예들에 따른 혈관 나이 진단 시스템의 구성도이다.
도 2는 본 발명의 실시예들에 따른 혈관 나이 진단 장치의 블록도이다.
도 3은 혈관 나이 진단 장치의 저장부와 학습 모델 장치의 구조 및 저장부와 학습 모델 장치 사이의 데이터 송수신을 설명하기 위한 도면이다.
도 4는 학습 모델 장치의 데이터 획득부 및 데이터 인식부의 블록도이다.
도 5 내지 도 6은 본 발명의 실시예들에 따른 혈관 나이 진단 방법의 흐름도들이다.
도 7 내지 도 9는 혈관 나이 진단 장치를 통해서 제공되는 사용자 인터페이스의 예시 도면들이다.
도 10은 혈관의 뒤틀림 수치로부터 학습된 모델을 거쳐 혈관 나이를 추론하는 예시 도면이다.1 is a block diagram of a vascular age diagnosis system according to embodiments of the present invention.
2 is a block diagram of an apparatus for diagnosing blood vessel age according to embodiments of the present invention.
FIG. 3 is a diagram for explaining the structure of a storage unit and a learning model apparatus of the blood vessel age diagnosis apparatus, and data transmission/reception between the storage unit and the learning model apparatus.
4 is a block diagram of a data acquisition unit and a data recognition unit of the learning model apparatus.
5 to 6 are flowcharts of a method for diagnosing vascular age according to embodiments of the present invention.
7 to 9 are exemplary views of a user interface provided through an apparatus for diagnosing blood vessel age.
10 is an exemplary diagram for inferring the age of a blood vessel through a model learned from the distortion value of the blood vessel.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 또한, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의 실시예에 따른 전자 장치를 구성하고 사용하는 방법을 상세히 설명한다. 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. Hereinafter, exemplary embodiments according to the present invention will be described in detail with reference to the contents described in the accompanying drawings. In addition, a method of configuring and using an electronic device according to an embodiment of the present invention will be described in detail with reference to the contents described in the accompanying drawings. The same reference numbers or reference numerals presented in each drawing indicate parts or components that perform substantially the same functions.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되지는 않는다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 항목들의 조합 또는 복수의 관련된 항목들 중의 어느 하나의 항목을 포함한다. Terms including an ordinal number such as 1st, 2nd, etc. may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component. and/or includes a combination of a plurality of related items or any one of a plurality of related items.
본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원서에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used herein are used to describe the embodiments, and are not intended to limit and/or limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In this application, terms such as include or have are intended to designate that a feature, number, step, operation, component, part, or combination thereof described in the specification exists, but one or more other features, number, step , it should be understood that it does not preclude in advance the possibility of the existence or addition of an operation, component, part, or combination thereof.
명세서 전체에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when a part is said to be connected to another part, this includes not only a case in which it is directly connected, but also a case in which it is electrically connected with another element interposed therebetween. Also, when it is said that a part includes a certain component, this means that other components may be further included, rather than excluding other components, unless otherwise stated. In addition, terms such as "...unit" and "module" described in the specification mean a unit that processes at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software. .
본 명세서에서, 영상은 이산적인 이미지 요소들(예를 들어, 2차원 이미지에 있어서의 픽셀들 및 3차원 이미지에 있어서의 복셀들)로 구성된 다차원 데이터를 의미할 수 있다. 예를 들어, 영상은 X-ray 장치, CT 장치, MRI 장치, 초음파 진단 장치, 및 다른 의료 영상 장치에 의해 획득된 대상체의 의료 이미지 등을 포함할 수 있다. In the present specification, an image may refer to multidimensional data composed of discrete image elements (eg, pixels in a 2D image and voxels in a 3D image). For example, the image may include a medical image of an object obtained by an X-ray apparatus, a CT apparatus, an MRI apparatus, an ultrasound diagnosis apparatus, and other medical imaging apparatuses.
본 명세서에서, 대상체는 사람 또는 동물, 또는 사람 또는 동물의 일부를 포함할 수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장치 또는 혈관을 포함할 수 있다. 또한, 대상체는 팬텀을 포함할 수 있다. 팬텀은 생물의 밀도와 실효 원자 번호에 아주 근사한 부피를 갖는 물질을 의미하는 것으로, 신체와 유사한 성질을 갖는 구형의 팬텀을 포함할 수 있다. As used herein, a subject may include a human or animal, or a part of a human or animal. For example, the object may include a device or blood vessel such as a liver, heart, uterus, brain, breast, abdomen, or the like. Also, the object may include a phantom. A phantom refers to a material having a volume very close to the density and effective atomic number of an organism, and may include a spherical phantom having properties similar to that of a body.
본 명세서에서, 사용자는 의료 전문가로서, 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다. In the present specification, a user may be a medical professional, such as a doctor, a nurse, a clinical pathologist, a medical imaging specialist, or a technician repairing a medical device, but is not limited thereto.
본 명세서에서, time-of-flight (TOF) 자기공명혈관촬영술 (magnetic resonance angiography, MRA)은 조영제를 이용하지 않고, 대상체에서 혈류의 흐름을 강조하는 영상기법으로, 두개내 뇌동맥 혈관을 영상화하는데 널리 이용되는 기법이다. TOF MRA는 반복시간 (repetition time)을 짧게 하여 얻기 때문에, 정지되어 있는 조직은 짧은 시간 동안 반복적인 radiofrequency (RF) 펄스의 인가로 인해 신호의 강도가 포화(saturation)되어 줄어들지만, 혈관을 따라 이동하는 물분자는 RF 펄스가 인가되는 슬라이스를 벗어나므로 반복적인 RF 펄스를 경험하지 않기 때문에 신호의 강도가 상대적으로 높아진다. 그러므로 TOF MRA를 이용하여 획득한 영상으로부터 신호 강도를 기준으로 혈관의 추출이 용이한 장점이 있다.In the present specification, time-of-flight (TOF) magnetic resonance angiography (MRA) is an imaging technique that emphasizes blood flow in a subject without using a contrast agent, and is widely used for imaging intracranial cerebral artery blood vessels. is the method used. Because TOF MRA is obtained by shortening the repetition time, the signal intensity decreases due to the application of repetitive radiofrequency (RF) pulses for a short period of time in a stationary tissue, but it moves along the blood vessel. Since the water molecules do not experience repeated RF pulses because they leave the slice to which the RF pulses are applied, the signal intensity is relatively high. Therefore, there is an advantage in that it is easy to extract blood vessels based on the signal intensity from the image acquired using TOF MRA.
도 1은 본 발명의 실시예들에 따른 혈관 나이 진단 시스템의 구성도이다. 1 is a block diagram of a vascular age diagnosis system according to embodiments of the present invention.
혈관 나이 진단 시스템(10)은 영상 촬영 장치(100), 혈관 나이 진단 장치(200)를 포함할 수 있다. The vascular
혈관 나이 진단 시스템(10)에서는 영상 촬영 장치 (100)를 통해 획득된 대상체(1)의 영상을 혈관 나이 진단 장치(200)로 전달하고, 혈관 나이 진단 장치(200)에서는 혈관에서 획득된 데이터를 기초로 대상체(1)의 혈관 나이를 판단하고, 이를 기초로 대상체의 혈관 건강을 진단한다. The vascular
영상 촬영 장치(100)는 대상체(1)를 측정한 이미지를 출력하는 장치로서, X-ray 장치, CT 장치, MRI 장치, 초음파 진단 장치, 및 다른 의료 영상 장치일 수 있다. 영상 촬영 장치(100)는 대상체(1)의 전부 또는 일부의 혈관 이미지를 획득할 수 있다. 영상 촬영 장치(100)는 대상체를 촬영하여 TOF 영상, 확산 가중 이미지(DWI, diffusion weighted imaging) 또는 확산 계수 이미지(ADC, apparent diffusion imaging)을 출력할 수 있다. The
혈관 나이 진단 장치(200)는 대상체의 영상으로부터 혈관 나이 진단에 필요한 입력 데이터를 추출하고, 입력 데이터를 이용하여 학습한 혈관 나이 진단 모델을 이용하여 대상체의 혈관 나이를 추론할 수 있다. 혈관 나이 진단 장치(200)는 입력된 영상으로부터 획득된 혈관 분할 영역 및/또는 혈관 중심선 등을 이용하여 혈관의 뒤틀림 정도를 산출하고 이를 기초로 대상체의 혈관 나이를 판단할 수 있다. 혈관 나이 진단 장치(200)는 외부의 데이터 서버(300)에 저장된 혈관 데이터베이스(미도시)로 각 대상체의 혈관 지도 정보를 이용하여 혈관의 나이를 판단할 수 있다. 혈관 나이 진단 장치(200)는 진단된 대상체의 혈관 건강을 정해진 규격으로 변환하여 외부의 혈관 데이터베이스(미도시)로 전달할 수 있다. 혈관 나이 진단 장치(200)는 하나 이상의 프로세서, 저장 매체를 포함하는 컴퓨팅 장치일 수 있다. The vascular
도 2는 본 발명의 실시예들에 따른 혈관 나이 진단 장치(200)의 블록도이고, 도 3은 혈관 나이 진단 장치의 저장부(250)와 학습 모델 장치(300)의 구조 및 저장부(250)와 학습 모델 장치(300) 사이의 데이터 송수신을 설명하기 위한 도면이다. 2 is a block diagram of an
혈관 나이 진단 장치(200)는 제어부(210), 통신부(220), 입출력부(240), 저장부(250)를 포함할 수 있다. The blood vessel
제어부(210)는 하나 이상의 프로세서들로 구현되어, 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 저장부(250), 통신부(220)에 의해 제어부(210)에 제공될 수 있다. 예를 들어 제어부(210)는 저장부(250)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. The
통신부(220)는 네트워크를 통해 외부의 장치와 통신하기 위한 기능을 제공할 수 있다. 일례로, 혈관 나이 진단 장치(200)의 제어부(210)가 저장부(250)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신부(220)의 제어에 따라 네트워크를 통해 외부의 영상 촬영 장치(100), 데이터베이스(300) 또는 다른 사용자 단말로 전달할 수 있다. 예를 들어 통신부(220)를 통해 수신된 제어 신호나 명령 등은 제어부(210)나 저장부(250)로 전달될 수 있고, 수신된 영상 이미지 등은 저장부(250)로 저장될 수 있다.The
저장부(250)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 저장부(250)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism)을 이용하여 저장부(250)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 통신부(220)를 통해 저장부(250)에 로딩될 수도 있다. 예를 들어, 적어도 하나의 프로그램은 개발자들 또는 어플리케이션의 설치 파일을 배포하는 파일 배포 시스템이 네트워크를 통해 제공하는 파일들에 의해 설치되는 프로그램(일례로 상술한 어플리케이션)에 기반하여 저장부(250)에 로딩될 수 있다. The
입출력부(240)는 사용자로부터 분할 구간을 설정하는 등의 입력을 수신하고, 혈관 영상, 3차원 이진 혈관 영상을 보여주는 화면을 표시할 수 있다. 예를 들어, 입출력부(240)는 사용자 입력을 수신하는 조작 패널(operation panel) 및 화면을 표시하는 디스플레이 패널(display panel) 등을 포함할 수 있다.The input/
구체적으로, 입력부는 키보드, 물리 버튼, 터치 스크린, 카메라 또는 마이크 등과 같이 다양한 형태의 사용자 입력을 수신할 수 있는 장치들을 포함할 수 있다. 또한, 출력부는 디스플레이 패널 또는 스피커 등을 포함할 수 있다. 다만, 이에 한정되지 않고 입출력부(240)는 다양한 입출력을 지원하는 구성을 포함할 수 있다.Specifically, the input unit may include devices capable of receiving various types of user input, such as a keyboard, a physical button, a touch screen, a camera, or a microphone. Also, the output unit may include a display panel or a speaker. However, the present invention is not limited thereto, and the input/
혈관 나이 진단 장치(200)는 대상체의 영상을 분석, 처리하여 혈관 건강을 진단하기 위해서, 영상 수신부(251), 혈관 추출부(252), 중심선 획득부(253), 뒤틀림 산출부(254), 혈관 나이 추론부(255), 평가부(256)를 포함할 수 있다. The vascular
영상 수신부(251)는 대상체의 신체 일부를 촬영한 하나 이상의 영상을 수신할 수 있다. 영상 수신부(251)는 대상체의 영상을 수신받는다. 여기서, 영상은 Time of flight (TOF) 자기공명 혈관촬영영상일 수 있으나, 이에 한정되지 않고 다양한 형식의 이미지 또는 영상 일 수 있다. The
혈관 추출부(252)는 영상에서 3차원 이진 혈관 영상을 추출할 수 있다. 3차원 이진 혈관 영상은 혈관에 해당하는 복셀을 1로, 혈관에 해당하지 않은 복셀을 0으로 설정한 것일 수 있다. 혈관 추출부(252)는 3차원 이진 혈관 영상에서 해부학적으로 구분된 영역별 복수의 혈관 분할 영역들을 추출할 수 있다. 혈관 추출부(252)는 영상의 각 복셀의 x, y, z 성분들을 인터폴레이션함으로써, 각 복셀의 z 성분을 보정하고, 보정한 결과를 이용하여 영상의 각 복셀의 x, y, z 성분들을 보정하고, 보정한 x, y, z 성분으로 각 복셀의 위치를 변경함으로써, 3차원 이진 혈관 영상을 생성할 수 있다. 예컨대, 임의의 복셀의 x, y 성분에 비해서, z 성분이 다소 큰 경우, z 성분을 길게 표현됨에 따라 가독성이 떨어질 수 있다. 인터폴레이션을 이용해 x 성분 및 y y성분을 기초로 z 성분을 보정함으로써, 혈관 모양이 임의의 한 축방향으로 길게 표현되는 것을 방지할 수 있다. The
보다 구체적으로 혈관 추출부(252)는 3차원 이진 혈관 영상을 골격화할 수 있다. 혈관 추출부(252)는 3차원 이진 혈관 영상에 포함된 혈관 줄기들을 골격화하여, 혈관 분할 영역들을 획득할 수 있다. 골격화는 해당 기술 분야의 당업자가 알 수 있는 Hiliditch 알고리즘, Pavlidis 알고리즘, Rosenfeld 알고리즘 등의 방법으로 수행될 수 있다. In more detail, the
중심선 획득부(253)는 3차원 이진 혈관 영상 및 혈관 분할 영역들을 이용하여 사용자에 의해 지정된 제1 혈관 구간의 중심점들의 집합을 추출하여 중심선으로 설정할 수 있다. 중심선 획득부(253)는 3차원 이진 혈관 영상 위(on)에서 사용자 입력들에 의해 설정된 시작점 및 끝점을 잇는 중심점들을 트랙킹함으로써, 뒤틀림 값의 산출 대상인 중심선을 추출할 수 있다. The
중심선 획득부(253)는 3차원 이진 혈관 영상 및 혈관 분할 영역들을 골격화한 후, 사용자에 의해 지정된 제1 혈관 구간의 중심점들의 집합을 추출하여 중심선으로 설정할 수 있다. 중심선 획득부(253)는 사용자에 의해 지정된 시작점 및 끝점을 연결하는 포인트들을 트랙킹함으로써, 중심점들의 집합을 추출할 수 있다. After skeletalizing the 3D binary blood vessel image and the blood vessel segmentation regions, the
뒤틀림 산출부(254)는 중심선 획득부(253)에 의해 획득된 중심선을 기초로 혈관의 뒤틀림 값을 산출한다. 뒤틀림 산출부(254)는 혈관 분할 영역들 각각에 포함된 중심선을 기초로 혈관의 뒤틀림 값을 산출한다. 뒤틀림 산출부(254)는 대상체의 영상으로부터 뒤틀림 값 set를 산출한다. 뒤틀림 값은 중심선의 길이 및 중심선의 최단 길이를 이용하여 산출될 수 있다. 예를 들어, 뒤틀림 값은 중심선의 길이/중심선의 최단 길이와 비례하는 값으로 설정될 수 있다. The
혈관 나이 추론부(255)는 영역 별 뒤틀림 값 set를 이용하여 대상체의 혈관 나이를 추론한다. 혈관 나이 추론부(255)는 영상에 포함된 영역별 혈관 분할 영역들의 뒤틀림 값으로 학습한 혈관 나이 진단 모델을 이용하여 대상체의 혈관 나이를 추론할 수 있다. The blood vessel
혈관 나이 추론부(255)는 기 설정된 혈관 나이와 대응되는 뒤틀림 값을 이용하여 대상체의 혈관 나이를 추론할 수 있다. 혈관 나이 추론부(255)는 영역 별 뒤틀림 값 set와 함께 진단의에 의해 진단된 혈관 나이 또는 실제 대상체의 생물학적 혈관 나이를 입력하여 학습시키는 방식으로 대상체의 뒤틀림 값 set에 대한 대상체의 혈관 나이를 추론할 수도 있다. The blood vessel
이때, 추론된 대상체의 혈관 나이는 확률 맵의 형태로 복수의 값들의 집합으로 출력될 수 있다. 예를 들어, 측정된 대상체의 영상으로부터 (20%, 28살), (30%, 35살), (50%, 32살)과 같이 혈관 나이가 추론될 수 있다. 혈관 나이 추론부(255)는 가장 확률이 높은 32살을 혈관 나이로 결정하고 최종적으로 출력할 수 있다. 또는 혈관 나이 추론부(255)는 확률을 가중치로 하여 가중 평균하여, 대상체의 혈관 나이를 결정할 수 있다. In this case, the inferred blood vessel age of the object may be output as a set of a plurality of values in the form of a probability map. For example, the vascular age may be inferred from the image of the measured subject, such as (20%, 28 years old), (30%, 35 years old), (50%, 32 years old). The blood vessel
평가부(256)는 혈관 나이 진단 장치를 통해 추론된 대상체의 혈관 나이와 실제 대상체의 나이를 비교하여 혈관 나이의 추론 결과를 평가할 수 있다. 평가부(256)는 추론 결과가 기 설정된 평가 기준에 미치지 못한 경우, 혈관 나이 진단 모델을 변경하거나, 혈관 나이 진단 모델을 다시 학습하도록 할 수 있다. The
혈관 나이 진단 장치(200)는 추가적으로 혈관 나이를 기초로 혈관 건강을 진단하는 혈관 상태 진단부(미도시)를 더 포함할 수 있다. 추론 또는 측정된 혈관 나이는 대상체의 연령, 성별 등의 생체 정보를 고려하여 분석될 수 있다. 즉, 대상체의 혈관 나이에 따른 혈관 상태는 대상체의 연령, 성별 등의 생체 정보를 고려하여 정상 혹은 비정상 중 하나로 분류될 수 있다. 특히, 혈관 상태 진단부는 혈관 나이 추론을 위해 수집한 복수의 혈관 영상들을 기초로 대상체의 성별, 연령에 따른 혈관의 평균 값(뒤틀림 값 등)을 저장한 데이터베이스와 통신하여 대상체의 혈관 상태를 진단할 수 있다. 진단된 혈관 상태는 심장 질환의 발생 위험도 또는 뇌혈관 질환의 발생 위험도, 심혈관계 질환의 발생 위험도, 뇌졸중의 발생 위험도 등을 포함할 수 있다. 진단된 혈관 상태는 혈관의 각 지점들의 뒤틀림 값을 기초로 예측될 수 있다. The vascular
이를 통해, 본 발명의 실시예들의 혈관 나이 진단 장치(200)는 영상을 이용하여 대상체의 혈관 나이를 진단할 수 있다. 특히, 혈관 나이 진단 장치(200)는 대상체의 혈관에 포함된 복수의 혈관 분할 영역들에 대한 뒤틀림 값들을 산출하고, 뒤틀림 값들을 각 혈관의 영역을 고려하여 혈관 나이를 진단할 수 있다. Through this, the vascular
본 발명의 실시예에 따른 혈관 나이 진단 장치(200)는 학습 모델 장치(300)과 연동하여, 혈관 나이를 진단할 수 있다. 혈관 나이 진단 장치(200)는 영상, 영상으로부터 산출된 뒤틀림 값들을 학습 모델 장치(300)로 입력 시킴으로써, 혈관 나이 진단을 위한 기준을 학습 시킬 수 있다. The vascular
구체적으로, 학습 모델 장치(300)는 데이터 학습부(310) 및 데이터 인식부(320)를 포함할 수 있다. 각 구성요소들의 동작은 아래와 같다. Specifically, the
데이터 학습부(310)는 혈관 나이 진단을 위한 기준을 학습할 수 있다. 데이터 학습부(310)는 소정의 혈관 나이를 판단하기 위하여 어떤 데이터를 이용할 지, 데이터를 이용하여 혈관 나이를 어떻게 판단할 지에 관한 기준을 학습할 수 있다. 데이터 학습부(310)는 학습에 이용될 데이터인 영상, 혈관의 뒤틀림 값 등을 획득하고, 획득된 데이터를 후술할 혈관 나이 진단 모델에 적용함으로써, 혈관 나이 진단을 위한 기준을 학습할 수 있다.The
데이터 인식부(320)는 입력된 데이터에 기초한 대상체의 혈관 나이를 판단할 수 있다. 데이터 인식부(320)는 학습된 혈관 나이 진단 모델을 이용하여, 소정의 데이터로부터 대상체의 혈관 나이를 진단, 인식할 수 있다. 데이터 인식부(320)는 학습에 의한 기 설정된 기준에 따라 소정의 데이터를 획득하고, 획득된 데이터를 입력 값으로 하여 혈관 나이 진단 모델을 이용함으로써, 소정의 데이터에 기초한 대상체의 혈관 나이를 판단할 수 있다. 또한, 획득된 데이터를 입력 값으로 하여 혈관 나이 진단 모델에 의해 출력된 결과 값은, 혈관 나이 진단 모델을 갱신하는데 이용될 수 있다.The data recognizer 320 may determine the blood vessel age of the object based on the input data. The
데이터 학습부(310) 및 데이터 인식부(320) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(310) 및 데이터 인식부(320) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.At least one of the
이 경우, 데이터 학습부(310) 및 데이터 인식부(320)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(310) 및 데이터 인식부(320) 중 하나는 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(310) 및 데이터 인식부(320)는 유선 또는 무선으로 통하여, 데이터 학습부(310)가 구축한 모델 정보를 데이터 인식부(320)로 제공할 수도 있고, 데이터 인식부(320)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(310)로 제공될 수도 있다.In this case, the
한편, 데이터 학습부(310) 및 데이터 인식부(320) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(310) 및 데이터 인식부(320) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다. Meanwhile, at least one of the
도 4에 도시된 바와 같이, 데이터 학습부(310)는 데이터 획득부(311), 전처리부(312), 학습 데이터 선택부(313), 모델 학습부(314), 모델 평가부(315)를 포함할 수 있다. As shown in FIG. 4 , the
데이터 획득부(311)는 혈관 나이 판단에 필요한 데이터를 획득할 수 있다. 데이터 획득부(311)는 혈관 나이 판단을 위한 학습을 위하여 필요한 데이터를 획득할 수 있다. 데이터 획득부(311)는 혈관 나이 진단 장치(200) 또는 영상 촬영 장치(100)로부터 혈관과 관련된 영상, 이미지, 텍스트를 획득할 수 있다. 구체적으로, 데이터 획득부(311)는 영상 또는 혈관의 부분들의 뒤틀림 값들을 획득할 수 있다. 데이터 획득부(311)는 상기의 기재에 한정되지 않고 외부의 전자 장치The
전처리부(312)는 혈관 나이 판단을 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(312)는 후술할 모델 학습부(314)가 혈관 나이 판단을 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다. 전처리부(312)는 영상에 포함된 혈관에 해당하는 혈관 영역을 추출할 수 있다. 혈관 영역을 3차원으로 시각화하기 위해서, 혈관 영역에 각 복셀의 x, y, z축 성분을 보정할 수 있다. 이때, 보간법을 이용하여 x, y, z 축 성분들을 보정할 수 있다. 이러한 보정 과정을 통해 혈관 영역의 시인성이 높아질 수 있다. 또한, 전처리부(312)는 3차원으로 렌더링된 혈관 영역에 해당하는 영상을 골격화함으로써, 혈관의 중심점들을 연결하는 중심선을 추출할 수 있다. 또한, 전처리부(312)는 영상으로부터 추출된 중심선들의 뒤틀림 값들을 산출할 수 있다. The
학습 데이터 선택부(313)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(314)에 제공될 수 있다. 학습 데이터 선택부(313)는 혈관 나이 등의 혈관 건강 판단을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(313)는 후술할 모델 학습부(314)에 의한 학습에 의해 설정된 기준에 따라 데이터를 선택할 수도 있다. 학습 데이터 선택부(313)는 영상에 포함된 복수의 줄기(branch)들의 중심선들의 뒤틀림 값의 전부 또는 일부를 선택할 수 있다. The learning
모델 학습부(314)는 학습 데이터에 기초하여 혈관 나이 등의 혈관 건강 를 어떻게 판단할 지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(314)는 혈관 나이 등의 혈관 건강 판단을 위하여 어떤 혈관 줄기의 뒤틀림 값 등의 데이터를 이용해야 하는 지에 대한 기준을 학습할 수도 있다.The
또한, 모델 학습부(314)는 혈관 나이 등의 혈관 건강 판단에 이용되는 혈관 나이 진단 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 이 경우, 혈관 나이 진단 모델은 미리 구축된 모델일 수 있다. 예를 들어, 혈관 나이 진단 모델은 기본 학습 데이터(예를 들어, DWI, ADC, TOF 영상 등)을 입력 받아 미리 구축된 모델일 수 있다.Also, the
혈관 나이 진단 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 혈관 나이 진단 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 혈관 나이 진단 모델로서 사용될 수 있으나, 이에 한정되지 않는다.The blood vessel age diagnosis model may be constructed in consideration of the field of application of the recognition model, the purpose of learning, or the computer performance of the device. The vascular age diagnosis model may be, for example, a model based on a neural network. For example, a model such as a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), or a Bidirectional Recurrent Deep Neural Network (BRDNN) may be used as the vascular age diagnosis model, but is not limited thereto.
다양한 실시예에 따르면, 모델 학습부(314)는 미리 구축된 혈관 나이 진단 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 혈관 나이 진단 모델을 학습할 혈관 나이 진단 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입 별로 기 분류되어 있을 수 있으며, 혈관 나이 진단 모델은 데이터의 타입 별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기 분류되어 있을 수 있다. According to various embodiments, the
또한, 모델 학습부(314)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 혈관 나이 진단 모델을 학습시킬 수 있다.Also, the
또한, 모델 학습부(314)는, 예를 들어, 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning) 을 통하여, 혈관 나이 진단 모델을 학습시킬 수 있다. 또한, 모델 학습부(314)는, 예를 들어, 별다른 지도 없이 혈관 나이 등의 혈관 건강 판단을 위해 필요한 데이터의 종류를 스스로 학습함으로써, 혈관 나이 등의 혈관 건강 판단을 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 혈관 나이 진단 모델을 학습시킬 수 있다. 또한, 모델 학습부(314)는, 예를 들어, 학습에 따른 혈관 나이 등의 혈관 건강 판단의 결과가 올바른 지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 혈관 나이 진단 모델을 학습시킬 수 있다.Also, the
또한, 혈관 나이 진단 모델이 학습되면, 모델 학습부(314)는 학습된 혈관 나이 진단 모델을 저장할 수 있다. 이 경우, 모델 학습부(314)는 학습된 혈관 나이 진단 모델을 데이터 인식부(320)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(314)는 학습된 혈관 나이 진단 모델을 후술할 데이터 인식부(320)를 포함하는 전자 장치의 메모리에 저장할 수 있다. 또는, 모델 학습부(314)는 학습된 혈관 나이 진단 모델을 전자 장치와 유선 또는 무선 네트워크로 연결되는 서버의 메모리에 저장할 수도 있다.Also, when the blood vessel age diagnosis model is learned, the
이 경우, 학습된 혈관 나이 진단 모델이 저장되는 메모리는, 예를 들면, 전자 장치의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 프로그램은, 예를 들면, 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.In this case, the memory in which the learned blood vessel age diagnosis model is stored may also store, for example, commands or data related to at least one other component of the electronic device. The memory may also store software and/or programs. A program may include, for example, a kernel, middleware, an application programming interface (API) and/or an application program (or "application"), and the like.
모델 평가부(315)는 혈관 나이 진단 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 인식 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(314)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 혈관 나이 진단 모델을 평가하기 위한 기 설정된 데이터일 수 있다. The
예를 들어, 모델 평가부(315)는 평가 데이터에 대한 학습된 혈관 나이 진단 모델의 인식 결과 중에서, 혈관 나이 등의 인식 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. For example, the
한편, 학습된 혈관 나이 진단 모델이 복수 개가 존재하는 경우, 모델 평가부(315)는 각각의 학습된 동영상 인식 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 혈관 나이 진단 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(315)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 혈관 나이 진단 모델로서 결정할 수 있다.On the other hand, when there are a plurality of learned blood vessel age diagnosis models, the
한편, 데이터 학습부(310) 내의 데이터 획득부(311), 전처리부(312), 학습 데이터 선택부(313), 모델 학습부(314) 및 모델 평가부(315) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(311), 전처리부(312), 학습 데이터 선택부(313), 모델 학습부(314) 및 모델 평가부(315) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.Meanwhile, at least one of the
또한, 데이터 획득부(311), 전처리부(312), 학습 데이터 선택부(313), 모델 학습부(314) 및 모델 평가부(315)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 또한, 데이터 획득부(311), 전처리부(312), 학습 데이터 선택부(313), 모델 학습부(314) 및 모델 평가부(315) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(311), 전처리부(312), 학습 데이터 선택부(313), 모델 학습부(314) 및 모델 평가부(315) 중 적어도 하나가 소프트웨어 모듈(또는, 인스터력션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. In addition, the
다음으로, 데이터 인식부(320)의 구조를 설명하겠다. Next, the structure of the
본 발명의 실시예에 따른 데이터 인식부(320)는 데이터 획득부(321), 전처리부(322), 인식 데이터 선택부(323), 인식 결과 제공부(324) 및 모델 갱신부(325)를 포함할 수 있다.The
데이터 획득부(321)는 혈관 나이 등의 혈관 건강 판단에 필요한 데이터를 획득할 수 있으며, 전처리부(322)는 혈관 나이 등의 혈관 건강 판단을 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(322)는 후술할 인식 결과 제공부(324)가 혈관 나이 등의 혈관 건강 판단을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기 설정된 포맷으로 가공할 수 있다. 전처리부(322)는 영상에 포함된 혈관에 해당하는 혈관 영역을 추출할 수 있다. 혈관 영역을 3차원으로 시각화하기 위해서, 혈관 영역에 각 복셀의 x, y, z축 성분을 보정할 수 있다. 이때, 보간법을 이용하여 x, y, z 축 성분들을 보정할 수 있다. 이러한 보정 과정을 통해 혈관 영역의 시인성이 높아질 수 있다. 또한, 전처리부(322)는 3차원으로 렌더링된 혈관 영역에 해당하는 영상을 골격화함으로써, 혈관의 중심점들을 연결하는 중심선을 추출할 수 있다. 또한, 전처리부(322)는 영상으로부터 추출된 중심선들의 뒤틀림 값들을 산출할 수 있다. 전처리부(322)가 뒤틀림 값을 산출하기 전에, 혈관의 중심점들을 연결한 중심선을 트랙킹할 수 있다. The
인식 데이터 선택부(323)는 전처리된 데이터 중에서 혈관 나이 등의 혈관 건강 판단에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 인식 결과 제공부(324)에게 제공될 수 있다. 인식 데이터 선택부(323)는 혈관 나이 등의 혈관 건강 판단을 위한 기 설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 인식 데이터 선택부(323)는 모델 학습부(314)에 의한 학습에 의해 기 설정된 기준에 따라 데이터를 선택할 수도 있다.The recognition
인식 결과 제공부(324)는 선택된 데이터를 혈관 나이 진단 모델에 적용하여 혈관 나이 등의 혈관 건강을 판단할 수 있다. 인식 결과 제공부(324)는 데이터의 인식 목적에 따른 인식 결과를 제공할 수 있다. 인식 결과 제공부(324)는 인식 데이터 선택부(323)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 혈관 나이 진단 모델에 적용할 수 있다. 또한, 인식 결과는 혈관 나이 진단 모델에 의해 결정되는데, 대상체의 혈관 나이 등의 혈관 건강 상태를 포함할 수 있다. The recognition
모델 갱신부(325)는 인식 결과 제공부(324)에 의해 제공되는 인식 결과에 대한 평가에 기초하여, 혈관 나이 진단 모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(325)는 인식 결과 제공부(324)에 의해 제공되는 인식 결과를 모델 학습부(324)에게 제공함으로써, 모델 학습부(324)가 혈관 나이 진단 모델을 갱신하도록 할 수 있다.The
한편, 데이터 인식부(320) 내의 데이터 획득부(321), 전처리부(322), 인식 데이터 선택부(323), 인식 결과 제공부(324) 및 모델 갱신부(325) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(321), 전처리부(322), 인식 데이터 선택부(323), 인식 결과 제공부(324) 및 모델 갱신부(325) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.Meanwhile, at least one of the
도 4 및 도 5는 본 발명의 실시예들에 따른 혈관 건강 진단 방법의 흐름도이다. 4 and 5 are flowcharts of a blood vessel health diagnosis method according to embodiments of the present invention.
도 4에 도시된 바와 같이, 혈관 건강 진단 방법은 영상 촬영 장치(100)로부터 촬영된 영상을 수신한다. As shown in FIG. 4 , the blood vessel health diagnosis method receives an image captured by the
S120에서는 혈관 나이 진단 장치(200)는 영상에서 3차원 이진 혈관 영상을 추출할 수 있다. 3차원 이진 혈관 영상은 혈관에 해당하는 복셀을 1로, 혈관에 해당하지 않은 복셀을 0으로 설정한 것일 수 있다. 혈관 나이 진단 장치(200)는 3차원 이진 혈관 영상에서 해부학적으로 구분된 영역별 복수의 혈관 분할 영역들을 추출할 수 있다. In S120, the blood vessel
S130에서는 혈관 나이 진단 장치(200)는 3차원 이진 혈관 영상 및 혈관 분할 영역들을 이용하여 사용자에 의해 지정된 제1 혈관 구간의 중심점들의 집합을 추출하여 중심선으로 설정할 수 있다. In S130 , the blood vessel
S140에서는 혈관 나이 진단 장치(200)는 혈관 분할 영역 (예를 들어 right middle cerebral artery 영역)의 중심선으로부터 뒤틀림을 수치로 산출할 수 있다. 혈관 분할 영역에 대해 해당 혈관의 시작점과 끝점이 주어질 수 있다. 이 때, 혈관 분할 영역의 시작점과 끝점은 자동으로 찾을 수도 있고, 사용자가 인터페이스를 이용하여 MRI영상을 보고 수동으로 설정할 수도 있다. 시작점과 끝점이 주어지면, 시작점과 가장 가까운 중심선 상의 점()을 찾고, 끝점과 가장 가까운 중심선 상의 점()을 찾는다. 에서 출발하여 으로 향하는 중심선 상의 점들을 자동으로 순차적으로 추적한다. 점과 점을 잇는 벡터의 방향 코사인 (directional cosine)을 근거로 하여 자동적으로 중심점들을 추적할 수 있다. 이 점들을 따라 거리를 합하면 혈관 분할 영역에 대한 혈관 길이(branch length)로 근사화 하여 다음과 같이 산출할 수 있다. In S140 , the blood vessel
이 때, 는 3차원 상의 점 와 점 간의 직선 거리 (즉, Euclidean distance)이다. 해당 혈관 영역에서 혈관의 뒤틀림(tortuosity) 값을 다음과 같이 산출한다. At this time, is a point in 3D with dots is the linear distance between them (ie, the Euclidean distance). The tortuosity value of the blood vessel in the corresponding blood vessel region is calculated as follows.
혈관 나이 진단 장치(200)는 이러한 원리로 모든 혈관 분할 영역들 각각에 포함된 중심선을 기초로 혈관의 뒤틀림 값들을 산출한다. 일반적으로 혈관의 뒤틀림 값과 혈관 나이 사이에 양의 상관 관계가 있는 것으로 볼 수 있다. 혈관 나이 진단 장치(200)는 대상체의 영상으로부터 각 혈관 분할 영역에 대한 뒤틀림 값들의 set를 산출한다. According to this principle, the blood vessel
S150에서는 혈관 나이 진단 장치(200)는 영역 별 뒤틀림 값들의 set를 이용하여 대상체의 혈관 나이를 추론한다. 혈관 나이 진단 장치(200)는 기 설정된 혈관 나이와 대응되는 뒤틀림 값을 이용하여 대상체의 혈관 나이를 추론할 수 있다. 혈관 나이 진단 장치(200)는 영역 별 뒤틀림 값들의 set와 함께 진단의에 의해 진단된 혈관 나이 또는 실제 대상체의 생물학적 혈관 나이를 입력하여 학습시키는 방식으로 대상체의 뒤틀림 값들의 set에 대한 대상체의 혈관 나이를 추론할 수도 있다. In S150, the blood vessel
도 5에 도시된 바와 같이, 학습 모델 장치(300)는 혈관 나이 진단 장치와 연동하여 혈관 나이 진단 모델을 학습 시킬 수 있다. As shown in FIG. 5 , the
S210에서 학습 모델 장치(300)는 대상체의 촬영 영상을 영상 촬영 장치 또는 혈관 나이 진단 장치로부터 수신한다. In S210 , the
S220에서는 학습 모델 장치(300)는 촬영 영상으로부터 혈관 나이 판단을 위한 데이터를 추출한다. 학습 모델 장치(300)는 혈관 나이 판단을 위한 데이터로, 3차원 이진 혈관 영상, 혈관 줄기로 분할된 혈관 분할 영상, 혈관 줄기들에 대한 뒤틀림 값 등의 데이터를 추출할 수 있다. In S220, the
S230에서는 학습 모델 장치(300)는 추출한 데이터 중에서 혈관 나이 판단을 위한 데이터를 선택한다. S240에서는 학습 모델 장치(300)는 혈관 나이 판단을 위한 데이터를 이용하여 혈관 나이 진단 모델을 학습시킨다. In S230, the
S250에서는 학습 모델 장치(300)는 학습된 혈관 나이 진단 모델에 기 설정된 혈관 나이 등의 데이터를 입력하여 혈관 나이 진단 모델을 평가한다. In S250, the
S260에서는 학습 모델 장치(300)는 소정의 평가 기준을 만족하는 혈관 나이 진단 모델을 혈관 나이 진단 장치의 저장부로 전달하여 갱신한다. In S260, the
이를 통해, 본 발명의 실시예들에 따른 혈관 나이 진단 장치(200)는 학습 모델 장치(300)를 통해 혈관 나이 진단 모델을 제공 받아 혈관 나이 진단 모델을 이용하여 대상체의 혈관 나이를 추론할 수 있다. Through this, the vascular
도 7 내지 도 9는 혈관 나이 진단 장치를 통해서 제공되는 사용자 인터페이스의 예시 도면들이다. 혈관 나이 진단 장치(200)는 입출력부(240)를 통해 대상체를 촬영한 영상(S1) 및 영상으로부터 추출한 3차원 이진 혈관 영상(S2)를 제공한다. 7 to 9 are exemplary views of a user interface provided through an apparatus for diagnosing blood vessel age. The blood vessel
3차원 이진 혈관 영상(S2)에 대한 I1에 의해 시작점이 설정되고, I2에 의해 끝점이 설정된다. 혈관 나이 진단 장치(200)는 I1 및 I2를 고려하여 혈관의 중심선(centerline)을 추출할 수 있다. A start point is set by I1 for the 3D binary blood vessel image S2, and an end point is set by I2. The blood vessel
도 8에서 ellipse로 표시된 부분은 left middle cerebral artery 혈관 영역을 표시하고 있으며, 시작점과 끝점이 주어졌을 때, tracking을 통해 추적한 중심점들을 혈관에 overlay하여 보여주는 예시 도면이다.The portion marked with ellipse in FIG. 8 indicates the region of the left middle cerebral artery blood vessel, and is an exemplary view showing the central points tracked through tracking by overlaying the blood vessels when the start and end points are given.
혈관 나이 진단 장치(200)는 사용자 입력에 의해 각 혈관 줄기의 뒤틀림 값을 산출하는 버튼들(item1, item2, item3, item4)을 제공할 수 있다. The blood vessel
도 10은 혈관의 뒤틀림 수치로부터 학습된 모델을 거쳐 혈관 나이를 추론하는 예시 도면이다. 여기서, 혈관의 뒤틀림 수치들은 basilar artery, Posterior cerebral artery, Vertebral artery 등이며, 이에 한정되지 않고 다양한 알고리즘으로 산출될 수 있다. 예를 들어 선형 회귀(regression) 모델, support vector machine (SVM) regression 모델, random forests regression 모델과 같은 모델을 학습한 후 학습한 모델을 이용하여 새로운 혈관에 대해 혈관 나이를 예측할 수 있다. 지도학습에서 입력부는 혈관의 뒤틀림 수치 set이고 출력부는 혈관 나이인데, 이 때 지도학습을 위한 입출력 데이터는 정상군 (normal group) subject의 데이터를 통해 획득할 수 있다. 훈련(training)이나 테스팅(testing) 시에 입력 데이터에 결측 값(missing value)이 발생할 시에는 multiple imputation 및 결측이 없는 샘플들의 통계정보를 이용한 추론 등의 방법을 이용하여 다른 값으로 대체할 수 있다. 10 is an exemplary diagram for inferring the age of a blood vessel through a model learned from the distortion value of the blood vessel. Here, the blood vessel distortion values are basilar artery, posterior cerebral artery, vertebral artery, etc., but is not limited thereto, and may be calculated by various algorithms. For example, after training a model such as a linear regression model, a support vector machine (SVM) regression model, or a random forests regression model, the age of the vessel can be predicted for a new vessel using the trained model. In supervised learning, the input part is a set of blood vessel distortion values and the output part is the blood vessel age. When a missing value occurs in the input data during training or testing, it can be replaced with another value using methods such as multiple imputation and inference using statistical information of samples without missing values. .
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. may be permanently or temporarily embody in The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible for those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
10: 혈관 나이 진단 시스템
100: 영상 촬영 장치
200: 혈관 나이 진단 장치
300: 학습 모델 장치10: Vascular Age Diagnosis System
100: video recording device
200: vascular age diagnosis device
300: learning model device
Claims (13)
상기 혈관 나이 진단 장치가 상기 영상에서 3차원 이진 혈관 영상을 추출하는 단계-상기 3차원 이진 혈관 영상은 혈관에 해당하는 복셀을 1로, 혈관에 해당하지 않은 복셀을 0으로 설정하는 것임;
상기 혈관 나이 진단 장치가 상기 3차원 이진 혈관 영상에 포함된 혈관 줄기들을 골격화하여, 해부학적으로 구분된 영역별 혈관 분할 영역들을 추출하는 단계;
상기 혈관 나이 진단 장치가 상기 3차원 이진 혈관 영상 및 상기 혈관 분할 영역들을 이용하여 제1 혈관 구간의 중심점들의 집합을 추출하고, 사용자 입력들에 의해 지정된 시작점 및 끝점을 잇는 중심선을 추출하는 단계;
상기 혈관 나이 진단 장치가 상기 중심선을 기초로 혈관의 뒤틀림 값을 산출하는 단계; 및
상기 혈관 나이 진단 장치가 상기 영상에 포함된 영역별 혈관 분할 영역들의 뒤틀림 값으로 학습한 혈관 나이 진단 모델을 이용하여 상기 혈관 영상 및 상기 뒤틀림 값에 대한 상기 대상체의 혈관 나이를 추론하며,
상기 혈관 나이 추론을 위해 수집한 복수의 혈관 영상들을 기초로 대상체의 성별, 연령에 따른 혈관의 평균값을 저장한 데이터베이스와 통신하며 상기 대상체의 혈관 상태를 진단하는 단계-상기 혈관 상태는 심장 질환의 발생 위험도, 뇌혈관 질환의 발생 위험도, 심혈 관계 질환의 발생 위험도, 또는 뇌졸중의 발생 위험도를 포함함-;를 포함하고,
상기 혈관 나이 진단 모델은
혈관 나이를 판단하기 위한 입력 데이터 및 입력 데이터를 이용하여 혈관 나이를 판단하는 기준을 학습하고, 획득된 영상 및 혈관의 뒤틀림 값을 입력으로 혈관 나이를 추론하는, 혈관 나이 진단 장치에 의해 수행되는 혈관 나이 진단 방법. receiving, by an apparatus for diagnosing blood vessel age, an image obtained by photographing an object from an imaging apparatus;
extracting, by the blood vessel age diagnosis apparatus, a three-dimensional binary blood vessel image from the image; in the three-dimensional binary blood vessel image, voxels corresponding to blood vessels are set to 1 and voxels not corresponding to blood vessels are set to 0;
extracting, by the vascular age diagnosis apparatus, vascular stems included in the three-dimensional binary vascular image, to extract vascular division regions for each anatomically divided region;
extracting, by the blood vessel age diagnosis apparatus, a set of center points of a first blood vessel section using the three-dimensional binary blood vessel image and the blood vessel segmentation regions, and extracting a center line connecting a start point and an end point designated by user inputs;
calculating, by the blood vessel age diagnosis apparatus, a distortion value of a blood vessel based on the center line; and
The blood vessel age diagnosis apparatus infers the blood vessel age of the subject with respect to the blood vessel image and the distortion value using the blood vessel age diagnosis model learned with the distortion values of the blood vessel division regions for each region included in the image,
Diagnosing the blood vessel state of the subject by communicating with a database storing the average value of blood vessels according to the sex and age of the subject based on the plurality of blood vessel images collected for inferring the age of the blood vessel - The blood vessel condition is the occurrence of heart disease Including risk, risk of cerebrovascular disease, risk of cardiovascular disease, or risk of stroke;
The vascular age diagnosis model is
A blood vessel performed by an apparatus for diagnosing blood vessel age, which learns a criterion for determining a blood vessel age using input data for determining the age of a blood vessel and the input data, and infers the age of the vessel by inputting the obtained image and the distortion value of the blood vessel How to diagnose age.
상기 3차원 이진 혈관 영상을 추출하는 단계는
상기 영상의 각 복셀의 x, y, z 성분들을 인터폴레이션(interpolation) 함으로써, 각 복셀의 z 성분을 보정하고, 보정한 결과를 이용하여 상기 영상의 각 복셀의 x, y, z 성분들을 보정하고, 보정한 x, y, z 성분으로 각 복셀의 위치를 변경함으로써, 3차원 이진 혈관 영상을 추출하는 점을 특징으로 하는, 혈관 나이 진단 장치에 의해 수행되는 혈관 나이 진단 방법. According to claim 1,
The step of extracting the 3D binary blood vessel image is
Correcting the z component of each voxel by interpolating the x, y, and z components of each voxel of the image, and correcting the x, y, and z components of each voxel of the image using the corrected result; A method for diagnosing vascular age performed by a vascular age diagnosis apparatus, comprising extracting a three-dimensional binary vascular image by changing the position of each voxel with corrected x, y, and z components.
상기 영상, 및 상기 3차원 이진 혈관 영상 위에 추출한 중심선을 오버랩하여 입출력부를 통해 출력하는 단계를 더 포함하는, 혈관 나이 진단 장치에 의해 수행되는 혈관 나이 진단 방법. According to claim 1,
The method of diagnosing vascular age performed by an apparatus for diagnosing vascular age, further comprising the step of overlapping the image and the extracted center line on the three-dimensional binary vascular image and outputting the image through an input/output unit.
상기 영상에서 3차원 이진 혈관 영상을 추출하고, 상기 3차원 이진 혈관 영역에 포함된 혈관 줄기들을 골격화하여, 해부학적으로 구분된 영역별 혈관 분할 영역들을 추출하는 혈관 추출부 - 상기 3차원 이진 혈관 영역은 혈관에 해당하는 복셀을 1로, 혈관에 해당하지 않은 복셀을 0으로 설정하는 것임;
상기 3차원 이진 혈관 영상 및 상기 혈관 분할 영역들을 이용하여 제1 혈관 구간의 중심점들의 집합을 추출하고, 사용자 입력들에 의해 지정된 시작점 및 끝점을 잇는 중심선을 추출하는 중심선 획득부;
상기 중심선을 기초로 혈관의 뒤틀림 값을 산출하는 뒤틀림 산출부; 및
상기 영상에 포함된 영역별 혈관 분할 영역들의 뒤틀림 값으로 학습한 혈관 나이 진단 모델을 이용하여 상기 혈관 영상 및 상기 뒤틀림 값을 기초로 상기 대상체의 혈관 나이를 추론하는 혈관 나이 추론부; 및
상기 혈관 나이 추론을 위해 수집한 복수의 혈관 영상들을 기초로 대상체의 성별, 및 연령에 따른 혈관의 평균 값을 저장한 데이터베이스와 통신하며 상기 대상체의 혈관 상태를 진단하는 혈관 상태 진단부;를 포함하고,
상기 혈관 상태는 심장 질환의 발생 위험도, 뇌혈관 질환의 발생 위험도, 심혈 관계 질환의 발생 위험도 또는 뇌졸중의 발생 위험도를 포함하며,
상기 혈관 나이 진단 모델은
혈관 나이를 판단하기 위한 입력 데이터 및 입력 데이터를 이용하여 혈관 나이를 판단하는 기준을 학습하고 획득된 영상 및 혈관의 뒤틀림 값을 입력으로 혈관 나이를 추론하는 것인, 혈관 나이 진단 장치. an image receiver configured to receive an image obtained by photographing an object from an image photographing apparatus;
A blood vessel extractor that extracts a 3D binary blood vessel image from the image, skeletalizes blood vessel stems included in the 3D binary blood vessel region, and extracts blood vessel division regions for each anatomically divided region - the 3D binary blood vessel region is to set voxels corresponding to blood vessels to 1 and voxels not corresponding to blood vessels to 0;
a centerline obtaining unit that extracts a set of center points of a first blood vessel section using the three-dimensional binary blood vessel image and the blood vessel segmentation regions, and extracts a center line connecting a start point and an end point designated by user inputs;
a distortion calculation unit for calculating a distortion value of a blood vessel based on the center line; and
a blood vessel age inference unit for inferring the blood vessel age of the object based on the blood vessel image and the warpage value using the blood vessel age diagnosis model learned with the distortion values of the blood vessel division regions for each region included in the image; and
A blood vessel state diagnosis unit communicating with a database storing an average value of blood vessels according to the sex and age of the subject based on the plurality of blood vessel images collected for inferring the blood vessel age and diagnosing the blood vessel state of the subject; and ,
The vascular state includes the risk of heart disease, the risk of cerebrovascular disease, the risk of cardiovascular disease, or the risk of stroke,
The vascular age diagnosis model is
An apparatus for diagnosing blood vessel age by learning the input data for determining the age of the vessel and a criterion for determining the age of the vessel by using the input data, and inferring the age of the vessel by inputting the obtained image and the distortion value of the vessel.
상기 혈관 추출부는
상기 영상의 각 복셀의 x, y, z 성분들을 인터폴레이션(interpolation) 함으로써, 각 복셀의 z 성분을 보정하고, 보정한 결과를 이용하여 상기 영상의 각 복셀의 x, y, z 성분들을 보정하고, 보정한 x, y, z 성분으로 각 복셀의 위치를 변경함으로써, 3차원 이진 혈관 영상을 추출하는 점을 특징으로 하는, 혈관 나이 진단 장치.
8. The method of claim 7,
The blood vessel extraction unit
Correcting the z component of each voxel by interpolating the x, y, and z components of each voxel of the image, and correcting the x, y, and z components of each voxel of the image using the corrected result; An apparatus for diagnosing blood vessel age, characterized in that a three-dimensional binary blood vessel image is extracted by changing the position of each voxel with the corrected x, y, and z components.
상기 영상, 및 상기 3차원 이진 혈관 영상 위에 추출한 중심선을 오버랩하여 출력하는 입출력부를 더 포함하는, 혈관 나이 진단 장치.
8. The method of claim 7,
The apparatus for diagnosing blood vessel age, further comprising an input/output unit that overlaps the image and the extracted center line on the three-dimensional binary blood vessel image.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180135327A KR102304420B1 (en) | 2018-11-06 | 2018-11-06 | blood vessel age diagnosis apparatus, blood vessel age diagnosis method, and computer program for executing the method |
PCT/KR2019/014903 WO2020096321A1 (en) | 2018-11-06 | 2019-11-05 | Blood vessel age diagnosis apparatus, blood vessel age diagnosis method, and computer program for executing said method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180135327A KR102304420B1 (en) | 2018-11-06 | 2018-11-06 | blood vessel age diagnosis apparatus, blood vessel age diagnosis method, and computer program for executing the method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200052123A KR20200052123A (en) | 2020-05-14 |
KR102304420B1 true KR102304420B1 (en) | 2021-09-23 |
Family
ID=70611105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180135327A KR102304420B1 (en) | 2018-11-06 | 2018-11-06 | blood vessel age diagnosis apparatus, blood vessel age diagnosis method, and computer program for executing the method |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102304420B1 (en) |
WO (1) | WO2020096321A1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017047819A1 (en) * | 2015-09-18 | 2017-03-23 | イービーエム株式会社 | Blood vessel shape analysis device, method for same, and computer software program for same |
KR101741314B1 (en) * | 2015-05-19 | 2017-05-30 | (의료)길의료재단 | Method for calculating Vascular Age using IAC scores and tortuosity scores |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6166871B2 (en) * | 2012-07-26 | 2017-07-19 | 国立大学法人京都大学 | Blood vessel age output device, blood vessel age output method, and program |
KR101563501B1 (en) * | 2014-03-17 | 2015-10-27 | 삼성메디슨 주식회사 | Apparatus and method for measuring vessel stress |
JP2015228924A (en) * | 2014-06-03 | 2015-12-21 | 株式会社東芝 | Medical image processor and medical image processing method |
KR102367133B1 (en) * | 2015-02-24 | 2022-02-24 | 삼성전자주식회사 | Medical image apparatus and method for processing medical image |
-
2018
- 2018-11-06 KR KR1020180135327A patent/KR102304420B1/en active IP Right Grant
-
2019
- 2019-11-05 WO PCT/KR2019/014903 patent/WO2020096321A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101741314B1 (en) * | 2015-05-19 | 2017-05-30 | (의료)길의료재단 | Method for calculating Vascular Age using IAC scores and tortuosity scores |
WO2017047819A1 (en) * | 2015-09-18 | 2017-03-23 | イービーエム株式会社 | Blood vessel shape analysis device, method for same, and computer software program for same |
Also Published As
Publication number | Publication date |
---|---|
WO2020096321A1 (en) | 2020-05-14 |
KR20200052123A (en) | 2020-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11443428B2 (en) | Systems and methods for probablistic segmentation in anatomical image processing | |
EP3142033B1 (en) | Physiology-driven decision support for therapy planning | |
KR102022667B1 (en) | Method and apparatus for monitoring patient | |
KR102352841B1 (en) | Vascular map bulding apparatus, method and computer program for carrying out the method | |
KR102043829B1 (en) | Method, Device and Program for Estimating Time of Lesion Occurrence | |
KR20220077114A (en) | Method, Device and Computer Program for Predicting Distribution of Brain Tissue Lesion | |
US11935232B2 (en) | Predicting disease progression from tissue images and tissue segmentation maps | |
KR102304420B1 (en) | blood vessel age diagnosis apparatus, blood vessel age diagnosis method, and computer program for executing the method | |
JP5961512B2 (en) | Image processing apparatus, operation method thereof, and image processing program | |
KR20230118054A (en) | Method and system for predicting biomarker expression in medical image | |
US11139082B2 (en) | Method for classifying a risk for thrombus formation in an organ, system for classifying a risk for thrombus formation in an organ, a computer program product and a computer readable medium | |
KR102375258B1 (en) | lesion area detection device, lesion area detection method, and computer program | |
EP4330930A1 (en) | Systems and methods for determining information of regions of interest | |
CN112884706B (en) | Image evaluation system based on neural network model and related product | |
KR20220121141A (en) | Method and device for semgneting body component for conveying fluid | |
KR20210118686A (en) | Machine learning method of neural netowrk predicting mechanism of action of drug and predicting mechanism of action of drug using the neural netowrk | |
KR102641346B1 (en) | Vessel detection method and computer program performing the same | |
KR102597647B1 (en) | Method for outputting classification information based on artificial neural network and apparatus therefor | |
KR102607593B1 (en) | Method for segmenting meniscus in knee magnetic resonance image based on deep learning, program and apparatus therefor | |
CN114708973B (en) | Device and storage medium for evaluating human health | |
EP4281929A1 (en) | Vessel shape | |
CN114266759A (en) | Image analysis method and device and computer equipment | |
KR20230062208A (en) | Method and apparatus for sorting medical image for labeling | |
KR20230142995A (en) | Image processing apparatus and method for classification related to stroke onset time based on a machine learning model trained using curriculum learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |