KR20210073909A - 의료영상 처리 장치와 그 학습 방법 - Google Patents
의료영상 처리 장치와 그 학습 방법 Download PDFInfo
- Publication number
- KR20210073909A KR20210073909A KR1020190164694A KR20190164694A KR20210073909A KR 20210073909 A KR20210073909 A KR 20210073909A KR 1020190164694 A KR1020190164694 A KR 1020190164694A KR 20190164694 A KR20190164694 A KR 20190164694A KR 20210073909 A KR20210073909 A KR 20210073909A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- ray
- type
- reconstruction
- learning
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 41
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 61
- 210000000056 organ Anatomy 0.000 claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000002591 computed tomography Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 7
- 238000003325 tomography Methods 0.000 claims description 5
- 230000005855 radiation Effects 0.000 abstract description 3
- 238000003384 imaging method Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000011976 chest X-ray Methods 0.000 description 6
- 208000019693 Lung disease Diseases 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000002059 diagnostic imaging Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009547 dual-energy X-ray absorptiometry Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
Abstract
실시예에 따른 의료영상 처리 장치의 학습 방법은, 환자의 단면 의료영상으로부터 X선 영상의 복원에 기초하여 뼈 또는 장기가 나타난 제1형 X선 복원 영상을 획득하는 단계와, 단면 의료영상으로부터 환자의 뼈 또는 장기를 지운 후 X선 영상의 복원에 기초하여 뼈 또는 장기가 나타나지 않은 제2형 X선 복원 영상을 획득하는 단계와, 제1형 X선 복원 영상에 기반한 제1형 X선 학습 영상과 제2형 X선 복원 영상에 기반한 제2형 X선 학습 영상을 입력과 레이블의 세트로 이용하여 영상 처리 모델을 학습시키는 단계를 포함한다.
Description
본 발명은 의료영상을 처리하는 장치와 이 장치가 영상 처리를 위하여 영상을 학습하는 방법에 관한 것이다.
의료영상 장치는 대상체의 내부 구조를 영상으로 획득하기 위한 장비이다. 의료영상 장치는 비침습 검사 장치로서, 신체 내의 구조적 세부사항, 내부 조직 및 유체의 흐름 등을 촬영 및 처리하여 사용자에게 보여준다. 의사 등의 사용자는 의료영상 장치에서 출력되는 의료영상을 이용하여 환자의 건강 상태 및 질병을 진단할 수 있다.
의료영상 장치로는 대상체로 엑스(X)선을 조사하고 대상체를 통과한 X선을 감지하여 영상을 이미징하는 X레이(X-ray) 촬영 장치, 자기 공명 영상을 제공하기 위한 자기 공명 영상(MRI: magnetic resonance imaging) 장치, 컴퓨터 단층 촬영(CT: Computed Tomography) 장치, 및 초음파(Ultrasound) 진단 장치 등이 있다.
최근에는 캐드(CAD: Computer Aided Detection) 시스템, 기계 학습 등과 같은 영상 처리 기술의 발전으로 인하여, 의료영상 장치가 획득된 의료영상을 컴퓨터로 분석하여, 대상체에 이상이 발생한 부위인 비정상(abnormal) 영역을 검출하거나 분석한 결과를 생성할 수 있다. 전술한 바와 같이, 획득된 의료영상을 분석하여 재 생성된 영상을 판독 보조 영상이라 한다. 판독 보조 영상을 의사에게 제공하면, 의사는 판독 보조 영상을 참조하여, 대상체에 이상이 발생하였는지 여부를 보다 용이하게 진단할 수 있다.
한편, 흉부 X선 영상은 다양한 폐 질환 검출 및 진단에 이용되고 있는데, 흉부 X선 영상에서 보이는 뼈가 폐 질환 검출 및 진단에 방해 요소로 작용하게 된다. 이에, 뼈가 지워진 흉부 X선 영상을 의사에게 판독 보조 영상으로 제공하면, 진단 방해 요소가 제거된 만큼 의사에 의한 폐 질환 검출 및 진단이 용이해 지게 된다.
그런데, 뼈가 지워진 흉부 X선 영상을 획득하려면 이중 에너지 X선 흡수법(Dual energy X-ray absorptiometry)을 이용하는 특수 X레이 촬영 장치를 이용하여야 하기 때문에, 환자의 방사선 피폭량의 증가가 불가피하다.
실시예에 따르면, X선 영상을 입력하면 뼈가 지워진 X선 영상을 출력하는 의료영상 처리 장치와 이를 위하여 의료영상 처리 장치가 영상을 학습하는 방법을 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
제 1 관점에 따른 의료영상 처리 장치의 학습 방법은, 환자의 단면 의료영상으로부터 X선 영상의 복원에 기초하여 뼈 또는 장기가 나타난 제1형 X선 복원 영상을 획득하는 단계와, 상기 단면 의료영상으로부터 상기 환자의 뼈 또는 장기를 지운 후 X선 영상의 복원에 기초하여 뼈 또는 장기가 나타나지 않은 제2형 X선 복원 영상을 획득하는 단계와, 상기 제1형 X선 복원 영상에 기반한 제1형 X선 학습 영상과 상기 제2형 X선 복원 영상에 기반한 제2형 X선 학습 영상을 입력과 레이블의 세트로 이용하여 영상 처리 모델을 학습시키는 단계를 포함한다.
제 2 관점에 따른 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체의는, 상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면, 상기 학습 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함한다.
제 3 관점에 따른 의료영상 처리 장치는, 환자의 단면 의료영상과 상기 환자의 X선 촬영 영상을 획득하는 영상 획득부와, 상기 단면 의료영상 및 상기 X선 촬영 영상에 기초하여 획득한 학습 영상을 이용하여 영상 처리 모델을 학습시키는 제어부를 포함하고, 상기 제어부는, 상기 단면 의료영상으로부터 X선 영상의 복원에 기초하여 뼈 또는 장기가 나타난 제1형 X선 복원 영상을 획득하며, 상기 단면 의료영상으로부터 상기 환자의 뼈 또는 장기를 지운 후 X선 영상의 복원에 기초하여 뼈 또는 장기가 나타나지 않은 제2형 X선 복원 영상을 획득하고, 상기 제1형 X선 복원 영상에 기반한 제1형 X선 학습 영상과 상기 제2형 X선 복원 영상에 기반한 제2형 X선 학습 영상을 입력과 레이블의 세트로 이용하여 상기 영상 처리 모델을 학습시킨다.
실시예에 의하면, 환자의 단면 의료영상을 이용하여 생성한 X선 영상에 대한 학습을 통하여, 영상 판독이 요구되는 뼈와 장기뼈 또는 장기가 나타난 X선 촬영 영상이 입력되면 뼈와 장기뼈 또는 장기가 나타나지 않은 X선 영상을 출력할 수 있는 의료영상 처리 장치를 제공할 수 있다. 이처럼, 뼈가 지워진 흉부 X선 영상을 획득하기 위하여 이중 에너지 X선 흡수법(Dual energy X-ray absorptiometry)을 이용하는 특수 촬영을 하지 않고 일반적인 X선 촬영만을 수행하더라도 뼈와 장기뼈 또는 장기가 제거된 X선 영상을 획득할 수 있기 때문에, 그만큼 환자의 방사선 피폭량이 감소되는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 의료영상 처리 장치의 구성도이다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 의료영상 처리 장치에서 수행하는 학습 방법을 설명하기 위한 흐름도이다.
도 5 내지 도 11은 본 발명의 일 실시예에 따른 의료영상 처리 장치에서 학습을 수행하는 과정 중에 획득 또는 생성되는 의료영상을 예시한 것이다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 의료영상 처리 장치에서 수행하는 학습 방법을 설명하기 위한 흐름도이다.
도 5 내지 도 11은 본 발명의 일 실시예에 따른 의료영상 처리 장치에서 학습을 수행하는 과정 중에 획득 또는 생성되는 의료영상을 예시한 것이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다름을 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '구성하다' 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 발명의 실시예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
본 발명의 실시예에 대한 설명에서 환자의 단면 의료영상이라 함은 컴퓨터 단층 촬영(CT) 검사에 의한 의료영상, 자기 공명 영상(MRI) 검사에 의한 의료영상, 양전자 단층 촬영(PET-CT) 검사에 의한 의료영상 등과 같이 환자의 단면상을 얻을 수 있는 각종 검사에 의하여 획득할 수 있는 의료영상을 일컫는다. 물론, 앞서 기술한 검사들은 예시에 불과하며, 이에 한정되지 않는다.
도 1은 본 발명의 일 실시예에 따른 의료영상 처리 장치의 구성도이다.
도 1에 나타낸 바와 같이 일 실시예에 따른 의료영상 처리 장치(100)는 영상 획득부(110) 및 제어부(120)를 포함한다.
영상 획득부(110)는 환자의 단면 의료영상과 환자의 X선 촬영 영상을 획득하여 제어부(120)에 제공한다. 예를 들어, 영상 획득부(110)는 단면 의료영상으로서 컴퓨터 단층 촬영(CT) 검사에 의한 의료영상, 자기 공명 영상(MRI) 검사에 의한 의료영상 또는 양전자 단층 촬영(PET-CT) 검사에 의한 의료영상을 획득할 수 있다. 예컨대, 영상 획득부(110)는 단면 의료영상과 X선 촬영 영상을 직접 촬영하여 획득할 수도 있고, 입력 인터페이스를 통하여 외부로부터 의료영상을 입력 받을 수도 있다.
제어부(120)는 영상 획득부(110)로부터 제공되는 단면 의료영상 및 X선 촬영 영상에 기초하여 획득한 학습 영상을 이용하여 영상 처리 모델을 학습시킨다. 이러한 제어부(120)는 예컨대, 마이크로프로세서(microprocessor) 등과 같은 컴퓨팅 연산수단을 포함할 수 있다. 예를 들어, 제어부(120)는 단면 의료영상으로부터 X선 영상의 복원에 기초하여 뼈 또는 장기가 나타난 제1형 X선 복원 영상을 획득할 수 있고, 단면 의료영상으로부터 환자의 뼈 또는 장기를 지운 후 X선 영상의 복원에 기초하여 뼈 또는 장기가 나타나지 않은 제2형 X선 복원 영상을 획득할 수 있다. 예컨대, 제어부(120)는 단면 의료영상의 각 픽셀별 밝기와 기 설정된 임계값과의 비교 결과에 기초하여 단면 의료영상에 포함되어 있는 환자의 뼈 또는 장기를 지울 수 있다. 또, 제어부(120)는 단면 의료영상으로부터 뼈 또는 장기가 나타난 제1형 X선 복원 영상을 획득할 때 또는 단면 의료영상으로부터 뼈 또는 장기가 나타나지 않은 제2형 X선 복원 영상을 획득할 때에 DDR(Digitally Reconstructed Radiograph) 기법을 이용하여 영상을 복원할 수 있다.
그리고, 제어부(120)는 제1형 X선 복원 영상에 기반한 제1형 X선 학습 영상과 제2형 X선 복원 영상에 기반한 제2형 X선 학습 영상을 입력과 레이블의 세트로 이용하여 영상 처리 모델을 학습시킬 수 있다.
여기서, 제어부(120)는 제1형 X선 학습 영상을 획득하기 위하여, 제1형 X선 복원 영상과 환자의 X선 촬영 영상을 기초로 신경망을 학습하여 뼈 또는 장기가 나타난 제1형 X선 영상을 위한 제1형 영상 스타일 변환기를 생성할 수 있다. 예컨대, 신경망은 사이클갠(CycleGAN)을 포함할 수 있다. 이어서, 제어부(120)는 단면 의료영상으로부터 X선 영상을 복원하여 뼈 또는 장기가 나타난 제1형 임시 X선 복원 영상을 획득할 수 있다. 예컨대, 제1형 임시 X선 복원 영상을 획득할 때에 DDR 기법을 이용하여 영상을 복원할 수 있다. 그리고, 제어부(120)는 제1형 영상 스타일 변환기를 이용하여 제1형 임시 X선 복원 영상의 영상 스타일을 변환하여 제1형 X선 학습 영상을 생성할 수 있다.
또한, 제어부(120)는 제2형 X선 학습 영상을 획득하기 위하여, 제2형 X선 복원 영상과 환자의 X선 촬영 영상을 기초로 신경망을 학습하여 뼈 또는 장기가 나타나지 않은난 제2형 X선 영상을 위한 제2형 영상 스타일 변환기를 생성할 수 있다. 예컨대, 신경망은 사이클갠을 포함할 수 있다. 이어서, 제어부(120)는 단면 의료영상으로부터 X선 영상을 복원하여 뼈 또는 장기가 나타나지 않은난 제2형 임시 X선 복원 영상을 획득할 수 있다. 예컨대, 제2형 임시 X선 복원 영상을 획득할 때에 DDR 기법을 이용하여 영상을 복원할 수 있다. 그리고, 제어부(120)는 제2형 영상 스타일 변환기를 이용하여 제2형 임시 X선 복원 영상의 영상 스타일을 변환하여 제2형 X선 학습 영상을 생성할 수 있다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 의료영상 처리 장치(100)에서 수행하는 학습 방법을 설명하기 위한 흐름도이고, 도 5 내지 도 11은 본 발명의 일 실시예에 따른 의료영상 처리 장치(100)에서 학습을 수행하는 과정 중에 획득 또는 생성되는 의료영상을 예시한 것이다.
이하, 도 1 내지 도 11을 참조하여 본 발명의 일 실시예에 따른 의료영상 처리 장치(100)에서 수행하는 학습 방법에 대하여 자세히 살펴보기로 한다.
먼저, 의료영상 처리 장치(100)의 영상 획득부(110)는 환자의 단면 의료영상(예컨대, 도 5의 단면 의료영상)과 환자의 X선 촬영 영상(예컨대, 도 6의 X선 촬영 영상)을 획득하여 의료영상 처리 장치(100)의 제어부(120)에 제공한다. 예를 들어, 영상 획득부(110)는 단면 의료영상으로서 컴퓨터 단층 촬영(CT) 검사에 의한 의료영상, 자기 공명 영상(MRI) 검사에 의한 의료영상 또는 양전자 단층 촬영(PET-CT) 검사에 의한 의료영상을 단면 의료영상으로서 획득하여 제어부(120)에 제공할 수 있다.
그러면, 제어부(120)는 영상 획득부(110)로부터 제공되는 단면 의료영상으로부터 X선 영상의 복원에 기초하여 뼈 또는 장기가 나타난 제1형 X선 복원 영상(예컨대, 도 7의 제1형 X선 복원 영상)을 획득한다(S210). 여기서, 제어부(120)는 단면 의료영상으로부터 X선 영상을 복원할 때에 공지의 DDR 기법을 이용하여 예컨대, 1k*1k 이상의 해상도로 X선 복원 영상을 생성할 수 있다. 제어부(120)가 영상 획득부(110)로부터 단면 의료영상을 제공받고 이로부터 제1형 X선 복원 영상을 획득하는 과정은 약 1,000장의 단면 의료영상에 대하여 약 1,000회의 X선 영상 복원 과정을 통하여 약 1,000장의 제1형 X선 복원 영상을 획득할 수 있다. 물론, 1,000장 및 1,000회는 일 실시예로서 개시한 것으로서 이로 국한되지 않는다.
또, 제어부(120)는 영상 획득부(110)로부터 제공되는 단면 의료영상으로부터 환자의 뼈 또는 장기를 지운 후 X선 영상의 복원에 기초하여 뼈 또는 장기가 나타나지 않은 제2형 X선 복원 영상(예컨대, 도 9의 제2형 X선 복원 영상)을 획득한다(S220). 여기서, 제어부(120)는 단면 의료영상으로부터 환자의 뼈 또는 장기를 지울 때에, 단면 의료영상의 각 픽셀별 밝기와 기 설정된 임계값과의 비교 결과에 기초하여 단면 의료영상에 포함되어 있는 환자의 뼈 또는 장기를 지운 영상(예컨대, 도 8의 단면 의료영상에서 뼈를 지원 영상)을 생성할 수 있다. 예컨대, 뼈에 해당하는 것으로 확인된 픽셀값을 주변 연조직의 픽셀값으로 채워서 단면 의료영상 내의 뼈를 지울 수 있다. 또, 제어부(120)는 단면 의료영상으로부터 X선 영상을 복원할 때에 공지의 DDR 기법을 이용할 수 있다. 제어부(120)가 영상 획득부(110)로부터 단면 의료영상을 제공받고 이로부터 제2형 X선 복원 영상을 획득하는 과정은 약 1,000장의 단면 의료영상에 대하여 약 1,000회의 X선 영상 복원 과정을 통하여 약 1,000장의 제2형 X선 복원 영상을 획득할 수 있다. 물론, 1,000장 및 1,000회는 일 실시예로서 개시한 것으로서 이로 국한되지 않는다.
다음으로, 제어부(120)는 단계 S210에서 획득된 제1형 X선 복원 영상에 기반한 제1형 X선 학습 영상과 단계 S220에서 획득된 제2형 X선 복원 영상에 기반한 제2형 X선 학습 영상을 입력과 레이블의 세트로 이용하여 영상 처리 모델을 학습시킨다(S230).
제어부(120)가 제1형 X선 복원 영상에 기반한 제1형 X선 학습 영상을 생성하는 과정은 도 3에 나타낸 실시예를 따를 수 있다.
제어부(120)는 제1형 X선 학습 영상을 획득하기 위하여, 제1형 X선 복원 영상과 환자의 X선 촬영 영상을 기초로 신경망을 학습하여 뼈 또는 장기가 나타난 제1형 X선 영상을 위한 제1형 영상 스타일 변환기를 생성할 수 있다(S310). 예컨대, 신경망은 공지의 사이클갠(CycleGAN)을 포함할 수 있다. 예를 들어, 제어부(120)는 단계 S210에서 획득된 약 1,000장의 제1형 X선 복원 영상과 단계 S210에서 이용된 단면 의료영상과 동일한 환자를 대상으로 하여 촬영된 약 1,000장의 X선 촬영 영상을 입력과 레이블의 세트로 이용하는 약 1,000회의 신경망 학습을 통하여 제1형 영상 스타일 변환기를 생성할 수 있다. 물론, 1,000장 및 1,000회는 일 실시예로서 개시한 것으로서 이로 국한되지 않는다. 여기서, 제1형 영상 스타일 변환기는 단면 의료영상으로부터 복원한 X선 영상의 스타일을 실제 X선 촬영 영상의 스타일로 변환할 수 있는 알고리즘을 의미할 수 있다.
그리고, 제어부(120)는 단면 의료영상으로부터 X선 영상을 복원하여 뼈 또는 장기가 나타난 제1형 임시 X선 복원 영상을 획득할 수 있다(S320). 예컨대, 제1형 임시 X선 복원 영상을 획득할 때에 DDR 기법을 이용하여 영상을 복원할 수 있다. 이어서, 제어부(120)는 단계 S320에서 복원된 제1형 임시 X선 복원 영상의 영상 스타일을 단계 S310에서 생성된 제1형 영상 스타일 변환기를 이용해 변환하여 제1형 X선 학습 영상을 생성할 수 있다(S330). 여기서, 제어부(120)가 제1형 영상 스타일 변환기를 이용하여 영상 스타일을 변환하는 것은 제1형 X선 복원 영상과 실제 X선 촬영 영상 간의 이질성을 도메인 적용 전이 학습(domain-adaptation transfer-learning)을 통하여 보완하는 것을 의미할 수 있다. 예컨대, 제어부(120)는 단계 S320을 통하여 획득한 약 5,000장의 제1형 임시 X선 복원 영상에 대하여 단계 S330을 통하여 약 5,000장의 제1형 X선 학습 영상을 생성할 수 있다. 물론, 5,000장은 일 실시예로서 개시한 것으로서 이로 국한되지 않는다.
제어부(120)가 제2형 X선 복원 영상에 기반한 제2형 X선 학습 영상을 생성하는 과정은 도 4에 나타낸 실시예를 따를 수 있다.
제어부(120)는 제2형 X선 학습 영상을 획득하기 위하여, 제2형 X선 복원 영상과 환자의 X선 촬영 영상을 기초로 신경망을 학습하여 뼈 또는 장기가 나타나지 않은 제2형 X선 영상을 위한 제2형 영상 스타일 변환기를 생성할 수 있다(S410). 예컨대, 신경망은 공지의 사이클갠(CycleGAN)을 포함할 수 있다. 예를 들어, 제어부(120)는 단계 S310에서 획득된 약 1,000장의 제2형 X선 복원 영상과 단계 S310에서 이용된 단면 의료영상과 동일한 환자를 대상으로 하여 촬영된 약 1,000장의 X선 촬영 영상을 입력과 레이블의 세트로 이용하는 약 1,000회의 신경망 학습을 통하여 제2형 영상 스타일 변환기를 생성할 수 있다. 물론, 1,000장 및 1,000회는 일 실시예로서 개시한 것으로서 이로 국한되지 않는다. 여기서, 제2형 영상 스타일 변환기는 단면 의료영상으로부터 복원한 X선 영상의 스타일을 실제 X선 촬영 영상의 스타일로 변환할 수 있는 알고리즘을 의미할 수 있다.
그리고, 제어부(120)는 단면 의료영상으로부터 X선 영상을 복원하여 뼈 또는 장기가 나타나지 않은 제2형 임시 X선 복원 영상을 획득할 수 있다(S420). 예컨대, 제2형 임시 X선 복원 영상을 획득할 때에 DDR 기법을 이용하여 영상을 복원할 수 있다. 이어서, 제어부(120)는 단계 S420에서 복원된 제2형 임시 X선 복원 영상의 영상 스타일을 단계 S410에서 생성된 제2형 영상 스타일 변환기를 이용해 변환하여 제2형 X선 학습 영상을 생성할 수 있다(S430). 여기서, 제어부(120)가 제2형 영상 스타일 변환기를 이용하여 영상 스타일을 변환하는 것은 제2형 X선 복원 영상과 실제 X선 촬영 영상 간의 이질성을 도메인 적용 전이 학습을 통하여 보완하는 것을 의미할 수 있다. 예컨대, 제어부(120)는 단계 S420을 통하여 획득한 약 5,000장의 제2형 임시 X선 복원 영상에 대하여 단계 S430을 통하여 약 5,000장의 제2형 X선 학습 영상을 생성할 수 있다. 물론, 5,000장은 일 실시예로서 개시한 것으로서 이로 국한되지 않는다.
이로써, 제어부(120)는 단계 S310 내지 단계 S330을 통하여 획득한 제1형 X선 학습 영상과 단계 S410 내지 단계 S430을 통하여 획득한 제2형 X선 학습 영상을 입력과 레이블의 세트로 이용하여 영상 처리 모델을 학습시킬 수 있다. 이렇게, 학습이 완료된 의료영상 처리 장치(100)에 영상 판독이 요구되는 뼈와 장기뼈 또는 장기가 나타난 X선 촬영 영상이 입력되면, 영상 처리 모델이 뼈와 장기뼈 또는 장기가 나타나지 않은 X선 영상을 출력할 수 있고, 이처럼 뼈와 장기뼈 또는 장기가 지워진 X선 영상을 판독 보조 영상으로서 의사에게 제공할 수 있다. 예컨대, 의사가 흉부 X선 영상을 이용하여 환자의 폐 질환 검출 및 진단을 할 때에 뼈와 장기뼈 또는 장기가 나타나지 않은 X선 영상을 판독 보조 영상으로 제공받을 수 있다. 판독 보조 영상에는 진단 방해 요소로 작용할 수 있는 뼈와 장기뼈 또는 장기가 제거된 상태이기 때문에, 그만큼 의사에 의한 폐 질환 검출 및 진단이 용이해 지게 된다. 이처럼, 본 발명의 실시예에 의하면, 뼈가 지워진 흉부 X선 영상을 획득하기 위하여 이중 에너지 X선 흡수법(Dual energy X-ray absorptiometry)을 이용하는 특수 촬영을 하지 않고 일반적인 X선 촬영만을 수행하더라도 뼈와 장기뼈 또는 장기가 제거된 X선 영상을 획득할 수 있다. 환자는 이중 에너지 X선 흡수법을 이용하는 특수 촬영을 하지 않아도 되기 때문에 그만큼 방사선 피폭량이 감소되는 것이다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않은 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 의료영상 처리 장치
110: 영상 획득부
120: 제어부
110: 영상 획득부
120: 제어부
Claims (13)
- 의료영상 처리 장치의 학습 방법으로서,
환자의 단면 의료영상으로부터 X선 영상의 복원에 기초하여 뼈 또는 장기가 나타난 제1형 X선 복원 영상을 획득하는 단계와,
상기 단면 의료영상으로부터 상기 환자의 뼈 또는 장기를 지운 후 X선 영상의 복원에 기초하여 뼈 또는 장기가 나타나지 않은 제2형 X선 복원 영상을 획득하는 단계와,
상기 제1형 X선 복원 영상에 기반한 제1형 X선 학습 영상과 상기 제2형 X선 복원 영상에 기반한 제2형 X선 학습 영상을 입력과 레이블의 세트로 이용하여 영상 처리 모델을 학습시키는 단계를 포함하는
학습 방법. - 제 1 항에 있어서,
상기 단면 의료영상은 컴퓨터 단층 촬영(CT) 검사, 자기 공명 영상(MRI) 검사 및 양전자 단층 촬영(PET-CT) 검사 중 어느 하나에 의한 영상인
학습 방법. - 제 1 항에 있어서,
상기 단면 의료영상으로부터 상기 X선 영상의 복원에는 DDR(Digitally Reconstructed Radiograph) 기법을 이용하는
학습 방법. - 제 1 항에 있어서,
상기 학습시키는 단계는,
상기 제1형 X선 복원 영상과 상기 환자의 X선 촬영 영상을 기초로 신경망을 학습하여 뼈 또는 장기가 나타난 제1형 X선 영상을 위한 제1형 영상 스타일 변환기를 생성하는 단계와,
상기 단면 의료영상으로부터 X선 영상을 복원하여 뼈 또는 장기가 나타난 제1형 임시 X선 복원 영상을 획득하는 단계와,
상기 제1형 영상 스타일 변환기를 이용하여 상기 제1형 임시 X선 복원 영상의 영상 스타일을 변환하여 상기 제1형 X선 학습 영상을 생성하는 단계를 포함하는
학습 방법. - 제 1 항에 있어서,
상기 학습시키는 단계는,
상기 제2형 X선 복원 영상과 상기 환자의 X선 촬영 영상을 기초로 신경망을 학습하여 뼈 또는 장기가 나타나지 않은난 제2형 X선 영상을 위한 제2형 영상 스타일 변환기를 생성하는 단계와,
상기 단면 의료영상으로부터 X선 영상을 복원하여 뼈 또는 장기가 나타나지 않은난 제2형 임시 X선 복원 영상을 획득하는 단계와,
상기 제2형 영상 스타일 변환기를 이용하여 상기 제2형 임시 X선 복원 영상의 영상 스타일을 변환하여 상기 제2형 X선 학습 영상을 생성하는 단계를 포함하는
학습 방법. - 제 4 항 또는 제 5 항에 있어서,
상기 신경망은 사이클갠(CycleGAN)을 포함하는
학습 방법. - 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
제 1 항 내지 제 5 항 중 어느 한 항의 학습 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는
컴퓨터 판독 가능한 기록매체. - 환자의 단면 의료영상과 상기 환자의 X선 촬영 영상을 획득하는 영상 획득부와,
상기 단면 의료영상 및 상기 X선 촬영 영상에 기초하여 획득한 학습 영상을 이용하여 영상 처리 모델을 학습시키는 제어부를 포함하고,
상기 제어부는, 상기 단면 의료영상으로부터 X선 영상의 복원에 기초하여 뼈 또는 장기가 나타난 제1형 X선 복원 영상을 획득하며, 상기 단면 의료영상으로부터 상기 환자의 뼈 또는 장기를 지운 후 X선 영상의 복원에 기초하여 뼈 또는 장기가 나타나지 않은 제2형 X선 복원 영상을 획득하고, 상기 제1형 X선 복원 영상에 기반한 제1형 X선 학습 영상과 상기 제2형 X선 복원 영상에 기반한 제2형 X선 학습 영상을 입력과 레이블의 세트로 이용하여 상기 영상 처리 모델을 학습시키는
의료영상 처리 장치. - 제 8 항에 있어서,
상기 단면 의료영상은 컴퓨터 단층 촬영(CT) 검사, 자기 공명 영상(MRI) 검사 및 양전자 단층 촬영(PET-CT) 검사 중 어느 하나에 의한 영상인
의료영상 처리 장치. - 제 8 항에 있어서,
상기 단면 의료영상으로부터 상기 X선 영상의 복원에는 DDR(Digitally Reconstructed Radiograph) 기법을 이용하는
의료영상 처리 장치. - 제 8 항에 있어서,
상기 제어부는, 상기 제1형 X선 복원 영상과 상기 환자의 X선 촬영 영상을 기초로 신경망을 학습하여 뼈 또는 장기가 나타난 제1형 X선 영상을 위한 제1형 영상 스타일 변환기를 생성하고, 상기 단면 의료영상으로부터 X선 영상을 복원하여 뼈 또는 장기가 나타난 제1형 임시 X선 복원 영상을 획득하며, 상기 제1형 영상 스타일 변환기를 이용하여 상기 제1형 임시 X선 복원 영상의 영상 스타일을 변환하여 상기 제1형 X선 학습 영상을 생성하는
의료영상 처리 장치. - 제 8 항에 있어서,
상기 제어부는, 상기 제2형 X선 복원 영상과 상기 환자의 X선 촬영 영상을 기초로 신경망을 학습하여 뼈 또는 장기가 나타나지 않은난 제2형 X선 영상을 위한 제2형 영상 스타일 변환기를 생성하고, 상기 단면 의료영상으로부터 X선 영상을 복원하여 뼈 또는 장기가 나타나지 않은난 제2형 임시 X선 복원 영상을 획득하며, 상기 제2형 영상 스타일 변환기를 이용하여 상기 제2형 임시 X선 복원 영상의 영상 스타일을 변환하여 상기 제2형 X선 학습 영상을 생성하는
의료영상 처리 장치. - 제 11 항 또는 제 12 항에 있어서,
상기 신경망은 사이클갠(CycleGAN)을 포함하는
의료영상 처리 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190164694A KR102323444B1 (ko) | 2019-12-11 | 2019-12-11 | 의료영상 처리 장치와 그 학습 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190164694A KR102323444B1 (ko) | 2019-12-11 | 2019-12-11 | 의료영상 처리 장치와 그 학습 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210073909A true KR20210073909A (ko) | 2021-06-21 |
| KR102323444B1 KR102323444B1 (ko) | 2021-11-09 |
Family
ID=76599925
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190164694A KR102323444B1 (ko) | 2019-12-11 | 2019-12-11 | 의료영상 처리 장치와 그 학습 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102323444B1 (ko) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050100208A1 (en) * | 2003-11-10 | 2005-05-12 | University Of Chicago | Image modification and detection using massive training artificial neural networks (MTANN) |
| JP2007029514A (ja) | 2005-07-28 | 2007-02-08 | Fujifilm Corp | 画像解析装置、画像解析方法およびそのプログラム |
| KR101898575B1 (ko) * | 2018-01-18 | 2018-09-13 | 주식회사 뷰노 | 진행성 병변에 대한 미래 상태를 예측하는 방법 및 이를 이용한 장치 |
| KR101981202B1 (ko) * | 2018-12-11 | 2019-05-22 | 메디컬아이피 주식회사 | 의료영상 재구성 방법 및 그 장치 |
| WO2019138438A1 (ja) * | 2018-01-09 | 2019-07-18 | 株式会社島津製作所 | 画像作成装置 |
-
2019
- 2019-12-11 KR KR1020190164694A patent/KR102323444B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050100208A1 (en) * | 2003-11-10 | 2005-05-12 | University Of Chicago | Image modification and detection using massive training artificial neural networks (MTANN) |
| JP2007029514A (ja) | 2005-07-28 | 2007-02-08 | Fujifilm Corp | 画像解析装置、画像解析方法およびそのプログラム |
| WO2019138438A1 (ja) * | 2018-01-09 | 2019-07-18 | 株式会社島津製作所 | 画像作成装置 |
| KR101898575B1 (ko) * | 2018-01-18 | 2018-09-13 | 주식회사 뷰노 | 진행성 병변에 대한 미래 상태를 예측하는 방법 및 이를 이용한 장치 |
| KR101981202B1 (ko) * | 2018-12-11 | 2019-05-22 | 메디컬아이피 주식회사 | 의료영상 재구성 방법 및 그 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102323444B1 (ko) | 2021-11-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7053541B2 (ja) | 患者固有の深層学習画像ノイズ除去方法およびシステム | |
| US20200184639A1 (en) | Method and apparatus for reconstructing medical images | |
| US11443201B2 (en) | Artificial intelligence-based self-learning in medical imaging | |
| US10420522B2 (en) | Generating contrast-enhanced image data based on multi-energy X-ray imaging | |
| US7734006B2 (en) | X-ray CT apparatus | |
| US9471987B2 (en) | Automatic planning for medical imaging | |
| US20150146955A1 (en) | Method and apparatus for reducing artifacts in computed tomography image reconstruction | |
| CN109381205B (zh) | 用于执行数字减影血管造影的方法、混合成像装置 | |
| US10736594B2 (en) | Data-based scan gating | |
| JP5676269B2 (ja) | 脳画像データの画像解析 | |
| JP6253085B2 (ja) | Ｘ線動画像解析装置、ｘ線動画像解析プログラム及びｘ線動画像撮像装置 | |
| KR101946576B1 (ko) | 의료 영상 장치 및 의료 영상 처리 방법 | |
| JP2015066445A (ja) | コンピュータ断層撮影（ｃｔ）画像再構成におけるアーチファクトを低減するための方法および装置 | |
| Shiri et al. | PET-QA-NET: Towards routine PET image artifact detection and correction using deep convolutional neural networks | |
| CN111598895A (zh) | 一种基于诊断影像和机器学习的测量肺功能指标的方法 | |
| KR102323444B1 (ko) | 의료영상 처리 장치와 그 학습 방법 | |
| JP6071805B2 (ja) | 画像領域指定装置および方法、並びに放射線画像処理装置および方法 | |
| CN114469153B (zh) | 一种基于ct影像的血管造影装置、设备及计算机可读介质 | |
| WO2022096867A1 (en) | Image processing of intravascular ultrasound images | |
| EP4354395A1 (en) | Artificial intelligence-based dual energy x-ray image motion correction training method and system | |
| US20240070861A1 (en) | Device for inferring material density image, ct system, storage medium, and method of creating trained neural network | |
| US20230263495A1 (en) | Pulmonary embolism diagnosis support apparatus, pulmonary embolism diagnosis support method, and storage medium | |
| EP4258209A1 (en) | Medical image processing method and apparatus | |
| US20230306677A1 (en) | Automated registration method of 3d facial scan data and 3d volumetric medical image data using deep learning and computer readable medium having program for performing the method | |
| EP4145463A1 (en) | Method for providing medical imaging decision support data and method for providing ground truth in 2d image space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |