KR102178803B1 - 흉부 의료 영상 판독 지원 시스템 및 방법 - Google Patents
흉부 의료 영상 판독 지원 시스템 및 방법 Download PDFInfo
- Publication number
- KR102178803B1 KR102178803B1 KR1020180009862A KR20180009862A KR102178803B1 KR 102178803 B1 KR102178803 B1 KR 102178803B1 KR 1020180009862 A KR1020180009862 A KR 1020180009862A KR 20180009862 A KR20180009862 A KR 20180009862A KR 102178803 B1 KR102178803 B1 KR 102178803B1
- Authority
- KR
- South Korea
- Prior art keywords
- medical image
- chest
- brightness
- reading
- standard
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration by the use of histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Abstract
본 개시는, 흉부 의료 영상 판독을 지원하는 방법에 있어서, 의료 영상 획득부가 환자의 흉부 의료 영상을 획득하는 단계; 히스토그램 매칭부가 획득한 흉부 의료 영상의 명도를 조정하는 단계; 세그멘테이션부가 명도가 조정된 흉부 의료 영상에서 폐 부분만을 세그멘테이션하는 단계; 공간 표준화부가 세그멘테이션된 폐 부분을 표준화하는 단계; 그리고 판독부가 공간 표준화부에서 표준화된 의료 영상을 판독하는 단계;를 포함하는 흉부 의료 영상 판독을 지원하는 방법 및 시스템에 대한 것이다.
Description
본 개시(Disclosure)는 전체적으로 의료 영상 판독 지원 시스템에 관한 것으로, 특히 인공지능을 활용한 흉부 의료 영상 판독 지원 시스템 및 방법에 대한 것이다.
여기서는, 본 개시에 관한 배경기술이 제공되며, 이들이 반드시 공지기술을 의미하는 것은 아니다(This section provides background information related to the present disclosure which is not necessarily prior art). 또한 본 명세서에서 상측/하측, 위/아래 등과 같은 방향 표시는 도면을 기준으로 한다.
의료 분야에 있어서, 의사는 환자를 촬영한 의료 영상을 모니터에 표시하고, 모니터에 표시된 의료 영상을 판독하고, 병변부의 상태나 경시 변화를 관찰한다. 의료 영상을 이용한 영상 진단에 있어서, 의사는 진단 대상인 의료 영상으로부터 이상 음영 등이 무엇일지를 진단한다. 영상 진단시 의사가 작성하는 판독문에는 발견한 이상 음영 등이 무엇인가를 판단 결과와 판단의 근거가 되는 판독 의견이 기재된다. 이 때, 의사가 기록한 판독 의견이나 추정 병명은 반드시 맞다고 할 수 없다. 예를 들면, 1개의 의료 영상을 판독하기 위해 의사가 많은 시간을 소비할 수 없거나 판독 경험이 낮은 의사가 의료 영상에서 찾기 어려운 이상 음영이나 특징을 포착하기 어려운 이상 음영을 관찰했을 경우에는, 이상 음영을 누락할 가능성이 있으며 또는 추정 병명의 판단을 오판할 가능성이 있었다. 이러한 의료 영상의 판독에서 발생할 수 있는 문제점을 해결할 목적으로, 의료 영상을 디지털화해서 의료 영상을 분석할 때 질환 부위를 자동적으로 검출하고, 컴퓨터에 의한 의료 영상 판독을 지원하는 시스템이 개발되고 있다. 이러한 컴퓨터 지원 시스템을 CAD(Computer Aided Diagnosis)하고 한다. CAD에서는 자동적으로 이상 음영 후보를 질환부위로 검출한다. 이상 음영의 검출 처리에서는 의료 영상 데이터를 컴퓨터 처리에 의한다.
도 1은 일본 등록특허공보 제599514호에 기재된 의료 영상 판독 지원 시스템의 일 예를 보여주는 도면이다. 설명의 편의를 위해 도면기호 및 용어를 일부 변경하였다.
의료 영상 판독 지원 시스템(10)은 의료 영상 취득부(11), 이상 음영 검출부(12) 및 CAD 소견 생성부(13) 등을 포함하고 있다. 특히 CAD 소견 생성부(13)에서 병명을 추정하기 위한 추론기로서 서포트 벡터 머신이나, 뉴럴 네트워크, 베이지안 네트워크 등이 이용될 수 있다.
도 2는 한국 공개특허공보 제2017-0046105호에 기재된 의료 영상 판독 지원 시스템의 일 예를 보여주는 도면이다. 설명의 편의를 위해 도면기호 및 용어를 일부 변경하였다.
의료 영상 판독 지원 시스템은 진단부에서 딥러닝 알고리즘을 활용하여 환자의 폐 이미지를 판독하여 결핵 감염 여부를 판단한다.
도 1 및 도 2에 개시된 종래의 의료 영상 판독 지원 시스템은 인공 지능(AI;Artifical Intelligence)을 활용하여 의료 영상 판독 지원 시스템의 정확도를 향상시키고 있지만, 인공 지능이 판단하는 의료 영상의 품질이 낮은 경우 인공 지능이 의료 영상을 적절히 판단할 수 없기 때문에 의료 영상 판독 지원 시스템의 정확도를 향상시키기 어려운 문제가 있다.
본 개시는 인공 지능이 판단하는 의료 영상의 품질을 향상시켜 인공 지능을 활용한 의료 영상 판독 지원 시스템의 정확도를 향상시킨 의료 영상 판독 지원 시스템 및 방법을 제공하고자 한다.
이에 대하여 '발명을 실시하기 위한 구체적인 내용'의 후단에 기술한다.
여기서는, 본 개시의 전체적인 요약(Summary)이 제공되며, 이것이 본 개시의 외연을 제한하는 것으로 이해되어서는 아니된다(This section provides a general summary of the disclosure and is not a comprehensive disclosure of its full scope or all of its features).
본 개시에 따른 일 태양에 의하면(According to one aspect of the present disclosure), 흉부 의료 영상 판독을 지원하는 방법에 있어서, 의료 영상 획득부가 환자의 흉부 의료 영상을 획득하는 단계; 히스토그램 매칭부가 획득한 흉부 의료 영상의 명도를 조정하는 단계; 세그멘테이션부가 명도가 조정된 흉부 의료 영상에서 폐 부분만을 세그멘테이션하는 단계; 공간 표준화부가 세그멘테이션된 폐 부분을 표준화하는 단계; 그리고 판독부가 공간 표준화부에서 표준화된 의료 영상을 판독하는 단계;를 포함하는 흉부 의료 영상 판독을 지원하는 방법이 제공된다.
본 개시에 따른 다른 태양에 의하면(According to another aspect of the present disclosure), 흉부 의료 영상 판독을 지원하는 시스템에 있어서, 환자의 흉부 의료 영상을 획득하는 의료 영상 획득부; 의료 영상 획득부에서 획득한 환자의 흉부 의료 영상의 명도를 매칭하는 히스토그램 매칭부; 명도가 매칭된 환자의 흉부 의료 영상에서 판독이 필요한 폐 부분을 세그멘테이션 하는 세그멘테이션부; 세그멘테이션 된 폐 부분을 표준화하는 공간 표준화부; 그리고, 표준화된 환자의 의료 영상을 판독하는 판독부;를 포함하는 흉부 의료 영상 판독 지원 시스템이 제공된다.
이에 대하여 '발명을 실시하기 위한 구체적인 내용'의 후단에 기술한다.
도 1은 일본 등록특허공보 제599514호에 기재된 의료 영상 판독 지원 시스템의 일 예를 보여주는 도면,
도 2는 한국 공개특허공보 제2017-0046105호에 기재된 의료 영상 판독 지원 시스템의 일 예를 보여주는 도면,
도 3은 본 개시에 따른 의료 영상 판독 지원 시스템의 일 예를 보여주는 도면,
도 4는 본 개시에 따른 히스토그램 매칭부를 설명하는 도면,
도 5는 본 개시에 따른 세그멘테이션부를 설명하는 도면,
도 6은 본 개시에 따른 공간 표준화부를 설명하는 도면,
도 7은 본 개시에 따른 의료 영상 판독 지원 시스템을 사용한 방법의 일 예를 보여주는 흐름도,
도 8은 본 개시에 따른 의료 영상 판독 지원 시스템을 사용한 방법의 또 다른 예를 보여주는 흐름도,
도 9는 판독부에 의해 작성된 판독문의 일 예를 보여주는 도면.
도 2는 한국 공개특허공보 제2017-0046105호에 기재된 의료 영상 판독 지원 시스템의 일 예를 보여주는 도면,
도 3은 본 개시에 따른 의료 영상 판독 지원 시스템의 일 예를 보여주는 도면,
도 4는 본 개시에 따른 히스토그램 매칭부를 설명하는 도면,
도 5는 본 개시에 따른 세그멘테이션부를 설명하는 도면,
도 6은 본 개시에 따른 공간 표준화부를 설명하는 도면,
도 7은 본 개시에 따른 의료 영상 판독 지원 시스템을 사용한 방법의 일 예를 보여주는 흐름도,
도 8은 본 개시에 따른 의료 영상 판독 지원 시스템을 사용한 방법의 또 다른 예를 보여주는 흐름도,
도 9는 판독부에 의해 작성된 판독문의 일 예를 보여주는 도면.
이하, 본 개시를 첨부된 도면을 참고로 하여 자세하게 설명한다(The present disclosure will now be described in detail with reference to the accompanying drawing(s)).
도 3은 본 개시에 따른 의료 영상 판독 지원 시스템의 일 예를 보여주는 도면이다.
의료 영상 판독 지원 시스템(100)은 의료 영상 획득부(110), 히스토그램 매칭부(120), 세그멘테이션부(130), 공간 표준화부(140) 및 판독부(150)를 포함한다. 의료 영상 획득부(110)는 판독이 필요한 환자의 의료 영상을 획득한다. 의료 영상 획득부(110)는 X-Ray 장치, CT(Computed Tomography; 컴퓨터단층촬영장치) 또는 MRI(Magnetic Resonance Imaging; 자기공명영상장치) 등과 같은 디지털 의료 영상 촬영 장치로부터 직접 의료 영상을 얻을 수 있으며, 또는 디지털 의료 영상 촬영 장치가 촬영한 디지털 의료 영상이 저장된 서버(Server)로부터 의료 영상 전송 시스템(PACS)에 의해 얻을 수 있으며, 또는 외부기억장치(예:FDD, HDD, CD드라이브 등)와 접속하여 환자의 의료 영상을 얻을 수 있으나 이에 한정되지는 않는다. 히스토그램 매칭부(Histogram Matching; 120)는 의료 영상 획득부(110)에서 얻은 환자의 의료 영상의 명도(intensity)를 매칭한다. 즉 환자의 의료 영상의 명도를 기준이 되는 표준 명도와 매칭하여 인공 지능이 환자의 의료 영상을 더 잘 판독할 수 있도록 하는 것으로 자세한 방법은 도 4에서 기술한다. 세그멘테이션부(130)는 히스토그램 매칭부(120)에 의해 명도가 표준화된 의료 영상에서 판독이 필요한 부분을 분할(Segmentation)하는 것으로 자세한 방법은 도 5에서 기술한다. 공간 표준화부(Spatial Nomalizaton; 140)는 세그멘테이션부(130)에 의해 분할된 의료 영상의 크기를 일정한 크기로 표준화 하는 것으로 자세한 방법은 도 6에서 설명한다. 판독부(Reading; 150)는 공간 표준화부(140)에서 크기가 표준화된 의료 영상을 AI에 의해 판독한 후 판독문을 작성하여 의사에게 제공한다. 특히 히스토그램 매칭부(120) 및 공간 표준화부(140)에 의해 의료 영상을 전처리함으로써 AI가 의료 영상을 판독할 때 판독 효율을 향상시켜 판독의 정확도를 높일 수 있다. 판독부(150)에 사용되는 AI는 딥 뉴럴 네트워크가 바람직하다. 또한 인공 지능인 딥 뉴럴 네트워크는 일반적으로 환자의 의료 영상을 판독하기 위해서 학습이 필요하다. 딥 뉴럴 네트워크의 학습에 사용되는 데이터를 학습 데이터라고 한다. 본 개시에서는 판독이 필요한 환자의 의료 영상이 히스토그램 매칭부(120) 및 공간 표준화부(140) 등을 특징으로 갖는 전처리 과정을 거치기 때문에 본 개시의 의료 영상 판독 지원 시스템(100)에 사용되는 딥 뉴럴 네트워크의 학습 데이터인 복수의 의료 영상도 동일한 전처리 과정을 거치는 것이 바람직하다. 예를 들어 학습 데이터로 사용되는 복수의 의료 영상은 의료 영상 획득부(110)에 의해 획득된 후, 히스토그램 매칭부(120), 세그멘테이션부(130), 공간 표준화부(140)를 거쳐 의료 영상이 전 처리된 후 판독부(150)의 딥 뉴럴 네트워크를 학습시키는 학습 데이터로 사용된다. 더 나아가 판독에 사용된 환자의 의료 영상도 본 개시의 의료 영상 판독 지원 시스템(100)에 사용되는 딥 뉴럴 네트워크의 학습 데이터로 사용되어 딥 뉴럴 네트워크의 판독 능력이 지속적으로 향상될 수 있다. 판독부(150)에 사용되는 인공 지능의 학습 방법에 대해서는 도 8에서 다시 설명한다. 또한 의료 영상 판독 지원 시스템(100)은 본 개시에서 설명하는 것을 제외하고는 도 1 및 도 2에 기재된 종래의 CAD 기반의 시스템과 실질적으로 동일하다. 예를 들어 의료 영상 판독 지원 시스템(100)은 컴퓨터 시스템으로 MPU(micro processing unit), CPU(central processing unit), GPU(graphic processing unit) 또는 TPU(tensor processing unit), 캐시 메모리(cache memory), 데이터 버스(data bus) 등과 같은 하드웨어와 특정 목적을 수행하는 소프트웨어 구성을 포함할 수 있다. 본 개시는 의료 영상의 종류에 제한이 없이 기재하였으나, 본 개시에 기재된 의료 영상 지원 판독 지원 시스템은 특히 흉부 의료 영상을 판독할 때 효과적인 것으로 확인되었다.
도 4는 본 개시에 따른 히스토그램 매칭부를 설명하는 도면이다.
히스토그램 매칭부(120)는 의료 영상 획득부(110)에서 얻은 환자의 의료 영상 명도를 수정하여 인공 지능(AI)에 의한 판독 가능성을 향상시킨다. 이를 위해 히스토그램 매칭부(120)는 먼저 명도의 분포가 균일한 의료 영상을 히스토그램 매칭을 위한 표준 의료 영상으로 선정한다. 표준 의료 영상을 선정하기 위한 데이터는 딥 뉴럴 네트워크를 학습시키기 위한 학습 데이터를 사용할 수 있다. 히스토그램 매칭을 위한 표준 의료 영상을 선정하는 방법은 예를 들어 판독이 필요한 환자의 의료 영상이 흉부 X-ray 영상일 경우 딥 뉴럴 네트워크의 학습 데이터로 사용하기 위한 복수의 흉부 X-Ray에 대해서 다이콤 이미지 헤더를 사용하여 각각 흉부 X-Ray 영상의 명도 분포를 분석한다. 복수의 흉부 X-Ray 의료 영상은 제1 참고 의료 영상이라고 한다. 제1 참고 의료 영상은 판독이 필요한 환자의 의료 영상일 수 있으며, 또는 다른 환자의 의료 영상일 수도 있다. 이후 명도 분포가 10 내지 1,000의 구간을 많이 갖고 있는 흉부 X-Ray 영상들을 제1 참고 의료 영상으로부터 선택하고 이를 제2 참고 의료 영상이라 한다. 예를 들어 명도 분포가 10 내지 1,000 구간이 전체의 80% 이상인 것을 제2 참고 의료 영상으로 하는 것이 바람직하다. 제2 참고 의료 영상 각각에 대하여 명도 평균을 계산한다. 이후 제2 참고 의료 영상의 명도 평균을 합한 후 제2 참고 의료 영상 명도 평균의 평균을 구한다. 이후 제2 참고 의료 영상 중에서 제2 참고 의료 영상 명도 평균의 평균에 가장 가까운 명도 평균을 갖는 의료 영상을 히스토그램 매칭을 위한 표준 의료 영상으로 선정한다. 이와 같이 선정된 히스토그램 매칭을 위한 표준 의료 영상의 명도 히스토그램(200)을 보면 도 4(a)와 같이 밝고 어두운 영역이 고르게 퍼져 있는 것을 알 수 있다. 히스토그램(200)의 X축은 밝기를 나타내며 Y축은 해당 밝기를 갖는 픽셀(Pixel)의 수를 나타낸다. 히스토그램 매칭을 위한 표준 의료 영상을 선정한 이후에는 판독이 필요한 환자의 의료 영상의 명도 히스토그램을 구한다. 도 4(b)는 판독이 필요한 환자의 흉부 X-ray 의료 영상(210)과 판독이 필요한 환자의 흉부 X-ray 의료 영상(210)에 대한 명도 히스토그램(220)의 일 예를 보여준다. 판독이 필요한 환자의 흉부 X-ray 의료 영상(210)에 대한 명도 히스토그램(220)을 보면 밝고 어두운 영역이 고르지 않은 것을 알 수 있다. 이와 같이 밝고 어두운 영역이 고르지 않은 판독이 필요한 환자의 흉부 X-ray 의료 영상(210)에 대한 명도 히스토그램(220)을 히스토그램 매칭을 위한 표준 의료 영상의 명도 히스토그램(200)과 매칭하여 판독이 필요한 환자의 흉부 X-ray 의료 영상(210)에 대한 명도 히스토그램(220)을 표준 의료 영상의 명도 히스토그램(200)과 유사한 형태로 수정하여 밝고 어두운 영역이 고르게 퍼지도록 한다. 수정된 히스토그램에 따라 판독이 필요한 환자의 흉부 X-ray 의료 영상(210)의 명도가 수정되어 인공 지능(AI)의 판독 가능성을 향상시킬 수 있다. 판독이 필요한 환자의 흉부 X-ray 의료 영상(210)에 대한 명도 히스토그램(220)을 히스토그램 매칭을 위한 표준 의료 영상의 명도 히스토그램(200)과 매칭하여 판독이 필요한 환자의 흉부 X-ray 의료 영상(210)에 대한 명도 히스토그램(220)을 표준 의료 영상의 명도 히스토그램(200)과 유사한 형태로 수정하는 방법은 공지된 히스토그램 매칭 방법을 사용할 수 있다. 예를 들어 표준 의료 영상의 명도 히스토그램(200) 분포를 계산하고 계산된 표준 의료 영상의 명도 히스토그램(200) 분포를 기준으로 판독이 필요한 환자의 흉부 X-ray 의료 영상(210)에 대한 명도 히스토그램(220)의 분포를 계산하여 판독이 필요한 환자의 흉부 X-ray 의료 영상(210)에 대한 명도 히스토그램(220)을 표준 의료 영상의 명도 히스토그램(200)과 유사한 형태로 수정할 수 있다.
도 5는 본 개시에 따른 세그멘테이션부를 설명하는 도면이다.
세그멘테이션부(130)는 판독이 필요한 부분을 분할한다. 예를 들어 판독이 필요한 환자의 의료 영상인 흉부 X-ray 영상 중 특히 폐 영상에 대한 판독이 필요한 경우 폐 부분만을 흉부 X-ray 영상에서 분할한다. 본 개시에서는 예를 들어 인공 지능을 사용하여 학습된 U-net 인공지능을 사용하여 환자의 의료 영상인 흉부 X-ray 영상(300)으로부터 폐 부분(310)만을 분할하여 분할된 폐 세그멘테이션 영상(320)을 얻었다.
도 6은 본 개시에 따른 공간 표준화부를 설명하는 도면이다.
공간 표준화부(140)는 세그멘테이션부(130)에 의해 얻은 영상을 확장한다. 예를 들어 세그멘테이션이 되기 전 흉부 X-ray 의료 영상인 도 6(a)를 보면 실제 폐 영역은 어두운 부분(400)뿐 아니라 아래 밝은 부분(410)을 포함하는 경우가 다수이다. 그러나 세그멘테이션부(130)에 의해 분할된 의료 영상인 도 6(b)를 보면 어두운 부분(400)만을 폐 영역으로 분할한 것을 볼 수 있다. 공간 표준화부(140)는 세그멘테이션부(130)에 의해 폐를 세그멘테이션하여 계산된 상하좌우 좌표 및 Contour 함수를 사용하여 세그멘테이션부(130)에 의해 분할된 폐 영상의 상하좌우 좌표로부터 예를 들어 1.5배 정도 확장하여 도 6(c)와 같은 의료 영상을 얻는다. 도 6(c)와 도 6(a)와 비교하면 상하좌우 불필요한 부분이 삭제되었으며 도 6(b)와 비교하면 폐 영역이 확장되어 세그멘테이션부(130)에 의해 얻은 의료 영상보다 실제 폐 영역을 더 많이 포함하게 된다. 바람직하게는 이후 공간 표준화부(140)는 세그멘테이션부(130)에 의해 얻은 영상을 확장한 영상의 크기를 예를 들어 정사각형 형태의 일정한 크기로 만든다. 판독부(150)의 인공 지능인 딥 뉴럴 네트워크에 최적화된 크기이면서 폭과 높이가 동일한 크기가 되도록 한다. 일정한 크기는 최대한 실제 X-ray 영상 크기(도 6(a))와 유사하게 하는 것이 바람직하다. 실제 X-ray 영상보다 작은 사이즈로 변환을 하면 정보가 일부 누락되고 작은 병변에 대한 정확성이 낮아질 수 있기 때문이다.
도 7은 본 개시에 따른 의료 영상 판독 지원 시스템을 사용한 방법의 일 예를 보여주는 흐름도이다.
본 개시에 따른 흉부 의료 영상 판독 지원 시스템을 사용하는 방법은 먼저 의료 영상 획득부에 의해 환자의 의료 영상을 획득한다(S1). 획득한 의료 영상은 히스토그램 매칭부에 의해 명암을 조정한다(S2). 이후 세그멘테이션에 의해 명암비가 가공된 의료 영상으로부터 판독이 필요한 부분을 분할한다(S3). 예를 들어 도 5와 같이 흉부 X-ray 의료 영상으로부터 폐 영상을 분할할 수 있다. 본 개시를 적용한 결과 특히 흉부 의료 영상으로부터 폐 질환을 판독할 때 적용하는 경우 효과가 우수한 것으로 나타났다. 이후 공간 표준화부에 의해 분할한 의료 영상의 영역을 확장한 후 의료 영상의 크기를 조정한다(S4). 이후 히스토그램 매칭부 및 공간 표준화부에 의해 전 처리된 의료 영상을 판독부가 판독을 하고 판독문을 작성한다(S5). 특히 판독부는 인공 지능인 딥 뉴럴 네트워크에 의해 의료 영상을 판독한다. 이후 판독부에 의해 작성된 판독문을 보고 의사는 환자의 의료 영상으로부터 질환 여부를 확정 판독한다.
도 8은 본 개시에 따른 의료 영상 판독 지원 시스템을 사용한 방법의 또 다른 예를 보여주는 흐름도로서, 학습의 관점에서 기술되었다.
먼저 복수의 의료 영상을 준비한다(S10). 복수의 의료 영상은 2차원 흉부 X-ray 영상이거나, CT 이미지와 같은 3차원 의료 영상일 수 있다. 의료 영상은 사람에 제한되지 않으며, 개, 돼지와 같은 동물에 적용될 수 있음은 물론이다. 3차원 의료 영상의 경우에, 3차원 세그멘테이션 기술이 필요하며, 세그멘테이션 된 폐를 3차원 방향으로 확장하고 크기를 조절할 필요가 있다.
다음으로, 복수의 의료 영상에 대해 히스토그램 매칭을 행한다(S20). 바람직하게는 복수의 의료 영상에 대해 히스토그램 매칭을 행한다. 더욱 바람직하게는 도 4에 제시된 방식의 히스토그램 매칭 기법이 적용된다.. 이러한 기법(표준 의료 영상을 선정)을 적용함으로써, 이후 다른 의료 영상이 추가되더라도, 이미 선정된 표준 의료 영상을 기준으로, 영상을 처리할 수 있는 이점을 가지게 된다.
다음으로, 각각의 의료 영상에 대해 세그멘테이션을 행한다(S30). 이 세그멘테이션에는 FCN(Fully Convolutional Network), U-Net과 같은 공지의 딥 뉴럴 네트워크가 사용될 수 있다. 이 네트워크는 이미 학습된 것을 사용하거나, 위 복수의 의료 영상을 학습 데이터로 이용하여 학습될 수 있다. 바람직하게는 도 4에 제시된 히스토그램 매칭과, 도 5 및 도 6에 제시된 기법이 적용된 의료 영상을 학습 데이터로 하여 지도 학습될 수 있으며, 트랜스펴 러닝(Transfer Learining)이 이용될 수 있다.
다음으로, 도 6에 제시된 밝은 부분(410)을 고려하여 원 의료 영상으로부터 이미지를 잘라낸다(S40). 이렇게 잘려진 각각의 이미지는 그 크기가 일정하지 않으므로(환자마다 폐의 크기가 다르므로), 일정한 규격으로 크기를 조정하는 것이 바람직하다. 복수의 잘려진 이미지들의 크기를 평균하여 크기를 조정할 수 있으나, 지속적으로 이미지가 추가될 수 있으므로, 하나의 규격을 정해서 이미지를 조정하는 것이 바람직하다. 세그멘테이션용 네트워크 자체가 도 6에 제시된 밝은 부분(410)을 직접 분할하는 형태로 학습될 수 있으나, 정확도의 측면에서 바람직하지는 않다.
다음으로, 이렇게 전 처리된 복수의 의료 영상을 바탕으로 판독부를 학습시킨다(S45). 판독부는 Classification(악성 노듈의 존재 여부), Detection(노듈의 위치 및 크기 판단), Segmentation(노듈의 구체적인 위치, 크기, 형상 판단)과 같은 기능을 할 수 있으며, 그 기능에 따라, AlexNet, GoolgleNet, ResNet, FCN, U-Net, GAN가 같은 형태의 하나의 Deep Neural Network 내지는 이들의 조합으로 이루어질 수 있다. 판독부의 후단에는 Deep Neural Network(s)의 결과값을 도 9에 도시된 것과 같이 판독문의 형태에 제시하는 부분이 구비되며, 이러한 부분은 도 1에 제시된 기술 등에서 이미 공지된 것이다. 즉 도 9(a)에 표시된 폐 질환 부분(500)에 대해서 도 9(b)와 같은 형태의 판독문 내지 가판독문이 판독부에 의해 작성된다.
이렇게 학습된 판독 지원 시스템이 판독문 내지 가판독문의 작성에 이용된다(S50). 특정 환자의 의료 영상이 제공되면, 바람직하게는 단계(S20, S30, S40) 모두를 거친 다음, 판독부에 제공되고, 판독부에 의해 도 9에 제시된 판독문 내지는 가판독문이 작성된다. 정리하면, 바람직한 실시예로서, 본 개시는 (1) 전 처리용 네트워크의 학습 (2) 학습된 전 처리용 네트워크를 거친 복수의 의료 영상을 이용한 판독부 네트워크의 학습 (3) 특정 환자의 의료 영상을, 학습된 전 처리용 네크워크를 통해 전 처리 (4) 전 처리를 거친 특정 환자의 의료 영상을, 학습된 판독부를 통해 판독문 내지 가판독문 작성을 포함한다.
이하 본 개시의 다양한 실시 형태에 대하여 설명한다.
(1) 흉부 의료 영상 판독을 지원하는 방법에 있어서, 의료 영상 획득부가 환자의 흉부 의료 영상을 획득하는 단계; 히스토그램 매칭부가 획득한 흉부 의료 영상의 명도를 조정하는 단계; 세그멘테이션부가 명도가 조정된 흉부 의료 영상에서 폐 부분만을 세그멘테이션하는 단계; 공간 표준화부가 세그멘테이션된 폐 부분을 표준화하는 단계; 그리고 판독부가 공간 표준화부에서 표준화된 의료 영상을 판독하는 단계;를 포함하는 흉부 의료 영상 판독을 지원하는 방법
(2) 히스토그램 매칭부가 획득한 흉부 의료 영상의 명도를 조정하는 단계는
명도 분포가 균일한 흉부 의료 영상을 히스토그램 매칭을 위한 표준 의료 영상으로 선정하는 단계; 획득한 환자의 흉부 의료 영상의 명도 히스토그램을 구하는 단계; 획득한 환자의 흉부 의료 영상의 명도 히스토그램과 표준 의료 영상의 명도 히스토그램을 매칭하는 단계; 그리고 획득한 환자의 흉부 의료 영상의 명도 히스토그램을 표준 의료 영상의 명도 히스토그램을 기준으로 수정하는 단계;를 포함하는 흉부 의료 영상 판독을 지원하는 방법
(3) 명도의 분포가 균일한 의료 영상을 히스토그램 매칭을 위한 표준 의료 영상으로 선정하는 단계는 복수의 흉부 의료 영상인 복수의 제1 참고 의료 영상에 대한 명도 분포를 얻는 단계; 복수의 제1 참고 의료 영상 중 명도 분포가 10 내지 1,000 구간이 전체의 80%이 이상인 것을 복수의 제2 참고 의료 영상으로 선정하는 단계; 복수의 제2 참고 의료 영상에 대해 각각의 명도 평균을 계산하는 단계; 복수의 제2 참고 의료 영상 각각의 명도 평균을 합산한 후 복수의 제2 참고 의료 영상 각각의 명도 평균의 평균을 계산하는 단계; 그리고 복수의 제2 참고 의료 영상 중 제2 참고 의료 영상 각각의 명도 평균의 평균에 가장 가까운 명도 평균을 갖는 것을 히스토그램 매칭을 위한 표준 의료 영상으로 선정하는 단계;를 포함하는 흉부 의료 영상 판독을 지원하는 방법
(4) 공간 표준화부가 세그멘테이션된 폐 부분을 표준화하는 단계는 세그멘테이션 된 폐 부분을 포함하여 확장한 의료 영상을 얻는 단계; 그리고 세그멘테이션 된 폐 부분을 포함하여 확장한 의료 영상의 크기를 미리 정해진 크기로 늘리거나 줄이는 단계;를 포함하는 흉부 의료 영상 판독을 지원하는 방법
(5) 세그멘테이션 된 폐 부분을 포함하여 확장한 의료 영상을 얻는 단계는 폐 부분을 세그멘테이션할 때 계산된 상하좌우 좌표 및 Contour 함수를 사용하여 세그멘테이션 된 폐 부분을 포함하여 확장한 의료 영상을 얻는 흉부 의료 영상 판독을 지원하는 방법
(6) 판독부는 인공 지능(AI)에 의해 작동하는 흉부 의료 영상 판독을 지원하는 방법
(7) 인공 지능(AI)은 딥 뉴럴 네트워크에 의해 작동하는 흉부 의료 영상 판독을 지원하는 방법
(8) 판독부의 딥 뉴럴 네트워크을 학습시키는 학습 데이터는 의료 영상 획득부가 복수의 흉부 의료 영상을 획득하는 단계; 히스토그램 매칭부가 획득한 복수의 흉부 의료 영상의 명도를 조정하는 단계; 세그멘테이션부가 명도가 조정된 복수의 흉부 의료 영상에서 폐 부분만을 세그멘테이션하는 단계; 그리고 공간 표준화부가 세그멘테이션된 폐 부분을 표준화하는 단계;를 거친 의료 영상을 학습 데이터로 사용하는 흉부 의료 영상 판독을 지원하는 방법
(9) 흉부 의료 영상 판독을 지원하는 시스템에 있어서, 환자의 흉부 의료 영상을 획득하는 의료 영상 획득부; 의료 영상 획득부에서 획득한 환자의 흉부 의료 영상의 명도를 매칭하는 히스토그램 매칭부; 명도가 매칭된 환자의 흉부 의료 영상에서 판독이 필요한 폐 부분을 세그멘테이션 하는 세그멘테이션부; 세그멘테이션 된 폐 부분을 표준화하는 공간 표준화부; 그리고, 표준화된 환자의 의료 영상을 판독하는 판독부;를 포함하는 흉부 의료 영상 판독 지원 시스템.
(10) 세그멘테이션부 및 판독부 중 하나는 인공 지능(AI)에 의해 작동하는 흉부 의료 영상 판독 지원 시스템.
본 개시에 따르면 인공지능인 딥 뉴럴 네트워크의 판독 정확성을 향상시킨 흉부 의료 영상 판독 지원 시스템을 얻을 수 있다.
의료 영상 판독 지원 시스템 : 10. 100
Claims (10)
- 흉부 의료 영상 판독 시스템에 의해 수행되는 흉부 의료 영상 판독을 지원하는 방법에 있어서,
복수의 참고 흉부 의료 영상들 각각의 명도 분포를 확인하는 단계;
상기 확인된 명도 분포에 기초하여, 상기 복수의 참고 흉부 의료 영상들 중 일부를 복수의 참고 의료 영상들로 선정하는 단계;
상기 선정된 복수의 참고 의료 영상들에 대한 명도 평균들을 계산하는 단계;
상기 복수의 참고 의료 영상들 중 상기 계산된 명도 평균들의 평균에 가장 가까운 명도 평균을 갖는 것을 표준 의료 영상으로서 선정하는 단계;
상기 선정된 표준 의료 영상의 표준 명도 히스토그램을 구하는 단계;
환자의 흉부 의료 영상을 획득하는 단계;
상기 표준 의료 영상의 상기 표준 명도 히스토그램을 이용하여, 상기 획득한 흉부 의료 영상의 명도를 조정하는 단계;
상기 명도가 조정된 흉부 의료 영상에서 폐 부분만을 세그멘테이션하는 단계;
상기 세그멘테이션된 폐 부분을 표준화하는 단계; 그리고
상기 표준화된 폐 부분에 대응하는 영상을 판독하는 단계;를 포함하는 흉부 의료 영상 판독을 지원하는 방법. - 청구항 1에 있어서,
상기 표준 의료 영상의 상기 표준 명도 히스토그램을 이용하여, 상기 획득한 흉부 의료 영상의 상기 명도를 조정하는 단계는
상기 획득한 흉부 의료 영상의 명도 히스토그램을 구하는 단계;
상기 획득한 흉부 의료 영상의 상기 명도 히스토그램과 상기 표준 의료 영상의 상기 표준 명도 히스토그램을 매칭하는 단계; 그리고
상기 획득한 흉부 의료 영상의 상기 명도 히스토그램을 상기 표준 의료 영상의 상기 명도 히스토그램을 기준으로 수정하는 단계;를 포함하는 흉부 의료 영상 판독을 지원하는 방법. - 청구항 2에 있어서, 상기 복수의 참고 흉부 의료 영상들 중 일부를 상기 복수의 참고 의료 영상들로 선정하는 단계는,
상기 복수의 참고 흉부 영상들 중 명도 분포가 10 내지 1,000 구간이 전체의 80%이 이상인 것을 상기 복수의 참고 의료 영상들로 선정하는 단계를 포함하는 흉부 의료 영상 판독을 지원하는 방법. - 청구항 1에 있어서,
상기 세그멘테이션된 폐 부분을 표준화하는 단계는
상기 세그멘테이션 된 폐 부분을 포함하여 확장한 의료 영상을 얻는 단계; 그리고
상기 확장한 의료 영상의 크기를 미리 정해진 크기로 늘리거나 줄이는 단계;를 포함하는 흉부 의료 영상 판독을 지원하는 방법. - 청구항 4에 있어서,
상기 세그멘테이션 된 폐 부분을 포함하여 확장한 의료 영상을 얻는 단계는
상기 폐 부분을 세그멘테이션할 때 계산된 상하좌우 좌표 및 Contour 함수를 사용하여 상기 세그멘테이션 된 폐 부분을 포함하여 확장한 의료 영상을 얻는 흉부 의료 영상 판독을 지원하는 방법. - 청구항 1에 있어서, 상기 표준화된 의료 영상은,
인공 지능(AI)에 의해 판독되는 것을 특징으로 하는 흉부 의료 영상 판독을 지원하는 방법. - 청구항 6에 있어서,
상기 인공 지능(AI)은 딥 뉴럴 네트워크에 의해 작동하는 흉부 의료 영상 판독을 지원하는 방법. - 삭제
- 흉부 의료 영상 판독을 지원하는 시스템에 있어서,
환자의 흉부 의료 영상을 획득하는 의료 영상 획득부;
복수의 참고 흉부 의료 영상들 각각의 명도 분포를 확인하고, 상기 확인된 명도 분포에 기초하여 상기 복수의 참고 흉부 의료 영상들 중 일부를 복수의 참고 의료 영상들로 선정하고, 상기 선정된 복수의 참고 의료 영상들에 대한 명도 평균들을 계산하고, 상기 복수의 참고 의료 영상들 중 상기 계산된 명도 평균들의 평균에 가장 가까운 명도 평균을 갖는 것을 표준 의료 영상으로서 선정하고, 상기 선정된 표준 의료 영상의 표준 명도 히스토그램을 구하고, 상기 표준 의료 영상의 상기 표준 명도 히스토그램을 이용하여, 상기 획득한 흉부 의료 영상의 명도를 매칭하는 히스토그램 매칭부;
상기 명도가 매칭된 흉부 의료 영상에서 판독이 필요한 폐 부분을 세그멘테이션 하는 세그멘테이션부;
상기 세그멘테이션 된 폐 부분을 표준화하는 공간 표준화부; 그리고,
상기 표준화된 폐 부분에 대응하는 영상을 판독하는 판독부;를 포함하는 흉부 의료 영상 판독 지원 시스템. - 청구항 9에 있어서,
상기 세그멘테이션부 및 상기 판독부 중 하나는 인공 지능(AI)에 의해 작동하는 흉부 의료 영상 판독 지원 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180009862A KR102178803B1 (ko) | 2018-01-26 | 2018-01-26 | 흉부 의료 영상 판독 지원 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180009862A KR102178803B1 (ko) | 2018-01-26 | 2018-01-26 | 흉부 의료 영상 판독 지원 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190090986A KR20190090986A (ko) | 2019-08-05 |
| KR102178803B1 true KR102178803B1 (ko) | 2020-11-16 |
Family
ID=67615931
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180009862A KR102178803B1 (ko) | 2018-01-26 | 2018-01-26 | 흉부 의료 영상 판독 지원 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102178803B1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102280902B1 (ko) | 2020-07-16 | 2021-07-26 | 주식회사 코어라인소프트 | 흉부 의료 영상 판독 지원 장치 및 방법 |
| KR102558096B1 (ko) * | 2021-03-26 | 2023-07-24 | 한국과학기술원 | 흉부 방사선 영상 특징을 활용한 비전 변환기 기반의 감염병 중증도 정량화 방법 및 그 장치 |
| KR102507451B1 (ko) * | 2020-09-07 | 2023-03-08 | 주식회사 뷰노 | 흉부 이미지 판독 방법 |
| KR102422613B1 (ko) * | 2020-12-28 | 2022-07-21 | 주식회사 래디센 | 인공지능 기반 실시간 자동 엑스레이 폐결절 판독 방법 및 시스템 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101225482B1 (ko) * | 2012-02-15 | 2013-01-23 | 인텔 코오퍼레이션 | 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체 |
| JP2015154918A (ja) * | 2014-02-19 | 2015-08-27 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 病変検出装置及び方法 |
| US20150254842A1 (en) * | 2012-09-13 | 2015-09-10 | The Regents Of The University Of California | System and method for automated detection of lung nodules in medical images |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101628972B1 (ko) * | 2014-07-09 | 2016-06-09 | 주식회사 인피니트헬스케어 | 조도 기반 그래픽 사용자 인터페이스 제어 방법 및 그 장치 |
-
2018
- 2018-01-26 KR KR1020180009862A patent/KR102178803B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101225482B1 (ko) * | 2012-02-15 | 2013-01-23 | 인텔 코오퍼레이션 | 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체 |
| US20150254842A1 (en) * | 2012-09-13 | 2015-09-10 | The Regents Of The University Of California | System and method for automated detection of lung nodules in medical images |
| JP2015154918A (ja) * | 2014-02-19 | 2015-08-27 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | 病変検出装置及び方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190090986A (ko) | 2019-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5893623B2 (ja) | データ・セットにおける異常検出方法およびシステム | |
| US11151721B2 (en) | System and method for automatic detection, localization, and semantic segmentation of anatomical objects | |
| KR102178803B1 (ko) | 흉부 의료 영상 판독 지원 시스템 및 방법 | |
| US8958614B2 (en) | Image-based detection using hierarchical learning | |
| JP4911029B2 (ja) | 異常陰影候補検出方法、異常陰影候補検出装置 | |
| US20030086596A1 (en) | Method, computer software, and system for tracking, stabilizing, and reporting motion between vertebrae | |
| US11468589B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4869223B2 (ja) | 医療画像の利用可能性を自動的に改善するための方法およびシステム | |
| JP6458166B2 (ja) | 医用画像処理方法及び装置及びシステム及びプログラム | |
| US9672600B2 (en) | Clavicle suppression in radiographic images | |
| US9454814B2 (en) | PACS viewer and a method for identifying patient orientation | |
| JP2019146926A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN111738975B (zh) | 图像辨识方法及图像辨识装置 | |
| JP7456928B2 (ja) | 胸部ｘ線画像の異常表示制御方法、異常表示制御プログラム、異常表示制御装置、及びサーバ装置 | |
| US10307124B2 (en) | Image display device, method, and program for determining common regions in images | |
| US20220245797A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| KR102477991B1 (ko) | 의료 영상 처리 방법 및 장치 | |
| US20220198667A1 (en) | Method and device for extracting blood vessel wall | |
| US11138736B2 (en) | Information processing apparatus and information processing method | |
| EP3758602A1 (en) | Neural network classification of osteolysis and synovitis near metal implants | |
| US20220245925A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| EP4266255A1 (en) | Method and system for generating label of medical image | |
| KR102580749B1 (ko) | 의료영상의 화질평가 방법 및 장치 | |
| US20220392614A1 (en) | Determining characteristics of muscle structures using artificial neural network | |
| US20240037739A1 (en) | Image processing apparatus, image processing method, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |