KR102155381B1 - 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법, 장치 및 소프트웨어 프로그램 - Google Patents

Abstract

컴퓨터에 의하여 수행되는 방법에 있어서, 대상체의 자궁경부 세포를 촬영한 이미지를 획득하는 단계(S110), 상기 이미지를 전처리하는 단계(S120), 상기 전처리된 이미지로부터 하나 이상의 세포를 인식하는 단계(S130), 상기 인식된 하나 이상의 세포의 정상여부를 판단하는 단계(S140) 및 상기 단계(S140)의 판단 결과에 기초하여 상기 대상체의 자궁경부암 여부를 진단하는 단계(S150)를 포함하는, 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 진단방법이 개시된다.

Description

인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법, 장치 및 소프트웨어 프로그램 {METHOD, APPARATUS AND SOFTWARE PROGRAM FOR CERVICAL CANCER DECISION USING IMAGE ANALYSIS OF ARTIFICIAL INTELLIGENCE BASED TECHNOLOGY}

본 발명은 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 진단방법, 장치 및 소프트웨어 프로그램에 관한 것이다.

자궁경부암은 국제적으로 여성 사망의 주요 원인으로서, 인유두종바이러스(human papillomavirus) 감염에 의해 발병하는 것으로 알려져 있다. 매년 평균적으로 50만명의 여성이 자궁경부암으로 진단받고 있으며 25만명의 여성이 자궁경부암으로 사망한다. 인유두종바이러스 감염은 20-24세 여성에서 가장 빈번하게 발견된다(44.8%의 감염율). 대부분의 인유두종바이러스 감염은 자연적으로 사라지지만 감염이 만성적으로 지속될 경우 12-15년에 걸쳐 암으로 발전할 수 있다.

인유두종바이러스의 E6, E7 단백질은 자궁경부 상피세포의 유전적 불안정과 세포주기 교란을 일으켜 이것이 상피세포의 변형을 초래하고, 암 발병에 이르게 한다. Pap test는 여성 자궁 세포의 변이 여부를 진단하기 위해 50년 이상 사용되고 있는 진단법으로, 이 과정에서 세포 이상이 발견되면 colposcopy 및 조직검사를 수행하여 암 발병 여부를 구체적으로 진단하게 된다.

자궁경부암의 조기 진단 및 인유두종바이러스 감염 예방을 위한 백신의 접종은 자궁경부암의 발병을 낮추기 위해 가장 중요한 요소로 인식되고 있고, Pap smear를 통한 세포 검사법의 도입은 자궁경부암의 발병을 크게 낮추는데 공헌해 왔다.

Pap test와 같은 세포 검사 방법 외에도 분자진단 기술을 이용한 다양한 검사법이 꾸준히 제시되어 왔다. 세포 내 Ki-67, p16의 발현율 증가는 자궁조직의 암화와 밀접한 연관이 있는 것으로 알려져 있으며, 이밖에도 mini chromosome maintenance protein, cell division cycle protein 6, squamous cell carcinoma antigen등이 자궁경부암 진단을 위한 주요 마커로 알려져 있다.

또한, 당쇄 구조의 변화는 질병의 진행 및 암의 진행과 밀접한 연관이 있는 것으로 알려져 있다. 현재까지 축적된 연구 결과에 따르면 암의 발병이 진행됨에 따라 암 세포 표면 및 혈액 내 당질(glycoconjugates)에서 sialylation 및 fucosylation이 증가되는 것으로 알려져 있다.

종래에는 환자의 유병 여부를 진단하는 방법으로서 환자의 몸에서 탈락 세포를 채취하여 검사하는 방식이 있었다. 환자로부터 탈락 세포의 샘플을 채집하여 파파니콜라 염색 및 슬라이드 봉입 과정을 거쳐 슬라이드를 제작하고, 이들 슬라이드를 스크리너(세포 병리기사, cytotechnologist)가 광학 현미경을 통해 1차로 검경한다. 1차 검경 결과에서 비정상 소견이 나온 슬라이드는 병리전문의가 2차로 판독하여 병변 여부에 관한 진단을 확정하는 방식이다.

그런데, 다수의 슬라이드를 스크리너가 일일이 수작업으로 검경하는 방식은 굉장히 오랜 시간이 소요된다. 더구나 자격을 갖춘 스크리너의 수가 상당히 적기 때문에 숙련된 병리기사의 숫자가 부족하다는 인적 한계도 존재한다.

이러한 인적 한계가 있는 지역에서는 묽게 만든 초산 용액을 자궁경부에 발라 희게 변하는 부위를 찾아내는 일명 'VIA(Visual Inspection with Acetic acid)' 검사법을 주로 사용한다. 다만, VIA 검사법은 비용이 적게 들고 간편한 반면 부정확하다는 평가가 많다.

또한, 병리기사가 자신의 경험과 실력에 의존하여 검경하고 있기 때문에 해당 병리기사의 인간적인 한계로, 검경 당시의 컨디션에 따라서는 휴먼 에러가 발생할 수 있다. 이러한 문제를 해결하기 위해 1차 검경결과를 모아서 임의의 표본을 리뷰하는 방식으로 오류를 줄이고자 하는 현장의 시도가 있었으나, 문제의 원인을 구조적으로 해결하지는 못한다.

이러한 현장에서 발생하는 문제의 배경에서, 다수의 슬라이드를 일관되고 신뢰성 있게 검경하여 진단결과를 제공할 수 있는 전자화된 수단의 필요가 대두되게 되었다.

한편, 영상의료기술 분야에서 인공지능기술이 활용되는 비중이 매우 높아지고 있다. 현대의학에서 효과적인 질병의 진단 및 환자의 치료를 위해 의료영상은 매우 핵심적인 도구이며, 영상기술의 발달로 더욱 정교한 의료영상 데이터를 획득 가능하게 되었으며 여전히 발전하고 있다. 이러한 정교함의 덕분으로 데이터의 양은 점차 방대해지고 있어 의료영상 데이터를 인간의 시각에 의존하여 분석하는 데에는 상술한 것과 같은 어려움이 많다. 이에, 최근 임상의사결정 지원 시스템 및 컴퓨터 보조 진단 시스템은 의료영상 자동 분석에 있어서 필수적인 역할을 수행하고 있다.

이러한 기술적 배경에서, 아래와 같은 기술사상을 개시한다.

본 발명은 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 진단방법, 장치 및 소프트웨어 프로그램에 관한 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 진단방법은, 대상체의 자궁경부 세포를 촬영한 이미지를 획득하는 단계(S110), 상기 이미지를 전처리하는 단계(S120), 상기 전처리된 이미지로부터 하나 이상의 세포를 인식하는 단계(S130), 상기 인식된 하나 이상의 세포의 정상여부를 판단하는 단계(S140) 및 상기 단계(S140)의 판단 결과에 기초하여 상기 대상체의 자궁경부암 여부를 진단하는 단계(S150)를 포함한다.

또한, 상기 단계(S130) 및 상기 단계(S140)는, 기 학습된 인공지능 모델을 이용하여 상기 전처리된 이미지로부터 하나 이상의 세포를 인식하고, 인식된 하나 이상의 세포의 정상여부를 판단하는 것을 특징으로 할 수 있다.

또한, 하나 이상의 자궁경부 세포 이미지를 포함하는 학습 데이터를 획득하는 단계(S210), 상기 학습 데이터에 포함된 이미지를 전처리하는 단계(S220) 및 상기 단계(S220)에서 전처리된 이미지를 이용하여 상기 인공지능 모델을 학습시키는 단계(S230)를 더 포함할 수 있다.

또한, 상기 단계(S220)는, 상기 학습 데이터에 포함된 이미지 각각에 대하여, 이미지를 리사이징하는 단계(S310), 상기 리사이징된 이미지의 색상을 조정하는 단계(S320), 상기 색상이 조정된 이미지의 윤곽을 도출하는 단계(S330) 및 상기 단계(S250)에서 도출된 윤곽에 기반하여 이미지를 크롭(crop)하는 단계(S340)를 포함할 수 있다.

또한, 상기 단계(S230)는, 전처리된 고해상도 이미지 및 저해상도 이미지를 획득하는 단계(S410), 상기 고해상도 이미지를 이용하여 제1 모델을 학습시키는 단계(S420), 상기 저해상도 이미지를 이용하여 제2 모델을 학습시키는 단계(S430) 및 상기 제1 모델 및 상기 제2 모델의 학습 결과를 조합하는 단계(S440)를 포함할 수 있다.

또한, 상기 단계(S110)는, 상기 획득된 이미지의 적합성을 판단하는 단계(S510) 및 상기 판단된 적합성에 기초하여, 이미지 재획득을 요청하는 단계(S520)를 더 포함하고, 상기 이미지 재획득 요청은, 이미지 재촬영 요청 및 시료 재획득 요청 중 적어도 하나를 포함할 수 있다.

또한, 상기 단계(S140)는, 상기 인식된 세포를 정상, ASCUS(Atypical Squamous Cells of Undetermined Significance), ASCH(Atypical Squamous Cells, cannot exclude HSIL), LSIL(Low-grade squamous intraepithelial lesion), HSIL(High-grade squamous intraepithelial lesion) 및 암을 포함하는 카테고리 중 적어도 하나로 분류하는 단계(S610)를 포함하고, 상기 단계(S150)는, 상기 단계(S610)에서 각각의 카테고리로 분류된 세포의 수를 카운팅하는 단계(S620), 각각의 카테고리에 대한 가중치를 부여하는 단계(S630), 각각의 카테고리에 대한 가중치 및 카운팅된 세포의 수에 기반하여 자궁경부암 진단점수를 산출하는 단계(S640) 및 상기 산출된 진단점수에 기초하여 상기 대상체의 자궁경부암 여부를 진단하는 단계(S650)를 포함할 수 있다.

또한, 상기 단계(S610)는, 상기 인식된 세포의 세포핵 및 세포질을 각각 인식하는 단계(S710), 상기 인식된 세포핵 및 세포질의 면적을 계산하는 단계(S720) 및 상기 세포핵 및 세포질의 면적 비율에 기초하여 상기 인식된 세포의 HSIL 점수를 산출하는 단계(S730)를 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 개시된 실시 예에 따른 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 진단방법을 수행할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 컴퓨터프로그램은, 하드웨어인 컴퓨터와 결합되어, 개시된 실시 예에 따른 인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 진단방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

개시된 실시 예에 따르면, 병리 전문가가 부족한 환경에서도 인공지능 모델에 기반하여 자궁경부암 진단을 가능케 하는 효과가 있다.

또한, 진단 과정에서 발생할 수 있는 휴먼 에러를 방지하며, 일관된 정확도를 갖는 진단방법을 제공할 수 있는 효과가 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시 예에 따른 시스템을 도시한 도면이다.
도 2는 일 실시 예에 따른 인공지능 영상분석을 이용한 자궁경부암 진단방법을 도시한 흐름도이다.
도 3은 일 실시 예에 따른 인공지능 모델 학습방법을 도시한 흐름도이다.
도 4는 일 실시 예에 따른 이미지 전처리 방법을 도시한 흐름도이다.
도 5는 일 실시 예에 따라 해상도에 따른 인공지능 모델 학습방법을 도시한 흐름도이다.
도 6은 일 실시 예에 따른 이미지 품질 관리방법을 도시한 흐름도이다.
도 7은 일 실시 예에 따른 진단방법을 도시한 흐름도이다.
도 8은 일 실시 예에 따른 HSIL 분류방법을 도시한 흐름도이다.
도 9 및 도 10은 세포 이미지에 대한 인식 및 분류를 통한 정상여부 판단의 일 예를 도시한 도면이다.
도 11은 어노테이션 작업의 일 예를 도시한 도면이다.
도 12는 복수의 세포들이 포함된 이미지를 도시한 도면이다.
도 13은 일 실시 예에 따라 복수의 영역에 대한 판단에 기반하여 학습을 수행하는 과정 및 그 결과로서 정상 세포와 비정상 세포를 검출하는 모습을 도시한 도면이다.
도 14는 일 실시 예에 따른 장치의 구성도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 일 실시 예에 따른 시스템을 도시한 도면이다.

도 1을 참조하면, 서버(100) 및 사용자 단말(200)이 도시되어 있다.

개시된 실시 예에서, 서버(100)는 상술한 컴퓨터의 일종일 수 있으나 이에 제한되는 것은 아니며, 예를 들어 클라우드 서버를 의미할 수도 있다.

또한, 사용자 단말(200)은 상술한 컴퓨터의 일종일 수 있으며, 예를 들어 스마트폰을 의미할 수 있으나, 이에 제한되는 것은 아니다.

일 실시 예에서, 서버(100)는 개시된 실시 예에 따른 인공지능 영상분석을 이용한 자궁경부암 진단방법을 수행하기 위한 인공지능 모델의 학습을 수행할 수 있다.

또한, 사용자 단말(200)은 개시된 실시 예에 따라 서버(100)를 통해 학습된 인공지능 모델을 이용하여 인공지능 영상분석을 이용한 자궁경부암 진단방법을 수행할 수 있다.

하지만, 각각의 주체는 이에 제한되는 것은 아니며, 인공지능 모델 학습방법의 적어도 일부가 사용자 단말(200)에서 수행될 수도 있으며, 또한 사용자 단말(200)로부터 정보를 획득한 서버(100)가 학습된 인공지능 모델을 이용하여 영상분석을 이용한 자궁경부암 진단을 수행하고, 진단 결과를 사용자 단말(200)에 전달할 수도 있다.

일 실시 예에서, 서버(100)는 학습데이터를 획득할 수 있다. 학습데이터는 자궁경부 세포 이미지를 포함할 수 있으며, 구체적으로 Pap smear 검사를 위하여 슬라이드에 도말(smear)하고, 염색 등 필요한 처리를 수행한 결과물을 촬영한 이미지를 포함할 수 있으며, 이에 제한되는 것은 아니다.

서버(100)는 학습데이터에 포함된 이미지들에 대한 전처리를 수행할 수 있다. 이미지를 전처리하는 구체적인 방법에 대해서는 후술한다.

서버(100)는 전처리된 이미지를 이용하여 인공지능 모델을 학습시킬 수 있다. 개시된 실시 예에서, 인공지능 모델은 머신러닝 기술에 기반하여 학습된 모델을 의미할 수 있으나, 이에 제한되는 것은 아니다. 머신러닝 기술의 구체적인 종류 및 그 알고리즘 또한 특정한 종류로 제한되는 것은 아니지만, 딥러닝 기술이 이용될 수 있으며, 더욱 구체적으로 Mask R-CNN기술이 이용될 수 있다.

다른 예로, SSDlite 및 Mobilenet v2 기반의 경량화 모델이 이용될 수 있으나, 마찬가지로 이에 제한되는 것은 아니다.

또한, 사용자 단말(200)은 서버(100)에서 학습된 인공지능 모델을 획득할 수 있다. 실시 예에 따라서, 사용자 단말(200)은 서버(100)의 학습결과에 대응하는 하나 이상의 파라미터를 획득할 수도 있다.

개시된 실시 예에서, 사용자 단말(200)은 사용자 단말(200)에 설치된 애플리케이션을 이용하여 개시된 실시 예에 따른 방법을 수행할 수 있으나, 이에 제한되는 것은 아니다.

예를 들어, 개시된 실시 예에 따른 방법은 애플리케이션이 아닌 웹 기반으로 제공될 수도 있으며, PACS(Picture Archiving and Communication System)와 같은 시스템 기반으로도 제공될 수 있다.

이러한 시스템에 기반한 서비스는 특정한 장치에 임베디드되어 제공될 수도 있으나, 원격으로 네트워크를 통해 제공될 수도 있고, 기능의 적어도 일부가 서로 다른 장치에 분산되어 제공되는 것 또한 가능하다.

다른 예로, 개시된 실시 예에 따른 방법은 SaaS(Software as a Service) 또는 기타 클라우드 기반 시스템에 기반하여 제공될 수도 있다.

본 명세서에서 개시되는 모든 기술, 방법 및 단계들은 상기한 바와 같이 특정한 주체 혹은 시스템에 기반하여 제공되는 것으로 제한되지 않는다.

실시 예에 따라서, 사용자 단말(200)에서 이용되는 학습된 모델은 사용자 단말(200)의 성능에 맞게 경량화된 모델을 의미할 수도 있다.

일 실시 예에서, 사용자 단말(200)은 대상체의 자궁경부 세포를 촬영한 이미지를 획득할 수 있다. 사용자 단말(200)은 획득된 이미지의 품질을 관리하기 위하여 피드백을 제공할 수 있으며, 이에 대한 구체적인 내용에 대해서는 후술한다.

또한, 본 명세서에서 "대상체(object)"는 사람 또는 동물, 또는 사람 또는 동물의 일부를 포함할 수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 또는 혈관을 포함할 수 있다.

또한, 본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다. 예를 들어, 사용자는 의료 취약지역에서 개시된 실시 예에 따른 시스템을 이용하여 검진을 수행하는 관리자 혹은 환자 본인을 의미할 수도 있다.

사용자 단말(200)은 획득된 이미지를 인공지능 모델에 기반하여 분석하고, 그 결과에 기반하여 대상체의 자궁경부암 여부를 진단할 수 있다.

사용자 단말(200)은 검진 결과를 사용자에게 제공하는 결과보고를 수행할 수 있으며, 이에 따른 피드백을 또한 서버(100)에 전달할 수 있다. 서버(100)는 전달된 피드백을 데이터베이스에 저장하고, 이에 기반하여 인공지능 모델의 재학습 및 업데이트를 수행할 수 있다.

이하에서는, 도면을 참조하여 개시된 실시 예에 따른 인공지능 영상분석을 이용한 자궁경부암 진단방법의 각 단계들에 대하여 구체적으로 설명한다.

이하에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.

예를 들어, 컴퓨터는 상술한 서버(100) 및 사용자 단말(200) 중 적어도 하나를 포함할 수 있으나, 이에 제한되는 것은 아니다.

도 2는 일 실시 예에 따른 인공지능 영상분석을 이용한 자궁경부암 진단방법을 도시한 흐름도이다.

단계 S110에서, 컴퓨터는 대상체의 자궁경부 세포를 촬영한 이미지를 획득한다.

일 실시 예에서, 컴퓨터는 스마트폰 카메라를 이용하여 대상체의 자궁경부 세포가 도말된 슬라이드를 촬영한 이미지를 획득할 수 있다. 실시 예에 따라서, 스마트폰 카메라가 아닌 다른 카메라가 이용될 수도 있다.

또한, 대상체의 자궁경부 세포가 도말된 슬라이드는 세포의 도말 이후 염색 등 Pap smear 검사를 위해 필요한 처리들이 수행된 결과물을 의미할 수도 있다.

개시된 실시 예에서, 슬라이드에 대한 세포의 도말 및 전처리 방법은 Conventional Pap smear 방법에 기반한 방법과, 액상세포검사(Liquid-based Cytology) 방법에 기반한 방법 중 하나를 포함할 수 있으나, 이에 제한되지 않는다. 즉, 개시된 실시 예에 따른 세포 이미지의 분석 및 이에 기반한 자궁경부암 여부 검사방법은 슬라이드에 대한 세포의 특정한 도말방법 및 그 전처리 방법에 제한되지 않으며, 서로 다른 전처리 방법에 기반하여 수집된 학습 데이터에 따라 학습된 다양한 인공지능 모델이 이용될 수 있다.

실시 예에 따라서, 서로 다른 도말 및 전처리 방법에 기반하여 수집된 학습 데이터들을 종합하여 인공지능 모델을 학습시킴으로써, 도말 및 전처리 방법과 무관하게 대상체의 자궁경부암 여부를 진단할 수 있는 인공지능 모델이 학습될 수도 있다.

실시 예에 따라서, 도말 및 전처리 방법과 무관하게 대상체의 자궁경부암 여부를 진단할 수 있도록 학습된 인공지능 모델이 제공되되, 서로 다른 도말 및 전처리 방법에 기반하여 수집된 학습 데이터에 기반하여 미세 조정(fine tuning)된 서로 다른 인공지능 모델들이 획득될 수도 있으며, 이에 따라 서로 다른 도말 및 전처리 방법에 대하여 더욱 높은 정확도를 보일 수 있는 인공지능 모델이 획득되어 이용될 수도 있으며, 이에 제한되는 것은 아니다.

또한, 실시 예에 따라서 카메라에 부착되거나 별도로 구비된 확대경, 렌즈 및 현미경 등의 보조장비가 이용될 수 있으며, 카메라는 이를 통해 확대된 이미지를 촬영할 수도 있다.

또한, 스마트폰 애플리케이션에 기반하여 이미지가 캡쳐되는 경우, 이와 연관된 데이터가 이미지와 함께 저장되어 관리될 수 있으며, 향후 이미지 분석 결과와 함께 개시된 실시 예에 따른 자궁경부암 판단에 활용될 수 있다.

예를 들어, 스마트폰 애플리케이션을 이용하여 이미지가 캡쳐되는 경우, 이에 대응하는 환자(대상체)에 대한 정보가 함께 입력되거나 다양한 방법으로 획득될 수 있으며, 이는 이미지와 함께 저장되어, 이미지 분석에 활용되거나, 이미지 분석 결과와 함께 활용되어 대상체의 자궁경부암 여부를 판단하는 데 활용될 수 있다.

또한, 스마트폰 애플리케이션에 기반하여 환자(대상체)의 식별자(ID)가 생성되어 이미지 데이터에 라벨링(labeling)될 수 있으며, 이는 환자에 대한 정보를 매칭하거나, 환자에 대한 정보를 저장하는 데 활용될 수 있다.

단계 S120에서, 컴퓨터는 상기 이미지를 전처리한다.

일 실시 예에서, 검진단계에서 수행되는 전처리는 후술할 학습단계에서 수행되는 전처리와 동일하거나, 학습단계에서 수행되는 전처리 과정의 적어도 일부를 포함할 수 있다.

또한, 실시 예에 따라 전처리 단계에서 사용자에 의한 어노테이션(annotation) 작업이 수행될 수도 있다.

도 11을 참조하면, 어노테이션 작업의 일 예(500)가 도시되어 있다.

검진단계에서의 어노테이션 작업의 경우, 사용자 단말의 화면에 표시되는 이미지에서 사용자가 터치 입력, 터치펜 및 마우스 등의 입력수단을 이용하여 세포가 포함된 영역을 지정하거나, 세포의 중심점을 선택하는 작업을 포함할 수 있다.

실시 예에 따라서, 어노테이션 작업은 세포의 중심점을 선택하는 1차 어노테이션과, 세포가 포함된 영역을 선택 혹은 입력하는 2차 어노테이션을 포함할 수 있으나, 이에 제한되는 것은 아니다.

일 실시 예에서, 어노테이션 작업에 기반하여 세포 혹은 세포핵에 대한 바운딩 박스가 생성될 수 있다.

단계 S130에서, 컴퓨터는 상기 전처리된 이미지로부터 하나 이상의 세포를 인식한다.

일 실시 예에서, 컴퓨터는 학습된 인공지능 모델을 이용하여 이미지로부터 하나 이상의 세포를 인식할 수 있다. 에를 들어, 컴퓨터는 이미지에서 세포가 포함된 영역을 결정할 수 있으며, 나아가 세포막, 세포질 및 세포핵이 포함된 영역을 결정할 수 있으나, 이에 제한되는 것은 아니다.

세포의 인식에는 상술한 바와 같이, 기 학습된 Mask R-CNN 모델이 활용될 수 있으나, 이에 제한되는 것은 아니다.

다른 예로, SSDlite 및 Mobilenet v2 기반의 경량화 모델이 이용될 수 있으나, 마찬가지로 이에 제한되는 것은 아니다.

단계 S140에서, 컴퓨터는 상기 인식된 하나 이상의 세포의 정상여부를 판단한다.

일 실시 예에서, 컴퓨터는 인식된 세포가 정상인지, 혹은 특정한 이상을 포함하고 있는지 여부를 판단할 수 있다. 실시 예에 따라서, 컴퓨터는 세포를 정상 혹은 하나 이상의 카테고리를 포함하는 비정상 상태 중 적어도 하나로 분류할 수 있다.

이러한 분류작업 또한 상술한 바와 같이, 기 학습된 Mask R-CNN 모델이 활용될 수 있으나, 이에 제한되는 것은 아니다.

다른 예로, SSDlite 및 Mobilenet v2 기반의 경량화 모델이 이용될 수 있으나, 마찬가지로 이에 제한되는 것은 아니다.

도 9 및 도 10을 참조하면, 세포 이미지에 대한 인식 및 분류를 통한 정상여부 판단의 일 예가 도시되어 있다.

도 9를 참조하면, 정상 사례(310) 및 비정상 사례(320)가 도시되어 있다.

일 실시 예에서, 정상 세포의 경우 세포질과 세포막이 상대적으로 크고, 염색으로 인해 파란색 또는 분홍색을 띨 수 있다. 단, 이는 정상 세포를 판별하는 기준의 일 예를 언급한 것일 뿐이고, 정상 및 비정상 세포를 판별하는 기준은 이에 제한되지 않는다. 또한, 인공지능 모델 학습 과정에서 기 설정되지 않은 다양한 기준들에 기반하여 정상 및 비정상 세포의 판별이 수행될 수도 있다.

정상 사례(310)의 경우, 세포 이미지(312)로부터 세포핵과 세포질, 세포막을 인식한 이미지(314)를 획득하고, 이에 기반하여 해당 세포를 정상으로 판단할 수 있다.

마찬가지로, 비정상 사례(320)의 경우에도, 세포 이미지(322)로부터 세포핵과 세포질, 세포막을 인식한 이미지(324)를 획득하고, 이에 기반하여 해당 세포를 비정상으로 판단할 수 있다.

도 10을 참조하면, 정상 사례(410) 및 비정상 사례(420)가 도시되어 있다.

정상 사례(410)의 경우, 세포 이미지(412)로부터 세포핵에 해당하는 영역을 인식한 이미지(414)를 획득하고, 이에 기반하여 해당 세포를 정상으로 판단할 수 있다. 이 경우, 학습 및 검진단계 중 적어도 일부에서 세포핵을 구별하여 전처리하고, 세포질 및 세포막을 구별하여 제외하는 전처리 과정이 수행될 수 있다. 예를 들어, 세포핵의 색상을 구별하여 전처리하고, 세포질 및 세포막의 색상을 구별하여 전처리하는 과정이 수행될 수 있다.

또한, 엘라스틱 트랜스폼에 기반하여 인식된 피쳐(feature)의 선을 구부리는 형태의 전처리 또한 수행될 수 있다.

인공지능 모델은 이와 같은 전처리가 수행된 이미지에 기반하여 학습을 수행하고, 이에 기반하여 진단을 수행하는 경우 로우(raw)이미지 또는 적어도 일부 단계의 전처리가 수행된 이미지를 인공지능 모델을 이용하여 분석함으로써 각 세포의 이상여부를 판단할 수 있다.

이와 같이, 비정상 사례(420)의 경우, 세포 이미지(422)로부터 세포핵에 해당하는 영역을 인식한 이미지(424)를 획득하고, 이에 기반하여 해당 세포를 비정상으로 판단할 수 있다.

단계 S150에서, 컴퓨터는 상기 단계(S140)의 판단 결과에 기초하여 상기 대상체의 자궁경부암 여부를 진단한다.

일 실시 예에서, 컴퓨터는 비정상으로 판단된 세포의 종류 및 개수에 기초하여 대상체의 자궁경부암 여부를 진단할 수 있으나, 이에 제한되는 것은 아니다.

일 실시 예에서, 컴퓨터는 대상체의 자궁경부암 진단점수를 산출하거나, 위험도, 발병가능성 등을 산출할 수 있다. 컴퓨터는 산출 결과에 기초하여 사용자에게 이후 절차를 제안할 수 있다. 예를 들어, 자궁경부암일 수 있다는 진단결과가 획득되는 경우, 컴퓨터는 사용자에게 병원 진료를 권유하거나, 원격 의료 서비스를 제안하거나, 재검사 혹은 정밀검사 등을 권유할 수 있다.

도 3은 일 실시 예에 따른 인공지능 모델 학습방법을 도시한 흐름도이다.

단계 S210에서, 컴퓨터는 하나 이상의 자궁경부 세포 이미지를 포함하는 학습 데이터를 획득할 수 있다.

일 실시 예에서, 학습데이터는 자궁경부 세포 이미지를 포함할 수 있으며, 상술한 바와 같이 Pap smear 검사를 위하여 슬라이드에 도말(smear)하고, 염색 등 필요한 처리를 수행한 결과물을 촬영한 이미지를 포함할 수 있으며, 이에 제한되는 것은 아니다.

또한, 학습데이터는 각각의 자궁경부 세포 이미지의 정상 혹은 비정상 여부에 대한 라벨링 정보를 포함할 수 있다. 각각의 자궁경부 세포 이미지의 정상 혹은 비정상 여부는 병리 전문가에 의하여 직접 진단된 것일 수 있다. 또한, 각각의 세포 이미지의 정상 혹은 비정상 여부는 Pap smear가 아닌 하나 이상의 다른 검사방법에 의하여 판단된 정보를 더 포함할 수도 있다.

또한, 비정상 세포인 경우 해당 세포가 속하는 카테고리에 대한 분류 정보가 더 포함될 수 있다. 비정상 카테고리의 종류에 대해서는 후술한다.

이러한 학습 데이터에 기반하여 학습된 인공지능 모델은 각각의 세포 이미지의 정상 혹은 비정상 여부를 판단할 수 있으며, 비정상인 경우 해당 세포가 속하는 카테고리에 대한 정보 또한 판단할 수 있다. 실시 예에 따라서, 인공지능 모델은 세포가 각각의 카테고리에 속할 확률을 산출할 수도 있다.

또한, 학습데이터는 복수의 자궁경부 세포가 포함된 이미지를 더 포함할 수 있으며, 해당 이미지에 포함된 세포들 각각의 정상 및 비정상 여부에 대한 라벨링 정보와, 이에 더하여 해당 이미지에 대응하는 대상체가 자궁경부암 확진을 받았는지 여부에 대한 정보를 포함할 수 있다. 나아가, 각각의 이미지에 대응하는 대상체가 해당 이미지의 촬영 시점에는 자궁경부암 확진을 받지 않았지만, 추후 일정 시간이 지난 후에 자궁경부암이 발병하였는지 여부에 대한 정보 및 해당 자궁경부암의 치료방법 및 예후에 대한 정보를 더 포함할 수 있다.

해당 학습 데이터에 기반하여 학습된 인공지능 모델의 경우, 세포 각각의 정상 및 비정상 여부를 판단할 뿐 아니라 복수의 세포들을 포함하는 이미지에 기반하여 대상체의 자궁경부암 여부를 추정할 수 있으며, 나아가 해당 대상체가 현 시점에서는 자궁경부암에 해당하지 않더라도 이후 자궁경부암의 위험이 있는지, 혹은 특정 시점에 자궁경부암이 발생할 수 있는지 여부를 예측할 수도 있다.

또한, 각각의 대상체에 대하여 자궁경부암 발생시 치료방법과, 이에 따른 예후를 예측할 수 있으며, 이에 기반하여 자궁경부암 예방을 위한 생활개선, 약물치료, 수술적 치료 혹은 추적검사에 대한 정보를 추천할 수도 있다.

또한, 인공지능 모델은 각각의 대상체에 대하여 자궁경부암 발생시 전이확률이나 전이위험성 등을 판단할 수도 있으며, 전이를 방지하기 위한 하나 이상의 치료방법에 대한 정보 또한 제공할 수도 있다.

단계 S220에서, 컴퓨터는 상기 학습 데이터에 포함된 이미지를 전처리할 수 있다. 이미지를 전처리하는 구체적인 방법에 대해서는 후술한다.

단계 S230에서, 컴퓨터는 상기 단계(S220)에서 전처리된 이미지를 이용하여 상기 인공지능 모델을 학습시킬 수 있다. 이미지에 기반하여 인공지능 모델을 학습시키는 방법은 제한되지 않으나, 예를 들어 CNN(Convolutional Neural Network)에 기반한 딥러닝 기법이 이용될 수 있다. 더 구체적으로, R-CNN 기법이 이용될 수 있으며, 특히 Mask R-CNN 기법이 이용될 수 있으나, 이에 제한되는 것은 아니다.

R-CNN 기법은 복수의 Region Proposal을 제시하고, 각각의 제시된 영역을 CNN에 기반하여 분석함으로써 특징 추출 및 분류 등의 작업을 통해 이미지를 분석하는 방법을 포함할 수 있다.

다른 예로, SSDlite 및 Mobilenet v2 기반의 경량화 모델이 이용될 수 있으나, 마찬가지로 이에 제한되는 것은 아니다.

도 13을 참조하면, 복수의 영역에 대한 판단에 기반하여 학습을 수행하는 과정(710) 및 그 결과로서 정상 세포와 비정상 세포를 검출하는 모습(720)이 도시되어 있다.

도 4는 일 실시 예에 따른 이미지 전처리 방법을 도시한 흐름도이다.

이하에서 서술되는 전처리 방법은 인공지능 모델의 학습을 위하여 학습 데이터를 처리하는 경우뿐 아니라, 학습된 인공지능 모델을 이용한 진단 단계에서 진단 대상 이미지를 전처리하는 데에도 활용될 수 있다.

개시된 실시 예에 따른 전처리 단계에서, 상술한 바와 같은 어노테이션 작업이 수행될 수 있다. 어노테이션 작업에 기반하여 컴퓨터는 세포 영역 또는 세포핵 영역에 대한 바운딩 박스를 획득할 수 있으며, 이에 기반하여 분석을 수행할 수도 있다.

상술한 단계(S220)에서, 컴퓨터는 상기 학습 데이터에 포함된 이미지 각각에 대하여 이미지를 리사이징하는 단계(S310)를 수행할 수 있다.

일 실시 예에서, 컴퓨터는 이미지를 업 스케일링(up scaling) 뒤 다운사이징할 수 있으며, 이미지에 대한 스케일링 방법 및 순서는 제한되지 않는다.

실시 예에 따라서, 컴퓨터는 네트워크에 기반한 학습 과정에서 Dilated Convolution을 통해 이미지에 대한 서로 다른 해상도의 영상을 얻을 수 있으며, 이를 업 스케일링 하여 원래의 해상도와 같도록 변형시킬 수도 있다.

일 실시 예에서, 컴퓨터는 세포의 이미지가 기 설정된 기준 이하인 경우 풀링(pooling)을 사용하지 않을 수도 있다.

또한, 컴퓨터는 상기 리사이징된 이미지의 색상을 조정하는 단계(S320)를 수행할 수 있다.

일 실시 예에서, 이미지에 포함된 세포는 도말 후 염색처리된 것일 수 있다. 이에 따라 염색된 세포핵, 세포질 및 세포막과, 그 외의 영역의 색상을 명확하게 구분할 수 있도록, 컴퓨터는 이미지의 색상을 조절할 수 있다. 이미지의 색상을 조절하는 방법은 제한되지 않으나, 명도나 채도 등을 조절하는 필터를 이용한 색상 조절이 수행될 수 있으며, 이에 제한되는 것은 아니다.

일 실시 예에서, 이미지의 상태에 따라 이미지의 색상이 서로 상이하게 조정될 수 있다. 예를 들어, 세포막이나 세포질을 더욱 강조해서 확인해야 하는 경우와, 세포핵을 더욱 강조해서 확인해야 하는 경우에 필요한 색상 처리 방법이 서로 상이할 수 있다.

제한되지 않는 예로, 학습 단계 또는 진단 단계에서, 세포의 정상여부를 확인하는 경우 세포질과 세포막이 강조될 수 있도록 색상을 조정할 수 있으며, 해당 단계를 통해 세포가 비정상인 것으로 판단되는 경우, 세포핵이 강조될 수 있도록 색상을 다시 조정하여 세포핵 영역을 획득하며, 세포핵 영역의 특성을 분석하여 비정상 여부 및 비정상 카테고리를 결정할 수도 있다.

세포핵, 세포질 및 세포막의 색상을 각각 강조함에 따라, 컴퓨터는 각각의 영역의 모양과 그 경계선을 더욱 정확하게 판단할 수 있다.

실시 예에 따라서, 색상 조정 단계는 이미지의 이진화 단계를 포함할 수 있다. 예를 들어, 도 10에 도시된 바와 같이 세포핵의 모양을 확인하기 위하여 세포핵과 나머지 영역을 이진화하여 표시할 수도 있다.

또한, 컴퓨터는 상기 색상이 조정된 이미지의 윤곽(contour)을 도출하는 단계(S330)를 수행할 수 있다.

예를 들어, 컴퓨터는 이미지의 색상 차이에 기반하여 세포핵, 세포질 및 세포막의 경계선을 획득할 수 있고, 이에 기반하여 학습 데이터를 생성할 수 있다.

실시 예에 따라서, 컴퓨터는 이미지에 포함된 세포핵과 세포질, 세포막 각각의 이미지를 윤곽에 기반하여 분리하고, 각각의 모양에 기반하여 서로 다른 인공지능 모델을 학습시킬 수도 있다. 학습된 각각의 인공지능 모델은 세포핵, 세포질 및 세포막의 모양에 기반하여 각각의 이상여부를 판단할 수도 있다. 또한, 컴퓨터는 학습된 서로 다른 인공지능 모델을 조합하고, 각각의 결과를 서로 비교하여 각 세포의 이상여부 및 각 세포가 속하는 카테고리에 대한 정보를 획득할 수도 있다.

또한, 컴퓨터는 상기 단계(S250)에서 도출된 윤곽에 기반하여 이미지를 크롭(crop)하는 단계(S340)를 수행할 수 있다.

예를 들어, 컴퓨터는 획득된 바운딩 박스에 기반하여 각각의 이미지를 크롭하고, 크롭된 각각의 이미지에 기반하여 인공지능 모델을 학습시킬 수도 있다. 실시 예에 따라서, 인공지능 모델에 입력하는 이미지의 크기나 해상도가 제한되거나 고정되어 있을 수 있다. 이 경우, 컴퓨터는 이미지를 해당 크기나 해상도에 맞도록 크롭할 수 있으며, 또한 해상도나 크기 조절을 위해 업스케일링 혹은 다운사이징 등의 기법을 활용할 수도 있다.

도 5는 일 실시 예에 따라 해상도에 따른 인공지능 모델 학습방법을 도시한 흐름도이다.

상술한 단계(S230)에서, 컴퓨터는 전처리된 고해상도 이미지 및 저해상도 이미지를 획득하는 단계(S410)를 수행할 수 있다.

예를 들어, 컴퓨터는 이미지의 업스케일링, 다운사이징, 크롭 및 Dilated convolution 등의 기법을 이용하여 다양한 해상도를 갖는 이미지들을 획득할 수 있다. 서로 다른 해상도를 갖는 이미지는 서로 다른 특성(feature)들을 포함할 수 있으며, 이에 따라 컴퓨터는 이미지의 고해상도 특성(fine feature)과, 저해상도 특성(coarse feature) 각각에 기반한 학습 및 진단을 수행할 수도 있으며, 그 결과를 조합할 수도 있다.

또한, 컴퓨터는 Dilated convolution 등의 기법을 이용하여 다양한 해상도를 갖는 이미지들을 획득하고, 이를 업 스케일링 하여 원래의 해상도와 같도록 변형시킬 수도 있다.

또한, 컴퓨터는 상기 고해상도 이미지를 이용하여 제1 모델을 학습시키는 단계(S420)를 수행할 수 있다.

예를 들어, 제1 모델은 백본 네트워크로서 Resnet 101을 이용할 수 있으나, 이에 제한되는 것은 아니다.

또한, 컴퓨터는 상기 저해상도 이미지를 이용하여 제2 모델을 학습시키는 단계(S430)를 수행할 수 있다.

예를 들어, 제2 모델은 백본 네트워크로서 Resnet 50을 이용할 수 있으나, 이에 제한되는 것은 아니다.

상술한 Resnet의 레이어 수는 개시된 바에 제한되는 것은 아니며, 이미지의 해상도 및 처리 결과 등에 기초하여 상이하게 조절될 수도 있다.

또한, 컴퓨터는 상기 제1 모델 및 상기 제2 모델의 학습 결과를 조합(assemble)하는 단계(S440)를 수행할 수 있다.

또한, 상술한 백본 네트워크 구조는 완전 정상 부분과 모호한 부분의 세포를 따로 학습하여 앙상블하는 방법을 사용할 수도 있다.

일 실시 예에서, 완전 정상으로 판단되는 세포의 경우와 모호한 부분의 세포의 경우 색상 조정을 포함하는 전처리 방법을 달리 적용하여 학습할 수도 있고, 또한 모호한 부분의 세포의 경우 복수의 서로 다른 전처리 방법을 이용하여 학습한 후 학습 결과를 조합하여 더욱 정확한 진단이 가능하도록 할 수도 있다.

도 6은 일 실시 예에 따른 이미지 품질 관리방법을 도시한 흐름도이다.

상술한 단계(S110)에서, 컴퓨터는 상기 획득된 이미지의 적합성을 판단하는 단계(S510)를 수행할 수 있다.

예를 들어, 컴퓨터는 촬영된 이미지의 해상도가 기 설정된 기준 이하이거나, 빛반사, 흐림 등과 같이 정량적으로 평가 가능한 지표가 기 설정된 범위를 벗어나는 경우, 이미지가 부적합한 것으로 판단할 수 있다.

또한, 컴퓨터는 상기 판단된 적합성에 기초하여, 이미지 재획득을 요청하는 단계(S520)를 수행할 수 있다.

예를 들어, 컴퓨터는 기 설정된 기준을 만족할 때까지 이미지의 재촬영을 요청할 수 있다.

실시 예에 따라서, 컴퓨터는 이미지의 특성을 분석하고, 해당 이미지가 부적합한 하나 이상의 원인을 판단하여 사용자에게 제공할 수 있다. 또한, 컴퓨터는 해당 이미지가 부적합한 원인을 개선할 수 있는 촬영방법을 사용자에게 제안할 수 있다. 예를 들어, 이미지의 해상도가 낮은 경우 촬영시 초점을 맞출 것을 제안할 수 있고, 이미지가 흐린 경우 카메라나 현미경의 렌즈를 닦을 것을 요청할 수 있다. 또한, 빛반사가 있는 경우 해당 방향의 광원을 제거하거나, 가림막을 이용하여 빛을 제거하거나, 촬영 방향을 변경할 것을 요청할 수 있다.

또한, 이미지 재획득 요청은 이미지의 상태에 따라 이미지 재촬영 요청 및 시료 재획득 요청 중 적어도 하나를 포함할 수 있다.

예를 들어, 이미지 분석 결과 상술한 해상도, 흐림 및 빛반사 등과 같은 촬영과정에서 발생하는 이미지 부적합성뿐 아니라, 세포의 도말단계, 보존상태 및 염색 등 처리단계에서의 문제점이 발견될 수도 있다.

개시된 실시 예에 따른 진단방법은 의료 전문가가 부족한 환경에서 매뉴얼에 따라 획득 및 처리된 시료에 기반한 이미지 촬영을 전제로 하는 경우가 있는 바, 시료 자체에 대한 평가 또한 필요한 단계인 것으로 판단된다.

예를 들어, 도말 단계에서 세포가 충분히 고르게 도말되지 못하여 복수의 세포가 중첩되어 있는 것이 인식될 수도 있다.

일 실시 예에서, 세포를 면봉을 이용하여 유리 슬라이드에 도말하는 방법이 이용될 수 있으나, 이 경우 다층으로 뭉쳐진 세포가 있을 수 있고, 특정 위치에는 세포가 없는 불균일한 결과물이 획득될 수 있다. 이러한 문제점을 극복하기 위하여 최근에는 액상세포진검사와 같이 원심분리를 이용하여 상피세포만을 획득한 후 유리판에 고르게 도말하는 방법이 이용되기도 하나, 개시된 실시 예에 따른 환경에서는 이와 같은 장비와 기법을 이용하기 어려울 수도 있다.

따라서, 컴퓨터는 세포의 도말상태를 판단하여 이에 따른 처리 혹은 시료 재획득 요청 등을 수행할 수 있다.

예를 들어, 컴퓨터는 세포 및 그 구성요소(세포핵, 세포질 및 세포막 등)의 인식 과정에서 복수의 세포 혹은 그 구성요소가 서로 중첩된 것을 인식할 수 있다. 예를 들어, 색상에 기반한 분류과정에서 세포핵으로 분류된 영역 내부의 색상 차가 기 설정된 기준 이상인 경우, 복수의 세포핵이 중첩되어 중첩 단계에 따라 색상 차이가 발생한 것으로 판단할 수 있다.

컴퓨터는 세포의 중첩이 의심되는 경우, 해당 세포 및 그 주변의 일정 범위 내의 구성요소들을 인식하고, 윤곽을 설정하며, 각각의 구성요소를 분리하고, 색상 조절을 통해 각 구성요소가 강조될 수 있도록 한 뒤, 윤곽을 통해 분리된 각각의 구성요소 내부의 색상 차이 혹은 각 구성요소의 모양을 분석할 수 있다. 각각의 구성요소 내부에서 기 설정된 기준 이상의 색상 차이가 발생하거나, 각각의 구성요소의 모양이 기 설정된 기준에 부합하지 않는 경우(예를 들어, 원형이나 타원형 등이 아닌 경우, 또는 설정된 윤곽에 기 설정된 기준 이상의 각도변화가 발생하는 것으로 판단되는 경우 등) 복수의 구성요소가 중첩된 것으로 판단할 수 있다.

컴퓨터는 중첩된 세포를 판단에서 배제하고, 중첩되지 않은 세포의 수를 카운팅할 수 있다. 중첩되지 않은 세포의 수가 기 설정된 기준값 이하인 경우, 컴퓨터는 해당 시료에 대한 검사가 어려운 것으로 판단하고, 시료를 다시 획득할 것을 요청할 수 있다.

시료 재획득이 불가능하다는 입력을 수신하는 경우, 컴퓨터는 해당 시료 내에서 중첩되지 않은 하나 이상의 세포에 대하여 정상 및 비정상여부를 판단하고, 중첩된 것으로 판단되는 하나 이상의 세포에 대해서도 정상 및 비정상여부를 판단할 수 있다. 하지만, 컴퓨터는 중첩된 것으로 판단되는 세포의 정상 및 비정상여부와 그 카테고리에 대해, 중첩되지 않은 세포보다 낮은 가중치를 부여하여 전체 진단 결과를 산출함으로써 제한된 시료 내에서 가능한 높은 정확도의 진단 결과를 얻고자 할 수도 있다. 또한, 중첩된 세포의 수에 따라 또한 가중치가 상이하게 설정될 수도 있으며, 예를 들어 세포의 중첩된 수가 많을수록 가중치가 낮게 설정될 수도 있다.

도 7은 일 실시 예에 따른 진단방법을 도시한 흐름도이다.

상술한 단계(S140)에서, 컴퓨터는 상기 인식된 세포를 정상, ASCUS(Atypical Squamous Cells of Undetermined Significance), ASCH(Atypical Squamous Cells, cannot exclude HSIL), LSIL(Low-grade squamous intraepithelial lesion), HSIL(High-grade squamous intraepithelial lesion) 및 암을 포함하는 카테고리 중 적어도 하나로 분류하는 단계(S610)를 수행할 수 있다.

상술한 카테고리의 종류는 개시된 바에 제한되는 것은 아니며, 상술한 카테고리의 적어도 일부가 제외되거나, 개시되지 않은 다른 카테고리가 더 추가될 수도 있다.

또한, 상술한 단계(S150)에서 컴퓨터는 상기 단계(S610)에서 각각의 카테고리로 분류된 세포의 수를 카운팅하는 단계(S620)를 수행할 수 있다.

도 12를 참조하면, 복수의 세포들이 포함된 이미지(600)가 도시되어 있다.

도 12에 도시된 이미지를 참조하면, 복수의 세포들이 포함된 이미지(600)가 도시되어 있으나, 도 12에 도시된 이미지는 예시로서 제공된 것이며, 개시된 실시 예에 따른 방법에 활용되는 도말 및 전처리 방법과, 이에 따라 획득되는 이미지의 종류는 제한되지 않는다. 예를 들어, 상술한 Conventional Pap Smear 방법에 기반하여 획득된 이미지가 이용될 수 있는 것뿐 아니라, Liuqid-based Cytology에 기반하여 획득된 이미지가 이용될 수도 있으며, 환경에 따라 기 설정된 규정에 부합되지 않는 다양한 형태의 세포 도말방법 및 이에 기반하여 획득된 이미지가 활용될 수 있다.

또한, 컴퓨터는 각각의 카테고리에 대한 가중치를 부여하는 단계(S630)를 수행할 수 있다.

예를 들어, ASCUS의 경우 암 진행률 20%, HSIL의 경우 암 진행률 30% 등과 같이 진행률, 암 발병확률 및 위험도 등에 기반하여 각각의 카테고리에 대하여 서로 상이한 가중치가 부여될 수 있다.

예를 들어, 각각의 카테고리별로 암 진행률에 따라 서로 상이한 확률이 부여되고, 카운팅 결과에 확률을 곱하여 합산하는 방식으로 최종적인 암 발병 확률을 산출할 수도 있다.

또한, 컴퓨터는 각각의 카테고리에 대한 가중치 및 카운팅된 세포의 수에 기반하여 자궁경부암 진단점수를 산출하는 단계(S640)를 수행할 수 있다.

예를 들어, 암 발병 확률(또는 진단 점수)은 각각의 카테고리로 카운팅된 세포의 수와, 각각의 카테고리에 해당하는 암 진행률을 곱한 값의 총합을, 전체 카운팅된 세포의 수로 나누는 방식으로 산출될 수 있으나, 이에 제한되는 것은 아니다.

또한, 컴퓨터는 상기 산출된 진단점수에 기초하여 상기 대상체의 자궁경부암 여부를 진단하는 단계(S650)를 수행할 수 있다.

예를 들어, 컴퓨터는 산출된 확률(진단점수)의 범위에 따라 암 발병여부를 판단하거나, 이에 따른 대응방안을 권장할 수 있다. 예를 들어, 컴퓨터는 산출된 확률의 범위에 따라 재검, 정밀검사, 의사 진료, 원격 진료 등의 결과를 제공할 수 있다. 일 실시 예에서, 원격 진료는 결과의 판단이 어려울 경우 이미지 데이터를 전문의가 확인 가능한 서버로 전송하여, 그 결과를 획득할 수 있도록 하는 절차를 의미할 수 있다.

도 8은 일 실시 예에 따른 HSIL 분류방법을 도시한 흐름도이다.

예를 들어, HSIL(비정상) 카테고리의 경우 세포의 각 구성요소가 차지하는 면적의 비율에 따라서도 판단의 기준이 결정될 수 있다. 예를 들어, 세포질과 세포핵의 면적을 계산하여, 두 면적 간의 차이가 작을수록 높은 확률이 HSIL 카테고리에 부여될 수 있다.

이를 위하여, 상술한 단계(S610)에서, 컴퓨터는 상기 인식된 세포의 세포핵 및 세포질을 각각 인식하는 단계(S710)를 수행할 수 있다.

또한, 컴퓨터는 상기 인식된 세포핵 및 세포질의 면적을 계산하는 단계(S720)를 수행할 수 있다.

또한, 컴퓨터는 상기 세포핵 및 세포질의 면적 비율에 기초하여 상기 인식된 세포의 HSIL 점수를 산출하는 단계(S730)를 수행할 수 있다.

예를 들어, 세포의 세포핵 면적을 세포질 면적으로 나눈 값에 기반하여 HSIL 카테고리의 확률이 산출될 수 있으나, 이에 제한되는 것은 아니다.

상술한 바와 같이 세포핵과 세포질의 영역을 인식하고 그 면적을 정확히 산출하기 위하여, 각각의 산출단계에서 색상 조정 등 서로 상이한 전처리 방법이 수행될 수 있으나, 이에 제한되는 것은 아니다.

도 14는 일 실시 예에 따른 장치의 구성도이다.

프로세서(102)는 하나 이상의 코어(core, 미도시) 및 그래픽 처리부(미도시) 및/또는 다른 구성 요소와 신호를 송수신하는 연결 통로(예를 들어, 버스(bus) 등)를 포함할 수 있다.

일 실시예에 따른 프로세서(102)는 메모리(104)에 저장된 하나 이상의 인스트럭션을 실행함으로써, 도 1 내지 도 13과 관련하여 설명된 방법을 수행한다.

한편, 프로세서(102)는 프로세서(102) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(102)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.

메모리(104)에는 프로세서(102)의 처리 및 제어를 위한 프로그램들(하나 이상의 인스트럭션들)을 저장할 수 있다. 메모리(104)에 저장된 프로그램들은 기능에 따라 복수 개의 모듈들로 구분될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

100 : 서버
200 : 사용자 단말

Claims (10)

1. 컴퓨터에 의하여 수행되는 방법에 있어서,
   대상체의 자궁경부 세포를 촬영한 이미지를 획득하는 단계(S110);
   상기 이미지를 전처리하는 단계(S120);
   상기 전처리된 이미지로부터 복수의 세포를 인식하는 단계(S130);
   자궁경부암 진단결과가 라벨링된 복수의 자궁경부 세포 이미지를 포함하는 학습 데이터를 통해 기 학습된 인공신경망 모델을 획득하는 단계(S135);
   상기 기 학습된 인공신경망 모델을 이용하여 상기 전처리된 이미지로부터 상기 인식된 복수의 세포의 정상여부를 판단하는 단계(S140); 및
   상기 단계(S140)의 판단 결과에 기초하여 상기 대상체의 자궁경부암 여부를 판단하는 단계(S150); 를 포함하고,
   하나 이상의 자궁경부 세포 이미지를 포함하는 학습 데이터를 획득하는 단계(S210);
   상기 학습 데이터에 포함된 이미지를 전처리하는 단계(S220); 및
   상기 단계(S220)에서 전처리된 이미지를 이용하여 상기 인공신경망 모델을 학습시키는 단계(S230); 를 더 포함하고,
   상기 단계(S230)는,
   전처리된 고해상도 이미지 및 저해상도 이미지를 획득하는 단계(S410);
   상기 고해상도 이미지를 이용하여 제1 모델을 학습시키는 단계(S420);
   상기 저해상도 이미지를 이용하여 제2 모델을 학습시키는 단계(S430); 및
   상기 제1 모델 및 상기 제2 모델의 학습 결과를 조합하는 단계(S440); 를 포함하는,
   인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법.
2. 삭제
3. 제1 항에 있어서,
   상기 단계(S140)는,
   상기 인식된 복수의 세포 각각을 정상, ASCUS(Atypical Squamous Cells of Undetermined Significance), ASCH(Atypical Squamous Cells, cannot exclude HSIL), LSIL(Low-grade squamous intraepithelial lesion), HSIL(High-grade squamous intraepithelial lesion) 및 암을 포함하는 카테고리 중 적어도 하나로 분류하는 단계(S610); 를 포함하고,
   상기 단계(S150)는,
   상기 단계(S610)에서 각각의 카테고리로 분류된 세포의 수를 카운팅하는 단계(S620);
   각각의 카테고리에 대한 가중치를 부여하는 단계(S630);
   각각의 카테고리에 대한 가중치 및 카운팅된 세포의 수에 기반하여 자궁경부암 진단점수를 산출하는 단계(S640); 및
   상기 산출된 진단점수에 기초하여 상기 대상체의 자궁경부암 여부를 판단하는 단계(S650); 를 포함하는,
   인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법.
4. 제1 항에 있어서,
   상기 단계(S220)는,
   상기 학습 데이터에 포함된 이미지 각각에 대하여,
   이미지를 리사이징하는 단계(S310);
   상기 리사이징된 이미지의 색상을 조정하는 단계(S320);
   상기 색상이 조정된 이미지의 윤곽을 도출하는 단계(S330); 및
   상기 단계(S330)에서 도출된 윤곽에 기반하여 이미지를 크롭(crop)하는 단계(S340); 를 포함하는,
   인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법.
5. 삭제
6. 제1 항에 있어서,
   상기 단계(S110)는,
   상기 획득된 이미지의 적합성을 판단하는 단계(S510); 및
   상기 판단된 적합성에 기초하여, 이미지 재획득을 요청하는 단계(S520); 를 더 포함하고,
   상기 이미지 재획득 요청은,
   이미지 재촬영 요청 및 시료 재획득 요청 중 적어도 하나를 포함하는,
   인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법.
7. 삭제
8. 제3 항에 있어서,
   상기 단계(S610)는,
   상기 인식된 세포의 세포핵 및 세포질을 각각 인식하는 단계(S710);
   상기 인식된 세포핵 및 세포질의 면적을 계산하는 단계(S720); 및
   상기 세포핵 및 세포질의 면적 비율에 기초하여 상기 인식된 세포의 HSIL 점수를 산출하는 단계(S730); 를 포함하는,
   인공지능 기반 기술의 의료영상분석을 이용한 자궁경부암 판단방법.
9. 하나 이상의 인스트럭션을 저장하는 메모리; 및
   상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고,
   상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써,
   제1 항의 방법을 수행하는, 장치.
10. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.

Images