KR20230131687A

KR20230131687A - 인공지능을 이용한 질확대경 검사 시스템 및 방법

Info

Publication number: KR20230131687A
Application number: KR1020220028899A
Authority: KR
Inventors: 민경진; 정우환; 이수아
Original assignee: 한양대학교 에리카산학협력단; 고려대학교 산학협력단
Priority date: 2022-03-07
Filing date: 2022-03-07
Publication date: 2023-09-14
Also published as: WO2023172008A1

Abstract

인공지능을 이용한 질확대경 검사 시스템이 개시된다. 인공지능을 이용한 질확대경 검사 시스템은 질확대경검사에서 환자의 자궁 경부를 촬영한 복수의 자궁 경부 이미지와 상기 환자의 부가 정보를 저장하는 데이터 저장부; 및 상기 자궁 경부 이미지들의 개별 이미지와 상기 부가 정보를 하나의 입력 데이터로 하는 입력 데이터 세트를 상기 자궁 경부 이미지의 개수만큼 산출하고, 사전 훈련된 인공지능 학습모델에 상기 입력 데이터 세트를 입력정보로 하여 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 최종 결과값으로 산출하는 데이터 처리부를 포함하되, 상기 부가 정보는 상기 환자의 나이 정보, 변형대 정보, 그리고 HPV 보균 정보를 포함한다.

Description

인공지능을 이용한 질확대경 검사 시스템 및 방법{System and method for colposcopy by using a deep learning model}

본 발명은 인공지능을 이용한 질확대경 검사 시스템 및 방법에 관한 것으로, 보다 자세하게는 환자의 자궁경부 이미지와 부가 정보를 입력데이터로 한 인공지능을 이용하는 질확대경 검사 시스템 및 방법에 관한 것이다.

질확대경 검사(colposcopy)는 자궁 경부를 현미경으로 확대하여 관찰하고 조직을 채취함으로써 이상 유무를 진단하는 대표적인 검사 방법이다. 그러나 관찰을 통한 진단 결과의 정확도는 전문의의 기술과 능력에 따라 달라질 수 있기 때문에 정확성과 안전성을 높이기 위한 컴퓨터 보조 진단 기술이 필요하다.

최근 CNN을 이용한 colposcopy 관련 연구들이 활발히 진행되어 자궁 경부 이미지 인식 및 분류에 대한 연구들이 많은 발전을 이루었다. 이러한 연구들에서는 사전 학습된 모델을 활용해 자궁경부전암병변과 자궁경부암 여부를 진단하였다. 하지만 기존 연구들의 경우 질확대경검사의 중요한 특성을 충분히 반영하지 못하고 단순히 이미지 분류 모델을 그대로 적용해본 수준에 그쳐 여러 한계를 가지고 있다.

본 발명은 진단의 정확성과 안전성을 높일 수 있는 인공지능을 이용한 질확대경 검사 시스템 및 방법을 제공한다.

또한 본 발명은 질확대경 검사 결과에 따라 환자의 상태를 크게 두 가지 자궁경부암 또는 고등급병변과 저등급병변 또는 정상 중 어느 하나로 구분하여 진단할 수 있는 인공지능을 이용한 질확대경 검사 시스템 및 방법을 제공한다.

본 발명에 따른 인공지능을 이용한 질확대경 검사 시스템은 질확대경검사에서 환자의 자궁 경부를 촬영한 복수의 자궁 경부 이미지와 상기 환자의 부가 정보를 저장하는 데이터 저장부; 및 상기 자궁 경부 이미지들의 개별 이미지와 상기 부가 정보를 하나의 입력 데이터로 하는 입력 데이터 세트를 상기 자궁 경부 이미지의 개수만큼 산출하고, 사전 훈련된 인공지능 학습모델에 상기 입력 데이터 세트를 입력정보로 하여 상기 환자의 자궁 경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 최종 결과값으로 산출하는 데이터 처리부를 포함하되, 상기 부가 정보는 상기 환자의 나이 정보, 변형대 정보, 그리고 HPV 보균 정보를 포함한다.

또한, 상기 나이 정보는 나이대별로 따라 제1나이 입력 코드, 제2나이 입력 코드, 제3나이 입력 코드를 포함하고, 상기 변형대 정보는 상기 자궁 경부 내외부의 접합부 근처에서 세포의 형태 변화가 나타나는 곳을 기준으로, 제1변형대 입력 코드, 제2변형대 입력 코드, 그리고 제3변형대 입력 코드를 포함하고, 상기 HPV 보균 정보는 HPV 보균 여부에 따라 HPV 양성 코드와 HPV 음성 코드를 포함할 수 있다.

또한, 상기 데이터 처리부는 상기 입력 데이터 세트마다 상기 환자의 자궁 경부가 상기 자궁경부암 또는 고등급병변으로 판단될 확률을 개별적으로 산출하고, 산출된 확률 중 가장 큰 값을 상기 최종 결과값으로 산출할 수 있다.

또한, 상기 자궁 경부 이미지는 아세트산, 아이오딘, 그리고 생리식염수 중 어느 하나의 용액과 상기 환자의 자궁 경부와의 반응을 촬영한 용액 반응 이미지; 및 상기 용액과 상기 환자의 자궁 경부와의 반응을 기 설정된 색상의 필터를 통해 촬영한 필터 촬영 이미지를 포함할 수 있다.

또한, 상기 인공지능 학습모델은 resnet 50이 사용되고, 상기 처리부는, 수식 1을 이용하여 상기 자궁 경부 이미지를 제1벡터 공간(first vector space)로 치환하고, 수식 2 내지 수식 4를 이용하여 상기 부가 정보를 제2벡터 공간(second vector space)로 치환하고, 식 5 및 수식 6을 이용하여, 상기 제1벡터 공간과 상기 제2벡터 공간으로부터 상기 환자의 자궁 경부가 상기 자궁경부암 또는 고등급병변으로 판단될 확률을 산출할 수 있다.

[수식 1]

s = resnet 50(img)

[수식 2]

xi = Concat(xi1, xi2, xi3)

[수식 3]

z1 = ReLU(W1xi + b1)

[수식 4]

z2 = W2z1 + b2

[수식 5]

z3 = ReLU(Concat(z2, s))

[수식 6]

Pi = W3z3 + b3

여기서, img는 상기 자궁 경부 이미지, s는 상기 제1공간 벡터, xi1는 상기 나이 정보, xi2는 상기 변형대 정보, xi3는 상기 HPV 보균 정보이고, Concat는 입력 정보들을 연결하는 Concatenate 함수이고, ReLU는 정류 선형 유닛(Rectified Linear Unit) 함수이고, W1, b1, W2, b2, W3, 그리고 b3는 상기 resnet 50의 반복 학습에 따라 값이 달라지는 변수, Pi는 상기 환자의 자궁 경부가 상기 자궁경부암 또는 고등급병변으로 판단될 확률을 나타냄.

본 발명의 실시 예에 따른 인공지능을 이용한 질확대경 검사 방법은 질확대경 검사에서 환자의 자궁 경부를 촬영한 복수의 자궁 경부 이미지와 상기 환자의 부가 정보를 저장하는 단계; 및 상기 자궁 경부 이미지들의 개별 이미지와 상기 부가 정보를 하나의 입력 데이터로 하는 입력 데이터 세트를 상기 자궁 경부 이미지의 개수만큼 산출하고, 사전 훈련된 인공지능 학습모델에 상기 입력 데이터 세트를 입력정보로 하여 상기 환자의 자궁 경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 최종 결과값으로 산출하는 단계를 포함하되, 상기 부가 정보는 상기 환자의 나이 정보, 변형대 정보, 그리고 HPV 보균 정보를 포함할 수 있다.

또한, 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 최종 결과값으로 산출하는 단계는, 상기 입력 데이터 세트마다 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 개별적으로 산출하고, 산출된 확률 중 가장 큰 값을 상기 최종 결과값으로 산출할 수 있다.

본 발명에 의하면, 환자의 자궁 경부 이미지와 부가 정보를 인공지능 학습모델로 학습하고, 상기 자궁 경부 이미지와 상기 부가 정보를 입력 데이터로 하여 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 산출함으로써, 높은 정확도의 진단 결과를 얻을 수 있다. 이로 인해 전문의가 병변 이상 유무를 파악하고, 이상이 있을 경우 정밀 검사를 실시하므로, 전문의의 시간을 절약할 수 있고 검사의 효율성이 증대될 수 있다.

도 1은 본 발명의 실시 예에 따른 인공지능을 이용한 질확대경 검사 시스템을 나타내는 도면이다.
도 2는 데이터 처리부를 나타내는 도면이다.
도 3은 입력 데이터에 따라 데이터 처리부에서 출력되는 결과값을 나타내는 도면이다.
도 4는 용액 반응 이미지와 필터 촬영 이미지를 나타내는 도면이다.
도 5는 본 발명의 실시 예에 따라 구분되는 변형대 정보의 3가지 타입을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 인공지능을 이용한 질확대경 검사 방법을 나타내는 순서도이다.

이하, 첨부된 도면들을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명할 것이다. 그러나 본 발명의 기술적 사상은 여기서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예는 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.

본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 막 및 영역들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.

또한, 본 명세서의 다양한 실시 예 들에서 제1, 제2, 제3 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안 된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 따라서, 어느 한 실시 예에 제 1 구성요소로 언급된 것이 다른 실시 예에서는 제 2 구성요소로 언급될 수도 있다. 여기에 설명되고 예시되는 각 실시 예는 그것의 상보적인 실시 예도 포함한다. 또한, 본 명세서에서 '및/또는'은 전후에 나열한 구성요소들 중 적어도 하나를 포함하는 의미로 사용되었다.

명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 또한, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 구성요소 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 구성요소 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하는 것으로 이해되어서는 안 된다. 또한, 본 명세서에서 "연결"은 복수의 구성 요소를 간접적으로 연결하는 것, 및 직접적으로 연결하는 것을 모두 포함하는 의미로 사용된다.

또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 것이다.

도 1은 본 발명의 실시 예에 따른 인공지능을 이용한 질확대경 검사 시스템을 나타내는 도면이고, 도 2는 데이터 처리부를 나타내는 도면이고, 도 3은 입력 데이터에 따라 데이터 처리부에서 출력되는 결과값을 나타내는 도면이다.

도 1 내지 도 3을 참조하면, 인공지능을 이용한 질확대경 검사 시스템(10)은 인공지능 학습모델을 이용하여 산부인과에서 자궁경부암 검진에 사용되는 질확대경검사(Colposcopy)를 말한다. 질확대경 검사 시스템(10)은 데이터 저장부(100)와 데이터 처리부(200)를 포함한다.

데이터 저장부(100)는 질확대경검사에서 환자의 자궁 경부를 촬영한 복수의 자궁 경부 이미지(20)와 환자의 부가 정보(30)를 저장한다.

복수의 자궁경부 이미지(20)는 환자마다 여러 장의 자궁 경부 이미지가 촬영된다. 복수의 자궁경부 이미지는 용액 반응 이미지와 필터 촬영 이미지를 포함한다. 용액 반응 이미지는 아세트산(acetic), 아이오딘(iodine), 그리고 생리식염수(saline) 중 어느 하나의 용액과 환자의 자궁 경부와의 반응을 직접 촬영한 이미지이고, 필터 촬영 이미지는 기 설정된 색상의 필터를 통해 환자의 자궁 경부를 촬영한 이미지이다. 필터 촬영 이미지는 용액 반응 전 환자의 자궁 경부를 촬영한 이미지와, 용액 반응 후 환자의 자궁 경부를 촬영한 이미지를 포함한다. 실시 예에 의하면, 필터는 녹색(Green) 계열의 필터가 사용될 수 있다.

도 4는 용액 반응 이미지와 필터 촬영 이미지를 나타내는 도면이다.

도 4를 참조하면, 첫 번째 이미지는 생리식염수 반응 이미지이고, 두 번째 이미지는 아세트산 반응 이미지이고, 세 번째 이미지는 아세트산 반응을 녹색 필터로 촬영한 이미지이고, 네 번째 이미지는 아이오딘 반응 이미지이다. 용액의 종류에 따라 자궁 경부의 색상이 상이하게 나타나고, 같은 용액에 대해 필터의 사용 여부에 따라 자궁 경부의 색상이 상이하게 나타나는 것을 확인할 수 있다.

부가 정보(30)는 질확대경검사의 판단 정확도를 향상시키기 위해, 자궁경부 이미지(20)와 함께 활용되는 데이터로, 환자의 나이 정보(Age), 변형대 정보(TZ Type), 그리고 HPV 보균 정보(HPV Status)를 포함한다.

나이 정보는 환자의 나이에 따라 자궁 경부 이미지의 특징이 다르게 나타날 수 있기 때문에 질확대경검사의 판단에 필요한 정보로, 환자의 나이를 크게 3가지 그룹으로 구분하여 표시된다. 실시 예에 의하면, 나이 정보는 환자의 연령대에 따라 25세~35세 미만 그룹, 35세~45세 미만 그룹, 그리고 45세 이상 그룹으로 구분된다. 25세~35세 미만 그룹은 제1나이 입력 코드로 입력되고, 35세~45세 미만 그룹은 제2나이 입력 코드로 입력되고, 45세 이상 그룹은 제3나이 입력 코드로 입력된다. 제1 내지 제3나이 입력 코드는 각각 0, 1, 2로 저장된다.

변형대 정보는 변형대(transformation zone)의 유형에 따라 자궁경부의 형태가 달라질 수 있으며, 이를 반영하기 위해 부가 정보로 활용된다. 변형대는 자궁경부 내외부의 접합부 근처에서 세포의 형태 변화가 나타나는 곳을 의미한다. 실시 예에 의하면, 변형대 정보는 질확대경검사로 관찰가능한 영역의 정도에 따라 3가지 타입으로 구분된다.

도 5는 본 발명의 실시 예에 따라 구분되는 변형대 정보의 3가지 타입을 설명하기 위한 도면이다.

도 5를 참조하면, 제1타입(TYPE 1)은 질확대경검사로 자궁 경부 전체 영역의 관찰이 가능한 타입이고, 제2타입(TYPE 2)은 질확대경검사로 자궁 경부의 일부 영역의 관찰이 가능한 타입이고, 제3타입(TYPE 3)은 질확대경검사로 자궁 경부의 관찰이 적절하지 않은 타입을 의미한다.

제1 내지 제3타입은 각각 제1 내지 제3변형대 입력 코드로 입력된다. 실시 예에 의하면, 제1 내지 제3변형대 입력 코드는 각각 0, 1, 2로 저장된다.

HPV 보균 정보는 환자가 HPV(Human papillomavirus)의 보균자인지 여부에 따라 구분되며, 음성일 경우 0으로 저장되고, 양성일 경우 1로 저장된다.

데이터 처리부(200)는 입력 데이터 세트(41, 42, 43)를 산출하고, 산출된 입력 데이터 세트(41, 42, 43)를 입력정보로 하여 사전 훈련된 인공지능 학습모델(Pre-trained model, 210)을 이용하여 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 산출한다.

입력 데이터 세트(41, 42, 43)는 환자 별로 자궁 경부 이미지(20)의 개수만큼 산출되며, 각각의 입력 데이터 세트(41, 42, 43)에는 하나의 자궁 경부 이미지(21, 22, 23)와 부가 정보(30)가 포함된다.

사전 훈련된 인공지능 학습모델(210)은 입력 데이터 세트(41, 42, 43)마다 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률(P₁, P₂, ··· P_N)을 산출하고, 산출된 확률 중 가장 높은 값을 최종 결과값으로 산출한다. 실시 예에 의하면, 인공지능 학습모델(210)은 resnet 50 모델을 사용한다.

상기 인공지능 학습모델(210)은 이미지 인코더(image encoder, 211)에서 수식 1을 이용하여 자궁 경부 이미지(21, 22, 23)를 제1벡터 공간(first vector space)로 치환한다. 그리고 보조 인코더(Auxiliary encoder, 212)에서 수식 2 내지 수식 4를 이용하여 부가 정보(30)를 제2벡터 공간(second vector space)로 치환한다. 그리고 제1벡터 공간과 제2벡터 공간을 Concatenate 함수(213)를 이용하여 결합한 후 예측 모델(Prediction Model, 214)을 이용하여 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률(Pi)을 산출한다. 실시 예에 의하면, 예측 모델(214)에서는 수식 5 및 수식 6을 이용하여 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 산출한다.

[수식 1]

s = resnet 50(img)

[수식 2]

x_i = Concat(x_i1, x_i2, x_i3)

[수식 3]

z₁ = ReLU(W₁x_i + b₁)

[수식 4]

z₂ = W₂z₁ + b₂

[수식 5]

z₃ = ReLU(Concat(z₂, s))

[수식 6]

P_i= W₃z₃ + b₃

여기서, img는 개별 입력 데이터 세트(41, 42, 43)에 포함된 자궁 경부 이미지(21, 22, 23), s는 상기 제1공간 벡터, x_i1는 나이 정보,x_i2는 변형대 정보, x_i3는 HPV 보균 정보이고,Concat(213)는 입력 정보들을 연결하는 Concatenate 함수이고, ReLU는 정류 선형 유닛(Rectified Linear Unit) 함수이고, W_1,b_1,W_2,b_2,W_3,그리고b₃는 상기 resnet 50의 반복 학습에 따라 값이 달라지는 변수, P_i는 상기 환자의 자궁경부경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 의미한다.

데이터 처리부(200)는 산출된 확률 중 가장 큰 값을 최종 결과값으로 산출한다.

도 6은 본 발명의 실시 예에 따른 인공지능을 이용한 질확대경 검사 방법을 나타내는 순서도이다.

도 6을 참조하면, 인공지능을 이용한 질확대경 검사 방법은 데이터를 저장하는 단계(S100)와 데이터를 처리하는 단계(S200)를 포함한다.

데이터를 저장하는 단계(S100)는 질확대경 검사에서 환자의 자궁 경부를 촬영한 복수의 자궁 경부 이미지(20)와 환자의 부가 정보(30)를 저장한다.

복수의 자궁경부 이미지(20)는 환자의 자궁 경부를 여러 장을 촬영한 자궁 경부 이미지로, 용액 반응 이미지와 필터 촬영 이미지를 포함한다.

부가 정보(30)는 환자의 나이 정보, 변형대 정보, 그리고 HPV 보균 정보를 포함한다.

데이터를 처리하는 단계(S200)는 자궁 경부 이미지들의 개별 이미지(21, 22,23)와 상기 부가 정보(30)를 하나의 입력 데이터로 하는 입력 데이터 세트(41, 42, 43)를 상기 자궁 경부 이미지의 개수만큼 산출하고, 사전 훈련된 인공지능 학습모델(210)에 입력 데이터 세트(41, 42, 43)를 입력정보로 하여 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률(P_i)을 산출한다. 상기 확률(P_i)은 입력 데이터 세트(41, 42, 43)마다 개별적으로 산출되고, 산출된 확률들 중 그 크기가 가장 큰 값이 최종 결과값으로 산출된다. 최종 결과값이 높을수록 자궁경부암 또는 고등급병변일 가능성이 높고, 낮을수록 저등급병변 또는 정상일 가능성이 높다고 판단한다.

이하, 본 발명의 실시 예에 따른 질확대경 검사 방법의 진단 정확도와 비교 예에 따른 검사 방법의 진단 정확도를 비교하여 설명한다.

본 발명에 실시 예에 따른 질확대경 검사 방법은 국제 암 연구기관(International Agency for Research on Cancer)에 있는 198명 환자의 교육용 자궁경부 이미지 데이터(20)와 부가 정보(30)를 resnet 50 모델을 이용하여 사전 학습하였다. 사전 학습에 사용된 자궁경부 이미지 데이터는 환자마다 여러 용액에 대한 이미지가 존재하여, 총 870개의 데이터가 학습에 사용되었다. 자궁 경부 이미지의 해상도는 600X800이며, 각 용액별로 이미지의 개수는 아세트산 317장, 아세트산 필터 적용 86장, 생리식염수 221장, 생리식염수 필터 적용 91장, 그리고 아이오딘 155장이 사용되었다.

이 중 진단 정확도 실험에 사용된 데이터는 50명의 환자에 대한 정보로, 총 220개의 자궁경부 이미지 데이터가 사용되었다.

제1비교 예에 따른 진단 정확도 실험은 Sato M, Horie K, Hara A, Miyamoto Y, Kurihara K, Tomio K, Yokota H. Application of deep learning to the classification of images from colposcopy. Oncol Lett. 2018에서 제안한 방법으로, CNN(convolutional neural networks)을 활용한 이미지 분류 모델이 사용되었다.

제2비교 예에 따른 진단 정확도 실험은 Cho, BJ., Choi, Y.J., Lee, MJ.et al.Classification of cervical neoplasms on colposcopic photography using deep learning.Sci Rep. 2020에서 제안한 방법으로, 사전 훈련된 inception-resnet-v2를 주어진 이미지 데이터로 fine-tuning한모델이다.

아래 표 1은 제1비교 예, 제2비교 예, 그리고 본 발명의 실시 예에 따른 질확대경 검사의 진단 정확도를 비교하여 나타낸 표이다.

표 1을 참조하면, 제1비교 예에 따른 검사 방법은 Precision 44%, Recall 100%로 모든 데이터를 자궁경부암 또는 고등급병변 양성으로 예측하는 것을 볼 수 있다.

제2비교 예에 따른 검사 방법은 Precision 50%, Recall 4.54%, Accuracy 56%로 대부분의 입력 정보를 자궁경부암 또는 고등급병변 음성으로 예측하는 것을 알 수 있다.

본 발명의 실시 예에 따른 검사 방법은 Recall 86.36%, Accuracy 82%, F1-Score 80.85%로 비교예들에 따른 검사 방법에 비해 높은 성능을 보여준다. 이를 통해 resnet 50 모델과 가정보를 이용하는 것이 진단 검사 정확도 향상에 도움이 되는 것을 알 있다.

본 발명의 실시 예와 비교 예들의 검사 성능 비교

구분	Precision (%)	Recall (%)	Accuracy (%)	F1-Score (%)
제1비교 예	44	100	44	61.11
제2비교 예	50	4.54	56	8.32
실시 예	76	86.36	82	80.85

여기서, Precision은 3개의 검사 모델에서 자궁경부암 또는 고등급병변 양성이라 분류한 데이터 중 실제 값이 자궁경부암 또는 고등급병변 양성인 비율을 나타내고, Recall은 실제 자궁경부암 또는 고등급병변 양성인 데이터 중에서 3개의 검사 모델이 자궁경부암 또는 고등급병변 양성이라 분류한 데이터의 비율을 나타내고, F1 Score는 Precision과 Recall의 조화 평균으로 아래 수식 7에 의해 산출된다.

[수식 7]

표 2는 resnet 50 모델로 검사 시 진단 검사 정확도를 비교하여 나타낸 표이다.

제3비교 예는 resnet 50 모델의 사전 학습 없이 자궁 경부 이미지만을 입력 데이터로 하여 진단한 결과를 나타내고, 제4비교 예는 자궁 경부 이미지로 사전 학습된 resnet 50 모델에 자궁 경부 이미지를 입력 데이터로 하여 진단한 결과를 나타내고, 본 발명의 실시 예는 자궁 경부 이미지와 부가 정보로 사전 학습된 resnet 50 모델에 자궁 경부 이미지와 부가 정보를 입력 데이터로 하여 진단한 결과를 나타낸다.

표 2을 참조하면, 자궁 경부 이미지와 부가 정보를 입력데이터로 하여 진단할 경우, 자궁 경부 이미지만을 입력데이터로 하여 진단하는 경우보다 Accuracy와 F1 Score에서 높은 성능이 나타남을 확인할 수 있다.

본 발명의 실시 예와 비교 예들의 검사 성능 비교

구분	Precision (%)	Recall (%)	Accuracy (%)	F1-Score (%)
제3비교 예	0	0	56	0
제4비교 예	92.31	57.14	75	70.59
실시 예	85.71	85.71	85	85.71

표 3는 부가 정보에 따른 진단 검사 정확도를 나타내는 표이다.

제5비교 예는 자궁 경부 이미지와 HPV 보균 정보로 사전 학습된 resnet 50 모델에 자궁 경부 이미지와 HPV 보균 정보를 입력 데이터로 하여 진단한 결과를 나타내고, 제6비교 예는 자궁 경부 이미지와 변형대 정보로 사전 학습된 resnet 50 모델에 자궁 경부 이미지와 변형대 정보를 입력 데이터로 하여 진단한 결과를 나타내고, 제7비교 예는 자궁 경부 이미지와 나이 정보로 사전 학습된 resnet 50 모델에 자궁 경부 이미지와 나이 정보를 입력 데이터로 하여 진단한 결과를 나타내고, 본 발명의 실시 예는 자궁 경부 이미지와 HPV 보균 정보, 변형대 정보, 그리고 나이 정보로 사전 학습된 resnet 50 모델에 자궁 경부 이미지와 HPV 보균 정보, 변형대 정보, 그리고 나이 정보를 입력 데이터로 하여 진단한 결과를 나타낸다.

본 발명의 실시 예와 비교 예들의 검사 성능 비교

구분	Precision (%)	Recall (%)	Accuracy (%)	F1-Score (%)
제5비교 예	88.9	69.6	82	78
제6비교 예	80	52.2	72	63.2
제7비교 예	60	39.1	60	47.4
실시 예	85.71	85.71	85	85.71

표 3을 참조하면, 부가 정보 3가지를 모두 사용하는 경우, 개별 부가 정보를 사용하는 경우보다 Accuracy와 F1 Score에서 높은 성능이 나타남을 확인할 수 있다.

이와 같이, 자궁 경부 이미지와 HPV 보균 정보, 변형대 정보, 그리고 나이 정보를 모두 입력 데이터로 사용할 경우 질확대경검사의 진단 정확도 및 안정성이 향상됨을 알 수 있다.

이상, 본 발명을 바람직한 실시 예를 사용하여 상세히 설명하였으나, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 첨부된 특허청구범위에 의하여 해석되어야 할 것이다. 또한, 이 기술분야에서 통상의 지식을 습득한 자라면, 본 발명의 범위에서 벗어나지 않으면서도 많은 수정과 변형이 가능함을 이해하여야 할 것이다.

10: 질확대경 검사 시스템
20: 자궁경부 이미지
30: 부가 정보
41, 42, 43: 입력 데이터 세트
100: 데이터 저장부
200: 데이터 처리부
210: 인공지능 학습모델
211: 이미지 인코더
212: 보조 인코더

Claims

질확대경검사에서 환자의 자궁 경부를 촬영한 복수의 자궁 경부 이미지와 상기 환자의 부가 정보를 저장하는 데이터 저장부; 및
상기 자궁 경부 이미지들의 개별 이미지와 상기 부가 정보를 하나의 입력 데이터로 하는 입력 데이터 세트를 상기 자궁 경부 이미지의 개수만큼 산출하고, 사전 훈련된 인공지능 학습모델에 상기 입력 데이터 세트를 입력정보로 하여 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 최종 결과값으로 산출하는 데이터 처리부를 포함하되,
상기 부가 정보는 상기 환자의 나이 정보, 변형대 정보, 그리고 HPV 보균 정보를 포함하는 인공지능을 이용한 질확대경 검사 시스템.
제 1 항에 있어서,
상기 나이 정보는 나이대별로 따라 제1나이 입력 코드, 제2나이 입력 코드, 제3나이 입력 코드를 포함하고,
상기 변형대 정보는 상기 자궁 경부 내외부의 접합부 근처에서 세포의 형태 변화가 나타나는 곳을 기준으로, 제1변형대 입력 코드, 제2변형대 입력 코드, 그리고 제3변형대 입력 코드를 포함하고,
상기 HPV 보균 정보는 HPV 보균 여부에 따라 HPV 양성 코드와 HPV 음성 코드를 포함하는 인공지능을 이용한 질확대경 검사 시스템.
제 1 항에 있어서,
상기 데이터 처리부는
상기 입력 데이터 세트마다 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 개별적으로 산출하고, 산출된 확률 중 가장 큰 값을 상기 최종 결과값으로 산출하는 인공지능을 이용한 질확대경 검사 시스템.
제 1 항에 있어서,
상기 자궁 경부 이미지는
아세트산, 아이오딘, 그리고 생리식염수 중 어느 하나의 용액과 상기 환자의 자궁 경부와의 반응을 촬영한 용액 반응 이미지; 및
상기 용액과 상기 환자의 자궁 경부와의 반응을 기 설정된 색상의 필터를 통해 촬영한 필터 촬영 이미지를 포함하는 인공지능을 이용한 질확대경 검사 시스템.
제 1 항에 있어서,
상기 인공지능 학습모델은 resnet 50이 사용되고,
상기 처리부는,
수식 1을 이용하여 상기 자궁 경부 이미지를 제1벡터 공간(first vector space)로 치환하고,
수식 2 내지 수식 4를 이용하여 상기 부가 정보를 제2벡터 공간(second vector space)로 치환하고,
수식 5 및 수식 6을 이용하여, 상기 제1벡터 공간과 상기 제2벡터 공간으로부터 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 산출하는 인공지능을 이용한 질확대경 검사 시스템.
[수식 1]
s = resnet 50(img)
[수식 2]
x_i = Concat(x_i1, x_i2, x_i3)
[수식 3]
z₁ = ReLU(W₁x_i + b₁)
[수식 4]
z₂ = W₂z₁ + b₂
[수식 5]
z₃ = ReLU(Concat(z₂, s))
[수식 6]
P_i= W₃z₃ + b₃
여기서, img는 상기 자궁 경부 이미지, s는 상기 제1공간 벡터, x_i1는 상기 나이 정보,x_i2는 상기 변형대 정보, x_i3는 상기 HPV 보균 정보이고,Concat는 입력 정보들을 연결하는 Concatenate 함수이고, ReLU는 정류 선형 유닛(Rectified Linear Unit) 함수이고, W_1,b_1,W_2,b_2,W_3,그리고b₃는 상기 resnet 50의 반복 학습에 따라 값이 달라지는 변수, P_i는 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 나타냄.
질확대경 검사에서 환자의 자궁 경부를 촬영한 복수의 자궁 경부 이미지와 상기 환자의 부가 정보를 저장하는 단계; 및
상기 자궁 경부 이미지들의 개별 이미지와 상기 부가 정보를 하나의 입력 데이터로 하는 입력 데이터 세트를 상기 자궁 경부 이미지의 개수만큼 산출하고, 사전 훈련된 인공지능 학습모델에 상기 입력 데이터 세트를 입력정보로 하여 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 최종 결과값으로 산출하는 단계를 포함하되,
상기 부가 정보는 상기 환자의 나이 정보, 변형대 정보, 그리고 HPV 보균 정보를 포함하는 인공지능을 이용한 질확대경 검사 방법.
제 6 항에 있어서,
상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 최종 결과값으로 산출하는 단계는,
상기 입력 데이터 세트마다 상기 환자의 자궁경부가 자궁경부암 또는 고등급병변으로 판단될 확률을 개별적으로 산출하고, 산출된 상기 확률이 가장 큰 값을 상기 최종 결과값으로 산출하는 인공지능을 이용한 질확대경 검사 방법.
제 6 항에 있어서,
상기 자궁 경부 이미지는
아세트산, 아이오딘, 그리고 생리식염수 중 어느 하나의 용액과 상기 환자의 자궁 경부와의 반응을 촬영한 용액 반응 이미지; 및
상기 용액과 상기 환자의 자궁 경부와의 반응을 기 설정된 색상의 필터를 통해 촬영한 필터 촬영 이미지를 포함하는 인공지능을 이용한 질확대경 검사 방법.