KR20170062839A

KR20170062839A - Dnn 학습을 이용한 세포이상 여부 진단시스템 및 그 진단관리 방법, 그리고 이를 위한 기록매체

Info

Publication number: KR20170062839A
Application number: KR1020150168524A
Authority: KR
Inventors: 임욱빈
Original assignee: 임욱빈
Priority date: 2015-11-30
Filing date: 2015-11-30
Publication date: 2017-06-08
Also published as: EP3384856A4; WO2017095014A1; US10679751B2; CN108366788B; EP3384856A1; KR101822404B1; CN108366788A; US20180350467A1

Abstract

본 발명은 검사대상 세포사진에 대해 정상세포인지 아니면 위험세포인지 여부를 뉴럴 네트워크에 기초하여 판단하기 위한 개별 병원에 구비된 세포진단 검사장치 및 인터넷으로 연결되어 그 세포진단 검사장치의 뉴럴 네트워크에 대한 DNN 학습을 수행하는 뉴럴 네트워크 학습서버를 포함하여 구성되는 DNN 학습을 이용한 세포이상 여부 진단시스템에 관한 기술이다. 특히, 본 발명은 개별 병원에서 획득한 검사대상 세포사진 및 진단결과 데이터를 뉴럴 네트워크 학습서버에 업로드 제공하면 학습서버는 이러한 정보에 기초하여 그 병원의 세포진단 검사장치에 설치된 뉴럴 네트워크 모델에 대해 DNN 학습을 실행하여 업그레이드 뉴럴 네트워크 모델을 생성하고 이를 다시 해당 세포진단 검사장치에 다운로드 제공함으로써 세포진단 검사장치는 그 설치된 병원의 진단 환경에 최적화된 뉴럴 네트워크 모델을 업그레이드 형성할 수 있게 되는 기술에 관한 것이다.

Description

DNN 학습을 이용한 세포이상 여부 진단시스템 및 그 진단관리 방법, 그리고 이를 위한 기록매체 {diagnostics system for cell using Deep Neural Network learning, diagnostics management method of the same, and computer-readable recording medium for the same}

본 발명은 검사대상 세포사진에 대해 정상세포인지 아니면 위험세포인지 여부를 뉴럴 네트워크에 기초하여 판단하기 위한 개별 병원에 설치된 세포진단 검사장치 및 인터넷으로 연결되어 그 세포진단 검사장치의 뉴럴 네트워크에 대한 DNN 학습을 수행하는 뉴럴 네트워크 학습서버를 포함하여 구성되는 DNN 학습을 이용한 세포이상 여부 진단시스템에 관한 기술이다.

특히, 본 발명은 개별 병원에서 획득한 검사대상 세포사진 및 진단결과 데이터를 뉴럴 네트워크 학습서버에 업로드 제공하면 학습서버는 이러한 정보에 기초하여 그 병원의 세포진단 검사장치에 설치된 뉴럴 네트워크 모델에 대해 DNN 학습을 실행하여 업그레이드 뉴럴 네트워크 모델을 생성하고 이를 다시 세포진단 검사장치에 다운로드 제공한다. 이를 통해, 세포진단 검사장치는 그 설치된 병원의 진단 환경에 최적화된 뉴럴 네트워크 모델을 업그레이드 형성할 수 있게 되는 기술에 관한 것이다.

종래로 환자의 유병 여부를 진단하는 방법으로서 환자의 몸에서 탈락 세포를 채취하여 검사하는 방식이 있었다. 환자로부터 탈락 세포(검사대상 세포)의 샘플을 채집하여 파파니콜라 염색 및 슬라이드 봉입 과정을 거쳐 슬라이드를 제작하고, 이들 슬라이드를 스크리너(세포 병리기사, cytotechnologist)가 광학 현미경을 통해 1차로 검경한다. 1차 검경 결과에서 비정상 소견이 나온 슬라이드는 병리전문의가 2차로 판독하여 병변 여부에 관한 진단을 확정한다.

그런데, 다수의 슬라이드를 스크리너가 일일이 수작업으로 검경해야 하기에 굉장히 오랜 시간이 걸릴 수밖에 없는 실정이다. 더구나 현재 자격을 갖춘 스크리너의 숫자가 상당히 적기 때문에 1차 검경에 오랜 시간이 걸리는 문제는 현실적으로 짧은 시간 내에 해결될 것 같지 않다.

또한, 스크리너가 자신의 경험과 실력에 의존하여 검경하고 있기 때문에 스크리너의 당일 컨디션에 따라서는 불완전한 1차 검경 결과가 나올 수 있다는 우려도 있다. 종래에서도 이를 우려하여 1차 검경에서 정상 소견이 나온 슬라이드들 중에서 약 10% 정도를 랜덤하게 선택하여 1차 검경이 제대로 이루어졌는지 리뷰하는 절차를 채택하고 있다. 하지만, 이는 오류 여부를 사후적으로 모니터링하는 수단 내지 스크리너들이 업무를 제대로 수행하도록 압박하는 수단으로서 기능할 뿐, 문제의 원인을 구조적으로 해결하지는 못한다.

그에 따라, 다수의 슬라이드에 대해 어느 정도 일관되고 신뢰성 있는 일차적인 진단결과를 제공해줄 수 있는 전자화된 수단이 있다면 스크리너의 실력에만 의존하지 않고 항상 정확한 최종 진단결과를 얻을 수 있을 것이다. 또한, 다수의 슬라이드 중에서 70 ~ 80 % 정도를 별달리 문제가 없는 것으로 걸러내고 나머지 20 ~ 30 % 정도만 정밀 검사함으로써 스크리너를 보완 내지 대체한다면 진단에 소요되는 시간도 지금보다 단축시킬 수 있을 것이다.

한편, 전자 산업과 컴퓨터 성능의 발전에 힘입어 의료 분야에서도 전자화된 수단이 도입되고 있다. 그러나, 아직은 개별 병원들이 나름대로 여러가지 기술을 시험적으로 도입하고 있는 수준이어서 일관되고 높은 신뢰도를 갖는 진단 기술이라고 하기에는 미흡한 실정이다. 또한. 대형 상급 병원에서 자체적으로 진단한 수많은 진단결과 데이터를 활용하여 전자화 수단의 진단 정확도를 높이는 기술도 제대로 갖추어지지 못한 실정이다.

또한, 일반적으로 이러한 과정은 굉장히 복잡하고 높은 수준의 프로세싱 능력을 요구하고 있기 때문에 원격지에 설치된 전용 서버로 데이터를 전송하여 전용 알고리즘을 통해 데이터 프로세싱을 수행하고 있다. 그로 인하여 진단결과를 얻을 때까지 상당한 시간이 걸릴 뿐만 아니라, 인터넷 접속에 장애가 발생하는 경우에는 활용이 불가능해지는 문제점이 있었다.

대한민국 특허출원 10-2005-0039468호 "신경망을 이용한 심전도 기반의 심장질환 진단장치 및 방법" 대한민국 특허출원 10-2002-0047898호 "인공 신경망을 이용한 얼굴 인식 방법 및 장치" 대한민국 특허출원 10-2009-0117305호 "맥박 진단 로봇 시스템 및 그를 이용한 맥박 진단 방법" 대한민국 특허출원 10-2009-0117303호 "fNIRS 기반 발달장애인 장애 진단 방법 및 장치"

본 발명은 상기한 점을 감안하여 제안된 것으로, 본 발명의 목적은 개별 병원에 설치된 세포진단 검사장치가 기 설치된 뉴럴 네트워크 모델을 일일히 수정할 필요없이 인터넷으로 연결된 외부의 서버에서 간헐적으로 이루어지는 DNN 학습을 통해 진단의 정확도를 점차적으로 개선할 수 있는 DNN 학습을 이용한 세포이상 여부 진단시스템 기술을 제공한다.

또한, 본 발명의 목적은 개별 병원에 설치된 세포진단 검사장치에 특화된 뉴럴 네트워크 모델을 지속적으로 업그레이드할 수 있는 DNN 학습을 이용한 세포이상 여부 진단시스템 기술을 제공한다.

상기와 같은 기술적 과제를 달성하기 위하여 본 발명은 검사대상 세포사진에 대해 정상세포인지 아니면 위험세포인지 여부를 뉴럴 네트워크에 기초하여 판단하기 위한 세포진단 검사장치(100) 및 세포진단 검사장치(100)와 인터넷으로 연결되어 뉴럴 네트워크에 대한 DNN 학습을 수행하기 위한 뉴럴 네트워크 학습서버(200)를 포함하여 구성되는 DNN 학습을 이용한 세포이상 여부 진단시스템으로서, 정상세포와 위험세포의 구분을 위해 미리 학습된 하위 뉴럴 네트워크 모델을 저장한 뉴럴 네트워크 모델부(110)와, 외부로부터 제공되는 검사대상 세포사진을 하위 뉴럴 네트워크 모델에 픽셀 단위의 데이터로 입력하는 세포 이미지 처리부(120)와, 세포 이미지 처리부에 의해 입력된 검사대상 세포사진의 데이터로부터 검사대상 세포사진에 대한 이상 여부를 검출하는 세포 이상 진단부(130)와, 인터넷을 통해 뉴럴 네트워크 학습서버(200)로부터 상위 뉴럴 네트워크 모델을 다운로드하여 하위 뉴럴 네트워크 모델을 업그레이드하는 NN 모델 갱신부(140)를 구비하는 세포진단 검사장치(100); 질병 유형별로 다수 개의 정상 세포사진과 병변 세포사진을 미리 분류하여 저장하는 병변자료 데이터베이스(210)와, 병변자료 데이터베이스의 미리 정상 및 위험으로 분류된 데이터에 기초하여 상위 뉴럴 네트워크 모델을 생성하는 NN 모델 생성부(220)와, 병변자료 데이터베이스의 정상 및 위험으로 미리 분류된 데이터에 기초하여 상위 뉴럴 네트워크 모델에 대한 DNN 학습을 수행하는 DNN 학습 처리부(230)와, 상위 뉴럴 네트워크 모델을 NN 모델 갱신부에 다운로드 제공하는 학습모델 제공부(240)를 구비하는 뉴럴 네트워크 학습서버(200);를 포함하여 구성된다.

이때, 세포진단 검사장치(100)는, 환자의 실제진단 결과에 따른 검사대상 세포사진 및 진단결과 데이터를 획득하여 뉴럴 네트워크 학습서버(200)에 업로드하는 진단데이터 제공부(150)와, 뉴럴 네트워크 학습서버(200)로부터 DNN 학습 처리된 업그레이드 뉴럴 네트워크 모델을 다운로드하여 하위 뉴럴 네트워크 모델을 대체 설정하는 NN 모델 누적갱신부(160);를 더 포함하여 구성되고, 뉴럴 네트워크 학습서버(200)는, 세포진단 검사장치로부터 검사대상 세포사진 및 진단결과 데이터를 업로드받아 이에 기초하여 세포진단 검사장치의 하위 뉴럴 네트워크 모델에 대한 DNN 학습을 수행함으로써 세포진단 검사장치에 대한 업그레이드 뉴럴 네트워크 모델을 생성하는 누적학습 모델 생성부(250)와, 업그레이드 뉴럴 네트워크 모델을 세포진단 검사장치로 다운로드 제공하는 누적학습 모델 제공부(260);를 더 포함하여 구성될 수 있다.

또한, 세포진단 검사장치(100)는, DNN 학습 처리를 위하여 자신의 하위 뉴럴 네트워크 모델을 뉴럴 네트워크 학습서버(200)에 업로드하는 하위 모델 제공부(170);를 더 포함하여 구성되고, 뉴럴 네트워크 학습서버(200)의 누적학습 모델 생성부(250)는 세포진단 검사장치의 하위 모델 제공부로부터 제공받은 하위 뉴럴 네트워크 모델에 대해 DNN 학습을 수행하도록 구성될 수 있다.

또한, 뉴럴 네트워크 학습서버(200)는, 세포진단 검사장치 별로 가장 최근에 다운로드 제공한 뉴럴 네트워크 모델을 저장 관리함으로써 검사대상 세포사진 및 진단결과 데이터를 업로드한 세포진단 검사장치의 하위 뉴럴 네트워크 모델를 식별하여 누적학습 모델 생성부(250)에 제공하는 하위 모델 식별부(270);를 더 포함하여 구성될 수 있다.

한편, 본 발명은 검사대상 세포사진에 대해 정상세포인지 아니면 위험세포인지 여부를 뉴럴 네트워크에 기초하여 판단하는 세포진단 검사장치, 그리고 세포진단 검사장치와 인터넷으로 연결되어 뉴럴 네트워크에 대한 DNN 학습을 수행하는 뉴럴 네트워크 학습서버를 포함하여 구성되는 세포이상 여부 진단시스템에서 DNN 학습을 이용하여 세포이상 여부를 진단하는 방법으로서, (a) 세포진단 검사장치가 정상세포와 위험세포의 구분을 위해 미리 학습된 하위 뉴럴 네트워크 모델을 저장하는 단계; (b) 세포진단 검사장치가 외부로부터 제공되는 검사대상 세포사진을 하위 뉴럴 네트워크 모델에 픽셀 단위의 데이터로 입력하는 단계; (c) 세포진단 검사장치가 검사대상 세포사진의 데이터로부터 검사대상 세포사진에 대한 이상 여부를 검출하는 단계; (d) 뉴럴 네트워크 학습서버가 다수 개의 정상 세포사진과 병변 세포사진을 미리 분류하여 저장하는 단계; (e) 뉴럴 네트워크 학습서버가 다수 개의 정상 세포사진과 병변 세포사진에 대해 미리 분류하여 저장한 데이터를 기초로 DNN 학습을 수행한 상위 뉴럴 네트워크 모델을 생성하는 단계; (f) 뉴럴 네트워크 학습서버가 상위 뉴럴 네트워크 모델을 세포진단 검사장치에 다운로드 제공하는 단계; (g) 세포진단 검사장치가 인터넷을 통해 뉴럴 네트워크 학습서버로부터 미리 학습된 상위 뉴럴 네트워크 모델을 다운로드하여 하위 뉴럴 네트워크 모델을 업그레이드하는 단계;를 포함하여 구성된다.

또한, 바람직하게는 (h) 세포진단 검사장치가 환자의 실제진단 결과에 따른 검사대상 세포사진 및 진단결과 데이터를 획득하여 뉴럴 네트워크 학습서버에 업로드하는 단계; (i) 뉴럴 네트워크 학습서버가 세포진단 검사장치로부터 수신한 검사대상 세포사진 및 진단결과 데이터를 기초로 DNN 학습을 수행한 업그레이드 뉴럴 네트워크 모델을 생성하는 단계; (j) 뉴럴 네트워크 학습서버가 업그레이드 뉴럴 네트워크 모델을 세포진단 검사장치에 다운로드 제공하는 단계; (k) 세포진단 검사장치가 뉴럴 네트워크 학습서버로부터 업그레이드 뉴럴 네트워크 모델을 다운로드하여 하위 뉴럴 네트워크 모델을 업그레이드하는 단계;를 더 포함하여 구성된다.

한편, 본 발명에 따른 컴퓨터로 판독가능한 기록매체는 컴퓨터에 이상과 같은 DNN 학습을 이용한 세포이상 여부 진단관리 방법을 실행시키기 위한 프로그램을 기록한 것이다.

본 발명에 따르면 개별 병원에 설치된 세포진단 검사장치는 내부에 설치된 뉴럴 네트워크 모델을 기초하여 자체적으로 진단 프로세스를 수행하므로 신속하게 진단 결과를 도출할 수 있고, 여러가지 이유로 인해 인터넷 접속이 불안정해지는 경우에도 종래의 다른 검사장치들과는 달리 별다른 영향을 받지 않고 진단 작업을 수행할 수 있는 장점이 있다.

또한, 본 발명에 따르면 개별 병원에 설치된 세포진단 검사장치에 대해 뉴럴 네트워크 모델을 일일히 수정할 필요없이 외부에 설치된 전용의 뉴럴 네트워크 학습서버로부터 다운로드 제공되는 상위 뉴럴 네트워크 모델을 통해 기 설치된 하위 뉴럴 네트워크 모델을 업그레이드할 수 있기에 진단의 정확도를 점차적으로 개선할 수 있는 장점이 있다.

또한, 본 발명에 따르면 개별 병원에서 획득한 검사대상 세포사진 및 진단결과 데이터를 뉴럴 네트워크 학습서버에 업로드 제공하면 뉴럴 네트워크 학습서버가 이러한 정보에 기초하여 그 병원의 세포진단 검사장치에 설치된 뉴럴 네트워크 모델에 대해 DNN 학습을 실행하는 구성을 채택함으로써 세포진단 검사장치는 그 설치된 병원의 진단 환경(예: 인종, 성별, 연령대, 주변 유해환경, 병 유발요인, 해당 지역에서 많이 걸리는 질병 등)에 최적화된 뉴럴 네트워크 모델을 점차적으로 업그레이드 형성할 수 있게 되어 궁극적으로는 진단 결과의 정확도를 향상시킬 수 있다는 장점이 있다.

[도 1]은 본 발명에 따른 DNN 학습을 이용한 세포이상 여부 진단시스템을 개략적으로 도시한 예시도,
[도 2]는 본 발명에 따른 세포진단 검사장치의 블록구성도,
[도 3]은 본 발명에 따른 뉴럴 네트워크 학습서버의 블록구성도,
[도 4]는 본 발명에 따라 촬영된 검사대상 세포사진을 나타낸 예시도,
[도 5]는 본 발명에 따른 검사대상 세포사진을 픽셀 단위로 표시한 예시도,
[도 6]은 본 발명에 따른 검사대상 세포사진의 데이터를 뉴럴 네트워크 모델에 입력하여 검사대상 세포사진에 대한 이상 여부를 검출하는 과정을 나타낸 예시도,
[도 7]은 본 발명에 따른 DNN 학습을 이용한 세포이상 여부 진단과정의 일 실시예를 나타낸 순서도,
[도 8]은 본 발명에 따른 DNN 학습을 이용한 세포이상 여부 진단과정의 다른 실시예를 나타낸 다른 순서도,
[도 9]는 인터넷에서 검색한 발췌한 딥 러닝 알고리즘의 예시도,
[도 10]은 인터넷에서 검색한 DNN 학습 알고리즘의 예시도이다.

이하, 도면을 참조하여 본 발명을 상세히 설명한다.

[도 1]은 본 발명에 따른 DNN 학습을 이용한 세포이상 여부 진단시스템을 개략적으로 도시한 예시도이다. [도 1]을 참조하면, 본 발명은 인터넷을 통해 뉴럴 네트워크 학습서버(200)와 하나이상의 세포진단 검사장치(100)가 연결되어 있는 구조를 갖는다.

먼저, 세포진단 검사장치(100)는 세포이상 여부를 판단하기 위한 결정 도구로서 뉴럴 네트워크 모델을 구비하고 있다. 본 명세서에서는 세포진단 검사장치(100)가 구비하는 뉴럴 네트워크 모델을 '하위 뉴럴 네트워크 모델'이라고 부른다. 즉, 세포진단 검사장치(100)는 검사대상 세포사진이 제공되면 이를 하위 뉴럴 네트워크 모델에 입력하고, 하위 뉴럴 네트워크 모델에서의 연산 결과에 따라 정상세포(병변 세포의 가능성이 희박한 세포)인지 아니면 위험세포(병변 세포의 가능성을 무시할 수 없어 추가로 살펴봐야 하는 세포)인지를 판단한다.

뉴럴 네트워크 학습서버(200)는 세포진단 검사장치(100)가 사용하는 뉴럴 네트워크 모델에 대해 DNN 학습 기법에 따라 딥 러닝을 수행하며, 이를 통해 생성한 상위 뉴럴 네트워크 모델을 인터넷을 통해 세포진단 검사장치(100)로 다운로드 제공한다. 본 명세서에서는 뉴럴 네트워크 학습서버(200)가 생성하는 뉴럴 네트워크 모델을 '상위 뉴럴 네트워크 모델'이라고 부른다. 뉴럴 네트워크 학습서버(200)의 DNN 학습에 의하여 세포진단 검사장치(100)는 뉴럴 네트워크 모델을 지속적으로 업그레이드하게 된다.

여기서, 세포진단 검사장치(100)는 뉴럴 네트워크 학습서버(200)로부터 바람직하게는 공간적으로 멀리 떨어진 다수의 지역별 병원에 설치되어 환자들을 진단하는데 활용하는 장치로서, 하나의 뉴럴 네트워크 학습서버(200)에 대해 지역별로 복수 개 설치될 수 있다.

이때, 세포진단 검사장치(100)는 뉴럴 네트워크 학습서버(200)로부터 다운로드한 뉴럴 네트워크 모델을 통해 자체적으로 검사대상 세포사진을 진단하기 때문에 뉴럴 네트워크 기술에 기초하였음에도 불구하고 신속하게 진단 결과를 도출할 수 있을 뿐만 아니라, 세포진단 검사장치(100)는 인터넷이 끊어진 로컬 상태에서도 문제없이 검사대상 세포사진을 진단할 수 있다.

한편, 본 명세서에 기재된 용어로서 뉴럴 네트워크 모델, 하위 뉴럴 네트워크 모델, 상위 뉴럴 네트워크 모델은 뉴럴 네트워크 학습서버(200)에서 미리 분류 저장한 수많은 정상 세포사진과 병변 세포사진을 활용하여 이루어지는 지도 학습(supervised learning) 기반의 "DNN 학습(Deep Neural Network learning)" 기술을 나타내기 위해 채택한 용어이다.

[도 2]는 본 발명에 따른 세포진단 검사장치를 개념적으로 나타내는 블록구성도이다. [도 2]를 참조하면, 본 발명에 따른 세포이상 여부 진단시스템을 구성하기 위한 세포진단 검사장치(100)는 뉴럴 네트워크 모델부(110), 세포 이미지 처리부(120), 세포 이상 진단부(130), NN 모델 갱신부(140), 진단데이터 제공부(150), NN 모델 누적갱신부(160), 하위 모델 제공부(170), 진단자료 데이터베이스(180)를 포함하여 구성된다.

먼저, 뉴럴 네트워크 모델부(110)는 검사대상 세포사진에 대해 정상세포와 위험세포를 구분할 수 있도록 미리 학습되어 있는 하위 뉴럴 네트워크 모델을 저장한다. 바람직하게는 뉴럴 네트워크 모델부(110)는 제조 과정에서 미리 설정된 것이거나 뉴럴 네트워크 학습서버(200)로부터 미리 다운로드된 것이며 환자로부터 채취한 탈락 세포가 병변 세포인지 여부를 진단하기 위한 병변세포 검출 알고리즘이 구비된 전용 프로그램이다.

이때, 하위 뉴럴 네트워크 모델이 수행하는 병변세포 검출 알고리즘은 바람직하게는 패턴인식 알고리즘과 병변특징 탐색 알고리즘으로 이루어질 수 있다. 이때, 패턴인식 알고리즘은 검사대상 세포사진에서 세포의 패턴을 인식하기 위한 알고리즘이다. 또한, 병변특징 탐색 알고리즘은 검사대상 세포의 패턴이 병변 종류별로 병변세포가 일반적으로 나타내는 특징의 어느 하나라도 가지고 있는지 여부를 오버랩핑 등으로 탐색하기 위한 알고리즘이다.

세포 이미지 처리부(120)는 외부로부터 제공되는 검사대상 세포사진을 픽셀 단위의 데이터로 하위 뉴럴 네트워크 모델에 입력한다. 여기서, 환자로부터 검사대상 세포를 채취하고 검사대상 세포사진을 획득하는 과정은 작업자에 의한 워크플로우(workflow)로 이루어질 수 있다.

세포 이상 진단부(130)는 세포 이미지 처리부(120)에 의해 입력된 검사대상 세포사진의 데이터에 대해 뉴럴 네트워크 모델부(110)가 연산을 수행한 결과에 기초하여 검사대상 세포사진에 대한 이상 여부, 즉 병변세포의 가능성을 무시할 수 없는 위험세포인지 여부를 검출한다.

뉴럴네트워크(NN) 모델 갱신부(140)는 인터넷을 통해 뉴럴 네트워크 학습서버(200)로부터 상위 뉴럴 네트워크 모델을 다운로드 받으면, 이렇게 다운로드된 상위 뉴럴 네트워크 모델을 활용하여 뉴럴 네트워크 모델부(110)의 하위 뉴럴 네트워크 모델을 예컨대 대체하는 등의 방식을 통해 업그레이드한다.

진단데이터 제공부(150)는 개별 병원에서 시간이 경과함에 따라 획득되는 환자의 실제진단 결과에 따른 검사대상 세포사진 및 진단결과 데이터를 수집하여 뉴럴 네트워크 학습서버(200)에 업로드한다. 이는 자신이 가지고 있는 뉴럴 네트워크 모델(즉, 하위 뉴럴 네트워크 모델)을 해당 병원의 진단 환경에 최적화시켜 학습하기 위한 것이다.

뉴럴네트워크(NN) 모델 누적갱신부(160)는 이처럼 해당 병원에서 시간 경과에 따라 획득되는 검사대상 세포사진 및 진단결과 데이터를 반영하여 누적적으로 최적화 학습되어가는 업그레이드 뉴럴 네트워크 모델을 뉴럴 네트워크 학습서버(200)로부터 다운로드하여 하위 뉴럴 네트워크 모델을 업그레이드한다. 본 발명에서 뉴럴 네트워크 모델에 대한 누적 학습 과정은 뉴럴 네트워크 학습서버(200)에서 DNN 학습 기법에 따라 수행된다.

하위 모델 제공부(170)는 검사대상 세포사진 및 진단결과 데이터에 최적화된 형태로 뉴럴 네트워크 학습서버(200)가 DNN 학습을 수행할 수 있도록 뉴럴 네트워크 모델부(110)가 현재 구비하고 있는 하위 뉴럴 네트워크 모델을 뉴럴 네트워크 학습서버(200)에 업로드 제공한다.

진단자료 데이터베이스(180)는 해당 병원에서 환자의 실제진단 결과에 따른 검사대상 세포사진 및 진단결과 데이터를 수집하여 저장한다. 이렇게 저장된 검사대상 세포사진 및 진단결과 데이터는 진단데이터 제공부(150)가 적절한 시점(예: 매월 마지막주 일요일 오전 10시)에 뉴럴 네트워크 학습서버(200)로 업로드시켜 뉴럴 네트워크 모델의 DNN 학습에 활용되도록 한다. 이때, 다른 실시예로는 병원의 의료관리 시스템에 진단자료 관리장치(미도시)가 구비되고 세포진단 검사장치(100)의 진단데이터 제공부(150)가 병원 시스템에 접속하여 진단자료 관리장치에 저장되어 있던 검사대상 세포사진과 진단결과 데이터를 뉴럴 네트워트 학습서버(200)로 업로드하도록 구성될 수도 있다.

[도 3]은 본 발명에 따른 뉴럴 네트워크 학습서버의 블록구성도이다. [도 2]를 참조하면, 본 발명에 따른 세포이상 여부 진단시스템을 구성하기 위한 뉴럴 네트워크 학습서버(200)는 병변자료 데이터베이스(210), NN 모델 생성부(220), DNN 학습 처리부(230), 학습모델 제공부(240), 누적학습 모델 생성부(250), 누적학습 모델 제공부(260), 하위 모델 식별부(270)를 포함하여 구성된다.

먼저, 병변자료 데이터베이스(210)는 미리 질병 유형별로 충분히 많은 다수 개의 정상 세포사진과 병변 세포사진에 대한 데이터를 구비한 후 이를 분류하여 저장한다. 본 발명에서 정상 세포사진과 병변 세포사진에 대한 데이터는 지속적으로 업데이트되는 것이 바람직하다. 이러한 업데이트는 세포진단 검사장치(100)가 업로드하는 데이터에 의해 이루어질 수도 있고, 별도의 채널(예: 데이터 CD)을 통해 제공되는 데이터로 이루어질 수도 있다.

뉴럴네트워크(NN) 모델 생성부(220)는 병변자료 데이터베이스(210)의 미리 정상 세포사진 및 병변 세포사진으로 분류된 데이터에 기초하여 상위 뉴럴 네트워크 모델을 지속적으로 생성한다. 이때, NN 모델 생성부(220)는 후술하는 DNN 학습 처리부(230)에서의 DNN 학습을 통해 지속적으로 업그레이드한 상위 뉴럴 네트워크 모델을 생성하도록 구성됨이 바람직하다.

딥 뉴럴네트워크(DNN) 학습 처리부(230)는 병변자료 데이터베이스(210)에서 제공되는 다수의 데이터, 즉 정상 및 위험으로 미리 분류된 데이터에 기초하여 상위 뉴럴 네트워크 모델에 대한 딥 뉴럴네트워크 학습(Deep Neural Netork learning; DNN 학습)을 수행한다.

학습모델 제공부(240)는 DNN 학습 처리부(230)가 DNN 학습을 통해 업그레이드시킨 상위 뉴럴 네트워크 모델을 인터넷을 통해 세포진단 검사장치(100), 구체적으로는 NN 모델 갱신부(140)에 다운로드 제공한다.

누적학습 모델 생성부(250)는 특정의 세포진단 검사장치(100)로부터 검사대상 세포사진 및 진단결과 데이터를 업로드받고, 이에 기초하여 해당 세포진단 검사장치(100)가 현재 사용하고 있는 하위 뉴럴 네트워크 모델에 대하여 DNN 학습을 수행한다. 이를 통해, 누적학습 모델 생성부(250)는 검사대상 세포사진 및 진단결과 데이터를 제공한 세포진단 검사장치(100)에 특화된 업그레이드 뉴럴 네트워크 모델을 생성한다.

이때, 누적학습 모델 생성부(250)는 해당 세포진단 검사장치(100)의 하위 뉴럴 네트워크 모델을 식별해야 한다. 세포진단 검사장치(100)가 하위 모델 제공부(170)를 통해 자신의 하위 뉴럴 네트워크 모델을 업로드 제공하는 경우에는 이를 활용할 수 있다. 다른 실시예로서, 후술하는 하위 모델 식별부(270)를 통해 세포진단 검사장치(100) 별로 가장 최근에 다운로드 제공한 뉴럴 네트워크 모델을 저장 관리하는 방식을 채택할 수 있다.

누적학습 모델 제공부(260)는 누적학습 모델 생성부(250)가 생성한 업그레이드 뉴럴 네트워크 모델을 인터넷을 통해 해당 세포진단 검사장치(100)로 다운로드 제공한다.

하위 모델 식별부(270)는 세포진단 검사장치(100) 별로 가장 최근에 다운로드 제공한 뉴럴 네트워크 모델을 저장 관리함으로써 검사대상 세포사진 및 진단결과 데이터를 업로드한 해당 세포진단 검사장치(100)의 하위 뉴럴 네트워크 모델를 식별하여 누적학습 모델 생성부(250)에 제공한다.

[도 4]는 본 발명에 따라 촬영된 검사대상 세포사진의 일 예를 나타낸 예시도이고, [도 5]는 본 발명에 따른 검사대상 세포사진을 픽셀 단위로 표시한 개념을 나타내는 예시도이고, [도 6]은 본 발명에 따른 검사대상 세포사진의 데이터를 뉴럴 네트워크 모델에 입력하여 검사대상 세포사진에 대한 이상 여부를 검출하는 과정의 일 예를 나타낸 예시도이다.

먼저, [도 4]는 작업자에 의한 워크플로우로 제공되는 4개의 검사대상 세포사진을 예시적으로 나타낸 것이다. 이때, 검사대상 세포사진의 개수를 본 발명에서 4개로 한정한 것은 아니다. 여기서, 설명의 편이를 위해 [도 4]의 (a) 내지 (d)의 검사대상 세포사진 중 하나의 검사대상 세포사진에 대해 픽셀 단위의 데이터로 하여 [도 5]에 표시하였다.

[도 5]를 참조하면, 세포진단 검사장치(100)의 세포 이미지 처리부(120)는 일련의 세포진단을 위해 워크플로우로 제공되는 검사대상 세포사진을 픽셀 단위의 데이터로 하위 뉴럴 네트워크 모델의 알고리즘에 입력한다.

[도 6]을 참조하면, 이러한 검사대상 세포사진을 세포진단 검사장치(100)에 설치된 하위 뉴럴 네트워크 모델에 입력하면, 하위 뉴럴 네트워크 모델은 각 노드에서 이루어지는 일련의 연산 과정을 통하여 진단결과 데이터를 출력한다. 뉴럴 네트워크의 동작 원리에 대해서는 공지기술에 충분히 제시되어 있고 본 발명은 뉴럴 네트워크의 동작 방식 자체에 관한 것은 아니라는 점을 감안하여 본 명세서에서는 이에 관한 구체적인 설명은 생략한다.

한편, 세포진단 검사장치(100)의 세포 이상 진단부(130)는 그 하위 뉴럴 네트워크 모델에서 출력된 진단결과 데이터에 기초하여 해당 검사대상 세포사진에 대해 별로 문제가 없는 정상세포인지 아니면 좀더 심층적으로 살펴볼 필요가 있어보이는 위험세포인지 여부를 검출한다.

[도 7]은 본 발명에 따른 DNN 학습을 이용한 세포이상 여부 진단과정의 일 실시예를 나타낸 순서도이다.

단계 (S110) : 본 발명은 검사대상 세포사진에 대해 정상세포인지 아니면 위험세포인지 여부를 뉴럴 네트워크에 기초하여 판단하기 위한 세포진단 검사장치(100), 그리고 이 검사장치와 인터넷으로 연결되어 뉴럴 네트워크에 대해 DNN 학습 처리를 수행하기 위한 뉴럴 네트워크 학습서버(200)를 통해 세포이상 여부를 진단하는 기술에 관한 것이다.

이를 위해, 먼저 세포진단 검사장치(100)의 뉴럴 네트워크 모델부(110)는 정상세포와 위험세포의 구분을 위해 미리 학습되어 있는 하위 뉴럴 네트워크 모델을 저장해 둔다. 이때, 뉴럴 네트워크 모델은 제조 과정에서 미리 설정된 것이거나 뉴럴 네트워크 학습서버(200)로부터 미리 다운로드된 것이며 환자로부터 채취한 탈락 세포가 병변 세포인지 여부를 진단하기 위한 병변세포 검출 알고리즘이 구비된 전용 프로그램이다.

단계 (S120) : 세포진단 검사장치(100)는 하위 뉴럴 네트워크 모델이 활성된 상태에서 환자로부터 채취한 탈락세포의 사진, 즉 검사대상 세포사진을 예컨대 외부 장치로부터 제공받는다. 여기서, 환자로부터 검사대상 세포를 채취하고 그 채취된 검사대상 세포로부터 검사대상 세포사진을 획득하는 과정은 작업자에 의한 워크플로우로 이루어질 수 있는데, 이 과정은 본 발명에 있어서 중요한 부분은 아니므로 그에 대한 상세한 설명은 생략한다. 그리고, 세포진단 검사장치(100)의 세포 이미지 처리부(120)는 그 제공받은 검사대상 세포사진을 하위 뉴럴 네트워크 모델에 예컨대 픽셀 단위의 데이터로 입력한다.

단계 (S130) : 이어서, 세포진단 검사장치(100)에 설치된 하위 뉴럴 네트워크 모델이 그 입력된 검사대상 세포사진의 데이터에 대해 [도 6]에서와 같은 뉴럴 네트워크 데이터 연산과정을 수행하고 그 결과로 진단결과 데이터를 출력함에 따라 세포진단 검사장치(100)의 세포 이상 진단부(130)는 검사대상 세포사진이 정상세포(소위 'no problem' 또는 'okay')에 속하는지 아니면 위험세포(소위 'suspicious')에 속하는지 여부를 검출한다.

단계 (S140) : 한편, 뉴럴 네트워크 학습서버(200)의 병변자료 데이터베이스(210)는 미리 질병 유형별로 충분히 많은 다수 개의 정상 세포사진과 병변 세포사진에 대한 데이터를 구비한 후 이를 분류하여 저장해 둔다. 이는 세포진단 검사장치(100)가 세포 진단에 활용하고 있는 하위 뉴럴 네트워크 모델을 DNN 학습을 통해 업그레이드하기 위한 것이다.

단계 (S150, S160) : 그리고, 뉴럴 네트워크 학습서버(200)의 NN 모델 생성부(220)는 병변자료 데이터베이스(210)에 저장되어 있는 다수 개의 정상 세포사진과 병변 세포사진에 관한 데이터를 기초로 DNN 학습 처리부(230)가 수행하는 DNN 학습 과정을 거쳐 현재보다 좀더 업그레이드된 상태인 상위 뉴럴 네트워크 모델을 획득한다.

이어서, 뉴럴 네트워크 학습서버(200)의 학습모델 제공부(240)는 그 생성한 상위 뉴럴 네트워크 모델을 인터넷을 통해 세포진단 검사장치(100)의 NN 모델 갱신부(140)에 바람직하게는 주기적으로 다운로드 제공한다.

단계 (S170) : 그리고, 세포진단 검사장치(100)의 NN 모델 갱신부(140)는 인터넷을 통해 뉴럴 네트워크 학습서버(200)로부터 좀더 업그레이드된 상태인 상위 뉴럴 네트워크 모델을 다운로드하여 세포진단 검사장치(100)에 현재 설치된 하위 뉴럴 네트워크 모델을 업그레이드한다.

단계 (S180) : 한편, 뉴럴 네트워크 학습서버(200)가 병변자료 데이터베이스(210)에 저장하는 정상 세포사진과 병변 세포사진에 대한 데이터는 지속적으로 업데이트되는 것이 바람직하다. 이를 통해, 병원에서 이루어지는 실제 검진 과정에서 얻어지는 데이터를 반영하여 세포진단 검사장치(100)에 설치된 뉴럴 네트워크 모델을 지속적으로 업그레이드할 수 있다.

[도 8]은 본 발명에 따른 DNN 학습을 이용한 세포이상 여부 진단과정의 다른 실시예를 나타낸 순서도이다.

단계 (S210) : 한편, 세포진단 검사장치(100)는 하위 뉴럴 네트워크 모델을 통해 환자의 실제진단 결과에 따른 검사대상 세포사진 및 진단결과 데이터를 획득하여 진단자료 데이터베이스(미도시)에 저장한다. 그리고, 세포진단 검사장치(100)의 진단데이터 제공부(150)는 진단자료 데이터베이스로부터 저장한 검사대상 세포사진 및 진단결과 데이터를 획득하여 뉴럴 네트워크 학습서버(200)의 누적학습 모델 생성부(250)에 주기적으로 업로드 제공한다.

단계 (S220) : 그리고, 뉴럴 네트워크 학습서버(200)의 누적학습 모델 생성부(250)는 세포진단 검사장치(100)로부터 수신한 검사대상 세포사진 및 진단결과 데이터를 기초로 상위 뉴럴 네트워크 모델에 대해 DNN 학습을 수행하여 새로운 업그레이드 뉴럴 네트워크 모델을 생성한다.

여기서, 업그레이드 뉴럴 네트워크 모델은 검사대상 세포사진 및 진단결과 데이터를 업로드 제공한 특정 세포진단 검사장치(100)에 특화된 뉴럴 네트워크 모델을 나타낸다.

단계 (S230) : 이어서, 뉴럴 네트워크 학습서버(200)의 누적학습 모델 제공부(260)는 그 생성한 업그레이드 뉴럴 네트워크 모델을 애초 검사대상 세포사진 및 진단결과 데이터를 업로드 제공한 해당 세포진단 검사장치(100)의 NN 모델 누적갱신부(160)에 다운로드 제공한다.

단계 (S240) : 그 결과, 세포진단 검사장치(100)의 NN 모델 누적갱신부(160)는 뉴럴 네트워크 학습서버(200)로부터 다운로드한 업그레이드 뉴럴 네트워크 모델을 기초하여 이전의 하위 뉴럴 네트워크 모델을 새로이 업그레이드할 수 있다.

이렇게, 개별 병원에 설치된 세포진단 검사장치(100)가 환자의 진단결과에 대한 데이터를 뉴럴 네트워크 학습서버(200)에 업로드 제공하고 뉴럴 네트워크 학습서버(200)가 이를 기초하여 학습된 업그레이드 뉴럴 네트워크 모델을 다시 해당 세포진단 검사장치(100)에 다운로드 제공함으로써 개별 병원의 세포진단 검사장치(100)는 특화된 진단서비스를 제공할 수 있다는 장점이 있다.

한편, [도 7]과 [도 8]에서는 뉴럴 네트워크 학습서버(200)로 뉴럴 네트워크 모델의 DNN 학습을 위한 세포병변 관련 데이터가 전달된다. 이러한 세포병변 관련 데이터는 세포진단 검사장치(100)에서 일차로 수행한 진단 결과에 대해 리뷰어(예: 병리전문의)가 리뷰를 통해 오류를 정정한 결과를 디지털 정보로 정리한 것을 포함할 수 있다. 이러한 오류로는 세포진단 검사장치(100)가 검사대상 세포사진에서 간과한 부분 및 아예 오진을 내린 부분이다.

이때, 오류 부분을 슬라이드 상에 리뷰어가 사인펜 등으로 마킹한 것을 이미지화하여 원래의 검사대상 세포사진 및 원래의 진단 결과와 함께 뉴럴 네트워크 학습 서버(200)로 전달할 수도 있다.

이러한 세포병변 관련 데이터는 뉴럴 네트워크 학습서버(200)에서 뉴럴 네트워크에 대한 DNN 학습에 활용되는데, 패턴인식 알고리즘과 병변특징 탐색 알고리즘의 전부 또는 어느 하나를 개선하는 데에 활용된다.

[도 9]는 '네이버캐스트' 웹에서 딥 러닝 알고리즘에 관하여 검색한 결과 중에서 발췌한 한가지 예를 나타내는 도면이고, [도 10]은 이러한 딥 러닝 알고리즘의 검색 결과 중에서 2012년에 고양이 영상 인식에 적용하였던 DNN 학습 알고리즘의 개념을 나타낸 도면이다.

"딥 러닝(Deep Learning)" 기술은 컴퓨터가 마치 사람처럼 생각하고 배울 수 있도록 하는 기술을 말하는데, 대표적으로는 사물이나 데이터를 군집화하거나 분류하는 데에 적용할 수 있다. 예를 들어, 딥 러닝을 거친 이후에는 컴퓨터가 개 사진과 고양이 사진을 구분할 수 있게 된다.

컴퓨터가 딥 러닝을 통해 사람과 같이 사물을 인식할 수 있도록 "기계학습(Machine Learning)" 이라는 방법이 제안되었다. 많은 데이터를 컴퓨터에 입력하고 비슷한 것끼리 분류하도록 하는 기술로서, 예컨대, 컴퓨터에 미리 저장하여 학습된 개 사진과 비슷한 사진이 입력되면, 그 이후에는 이들을 개 사진이라고 컴퓨터가 분류하도록 한 것이다.

이처럼 컴퓨터에서 학습을 위한 데이터를 어떻게 분류할 것인가를 놓고 이미 많은 기계학습 알고리즘이 등장했다. "의사결정나무" 나 "베이지안망", "서포트벡터머신(SVM)", "인공신경망" 등이 대표적이다. 이 중에서 "인공신경망"의 한계를 극복하기 위해 제안된 기계학습 방법이 딥 러닝이다.

딥 러닝에서 데이터를 분별하는 방식은 지도 학습(supervised learning)과 비지도 학습(unsupervised learning)으로 구분된다. 지도 학습 방식은 컴퓨터에 먼저 잘 분별되어 정리된 정보를 제공하면서 훈련받는 방식이고, 비지도 학습은 이와 같은 훈련 과정이 없이 컴퓨터가 스스로 학습하는 방식이다. 비지도 학습은 일반적으로 컴퓨터의 높은 연산 능력을 요구한다.

이와 같은 딥 러닝 알고리즘의 한 가지로서 DNN 학습 알고리즘을 들 수 있는데, 이러한 DNN 학습 기술에 대해서는 기존에 많은 연구가 진행되어 왔으며 구글의 안드로이드 OS인 젤리빈(Jelly Bean)의 음성검색 서비스와 마이크로소프트가 운영하고 있는 검색서비스 빙(Bing)의 음성검색에도 적용되었고, 대한민국에서는 네이버의 음성인식 서비스에 적용된 것으로 알려져 있다.

특히, 구글은 2012년에 1만6000개의 컴퓨터 프로세서와 10억 개 이상의 뉴럴 네트워크로 DNN 학습을 구현하고 이를 이용해 유튜브에 업로드된 1000만개 이상 비디오 중에서 "고양이"를 인식하는 데에 성공했다. 비지도 학습에 따라 DNN 학습이 구현된 컴퓨터는 "이런 이미지가 고양이다" 라고 가르치지 않아도 스스로 고양이를 인식하고 분류해내었다.

[도 10]은 이를 위해 유튜브에서 사용하였던 DNN 학습 알고리즘의 적용 예를 개념적으로 나타낸 것이다. 본 발명은 DNN 학습 알고리즘의 동작 자체에 관한 것은 아니라는 점을 감안하여 본 명세서에서는 DNN 학습 알고리즘의 동작 원리에 관한 구체적인 기술은 생략한다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현하는 것이 가능하다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어웨이브(예: 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산된 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인 프로그램, 코드, 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

100 : 세포진단 검사장치
110 : 뉴럴 네트워크 모델부
120 : 세포 이미지 처리부
130 : 세포 이상 진단부
140 : NN 모델 갱신부
150 : 진단데이터 제공부
160 : NN 모델 누적갱신부
170 : 하위 모델 제공부
180 : 진단자료 데이터베이스
200 : 뉴럴 네트워크 학습서버
210 : 병변자료 데이터베이스
220 : NN 모델 생성부
230 : DNN 학습 처리부
240 : 학습모델 제공부
250 : 누적학습 모델 생성부
260 : 누적학습 모델 제공부
270 : 하위 모델 식별부

Claims

검사대상 세포사진에 대해 정상세포인지 아니면 위험세포인지 여부를 뉴럴 네트워크에 기초하여 판단하기 위한 세포진단 검사장치(100) 및 상기 세포진단 검사장치(100)와 인터넷으로 연결되어 상기 뉴럴 네트워크에 대한 DNN 학습을 수행하기 위한 뉴럴 네트워크 학습서버(200)를 포함하여 구성되는 DNN 학습을 이용한 세포이상 여부 진단시스템으로서,
정상세포와 위험세포의 구분을 위해 미리 학습된 하위 뉴럴 네트워크 모델을 저장한 뉴럴 네트워크 모델부(110)와, 외부로부터 제공되는 검사대상 세포사진을 상기 하위 뉴럴 네트워크 모델에 픽셀 단위의 데이터로 입력하는 세포 이미지 처리부(120)와, 상기 세포 이미지 처리부에 의해 입력된 상기 검사대상 세포사진의 데이터로부터 상기 검사대상 세포사진에 대한 이상 여부를 검출하는 세포 이상 진단부(130)와, 인터넷을 통해 상기 뉴럴 네트워크 학습서버(200)로부터 상위 뉴럴 네트워크 모델을 다운로드하여 상기 하위 뉴럴 네트워크 모델을 업그레이드하는 NN 모델 갱신부(140)를 구비하는 세포진단 검사장치(100);
질병 유형별로 다수 개의 정상 세포사진과 병변 세포사진을 미리 분류하여 저장하는 병변자료 데이터베이스(210)와, 상기 병변자료 데이터베이스의 미리 정상 및 위험으로 분류된 데이터에 기초하여 상위 뉴럴 네트워크 모델을 생성하는 NN 모델 생성부(220)와, 상기 병변자료 데이터베이스의 정상 및 위험으로 미리 분류된 데이터에 기초하여 상기 상위 뉴럴 네트워크 모델에 대한 DNN 학습을 수행하는 DNN 학습 처리부(230)와, 상기 상위 뉴럴 네트워크 모델을 상기 NN 모델 갱신부에 다운로드 제공하는 학습모델 제공부(240)를 구비하는 뉴럴 네트워크 학습서버(200);
를 포함하여 구성되는 DNN 학습을 이용한 세포이상 여부 진단시스템.
청구항 1에 있어서,
상기 세포진단 검사장치(100)는,
환자의 실제진단 결과에 따른 검사대상 세포사진 및 진단결과 데이터를 획득하여 상기 뉴럴 네트워크 학습서버(200)에 업로드하는 진단데이터 제공부(150)와, 상기 뉴럴 네트워크 학습서버(200)로부터 DNN 학습 처리된 업그레이드 뉴럴 네트워크 모델을 다운로드하여 상기 하위 뉴럴 네트워크 모델을 대체 설정하는 NN 모델 누적갱신부(160);
를 더 포함하여 구성되고,
상기 뉴럴 네트워크 학습서버(200)는,
상기 세포진단 검사장치로부터 상기 검사대상 세포사진 및 진단결과 데이터를 업로드받아 이에 기초하여 상기 세포진단 검사장치의 하위 뉴럴 네트워크 모델에 대한 DNN 학습을 수행함으로써 상기 세포진단 검사장치에 대한 업그레이드 뉴럴 네트워크 모델을 생성하는 누적학습 모델 생성부(250)와, 상기 업그레이드 뉴럴 네트워크 모델을 상기 세포진단 검사장치로 다운로드 제공하는 누적학습 모델 제공부(260);
를 더 포함하여 구성되는 것을 특징으로 하는 DNN 학습을 이용한 세포이상 여부 진단시스템.
청구항 2에 있어서,
상기 세포진단 검사장치(100)는,
DNN 학습 처리를 위하여 자신의 하위 뉴럴 네트워크 모델을 상기 뉴럴 네트워크 학습서버(200)에 업로드하는 하위 모델 제공부(170);
를 더 포함하여 구성되고,
상기 뉴럴 네트워크 학습서버(200)의 누적학습 모델 생성부(250)는 상기 세포진단 검사장치의 하위 모델 제공부로부터 제공받은 하위 뉴럴 네트워크 모델에 대해 DNN 학습을 수행하는 것을 특징으로 하는 DNN 학습을 이용한 세포이상 여부 진단시스템.
청구항 2에 있어서,
상기 뉴럴 네트워크 학습서버(200)는,
상기 세포진단 검사장치 별로 가장 최근에 다운로드 제공한 뉴럴 네트워크 모델을 저장 관리함으로써 상기 검사대상 세포사진 및 진단결과 데이터를 업로드한 상기 세포진단 검사장치의 하위 뉴럴 네트워크 모델를 식별하여 상기 누적학습 모델 생성부(250)에 제공하는 하위 모델 식별부(270);
를 더 포함하여 구성되는 것을 특징으로 하는 DNN 학습을 이용한 세포이상 여부 진단시스템.
청구항 3 또는 청구항 4에 있어서,
상기 세포진단 검사장치(100)는,
환자의 실제진단 결과에 따른 검사대상 세포사진 및 진단결과 데이터를 획득한 후 사용자 조작에 따라 이를 수집하는 진단자료 데이터베이스(180);
를 더 포함하여 구성되는 것을 특징으로 하는 DNN 학습을 이용한 세포이상 여부 진단시스템.
검사대상 세포사진에 대해 정상세포인지 아니면 위험세포인지 여부를 뉴럴 네트워크에 기초하여 판단하는 세포진단 검사장치(100) 및 상기 세포진단 검사장치(100)와 인터넷으로 연결되어 상기 뉴럴 네트워크에 대한 DNN 학습을 수행하는 뉴럴 네트워크 학습서버(200)를 포함하여 구성되는 세포이상 여부 진단시스템에서 DNN 학습을 이용하여 세포이상 여부를 진단하는 방법으로서,
(a) 상기 세포진단 검사장치가 정상세포와 위험세포의 구분을 위해 미리 학습된 하위 뉴럴 네트워크 모델을 저장하는 단계;
(b) 상기 세포진단 검사장치가 외부로부터 제공되는 검사대상 세포사진을 상기 하위 뉴럴 네트워크 모델에 픽셀 단위의 데이터로 입력하는 단계;
(c) 상기 세포진단 검사장치가 상기 검사대상 세포사진의 데이터로부터 상기 검사대상 세포사진에 대한 이상 여부를 검출하는 단계;
(d) 상기 뉴럴 네트워크 학습서버가 다수 개의 정상 세포사진과 병변 세포사진을 미리 분류하여 저장하는 단계;
(e) 상기 뉴럴 네트워크 학습서버가 다수 개의 정상 세포사진과 병변 세포사진에 대해 미리 분류하여 저장한 데이터를 기초로 DNN 학습을 수행한 상위 뉴럴 네트워크 모델을 생성하는 단계;
(f) 상기 뉴럴 네트워크 학습서버가 상기 상위 뉴럴 네트워크 모델을 상기 세포진단 검사장치에 다운로드 제공하는 단계;
(g) 상기 세포진단 검사장치가 인터넷을 통해 상기 뉴럴 네트워크 학습서버로부터 미리 학습된 상위 뉴럴 네트워크 모델을 다운로드하여 상기 하위 뉴럴 네트워크 모델을 업그레이드하는 단계;
를 포함하여 구성되는 DNN 학습을 이용한 세포이상 여부 진단관리 방법.
청구항 6에 있어서,
상기 (g) 단계 이후에 수행되는,
(h) 상기 세포진단 검사장치가 환자의 실제진단 결과에 따른 검사대상 세포사진 및 진단결과 데이터를 획득하여 상기 뉴럴 네트워크 학습서버에 업로드하는 단계;
(i) 상기 뉴럴 네트워크 학습서버가 상기 세포진단 검사장치로부터 수신한 상기 검사대상 세포사진 및 상기 진단결과 데이터를 기초로 DNN 학습을 수행하여 업그레이드 뉴럴 네트워크 모델을 생성하는 단계;
(j) 상기 뉴럴 네트워크 학습서버가 상기 업그레이드 뉴럴 네트워크 모델을 상기 세포진단 검사장치에 다운로드 제공하는 단계;
(k) 상기 세포진단 검사장치가 상기 뉴럴 네트워크 학습서버로부터 상기 업그레이드 뉴럴 네트워크 모델을 다운로드하여 상기 하위 뉴럴 네트워크 모델을 업그레이드하는 단계;
를 더 포함하여 구성되는 것을 특징으로 하는 DNN 학습을 이용한 세포이상 여부 진단관리 방법.
컴퓨터에 청구항 6 또는 청구항 7에 따른 DNN 학습을 이용한 세포이상 여부 진단관리 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.