KR20210110262A - 딥러닝을 이용한 흑색종 진단 방법, 장치 및 프로그램 - Google Patents

Abstract

본 발명은 딥러닝을 이용한 흑색종 진단 방법에 관한 것으로, 조직검사 결과가 불확실한 환부의 영상을 모반 또는 흑색종 그룹에 각각 포함시켜 2개의 학습모델을 구축하고, 이를 이용하여 환자의 환부영상을 검사함으로써 진단 정확도를 향상시키는 효과를 발휘한다.

Description

딥러닝을 이용한 흑색종 진단 방법, 장치 및 프로그램 {Method, device and program for diagnosis of melanoma using deep learning}

본 발명은 흑색종을 진단하는 방법에 관한 것이다.

악성 흑색종은 발생 초기부터 다른 장기로의 전이가 가능할 뿐만 아니라, 조직 침범 깊이가 예후와 밀접한 관계가 있는 종양이므로 초기의 진단과 치료가 중요하다.

이러한 악성 흑색종은 조직검사가 아닌 임상적인 소견만으로는 진단이 상당히 어려운 질병으로, 최근 들어 딥너링을 활용하여 피부 질환 분류를 연구하는 시도가 이루어지고 있다.

하지만, 딥러닝 활용의 대부분의 시도가 오진율을 크게 낮추지 못하고 있으며, 특히 신체 부위 말단에 발생하는 흑색종에 관하여 발전이 더딘 상황이다.

대한민국 공개특허공보 제10-2016-0018033호 (2016.02.17)

상술한 바와 같은 문제점을 해결하기 위한 본 발명은 복수의 환부영상과 조직검사 결과를 이용하여 판단모듈에 제1학습모델, 제2학습모델을 구축하고, 2개의 학습모델 모두를 이용하여 환부의 흑색종 여부를 검사하는 딥러닝을 이용한 흑색종 진단 방법을 제공할 수 있다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 딥러닝을 이용한 흑색종 진단 방법은, 컴퓨터에 의해 수행되는 방법으로, 더모스코피(Dermoscopy)를 통해 촬영된 복수의 제1환부영상을 수신하는 단계; 상기 제1환부영상 중에서 조직검사 결과가 불확실한 제1환부영상을 조직검사가 모반인 그룹에 포함시켜 모반과 흑색종인 경우 제1환부영상에 대하여 학습하여 제1학습모델을 구축하는 단계; 상기 제1환부영상 중에서 조직검사 결과가 불확실한 제1환부영상을 조직검사가 흑색종인 그룹에 포함시켜 모반과 흑색종인 경우 제1환부영상에 대하여 학습하여 제2학습모델을 구축하는 단계; 더모스코피를 통해 촬영된 환자의 제2환부영상을 수신하는 단계; 및 상기 제2환부영상을 상기 제1학습모델 및 제2학습모델 각각을 이용하여 환부의 흑색종 여부를 검사하는 단계를 포함한다.

또한, 상기 검사 단계 다음에, 상기 제1학습모델 및 제2학습모델 각각의 검사 결과를 평균하여 상기 환부의 흑색종 여부를 판단하는 단계를 더 포함할 수 있다.

또한, 상기 제1환부영상 수신 단계는, 상기 제1환부영상의 중심영역 일부를 공유하는 둘 이상의 제1패치영상을 생성하는 단계를 더 포함하고, 상기 딥러닝 단계는, 조직검사 결과 모반 또는 흑색종으로 판단되지 않은 이상조직의 제1환부영상과 제1패치영상을 조직검사가 모반인 그룹에 포함시켜 제1학습모델을 구축하고, 상기 이상조직의 제1환부영상과 제1패치영상을 조직검사가 흑색종인 그룹에 포함시켜 제2학습모델을 구축하는 것을 특징으로 한다.

또한, 상기 제2환부영상 수신 단계는, 상기 제2환부영상의 중심영역 일부를 공유하는 둘 이상의 제2패치영상을 생성하는 단계를 더 포함하고, 상기 검사 단계는, 상기 제2환부영상과 제2패치영상을 상기 제1학습모델 및 제2학습모델 각각을 이용하여 환부의 흑색종 여부를 검사하는 것을 특징으로 한다.

또한, 상기 제2패치영상 중 적어도 하나가 흑색종이라고 판단되는 경우, 상기 환부가 흑색종인 것으로 판단하는 것을 특징으로 한다.

또한, 상기 제1패치영상 생성 단계는, 상기 제1패치영상이 공유하는 중심영역의 크기를 입력받는 단계를 더 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 딥러닝을 이용한 흑색종 진단 장치는, 더모스코피를 통해 촬영된 복수의 제1환부영상을 수신하는 수신부; 상기 제1환부영상과 환부의 조직검사 결과를 기반으로 딥러닝하되, 조직검사 결과 모반 또는 흑색종으로 판단되지 않은 이상조직의 제1환부영상을 조직검사가 모반인 그룹에 포함시켜 제1학습모델을 구축하고, 상기 이상조직의 제1환부영상을 조직검사가 흑색종인 그룹에 포함시켜 제2학습모델을 구축하는 판단모듈을 포함하며, 상기 수신부는 더모스코피를 통해 촬영된 환자의 제2환부영상을 수신하고, 상기 판단모듈은 상기 제2환부영상을 상기 제1학습모델 및 제2학습모델 각각을 이용하여 환부의 흑색종 여부를 검사하는 것을 특징으로 한다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

상기와 같은 본 발명에 따르면, 조직검사 결과가 불확실한 환부의 영상을 모반 또는 흑색종 그룹에 각각 포함시켜 2개의 학습모델을 구축하고, 이를 이용하여 환자의 환부영상을 검사함으로써 진단 정확도를 향상시키는 효과를 발휘한다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 더모스코피를 통해 촬영된 모반과 흑색종의 이미지이다.
도 2는 본 발명의 실시예에 따른 딥러닝을 이용한 흑색종 진단 방법의 흐름도이다.
도 3은 본 발명의 실시예에 따른 판단모듈을 학습시키는 과정을 예시한 도면이다.
도 4는 환부영상을 이용하여 4개의 패치영상을 생성하는 것을 예시한 도면이다.
도 5는 딥러닝 과정에서 제1학습모델과 제2학습모델을 구축하는 방법을 예시한 도면이다.
도 6은 환자의 환부영상을 이용하여 흑색종 여부를 검사하는 것을 예시한 도면이다.
도 7은 학습모델 선택에 따른 흑색종 판단의 정확도 테스트 결과를 도시한 도면이다.
도 8은 본 발명의 실시예에 따른 딥러닝을 이용한 흑색종 진단 장치의 블록도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

본 발명의 실시예들에 따른 심층신경망(Deep Neural Network; DNN)은, 하나 이상의 컴퓨터 내에 하나 이상의 레이어(Layer)를 구축하여 복수의 데이터를 바탕으로 판단을 수행하는 시스템 또는 네트워크를 의미한다. 예를 들어, 심층신경망은 콘벌루션 풀링 층(Convolutional Pooling Layer), 로컬 접속 층(a locally-connected layer) 및 완전 연결 층(fully-connected layer)을 포함하는 층들의 세트로 구현될 수 있다. 콘벌루션 풀링 층 또는 로컬 접속 층은 영상 내 특징들을 추출하도록 구성 될 수 있다. 완전 연결 층은 영상의 특징 간의 상관 관계를 결정할 수 있다. 일부 실시 예에서, 심층신경망의 전체적인 구조는 콘벌루션 풀링 층에 로컬 접속 층이 이어지고, 로컬 접속 층에 완전 연결 층이 이러지는 형태로 이루어질 수 있다. 심층신경망은 다양한 판단기준(즉, 파라미터(Parameter))를 포함할 수 있고, 입력되는 영상 분석을 통해 새로운 판단기준(즉, 파라미터)를 추가할 수 있다.

본 발명의 실시예들에 따른 심층신경망은, 영상분석에 적합한 콘볼루셔널 신경망이라고 부르는 구조로서, 주어진 영상 데이터들로부터 가장 분별력(Discriminative Power)가 큰 특징을 스스로 학습하는 특징 추출층(Feature Extraction Layer)와 추출된 특징을 기반으로 가장 높은 예측 성능을 내도록 예측 모델을 학습하는 예측층(Prediction Layer)이 통합된 구조로 구성될 수 있다.

특징 추출층은 영상의 각 영역에 대해 복수의 필터를 적용하여 특징 지도(Feature Map)를 만들어 내는 콘벌루션 층(Convolution Layer)과 특징 지도를 공간적으로 통합함으로써 위치나 회전의 변화에 불변하는 특징을 추출할 수 있도록 하는 통합층(Pooling Layer)을 번갈아 수 차례 반복하는 구조로 형성될 수 있다. 이를 통해, 점, 선, 면 등의 낮은 수준의 특징에서부터 복잡하고 의미 있는 높은 수준의 특징까지 다양한 수준의 특징을 추출해낼 수 있다.

콘벌루션 층은 입력 영상의 각 패치에 대하여 필 터와 국지 수용장(Local Receptive Field)의 내적에 비선형 활성 함수(Activation Function)을 취함으로 서 특징지도(Feature Map)을 구하게 되는데, 다른 네트워크 구조와 비교하여, CNN은 희소한 연결성 (Sparse Connectivity)과 공유된 가중치(Shared Weights)를 가진 필터를 사용하는 특징이 있다. 이러한 연결구조는 학습할 모수의 개수를 줄여주고, 역전파 알고리즘을 통한 학습을 효율적으로 만들어 결과적으로 예측 성능을 향상 시킨다.

통합 층(Pooling Layer 또는 Sub-sampling Layer)은 이전 콘벌루션 층에서 구해진 특징 지도의 지역 정보를 활용하여 새로운 특징 지도를 생성한다. 일반적으로 통합 층에 의해 새로 생성된 특징지도는 원래의 특징 지도보다 작은 크기로 줄어드는데, 대표적인 통합 방법으로는 특징 지도 내 해당 영역의 최대값을 선택하는 최대 통합(Max Pooling)과 특징 지도 내 해당 영역의 평균값을 구하는 평균 통합(Average Pooling) 등이 있다. 통합 층의 특징지도는 일반적으로 이전 층의 특징 지도보다 입력 영상에 존재하는 임의의 구조나 패턴의 위치에 영향을 적게 받을 수 있다. 즉, 통합층은 입력 영상 혹은 이전 특징 지도에서의 노이즈나 왜곡과 같은 지역적 변화에 보다 강인한 특징을 추출할 수 있게 되고, 이러한 특징은 분류 성능에 중요한 역할을 할 수 있다. 또 다른 통합 층의 역할은, 깊은 구조상에서 상위의 학습 층으로 올라갈수록 더 넓은 영역의 특징을 반영할 수 있게 하는 것으로서, 특징 추출 층이 쌓이면서, 하위 층에서는 지역적인 특징을 반영하고 상위 층으로 올라 갈수록 보다 추상적인 전체 영상의 특징을 반영하는 특징 생성할 수 있다.

이와 같이, 콘벌루션 층과 통합 층의 반복을 통해 최종적으로 추출된 특징은 다중 신경망(MLP: Multi-layer Perception)이나 서포트 벡터 머신(SVM: Support Vector Machine)과 같은 분류 모델이 완전 연결 층(Fully-connected Layer)의 형태로 결합되어 분류 모델 학습 및 예측에 사용될 수 있다.

다만, 본 발명의 실시예들에 따른 심층신경망의 구조는 이에 한정되지 아니하고, 다양한 구조의 신경망으로 형성될 수 있다.

도 1은 더모스코피를 통해 촬영된 모반과 흑색종의 이미지로, (A)는 양성 모반을 더모스코피로 촬영한 이미지이고, (B)는 흑색종을 더모스코피로 촬영한 이미지이다.

악성 흑색종은 발생 초기부터 다른 장기로의 전이가 가능할 뿐만 아니라, 조직 침범 깊이가 예후와 밀접한 관계가 있는 종양이므로 초기의 진단과 치료가 중요하다. 하지만, 이러한 중요성에도 불구하고 도 2와 같이 육안으로 구별하기가 힘들어 임상적인 소견만으로는 숙련된 전문의조차 확실하게 구별해내는 것이 어렵다는 문제점이 있다.

또한, 손끝, 발끝과 같이 환자의 신체 말단에 환부가 존재하는 경우, 더모스코피를 통해 촬영한 이미지를 이용하여 흑색종 여부를 검사하는 것도 어렵다는 문제점이 있다.

본 출원인은 이와 같은 문제점을 해결하기 위해서 기존에 비해서 진단 정확도를 현저하게 향상시킬 수 있는 발명을 안출하게 되었다.

더모스코피(Dermoscopy: 피부 확대경)는 나안(裸眼)으로는 관찰하기 어려운 피부 표피 및 유두 진피의 색소성 병변을 관찰하여 흑색종(Malignant Melanoma)과 같은 병변의 감별에 사용되는 진단 도구로서 이용되고 있으며, 조직검사 이전에 나안으로 의사와 같은 관찰자가 획득할 수 있는 진단에 기초가 되는 정보보다 더 많은 정보를 제공할 수 있도록 함으로서, 정확하고 진단 및 더 나아가 신속한 치료로 이어질 수 있도록 도움을 준다.

보다 상세하게는, 더모스코피는 환자의 환부에 제1방향으로 편광하고, 제2방향으로 다시 편광하는 교차편광을 이용하여 촬영함으로써, 피부암, 흑색종 진단을 위한 영상을 획득하게 된다.

따라서, 본 발명의 실시예에서 환부영상은 더모스코피가 교차편광을 이용하여 획득한 환자의 환부 이미지를 의미한다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

설명에 앞서 본 명세서에서 사용하는 용어의 의미를 간략히 설명한다. 그렇지만 용어의 설명은 본 명세서의 이해를 돕기 위한 것이므로, 명시적으로 본 발명을 한정하는 사항으로 기재하지 않은 경우에 본 발명의 기술적 사상을 한정하는 의미로 사용하는 것이 아님을 주의해야 한다.

모반: 본 발명의 실시예에서 모반은 넓은 의미로 점을 포함하며, 악성 모반, 양성 모반 등과 같이 흑색종과 착각하기 쉬운 점을 의미한다.

본 발명의 실시예에서 환부영상은 더모스코피(Dermoscopy)를 이용하여 환부를 촬영한 것을 의미한다. 더모스코피와 같은 피부확대경을 통해 환부를 촬영하면, 환자의 피부 상부 진피층까지 투과하기 때문에 사람이 육안평가에서 볼 수 없는 많은 부분을 볼 수 있다는 장점이 있다.

도 2는 본 발명의 실시예에 따른 딥러닝을 이용한 흑색종 진단 방법의 흐름도이다.

도 2와 도 3 내지 도 7을 함께 참조하여 본 발명의 실시예에 따른 딥러닝을 이용한 흑색종 진단 방법에 대해서 설명하도록 한다.

본 발명의 실시예에 따른 딥러닝을 이용한 흑색종 진단 방법은 컴퓨터에 의해 수행되며, 아래에서는 흑색종 진단 장치(10)에 의해 수행되는 것으로 설명할 것이다. 이때, 장치는 서버를 의미하는 것일 수도 있다.

본 발명의 실시예는 크게 판단모듈(120)을 딥러닝시켜 학습모델을 구축하는 과정(S100 내지 S200)과, 학습모델이 구축된 판단모듈(120)이 실제 환자의 환부영상을 이용하여 흑색종 여부를 검사하는 과정(S300 내지 S500), 크게 2개의 과정으로 나눠질 수 있다.

먼저, 판단모듈(120)을 딥러닝시켜 학습모델을 구축하는 과정에 대해서 설명하도록 한다.

흑색종 진단 장치(10)가 더모스코피(Dermoscopy)를 통해 촬영된 복수의 제1환부영상을 수신한다. (S100단계)

S100 다음으로, 흑색종 진단 장치(10)의 판단모듈(120)이 제1환부영상과 각 제1환부영상 환부의 조직검사 결과를 기반으로 딥러닝하여 학습모델을 구축한다. (S200단계)

도 5는 딥러닝 과정에서 제1학습모델과 제2학습모델을 구축하는 방법을 예시한 도면이다.

도 5를 참조하여 S200단계를 보다 상세하게 설명하면, 제1학습모델 구축 단계와 제2학습모델 구축 단계를 포함한다.

제1학습모델 구축 단계(S210단계)는, 판단모듈(120)이 제1환부영상 중에서 조직검사 결과가 불확실한 제1환부영상을 조직검사 결과가 모반인 그룹에 포함시켜 모반과 흑색종인 경우의 제1환부영상에 대하여 학습하여 제1학습모델을 구축한다.

제2학습모델 구축 단계(S250단계)는, 판단모듈(120)이 제1환부영상 중에서 조직검사 결과가 불확실한 제1환부영상을 조직검사 결과가 흑색종인 그룹에 포함시켜 모반과 흑색종인 경우의 제1환부영상에 대하여 학습하여 제2학습모델을 구축한다.

본 발명의 실시예에서 제1환부영상은 모두 조직검사 결과를 보유하고 있는 영상으로 판단모듈을 학습시키기 위한 데이터이다. 하지만, 조직검사를 수행하여도 해당 환부가 모반인지 흑색종인지 정확하게 판별이 되지 않는 경우가 존재한다. 이에 대하여 도 5에서는 "불확실"로 도시하였다.

본 발명의 실시예와 도면에서는 위와 같이 조직검사 결과가 불확실한 제1환부영상을 모반인 것으로 가정하여 모반인 경우와 흑색종인 경우의 제1환부영상에 대하여 학습함으로써 제1학습모델을 구축하고, 흑색종인 것으로 가정하여 모반인 경우와 흑색종인 경우의 제1환부영상에 대하여 학습함으로써 제2학습모델을 구축함으로써, 2개의 학습모델을 구축하는 것을 예시하고 있다.

이와 같이 2개의 학습모델을 별도로 구축하는 이유는 아래에서 보다 상세하게 설명하도록 한다.

다음으로, 흑색종 여부를 검사하는 과정에 대해서 설명하도록 한다.

흑색종 진단 장치(10)의 수신부(110)가 더모스코피를 통해 촬영된 환자의 제2환부영상을 수신한다. (S300단계)

위에서 제1환부영상은 판단모듈(120)을 학습시키기 위한 데이터였고, 제2환부영상은 실제 환자의 환부를 더모스코피를 통해 촬영한 영상 데이터를 의미한다.

판단모듈(120)이 제2환부영상을 제1학습모델 및 제2학습모델 각각을 이용하여 환부의 흑색종여부를 검사한다. (S400단계)

그리고, S400단계 다음으로, 판단모듈(120)이 제1학습모델 및 제2학습모델 각각의 검사 결과를 평균하여 환부의 흑색종 여부를 판단한다. (S500단계)

보다 상세하게는, 판단모듈(120)이 제2환부영상을 제1학습모델과 제2학습모델 각각을 이용하여 환부가 흑색종인 확률을 산출하고, 2개의 확률을 평균하여 환부가 흑색종인지 여부를 판단하는 것을 의미한다.

도 7은 학습모델 선택에 따른 흑색종 판단의 정확도 테스트 결과를 도시한 도면이다.

이때, 도 7에서 제3학습모델은 조직검사 결과가 불확실한 제1환부영상을 학습데이터에 포함시키지 않고 학습모델을 구축한 것이다.

도 7의 결과값을 확인하면, 제1학습모델, 제2학습모델 각각은 제3학습모델보다는 흑색종을 판단하는 정확도가 다소 떨어지는 결과로 나왔지만, 제1학습모델과 제2학습모델 둘 다를 이용했을 때는 다른 학습모델을 이용했을 때보다 현저하게 높은 정확도를 보이는 것을 알 수 있다.

이와 같이 조직검사 결과가 불확실한 제1환부영상을 모반 또는 흑색종인 것으로 간주하여 2개의 학습모델을 구축하고, 실제 환자를 진단할때 2개의 학습모델 모두를 이용하여 흑색종 여부를 판단하는 이유는, 본 발명의 목적은 환자의 환부가 흑색종인지 여부를 알기 위한 것이지 기존과 같이 불확실한 판단 결과를 얻기 위한 것이 아니기 때문이다.

따라서, 본 발명의 실시예에 따른 흑색종 진단 장치는 조직검사 결과가 불확실한 제1환부영상을 기존과 같은 불확실 상태로 남겨놓지 않고 모반 또는 흑색종인 것으로 간주하여 각각 2개의 학습모델을 구축하고, 실제 환자의 제2환부영상이 입력되면 2개의 학습모델 각각을 이용하여 환부가 흑색종일 확률을 산출하고, 2개의 결과를 종합하여 환부가 모반인지 흑색종인지 판단하게 된다.

아래에서는 하나의 환부영상을 이용하여 둘 이상의 패치영상을 생성하고, 이를 이용하여 딥러닝하고, 흑색종 여부를 검사하는 것에 관하여 설명하도록 한다.

도 3은 본 발명의 실시예에 따른 판단모듈(120)을 학습시키는 과정을 예시한 도면이고, 도 4는 환부영상을 이용하여 4개의 패치영상을 생성하는 것을 예시한 도면이다.

도 2 및 도 3을 참조하면, 제1환부영상 수신 단계(S100단계) 다음으로 패치영상 생성모듈(140)이 제1환부영상(501)의 중심영역(510) 일부를 공유하는 둘 이상의 제1패치영상을 생성한다. (S150단계)

도 4에서는 패치영상 생성모듈(140)이 도 1 (A)의 제1환부영상을 이용하여 4개의 제1패치영상을 생성한 것을 예시하고 있다.

이와 같이 패치영상을 생성하는 것은 모델의 범용성을 위해 K-겹 검증(K-fold cross validation)을 사용하여 데이터셋을 5Fold로 분할하는 것을 의미한다.

이는, 원본에 해당하는 환부영상으로 데이터셋을 분할하되, 판단모듈이 환부영상 중에서 종양이 존재할 확률이 제일 높은 중심영역 일부를 포함하도록 하여 4개의 패치영상을 생성하여 원본까지 합쳐 5개 데이터셋을 마련하는 것을 의미한다.

이때, 4개의 패치영상을 생성하는 것은 단순 예시일뿐 패치영상의 개수는 발명의 실시에 따라서 달라질 수 있다.

또한, 환자의 손끝, 발끝과 같이 신체 부위 말단에 위치한 환부의 경우 더모스코피로 촬영을 하면 환부와 관련없는 배경이 포함되는 경우가 많아서 컴퓨터가 흑색종 여부를 판단하는데 오차, 오류가 발생하는 경우가 생길 수 있다.

본 발명은 이와 같이 환부의 중심영역 일부를 공유하는 복수 개의 패치영상을 생성하고 판단모듈을 학습시킴으로써 이와 같은 문제점을 해결할 수 있게 된다.

또한, 일 실시예로 패치영상 생성모듈(140)이 환부영상, 패치영상에서 환자의 환부, 신체를 인식하고, 환자의 신체를 제외한 배경 이미지 데이터를 삭제 또는 필터링하는 과정이 더 포함될 수 있다.

그리고, 딥러닝 단계(S200)에서 조직검사 결과 모반 또는 흑색종으로 판단되지 않은 이상조직의 제1환부영상과 제1패치영상을 조직검사가 모반인 그룹에 포함시켜 제1학습모델을 구축하고, 상기 이상조직의 제1환부영상과 제1패치영상을 조직검사가 흑색종인 그룹에 포함시켜 제2학습모델을 구축하는 것을 특징으로 한다.

도 3과 같이 패치영상 생성모듈(140)이 중심영역(510) 일부를 공유하는 A, B, C, D 4개의 제1패치영상을 생성하고, 원본에 해당하는 제1환부영상과 4개의 제1패치영상을 함께 판단모듈(120)에 입력하여 딥러닝하는 것을 알 수 있다.

그리고, 이와 같이 패치영상을 생성하는 것은 실제 환자의 환부영상을 검사할 때에도 동일하게 적용될 수 있다.

도 6은 환자의 환부영상을 이용하여 흑색종 여부를 검사하는 것을 예시한 도면이다.

제2환부영상 수신 단계(S300단계) 다음으로, 패치영상 생성모듈(140)은 제2환부영상(520)의 중심영역(510) 일부를 공유하는 둘 이상의 제2패치영상을 생성한다. (S350단계)

그리고, 판단모듈(120)은 흑색종 여부 검사 단계(S400단계)에서 제2환부영상과 제2패치영상을 제1학습모델 및 제2학습모델 각각을 이용하여 환부의 흑색종 여부를 검사하는 것을 특징으로 한다.

도 6과 같이 판단모듈(120)이 원본 영상에 해당하는 제2환부영상과 패치영상 생성모듈(140)이 생성한 둘 이상의 제2패치영상을 함께 이용하여 환부의 흑색종 여부를 검사하는 것을 의미한다.

일 실시예로, 제1패치영상 생성 단계(S150단계)와 제2패치영상 생성 단계(S350단계)는 패치영상 생성모듈(140)이 제1패치영상 또는 제2패치영상이 공유하는 중심영역의 크기를 입력받는 단계를 더 포함할 수 있다.

이와 같이, 작업자, 사용자로부터 직접 패치영상이 공유하는 중심영역의 크기를 입력받을 수도 있고, 흑색종 진단 장치(10)에 학습된 데이터의 양이 증가함에 따라서 패치영상 생성모듈(140)이 최적의 중심영역 크기를 선택할 수도 있다.

보다 상세하게는, 패치영상 생성모듈(140)은 제2환부영상의 환부의 신체 내 위치, 환부의 크기, 환부의 형상 중 적어도 하나를 고려하여 제2패치영상의 중심영역의 크기 및 제2패치영상의 수를 결정할 수 있다.

이상으로 설명한 본 발명의 실시예에 따른 딥러닝을 이용한 흑색종 진단 방법은, 특유의 학습 방법과 판단 방법을 이용하여 진단의 정확도를 향상시키며, 특히 말단 흑색종의 진단에 정확도를 현저하게 향상시키는 효과를 발휘하게 된다.

도 8은 본 발명의 실시예에 따른 딥러닝을 이용한 흑색종 진단 장치(10)의 블록도이다.

도 8을 참조하면, 본 발명의 실시예에 따른 딥러닝을 이용한 흑색종 진단 장치(10)는 수신부(110), 판단모듈(120), 패치영상 생성모듈(140)을 포함한다.

다만, 몇몇 실시예에서 서버는 도 8에 도시된 구성요소보다 더 적은 수의 구성요소나 더 많은 구성요소를 포함할 수도 있다.

또한, 흑색종 진단 장치(10)가 서버로 구현되어 더모스코피(30)를 통해 촬영된 환부영상을 수신할 경우에는 통신부가 더 포함될 수도 있다.

수신부(110)는 더모스코피(30)를 통해 촬영된 복수의 제1환부영상을 수신한다.

판단모듈(120)은 제1환부영상과 환부의 조직검사 결과를 기반으로 딥러닝하되, 조직검사 결과 모반 또는 흑색종으로 판단되지 않은 이상조직의 제1환부영상을 조직검사가 모반인 그룹에 포함시켜 제1학습모델을 구축하고, 상기 이상조직의 제1환부영상을 조직검사가 흑색종인 그룹에 포함시켜 제2학습모델을 구축한다.

즉, 판단모듈(120)에는 제1학습모델과 제2학습모델 2개의 모델이 구축되어 있는 것을 의미한다.

그리고, 판단모듈(120)은 더모스코피(30)를 통해 촬영된 환자의 제2환부영상이 수신되면, 제2환부영상을 상기 제1학습모델 및 제2학습모델 각각을 이용하여 환부의 흑색종 여부를 검사하는 것을 특징으로 한다.

이상으로 설명한 본 발명의 실시예에 따른 딥러닝을 이용한 흑색종 진단 장치는 도 1 내지 도 7을 통해 설명한 딥러닝을 이용한 흑색종 진단 방법과 발명의 카테고리만 다를 뿐, 동일한 내용이므로 중복되는 설명, 예시는 생략하도록 한다.

이상에서 전술한 본 발명의 일 실시예에 따른 방법은, 하드웨어인 서버와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10: 흑색종 진단 장치
30: 더모스코프
110: 수신부
120: 판단모듈
140: 패치영상 생성모듈
501: 제1환부영상
510: 중심영역
520: 제2환부영상

Claims (8)

1. 컴퓨터에 의해 수행되는 방법으로,
   더모스코피(Dermoscopy)를 통해 촬영된 복수의 제1환부영상을 수신하는 단계;
   상기 제1환부영상 중에서 조직검사 결과가 불확실한 제1환부영상을 조직검사가 모반인 그룹에 포함시켜 모반과 흑색종인 경우 제1환부영상에 대하여 학습하여 제1학습모델을 구축하는 단계;
   상기 제1환부영상 중에서 조직검사 결과가 불확실한 제1환부영상을 조직검사가 흑색종인 그룹에 포함시켜 모반과 흑색종인 경우 제1환부영상에 대하여 학습하여 제2학습모델을 구축하는 단계;
   더모스코피를 통해 촬영된 환자의 제2환부영상을 수신하는 단계; 및
   상기 제2환부영상을 상기 제1학습모델 및 제2학습모델 각각을 모두 이용하여 환부의 흑색종 여부를 검사하는 단계를 포함하는, 딥러닝을 이용한 흑색종 진단 방법.
   
2. 제1항에 있어서,
   상기 검사 단계 다음에,
   상기 제1학습모델 및 제2학습모델 각각을 이용하여 도출된 환부가 흑색종일 확률을 평균하여 상기 환부의 흑색종 여부를 판단하는 단계를 더 포함하는,
   딥러닝을 이용한 흑색종 진단 방법.
   
3. 제1항에 있어서,
   상기 제1환부영상 수신 단계는,
   상기 제1환부영상의 중심영역 일부를 공유하는 둘 이상의 제1패치영상을 생성하는 단계를 더 포함하고,
   상기 제1학습모델 구축 단계는,
   상기 제1환부영상 중에서 조직검사 결과가 불확실한 제1환부영상과 그에 해당하는 제1패치영상을 조직검사가 모반인 그룹에 포함시켜 모반과 흑색종인 경우 제1환부영상, 제1패치영상에 대하여 학습하여 제1학습모델을 구축하고,
   상기 제2학습모델 구축 단계는,
   상기 제1환부영상 중에서 조직검사 결과가 불확실한 제1환부영상과 그에 해당하는 제1패치영상을 조직검사가 흑색종인 그룹에 포함시켜 모반과 흑색종인 경우 제1환부영상, 제1패치영상에 대하여 학습하여 제2학습모델을 구축하는 것을 특징으로 하는, 딥러닝을 이용한 흑색종 진단 방법.
   
4. 제2항에 있어서,
   상기 제2환부영상 수신 단계는,
   상기 제2환부영상의 중심영역 일부를 공유하는 둘 이상의 제2패치영상을 생성하는 단계를 더 포함하고,
   상기 검사 단계는,
   상기 제2환부영상과 제2패치영상을 상기 제1학습모델 및 제2학습모델 각각을 이용하여 환부의 흑색종 여부를 검사하는 것을 특징으로 하는, 딥러닝을 이용한 흑색종 진단 방법.
   
5. 제4항에 있어서,
   상기 제2패치영상 중 적어도 하나가 흑색종이라고 판단되는 경우, 상기 환부가 흑색종인 것으로 판단하는 것을 특징으로 하는, 딥러닝을 이용한 흑색종 진단 방법.
   
6. 제3항에 있어서,
   상기 제1패치영상 생성 단계는,
   상기 제1패치영상이 공유하는 중심영역의 크기를 입력받는 단계를 더 포함하는, 딥러닝을 이용한 흑색종 진단 방법.
   
7. 더모스코피를 통해 촬영된 복수의 제1환부영상을 수신하는 수신부;
   상기 제1환부영상과 환부의 조직검사 결과를 기반으로 딥러닝하되, 조직검사 결과 모반 또는 흑색종으로 판단되지 않은 이상조직의 제1환부영상을 조직검사가 모반인 그룹에 포함시켜 제1학습모델을 구축하고, 상기 이상조직의 제1환부영상을 조직검사가 흑색종인 그룹에 포함시켜 제2학습모델을 구축하는 판단모듈을 포함하며,
   상기 수신부는 더모스코피를 통해 촬영된 환자의 제2환부영상을 수신하고,
   상기 판단모듈은 상기 제2환부영상을 상기 제1학습모델 및 제2학습모델 각각을 모두 이용하여 환부의 흑색종 여부를 검사하는 것을 특징으로 하는, 딥러닝을 이용한 흑색종 진단 장치.
   
8. 하드웨어인 컴퓨터와 결합되어, 제1항 내지 제6항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된, 딥러닝을 이용한 흑색종 진단프로그램.
   

Images