KR20190105180A

KR20190105180A - 합성곱 신경망 기반의 병변 진단 장치 및 방법

Info

Publication number: KR20190105180A
Application number: KR1020180021686A
Authority: KR
Inventors: 이석준; 윤재웅; 조윤재; 전재헌; 송현정; 전종수; 박영민; 이지현; 방철환; 김영주; 오성민; 정준호
Original assignee: 광운대학교 산학협력단
Priority date: 2018-02-23
Filing date: 2018-02-23
Publication date: 2019-09-16

Abstract

본 발명은 병변 진단 장치로서, 특히, 합성곱 신경망을 이용하여 병변을 객관적으로 진단할 수 있는 병변 진단 장치를 개시한다. 본 발명의 병변 진단 장치는 진단 대상 병변이 촬영된 촬영 이미지를 입력 받아 상기 이미지에서 관심 영역을 결정하기 위한 특징 정보를 산출하는 특징 정보 산출부; 상기 산출된 특징 정보를 이용하여 상기 이미지에서 상기 관심 영역을 검출하는 관심 영역 검출부; 및 상기 검출된 관심 영역을 입력으로 하고, 상기 병변의 종류 또는 중증도를 진단하기 위한 지표로서 적어도 하나의 병변 수치를 출력으로 하는 제1신경망(Neural Network)을 이용하여 상기 입력 이미지로부터 상기 대상 병변을 진단하는 진단부; 를 포함한다.

Description

합성곱 신경망 기반의 병변 진단 장치 및 방법 {Apparatus for Lesion Diagnosis Based on Convolutional Neural Network and Method thereof}

본 발명은 병변 진단 장치에 관한 것이다. 보다 상세하게는, 통계학적 학습 에 기반한 이미지 인식 알고리즘을 이용하여 병변을 진단하는 장치에 관한 것이다.

의료서비스의 질과 의료 비용에 대한 국민들의 요구 수준이 향상됨에 따라 국내외적으로 인공지능이 의료 현장 일부에 도입되고 있다. 일례로, IBM의 암 치료용 AI 왓슨은 의료현장에 도입되어 암 진단 정확도가 96%로 임상 전문의 보다 정확하다는 평가를 받고 있으나, 만성피부 질환 분야에 도입한 사례는 극히 드문 실정이다.

만성 피부 질환의 대표적 질병인 아토피 피부염은 신체적, 사회적, 정신적 측면에서 다양한 삶의 질 저하를 가져오는 피부 질환으로 다양한 국가에서 아토피 피부염의 유병률이 조사되고 있다. 아토피피부염의 중증도 평가 방법의 일 예로 SCORAD(the severity SCORing of Atopic Dermatitis index)은 병변에 대한 중증도 진단 시 증상의 징후와 평가를 혼합하여 활용한다는 점, 소아 환자에 치우친 진단 기준이라는 한계가 있다.

또한, 기타 아토피 피부염 평가 방법으로 ADSI(The Atopic Dermatitis Severity Index), SSS(Costa's Simple Scoring System) 등과 같은 평가 방법이 존재하나, 병변 부위별 중증도에 대한 객관적인 진단을 수행할 수 없는 한계점이 있다. Hanfin & Rajka(1980)가 제시한 진단기준은 아토피피부염 진단의 표준으로 간주되고 있으나, 역시, 인종마다 증상에 대한 판단이 조금씩 다르고 실제 국내의 여러 연구에서도 차이가 발생하는 한계점이 있다.

전술한 아토피 피부염의 다양한 평가 방법들은 정성적인 평가 방법으로, 객관적인 평가 방법을 마련하기 어려운 현실의 반증이며, 따라서, 병변 부위별 중증도에 대한 객관적인 진단을 수행하기 위한 새로운 접근이 필요하다.

한국 공개 특허 제 10-2016-0012758 (공고)

본 발명은 상기한 문제점을 해결하기 위하여 안출된 것으로서, 병변 진단 장치를 개시한다. 특히 합성곱 신경망을 이용하여 병변을 객관적으로 진단할 수 있는 병변 진단 장치를 개시한다.

본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 본 발명의 병변 진단 장치는 진단 대상 병변이 촬영된 촬영 이미지를 입력 받아 상기 이미지에서 관심 영역을 결정하기 위한 특징 정보를 산출하는 특징 정보 산출부; 상기 산출된 특징 정보를 이용하여 상기 이미지에서 상기 관심 영역을 검출하는 관심 영역 검출부; 및 상기 검출된 관심 영역을 입력으로 하고, 상기 병변의 종류 또는 중증도를 진단하기 위한 지표로서 적어도 하나의 병변 수치를 출력으로 하는 제1신경망(Neural Network)을 이용하여 상기 입력 이미지로부터 상기 대상 병변을 진단하는 진단부; 를 포함한다.

본 발명에서 상기 상기 특징 정보 산출부는 상기 이미지를 미리 정의된 사이즈로 리사이징하고, 상기 리사이징된 이미지를 분할하여 미리 결정된 크기의 격자셀을 생성하는 전처리부; 를 더 포함하고, 상기 전처리된 상기 이미지를 이용하여 상기 특징 정보를 산출할 수 있다.

본 발명에서 상기 관심 영역은 상기 병변이 촬영된 촬영 이미지 중에서 상기 병변에 해당하는 부분의 이미지를 적어도 일부 포함하고, 상기 특징 정보는 상기 이미지에서 상기 관심 영역의 중심 좌표를 포함할 수 있다.

본 발명에서 상기 특징 정보 산출부는 상기 생성된 격자셀 내부에 중심을 가지며, 상기 대상 병변이 촬영된 이미지의 적어도 일부를 포함하여 상기 병변이 존재하는 확률을 나타내는 복수개의 바운더리 셀을 이용하여 상기 특징 정보를 산출할 수 있다.

본 발명에서 상기 특징 정보 산출부는 상기 촬영 이미지를 입력으로 하고, 상기 바운더리 셀의 중심 좌표 또는 또는 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 출력으로 하는 제2 신경망(Neural Network)을 이용하여 상기 격자셀에 종속되는 상기 바운더리 셀을 생성하고, 상기 생성된 바운더리 셀 각각의 중심 좌표 및 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 계산하는 계산부; 를 더 포함하고, 상기 확률 및 상기 중심 좌표가 계산된 바운더리 셀을 이용하여 상기 특징 정보를 산출할 수 있다.

본 발명에서 상기 관심 영역 검출부는 상기 병변이 촬영된 이미지를 중복하여 포함하는 바운더리 셀 중 상기 바운더리 셀 내에 상기 병변이 존재하는 확률이 기 설정된 임계치 이상인지 여부를 고려하여 상기 병변이 촬영된 이미지를 중복하여 포함하는 바운더리 셀의 일부를 제거하는 바운더리 셀 제거부; 를 더 포함하고, 제거되고 남은 바운더리 셀을 이용하여 상기 특징 정보를 산출할 수 있다.

본 발명에서 상기 제2 신경망은 컨벌루션 연산을 통한 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 바운더리 셀의 중심 좌표와 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 계산하는 적어도 하나의 풀리 커넥티드 레이어를 포함할 수 있다.

본 발명에서 상기 제2 신경망은 학습용 데이터 및 미리 결정된 바운더리 셀에 관한 정답 데이터를 기반으로 상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어 내부의 뉴런 사이의 연결 강도에 관한 가중치를 결정하여 미리 학습될 수 있다.

본 발명에서 상기 제2 신경망은 인접한 컨벌루션 레이어를 연결하는 경로 및 상기 인접한 컨벌루션 레이어를 적어도 하나 이상 건너 뛰어 다른 컨벌루션 레이어로 연결되는 레지듀얼 경로가 마련된 레지듀얼 블록을 포함하고, 상기 레지듀얼 블록은 상기 레지듀얼 블록의 입력을 인접한 다른 레지듀얼 블록의 입력으로 참조되도록 마련될 수 있다.

본 발명에서 상기 진단부는 상기 관심 영역이 검출된 복수개의 촬영 이미지를 미리 설정된 기준에 따라 하나 이상의 병변 별로 분류하고, 상기 분류된 촬영 이미지에 포함된 상기 병변의 중증도를 라벨링하는 가공부; 를 더 포함하고, 상기 라벨링된 상기 촬영 이미지를 기반으로 학습된 상기 제1 신경망을 이용하여 상기 병변을 진단할 수 있다.

본 발명에서 상기 제1 신경망은 컨벌루션 연산을 통한 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 병변의 종류 또는 정도를 분류하는 풀리 커넥티드 레이어를 포함하고, 상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어의 배치 구조와 배치수는 진단하고자 하는 상기 병변의 종류에 따라 서로 다르게 마련될 수 있다.

본 발명에서 상기 진단부는 상기 중증도가 라벨링된 복수개의 촬영 이미지 중 일부를 학습용 데이터, 나머지 일부를 검증용 데이터로 설정하여, 상기 학습용 데이터 및 검증용 데이터를 기반으로 상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어 내부의 뉴런 사이의 연결 강도에 관한 가중치를 결정하여 상기 제1 신경망을 학습하는 학습부; 를 더 포함하고, 상기 학습된 제1 신경망을 이용하여 상기 촬영 이미지에서 상기 병변을 진단할 수 있다.

본 발명에서 상기 학습부는 상기 가중치를 입력으로 하며 상기 가중치에 따른 상기 제1 신경망의 출력과 상기 검증용 데이터를 기반으로 도출되는 상기 제1 신경망의 실제 출력의 차이를 정의하는 손실 함수를 최소화하는 러닝 레이트 및 학습 반복 횟수를 고려하여 상기 제1 신경망을 학습할 수 있다.

본 발명에서 상기 진단부는 상기 병변의 종류에 따라 서로 다르게 학습된 상기 제1신경망을 진단하고자 하는 병변의 종류를 고려하여 조합하는 조합부; 를 더 포함하고, 상기 병변의 종류를 고려하여 조합된 상기 제1 신경망을 이용하여 상기 병변을 진단할 수 있다.

또한 상기한 목적을 달성하기 위하여 본 발명의 병변 진단 방법은 진단 대상 병변이 촬영된 촬영 이미지를 입력 받아 상기 이미지에서 관심 영역을 결정하기 위한 특징 정보를 산출하는 단계; 상기 산출된 특징 정보를 이용하여 상기 이미지에서 상기 관심 영역을 검출하는 단계; 및 상기 검출된 관심 영역을 입력으로 하고, 상기 병변의 종류 또는 중증도를 진단하기 위한 지표로서 적어도 하나의 병변 수치를 출력으로 하는 제1신경망(Neural Network)을 이용하여 상기 입력 이미지로부터 상기 대상 병변을 진단하는 단계; 를 포함한다.

본 발명에서 상기 상기 관심 영역은 상기 병변이 촬영된 촬영 이미지 중에서 상기 병변에 해당하는 부분의 이미지를 적어도 일부 포함하고, 상기 특징 정보는 상기 이미지에서 상기 관심 영역의 중심 좌표를 포함할 수 있다.

본 발명에서 상기 산출하는 단계는 상기 이미지를 미리 정의된 사이즈로 리사이징하고, 상기 리사이징된 이미지를 분할하여 미리 결정된 크기의 격자셀을 생성하는 단계; 및 상기 생성된 격자셀 내부에 중심을 가지며, 상기 대상 병변이 촬영된 이미지의 적어도 일부를 포함하여 상기 병변이 존재하는 확률을 나타내는 복수개의 바운더리 셀을 생성하는 단계; 를 더 포함하고, 상기 생성된 격자셀 및 바운더리 셀을 이용하여 상기 특징 정보를 산출할 수 있다.

본 발명에서 상기 산출하는 단계는 상기 촬영 이미지를 입력으로 하고, 상기 바운더리 셀의 중심 좌표 또는 또는 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 출력으로 하는 제2 신경망(Neural Network)을 이용하여 상기 생성된 바운더리 셀 각각의 중심 좌표 및 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 계산하는 단계; 를 더 포함하고, 상기 확률 및 상기 중심 좌표가 계산된 바운더리 셀을 이용하여 상기 특징 정보를 산출할 수 있다.

본 발명에서 상기 검출하는 단계는 상기 병변이 촬영된 이미지를 중복하여 포함하는 바운더리 셀 중 상기 바운더리 셀 내에 상기 병변이 존재하는 확률이 기 설정된 임계치 이상인지 여부를 고려하여 상기 병변이 촬영된 이미지를 중복하여 포함하는 바운더리 셀의 일부를 제거하는 단계; 를 더 포함하고, 제거되고 남은 바운더리 셀을 이용하여 상기 특징 정보를 산출할 수 있다.

본 발명에서 상기 제2 신경망은 컨벌루션 연산을 통한 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 바운더리 셀의 중심 좌표와 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 계산하는 적어도 하나의 풀리 커넥티드 레이어를 포함하고, 학습용 데이터 및 미리 결정된 바운더리 셀에 관한 정답 데이터를 기반으로 상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어 내부의 뉴런 사이의 연결 강도에 관한 가중치를 결정하여 미리 학습될 수 있다.

본 발명에서 상기 진단하는 단계는 상기 관심 영역이 검출된 복수개의 촬영 이미지를 미리 설정된 기준에 따라 하나 이상의 병변 별로 분류하고, 상기 분류된 촬영 이미지에 포함된 상기 병변의 중증도를 라벨링하는 단계; 및 상기 중증도가 라벨링된 복수개의 촬영 이미지 중 일부를 학습용 데이터, 나머지 일부를 검증용 데이터로 설정하고, 상기 학습용 데이터 및 검증용 데이터를 기반으로 상기 제1 신경망을 학습하는 단계; 를 더 포함하고, 상기 학습된 제1 신경망을 이용하여 상기 촬영 이미지에서 상기 병변을 진단할 수 있다.

본 발명에서 상기 제1 신경망은 컨벌루션 연산을 통한 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 병변의 종류 또는 정도를 분류하는 풀리 커넥티드 레이어를 포함하고, 상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어 내부의 뉴런 사이의 연결 강도에 관한 가중치를 결정하여 미리 학습되며, 상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어의 배치 구조와 배치수는 진단하고자 하는 상기 병변의 종류에 따라 서로 다르게 마련될 수 있다.

또한 본 발명은 컴퓨터에서 상기한 병변 진단 방법을 실행시키기 위한 컴퓨터에서 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 개시한다.

본 발명에 따르면, 병변이 촬영된 이미지로부터 병변의 종류와 중증도를 진단할 수 있다.

특히, 합성곱 신경망을 기반으로 객관적인 병변 진단이 가능한 잇점이 있다.

도 1은 본 발명의 일 실시 예에 병변 진단 장치의 블록도이다.
도 2는 도 1의 실시 예에서 특징 정보 산출부의 확대 블록도이다.
도 3은 도 2의 실시 예에서 특징 정보 산출부가 이용하는 컨벌루션 신경망의 구조를 나타낸다
도 4는 도 2의 실시 예에서 특징 정보 산출부가 컨벌루션 신경망을 이용하여 생성한 격자셀과 바운더리 셀을 나타낸다.
도 5는 도 1의 실시 예에서 관심 영역 검출부의 확대 블록도이다.
도 6은 아토피 피부염의 병변별, 중증도별 촬영 이미지의 예시도이다.
도 7은 아토피 피부염의 병변별, 중증도별 촬영 이미지의 예시도이다.
도 8은 도 1의 실시 예에서 진단부의 확대 블록도이다.
도 9는 도 8의 실시 예에서 진단부가 이용하는 컨벌루션 신경망의 구조를 나타낸다.
도 10은 본 발명의 일 실시 예에 따른 병변 진단 방법의 흐름도이다.
도 11은 도 10의 실시 예에서 산출하는 단계의 확대 흐름도이다.
도 12는 도 10의 실시 예에서 진단하는 단계의 확대 흐름도이다.
도 13은 본 발명의 일 실시 예에 따른 병변 진단 방법의 흐름도이다.

이하, 본 발명의 일 실시예를 첨부된 도면들을 참조하여 상세히 설명한다.

첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 용어를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하에서 설명하는 각 단계는 하나 또는 여러 개의 소프트웨어 모듈로도 구비가 되거나 또는 각 기능을 담당하는 하드웨어로도 구현이 가능하며, 소프트웨어와 하드웨어가 복합된 형태로도 가능하다.

각 용어의 구체적인 의미와 예시는 각 도면의 순서에 따라 이하 설명 한다.

이하에서는 본 발명의 실시예에 따른 병변 진단 장치(10)의 구성을 관련된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명의 일 실시 예에 병변 진단 장치(10)의 블록도이다.

병변 진단 장치(10)는 특징 정보 산출부(100), 관심 영역 검출부(200) 및 진단부(300)를 포함한다. 예를 들어, 병변 진단 장치(10)는 진단 대상 병변이 촬영된 촬영 이미지에서 병변이 주로 포함되는 관심 영역 이미지를 검출하고, 검출된 관심 영역의 이미지를 미리 학습된 제1 신경망(Neural Network)에 입력하여 병변의 종류 또는 중증도를 포함하는 병변 수치를 고려하여 대상 병변을 진단할 수 있다.

예를 들어, 병변 진단 장치(10)가 진단하는 병변은 병이 일어난 육체적 생리적인 변화를 의미하는 것으로서, 본 발명의 병변은 피부 질환으로 변화된 환자의 피부로 마련될 수 있다. 병변 진단 장치(10)는 종래의 만성피부질환 중 대표적 질병인 아토피피부염을 진단 방법의 한계를 극복하기 위하여 안출된 것으로서, 통계학적 학습 이론에 기반한 이미지 인식 알고리즘을 이용하여 객관적인 아토피피부염의 진단 방법을 제공할 수 있다.

병변 진단 장치(10)는 여러 계층을 가진 깊은 신경망 구조를 가지는 딥러닝 알고리즘을 이용하여 병변을 진단할 수 있다. 딥러닝은 기본적으로 여러 계층을 가진 깊은 신경망(deep neural network) 구조로 이루어져 있다. 역전파 알고리즘을 기반으로 고안된 인공 신경망은 신경망의 계층이 많아지게 될 경우 과도한 깊이로 인한 학습 시간 지연과 등의 문제점이 밝혀지게 됨으로써 한동안 연구가 정체되었으나, 오버 피팅 문제가 dropout등의 방법을 통해 해결됨으로써 알고리즘의 성능이 비약적으로 향상되었다.

병변 진단 장치(10)가 이용하는 대표적 딥러닝 구조인 합성곱 신경망 (Convolutional Neural Network)은 사람의 시각 처리 과정을 모방하여 고안되었기 때문에 이미지 처리에 적합한 기능으로 평가 받고 있으며, 이미지를 추상화하여 표현할 수 있는 특징(feature)을 추출함으로서 영상 인식 분야에서 높은 성능을 나타내고 있다.

본 발명의 병변 진단 장치(10)가 이용하는 신경망은 기본적으로 합성곱 신경망 구조로 마련되고, 병변의 종류에 따라 신경망 내의 레이어의 수와 배치가 서로 다르게 적용될 수 있다. 또한, 병변 진단 장치(10)가 이용하는 신경망은 ILVRC(ImageNet Large Scale Visual Recognition Challenge)에서 높은 성능을 나타내는 하기의 VGG-Net, GoogLeNet 및 ResNet 중 적어도 하나의 구조가 적용된 신경망을 이용하여 병변을 진단할 수 있다.

예를 들어, VGG-Net 구조가 적용된 신경망은 컨벌루션 레이어와 풀링 레이어(pooling layer)가 반복 사용되는 CNN 구조에 풀리 커넥티드 레이어(fully-connected)가 연결된 구조로서, VGG-Net 구조가 적용된 신경망은 과적합 문제가 발생하지 않는다면 계층의 깊이가 깊을수록 이미지 인식 정확도가 높아진다는 점에 착안한 신경망 구조이다. 이는 계층 깊이가 깊어진 대신 계층의 구조가 단순하기 때문에 네트워크의 변형과 수정, 확장이 간편하다는 장점을 가지고 있다. 본 발명의 병변 진단 장치(10)는

또는

합성곱 필터와 같이 다량의 파라미터를 생성하는 필터 대신 소량의 파라미터를 생성하는

크기의 합성곱 필터가 2중 또는 3중으로 중첩된 VGG-Net 구조를 적용한 신경망을 이용할 수 있다.

또한, 본 발명의 병변 진단 장치(10)는 GoogLeNet 구조가 적용된 신경망을 이용하여 병변을 진단할 수 있다. GoogLeNet 구조가 적용된 신경망은 네트워크의 깊이에 따라 발생하는 일련의 문제를 해결하기 위해 연산량과 파라미터 개수를 줄이는 방법으로 인셉션(Inception) 모듈기법을 이용할 수 있다. 인셉션 모듈은 GoogLeNet 구조가 적용된 신경망의 각각의 병렬 합성곱 계층 이전에 1x1 합성곱 계층을 추가한 것으로써 해당 합성곱 계층은 '1-계층 완전 연결 신경망(1-layer fully-connected neural network)'라고도 불리며, GooLeNet 구조가 적용된 신경망은 22개의 깊은 계층으로 구성되었지만, 인셉션 모듈을 도입함으로써 기존 네트워크보다 상대적으로 적은 500만 개의 파라미터를 사용할 수 있다.

또한, 본 발명의 병변 진단 장치(10)는 ResNet 구조가 적용된 신경망을 이용하여 병변을 진단할 수 있다. ResNet 구조가 적용된 신경망은 합성곱 신경망 구조 중에서 가장 깊은 152개의 계층으로 구성되어 있다. ResNet 구조가 적용된 신경망은 신경망 내에 레지듀얼 연결(Residual Connetion)이 마련된 레지듀얼 블록(Residual Block)을 포함하고, 이를 이용하여 기울기 값의 소실 문제(vanishing gradient) 를 해결할 수 있는 장점이 있다. 레지듀얼 연결은 하나의 계층을 뛰어 넘는 연결로써 실제 설계된 연결대로 움직이는 경로와 그 경로를 뛰어 넘어 다음 단계로 직접 연결되는 경로 등 총 두 가지 경로가 존재한다. 본 발명의 레지듀얼 연결과 관련된 사항은 후술한다. 도 2를 참조하여 설명한다.

특징 정보 산출부(100)는 전처리부(120) 및 계산부(140)를 포함한다. 예를 들어, 특징 정보 산출부(100)는 진단 대상 병변이 촬영된 촬영 이미지를 입력 받아 상기 이미지에서 관심 영역을 결정하기 위한 특징 정보를 산출한다. 특징 정보 산출부(100)는 진단 대상 병변이 촬영된 이미지에서 병변이 주로 포함된 관심 영역을 부분을 자동으로 추출하기 위한 정보로서, 특징 정보를 산출하는데, 본 발명의 특징 정보는 이미지상에서 관심 영역의 중심 좌표를 포함할 수 있다.

예를 들어, 특징 정보 산출부(100)는 대상 병변이 촬영된 촬영 이미지에서 관심 영역을 설정하기 위한 특징 정보를 산출하기 위하여 신경망에 기반한 이미지 인식 알고리즘을 이용할 수 있다. 예를 들어, 특징 정보 산출부(100)가 이용하는 이미지 인식 알고리즘은 YOLO(You Only Look Once) 구조가 적용된 신경망에서 구현될 수 있다. YOLO(You Only Look Once) 신경망은 종래의 Fast R-CNN 구조가 적용된 신경망과는 달리, 신경망의 최종 출력단에서 이미지상의 바운더리 셀의 위치와 바운더리 셀의 클래스 분류가 동시에 이루어지는 장점이 있다.

예를 들어, 본 발명의 특징 정보 산출부(100)가 이용하는 제2 신경망은 YOLO 구조가 적용된 신경망을 포함하고, 나아가, 레지듀얼 연결(Residual Connection)이 마련된 레지듀얼 블록(Residual Block)을 포함하여 기울기 소실 문제를 해결함으로서, 종래 YOLO 구조가 적용된 신경망을 이용하는 알고리즘보다 향상된 이미지 인식 성능을 달성할 수 있다. 또한, 특징 정보 산출부(100)는 후술하는 격자셀 내부에 중심을 가지며, 상기 대상 병변이 촬영된 이미지의 적어도 일부를 포함하여 상기 병변이 존재하는 확률을 나타내는 복수개의 바운더리 셀을 이용하여 상기 특징 정보를 산출할 수 있다.

전처리부(120)는 이미지를 미리 정의된 사이즈로 리사이징하고, 상기 리사이징된 이미지를 분할하여 미리 결정된 크기의 격자셀을 생성하여 촬영된 이미지를 전처리한다. 예를 들어, 전처리부(120)는 병변이 포함된 관심 영역을 추출하기 위한 특징 정보를 산출하기 위하여, 병변이 촬영된 촬영 이미지의 크기를 제2 신경망에 필요한 크기로 리사이징할 수 있다. 또한, 전처리부(120)는 리사이징된 이미지를 분할하여 미리 결정된 격자셀을 생성할 수 있고, 일 실시 예로 7*7 과 같이 총 49개의 격자셀을 생성할 수 있다. 도 3을 참조하여 설명한다.

계산부(140)는 촬영 이미지를 입력으로 하고, 상기 바운더리 셀의 중심 좌표 또는 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 출력으로 하는 제2 신경망(Neural Network)을 이용하여 상기 격자셀에 종속되는 상기 바운더리 셀을 생성하고, 상기 생성된 바운더리 셀 각각의 중심 좌표 및 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 계산한다. 특징 정보 산출부(100)가 생성된 격자셀 및 바운더리 셀을 이용하여 특징 정보를 산출할 수 있음은 전술한 바와 같다.

예를 들어, 계산부(140)가 이용하는 제2 신경망은 컨벌루션 연산을 통한 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어(144) 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 바운더리 셀의 중심 좌표와 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 계산하는 적어도 하나의 풀리 커넥티드 레이어(148)를 포함할 수 있다. 또한, 본 발명의 계산부(140)가 이용하는 제2 신경망은 컨벌루션 레이어(144) 및 풀리 커넥티드 레이어(148)에 더하여 컨벌루션 레이어(144)와 교대로 반복 배치되는 풀링 레이어(146)를 더 포함할 수 있다.

본 발명의 계산부(140)가 이용하는 제2 신경망은 YOLO 구조가 적용된 합성곱 신경망으로서, 신경망 내에 포함된 컨벌루션 레이어(144)의 적어도 일부에 레지듀얼 연결(154)이 마련된 레지듀얼 블록(152)을 포함하여 향상된 이미지 인식 성능을 달성할 수 있다. 즉, 본 발명의 계산부(140)가 이용하는 제2 신경망은 YOLO 알고리즘에 더하여 레지듀얼 연결(Residual Connection)이 적용된 ARD(Atopic Region Detection) 알고리즘을 이용하여 구현될 수 있다.

본 발명의 제2 신경망의 컨벌루션 레이어(144)의 적어도 일부는 인접한 컨벌루션 레이어(144)를 연결하는 경로 및 상기 인접한 컨벌루션 레이어(144)를 적어도 하나 이상 건너 뛰어 다른 컨벌루션 레이어(144)로 연결되는 레지듀얼 경로(154)가 마련된 레지듀얼 블록(152)을 포함하고, 상기 레지듀얼 블록의 입력은 인접한 다른 레지듀얼 블록의 입력으로 참조될 수 있다. 또한, 계산부(140)가 이용하는 제2 신경망은 학습용 데이터 및 미리 결정된 바운더리 셀에 관한 정답 데이터를 기반으로 상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어 내부의 뉴런 사이의 연결 강도에 관한 가중치를 결정하여 미리 학습될 수 있다. 도 4를 참조하여 설명한다.

일 실시 예에 따른 특징 정보 산출부(100)가 제2 신경망을 이용하여 특징 정보를 산출하는 과정을 설명하면 다음과 같다. 예를 들어, 특징 정보 산출부(100)는 진단 대상 병변이 촬영된 이미지를 입력 받고(142), 전처리부(120)는 입력된 촬영 이미지를 리사이징하고 기 설정된 간격의 격자셀(162)을 생성한다. 계산부(140)는 제2 신경망을 이용하여 격자셀(162) 내부에 중심 좌표를 가지고, 상기 격자셀에 종속되는 임의의 수의 바운더리 셀들(164, 166, 168, 172, 174)을 생성함과 동시에, 바운더리 셀 내부에 포함되는 이미지의 클래스를 분류할 수 있다.

계산부(140)가 제2 신경망을 이용하여 생성한 바운더리 셀들(164, 166, 168, 172, 174)은 바운더리 셀들의 중심 좌표 또는 전체 리사이징된 이미지에서 바운더리 셀들이 가지는 상대적인 크기로 특정될 수 있다. 또한, 계산부(140)가 제2 신경망을 이용하여 생성한 바운더리 셀들(164, 166, 168, 172, 174)은 각각 바운더리 셀 내부에 병변 이미지가 존재할 확률에 대한 정보 또는 병변 이미지가 존재하는 경우에 해당 병변의 종류가 무엇인지에 대한 확률 정보를 가질 수 있다. 예를 들어, 전처리부(120)에서 리사이징된 이미지에서 가로*세로 7*7의 격자셀을 생성하였고, 각 격자셀에 종속되는 바운더리 셀들(164, 166, 168, 172, 174)의 수를 2라고 하면, 계산부(140)에서 생성하는 총 바운더리 셀은 7*7*2로 총 98개 생성될 수 있다. 도 5를 참조하여 설명한다.

관심 영역 검출부(200)는 바운더리 셀 제거부(220)를 포함한다. 예를 들어, 관심 영역 검출부(200)는 산출된 특징 정보를 이용하여 상기 이미지에서 상기 관심 영역을 검출한다. 관심 영역은 병변이 촬영된 촬영 이미지 중에서 상기 병변에 해당하는 부분의 이미지를 적어도 일부 포함하는 영역으로서, 계산부(140)에서 생성된 바운더리 셀들(164, 166, 168, 172, 174) 중 적어도 하나로 마련될 수 있다.

예를 들어, 관심 영역 검출부(200)는 계산부(140)가 생성한 바운더리 셀 내부에 병변이 존재할 확률이 모두 다른 바운더리 셀들(164, 166, 168, 172, 174) 중 내부에 병변이 존재할 확률이 가장 높은 바운더리 셀(164, 166)을 관심 영역으로 검출할 수 있다. 이를 위하여 바운더리 셀 제거부(220)는 촬영 이미지에서 존재하는 임의의 하나의 병변이 이미지를 중복하여 포함하는 바운더리 셀 중(166, 168) 바운더리 셀 내에 상기 병변이 존재하는 확률이 기 설정된 임계치 이상인지 여부를 고려하여 상기 병변이 촬영된 이미지를 중복하여 포함하는 바운더리 셀(168)의 일부를 제거할 수 있다.

예를 들어, 바운더리 셀 제거부(220)는 도 4에 도시된 우측 하단의 병변 이미지를 중복하여 포함하는 바운더리 셀 166, 168 중에서, 바운더리 셀 내부에 병변이 존재할 확률이 기 설정된 임계치 이상이 아닌 경우 제거 (여기에서는 바운더리 셀 168을 제거)할 수 있다. 따라서, 관심 영역 검출부(200)는 도 4에 우측 하단에 도시된 병변 이미지를 포함하는 하나의 바운더리 셀(166)을 관심 영역으로써 검출할 수 있다.

또한, 바운더리 셀 제거부(220)는 셀 내부에 병변이 존재할 확률이 기 설정된 임계치 이하인 바운더리 셀을 제거하기 위하여 NMS(Nom-maximal Suppression 비-최대값 억제) 알고리즘을 사용하여 오직 하나의 바운더리 셀만을 남길 수 있다. 즉, 관심 영역 검출부(200)는 계산부(140)에서 생성된 복수의 바운더리 셀들 중 촬영 이미지상 병변이 중복되어 존재하는 바운더리 셀들이 존재하는 경우 NMS 알고리즘을 사용하여 병변이 촬영된 이미지 상에서 임의의 병변 이미지당 하나의 바운더리 셀만을 남기도록 할 수 있다. 관심 영역 검출부(200)는 병변 이미지당 남은 하나의 바운더리 셀을 관심 영역으로 검출할 수 있다.

진단부(300)는 검출된 관심 영역을 입력으로 하고, 상기 병변의 종류 또는 중증도를 진단하기 위한 지표로서 적어도 하나의 병변 수치를 출력으로 하는 제1신경망(Neural Network)을 이용하여 상기 입력 이미지로부터 상기 대상 병변을 진단한다. 도 6 및 7을 참조하여 설명한다.

아토피 피부염 질환에 따른 병변은 홍반(Erythema), 구진(Papulation), 긁은 상처(Excoriation) 및 태선화(Lichenification)를 포함한다. 본 발명의 진단부(300)는 아토피 피부염의 병변이 포함된 촬영 이미지에서 병변이 주로 포함되는 관심 영역을 자동으로 검출하고, 검출된 관심 영역내의 병변의 종류와, 병변 종류별 중증도를 객관적으로 진단할 수 있다. 병변 진단 장치(10)가 이용하는 병변 별 중증도는 총 4단계로 마련될 수 있지만, 진단의 목적과 기준에 따라 중증도의 분류는 달라질 수 있다. 도 8을 참조하여 설명한다.

진단부(300)는 가공부(320), 학습부(340) 및 조합부(360)를 포함한다. 예를 들어, 진단부(300)는 검출된 관심 영역을 입력 받고, 미리 학습된 제1 신경망을 이용하여 입력된 관심 영역에 포함된 병변의 종류와 중증도를 진단할 수 있다. 본 발명의 병변 진단 장치(10)가 이용하는 제1 신경망 및 제2 신경망은 합성곱 신경망을 기반으로 하는 이미지 인식 알고리즘이 적용된 신경망으로 마련될 수 있다.

진단부(300)는 병변 별로 구분하여 학습된 제1 신경망을 이용하여 진단 모델을 생성할 수도 있지만, 병변 별로 구분하지 않고 학습된 제1 신경망을 이용하여 진단 모델을 생성하고, 생성된 진단 모델을 이용하여 병변을 진단할 수 있다. 후술하는 바와 같이 진단부(300)가 병변 별로 구분하여 학습된 제1 신경망을 이용하여 진단 모델을 각각 생성하는 경우, 조합부(360)는 병변 별로 구분하여 학습된 제1 신경망을 이용하여 생성된 적어도 하나의 진단 모델을 조합하여 새로운 조합 진단 모델을 생성할 수 있다.

가공부(320)는 관심 영역이 검출된 복수개의 촬영 이미지를 미리 설정된 기준에 따라 하나 이상의 병변 별로 분류하고, 상기 분류된 촬영 이미지에 포함된 상기 병변의 중증도를 라벨링한다. 예를 들어, 가공부(320)는 제1 신경망을 학습하기 위한 학습용 데이터 및 학습된 제1 신경망을 검증하기 위한 검증용 데이터를 생성하기 위하여, 아토피 피부염 병변이 촬영된 복수개의 촬영 이미지에서 병변이 주로 포함된 관심 영역을 검출하고, 관심 영역이 검출된 복수개의 촬영 이미지를 병변의 종류별로 3가지로 분류하고, 병변의 종류 별로 분류된 복수개의 관심 영역이 검출된 촬영 이미지에 나타난 병변의 중증도를 병변 없음 '0', 중증도 '1', 중증도 '2', 중증도'3'으로 라벨링한다.

예를 들어, 가공부(320)에서 라벨링된 촬영 이미지중 적어도 일부를 학습용 데이터, 나머지 일부를 정답용 데이터로 설정하고, 학습용 데이터 및 정답용 데이터를 기반으로 제1 신경망을 학습할 수 있다. 본 발명의 병변 진단 장치(10)는 가공부(320)에서 라벨링된 촬영 이미지중 70%를 학습용 데이터, 30%를 검증용 데이터로 사용할 수 있다. 본 발명에서 병변 진단 장치(10)는 홍반(Erythema) 및 긁은 상처(Excoriation)를 학습하기 위하여 각각 1400개의 학습용 데이터를 이용하였고, 태선화(Lichenification)의 경우 308개의 학습용 데이터를 이용하였다. 또한, 병변 진단 장치(10)는 원할한 병변 별 모델 학습을 위하여 다양한 하드웨어 환경에서 인공신경망 모델을 쉽게 생성할 수 있는 텐서플로우(Tensorflow)를 활용하여 신경망을 미리 학습할 수 있다. 도 9를 참조하여 설명한다.

학습부(340)는 진단 대상 병변이 촬영된 이미지 중 적어도 일부로 설정되는 학습용 데이터와 나머지 일부로 설정되는 검증용 데이터를 기반으로 컨벌루션 레이어 및 풀리 커넥티드 레이어 내부의 뉴런 사이의 연결 강도에 관한 가중치를 결정하여 상기 제1 신경망을 학습한다. 본 발명의 제1 신경망은 컨벌루션 연산을 통한 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 병변의 종류 또는 정도를 분류하는 풀리 커넥티드 레이어를 포함하고, 상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어의 배치 구조와 배치수는 진단하고자 하는 상기 병변의 종류에 따라 서로 다르게 마련될 수 있다.

예를 들어, 학습부(340)가 신경망 내부의 컨벌루션 레이어 및 풀리 커넥티드 레이어 내부의 뉴런 사이의 연결 강도에 관한 가중치를 조절하는 과정에는 'Gradient Descent' 방법이 사용될 수 있다.

여기에서,

는 가중치,

는 가중치를 입력으로 하는 손실 함수(Loss Function),

는 손실 함수의 기울기(gradient),

는 러닝 레이트(learning rate)를 의미한다. 상기 수학식 1은 학습부(340)가 경사 하강법(gradient descent)을 이용하여 손실 함수를 최소화하는 가중치를 결정하는 과정을 나타낸다. 예를 들어, 학습부(340)는 현재 가중치에서 손실 함수의 기울기의 음수에 비례하는 만큼 이동하는 것을 반복하여 손실 함수

를 최소화 하는 가중치를 결정할 수 있다.

학습부(340)는 가중치를 입력으로 하며 상기 가중치에 따른 상기 제1 신경망의 출력과 상기 검증용 데이터를 기반으로 도출되는 상기 제1 신경망의 실제 출력의 차이를 정의하는 손실 함수를 최소화하는 러닝 레이트 및 학습 반복 횟수를 고려하여 상기 제1 신경망을 학습할 수 있다. 본 발명의 러닝 레이트는 손실 함수를 최소화하도록 실험적으로 결정될 수 있고, 0.01~0.001의 범위내의 값을 가질 수 있다. 또한, 손실 함수는 러닝 레이트 외에도 학습 반복 횟수에 따른 다른 함수 출력을 가질 수 있는데, 학습부(340)는 손실 함수를 최소화 하기 위하여 학습 반복 횟수를 고려하여 가중치를 결정할 수 있다. 즉 본 발명의 학습부(340)는 손실 함수를 최소화 하는 러닝 레이트 및 학습 반복 횟수를 고려하여 제1 신경망을 학습할 수 있다.

학습부(340)는 병변 별로 마련된 학습용 데이터 및 검증용 데이터를 기반으로 하여 신경망을 학습하여, 병변 별로 진단 모델을 생성할 수 있다. 예를 들어, 학습부(340)는 홍반과 관련된 학습용 데이터 및 진단용 데이터를 기반으로 홍반의 중증도만을 판단하는 홍반 진단 모델을 학습할 수 있고, 태선화(Lichenification)와 관련된 학습용 데이터 및 진단용 데이터를 기반으로 태선화의 중증도만을 판단하는 진단 모델을 학습할 수 있다. 본 발명의 학습부(340)는 병변 별 중증도만을 진단하는 진단 모델을 학습할 수 있을 뿐만 아니라, 병변의 종류 및 중증도를 모두 진단하는 진단 모델을 학습할 수 있음은 물론이다.

조합부(360)는 상기 병변의 종류에 따라 서로 다르게 학습된 상기 제1신경망을 진단하고자 하는 병변의 종류를 고려하여 조합한다. 예를 들어, 조합부(360)는 병변 별로 학습된 제1 신경망에 따른 진단 모델을 조합하여 조합 진단 모델을 생성할 수 있고, 병변 진단 장치(10)는 조합된 진단 모델을 이용하여 병변을 진단할 수 있다.

상기 표 1은 병변 진단 장치(10)가 이용하는 신경망에 적용된 알고리즘에따른 이미지 인식 정확도를 나타낸다. 병변 진단 장치(10)는 ILVRC(ImageNet Large Scale Visual Recognition Challenge)에서 높은 성능을 나타내는 VGG-Net, GoogLeNet 및 ResNet 중 적어도 하나의 구조가 적용된 신경망을 이용할 수 있음은 전술한 바와 같다. 학습부(340)는 러닝 레이트(learning rate)를 0.01로 설정하고, 최대 학습 반복 횟수를 10,000회로 제한하여 제1 신경망을 학습하였다. 학습부(340)는 홍반(Erythema) 및 긁은 상처(Excoriation)의 경우 각각 1400개의 학습용 데이터, 600개의 검증용 데이터를 기반으로 제1 신경망을 학습하였고, 태선화(Lichenification)의 경우 308개의 학습용 데이터, 132개의 검증용 데이터를 기반으로 제1 신경망을 학습하였다.

상기 표1에서 홍반(Erythema)의 경우 ResNet V1 101 구조가 적용된 제1 신경망을 이용하는 경우, 병변 진단 장치의 인식 정확도(약 95.83%)가 가장 높게 나타났으며, ResNet V1 50(약 95.83%), ResNet V2 101과 ResNet V2 200 구조가 적용된 제1 신경망을 이용하는 경우 약 95.66%의 정확도를 나타냈다. 한편 긁은 상처(Excoriation)의 경우 ResNet V2 50 구조가 적용된 제1 신경망을 이용하는 경우 병변 진단 장치(10)의 인식 정확도가 약 94.00%로 측정되어 가장 우수한 성능을 나타냈으며, 그 뒤로 ResNet V2 101(약 93.33%), ResNet V1 101(약 93.00%)순으로 이미지 인식 성능을 나타냈다. 마지막으로 태선화(Lichenification)의 경우 VGG-Net 16과 VGG-Net 19 구조가 적용된 제1 신경망을 이용하는 경우 병변 진단 장치(10)의 인식 정확도는 약 89.00% 를 동일하게 기록하여 가장 우수한 성능을 보이는 것으로 나타났으며, 그 뒤로 ResNet V2 50(약 88.00%), Inception V2(84.50%)순으로 나타났다. 병변 진단 장치(10)가 각각의 병변 별로 제1 신경망을 학습하여 진단 모델을 생성할 수도 있지만, 각 병변 별로 학습된 제1 신경망을 조합하여 조합 진단 모델을 이용하여 병변을 진단할 수 있음은 전술한 바와 같다.

도 2는 도 1의 실시 예에서 특징 정보 산출부의 확대 블록도이다.

특징 정보 산출부(100)는 전처리부(120) 및 계산부(140)를 포함한다. 특징 정보 산출부(100)는 진단 대상 병변이 포함된 촬영 이미지에서 병변이 주로 포함되는 관심 영역(166, 164)을 설정하기 위한 특징 정보를 산출한다. 특징 정보 산출부(100)에서 산출하는 특징 정보는 관심 영역이 촬영 이미지 상에서 위치하는 좌표 정보를 포함함은 전술한 바와 같다.

전처리부(120)는 진단 대상 병변이 촬영된 이미지를 YOLO 구조가 적용된 제2 신경망에 입력하기 위한 사이즈로 리사이징하고, 리사이징된 이미지를 분할하여 격자셀을 생성한다. 본 발명의 전 처리부(120)가 생성한 격자셀 각각은 종속되는 기 설정된 수의 바운더리 셀을 가지고, 병변의 종류와 해당 종류의 병변이 존재하는 확률에 대한 정보가 인코딩 되어있다.

계산부(140)는 미리 학습된 제2 신경망을 이용하여 진단 대상 병변이 촬영된 이미지상에서 격자셀에 종속되는 복수의 바운더리 셀을 생성한다. 계산부(140)가 생성된 바운더리 셀은 촬영 이미지상에서 위치하는 바운더리 셀의 중심 좌표와, 크기의 비율, 해당 바운더리 셀 내에 병변이 존재할 확률에 대한 정보를 가진다. 예를 들어, 계산부(140)가 생성한 임의의 바운더리 셀 내에 병변이 존재할 확률이 높다면 바운더리 셀의 경계는 더 두껍게 표시 될 수 있다.

도 3은 도 2의 실시 예에서 특징 정보 산출부가 이용하는 컨벌루션 신경망의 구조를 나타낸다.

특징 정보 산출부(100)가 이용하는 제2 신경망은 입력 레이어, 히든 레이어 및 출력 레이어를 포함하고, 각각의 레이어는 내부에 적어도 하나의 뉴런과 뉴런 사이의 연결 강도에 관한 가중치 및 바이어스를 포함한다. 본 발명의 제2 신경망은 입력 레이어, 적어도 하나의 컨벌루션 레이어(144)와 풀링 레이어(146)가 교차되는 히든 레이어 및 출력 레이어로서 풀리 커넥티드 레이어(148)를 포함한다. 특징 정보 산출부(100)가 이용하는 제2 신경망에 포함된 컨벌루션 레이어(144)는 컨벌루션 연산을 통한 컨벌루션 특징을 추출한다. 보다 상세하게는, 컨벌루션 레이어(144)는 미리 정의된 컨벌루션 필터를 이동 시켜가면서, 이미지상에서 컨벌루션 연산을 하고, 그 결과 컨벌루션 특징들이 맵 상에서 표현되는 특징 맵(feature map)을 생성한다. 풀링 레이어(146)는 컨벌루션 레이어(144)의 중간에 주기적으로 위치하여 신경망의 파라미터의 수나 연산량을 줄이기 위해 깊이는 유지하면서, 공간의 사이즈를 줄이는 기능을 수행한다. 풀리 커넥티드 레이어(148)는 제2 신경망의 출력 레이어에 위치하여 바운더리 셀의 위치와 각 바운더리 셀 내에 병변이 존재할 확률을 출력한다.

특징 정보 산출부(100)는 전술한 YOLO 구조가 적용된 신경망을 이용하는 특징이 있고, 여기에 더하여 레지듀얼 연결(Residual Connection, 154)이 마련되는 레지듀얼 블록(152)을 포함하여, 성능이 향상되는 장점이 있다. 특징 정보 산출부(100)가 이용하는 제2 신경망은 인접한 레이어들을 연결하는 경로 외에도 레이어를 적어도 하나 이상 건너 뛰어 다른 레이어로 연결되는 레지듀얼 연결(154)이 마련되는 레지듀얼 블록(152)을 포함하고, 하나의 레지듀얼 블록(152)의 입력을 인접한 다른 레지듀얼 블록(152)의 입력으로 참조되도록 하며, 따라서, 신경망의 깊이가 깊어짐에 따라 발생하는 Vanishing Gradient 문제를 해결함으로서 최종적으로 아토피 병변이 포함된 관심 영역을 더 정확하게 검출하는 효과가 있다.

보다 상세하게는, 제2 신경망에 포함된 하나의 히든 레이어에서 본질적으로 학습하고자 하는 사상함수를 H(x)라고 하면, 레지듀얼 블록은 사상함수 H(x)에서 이전 히든 레이어의 입력 x를 제거한 H(x)-x를 학습하게 되고, 그 결과 이전 히든 레이어의 입력 x로부터 현재 히든 레이어까지의 실제 비선형 사상 함수를 F(x)라고 할 때, F(x)+x형태의 새로운 비선형 사상 함수를 학습하게 된다.

도 4는 도 2의 실시 예에서 특징 정보 산출부가 컨벌루션 신경망을 이용하여 생성한 격자셀과 바운더리 셀을 나타낸다.

특징 정보 산출부(100)가 제2 신경망을 이용하여 진단 대상 병변이 촬영된 이미지를 입력 받으면, 최종 출력으로 셀 내에 병변이 존재할 확률 및 위치 정보가 포함된 복수의 바운더리 셀들(164, 166, 172, 174)이 생성된다. 관심 영역 검출부(200)는 동일한 병변 이미지를 중복하여 포함하는 바운더리 셀들이 있는 경우, 동일한 병변 이미지를 중복하여 포함하는 바운더리 셀 각각의 병변이 존재할 확률을 기 설정된 임계치와 비교하여, 바운더리 셀을 제거함으로서, 셀 내 병변이 존재할 확률이 가장 높은 바운더리 셀을 관심 영역으로 검출할 수 있다.

도 5는 도 1의 실시 예에서 관심 영역 검출부의 확대 블록도이다.

관심 영역 검출부(200)는 바운더리 셀 제거부(220)를 포함한다. 바운더리 셀 제거부(220)는 셀 내부에 병변이 존재할 확률이 기 설정된 임계치 이하인 바운더리 셀을 제거한다. 바운더리 셀 제거부(220)가 바운더리 셀을 제거하기 위하여 사용하는 알고리즘에 대한 사항은 전술한 바와 같으므로 생략한다.

도 6은 아토피 피부염의 병변별, 중증도별 촬영 이미지의 예시도이다.

병변 진단 장치(10)는 진단 대상 병변이 촬영된 이미지를 입력 받아, 홍반, 구진, 긁은 상처 및 태선화를 포함하는 병변의 종류를 구분할 수 있고, 해당 병변의 종류에 따른 중증도를 진단할 수 있다. 전술한 각각의 병변은 단일로 발생할 수도 있지만, 여러 종류의 병변이 동시에 환부에서 발생할 수도 있고, 병변 진단 장치(10)는 입력된 환자의 촬영 이미지로부터 적어도 하나 이상의 병변의 종류와, 해당 종류 병변의 중증도를 진단할 수 있다.

도 7은 아토피 피부염의 병변별, 중증도별 촬영 이미지의 예시도이다.

병변 진단 장치(10)는 각 병변 별 중증도를 총 4단계로 구분하여 병변을 진단할 수 있다. 병변 진단 장치(10)가 병변을 진단하기 위하여 이용하는 제1 신경망은 학습용 데이터 및 정답 데이터를 기반으로 학습되고, 각각의 학습용 데이터 및 정답 데이터는 병변의 종류와 중증도가 미리 라벨링되어 있음은 전술한 바와 같다. 가공부(320)는 진단 대상 병변이 촬영된 이미지의 병변의 종류와 중증도를 라벨링함에 있어서 미리 설정된 의료 데이터 베이스에 저장된 아토피 피부염에 대한 자료를 이용할 수 있고, 신뢰성 있는 리서치 기관의 설문 조사 결과를 이용할 수 있다.

도 8은 도 1의 실시 예에서 진단부의 확대 블록도이다.

진단부(300)는 가공부(320), 학습부(340) 및 조합부(360)를 포함한다. 예를 들어, 진단부(300)는 검출된 관심 영역을 입력 받고, 미리 학습된 제1 신경망을 이용하여 입력된 관심 영역에 포함된 병변의 종류와 중증도를 진단할 수 있다. 진단부(300)는 병변 별 중증도를 진단하기 위한 진단 모델을 따로 학습하고, 따로 학습된 진단 모델을 조합하여 병변을 진단할 수도 있지만, 병변의 종류와 해당 종류 병변의 중증도를 모두 판단할 수 있는 진단 모델을 생성하여 병변을 진단할 수 있음은 전술한 바와 같다.

도 9는 도 8의 실시 예에서 진단부가 이용하는 컨벌루션 신경망의 구조를 나타낸다.

진단부(300)가 이용하는 제1 신경망은 컨벌루션 레이어(362, 366, 372), 서브 샘플링 레이어(364, 368) 및 풀리 커넥티드 레이어(375)를 포함한다. 컨 벌루션 레이어(362, 366, 372)는 이미지로부터 특성들을 추출하여 특징 맵(363, 367, 369)을 생성한다. 서브 샘플링 레이어(364, 368)는 이미지의 다운 샘플링과 같이 Position invariance에 대한 특징을 제공하는 역할을 한다. 컨벌루션 레이어(362, 366, 372)와 서브 샘플링 레이어(364, 368)의 반복을 통해 이미지 데이터에 내지된 고차원의 정보가 효과적으로 추출되어 완전연결 계층의 입력 자료료 활용된다. 풀리 커넥티드 레이어(375)는 컨벌루션 레이어(362, 366, 372)와 서브 샘플링 레이어(364, 368)의 반복을 통해 이미지 데이터로부터 추출된 고차원의 정보를 입력으로 하여 이미지를 최종적으로 분류한다. 진단부가 이용하는 제1 신경망은 일반 신경망과는 달리 내부에 포함된 레이어들이 가로, 세로, 깊이의 3개 차원을 가지고, 하나의 레이어에 위치한 뉴런들은 앞 레이어의 전체 뉴런이 아닌 일부에만 연결이 되는 특징을 가진다.

도 10은 본 발명의 일 실시 예에 따른 병변 진단 방법의 흐름도이다.

병변 진단 방법은 병변 진단 장치(10)에서 시계열적으로 수행되는 하기의 단계들을 포함한다.

S100에서, 특징 정보 산출부(100)는 진단 대상 병변이 촬영된 촬영 이미지를 입력 받아 상기 이미지에서 관심 영역을 결정하기 위한 특징 정보를 산출한다. 특징 정보 산출부(100)가 산출하는 특징 정보는 관심 영역을 검출하기 위한 정보로서, 진단 대상 병변을 중복하여 포함하는 바운더리 셀 중 가장 병변이 존재할 확률이 높은 바운더리 셀의 좌표 정보를 포함할 수 있다.

S200에서, 관심 영역 검출부(200)는 산출된 특징 정보를 이용하여 상기 이미지에서 상기 관심 영역을 검출한다. 예를 들어, 관심 영역 검출부(200)는 산출된 특징 정보 내에 포함된 바운더리 셀의 중심 좌표 정보를 이용하여 관심 영역을 검출할 수 있다. 관심 영역 검출부(200)는 이미지상 병변 그룹을 중복하여 포함하는 바운더리 셀들 중 하나의 바운더리 셀을 관심 영역으로 검출할 수 있고, 따라서 본 발명의 관심 영역은 병변이 촬영된 촬영 이미지 중에서 상기 병변에 해당하는 부분의 이미지를 적어도 일부 포함할 수 있다.

S220에서, 바운더리 셀 제거부(220)는 병변이 촬영된 이미지를 중복하여 포함하는 바운더리 셀 중 상기 바운더리 셀 내에 상기 병변이 존재하는 확률이 기 설정된 임계치 이상인지 여부를 고려하여 상기 병변이 촬영된 이미지를 중복하여 포함하는 바운더리 셀의 일부를 제거한다. 관심 영역 검출부(220)는 바운더리 셀 제거부(220)에서 제거하고 남은 바운더리 셀을 이용하여 관심 영역을 검출할 수 있다.

S300에서, 진단부(300)는 검출된 관심 영역을 입력으로 하고, 상기 병변의 종류 또는 중증도를 진단하기 위한 지표로서 적어도 하나의 병변 수치를 출력으로 하는 제1신경망(Neural Network)을 이용하여 상기 입력 이미지로부터 상기 대상 병변을 진단한다. 진단부(300)가 이용하는 제1 신경망의 출력으로서 병변 수치는 병변의 종류와 병변의 중증도에 대한 정보를 포함한다.

도 11은 도 10의 실시 예에서 산출하는 단계의 확대 흐름도이다.

S120에서, 전처리부(120)는 이미지를 미리 정의된 사이즈로 리사이징하고, 상기 리사이징된 이미지를 분할하여 미리 결정된 크기의 격자셀을 생성한다. 전처리부(120)가 생성한 격자셀은 격자셀에 종속되는 기 설정된 수의 바운더리 셀을 포함함은 전술한 바와 같다.

S130에서, 계산부(140)는 생성된 격자셀 내부에 중심을 가지며, 상기 대상 병변이 촬영된 이미지의 적어도 일부를 포함하여 상기 병변이 존재하는 확률을 나타내는 복수개의 바운더리 셀을 생성한다. 계산부(140)가 생성한 바운더리 셀이 나타내는 정보에 대한 사항은 전술한 바와 같다.

S140에서, 계산부(140)는 촬영 이미지를 입력으로 하고, 상기 바운더리 셀의 중심 좌표 또는 또는 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 출력으로 하는 제2 신경망(Neural Network)을 이용하여 상기 생성된 바운더리 셀 각각의 중심 좌표 및 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 계산한다. 계산부(140)에서 이용하는 제2 신경망은 컨벌루션 연산을 통한 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 바운더리 셀의 중심 좌표와 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 계산하는 적어도 하나의 풀리 커넥티드 레이어를 포함하고, 학습용 데이터 및 미리 결정된 바운더리 셀에 관한 정답 데이터를 기반으로 상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어 내부의 뉴런 사이의 연결 강도에 관한 가중치를 결정하여 미리 학습될 수 있다.

또한, 계산부(140)가 이용하는 제2 신경망은 인접한 컨벌루션 레이어를 연결하는 경로 및 상기 인접한 컨벌루션 레이어를 적어도 하나 이상 건너 뛰어 다른 컨벌루션 레이어로 연결되는 레지듀얼 경로가 마련된 레지듀얼 블록을 포함하고, 상기 레지듀얼 블록은 상기 레지듀얼 블록의 입력을 인접한 다른 레지듀얼 블록의 입력으로 참조될 수 있다. 제2 신경망이 레지듀얼 블록을 통하여 학습하는 사상함수의 내용은 전술한 바와 같으므로 생략한다.

도 12는 도 10의 실시 예에서 진단하는 단계의 확대 흐름도이다.

S320에서, 가공부(320)는 상기 관심 영역이 검출된 복수개의 촬영 이미지를 미리 설정된 기준에 따라 하나 이상의 병변 별로 분류하고, 상기 분류된 촬영 이미지에 포함된 상기 병변의 중증도를 라벨링한다. S340에서, 학습부(340)는 병변의 종류 또는 해당 종류 병변의 중증도가 라벨링된 복수개의 촬영 이미지 중 일부를 학습용 데이터, 나머지 일부를 검증용 데이터로 설정하고, 상기 학습용 데이터 및 검증용 데이터를 기반으로 상기 제1 신경망을 학습한다. 본 발명의 제1 신경망은 컨벌루션 연산을 통한 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 병변의 종류 또는 정도를 분류하는 풀리 커넥티드 레이어를 포함하고, 상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어 내부의 뉴런 사이의 연결 강도에 관한 가중치를 결정하여 미리 학습되며, 상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어의 배치 구조와 배치수는 진단하고자 하는 상기 병변의 종류에 따라 서로 다르게 마련될 수 있다.

도 13은 본 발명의 일 실시 예에 따른 병변 진단 방법의 흐름도이다.

본 발명의 병변 진단 장치(10)는 진단 대상 병변이 촬영된 촬영 이미지(20)를 입력 받는다. S120에서, 전처리부(120)는 입력 받은 촬영 이미지를 미리 정의된 사이즈로 리사이징하고, 리사이징된 이미지를 분할하여 미리 결정된 크기의 격자셀을 생성한다.

S140에서, 계산부(140)는 촬영 이미지를 입력으로 하고, 상기 바운더리 셀의 중심 좌표 또는 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 출력으로 하는 제2 신경망(Neural Network)을 이용하여 상기 격자셀에 종속되는 상기 바운더리 셀을 생성하고, 상기 생성된 바운더리 셀 각각의 중심 좌표 및 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 계산한다.

S200에서, 관심 영역 검출부(200)는 산출된 특징 정보를 이용하여 병변이 주로 포함된 영역인 관심 영역을 검출한다. S300에서, 진단부(300)는 검출된 관심 영역을 입력으로 하고, 상기 병변의 종류 또는 중증도를 진단하기 위한 지표로서 적어도 하나의 병변 수치를 출력으로 하는 제1신경망(Neural Network)을 이용하여 상기 입력 이미지로부터 상기 대상 병변을 진단한다. 본 발명의 진단부(300)는 제1 신경망을 이용하여 병변의 종류와 해당 병변 종류별 중증도를 포함하는 병변 수치(30)를 출력하여 입력된 촬영 이미지로부터 병변을 진단할 수 있다.

상기 설명된 본 발명의 일 실시예의 방법의 전체 또는 일부는, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 기록 매체의 형태(또는 컴퓨터 프로그램 제품)로 구현될 수 있다. 여기에서, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체(예를 들어, 메모리, 하드디스크, 자기/광학 매체 또는 SSD(Solid-State Drive) 등)를 포함할 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다.

또한, 본 발명의 일 실시예에 따르는 방법의 전체 또는 일부는 컴퓨터에 의해 실행 가능한 명령어를 포함하며, 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다.

본 명세서에서의 부(means) 또는 모듈(Module)은 본 명세서에서 설명되는 각 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 특정 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또는 특정 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예를 들어 프로세서 또는 마이크로 프로세서를 의미할 수 있다. 다시 말해, 부(means) 또는 모듈(Module)은 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및/또는 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적 및/또는 구조적 결합을 의미할 수 있다.

따라서 본 발명의 일 실시예에 따르는 방법은 상술한 바와 같은 컴퓨터 프로그램이 컴퓨팅 장치에 의해 실행됨으로써 구현될 수 있다. 컴퓨팅 장치는 프로세서와, 메모리와, 저장 장치와, 메모리 및 고속 확장포트에 접속하고 있는 고속 인터페이스와, 저속 버스와 저장 장치에 접속하고 있는 저속 인터페이스 중 적어도 일부를 포함할 수 있다. 이러한 성분들 각각은 다양한 버스를 이용하여 서로 접속되어 있으며, 공통 머더보드에 탑재되거나 다른 적절한 방식으로 장착될 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

진단 대상 병변이 촬영된 촬영 이미지를 입력 받아 상기 이미지에서 관심 영역을 결정하기 위한 특징 정보를 산출하는 특징 정보 산출부;
상기 산출된 특징 정보를 이용하여 상기 이미지에서 상기 관심 영역을 검출하는 관심 영역 검출부; 및
상기 검출된 관심 영역을 입력으로 하고, 상기 병변의 종류 또는 중증도를 진단하기 위한 지표로서 적어도 하나의 병변 수치를 출력으로 하는 제1신경망(Neural Network)을 이용하여 상기 입력 이미지로부터 상기 대상 병변을 진단하는 진단부; 를 포함하는 병변 진단 장치.
제1항에 있어서, 상기 특징 정보 산출부는
상기 이미지를 미리 정의된 사이즈로 리사이징하고, 상기 리사이징된 이미지를 분할하여 미리 결정된 크기의 격자셀을 생성하는 전처리부; 를 더 포함하고,
상기 전처리된 상기 이미지를 이용하여 상기 특징 정보를 산출하는 것을 특징으로 하는 병변 진단 장치.
제1항에 있어서,
상기 관심 영역은 상기 병변이 촬영된 촬영 이미지 중에서 상기 병변에 해당하는 부분의 이미지를 적어도 일부 포함하고,
상기 특징 정보는 상기 이미지에서 상기 관심 영역의 중심 좌표를 포함하는 것을 특징으로 하는 병변 진단 장치.
제2항에 있어서, 상기 특징 정보 산출부는
상기 생성된 격자셀 내부에 중심을 가지며, 상기 대상 병변이 촬영된 이미지의 적어도 일부를 포함하여 상기 병변이 존재하는 확률을 나타내는 복수개의 바운더리 셀을 이용하여 상기 특징 정보를 산출하는 것을 특징으로 하는 병변 진단 장치.
제4항에 있어서, 상기 특징 정보 산출부는
상기 촬영 이미지를 입력으로 하고, 상기 바운더리 셀의 중심 좌표 또는 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 출력으로 하는 제2 신경망(Neural Network)을 이용하여 상기 격자셀에 종속되는 상기 바운더리 셀을 생성하고, 상기 생성된 바운더리 셀 각각의 중심 좌표 및 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 계산하는 계산부; 를 더 포함하고,
상기 확률 및 상기 중심 좌표가 계산된 바운더리 셀을 이용하여 상기 특징 정보를 산출하는 것을 특징으로 하는 병변 진단 장치.
제4항에 있어서, 상기 관심 영역 검출부는
상기 병변이 촬영된 이미지를 중복하여 포함하는 바운더리 셀 중 상기 바운더리 셀 내에 상기 병변이 존재하는 확률이 기 설정된 임계치 이상인지 여부를 고려하여 상기 병변이 촬영된 이미지를 중복하여 포함하는 바운더리 셀의 일부를 제거하는 바운더리 셀 제거부; 를 더 포함하고,
제거되고 남은 바운더리 셀을 이용하여 상기 특징 정보를 산출하는 것을 특징으로 하는 병변 진단 장치.
제5항에 있어서, 상기 제2 신경망은
컨벌루션 연산을 통한 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 바운더리 셀의 중심 좌표와 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 계산하는 적어도 하나의 풀리 커넥티드 레이어를 포함하는 것을 특징으로 하는 병변 진단 장치.
제7항에 있어서, 상기 제2 신경망은
학습용 데이터 및 미리 결정된 바운더리 셀에 관한 정답 데이터를 기반으로 상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어 내부의 뉴런 사이의 연결 강도에 관한 가중치를 결정하여 미리 학습되는 것을 특징으로 하는 병변 진단 장치.
제7항에 있어서, 상기 제2 신경망은
인접한 컨벌루션 레이어를 연결하는 경로 및 상기 인접한 컨벌루션 레이어를 적어도 하나 이상 건너 뛰어 다른 컨벌루션 레이어로 연결되는 레지듀얼 경로가 마련된 레지듀얼 블록을 포함하고,
상기 레지듀얼 블록은 상기 레지듀얼 블록의 입력을 인접한 다른 레지듀얼 블록의 입력으로 참조되도록 하는 것을 특징으로 하는 병변 진단 장치.
제1항에 있어서, 상기 진단부는
상기 관심 영역이 검출된 복수개의 촬영 이미지를 미리 설정된 기준에 따라 하나 이상의 병변 별로 분류하고, 상기 분류된 촬영 이미지에 포함된 상기 병변의 중증도를 라벨링하는 가공부; 를 더 포함하고,
상기 라벨링된 상기 촬영 이미지를 기반으로 학습된 상기 제1 신경망을 이용하여 상기 병변을 진단하는 것을 특징으로 하는 병변 진단 장치.
제1항에 있어서, 상기 제1 신경망은
컨벌루션 연산을 통한 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 병변의 종류 또는 정도를 분류하는 풀리 커넥티드 레이어를 포함하고,
상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어의 배치 구조와 배치수는 진단하고자 하는 상기 병변의 종류에 따라 서로 다르게 마련되는 것을 특징으로 하는 병변 진단 장치.
제11항에 있어서, 상기 진단부는
상기 중증도가 라벨링된 복수개의 촬영 이미지 중 일부를 학습용 데이터, 나머지 일부를 검증용 데이터로 설정하고,
상기 학습용 데이터 및 검증용 데이터를 기반으로 상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어 내부의 뉴런 사이의 연결 강도에 관한 가중치를 결정하여 상기 제1 신경망을 학습하는 학습부; 를 더 포함하고,
상기 학습된 제1 신경망을 이용하여 상기 촬영 이미지에서 상기 병변을 진단하는 것을 특징으로 하는 병변 진단 장치.
제12항에 있어서, 상기 학습부는
상기 가중치를 입력으로 하며 상기 가중치에 따른 상기 제1 신경망의 출력과 상기 검증용 데이터를 기반으로 도출되는 상기 제1 신경망의 실제 출력의 차이를 정의하는 손실 함수를 최소화하는 러닝 레이트 및 학습 반복 횟수를 고려하여 상기 제1 신경망을 학습하는 것을 특징으로 하는 병변 진단 장치.
제12항에 있어서, 상기 진단부는
상기 병변의 종류에 따라 서로 다르게 학습된 상기 제1신경망을 진단하고자 하는 병변의 종류를 고려하여 조합하는 조합부; 를 더 포함하고,
상기 병변의 종류를 고려하여 조합된 상기 제1 신경망을 이용하여 상기 병변을 진단하는 것을 특징으로 하는 병변 진단 장치.
진단 대상 병변이 촬영된 촬영 이미지를 입력 받아 상기 이미지에서 관심 영역을 결정하기 위한 특징 정보를 산출하는 단계;
상기 산출된 특징 정보를 이용하여 상기 이미지에서 상기 관심 영역을 검출하는 단계; 및
상기 검출된 관심 영역을 입력으로 하고, 상기 병변의 종류 또는 중증도를 진단하기 위한 지표로서 적어도 하나의 병변 수치를 출력으로 하는 제1신경망(Neural Network)을 이용하여 상기 입력 이미지로부터 상기 대상 병변을 진단하는 단계; 를 포함하는 병변 진단 방법.
제15항에 있어서,
상기 관심 영역은 상기 병변이 촬영된 촬영 이미지 중에서 상기 병변에 해당하는 부분의 이미지를 적어도 일부 포함하고,
상기 특징 정보는 상기 이미지에서 상기 관심 영역의 중심 좌표를 포함하는 것을 특징으로 하는 병변 진단 방법.
제15항에 있어서, 상기 산출하는 단계는
상기 이미지를 미리 정의된 사이즈로 리사이징하고, 상기 리사이징된 이미지를 분할하여 미리 결정된 크기의 격자셀을 생성하는 단계; 및
상기 생성된 격자셀 내부에 중심을 가지며, 상기 대상 병변이 촬영된 이미지의 적어도 일부를 포함하여 상기 병변이 존재하는 확률을 나타내는 복수개의 바운더리 셀을 생성하는 단계; 를 더 포함하고,
상기 생성된 격자셀 및 바운더리 셀을 이용하여 상기 특징 정보를 산출하는 것을 특징으로 하는 병변 진단 방법.
제17항에 있어서, 상기 산출하는 단계는
상기 촬영 이미지를 입력으로 하고, 상기 바운더리 셀의 중심 좌표 또는 또는 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 출력으로 하는 제2 신경망(Neural Network)을 이용하여 상기 생성된 바운더리 셀 각각의 중심 좌표 및 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 계산하는 단계; 를 더 포함하고,
상기 확률 및 상기 중심 좌표가 계산된 바운더리 셀을 이용하여 상기 특징 정보를 산출하는 것을 특징으로 하는 병변 진단 방법.
제15항에 있어서, 상기 검출하는 단계는
상기 병변이 촬영된 이미지를 중복하여 포함하는 바운더리 셀 중 상기 바운더리 셀 내에 상기 병변이 존재하는 확률이 기 설정된 임계치 이상인지 여부를 고려하여 상기 병변이 촬영된 이미지를 중복하여 포함하는 바운더리 셀의 일부를 제거하는 단계; 를 더 포함하고,
제거되고 남은 바운더리 셀을 이용하여 상기 관심 영역을 검출하는 것을 특징으로 하는 병변 진단 방법.
제18항에 있어서, 상기 제2 신경망은
컨벌루션 연산을 통한 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 바운더리 셀의 중심 좌표와 상기 바운더리 셀 내의 상기 병변이 존재하는 확률을 계산하는 적어도 하나의 풀리 커넥티드 레이어를 포함하고,
학습용 데이터 및 미리 결정된 바운더리 셀에 관한 정답 데이터를 기반으로 상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어 내부의 뉴런 사이의 연결 강도에 관한 가중치를 결정하여 미리 학습되는 것을 특징으로 하는 병변 진단 방법.
제20항에 있어서, 상기 제2 신경망은
인접한 컨벌루션 레이어를 연결하는 경로 및 상기 인접한 컨벌루션 레이어를 적어도 하나 이상 건너 뛰어 다른 컨벌루션 레이어로 연결되는 레지듀얼 경로가 마련된 레지듀얼 블록을 포함하고,
상기 레지듀얼 블록은 상기 레지듀얼 블록의 입력을 인접한 다른 레지듀얼 블록의 입력으로 참조되도록 하는 것을 특징으로 하는 병변 진단 방법.
제15항에 있어서, 상기 진단하는 단계는
상기 관심 영역이 검출된 복수개의 촬영 이미지를 미리 설정된 기준에 따라 하나 이상의 병변 별로 분류하고, 상기 분류된 촬영 이미지에 포함된 상기 병변의 중증도를 라벨링하는 단계; 및
상기 중증도가 라벨링된 복수개의 촬영 이미지 중 일부를 학습용 데이터, 나머지 일부를 검증용 데이터로 설정하고, 상기 학습용 데이터 및 검증용 데이터를 기반으로 상기 제1 신경망을 학습하는 단계; 를 더 포함하고,
상기 학습된 제1 신경망을 이용하여 상기 촬영 이미지에서 상기 병변을 진단하는 것을 특징으로 하는 병변 진단 방법.
제22항에 있어서, 상기 제1 신경망은
컨벌루션 연산을 통한 컨벌루션 특징을 추출하는 적어도 하나의 컨벌루션 레이어 및 상기 컨벌루션 레이어의 일단에 연결되어 상기 병변의 종류 또는 정도를 분류하는 풀리 커넥티드 레이어를 포함하고,
상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어 내부의 뉴런 사이의 연결 강도에 관한 가중치를 결정하여 미리 학습되며,
상기 컨벌루션 레이어 및 상기 풀리 커넥티드 레이어의 배치 구조와 배치수는 진단하고자 하는 상기 병변의 종류에 따라 서로 다르게 마련되는 것을 특징으로 하는 병변 진단 방법.
프로세서에 의해 실행되는 것을 통하여 제15항 내지 제23항 중 어느 한 항에 기재된 병변 진단 방법을 실현하는 컴퓨터에서 판독 가능한 기록매체에 저장된 프로그램.