KR20220138900A

KR20220138900A - 딥러닝을 이용한 반려동물 질환 추론 모듈 및 전자 장치

Info

Publication number: KR20220138900A
Application number: KR1020210044524A
Authority: KR
Inventors: 지영호
Original assignee: 주식회사 알파도
Priority date: 2021-04-06
Filing date: 2021-04-06
Publication date: 2022-10-14
Also published as: KR102537769B1

Abstract

반려동물 질환 추론 모듈은, 반려동물의 질환 데이터를 포함하는 질환 학습 이미지를 수집하는 질환 학습 이미지 수집부, 상기 수집한 질환 학습 이미지를 질환 종류 별로 분류하는 질환 이미지 분류부, 상기 분류된 이미지에 질환 종류별 특징과 연관되는 레이블링을 수행하는 이미지 전처리부 및 전처리가 완료된 이미지를 입력값으로 하여 잔여 학습(residual learning) 기반의 컨벌루션 뉴럴 네트워크(Convolution Neural Network)로 질환 추론 모델을 구축하는 질환 추론 모델 구축부를 포함한다.

Description

딥러닝을 이용한 반려동물 질환 추론 모듈 및 전자 장치 {A method and electronic device for distinguishing pet disease using deep-learning}

본 발명은 딥러닝을 이용한 반려동물 질환 추론 모듈 및 전자 장치에 관한 것이다.

최근 애완동물에 대한 관심이 높아지고 있으며, 애완동물의 위치가 애완동물에서 가족의 개념인 반려동물로 변화하고 있다. 반려동물을 기르는 가정이 증가하면서, 동물병원이나 반려동물 미용실, 애견카페와 같은 반려동물의 관리를 위한 오프라인 서비스 시장도 지속적으로 성장하고 있으며, 온라인에서도 반려동물의 분양이라든가 반려동물용 용품 판매, 반려동물의 예방 접종 등의 위생 관리, 반려동물의 미용 관리와 관련한 웹 사이트, 블로그, 카페 등을 찾아볼 수 있다. 한편, 반려동물의 보호자는 반려동물의 질병 예방차원에서 예방접종, 치석제거, 구충제 투여, 정기 검진 등 여러 가지 질병의 예방을 위한 노력을 기울이고 있으며, 동물병원에서 제공하는 '반려수첩' 등에 의존하여 반려동물의 건강관리를 하고 있는 실정이다. 그러나, 사람과는 달리 사람이 원하는 대로 컨트롤하는 것이 어려운 반려동물의 특성상 동물병원에 가지 않고도 질환을 예측할 수 있는 시스템의 개발이 요구된다.

최근 딥 러닝이나 머신 러닝 등의 인공지능 모델을 적용하여 피부 상태를 측정하거나 분석하는 장치들이 개발되고 있으나, 신뢰성 높은 수준의 피부 질환 진단을 수행하고 그에 따른 맞춤 제품을 추천하거나 처방 및 관리 가이드를 종합적으로 제공하는 것은 한계가 있으며, 대부분의 시스템이 인간 위주로만 개발되어 반려 동물(개, 고양이)를 대상으로 한 시스템은 어렵다는 한계가 있다.

상술한 바와 같은 문제점을 해결하기 위해, 본 발명은 딥러닝을 이용한 반려동물 질환 추론 모듈 및 전자 장치를 제공하고자 한다.

본 발명의 일 실시예에 다른 반려동물 질환 추론 모듈은, 반려동물의 질환 데이터를 포함하는 질환 학습 이미지를 수집하는 질환 학습 이미지 수집부; 수집한 상기 질환 학습 이미지를 질환 종류 별로 분류하는 질환 이미지 분류부; 상기 분류된 이미지에 질환 종류별 특징과 연관되는 레이블링을 수행하는 이미지 전처리부; 및 전처리가 완료된 이미지를 입력값으로 하여 잔여 학습(residual learning) 기반의 컨벌루션 뉴럴 네트워크(Convolution Neural Network)로 질환 추론 모델을 구축하는 질환 추론 모델 구축부;를 포함한다.

상기 질환 추론 모델 구축부는 눈 질환 추론 모델, 치아 질환 추론 모델, 귀 질환 추론 모델 중 적어도 하나를 포함한다.

상기 눈 질환 추론 모델은,

잔여 학습 기반의 컨벌루션 뉴럴 네트워크로 인코더 네트워크를 구성하는 단계; 눈 질병 특징별로 분할하는 네트워크(Semantic segmentation network)를 디코더 네트워크로 구성하는 단계; 및 픽셀 영역 크기별 도출가능한 특징을 기준으로 여러 깊이를 가지는 특징 레이어를 결합하는 단계;를 포함한다.

상기 치아 질환 추론 모델은, 잔여 학습 기반의 컨벌루션 뉴럴 네트워크로 인코더 네트워크를 구성하는 단계; 치아의 구조적인 영역을 예측하는 모델로 치근의 영역을 검출하는 단계; 치아의 질병 특징을 찾는 모델로 치석의 영역을 검출하는 단계; 및 모델의 예측 결과를 병합하여 최종적으로 치아 질환을 종합 예측하는 단계; 를 포함한다.

상기 귀 질환 추론 모델은, 잔여 학습 기반의 컨벌루션 뉴럴 네트워크로 인코더 네트워크를 구성하는 단계; 귀의 입체적 특성을 고려한 그림자 데이터에 대한 레이블링을 수행하는 단계; 및 외이염과 그림자를 구분하도록 귀 질환 추론 모델을 학습시키는 단계;를 포함한다.

상기 질환 이미지 분류부는, 눈 질환 이미지에 대해서 결막염, 백내장, 각막궤양, 안검염, 3안검돌출, 녹내장, 수정체변위, 각막변성증, 안검내번, 포도막염, KCS건성각결막염, 첩모난생, 각막염, 핵경화, 유루증 중 적어도 하나의 질환으로 분류하고,

상기 이미지 전처리부는, 상기 결막염에 대해서는 부음, 충혈, 점막의 질환특징 중 적어도 하나를 레이블링하고, 상기 백내장에 대해서는 수정체 혼탁, y자형의 질환특징 중 적어도 하나를 레이블링 하고, 상기 각막궤양의 경우, 각막손상, 혼탁, 고름, 화산 모양의 질환특징 중 적어도 하나를 레이블링 하고, 상기 안검염의 경우 염증, 출혈의 질환특징 중 적어도 하나를 레이블링 하고, 상기 3안검돌출의 경우 돌출의 질환특징을 레이블링 하고, 상기 녹내장의 경우, 동공부동, 대안구증, 충혈, 푸른색상, 장액성의 질환특징 중 적어도 하나를 레이블링 하고, 상기 수정체변위의 경우, 수정체 이탈의 질환특징을 레이블링 하고, 상기 각막변성증의 경우, 유리섬유, 각막혼탁의 질환특징 중 적어도 하나를 레이블링 하고, 상기 안검내번의 경우, 안검말림, 안검처짐, 안검손상, 각막손상의 질환특징 중 적어도 하나를 레이블링 하고, 상기 포도막염의 경우, 방수흐림, 색상변화의 질환특징 중 적어도 하나를 레이블링 하고, 상기 KCS건성각결막염은 색소침착, 충혈, 눈곱, 각막혼탁의 질환특징 중 적어도 하나를 레이블링 하고, 상기 첩모난생은 털(hair)의 질환특징을 레이블링하고, 상기 각막염은 지방 침전물, 색소침착, 충혈의 질환특징 중 적어도 하나를 레이블링 하고, 상기 핵경화는 회색의 구 형상의 질환특징을 레이블링하고, 상기 유루증은 눈의 갈색 색상의 질환특징을 레이블링할 수 있다.

상기 질환 이미지 분류부는, 치아 질환 이미지에 대해서 치은염, 치주염 중 적어도 하나의 질환으로 분류하고,

상기 이미지 전처리부는, 상기 치은염의 경우, 잇몸 염증, 치석 의 질환특징 중 적어도 하나를 레이블링 하고, 상기 치주염의 경우, 잇몸 염증, 치아 염증, 치석, 치아뿌리, 잇몸 결손 중 적어도 하나를 레이블링 할 수 있다.

상기 질환 이미지 분류부는, 귀 질환 이미지에 대해서 세균성 외이염, 효모성 외이염, 기생충성 외이염 중 적어도 하나의 질환으로 분류하고,

상기 이미지 전처리부는, 상기 세균성 외이염의 경우, 노란색 농의 질환특징을 레이블링 하고, 상기 효모성 외이염의 경우, 암갈색 귀지의 질환특징을 레이블링 하고, 상기 기생충성 외이염의 경우, 검정색 딱지, 커피색 딱지 중 적어도 하나의 질환특징을 레이블링 할 수 있다.

상기 눈 질환 추론 모델은 결막 부음 정도 수치화, 결막 출혈 정도 수치화, 안검의 염증 정도 수치화, 3안검 돌출 상태의 수치화, 눈밑 피부 색상 수치화 중 적어도 하나의 질환특징을 도출하는 특징 노드를 포함하고, 상기 치아 질환 추론 모델은 치근의 넓이로 인한 치주염 확률, 치석 심각도, 잇몸 출혈로 인한 치주염 확률, 잇몸 결손과 관련된 치주염 확률 중 적어도 하나의 질환특징을 도출하는 특징 노드를 포함하고, 상기 귀 질환 추론 모델은, 노란색 농 면적 수치화, 노란색 농 색깔 수치화, 귀지의 양 수치화, 딱지 정도 수치화, 딱지 색상 수치화 중 적어도 하나의 질환특징을 도출하는 특징 노드를 포함할 수 있다.

상기 질환 추론 모델 구축부에 검증 데이터(validation data)를 바탕으로 교차 모델 학습을 수행하는 질환 추론 모델 개선부; 및 상기 질환 추론 모델 구축부에 테스트 데이터(test data)를 바탕으로 모델 질환 추론 모델 구축부의 성능을 평가하는 질환 추론 모델 평가부;를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 질환 추론 모델 구축부를 포함하는 전자 장치에 있어서, 상기 질환 추론 모델 구축부는 반려동물의 질환 데이터를 포함하는 질환 학습 이미지를 수집하는 질환 학습 이미지 수집부, 수집한 상기 질환 학습 이미지를 질환 종류 별로 분류하는 질환 이미지 분류부, 상기 분류된 이미지에 질환 종류별 특징과 연관되는 레이블링을 수행하는 이미지 전처리부 및 전처리가 완료된 이미지를 입력값으로 하여 잔여 학습(residual learning) 기반의 컨벌루션 뉴럴 네트워크(Convolution Neural Network)로 질환 추론 모델을 구축하는 질환 추론 모델 구축부를 포함한다.

본 발명에 따른 딥러닝을 이용한 반려동물 질환 추론 모듈 및 전자 장치는, 질환별 학습 이미지 셋을 이용하여 잔여 학습 기반의 컨벌루션 네트워크 알고리즘으로 정밀도 높은 모델 구축이 가능하다.

본 발명에 따른 딥러닝을 이용한 반려동물 질환 추론 모듈 및 전자 장치는, 반려 동물의 주요 질병 눈, 치아, 귀 별로 별도의 추론 모델을 구축하고, 부위 별 질환 추론이 가능하다.

눈 질환 추론 모델은 눈 질환 이미지 특성을 고려하여(질환 특징의 크기가 다양) 픽셀 영역에 따라 여러 깊이를 가지는 특징 레이어를 결합하여 효율적인 질환 추론이 가능하다.

치아 질환 추론 모델은 치아 질환 이미지 특성을 고려하여, 치아의 구조적인 영역과 치아의 질병 특징을 구분할 수 있도록 복합 모델을 구성하여 효율적인 질환 추론이 가능하다.

귀 질환 추론 모델은 귀 질환 이미지 특성을 고려하여, 귀의 그림자 데이터에 대한 레이블링을 수행하여 효율적인 질환 추론이 가능하다.

본 발명에 따른 딥러닝을 이용한 반려동물 질환 추론 모듈 및 전자 장치는, 부위별 질환 및 질환 특성에 대한 레이블링을 수행하는 전처리 과정을 수행함으로써 효율적인 데이터 학습이 가능하다.

본 발명에 따른 딥러닝을 이용한 반려동물 질환 추론 모듈 및 전자 장치는, 잔여 학습 기반의 컨벌루션 네트워크 알고리즘을 통해 눈 질환, 치아 질환, 귀 질환에 대하여 각기 질병 특징 함수를 도출하는 특징 노드를 포함하는 모델을 구축할 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명에 따른 반려동물 질환 추론 모듈의 구성을 도시한 블록도이다.
도 2는 본 발명에 따른 질환 이미지 수집부, 질환 이미지 분류부, 이미지 전처리부의 이미지 처리의 예시를 도시한 도면이다.
도 3은 질환 추론 모델 구축부의 상세 구성을 도시한 블록도이다.
도 4는 본 발명에 따른 눈 질환 추론 모델의 구축 방법을 도시한 순서도이다.
도 5는 본 발명에 따른 치아 질환 추론 모델의 구축 방법을 도시한 순서도이다.
도 6은 본 발명에 따른 귀 질환 추론 모델의 구축 방법을 도시한 순서도이다.
도 7은 본 발명에 따라 구축된 눈 질환 추론 모델의 도출된 특징 함수의 예시를 나타낸 블록도이다.
도 8은 본 발명에 따라 구축된 치아 질환 추론 모델의 도출된 특징 함수의 예시를 나타낸 블록도이다.
도 9는 본 발명에 따라 구축된 귀 질환 추론 모델의 도출된 특징 함수의 예시를 나타낸 블록도이다.
도 10는 본 발명에 따른 눈 귀 질환 추론 모델의 반복 학습 회수(Epoch)에 따른 IoU를 학습 데이터 및 검증 데이터에 대해 교차 학습한 경우 데이터를 도시한 그래프이다.
도 11은 본 반려동물 질환 추론 모듈이 탑재된 전자 장치 및 해당 장치를 통한 입력 데이터를 예시적으로 도시한 도면이다.

이하, 첨부된 도면을 참조하여 본 개시의 바람직한 실시예들을 상세히 설명한다. 본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시의 기술적 사상은 이하의 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 개시의 기술적 사상을 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시의 기술적 사상은 청구항의 범주에 의해 정의될 뿐이다.

각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 개시를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.

또한, 본 개시의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.

본 개시에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

어느 하나의 실시예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성 요소는, 다른 실시예에서 동일한 명칭을 사용하여 설명될 수 있다. 반대되는 기재가 없는 이상, 어느 하나의 실시예에 기재된 설명은 다른 실시예에도 적용될 수 있으며, 중복되는 범위 또는 당해 기술 분야에 속한 통상의 기술자가 자명하게 이해할 수 있는 범위 내에서 구체적인 설명은 생략될 수 있다.

이하, 본 개시의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.

이하, 본 발명의 바람직한 실시예 및 첨부한 도면을 참조하여 본 발명에 대해 상세히 설명한다.

도 1은 본 발명에 따른 반려동물 질환 추론 모듈의 구성을 도시한 블록도이다. 도 1을 참조하면, 반려동물 질환 추론 모듈(100)은 질환 학습 이미지 수집부(110), 질환 이미지 분류부(120), 이미지 전처리부(130), 질환 추론 모델 구축부(140)를 포함할 수 있다. 반려동물 질환 추론 모듈(100)은 질환 추론 모델 평가부(150) 및 질환 추론 모델 개선부(160)을 더 포함할 수 있다.

질환 학습 이미지 수집부(110)는, 반려동물의 질환 데이터를 포함하는 질환 학습 이미지를 수집한다.

질환 이미지 분류부(120)는, 수집한 상기 질환 학습 이미지를 질환 종류 별로 분류한다.

이미지 전처리부(130)는, 상기 분류된 이미지에 질환 종류별 특징과 연관되는 레이블링을 수행한다.

질환 추론 모델 구축부(140)는, 전처리가 완료된 이미지를 입력값으로 하여 잔여 학습(residual learning) 기반의 컨벌루션 뉴럴 네트워크(Convolution Neural Network)로 질환 추론 모델을 구축한다.

컨벌루션 뉴럴 네트워크는 이미지 인식 분야에서 주로 사용되고 있으며, End-to-End Network가 합쳐지며 깊이(depth;stacked layer)가 깊어 질수록 향상된 성능이 도출된 다는 것이 검증된바 있다. 그러나 깊이를 단순히 상승시키는 것으로는 감소 문제(degradation problem)로 인해 가중치의 분포가 균등하지 않고 역전파시 기울기가 모자라 모델의 학습이 불안정한 문제가 발생한다.

이를 해결하기 위해 질환 추론 모델 구축부(140)는 잔여 학습 방식의 컨벌루션 뉴럴 네트워크를 도입함으로써 효율적인 이미지 학습이 가능할 수 있다. H(x)를 기존의 네트워크라고 할 때 (x는 layer의 input), F(x) = H(x) - x로 바꿔 F(x) + x를 H(x)에 근사하도록 매핑(Residual mapping)을 하고, 이를 feed-forward neural network에 적용한 것이 "Shortcut connection"이다. 이러한, Shortcut connection을 Neural Network에 사용하여 역전파(back propagation)함으로써 잔여 학습 기반의 컨벌루션 뉴럴 네트워크 학습이 가능하다.

나아가, 질환 추론 모델 구축부(140)는 연산량 저감을 위해 풀링 레이어(pooling layer)를 도입할 수 있다. 입력 데이터에 대해서 최대값을 기준으로한 맥스 풀링 레이어(max pooling layer)를 도입함으로써 원 픽셀 고유의 특성을 유지시키면서도 픽셀의 개수를 감축시켜 학습 시간을 감축 시킬 수 있다. 풀링 레이어는 학습 레이어의 중간에 필요에 따라 삽입될 수 있으며 특정 규칙을 통해 정해지는 것은 아닐 수 있다.

나아가, 질환 추론 모델 구축부(140)는 효율적인 질환 추론을 위해 유네트(U-net) 방식의 알고리즘을 적용할 수 있다. 복수개의 순차적 레이어로 구성된 모델에 있어서, 비순차적 레이어들 사이의 결과값을 공유함으로써 좁은 영역 데이터의 질환 특징 도출 능력을 향상시킬 수 있다. 질환 추론 모델 구축부(140)에 있어서 유네트 방식의 알고리즘 적용 방식이 강제되는 것은 아니며, 이전 레이어와 이후 레이어를 결합한 다양한 방식의 레이어 결합 알고리즘을 응용 적용할 수 있다.

질환 추론 모델 평가부(150)는, 상기 질환 추론 모델 구축부에 검증 데이터(validation data)를 바탕으로 교차 모델 학습을 수행한다.

질환 추론 모델 개선부(160)는, 상기 질환 추론 모델 구축부에 테스트 데이터(test data)를 바탕으로 모델 질환 추론 모델 구축부의 성능을 평가한다.

도 2는 본 발명에 따른 질환 이미지 수집부, 질환 이미지 분류부, 이미지 전처리부의 이미지 처리의 예시를 도시한 도면이다.

도 2를 참조하면, 질환 학습 이미지 수집부(110)는, 반려동물의 촬영된 이미지를 통해 질환을 판별하기 위한 고품질의 학습 이미지를 수집할 수 있다. 학습 이미지는 모델의 구축을 위해서 사전에 선별된 이미지일 수 있다. 학습 이미지는 효율적인 학습을 위해 반려동물의 전체 이미지가 아닌 주요 질환 부위 별 이미지로 수집될 수 있다. 예를 들어, 반려동물의 주요 외형 질환 부위인 1)눈 2)치아 3)귀 4)피부 별로 학습 이미지가 별도 수집될 수 있다.

질환 이미지 분류부(120)는, 상기 수집된 주요 외형 질환 부위별 이미지에 대하여, 부위별 질환에 따라 이미지를 분류할 수 있다.

예를 들어, 눈 질환 이미지에 대해서는 결막염, 백내장, 각막궤양, 안검염, 3안검돌출, 녹내장, 수정체변위, 각막변성증, 안검내번, 포도막염, KCS건성각결막염, 첩모난생, 각막염, 핵경화, 유루증 중 적어도 하나의 질환으로 분류할 수 있다.

예를 들어, 치아 질환 이미지에 대해서 치은염, 치주염 중 적어도 하나의 질환으로 분류할 수 있다.

예를 들어, 귀 질환 이미지에 대해서 세균성 외이염, 효모성 외이염, 기생충성 외이염 중 적어도 하나의 질환으로 분류할 수 있다.

질환 이미지 분류부(120)는 학습 이미지를 제공하기 위해서 신뢰성 있는 전문가를 통해 이미지 분류를 수행할 수 있으나 이에 한정되는 것은 아니다. 정답이 정해진 질환 이미지 및 질환명을 학습데이터로 한 질환 이미지 분류 모델을 통해서 학습 이미지에 대한 분류(classification) 작업을 수행하고, 해당 결과에 대해서 신뢰할 수 있는 전문가가 검증하는 방식으로 이미지 분류를 수행할 수 있다. 예를 들어, 질환 이미지 분류 모델은 지도 방식(supervised learning)으로 학습될 수 있으며, 분류된 질환의 신뢰도에 대한 데이터를 별도로 제공함으로써, 신뢰도가 소정의 기준치보다 낮은 데이터에 대해서만 신뢰할 수 있는 전문가가 검증하도록 구성될 수 있다.

이미지 전처리부(130)는 딥러닝의 효과적인 수행을 위해, 질환별로 분류된 이미지의 특징부에 대해서 레이블링(labeling)을 수행할 수 있다. 레이블링은 제공된 이미지들의 촬영 방식/촬영 도구/ 등이 제각각이어서 입력 데이터의 비균일성으로 인한 모델의 학습 효율이 저감되는 것을 방지하기 위한 데이터 균일화 작업의 일종이다. 레이블링의 목적은 1)데이터 균일화 및 2)노이즈 제거의 크게 2가지로 구성된다.

레이블링은 각 질환별로 기결정되어 있는 질환특징이 학습 대상 이미지에 포함된 경우 해당 질환 특징의 픽셀 영역에 대해서 복수개의 폴리곤으로 폐곡선을 형성하여 질환 특징별 레이블링을 수행한다. 예를 들어, 1견종의 1눈 이미지에 1질환특징을 가지는 이미지인 경우, 1질환에 대한 특징은 복수개의 질환특징으로 나타날 수 있다. 이경우 각 질환 특징 별로 별도의 폴리곤 폐곡선으로 영역을 저장하여 레이블링을 수행할 수 있다. 예를 들어, 눈 질환 이미지에 대해서 결막염으로 분류된 이미지가 부음, 충혈, 점막의 질환 특징을 모두 보유하고 있는 경우, 레이블링은 부음, 충혈, 점막 각각의 질환 특징에 대해 각각 수행되고 이미지 데이터에 메타 데이터로써 함께 저장될 수 있다.

이미지 전처리부(130)는 눈 질환 이미지에 있어서 질환 별로 질환 특징을 레이블링 할 수 있다. 구체적으로는, 결막염에 대해서는 부음, 충혈, 점막의 질환특징 중 적어도 하나를 레이블링하고, 백내장에 대해서는 수정체 혼탁, y자형의 질환특징 중 적어도 하나를 레이블링 하고, 각막궤양의 경우, 각막손상, 혼탁, 고름, 화산 모양의 질환특징 중 적어도 하나를 레이블링 하고, 안검염의 경우 염증, 출혈의 질환특징 중 적어도 하나를 레이블링 하고, 3안검돌출의 경우 돌출의 질환특징을 레이블링 하고, 녹내장의 경우, 동공부동, 대안구증, 충혈, 푸른색상, 장액성의 질환특징 중 적어도 하나를 레이블링 하고, 수정체변위의 경우, 수정체 이탈의 질환특징을 레이블링 하고, 각막변성증의 경우, 유리섬유, 각막혼탁의 질환특징 중 적어도 하나를 레이블링 하고, 안검내번의 경우, 안검말림, 안검처짐, 안검손상, 각막손상의 질환특징 중 적어도 하나를 레이블링 하고, 포도막염의 경우, 방수흐림, 색상변화의 질환특징 중 적어도 하나를 레이블링 하고, KCS건성각결막염은 색소침착, 충혈, 눈곱, 각막혼탁의 질환특징 중 적어도 하나를 레이블링 하고, 첩모난생은 털(hair)의 질환특징을 레이블링하고, 각막염은 지방 침전물, 색소침착, 충혈의 질환특징 중 적어도 하나를 레이블링 하고, 핵경화는 회색의 구 형상의 질환특징을 레이블링하고, 유루증은 눈의 갈색 색상의 질환특징을 레이블링할 수 있다.

이미지 전처리부(130)는 치아 질환 이미지에 있어서 치은염의 경우, 잇몸 염증, 치석 의 질환특징 중 적어도 하나를 레이블링 하고, 치주염의 경우, 잇몸 염증, 치아 염증, 치석, 치아뿌리, 잇몸 결손 중 적어도 하나를 레이블링 할 수 있다.

이미지 전처리부(130)는 귀 질환 이미지에 있어서, 세균성 외이염의 경우, 노란색 농의 질환특징을 레이블링 하고, 효모성 외이염의 경우, 암갈색 귀지의 질환특징을 레이블링 하고, 기생충성 외이염의 경우, 검정색 딱지, 커피색 딱지 중 적어도 하나의 질환특징을 레이블링 할 수 있다.

도 3은 질환 추론 모델 구축부의 상세 구성을 도시한 블록도이다. 도 3을 참조하면, 질환 추론 모델 구축부(140)는 눈 질환 추론 모델(141), 치아 질환 추론 모델(142), 귀 질환 추론 모델(143)을 포함한다.

도 3 및 도 4를 참조하면, 눈 질환 추론 모델(141)는 잔여 학습 기반의 컨벌루션 뉴럴 네트워크로 인코더 네트워크를 구성하는 단계(S141-1), 눈 질병 특징별로 분할하는 네트워크(Semantic segmentation network)를 디코더 네트워크로 구성하는 단계(S141-2) 및 픽셀 영역 크기별 도출가능한 특징을 기준으로 여러 깊이를 가지는 특징 레이어를 결합하는 단계(S141-3)을 수행한다. 눈 질환의 경우 단순 분류 알고리즘으로 추론 모델을 구축하기에는 질환의 종류가 다양하고 픽셀기반(pixel-wise) 정보의 중요성이 상대적으로 높기 때문이다. 픽셀기반으로 학습하되 학습 대상 이미지로부터 질병의 특징이 큰 픽셀 영역에서 발견할 수 있는 질환 특징과 작은 영역에서 발견할 수 있는 질환 특징이 구분되므로, 이미지를 복수 개의 깊이(depth)로 특징 레이어를 결합하여 다양한 눈 질환 특징의 확인이 가능하다. 예를 들어, 4개의 깊이를 가지는 특징 레이어를 활용할 수 있으나 이에 한정되는 것은 아니다.

도 3 및 도 5를 참조하면, 치아 질환 추론 모델(142)는 잔여 학습 기반의 컨벌루션 뉴럴 네트워크로 인코더 네트워크를 구성하는 단계(S142-1), 치아의 구조적인 영역을 예측하는 모델로 치근의 영역을 검출하는 단계(S142-2), 치아의 질병 특징을 찾는 모델로 치석의 영역을 검출하는 단계(S142-3) 및 모델의 예측 결과를 병합하여 최종적으로 치아 질환을 종합 예측하는 단계((S142-4)를 수행한다.

치아 질환 추론 모델(S142)의 경우, 데이터 특성을 반영하여 로스(loss)가 최적화하는 옵티마이저(optimizer)를 튜닝하며 치아의 특성을 모델에 반영할 수 있다. 구체적으로, 치아의 치주염의 경우 치근의 넓이와 치석의 면적의 조합으로 구분이되며, 픽셀기반으로 치아의 구조적 특성과 질병의 특성이 섞여 있어 모델링이 어려운 문제가 있다. 특히, 픽셀 기반 에서 치근의 영역과 치석의 영역은 겹칠 수 있다는 점이 문제된다. 이에 치아 질환 추론 모델(S142)은 치아의 구조적인 영역을 예측하는 모델에서 치근의 영역을 검출하고, 치아의 질병 특징을 찾는 모델에서 치석의 영역을 검출하는 방식을 사용하여, 각각의 모델의 예측 결과를 병합하여 최종적으로 치주염 결과를 종합하여 예측하도록 한다. 이러한 치아 질환 추론 모델(S142)은 단순히 치주염의 심각도와 확률을 예측하는 것만이 아닌 촬영된 이미지내에서 치아의 구조 상태와 세부 질병특징 등 치주염에 영향을 주는 요소들을 기반으로 치주염을 해석가능한 결과로 예측이 가능하다. 또한 이런 모델 특성으로 인해 치주염의 조기후보군을 예측 진단 추론 할 수 있다.

도 3 및 도 6을 참조하면, 귀 질환 추론 모델(143)은, 잔여 학습 기반의 컨벌루션 뉴럴 네트워크로 인코더 네트워크를 구성하는 단계(S143-1), 귀의 입체적 특성을 고려한 그림자 데이터에 대한 레이블링을 수행하는 단계(S143-2) 및 외이염과 그림자를 구분하도록 귀 질환 추론 모델을 학습시키는 단계(S143-3)을 수행한다. 귀의 경우 구조적으로 귀의 평탄하지 않고 입체적인 구조를 가지는 특성으로 인해 이미지에 그림자가 존재한다. 특히 외이염의 일부 질환 특징은 그림자와 같이 검은색상을 띄는 특징들이 있어 그림자와 이미지 적으로 구분이 어려워 오검출이 발생하기 쉬운 특징이 있다. 이에, 귀 질환 추론 모델(143)은 그림자를 밝은 그림자와 어두운 그림자를 하나의 집단으로 레이블링하여 외이염의 질환 특징과 구분하여 학습하도록 모델링을 수행하여 오검출율을 감소시켰다.

도 7은 본 발명에 따라 구축된 눈 질환 추론 모델의 도출된 특징 함수의 예시를 나타낸 블록도이다. 도 7을 참조하면, 눈 질환 추론 모델은 결막 부음 정도 수치화, 결막 출혈 정도 수치화, 안검의 염증 정도 수치화, 3안검 돌출 상태의 수치화, 눈밑 피부 색상 수치화 중 적어도 하나의 질환특징을 도출하는 특징 노드를 포함할 수 있다.

도 8은 본 발명에 따라 구축된 치아 질환 추론 모델의 도출된 특징 함수의 예시를 나타낸 블록도이다. 도 8을 참조하면, 상기 치아 질환 추론 모델은 치근의 넓이로 인한 치주염 확률, 치석 심각도, 잇몸 출혈로 인한 치주염 확률, 잇몸 결손과 관련된 치주염 확률 중 적어도 하나의 질환특징을 도출하는 특징 노드를 포함할 수 있다.

도 9는 본 발명에 따라 구축된 귀 질환 추론 모델의 도출된 특징 함수의 예시를 나타낸 블록도이다. 도 9를 참조하면, 귀 질환 추론 모델은, 노란색 농 면적 수치화, 노란색 농 색깔 수치화, 귀지의 양 수치화, 딱지 정도 수치화, 딱지 색상 수치화 중 적어도 하나의 질환특징을 도출하는 특징 노드를 포함할 수 있다.

도 10는 본 발명에 따른 눈 귀 질환 추론 모델의 반복 학습 회수(Epoch)에 따른 IoU를 학습 데이터 및 검증 데이터에 대해 교차 학습한 경우 데이터를 도시한 그래프이다. 도 10을 참조하면, 텐서플로우(Tensorflow)에서 제공하는 텐서보드(Tensorboard)를 이용해서 도시된 그래프로, 반복 학습 회수(Epoch)를 1부터 500에 걸쳐서 모델이 사물의 위치를 얼마나 정확하게 찾는지에 대한 IoU 가 도시된다.

학습과 검증을 교차하며 학습을 함으로써 과적합(overfitting)이 되는 것을 방지하고, 검증 IoU의 값이 더 오르지 않고 수렴하는 지점까지로 반복 학습 회수를 결정할 수 있다. 일반적으로 학습 IoU 는 반복 학습 회수의 증가에 따라 지속적 상승세를 보이고 수렴하지 않는 경우가 있으나, 검증 IoU는 수렴할 수 있다. 검증 IoU가 수렴되었음에도 불구하고 반복 학습을 추가로 수행할 경우 과적합될 가능성이 있다.

도 11은 본 반려동물 질환 추론 모듈이 탑재된 장치 및 해당 장치를 통한 입력 데이터를 예시적으로 도시한 도면이다. 도 11을 참조하면, 전자장치는 반려 동물 질환 추론 모듈(100)을 탑재할 수 있다.

전자장치는 스마트폰(smart phone), 테블릿(tablet) PC(personal computer), 랩탑 컴퓨터(laptop computer), USB(universal serial bus) 포트를 가지는 컴퓨터 프로그램 제품(computer program product) 중 어느 하나일 수 있다.

전자장치는 프로세서, 메모리, 입력부, 음향 출력부, 디스플레이부, 오디오부, 센서부, 인터페이스, 연결 단자, 햅틱부, 카메라부, 전력 관리부, 배터리, 통신부, 안테나 모듈 등을 포함할 수 있다.

전자장치는 사용자로부터 반려동물기초자료, 질환연관자료, 기존질환자료, 문진자료, 질환 관련 촬영자료를 입력받을 수 있다. 반려동물 질환 추론 모듈(100)은 학습이 완료되어, 입력된 촬영 자료를 바탕으로 부위별 예상 질환을 출력할 수 있다.

반려 동물에 대한 기초자료는 전자장치를 통해 반려동물의 품종, 나이, 체중, 성별, 등록번호, 이름 등의 관련 자료를 나타낸다.

질환연관자료는 질환을 추론하는 데 연관있는 정보일 수 있는 생활습관 (사료명, 사료량, 횟수, 간식명, 간식량, 간식횟수, 목욕횟수 등), 건강상태 (기침여부, 구토여부, 설사여부, 식욕감소여부, 절름발이여부, 무기력여부, 갈증여부, 공격성여부 등) 관련 자료를 나타낸다.

기존질환자료는 기존 질환으로 동물병원을 갔을 경우, 해당 병원에서 제공된 차트,질환정보,투약 정보 등을 나타낸다.

촬영자료는 반려동물 질환 추론 모듈(100)을 통한 반려동물의 자가 질환 진단을 위해서, 사용자가 전자장치를 통해 직접 또는 간접적으로 반려동물의 질환 가능 부위를 촬영한 자료를 나타낸다.

문진자료는 주요 질환 부위별 자가 문진을 통해 획득한 자료를 나타낸다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 개시의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100 : 반려동물 질환 추론 모듈 110 : 질환 학습 이미지 수집부
120 : 질환 이미지 분류부 130 : 이미지 전처리부
140 : 질환 추론 모델 구축부 150 : 질환 추론 모델 평가부
160 : 질환 추론 모델 개선부

Claims

반려동물 질환 추론 모듈에 있어서,
반려동물의 질환 데이터를 포함하는 질환 학습 이미지를 수집하는 질환 학습 이미지 수집부;
수집한 상기 질환 학습 이미지를 질환 종류 별로 분류하는 질환 이미지 분류부;
상기 분류된 이미지에 질환 종류별 특징과 연관되는 레이블링을 수행하는 이미지 전처리부; 및
전처리가 완료된 이미지를 입력값으로 하여 잔여 학습(residual learning) 기반의 컨벌루션 뉴럴 네트워크(Convolution Neural Network)로 질환 추론 모델을 구축하는 질환 추론 모델 구축부;를 포함하는 반려동물 질환 추론 모듈.
제1 항에 있어서,
상기 질환 추론 모델 구축부는 눈 질환 추론 모델, 치아 질환 추론 모델, 귀 질환 추론 모델 중 적어도 하나를 포함하는 반려동물 질환 추론 모듈.
제2 항에 있어서,
상기 눈 질환 추론 모델은,
잔여 학습 기반의 컨벌루션 뉴럴 네트워크로 인코더 네트워크를 구성하는 단계;
눈 질병 특징별로 분할하는 네트워크(Semantic segmentation network)를 디코더 네트워크로 구성하는 단계; 및
픽셀 영역 크기별 도출가능한 특징을 기준으로 여러 깊이를 가지는 특징 레이어를 결합하는 단계;를 수행하는 반려동물 질환 추론 모듈.
제2 항에 있어서,
상기 치아 질환 추론 모델은,
잔여 학습 기반의 컨벌루션 뉴럴 네트워크로 인코더 네트워크를 구성하는 단계;
치아의 구조적인 영역을 예측하는 모델로 치근의 영역을 검출하는 단계;
치아의 질병 특징을 찾는 모델로 치석의 영역을 검출하는 단계; 및
모델의 예측 결과를 병합하여 최종적으로 치아 질환을 종합 예측하는 단계; 를 수행하는 반려동물 질환 추론 모듈.
제2 항에 있어서,
상기 귀 질환 추론 모델은,
잔여 학습 기반의 컨벌루션 뉴럴 네트워크로 인코더 네트워크를 구성하는 단계;
귀의 입체적 특성을 고려한 그림자 데이터에 대한 레이블링을 수행하는 단계; 및
외이염과 그림자를 구분하도록 귀 질환 추론 모델을 학습시키는 단계;를 수행하는 반려동물 질환 추론 모듈.
제1 항에 있어서,
상기 질환 이미지 분류부는, 눈 질환 이미지에 대해서 결막염, 백내장, 각막궤양, 안검염, 3안검돌출, 녹내장, 수정체변위, 각막변성증, 안검내번, 포도막염, KCS건성각결막염, 첩모난생, 각막염, 핵경화, 유루증 중 적어도 하나의 질환으로 분류하고,
상기 이미지 전처리부는,
상기 결막염에 대해서는 부음, 충혈, 점막의 질환특징 중 적어도 하나를 레이블링하고,
상기 백내장에 대해서는 수정체 혼탁, y자형의 질환특징 중 적어도 하나를 레이블링 하고,
상기 각막궤양의 경우, 각막손상, 혼탁, 고름, 화산 모양의 질환특징 중 적어도 하나를 레이블링 하고,
상기 안검염의 경우 염증, 출혈의 질환특징 중 적어도 하나를 레이블링 하고,
상기 3안검돌출의 경우 돌출의 질환특징을 레이블링 하고,
상기 녹내장의 경우, 동공부동, 대안구증, 충혈, 푸른색상, 장액성의 질환특징 중 적어도 하나를 레이블링 하고,
상기 수정체변위의 경우, 수정체 이탈의 질환특징을 레이블링 하고,
상기 각막변성증의 경우, 유리섬유, 각막혼탁의 질환특징 중 적어도 하나를 레이블링 하고,
상기 안검내번의 경우, 안검말림, 안검처짐, 안검손상, 각막손상의 질환특징 중 적어도 하나를 레이블링 하고,
상기 포도막염의 경우, 방수흐림, 색상변화의 질환특징 중 적어도 하나를 레이블링 하고,
상기 KCS건성각결막염은 색소침착, 충혈, 눈곱, 각막혼탁의 질환특징 중 적어도 하나를 레이블링 하고,
상기 첩모난생은 털(hair)의 질환특징을 레이블링하고,
상기 각막염은 지방 침전물, 색소침착, 충혈의 질환특징 중 적어도 하나를 레이블링 하고,
상기 핵경화는 회색의 구 형상의 질환특징을 레이블링하고,
상기 유루증은 눈의 갈색 색상의 질환특징을 레이블링하는, 반려동물 질환 추론 모듈.
제1 항에 있어서,
상기 질환 이미지 분류부는, 치아 질환 이미지에 대해서 치은염, 치주염 중 적어도 하나의 질환으로 분류하고,
상기 이미지 전처리부는,
상기 치은염의 경우, 잇몸 염증, 치석 의 질환특징 중 적어도 하나를 레이블링 하고,
상기 치주염의 경우, 잇몸 염증, 치아 염증, 치석, 치아뿌리, 잇몸 결손 중 적어도 하나를 레이블링 하는 반려동물 질환 추론 모듈.
제1 항에 있어서,
상기 질환 이미지 분류부는, 귀 질환 이미지에 대해서 세균성 외이염, 효모성 외이염, 기생충성 외이염 중 적어도 하나의 질환으로 분류하고,
상기 이미지 전처리부는,
상기 세균성 외이염의 경우, 노란색 농의 질환특징을 레이블링 하고,
상기 효모성 외이염의 경우, 암갈색 귀지의 질환특징을 레이블링 하고,
상기 기생충성 외이염의 경우, 검정색 딱지, 커피색 딱지 중 적어도 하나의 질환특징을 레이블링 하는 반려동물 질환 추론 모듈.
제2 항에 있어서,
상기 눈 질환 추론 모델은 결막 부음 정도 수치화, 결막 출혈 정도 수치화, 안검의 염증 정도 수치화, 3안검 돌출 상태의 수치화, 눈밑 피부 색상 수치화 중 적어도 하나의 질환특징을 도출하는 특징 노드를 포함하고,
상기 치아 질환 추론 모델은 치근의 넓이로 인한 치주염 확률, 치석 심각도, 잇몸 출혈로 인한 치주염 확률, 잇몸 결손과 관련된 치주염 확률 중 적어도 하나의 질환특징을 도출하는 특징 노드를 포함하고,
상기 귀 질환 추론 모델은, 노란색 농 면적 수치화, 노란색 농 색깔 수치화, 귀지의 양 수치화, 딱지 정도 수치화, 딱지 색상 수치화 중 적어도 하나의 질환특징을 도출하는 특징 노드를 포함하는 반려동물 질환 추론 모듈.
제1 항에 있어서,
상기 질환 추론 모델 구축부에 검증 데이터(validation data)를 바탕으로 교차 모델 학습을 수행하는 질환 추론 모델 개선부; 및
상기 질환 추론 모델 구축부에 테스트 데이터(test data)를 바탕으로 모델 질환 추론 모델 구축부의 성능을 평가하는 질환 추론 모델 평가부;를 더 포함하는 반려동물 질환 추론 모듈.
질환 추론 모델 구축부를 포함하는 전자 장치에 있어서,
상기 질환 추론 모델 구축부는 반려동물의 질환 데이터를 포함하는 질환 학습 이미지를 수집하는 질환 학습 이미지 수집부, 수집한 상기 질환 학습 이미지를 질환 종류 별로 분류하는 질환 이미지 분류부, 상기 분류된 이미지에 질환 종류별 특징과 연관되는 레이블링을 수행하는 이미지 전처리부 및 전처리가 완료된 이미지를 입력값으로 하여 잔여 학습(residual learning) 기반의 컨벌루션 뉴럴 네트워크(Convolution Neural Network)로 질환 추론 모델을 구축하는 질환 추론 모델 구축부를 포함하는 전자 장치.