KR20220110403A

KR20220110403A - Ai 기반의 얼굴 익명화 특징 추출을 이용한 자율신경계 피부변화 추적 방법

Info

Publication number: KR20220110403A
Application number: KR1020210013524A
Authority: KR
Inventors: 정새보미
Original assignee: (주)유니트리아
Priority date: 2021-01-29
Filing date: 2021-01-29
Publication date: 2022-08-08

Abstract

AI 기반의 얼굴 익명화 특징 추출을 이용한 자율신경계 피부변화 추적 방법이 개시된다. 일 실시예에 따른 피부 진단 보조 방법은 대상체의 복수의 이미지 - 상기 복수의 이미지 각각의 생성 시점이 상이함 - 를 획득하는 단계; 상기 획득된 복수의 이미지를 제1 신경망 모델에 입력하는 단계; 및 상기 신경망으로부터 상기 대상체의 피부에 대한 진단 보조 정보를 획득하는 단계를 포함할 수 있다.

Description

AI 기반의 얼굴 익명화 특징 추출을 이용한 자율신경계 피부변화 추적 방법{METHOD FOR TRACKING AUTONOMIC NERVOUS SYSTEM SKIN CHANGE USING FACIAL ANONYMIZATION FEATURE EXTRACTION BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 AI 기반의 얼굴 익명화 특징 추출을 이용한 자율신경계 피부변화 추적 방법에 관한 것이다.

종래의 피부질환 진단의 경우에도 오프라인상의 전문가에 의한 육안을 통한 진단이 주를 이루었다. 병원 내에서 이루어지는 위와 같은 진료의 경우에 있어서 원격진료가 새롭게 등장함에 따라서 점차 온라인 상으로 이루어질 수 있는 시도가 이루어지고 있으나, 아직까지는 전문가와의 가벼운 문진 형태의 진료만이 이루어지고 있는 형국이다.

본 발명의 일 과제는 이미지가 익명화된 특징을 이용하여 신경망 모델을 학습 및 진단을 수행함으로써 개인정보를 보호하고, 진단의 정확도를 향상시키기 위한 것이다.

일 실시예에 따른 피부 진단 보조 방법은 대상체의 복수의 이미지 - 상기 복수의 이미지 각각의 생성 시점이 상이함 - 를 획득하는 단계; 상기 획득된 복수의 이미지를 제1 신경망 모델에 입력하는 단계; 및 상기 신경망으로부터 상기 대상체의 피부에 대한 진단 보조 정보를 획득하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 이미지가 익명화된 특징을 이용하여 신경망 모델을 학습 및 진단을 수행함으로써 개인정보가 보호되고, 진단의 정확도가 향상될 수 있다.

도 1은 본 발명의 일 실시예에 따른 진단 보조 시스템을 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 학습 장치를 설명하기 위한 블럭도이다.
도 3은 본 발명의 일 실시예에 따른 진단 장치를 설명하기 위한 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 진단 보조 시스템을 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 클라이언트 장치를 설명하기 위한 블록도이다.
도 6은 일 실시예에 따른 학습장치의 학습방법을 나타낸 도면이다.
도 7은 일 실시예에 따른 익명화된 이미지를 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 필터를 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 학습 이미지의 합성을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 진단장치의 진단방법을 나타낸 도면이다.
도 11은 일 실시예에 따른 신경망 모델을 설명하기 위한 도면이다.

본 발명의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.

도면들에 있어서, 층 및 영역들의 두께는 명확성을 기하기 위하여 과장되어진 것이며, 또한, 구성요소(element) 또는 층이 다른 구성요소 또는 층의 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 구성요소 또는 층의 바로 위 뿐만 아니라 중간에 다른 층 또는 다른 구성요소를 개재한 경우를 모두 포함한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.

본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

본 발명의 일 실시예에 따르면, 진단 보조 시스템이 제공될 수 있다.

도 1은 본 발명의 일 실시예에 따른 진단 보조 시스템을 도시한 것이다. 도 1을 참조하면, 진단 보조 시스템(10)은 진단 모델을 트레이닝하는 학습 장치(1000), 진단 모델을 이용하여 진단을 수행하는 진단 장치(2000) 및 진단 요청을 획득하는 클라이언트 장치(3000)를 포함할 수 있다. 또한, 진단 보조 시스템(10)은 복수의 학습 장치, 복수의 진단 장치 또는 복수의 클라이언트 장치를 포함할 수 있다.

학습 장치(1000)는 학습부(100)를 포함할 수 있다. 학습부(100)는 신경망 모델의 트레이닝을 수행할 수 있다. 일 예로, 학습부(100)는 이미지 데이터 세트를 획득하고, 획득된 이미지로부터 진단을 수행하는 신경망 모델의 트레이닝을 수행할 수 있다. 본 명세서에서, 진단을 수행한다는 것은 대상체(사람, 동물, 식물 등)가 특정 질환을 가지고 있는지 여부, 대상체가 특정 질환을 가지고 있을 확률, 특정 질환의 경과 정도와 같은 질환에 대한 다양한 정보를 포함할 수 있다. 또한, 진단을 수행한다는 것은 질환의 진단 외에도, 대상체의 상태를 판단하는 것을 포함할 수 있다. 예를 들어, 대상체의 피부 진단을 수행한다는 것은 대상체의 피부와 관련된 특정 질환의 발현 여부, 발현 가능성, 발현 경과뿐 아니라 피부 상태(피부 타입(건성, 지성, 복합성 등))의 진단을 포함할 수 있다. 이하에서는 설명의 편의를 위하여 질환을 진단한다는 표현을 기재하지만, 이에 한정되는 것은 아니고, 질환을 진단한다는 표현에 대상체를 상태를 진단한다는 의미가 포함될 수 있다.

진단 장치(2000)는 진단부(200)를 포함할 수 있다. 진단부(200)는 신경망 모델을 이용하여 질환의 진단 또는 진단에 이용되는 보조 정보의 획득을 수행할 수 있다. 일 예로, 진단부(200)는 학습부에 의하여 트레이닝된 진단 모델을 이용하여 진단 보조 정보의 획득을 수행할 수 있다.

클라이언트 장치(3000)는 촬상부(300)를 포함할 수 있다. 촬상부(300)는 안면 이미지, 안구 이미지, 눈동자 이미지, 피부 이미지 등을 촬상할 수 있다. 클라이언트 장치는 안과용 안저 촬영 장치일 수 있다. 또는, 클라이언트 장치(3000)는 스마트폰, 태블릿 PC 등의 휴대용(handheld) 디바이스 또는 TV와 같은 고정형 디바이스일 수 있다.

본 실시예에 따른 진단 보조 시스템(10)에서, 학습 장치(1000)는 데이터 세트를 획득하여 신경망 모델의 학습을 수행하고, 진단 장치는 클라이언트로부터 정보 요청이 획득되면 신경망 모델을 이용하여 진단 대상 이미지에 따른 진단 보조 정보를 획득하고, 클라이언트 장치는 진단 장치로 정보를 요청하고 이에 응답하여 전송된 진단 보조 정보를 획득할 수 있다.

다른 일 실시예에 따른 진단 보조 시스템은, 진단 모델의 학습 및 이를 이용한 진단을 수행하는 진단 장치 및 클라이언트 장치를 포함할 수 있다. 또 다른 일 실시예에 따른 진단 보조 시스템은, 진단 모델의 학습, 진단 요청의 획득 및 진단을 수행하는 진단 장치를 포함할 수 있다. 또 다른 일 실시예에 따른 진단 보조 시스템은, 진단 모델의 학습을 수행하는 학습 장치 및 진단 요청을 획득하고 진단을 수행하는 진단 장치를 포함할 수 있다.

또한, 다른 일 실시예에서, 학습 장치(1000) 및 진단 장치(2000)는 각각 서버 장치의 형태일 수 있다. 또한, 학습 장치(1000) 및 진단 장치(2000)는 물리적으로 하나의 장치 또는 하나의 서버 장치로 구현될 수도 있다.

또한, 다른 일 실시예에서, 진단 장치(2000) 및 클라이언트 장치(3000)는 하나의 장치로 구현될 수도 있다. 또한, 실시예에 따라 학습 장치(1000), 진단 장치(2000) 및 클라이언트 장치(3000)가 하나의 장치로 구현될 수도 있다.

본 명세서에서 개시하는 진단 보조 시스템이 위에서 설명한 실시 예들에 한정되는 것은 아니고, 모델의 학습을 수행하는 학습부, 학습된 모델에 따라 진단 보조 정보를 획득하는 진단부 및 진단 대상 이미지를 획득하는 촬상부를 포함하는 어떠한 형태로든 구현될 수 있다.

도 2는 본 발명의 일 실시예에 따른 학습 장치를 설명하기 위한 블럭도이다. 도 2를 참조하면, 학습 장치(1000)는 제어부(1200) 및 메모리부(1100)를 포함할 수 있다.

학습 장치(1000)는 제어부(1200)를 포함할 수 있다. 제어부(1200)는 학습 장치(1000)의 동작을 제어할 수 있다.

제어부(1200)는 CPU(Central Processing Unit), RAM(Random Access Memory), GPU(Graphic Processing Unit), 하나 이상의 마이크로 프로세서 및 기타 미리 정해진 논리에 따라 입력된 데이터를 처리할 수 있는 전자 부품 중 하나 이상을 포함할 수 있다.

제어부(1200)는 메모리부(1100)에 저장된 시스템 프로그램 및 다양한 프로세싱 프로그램을 판독할 수 있다. 일 예로, 제어부(1200)는 후술하는 진단 보조의 수행을 위한 데이터 가공 프로세스, 진단 프로세스 등을 RAM상에 전개하고, 전개된 프로그램에 따라 각종 처리를 수행할 수 있다. 제어부(1200)는 후술하는 신경망 모델의 학습을 수행할 수 있다.

학습 장치(1000)는 메모리부(1100)를 포함할 수 있다. 메모리부(1100)는 학습에 필요한 데이터 및 학습 모델을 저장할 수 있다.

메모리부(1100)는 비휘발성 반도체 메모리, 하드 디스크, 플래시 메모리, RAM, ROM(Read Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 또는 그 외에 유형의(tangible) 비휘발성의 기록 매체 등으로 구현될 수 있다.

메모리부(1100)는 각종 프로세싱 프로그램, 프로그램의 프로세싱을 수행하기 위한 파라미터 또는 이러한 프로세싱 결과 데이터 등을 저장할 수 있다. 일 예로, 메모리부(1100)는 진단 보조의 수행을 위한 데이터 가공 프로세스 프로그램, 진단 프로세스 프로그램, 각 프로그램의 수행을 위한 파라미터 및 이러한 프로그램의 수행에 따라 얻어진 데이터(예컨대, 가공된 데이터 또는 진단 결과값) 등을 저장할 수 있다.

또한, 일 실시예에서 학습 장치(1000)는 데이터 가공부 및 학습부를 포함할 수 있다. 데이터 가공부는 학습을 수행하기 위한 데이터를 가공 또는 전처리할 수 있다. 예를 들어, 데이터 가공부는 상기 데이터 가공 프로세스 프로그램을 이용하여 데이터를 가공할 수 있다. 학습부는 신경망 모델의 학습을 수행할 수 있다.

데이터 가공부 및 학습부는 전술한 제어부(1200)에 포함될 수 있다. 데이터 가공부 및 학습부는 전술한 제어부(1200) 및 메모리부(1100)의 일부 구성에 의하여 구현될 수 있다. 예컨대, 데이터 가공부 및 학습부는 메모리부(1100)에 저장되고, 제어부(1200)에 의하여 구동될 수 있다.

학습 장치(1000)는 통신부(1300)를 더 포함할 수 있다. 통신부(1300)는 외부 장치와 통신을 수행할 수 있다. 예컨대, 통신부(1300)는 후술하는 진단 장치, 서버 장치 또는 클라이언트 장치와 통신할 수 있다. 통신부(1300)는 유선 또는 무선 통신을 수행할 수 있다. 통신부(1300)는 양방향(bi-directional) 또는 단방향 통신을 수행할 수 있다.

진단 장치는 신경망 모델을 이용하여 진단 보조 정보를 획득할 수 있다.

도 3은 본 발명의 일 실시예에 따른 진단 장치를 설명하기 위한 블럭도이다. 도 3을 참조하면, 진단 장치(2000)는 제어부(2200) 및 메모리부(2100)를 포함할 수 있다.

제어부(2200)는 진단 보조 신경망 모델을 이용하여 진단 보조 정보를 생성할 수 있다. 제어부(2200)는 진단을 위한 진단 데이터(예컨대, 피검자의 안저 데이터)를 획득하고 학습된 진단 보조 신경망 모델을 이용하여 진단 데이터에 의해 예측되는 진단 보조 정보를 획득할 수 있다.

또한, 일 실시예에서 제어 장치(2000)는 데이터 가공부 및 진단부를 포함할 수 있다. 데이터 가공부는 진단을 수행하기 위한 데이터를 가공 또는 전처리할 수 있다. 진단부는 신경망 모델에 진단 데이터를 입력하여 진단 보조 정보를 획득할 수 있다.

데이터 가공부 및 진단부는 전술한 제어부(2200)에 포함될 수 있다. 데이터 가공부 및 진단부는 전술한 제어부(2200) 및 메모리부(2100)의 일부 구성에 의하여 구현될 수 있다. 예컨대, 데이터 가공부 및 진단부는 메모리부(2100)에 저장되고, 제어부(2200)에 의하여 구동될 수 있다.

메모리부(2100)는 학습된 진단 보조 신경망 모델을 저장할 수 있다. 메모리부(2100)는 진단 보조의 수행을 위한 데이터 가공 프로세스 프로그램, 진단 프로세스 프로그램, 진단 보조 신경망 모델의 파라미터, 변수 등을 저장할 수 있다.

진단 장치(2000)는 통신부(2300)를 더 포함할 수 있다. 통신부(2300)는 학습 장치 및/또는 클라이언트 장치와 통신할 수 있다. 일 예로, 진단 장치(2000)는 클라이언트 장치와 통신하는 서버 형태로 마련될 수 있다.

본 발명의 일 실시예에 따르면, 진단 보조 시스템은 서버 장치를 포함할 수 있다. 본 발명의 일 실시예에 따른 진단 보조 시스템은, 복수의 서버 장치를 포함할 수도 있다.

서버 장치는 신경망 모델을 저장 및/또는 구동할 수 있다. 서버 장치는 학습된 신경망 모델을 구성하는 가중치 값들을 저장할 수 있다. 서버 장치는 진단 보조에 이용되는 데이터를 수집 또는 저장할 수 있다.

서버 장치는 신경망 모델을 이용한 진단 보조 프로세스의 결과를 클라이언트 장치로 출력할 수 있다. 서버 장치는 클라이언트 장치로부터 피드백을 획득할 수 있다. 서버 장치는 전술한 진단 장치와 유사하게 동작할 수 있다.

도 4는 본 발명의 일 실시예에 따른 진단 보조 시스템을 도시한 것이다. 도 4를 참조하면, 본 발명의 일 실시예에 따른 진단 보조 시스템(20)은 진단 서버(4000), 학습 장치 및 클라이언트 장치를 포함할 수 있다.

진단 서버(4000), 즉, 서버 장치는 복수의 학습 장치 또는 복수의 진단 장치와 통신할 수 있다. 도 4를 참조하면, 진단 서버(4000)는 제1 학습 장치(1000a) 및 제2 학습 장치(1000b)와 통신할 수 있다. 도 4를 참조하면, 진단 서버(4000)는 제1 클라이언트 장치(3000a) 및 제2 클라이언트 장치(3000b)와 통신할 수 있다.

예컨대, 진단 서버(4000)는 제1 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델을 학습시키는 제1 학습 장치(1000a) 및 제2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델을 학습시키는 제2 학습 장치(1000b)와 통신할 수 있다.

진단 서버(4000)는 제1 진단 보조 정보를 획득하는 제1 진단 보조 신경망 모델 및 2 진단 보조 정보를 획득하는 제2 진단 보조 신경망 모델을 저장하고, 제1 클라이언트 장치(3000a) 또는 제2 클라이언트 장치(3000b)로부터의 진단 보조 정보 획득 요청에 응답하여 진단 보조 정보를 획득하고, 획득된 진단 보조 정보를 제1 클라이언트 장치(3000a) 또는 제2 클라이언트 장치(3000b)로 전송할 수 있다.

또는, 진단 서버(4000)는 제1 진단 보조 정보를 요청하는 제1 클라이언트 장치(3000a) 및 제2 진단 보조 정보를 요청하는 제2 클라이언트 장치(3000b)와 통신할 수도 있다.

클라이언트 장치는 진단 장치 또는 서버 장치로 진단 보조 정보를 요청할 수 있다. 클라이언트 장치는 진단에 필요한 데이터를 획득하고, 진단 장치로 획득한 획득한 데이터를 전송할 수 있다.

클라이언트 장치는 데이터 획득부를 포함할 수 있다. 데이터 획득부는 진단 보조에 필요한 데이터를 획득할 수 있다. 데이터 획득부는 진단 보조 모델에 이용되는 이미지를 획득하는 촬상부를 포함할 수 있다. 일 실시예에서, 촬상부는 RGB 카메라, IR 카메라 등 다양한 촬상을 위한 장치를 포함할 수 있다.

도 5는 본 발명의 일 실시예에 따른 클라이언트 장치를 설명하기 위한 블록도이다. 도 5를 참조하면, 본 발명의 일 실시예에 따른 클라이언트 장치(3000)는 촬상부(3100), 제어부(3200) 및 통신부(3300)를 포함할 수 있다.

촬상부(3100)는 이미지 또는 영상 데이터(비디오 데이터)를 획득할 수 있다. 촬상부(3100)는 이미지를 획득할 수 있다. 다만, 클라이언트 장치(3000)는 촬상부(3100)가 아닌 다른 형태의 데이터 획득부로 대체될 수도 있다.

통신부(3300)는 외부 장치, 예컨대 진단 장치 또는 서버 장치와 통신할 수 있다. 통신부(3300)는 유선 또는 무선 통신을 수행할 수 있다.

제어부(3200)는 촬상부(3100)가 이미지 또는 데이터를 획득하도록 제어할 수 있다. 제어부(3200)는 촬상부(3100)가 이미지를 획득하도록 제어할 수 있다. 제어부(3200)는 획득된 이미지를 진단 장치로 전송할 수 있다. 제어부는 촬상부(3100)를 통하여 획득한 이미지를 통신부(3300)를 통하여 서버 장치로 전송하고, 이에 기초하여 생성된 진단 보조 정보를 획득할 수 있다.

도시하지는 아니하였으나, 클라이언트 장치는 출력부를 더 포함할 수 있다. 출력부는 영상 또는 이미지를 출력하는 디스플레이 또는 음성을 출력하는 스피커를 포함할 수 있다. 출력부는 획득된 촬상부에 의해 획득된 영상 또는 이미지 데이터를 출력할 수 있다. 출력부는 진단 장치로부터 획득된 진단 보조 정보를 출력할 수 있다.

도시하지는 아니하였으나, 클라이언트 장치는 입력부를 더 포함할 수 있다. 입력부는 사용자 입력을 획득할 수 있다. 예컨대, 입력부는 진단 보조 정보를 요청하는 사용자 입력을 획득할 수 있다. 입력부는 진단 장치로부터 획득된 진단 보조 정보를 평가하는 사용자 정보를 획득할 수 있다.

또한, 도시하지는 아니하였으나, 클라이언트 장치는 메모리부를 더 포함할 수 있다. 메모리부는 촬상부에 의해 획득된 이미지를 저장할 수 있다.

도 6은 일 실시예에 따른 학습장치의 학습방법을 나타낸 도면이다.

도 6을 참조하면, 학습장치의 학습방법은 이미지를 획득하는 단계(S110), 획득된 이미지를 가공하는 단계(S120) 및 신경망 모델을 트레이닝하는 단계(S130)를 포함할 수 있다.

단계 S110에서, 학습 장치는 이미지를 획득할 수 있다. 상기 이미지는 외부 장치로부터 획득될 수도 있고, 학습장치가 촬상부를 포함할 경우, 촬상부로부터 획득될 수도 있다. 또한, 학습장치는 이미지뿐 아니라 복수의 이미지로 구성된 동영상을 획득할 수도 있다.

또한, 일 실시예에서, 학습 장치는 웹으로부터 추출된 이미지를 획득할 수도 있다. 구체적으로, 학습장치 또는 학습장치에 이미지를 제공하는 외부장치는 웹에서 특정 키워드에 의하여 검색된 페이지 내의 관련 단어와 매체를 판단하여 이미지 데이터 획득의 자동화로 효율성을 높이며 그 정확도를 높일 수 있다. 예를 들어, 상기 특정 키워드는 진단하고자 하는 질환명이 될 수 있으며, 상기 매체는 뉴스 매체일 수 있다. 또한, 상기 질환명은 대상포진, 무좀, 여드름 등의 피부질환을 포함할 수도 있고, 피부질환 외 다른 질환을 포함할 수도 있다.

보다 구체적으로, 학습장치 또는 외부장치는 상기 특정 키워드를 이용하여 웹에서 이미지를 검색하고, 검색된 이미지들을 획득할 수도 있다.

또한, 다른 일 실시예에서, 학습장치 또는 외부장치는 사용자로부터 이미지를 획득할 수도 있다. 또한, 학습장치 또는 외부장치는 소정의 레퍼런스 이미지와 유사한 이미지를 상기 인공지능 신경망을 트레이닝시키기 위한 이미지 데이터로써 획득할 수도 있다.

또한, 단계 S120에서, 학습장치는 획득된 이미지를 가공할 수 있다.

일 실시예에서, 학습 장치는 익명화된 이미지를 획득할 수 있다. 여기서, 익명화된 이미지란 개인정보 보호를 위해 이미지로부터 특정 사람을 획득할 수 없는 이미지를 의미할 수 있다. 예를 들어, 익명화 이미지에서는 사람을 식별하기 위한 특징들이 제거될 수 있다. 즉, 익명화 이미지에서 제거된 사람을 식별하기 위한 특징을 제외한 나머지 부분들이 트레이닝에 이용되는 특징이 될 수 있다.

익명화 이미지의 예로는, 사람의 얼굴 이미지에서 눈, 코, 입 중 적어도 하나가 제거된 이미지 또는 얼굴 이미지가 모자이크 또는 블러처리된 이미지 등을 포함할 수 있다. 예를 들어, 학습 장치가 사람의 얼굴 이미지에서 눈, 코, 입 중 적어도 하나가 제거된 이미지를 이용하여 트레이닝할 경우, 학습 장치는 얼굴 이미지에서 제거된 부분 외의 나머지 부분을 이용하여 트레이닝을 할 수 있다. 또한, 사람의 얼굴과 목이 포함된 이미지에서 얼굴부분이 블러처리된 경우, 학습장치는 블러처리가 되지 않은 목 부분을 이용하여 트레이팅을 수행할 수 있다. 물론, 이 외에 특정 사람을 식별할 수 없는 이미지는 상기 익명화된 이미지가 될 수 있다.

또한, 일 실시예에서, 학습 장치는 이미지를 파편화화여 익명화된 데이터를 생성할 수 있다. 예를 들어, 학습장치는 얼굴 이미지에서의 눈, 코, 입, 귀, 볼 등 각 부위를 파편화하여 익명화된 데이터를 생성할 수 있다. 또한, 학습장치는 각 부위의 경계선을 설정하고, 각 부위의 경계선에서 일정 수치 범위의 마진을 주어 각 부분의 이미지를 일부 중복시킬 수 있다.

학습장치는 상기 익명화된 이미지를 외부장치 또는 웹으로부터 획득할 수도 있다. 또한, 학습 장치는 익명화되지 않은 이미지를 가공하여 익명화 이미지를 생성할 수 있다.

예를 들어, 학습 장치는 익명화 되지 않은 이미지(도 7의 (a))에서 특정 사람을 식별할 수 있는 부분들을 추출하고, 해당 부분들에 대해 이미지 제거하거나(도 7의 (b)) 모자이크 또는 블러 처리(도 7의 (c))하여 익명화 이미지를 생성할 수 있다.

또한, 학습 장치는 신경망 모델을 이용하여 익명화된 이미지를 생성할 수 있다. 예를 들어, 학습 장치는 익명화 데이터 생성 모델을 포함할 수 있다. 학습 장치는 익명화 되지 않은 데이터를 상기 익명화 데이터 모델에 입력할 수 있고, 상기 익명화 데이터 모델로부터 익명화된 데이터가 획득될 수 있다. 일 예로, 상기 익명화 데이터 모델은 GAN, disco GAN, cycle GAN을 이용하여 생성될 수 있다. 학습 장치는 익명화되지 않은 이미지 및 익명화된 이미지를 이용하여 상기 익명화 데이터 모델을 트레이닝할 수 있다.

또한, 파편화된 이미지를 이용하여 진단이 수행될 경우, 각 개인의 프라이버시가 보호될 수 있다. 또한, 경우에 따라, 질환 예상 부위만을 진단에 사용하기 때문에 진단 장치의 정확도를 높일 수 있다. 또한, 질환 별로 발현 부위 별 특이성이 존재하기 때문에 신경망 모델의 트레이닝도 용이하게 진행될 수 있다.

또한, 일 실시예에서, 학습 장치는 획득된 이미지를 증강하여 다수의 이미지를 획득할 수 있다. 이는 트레이닝에 이용되는 이미지의 수를 증가시킴으로써 학습의 정확도를 높이기 위함일 수 있다.

일 실시예에서, 학습장치는 필터를 이용하여 이미지를 증강시킬 수 있다. 예를 들어, 학습장치는 도 8의 도시된 다양한 필터를 이용하여 다수의 이미지를 획득할 수 있다. 뿐만 아니라, 학습 장치는 이미지의 확대, 축소, 크롭핑, 반전, 회전 등의 방법을 이용하여 다수의 이미지를 획득할 수 있다.

또한, 일 실시예에서, 학습장치는 질환이 존재하지 않는 이미지에 대상 질환을 나타내는 이미지를 합성하여, 트레이닝을 위한 이미지의 개수를 증가시킬 수 있다. 예를 들어, 피부 질환 이미지의 개수가 부족할 경우, 신경망의 트레이닝이 충분하지 않게 수행될 수 있고, 이로 인해 대상 질환의 진단 정확도가 낮아질 수 있다. 이를 위해, 학습장치는 도 8의 예와 같이, 질환이 존재하지 않는 이미지(예를 들어, 도 9의 (a))에 대상 질환을 나타내는 이미지를 합성하여 피부질환 이미지(예를 들어, 도 9의 (b))를 생성하고, 생성된 피부질환 이미지들을 이용하여 신경망의 트레이닝을 수행하여, 진단 정확도를 높일 수 있다. 일 실시예에 따르면, 상기 이미지 합성은 알고리즘에 따라 입력된 정상 이미지 및 질환 이미지를 합성하는 것일 수 있다. 또한, 다른 일 실시예에 따르면, 상기 이미지 합성은 학습된 신경망 모델(예를 들어, GAN)을 통해 정상 이미지 및 질환 이미지를 합성하는 것일 수 있다.

또한, 일 실시예에서, 트레이닝을 위한 이미지는 라벨을 포함할 수 있다. 라벨은 복수개일 수 있다. 다시 말해, 트레이닝을 위한 이미지는 적어도 하나의 특징에 대하여 라벨링되어 있을 수 있다. 일 예로, 트레이닝을 위한 이미지가 피부에 대한 이미지일 경우, 트레이닝을 위한 이미지는 해당 이미지에 따른 진단 정보 라벨(예컨대, 특정 질환의 유무) 및/또는 소견 정보(예컨대, 특정 부위의 이상 여부) 라벨을 포함할 수 있다. 또한, 실시예에 따라 트레이닝을 위한 이미지에 복수개의 라벨이 포함될 수도 있다.

또한, 학습장치는 이미지에 대하여 전처리를 수행할 수 있다.

학습장치가 이미지를 입력된 그대로 트레이닝에 이용할 경우, 불필요한 특성들에 대한 학습 결과 과적합 현상 등이 발생할 수 있고 학습 효율 역시 저하될 수 있다.

이를 방지하기 위하여, 학습 장치는 이미지를 트레이닝의 목적에 부합하도록 적절히 전처리하여 이용함으로써 학습 효율 및 성능을 향상시킬 수 있다. 예를 들어, 학습장치는 이미지를 리사이징하거나, 다양한 전처리 필터(예를 들어, 블러 필터, 가우시안 필터, 디블러 필터, 이미지의 색상을 조정 또는 변조하는 필터, 이미지의 RGB값 중 일부 성분의 값을 변경하는 필터 또는 이미지를 이진화하는 필터 등)를 이용하여 이미지를 전처리할 수 있다.

또한, 단계(S130)에서, 학습 장치는 단계(S110) 또는 단계(S120)에서 획득된 이미지를 이용하여 신경망 모델을 트레이닝할 수 있다.

일 실시예에서, 신경망 모델은 라벨링된 이미지를 이용하여 학습될 수 있다. 다만, 이에 한정되는 것은 아니며, 신경망 모델은 라벨링되지 아니한 데이터를 이용하여 비지도 형태로 트레이닝될 수도 있다.

신경망 모델의 학습은, 트레이닝 이미지 데이터에 기초하여, 임의의 가중치 값들이 부여된 신경망 모델을 이용하여 결과값을 획득하고, 획득된 결과값을 트레이닝 데이터의 라벨값과 비교하고 그 오차에 따라 역전파를 수행하여, 가중치 값들을 최적화함으로써 수행할 수 있다. 또한, 신경망 모델의 학습은 후술하는 모델의 검증 결과, 테스트 결과 및/또는 진단 단계로부터의 피드백으로부터 영향을 받을 수 있다.

또한, 신경망 모델은 합성곱 신경망(CNN; Convolutional Neural Network)을 포함할 수 있다. 수 있다. CNN 구조로서, AlexNet, LENET, NIN, VGGNet, ResNet, WideResnet, GoogleNet, FractaNet, DenseNet, FitNet, RitResNet, HighwayNet, MobileNet, DeeplySupervisedNet 중 적어도 하나가 이용될 수 있다. 신경망 모델은 복수의 CNN 구조를 이용하여 구현될 수 있다. 또한, 신경망 모델은 순환신경망(RNN), CRNN, LSTM, STN, GRU 등을 포함할 수 있다.

또한, 신경망 모델의 학습은 텐서플로우를 이용하여 수행될 수 있다. 다만, 본 발명이 이에 한정되지는 아니하며, 티아노(Theano), 케라스(Keras), 카페(Caffe), 토치(Torch), CNTK(Microsoft Cognitive Toolkit) 등의 프레임워크가 신경망 모델의 학습에 이용될 수도 있다.

또한, 신경망 모델의 학습은 Residual Attention Learning이 적용될 수 있다.

또한, 일 실시예에서, 학습 장치는 이미지가 생성되거나 획득된 시간을 이용하여 신경망 모델을 학습시킬 수 있다. 이는, 시계열적인 이미지를 통하여 질환을 진단하거나 질병의 예후를 판단하기 위함일 수 있다.

예를 들어, 질환의 경우 시간이 경과됨에 따라 이미지에 포함된 질환의 형상 또는 크기가 다를 수 있다. 그리고, 생성된 시간이 동일한 이미지더라도, 질병의 진행 경과에 따라 질환의 형상 또는 크기가 다를 수 있다. 따라서, 서로 다른 시간에 생성되거나 획득된 이미지들에 포함된 질병의 형상 또는 크기를 이용하면 질병의 진행 경과가 파악되기 때문에, 보다 정확하게 질환을 진단하거나 또는 향후 질병의 예후를 판단할 수 있다. 따라서, 시계열적인 이미지를 이용하여 질병의 진단 또는 예후 판단을 수행하기 위하여, 학습 장치는 이미지들의 시간정보를 이용하여 신경망 모델을 학습할 수 있다.

일 실시예에 따르면, 신경망 모델은 RNN, CRNN 등을 기초로 생성될 수 있다. 그리고, 학습 장치는 생성되거나 획득된 시간이 상이한 이미지들을 이용하여 신경망 모델을 트레이닝 시킬 수 있다.

일 실시예에서, 학습장치는 이미지들이 생성되거나 획득된 시간 간격이 일정한 이미지들에 대해 트레이닝을 시킬 수 있다. 예를 들어, 학습 장치는 6시간 간격, 1일 간격, 1주 간격, 2주 간격, 한달 간격 등의 시간 간격으로 생성되거나 획득된 이미지들에 대해 트레이닝을 시킬 수 있다.

구체적인 예로서, 학습장치는 제1 신경망 모델에 대하여 6시간 간격으로 생성되거나 획득된 이미지들을 이용하여 트레이닝을 수행하고, 제2 신경망 모델에 대하여 1일 간격으로 생성되거나 획득된 이미지들을 이용하여 트레이닝을 수행할 수 있다. 이는, 신경망 모델마다 균일한 시간 간격으로 생성되거나 획득된 이미지들을 이용하여 학습을 수행함으로써 진단 정확도 또는 예후 예측 정확도가 향상될 수 있기 때문이다.

물론, 이에 한정되지는 않고, 학습장치는 생성되거나 획득된 시간간격이 상이한 이미지들에 대해서도 학습을 수행할 수 있다.

또한, 일 실시예에서, 학습장치는 동일인을 촬영한 이미지들을 하나의 세트로 신경망 모델을 트레이닝 시킬 수 있다. 예를 들어, 제1 피험자의 이미지들을 하나의 세트로 신경망 모델을 트레이닝하고, 제2 피험자의 이미지들을 하나의 세트로 상기 신경망 모델을 트레이닝할 수 있다.

도 10은 일 실시예에 따른 진단장치의 진단방법을 나타낸 도면이다.

도 10을 참조하면, 진단장치의 진단방법은 이미지를 획득하는 단계(S210), 획득된 이미지를 가공하는 단계(S220) 및 가공된 이미지를 기초로 신경망 모델을 이용하여 진단을 수행하는 단계(S230)를 포함할 수 있다.

단계 S210에서, 진단 장치는 대상체의 이미지를 획득할 수 있다. 상기 이미지는 외부 장치로부터 획득될 수도 있고, 진단 장치가 촬상부를 포함할 경우, 촬상부로부터 획득될 수도 있다. 또한, 진단장치는 이미지뿐 아니라 복수의 이미지로 구성된 동영상을 획득할 수도 있다. 또한, 진단 장치는 일정한 시간 간격으로 생성된 복수의 이미지를 획득할 수 있다. 예를 들어, 진단 장치는 6시간 간격, 1일 간격, 1주 간격, 2주 간격, 한달 간격 등의 시간 간격으로 생성되거나 획득된 이미지들을 획득할 수 있다.

또한, 단계 S220에서, 진단장치는 획득된 이미지를 가공할 수 있다.

일 실시예에서, 진단장치는 익명화된 이미지를 획득할 수 있다. 예를 들어, 진단장치는 단계 S210에서 획득된 이미지를 가공하여 익명화된 이미지를 생성할 수 있다. 익명화된 이미지에 대해서는 도 6에서 설명된 내용이 그대로 적용될 수 있다.

또한, 진단장치는 이미지를 파편화화여 익명화된 데이터를 생성할 수 있다. 예를 들어, 진단장치는 얼굴 이미지에서의 눈, 코, 입, 귀, 볼 등 각 부위를 파편화하여 익명화된 데이터를 생성할 수 있다. 또한, 진단장치는 각 부위의 경계선을 설정하고, 각 부위의 경계선에서 일정 수치 범위의 마진을 주어 각 부분의 이미지를 일부 중복시킬 수 있다.

또한, 진단장치는 신경망 모델을 이용하여 익명화된 데이터를 생성할 수 있다. 예를 들어, 진단장치는 익명화 데이터 생성 모델을 포함할 수 있다. 진단장치는 익명화 되지 않은 데이터를 상기 익명화 데이터 모델에 입력할 수 있고, 상기 익명화 데이터 모델로부터 익명화된 데이터가 획득될 수 있다. 일 예로, 상기 익명화 데이터 모델은 GAN, disco GAN, cycle GAN을 이용하여 생성될 수 있다. 또한, 단계(S230)에서, 진단장치는 익명화된 이미지를 신경망 모델에 입력하여 진단을 수행할 수 있다. 익명화 모델의 생성에 대해서는 도 6에서 설명된 내용이 적용될 수 있으므로, 상세한 설명은 생략한다.

또한, 파편화된 이미지를 이용하여 진단이 수행될 경우, 각 개인의 프라이버시가 보호될 수 있다. 또한, 경우에 따라, 질환 예상 부위만을 진단에 사용하기 때문에 진단 장치의 정확도를 높일 수 있다.

또한, 진단장치는 이미지에 대하여 전처리를 수행할 수 있다. 예를 들어, 진단장치는 이미지를 리사이징하거나, 다양한 전처리 필터(예를 들어, 블러 필터, 가우시안 필터, 디블러 필터, 이미지의 색상을 조정 또는 변조하는 필터, 이미지의 RGB값 중 일부 성분의 값을 변경하는 필터 또는 이미지를 이진화하는 필터 등)를 이용하여 이미지를 전처리할 수 있다.

또한, 단계 S230에서, 진단장치는 단계 S210 또는 단계 S220 에서 획득된 이미지를 기초로 신경망 모델을 이용하여 대상체에 대한 진단을 수행할 수 있다.

일 실시예에서, 신경망 모델은 합성곱 신경망(CNN; Convolutional Neural Network)을 포함할 수 있다. 수 있다. CNN 구조로서, AlexNet, LENET, NIN, VGGNet, ResNet, WideResnet, GoogleNet, FractaNet, DenseNet, FitNet, RitResNet, HighwayNet, MobileNet, DeeplySupervisedNet 중 적어도 하나가 이용될 수 있다. 신경망 모델은 복수의 CNN 구조를 이용하여 구현될 수 있다. 또한, 신경망 모델은 순환신경망(RNN), CRNN, LSTM, STN, GRU 등을 포함할 수 있다.

일 실시예에서, 진단장치는 대상체의 이미지 또는 대상체의 가공된 이미지를 신경망 모델에 입력하여, 신경망 모델로부터 대상체에 대한 진단 보조 정보를 출력할 수 있다. 또한, 진단장치는 신경망 모델에서 출력된 결과를 이용하여 진단보조 정보를 생성할 수도 있다. 물론, 신경망 모델에 입력되는 정보는 이미지와 함께 다른 정보(예를 들어, 대상체와 관련된 수치정보(나이, 키, 몸무게, 혈압, 특정 질병 유무 등)가 같이 입력되거나, 상기 다른 정보만이 입력될 수 있다.

일 실시예에서, 진단 보조 정보는 대상체가 특정 질환을 가지고 있는지 여부, 대상체가 특정 질환을 가지고 있을 확률, 특정 질환의 경과 정도와 같은 질환에 대한 다양한 진단과 관련된 정보를 포함할 수 있다. 또한, 진단 보조 정보는 대상체의 상태에 대한 정보를 포함할 수 있다. 예를 들어, 진단 보조 정보는 피부 상태(피부 타입(건성, 지성, 복합성 등))에 대한 정보를 포함할 수 있다.

일 실시예에서, 진단 보조 정보는 신경질환(치매, 알츠하이머, 파킨슨병 등), 피부질환 등 다양한 질병의 진단과 관련된 정보를 포함할 수 있다. 예를 들어, 피부질환은 습진, 두드러기, 사마귀, 지루성 피부염, 켈로이드, 다한증, 백선, Pityriasis versicolor, Urticaria, Angioedema, Dermatographism, Eczema, 기저귀 발진, 바이러스성 피부질환, 세균성 피부질환, 양성 종양, 탈모, 피부혈관질환, 진피 및 피하지방종양, 구진 인설성 질환, 동물 기생충성 피부질환, 흑색종, 무좀, 건선, 대상포진, 여드름 또는 아토피 피부염 등 피부에 발생되는 모든 종류의 질병을 포함할 수 있다.

일 실시예에서, 진단 보조 정보는 질환과 관련된 처방 정보를 포함할 수 있다. 예를 들어, 처방 정보는 약품 처방에 대한 정보(약품의 종류, 약품의 복용량/도포량, 약품의 복용 횟수/도포 횟수 등), 환경 개선(주변환경 변경, 식습관 개선, 운동 등)에 대한 정보 등을 포함할 수 있다. 여기서 약품은 내복약 및 외용약을 포함할 수 있다. 구체적으로, 상기 약품 처방에 대한 정보는은 병변 위치, 병변 크기에 따른 약품의 처방일 수 있으며, 구체적인 도포양이 포함될 수 있고, 질환 진행 단계에 따른 단계별 약품 처방일 수 있다. 일예로, 무좀을 진단하는 경우에 있어 진단 장치는 발톱에 무좀이 진단된 경우 액상 약품을, 일반 피부에 무좀이 진단된 경우 바르는 약품을 처방하기 위한 처방 정보를 제공할 수 있다.

또한, 일 실시예에서, 진단 장치는 약품처방에 대한 정보로서 도포범위에 대한 정보를 제공할 수 있다. 일 예로, 약이 도포되어야 하는 범위는 피부 질환이 발생한 범위와 같거나 더 넓을 수 있다. 일 실시예에 따르면, 약의 도포 범위는 피부 질환 판단 부위의 경계로부터 일정 간격 떨어진 경계를 가질 수 있다. 상기 일정 간격은 피부질환 종류 및 질환 정도, 피부 질환 부위를 고려하여 정해질 수 있다. 또한 상기 일정 간격은 임의로 설정된 값을 수 있다.

일 실시예에 따르면, 진단장치는 heat map 또는 Grad-CAM 결과를 이용하여 상기 약이 도포되어야 하는 범위를 결정할 수 있다. 예컨대, 신경망 모델에서 피부질환 영역과의 관련성을 나타내는 heat map 또는 Grad-CAM이 출력될 수 있다. heat map 또는 Grad-CAM에서는 컬러 구분을 통해 피부질환 영역과의 관련성이 다양한 레벨로 표시될 수 있다. 일 실시예에서, 진단장치는 복수의 레벨 중 제1 레벨로 나타내는 영역을 피부질환 영역으로 설정할 수 있고, 제1 레벨보다 낮은 제2 레벨로 나타나는 영역을 약이 도포되어야 하는 범위로 설정할 수 있다.

일 실시예에 따르면, 신경망 모델의 학습을 위해 제공되는 학습 데이터에는 전문가에 의해 질환 사진에 대해 별도의 도포 범위를 라벨링이 될 수 있다.

일 실시예에 따르면, 상기 약의 도포 범위는 AR과 같은 방법을 통하여 실시간으로 제공될 수 있다. 해당 결과는 진단 장치의 디스플레이부를 통해 출력될 수 있으며, 웨어러블 글래스 등의 별도 AR 컨텐츠를 제공하는 장치를 통해서도 출력될 수 있다.

일 실시예에서, 신경망 모델은 다양하게 구성될 수 있다. 구체적으로, 도 11의 (a)에서와 같이, 복수의 신경망 모델이 직렬적으로 연결될 수 있다. 예컨대, 제1 입력이 제1신경망 모델에 입력될 수 있으며, 제1 신경망 모델에서 출력된 결과는 제2 신경망 모델에 입력값으로 입력될 수 있다. 진단 장치는 제2 신경망 모델에서 출력된 결과를 이용하여 진단 보조 정보를 생성할 수 있다. 예를 들어, 피부 진단의 경우, 상기 제1 입력은 대상체의 피부 이미지일 수 있다. 상기 제1 신경망 모델에서는 입력된 피부 이미지에 대한 피부 세그멘테이션 결과 데이터가 출력될 수 있다. 상기 피부 세그멘테이션 결과 데이터는 상기 제2 신경망 모델에 입력될 수 있고, 상기 제2 신경망 모델에서 피부에 대한 진단 보조 정보가 출력될 수 있다.

또한, 도 11의 (b)에서와 같이, 복수의 신경망 모델이 병렬적으로 구성될 수 있다. 예컨대, 제1 입력이 제1신경망 모델 및 제2 신경망 모델 각각에 입력될 수 있으며, 상기 제1 신경망 모델에서 출력된 결과 및 상기 제2 신경망 모델에서 출력된 결과를 이용하여 진단 보조 정보를 생성할 수 있다.

. 예를 들어, 피부 진단의 경우, 상기 제1 입력은 대상체의 피부 이미지일 수 있다. 또한, 상기 제1 신경망 모델은 제1 피부질환을 진단하기 위한 신경망 모델일 수 있으며, 상기 제2 신경망 모델은 제2 피부질환을 진단하기 위한 신경망 모델일 수 있다. 진단 장치는 상기 제1 신경망 모델의 출력 결과 및 상기 제2 신경망 모델의 출력 결과를 종합하여 제1 피부질환 및 제2 피부질환에 대한 진단보조 정보를 생성할 수 있다.

또한, 도 11의 (c)에서와 같이, 복수의 신경망 모델이 병렬적으로 구성되되, 병렬적으로 구성된 복수의 신경망 모델 각각에 다른 정보가 입력될 수 있다. 예컨대, 제1 입력은 제1 신경망 모델에 입력될 수 있으며, 제2 입력은 제2 신경망 모델에 입력될 수 있다. 진단장치는 각 신경망 모델에서 나온 출력값을 종합하여 진단 보조결과를 출력할 수 있다. 예를 들어, 피부 진단의 경우, 상기 제1 입력은 진단장치에 의해 촬영된 대상체의 피부 이미지일 수 있으며, 제2 입력은 대상체에 대한 수치정보일 수 있다. 진단 장치는 상기 제1 신경망 모델의 출력 결과 및 상기 제2 신경망 모델의 출력 결과를 종합하여 제1 피부질환 및 제2 피부질환에 대한 진단보조 정보를 생성할 수 있다.

또한, 일 실시예에서, 진단장치는 이미지가 생성되거나 획득된 시간을 이용하여 진단을 수행할 수 있다. 이는, 시계열적인 이미지를 통하여 질환을 진단하거나 예후(예를 들어, 미래의 질환 진행 가능성, 질환 진행 유무, 질환 진행 정도 등)를 판단하기 위함일 수 있다. 이 경우, 진단 보조 정보는 현재 질환 진단 정보 또는 대상체의 상태에 대한 정보를 포함할 수 있고, 또한, 질환 또는 대상체의 상태이 예후 정보를 포함할 수도 있다.

일 실시예에 따르면, 신경망 모델은 RNN, CRNN 등을 기초로 생성될 수 있다. 그리고, 상기 신경망 모델은 생성되거나 획득된 시간이 상이한 이미지들을 이용하여 트레이닝될 수 있다. 또한, 일 실시예에서, 상기 신경망 모델은 생성되거나 획득된 시간 간격이 일정한 이미지들에 대해 트레이닝될 수 있다. 물론, 상기 신경망 모델은 생성되거나 획득된 시간 간격이 일정하지 않은 이미지들에 대해 트레이닝될 수도 있다. 상기 신경망 모델의 트레이닝에 대해서는 도 6에 대한 설명이 적용될 수 있다.

진단 장치는 생성되거나 획득된 시간 간격이 일정하지 않은 이미지, 즉, 시계열적 이미지를 신경망 모델에 입력할 수 있다. 일 실시예에서, 이미지들이 생성되거나 획득된 시간 간격은 일정할 수 있다. 예컨대, 시계열적 이미지들은 6시간 간격, 1일 간격, 1주 간격, 2주 간격, 한달 간격 등의 시간 간격으로 생성되거나 획득될 수 있다.

또한, 진단 장치는 시계열적 이미지와 함께, 입력된 시계열적 이미지들이 생성되거나 획득된 시간간격에 대한 정보를 입력할 수 있다. 이미지들이 생성되거나 획득된 시간에 대한 정보는 상기 이미지들에 포함된 타임 스탬프 정보를 통해 획득될 수도 있고, 외부로부터 이미지들이 생성되거나 획득된 시간에 대한 정보가 입력받을 수도 있다.

또한, 신경망 모델은 일정한 시간 간격을 갖는 이미지들을 기초로 트레이닝될 수 있다. 예를 들어, 제1 신경망 모델은 6시간 간격으로 생성된 이미지들을 이용하여 트레이닝되고, 제2 신경망 모델은 1주 간격으로 생성된 이미지들을 이용하여 트레이닝될 수 있다. 이 경우, 진단 장치는 제1 신경망 모델에 6시간 간격으로 생성된 이미지들인 제1 시계열적 이미지들을 제1 신경망 모델에 입력하여 진단 보조 정보를 획득하고, 제2 시계열적 이미지들을 제2 신경망 모델에 입력하여 진단 보조 정보를 획득할 수 있다. 또한, 제3 시계열 이미지들이 13일 간격으로 생성된 이미지로 구성된 경우, 13일을 기준으로 6시간 보다는 14일이 유사하므로, 진단 장치는 유사한 시간간격으로 학습된 제2 시계열 모델에 제3 시계열적 이미지들을 입력할 수 있다.

또한, 신경망 모델에 시계열적 이미지가 입력됨에 따라 시계열적 이미지들의 시계열적 특징이 도출될 수 있다. 그리고, 상기 시계열적 특징을 기초로 진단보조 정보가 출력될 수 있다. 여기서, 상기 진단보조 정보는 신경망 모델에서 출력될 수도 있고, 신경망 모델에서는 시계열적 특징이 출력되고, 진단장치가 시계열적 특징을 이용하여 진단 보조 정보를 생성할 수도 있다. 시계열적 특징에 의하여, 진단 보조 정보는 현재 질환 진단 정보 또는 대상체의 상태에 대한 정보를 포함할 수 있고, 또한, 질환 또는 대상체의 상태의 예후 정보를 포함할 수도 있다. 그리고 시계열적 특징에 의하여 진단 보조 정보의 정확성이 향상될 수 있다.

또한, 일 실시예에서, 신경망 모델은 Ensemble 기법을 사용할 수 있으며, 이 경우 신경망 경량화(Knowledge Distillation)가 됨으로써 프로세싱 능력이 낮은 다양한 장치에서도 상기 신경망 모델이 구동될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

피부 진단 보조 방법에 있어서,
대상체의 복수의 이미지 - 상기 복수의 이미지 각각의 생성 시점이 상이함 - 를 획득하는 단계;
상기 획득된 복수의 이미지를 제1 신경망 모델에 입력하는 단계; 및
상기 신경망으로부터 상기 대상체의 피부에 대한 진단 보조 정보를 획득하는 단계
를 포함하는
피부 진단 보조 방법.
제1항에 있어서,
상기 복수의 이미지는 제1 시간간격을 기준으로 생성시점이 시계열적으로 구별되고,
상기 제1 신경망 모델은 상기 제1 시간간격을 기준으로 생성시점이 시계열적으로 구별되는 복수의 학습 이미지를 기초로 트레이닝되는,
피부 진단 보조 방법.
제1항에 있어서,
상기 진단 보조 정보는 상기 대상체의 피부에 대한 예후 정보를 포함하는,
피부 진단 보조 방법.
제1항에 있어서,
상기 복수의 이미지를 획득하는 단계는
상기 대상체의 복수의 원본 이미지를 획득하는 단계; 및
상기 복수의 원본 이미지를 가공하여 상기 복수의 이미지를 생성하는 단계
를 포함하는,
피부 진단 보조 방법.
제4항에 있어서,
상기 복수의 원본 이미지를 가공하여 상기 복수의 이미지를 생성하는 단계는
상기 복수의 원본 이미지를 전처리하는 단계
를 포함하는,
피부 진단 보조 방법.
제4항에 있어서,
상기 복수의 원본 이미지를 가공하여 상기 복수의 이미지를 생성하는 단계는
상기 복수의 원본 이미지를 익명화하는 단계
를 포함하는,
피부 진단 보조 방법.
제6항에 있어서,
상기 복수의 원본 이미지를 익명화하는 단계는,
상기 복수의 원본 이미지를 제2 신경망 모델 - 상기 제2 신경망 모델은 GAN, disco GAN 또는 Cycle GAN 중 적어도 하나를 기초로 생성됨 - 에 입력하여 상기 복수의 이미지를 획득하는 단계
를 포함하는,
피부 진단 보조 방법.