KR102058884B1

KR102058884B1 - 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법

Info

Publication number: KR102058884B1
Application number: KR1020190042506A
Authority: KR
Inventors: 남궁종; 조원태
Original assignee: 주식회사 홍복
Priority date: 2019-04-11
Filing date: 2019-04-11
Publication date: 2019-12-24
Also published as: US20200327663A1

Abstract

본 발명의 일실시예에 따른 스마트폰 상에서 실시간으로 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법은, 사용자 단말로부터 사용자의 눈을 촬영한 입력 영상을 수신하는 단계; 상기 입력 영상으로부터 홍채를 추출하기 위해 관심 영역(Region of Interest)을 추출하는 단계; 추출된 상기 관심 영역을 정사각형 형태로 리사이징하고, 상기 관심 영역의 크기를 스케일링하는 단계; 리사이징 및 스케일링된 상기 관심 영역에 대해 심층 신경망을 적용하는 단계; 상기 심층 신경망을 적용함으로써 획득된 영상에 대해 디텍션(detection) 및 세그먼테이션(segmentation)을 적용하여 병변 영역을 검출하는 단계; 상기 디텍션을 통해 상기 병변 영역의 위치를 판단하고, 상기 세그먼테이션을 통해 상기 병변 영역의 형상을 결정함으로써, 치매를 진단하는 단계를 포함하고, 상기 관심 영역을 추출하는 단계는, 상기 입력 영상으로부터 치매 진단에 이용되지 않는 영역을 배제함으로써 홍채를 추출하기 위해 필요한 최소 영역인 상기 관심 영역을 추출하는 단계를 더 포함하고, 상기 심층 신경망을 적용하는 단계는, 상기 입력 영상 중 상기 관심 영역으로 추출되지 않은 영역과 비교하여, 상기 관심 영역에 가중치를 부여하는 방식으로 심층 신경망을 적용하는 단계를 더 포함하고, 상기 치매를 진단하는 단계는 상기 병변 영역의 위치 및 형상에 기초하여 치매 종류를 진단하는 단계를 더 포함할 수 있다.

Description

치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법{METHOD OF ANALYZING IRIS IMAGE FOR DIAGNOSING DEMENTIA IN ARTIFICIAL INTELLIGENCE}

본 발명은 치매를 진단하기 위해 홍채 영상을 인공지능으로 분석하는 방법에 관한 것으로서, 보다 자세하게는 치매의 종류 및 전조 진단까지 예측하고, 저성능의 모바일 기기로도 진단을 받을 수 있는 경량화된 신경망을 설계하며, 치매 환자의 신뢰성을 높이기 위해 해당하는 병변 영역 위치까지 보여주는 방법 제공하는 것에 관한 것이다.

치매란 인간이 가진 여러 가지 인지기능인 기억력, 주의력, 언어기능, 시공간능력을 포함한 측두엽 및 전두엽 집행기능 등에 장애가 발생하여 일상생활이나 사회생활을 하는데 어려움을 초래하는 상태를 말한다. 치매는 그 발생 원인에 따라 알츠하이머 치매, 혈관성 치매, 루이소체 치매, 전두엽 치매 등으로 구분된다. 알츠하이머 치매는 오늘날 치매 환자의 70%가 이 부분에 해당한다.

알츠하이머 치매는 인식 능력을 점차적으로 저하시키며 종종 기억력을 상실하는데서부터 시작된다. 원인으로는 아밀로이드반이라는 비정상적인 단백질 덩어리와 신경섬유매듭이라는 단백질로 구성된 덩어리가 서로 얽혀 신경세포들과의 커뮤니케이션을 막아 세포를 죽임으로써 알츠하이머가 온다.

혈관성 치매는 뇌의 혈관 손상이 초래한 인식 장애이다. 그래서 뇌졸중환자가 치매를 걸릴 가능성이 있다. 게다가 알츠하이머 질환과 유사하게 나타날 수 있어, 혈관성 치매와 같이 병행되어 발생하는 일이 매우 흔하다.

루이소체 치매는 알파시투클레인이라는 비정상적인 단백질 덩어리가 뇌의 특정 부위에 발생한다. 그래서 움직임과 사고 그리고 행동의 변화를 초래한다. 또한 주의력과 사고력에도 많은 변동이 일어나는데, 움직임 증세가 먼저 나타나면 흔히 파킨슨 병으로 진단하고 인식적 증세가 먼저 나타나면 루이소체 치매라고 진단한다.

전두엽 치매는 전측두엽성 치매라고도 하며 뇌의 전두엽 및 측두엽에 점진적인 손상이 있을 때 발생한다. 전두엽은 행동 증세 및 인격 변화, 측두엽은 언어 장애 현상이 오는데 이 두 가지가 병행되기도 한다.

그리고 홍채는 뇌의 연장으로서 수십만 가닥의 신경말단(자율신경, 동안신경, 감각신경)과모세혈관 및 근섬섬유 조직을 가지고 있다. 그러므로 홍채는 뇌와 신경계를 통하여 모든 장기와 조직에 연결 되어 있어서 전신건강에 대한 직접적인 진단지표로서의 역할을 수행할 수가 있다.

홍채학에서는 바로 이점에 착안하여 홍채상에 나타난 모든 변화로부터 연관된 조직의 질병 상태를 진단하고 신체의 요구가 무엇인가를 알아내게 된다. 다시 말해 홍채는 우리 몸에서 가장 복잡한 섬유막 구조로 되어있고 신경을 통하여 대뇌와 신체 각 부위에 연결되어 있기 때문에 신체내의 각 조직, 장기에서 일어나는 화학적, 물리적 변화에 따른 정보가 바이브레이션(Vibration)으로 전달되어 섬유조직의 형태를 변화시키게 된다. 이를 이용하여 개인적 건강의 수준이나 치료에 대한 반응, 인체골격, 질병의 회복 및 진행에 관한 상태를 판독하고 진단할 수가 있기 때문에 홍채를 통한 치매 진단하는 데에 근거가 될 수 있다.

한편, 종래의 치매 진단에 있어 일반적인 방법은 문진 검사와 검사실 검사로 구분하는데 검사실 검사에서 MRI 또는 CT 뇌 촬영검사와 혈액검사 그리고 뇌척수액 검사가 있다. 여기서 종래의 치매 진단 인공지능은 MRI 혹은 CT 영상을 활용해 합성곱 신경망(Convolutional Neural Network: CNN)을 이용하여 치매를 진단하였다. 여기서 신경망은 컨볼루션 계층과 Fully-connected 계층(이하 FC 계층)으로 나눌 수 있는데, 종래의 기술은 컨볼루션 계층의 연산량이 F²NK²M(F = feature-map, N = input channels, K = kernel, M = output channels)이므로 컴퓨터의 CPU 발전과 더불어 graphics processing units(GPU) 기술의 엄청난 발전으로 인해 빠른 병렬처리 지원이 가능해졌더라도 영상의 크기가 크면 클수록 연산량은 기하급수적으로 늘어나게 되고, 이는 심층 신경망인 CNN을 학습하는데 오랜 시간이 걸린다.

또한, 종래의 기술의 심층 신경망에서 많은 연산량이 치중되어 있는 계층이 FC 계층이다. FC 계층은 컨볼루션 계층에서 추출된 특징들을 1차원 벡터로 변환함으로써 원래의 3차원 이미지였던 공간적 정보를 손실하고 심층 신경망의 대부분의 연산량이 FC 계층에 치중되어 있어 과적합될 수 있는 단점이 있고, 처리 속도가 매우 느리다.

게다가 종래의 치매 진단 인공지능은 애초에 고가의 장비 그리고 특정한 장소에서 촬영을 해서 얻은 데이터를 기반으로 한다. 이는 결국 이용자가 고비용과 불편함을 느끼고 나아가 침습적 방법을 거쳐야만 했다.

따라서 치매를 저비용이면서 비침습적이고 시공간의 제약이 없어도 진단할 수 있는 기술에 대한 필요성이 요구되고 있고 더불어 환자가 빠르게 진단결과를 알 수 있고 정확도 또한 높여 신뢰감을 줄 수 있는 기술이 요구되고 있다.

본 발명의 목적은, 본 발명은 종래의 치매 진단 장치의 문제점인 처리 속도가 매우 느리다는 점을 보완하여 궁극적으로는 데스크탑보다 하드웨어 성능이 낮은 모바일기기에서도 실시간 진단이 가능한 처리 속도에 중점을 둔 경량화된 신경망을 제공하는 것 뿐만 아니라 이에 못지 않은 높은 정확도로 정확하게 진단하는데 있다.

본 발명의 다른 목적은, 치매 진단에 대한 통계적 결과를 보여줌과 동시에 병변 위치를 가시화해주어 환자에게 신뢰감을 주는데 있다.

본 발명의 또 다른 목적은, 병변 영역의 위치 및 형상에 따른 치매 가능성 및 치매 진행 정도를 나타내는 빅데이터에 기초하여, 검출 및 분석 결과에 따라 치매 가능성 및 상기 치매 진행 정도를 진단하며, 필요시 추가 검사가 필요함을 실시간으로 통지하는데 있다.

본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 문제점을 해결하기 위한 본 발명의 일실시예에 따른 스마트폰 상에서 실시간으로 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법 은, 사용자 단말로부터 사용자의 눈을 촬영한 입력 영상을 수신하는 단계; 상기 입력 영상으로부터 홍채를 추출하기 위해 관심 영역(Region of Interest)을 추출하는 단계; 추출된 상기 관심 영역을 정사각형 형태로 리사이징하고, 상기 관심 영역의 크기를 스케일링하는 단계; 리사이징 및 스케일링된 상기 관심 영역에 대해 심층 신경망을 적용하는 단계; 상기 심층 신경망을 적용함으로써 획득된 영상에 대해 디텍션(detection) 및 세그먼테이션(segmentation)을 적용하여 병변 영역을 검출하는 단계; 상기 디텍션을 통해 상기 병변 영역의 위치를 판단하고, 상기 세그먼테이션을 통해 상기 병변 영역의 형상을 결정함으로써, 치매를 진단하는 단계를 포함하고, 상기 관심 영역을 추출하는 단계는, 상기 입력 영상으로부터 치매 진단에 이용되지 않는 영역을 배제함으로써 홍채를 추출하기 위해 필요한 최소 영역인 상기 관심 영역을 추출하는 단계를 더 포함하고, 상기 심층 신경망을 적용하는 단계는, 상기 입력 영상 중 상기 추출한 관심 영역을 정사각형 형태로 리사이징하고 픽셀 정보값을 0과 1사이의 값들로 정규화 및 바이트(byte) 형태로 변환하여 하나의 데이터로 압축 및 최적화하는 단계를 더 포함하고, 상기 치매를 진단하는 단계는 상기 병변 영역의 위치 및 형상에 기초하여 치매 종류를 진단하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 관심 영역을 추출하는 단계가, 상기 입력 영상이 수직 방향에 대해 기울어져 있는 경우, 미리 설정한 가상의 축을 이용하여 상기 수직 방향에 대해 기울어진 각도만큼 정렬시킨 후 상기 관심 영역을 추출하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 리사이징 및 스케일링하는 단계가, 상기 관심 영역을 정사각형 형태로 리사이징하고, 픽셀 정보값을 0과 1 사이의 값들로 정규화하며, 상기 픽셀 정보값을 바이트(byte) 형태로 변환하고 상기 관심 영역을 하나의 데이터로 압축함으로써 상기 홍채 영상의 데이터를 최적화하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 심층 신경망이 합성곱 신경망(Convolutional Neural Network: CNN)을 포함함으로써, 상기 홍채 영상의 공간 정보가 손실되는 것을 방지하는 것을 특징으로 한다.

본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 사용자 단말이 카메라부를 포함하고, 상기 카메라부는 일반 모바일 카메라 및 홍채 인식 전용 카메라를 포함하거나, 상기 카메라부에 홍채 인식 전용 렌즈가 부착되는 것을 특징으로 한다.

본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 심층 신경망을 적용하는 단계가, 분리 가능한(Separable) 컨볼루션 및 팽창된(atrous) 컨볼루션을 이용하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 병변 영역의 위치 및 형상에 기초하여, 치매 진단에 근거가 되는 가시화 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 병변 영역의 위치 및 형상에 기초하여, 치매를 전조 진단하는 단계를 더 포함하는 것을 특징으로 한다.

본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 병변 영역의 위치 및 형상에 따른 치매 가능성 및 치매 진행 정도를 나타내는 빅데이터를 축적하는 단계; 상기 빅데이터에 기초하여, 상기 병변 영역의 위치 및 형상에 따른 상기 치매 가능성 및 치매 진행 정도를 결정하는 단계; 상기 치매 가능성 및 상기 치매 진행 정도에 따라, 문진 검사 및 검사실 검사를 포함한 추가 검사가 필요함을 상기 사용자 단말을 통해 실시간으로 통지하는 단계를 더 포함하고, 상기 치매 종류는 알츠하이머 치매, 혈관성 치매, 루이소체 치매 및 전두엽 치매를 포함하고, 상기 치매 가능성은 백분율로 구분되며, 상기 치매 진행 정도는 초기, 중기 및 말기로 구분되는 것을 특징으로 한다.

본 발명의 일실시예에 따른 홍채 영상을 인공지능으로 분석하는 방법은, 상기 합성곱 신경망에 대해 활성화 함수(activation function) 및 초점(Focal) 손실 방법이 이용되는 것을 특징으로 한다.

상기와 같은 본 발명에 따르면 아래에 기재된 효과를 얻을 수 있다. 다만, 본 발명을 통해 얻을 수 있는 효과는 이에 제한되지 않는다.

첫째, 본 발명에 따르면, 치매의 전조 진단 및 분류에 따른 진단에 대해 정확도뿐만 아니라 처리 속도에 중점을 두고, 진단에 대한 통계적 결과를 보여줌과 동시에 병변 위치를 가시화해주어 환자에게 신뢰감을 주게끔 한다. 게다가 처리 속도에 중점을 둔 경량화 신경망을 통해, 궁극적으로 실시간으로 하드웨어 환경이 낮은 모바일기기에서도 진단을 받을 수 있게 한다.

둘째, 본 발명에 따르면, 병변 영역의 위치 및 형상에 따른 치매 가능성 및 치매 진행 정도를 나타내는 빅데이터에 기초하여, 검출 및 분석 결과에 따라 치매 가능성 및 상기 치매 진행 정도를 진단하며, 필요시 추가 검사가 필요함을 실시간으로 푸쉬 알람 등의 방식으로 통지할 수 있게 한다.

도 1은 본 발명의 일실시예에 따른 전체 시스템을 나타내는 개념도이다.
도 2는 본 발명의 일실시예에 따른 시스템의 구성을 나타내는 구성도이다.
도 3은 본 발명의 일실시예에 따른 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법을 나타내는 순서도이다.
도 4는 본 발명의 일실시예에 따른 심층 신경망 학습 부분 상세 블록도이다.
도 5는 본 발명의 일실시예에 따른 일반 컨볼루션과 팽창된(atrous) 컨볼루션을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 일반 컨볼루션과 분리 가능한(Separable) 컨볼루션을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 신경망이 진단한 병변 위치를 히트 맵 방식으로 보여주는 예시도이다.
도 8은 본 발명의 일실시예에 따른 컨볼루션을 거친 특징들로 하여금 디텍션(detection) 해주는 블록도이다.
도 9는 본 발명의 일실시예에 따른 심층 신경망의 활성화 함수(activation function)의 그래프이다.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이고, 다양한 실시형태의 변형 및 변환이 가능하며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.

단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전히 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

몇몇의 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다. 또한, 본 명세서 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 명세서에 기재된 "…부" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 나아가, "일(a 또는 an)", "하나(one)", 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

아울러, 본 발명의 실시예들에서 사용되는 특정(特定) 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.

도 1은 본 발명의 일실시예에 따른 전체 시스템을 나타내는 개념도이다.

도 1을 참조하면, 사용자 단말은 스마트폰, 테블릿 PC, 랩탑 등을 포함하는 전자 기기일 수 있다. 사용자 단말은 카메라를 포함하고, 상기 카메라는 홍채 인식 전용 카메라를 포함하거나, 상기 카메라에 홍채 인식 전용 렌즈가 부착될 수 있다. 따라서, 사용자 단말을 이용하여 사용자의 눈을 촬영하였을 때, 홍채를 포함한 특정 부위에 대해 해상도 높은 화면 또는 영상을 확보할 수 있다. 사용자 단말을 통해 사용자의 눈을 촬영하여 획득된 영상은 서버에 입력되어, 치매 진단 등에 사용될 수 있다. 이하, 치매 진단과 관련하여, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 보다 상세하게 설명한다.

도 2는 본 발명의 일실시예에 따른 시스템의 구성을 나타내는 구성도이다.

도 2를 참조하면, 본 발명의 일 실시에에 따른 시스템은, 입력 영상으로부터 홍채를 추출하기 위해 관심 영역(Region of Interest; RoI)을 추출하는 추출부(110), 추출된 상기 관심 영역을 다각형, 즉 다양한 크기의 정사각형 형태로 리사이징하고, 상기 관심 영역의 크기를 스케일링하는 전처리부(120), 리사이징 및 스케일링된 상기 관심 영역에 대해 심층 신경망을 적용하는 학습부(130), 상기 심층 신경망을 적용함으로써 획득된 영상에 대해 디텍션(detection) 및 세그먼테이션(segmentation)을 적용하여 병변 영역을 검출하는 검출부(140) 및 상기 디텍션을 통해 상기 병변 영역의 위치를 판단하고, 상기 세그먼테이션을 통해 상기 병변 영역의 형상을 결정함으로써, 치매를 진단하는 진단부(150)를 포함할 수 있다.

추출부(110)는 저성능의 모바일기기로부터도 영상을 획득할 수 있다.

추출부(110)는 치매를 진단하는데 사용될 영상들을 획득 후 빠른 처리 속도를 위하여 진단에 있어서 불필요한 영상 부분을 제거할 수 있다. 일 실시예에 따라, 상기 홍채 영상들은 기울어져 찍힌 영상들도 배제할 수 없으므로 미리 설정한 가상의 축을 이용하여 똑바로 정렬시킨 후 눈 영상으로부터 관심 영역만 추출할 수 있다. 여기서 관심 영역이란 불필요한 영역을 제외한 치매 진단에 필요한 홍채를 추출하기 위한 최소한의 영역을 말한다.

관심 영역을 추출해야 하는 이유는 경량화를 위해 치매 진단에 불필요한 영역을 제거함으로써 연산량을 최대한 줄이기 위해서이다. 관심 영역을 추출한 후 불필요한 영역은 그레이로 처리하고 전처리부(120)로 전달할 수 있다.

전처리부(120)는 추출부(110)에서 얻은 홍채 영상의 크기를 정사각형(NxN) 크기로 리사이징할 수 있다. 영상의 크기가 크면 클수록 그만큼 연산량은 배가 되므로 경량화 인공지능을 위해서 적절한 크기로 조절하고, 픽셀 정보값(0~255)들을 0과 1사이의 값들로 정규화하여 오류나 예상치에서 벗어나는 값이 없도록 할 수 있다.

일반적인 신경망의 경우, 3차원 데이터인 홍채 영상을 1차원으로 평면화시켜야 하므로, 이 과정에서 영상의 공간 정보가 손실될 수밖에 없다. 따라서, 학습부(130)는 홍채 영상의 공간 정보를 유지한 상태로 학습이 가능한 합성곱 신경망(Convolutional Neural Network: CNN)을 포함할 수 있다.

학습부(130) 및 검출부(140)에 대해서는 도 4 및 도 8에서 각각 구체적으로 설명한다.

진단부(150)는 상기 학습부(130)를 통해 추출된 전반적인 홍채 특징들을 검출부(140)에서 세부적으로 병변 영역의 위치와 형상을 찾아주고 그 병변에 대해 각각 세그먼테이션(segmentation) 및 디텍션(detection)에 기초하여 치매 진단을 분석 및 분류함으로써 치매의 종류를 진단할 수 있다.

도 3은 본 발명의 일실시예에 따른 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법을 나타내는 순서도이다.

도 3을 참조하면, 사용자 단말로부터 사용자의 눈을 촬영한 입력 영상을 수신하고(S11), 상기 입력 영상으로부터 홍채를 추출하기 위해 관심 영역을 추출할 수 있다(S12). 사용자 단말은 홍채 인식 전용 카메라를 포함하거나, 홍채 인식 전용 렌즈가 장착된 카메라를 사용하므로, 일반 카메라에 비해, 보다 높은 해상도로 용이하게 홍채를 포함한 관심 영역을 추출할 수 있다.

또한, 추출된 상기 관심 영역을 다각형 형태로 리사이징하고, 상기 관심 영역의 크기를 스케일링하며(S13), 리사이징 및 스케일링된 상기 관심 영역에 대해 심층 신경망을 적용할 수 있다(S14). 상기 ‘다양한 크기’ 는 정사각형 형태를 유지한 채 영상의 크기를 확대 및 축소 등을 포함할 수 있다. 심층 신경망을 적용할 때, 상기 관심 영역으로 추출되지 않은 영역은 불필요한 영역이므로 그레이(Gray)처리해서 관심 영역만 추출할 수 있다. 이에 따라, 신경망의 불필요한 연산량을 줄일 수 있으므로 처리 속도를 중점으로 하는 경량화 신경망의 근거가 될 수 있다.

게다가, 상기 심층 신경망을 적용함으로써 획득된 영상에 대해 디텍션(detection) 및 세그먼테이션(segmentation)을 적용하여 병변 영역을 검출하고(S15), 상기 디텍션을 통해 상기 병변 영역의 위치를 판단하고, 상기 세그먼테이션을 통해 상기 병변 영역의 형상을 결정함으로써, 치매를 진단할 수 있다(S16). 병변 영역의 위치 및 형상에 기초하여, 치매 종류를 결정할 수 있고, 치매 종류는, 예를 들어 알츠하이머 치매, 혈관성 치매, 루이소체 치매 및 전두엽 치매를 포함한다. 또한, 병변 영역의 위치 및 형상에 기초하여, 치매 가능성을 결정하되, 예를 들어 병변 영역의 색농도가 진해질수록 치매 가능성이 높아짐을 백분율 등으로 나타낼 수도 있다. 게다가, 병변 영역의 위치 및 형상에 기초하여, 치매 진행 정도를 나타낼 수 있고, 예를 들어 치매 초기, 중기 및 말기로 구분하여 나타낼 수 있다.

도 4는 본 발명의 일실시예에 따른 치매 진단을 위한 학습부(130)에 대한 블록도를 도시한다.

도 4를 참조하면, 전처리부(120)를 거친 홍채 이미지를 입력으로 받는데 300x300 크기뿐 만 아니라 500x500, 400x400 등 다양한 크기로 수정될 수 있다.

심층 신경망의 가장 큰 특징은 첫째, 컨볼루션 계층에서 입력 영상에 다양한 필터를 적용하여 특징맵(feature map)들을 생성한다. 즉, 고차원의 입력 영상에 대해 특징을 추출하는 일종의 템플릿 역할을 한다. 둘째, 다운 샘플링(down sampling)은 만들어진 특징맵(feature map)에 대해서 공간적 해상도를 줄인 뉴런층을 말한다. 셋째, 활성화 함수(activation function)는 입력 신호를 받고 특정 임계치를 만족하면 이에 반응하여 출력 신호를 만들어 다음 계층에 전달 해주는 역할을 말한다. 이는 뉴런이 다음 뉴런에게 신호를 전달할 때 강한 자극(= 특정 임계치)을 받을 경우에 신호를 전달한다는 뇌신경학에서 영감을 얻은 것으로 일반적으로는 ReLU(Rectified linear unit)함수를 사용하고 계산식은 y = max(0,x) 이다.

그러나, ReLU(rectified linear unit)의 단점은 입력 신호의 x 가 0 이하일 경우 전부 0으로 신호를 전달하기 때문에 즉, 음수에 대한 신호는 전부 무시하게 된다. 이를 보완하여 본 발명은 0 이하의 신호도 어느 정도의 자극으로 신호를 전달하고자 계산식을 y =

로 수정하고, softX 라는 이름으로 명명하고 도 9에서 조금 더 설명을 보강한다.

결국 상기의 계층들을 연속해서 쌓으면 결국 앞단의 계층에서부터 영상의 지역적인 특징들을 추출해서 뒷단의 계층에 다다르면 전체 영상을 대표하는 글로벌적인 특징만 남게 된다.

여기서 각 일반적인 컨볼루션 계층의 연산량은 F²NK²M(F = feature-map, N = input channels, K = kernel, M = output channels)이지만, 그러나 본 발명의 컨볼루션 계층의 연산량은 F²NK² + F²MN로 분리함으로써 연산량을 줄였는데, 도 6을 통해 자세한 설명을 보강한다.

한편, 이에 관하여 상기와 같이 연산량을 줄일 수 있는 방법은 인수분해 방법들이 있다. 인수분해 방법은 예를 들어, 5x5 필터라면 1x5 + 5x1 필터로 바꾸어 연산하는 데 있어 25:10 비율로 약 2~3배의 계산을 줄일 수 있다. 게다가 입력 영상이 7x7이라고 가정한다면 7x7 필터를 쓰면 1x1의 값이 출력이 된다. 하지만 여기서 3x3 필터를 쓰면 5x5의 값이 출력되고, 여기서 또 3x3 필터를 쓰면 3x3의 값이 출력, 또 다시 3x3 필터를 쓰면 1x1 값이 출력이 된다. 결국 1x1의 값이 출력으로 나오는 데 있어 7x7 필터 하나는 3x3 필터 3개를 사용하는 것과 같은 의미이고, 계산에 있어서 결국 49:9+9+9 = 49:27 이므로 약 45%의 계산 절감이 가능해진다. 본 발명은 이러한 착안을 활용하여 분리 가능한(Separable) 컨볼루션 방법과 인수분해 방법을 조합하여 활용한다.

한편, 상기 학습부(130)의 동작 과정에서 병변 영역은 전체 홍채 영상에 비하면 조그마한 픽셀 정보를 가지고 있기 때문에 레이어가 많이 중첩될수록 전체 영상을 대표하는 글로벌적인 특징을 갖고 있는 일반적인 심층 신경망의 특성상 지역적인 특징을 가지고 있는 병변 영역의 특징을 추출하기에는 한계가 있을 수 있다.

그러나, 본 발명은 심층 신경망의 학습 시 글로벌적인 특징보다 지역적인 특징에 더 많은 가중치 비중을 두어 지역적인 영역 즉, 병변 영역의 특징을 추출하는데 탁월한 특정 손실 함수로 변경할 수 있다.

여기서 손실 함수는 심층 신경망이 마지막 컨볼루션 계층에서 추출한 특징을 가지고 예측한 정답과 본래의 정답의 오차를 구하고 그 오차의 변화량만큼 다시 역전파하여 가중치를 갱신하는 것을 말하고, 이러한 과정을 반복하는 것을 신경망을 학습 시킨다고 한다.

이러한 점에서 일반적으로 신경망을 학습하는 데 있어 사용되는 손실 함수는 크로스-엔트로피(Cross Entropy; CE) 손실 방법을 많이 이용하는데, 본 발명은 상기에 제시한 특정 손실 함수로 초점(Focal) 손실 방법을 이용한다.

자세히 설명하자면, 상기 설명한 것처럼 심층 신경망에서 특징 맵(feature map)을 추출할 때 지역적인 특징보다 글로벌적인 특징을 추출하는 것이 더 탁월하므로 심층 신경망 학습 시 내가 찾고자 하는 병변 영역(지역적인 특징)보다 그 외의 영역(글로벌적인 특징)을 더 많이 학습하게 된다.

그러나, 본 발명은 전체 홍채 영상에 대한 특징보다 아주 작은 병변 영역의 특징에 대해 학습이 잘 되어야 하므로 이를 위해 초점(Focal) 손실 방법을 이용한다.

일반적으로 사용하는 손실 함수인 크로스-엔트로피(Cross Entropy; CE)의 식은 CE(

) = -log(

) 이고, 본 발명에서 사용하는 초점(Focal) 손실 방법은 F(

) = -

log(

) (

=정답일 확률)로 정의 된다.

본 발명에서 사용하는 초점(Focal) 손실 방법에 대해 간략하게 설명하자면, 식에서

는 정답일 확률을 뜻하므로 (1-

) 는 정답이 아닐 확률을 뜻한다.

따라서,

(정답일 확률)가 높을수록 전체적인 손실 함수의 값이 작아지고, 낮을수록 값이 커지므로 학습 시 정답이 아닌 값에 대해 더 많은 페널티를 부여하게 된다.

또한, 학습 시 데이터가 특정 클래스에 편향되어 있는 경우 데이터 수가 적은 클래스에 대해 특징을 학습하기 어려워 정답률이 낮을 수밖에 없으므로, 이런 경우에도 초점(Focal) 손실 방법을 사용해 보완이 가능하다.

이를 홍채 영상에 비교하면, 홍채 영상에서 찾고자 하는 병변의 크기는 전체 영상에 비해 매우 작으므로 추출된 병변 영역에 대해 분류(classification) 수행 시 전체 영상에 비해 상대적으로 적은 수의 데이터를 가지고 학습을 수행하게 되므로 학습이 잘 수행되지 않아 낮은 정확도를 보이게 된다.

이에 본 발명에서 제시한 초점(Focal) 손실 방법을 사용해 더 높은 정확도를 얻을 수 있다.

한편, 마지막 컨볼루션 계층에서 추출된 특징맵(feature map)의 영상의 크기를 x2로 업 샘플링(Up sampling)하고 m_conv(도 4 참조)의 계층의 특징맵(feature map)과 결합하여 특징의 디테일을 보강한다.

디테일을 보강한 특징맵(feature map)을 디텍션(detection) 및 세그먼테이션(segmentation)을 검출하는 검출부(140)에 입력으로 받는데, 도 8에서 자세한 설명한다.

최종적으로 검출부(140)에서 검출한 병변 영역의 위치와 형상을 바탕으로 학습한 가중치를 불러와 계산하여(

;

= Class Activation Map(CAM), w = 가중치,

= 활성화 함수의 단위) 심층 신경망이 어디 병변 영역의 위치와 형상을 판단하여 치매를 진단하였는지 가시화 이미지를 생성한다.

도 5를 참조하면 일반적인 컨볼루션과 유사하지만 원 형태의 점의 위치에 있는 픽셀들만 이용하여 컨볼루션을 수행하는 것과 다르게 팽창된(atrous) 컨볼루션은 해상도의 손실 없이 그레이 처리되어 있는 수용 영역(receptive field)의 크기를 확장할 수 있음에도 불구하고 컨볼루션을 수행하는 원 형태의 점의 개수는 그대로이므로 다양한 scale에서의 정보를 끄집어낼 수 있다.

다시 말해서, 풀링 계층으로 다운 샘플링하게 되면 공간 해상도가 줄어들어 원본 영상보다는 흐릿한 영상이 나오기 마련인데 상기 팽창된(atrous) 컨볼루션의 방법을 사용하게 되면 원본 영상과 비슷한 고해상도의 영상을 추출하여 풀링 계층을 대신할 수 있다.

도 6을 참조하면, 3차원 영상은 RGB(Red Green Blue)로 이루어져 있어, 신경망을 학습할 시 일반적인 컨볼루션은 하나의 커널(이하 필터라고도 부른다)에 R, G, B의 값들이 중복되어 계산을 해서 특징을 추출한다.

결국 필터를 통해 특징을 추출하고 이를 여러 개를 생성하는 컨볼루션의 특성상 각기 다른 필터라고 해도 똑같은 R, G, B의 값들을 계산하게 되어 중복된 특징을 추출할 수 있어 다양한 특징을 추출하는 데 한정적일 수 있다.

그러나, 분리가능한(separable) 컨볼루션은 R, G, B의 값들을 각각 분리적으로 하나의 필터에는 하나의 값 즉 R값 따로, G값 따로 그리고 B값 따로 필터를 생성해내기 때문에 조금 더 컬러적인 부분의 특징을 좀 더 세밀하게 추출할 수 있고, 이렇게 되면 중복된 특징을 추출하는 것이 아니라 좀 더 다양한 특징을 추출할 수 있다.

또한, 계산량에 있어서 일반적인 컨볼루션은 이를 한꺼번에 연산하고 특징을 추출하기 때문에 F²NK²M의 계산량을 가지는 한편, Separable 컨볼루션은 R, G, B의 값들을 계산하는 것과 이를 통한 특징을 추출하는 필터를 생성하는 것을 분리하여 계산량이 F²NK² + F²MN이 되어 기존보다 8 ~ 9배의 처리속도를 높일 수 있다.

도 7을 참조하면, 그레이 색이 짙어질수록 Class Activation Map(CAM)에 있어서 신경망이 어디를 중점으로 특징을 추출했고, 어디 영역을 보고 진단했는지 나타내준다.

자세히 설명하자면, FC 계층을 Global Average Pooling(GAP)으로 대신하여 예를 들어, 16x16의 크기인 특징맵(feature map)이 2개 있다고 가정하면(=16x16x2) 1x1x256와 같은 벡터로 맵핑한다. 즉, 특징맵(feature map)을 전부 다 풀링하여 여러 개의 뉴런으로 맵핑 시키는데 위의 예시로 가정하면 결국 256개의 뉴런이 맵핑된 것이다.

따라서 각 특징맵(feature map)은 GAP을 통해 여러 개의 뉴런이 되고 이 뉴런들에 적절한 가중치를 주어 분류하게 되는데, 이 가중치를 통해 원본 홍채 영상과 겹쳐서 class activation map(CAM)을 생성한다. 결국 큰 가중치일수록 class activation map(CAM)에서 그레이 색이 짙게 나타나고 이는 치매를 분류하는 데 있어 큰 비중을 차지한다는 근거의 바탕이 된다.

도 8은 도 2의 검출부(140)에 대한 도면이자, 도 4의 디텍션(detection) 및 세그먼테이션(segmentation) 영역 검출에 대한 도면도이다.

도 8을 참조하면, 상기 도 4의 마지막 단의 계층의 특징맵(feature map)을 이용하여 병변 영역 위치 및 형상을 검출한다.

특징맵(feature map) 상에서 치매 진단을 위한 병변 영역 부분을 추출하기 위해 Region Proposal Network(이하 RPN)을 거치게 되는데 이 네트워크는 오브젝트가 있을 것 같은 후보(Region of Interest: RoI) 관심 영역을 미리 설정해 놓은 Anchor box를 통해 먼저 디텍션(detection)하고, 후보에 뽑힌 관심 영역들은 분류기에 의해 오브젝트 분류가 이루어진다.

이때 추출한 관심 영역들의 크기가 제각각 다르므로 고정된 크기에서의 수행을 요구하는 일반적인 심층 신경망에서는 제한적이기에 RoI Pooling 계층을 거쳐 서로 다른 크기의 관심 영역을 같은 크기로 변환해준다.

변환해서 나온 오브젝트를 디텍션(detection)한 관심 영역의 크기의 픽셀 단위로 세그먼테이션(segmentation)을 수행하는데, 기존의 방법은 정렬에 대한 고려가 없었다.

즉, RoI Pooling에서 같은 크기로 변환해서 나온, 다시 말해 오브젝트를 디텍션(detection)한 크기가 소수점이 있더라도 반올림으로 소수점을 제거되기 때문에 정확한 정렬 상태가 불량하다.

또한, FC 계층을 통해 픽셀 단위를 계산한다. 상기 FC 계층에 대한 설명처럼, FC 계층은 컨볼루션 계층에서 추출된 특징들을 1차원 벡터로 변환함으로써 원래의 3차원 이미지였던 공간적 정보를 손실하게 되므로 정확도가 떨어진다.

그러나, 본 발명은 소수점을 그대로 유지하고 선형 보간법(bilinear interpolation)을 이용하여 정확하게 정렬해준다. 그러므로 본 발명은 어떤 병변 위치와 형상을 찾고 검출하였는지 알 수 있다.

게다가 본 발명은 FC 계층의 단점을 보완하고자 FC 계층 대신 1x1 컨볼루션 계층으로 변경하는데, 그 이유는 FC 계층은 모든 뉴런층을 연결하여 상관관계를 연산한다는 의미로써 명칭을 Fully-connected(FC)라고 부르는데 1x1 컨볼루션 또한 1x1 필터를 통해 컨볼루션하기 때문에 하나의 픽셀마다의 상관관계를 연산하고 공간적 정보 또한 유지할 수 있어 정확도를 높일 수 있다.

최종적으로 세그먼테이션(segmentation) 및 디텍션(detection)을 통해 추출한 병변 영역의 위치와 형상을 토대로 심층 신경망에서 학습해서 나온 가중치에 대해 치매에 걸릴 확률이 얼마인 지 예측한다.

도 9를 참조하면, 상기의 심층 신경망의 큰 특징들에 대한 설명에 언급한 것처럼 활성화 함수(activation function)에 대한 도식화이다.

상기 언급한 설명처럼 활성화 함수(activation function)는 입력 신호를 받고 특정 임계치를 만족하면 이에 반응하여 출력 신호를 만들어 다음 계층에 전달 해주는 역할을 말하는데 일반적으로는 ReLU(Rectified linear unit)함수를 사용한다.

그러나, ReLU(rectified linear unit)의 단점은 입력 신호의 x 가 0 이하일 경우 전부 0으로 신호를 전달하기 때문에 심층 신경망 학습부(130)에서 원활한 학습이 이루어지지 않는다. 그 이유는 심층 신경망의 층이 깊을수록 세밀한 특징을 추출할 수 있다는 장점이 있지만 단점은 신경망이 손실 함수로 인해 오차를 계산하고 이를 역전파하여 학습하게 되는데, 오차를 계산할 때 미분 값 즉 변화량으로 계산하게 된다. 각 계층마다 미분을 곱하여 계산하면서 역전파 시키면 결국 맨 앞단의 계층으로 갈수록 변화량이 매우 작아지면서 오차의 변화량을 미처 다 전달하지 못한 채 수렴이 되는 현상이 일어난다. 이 부분을 ReLU(rectified linear unit)에 적용시키면 0 이하의 값은 다 0으로 처리함으로써 결국 0을 미분해도 0이게 되고, 이는 가중치를 새로 갱신하면서 학습하는 심층 신경망 특성상 학습이 원활히 되지 않는다.

이런 단점을 보완하고자 본 발명은 도 7과 같이 0 이하의 값들도 학습이 되게끔 설정하여 원활한 학습이 이루어지고 이에 따라 정확도를 높일 수 있다.

상술한 실시형태에 더하여, 본 발명은 병변 영역의 위치 및 형상에 따른 치매 가능성 및 치매 진행 정도를 나타내는 빅데이터를 축적하고, 상기 빅데이터에 기초하여, 상기 병변 영역의 위치 및 형상에 따른 상기 치매 가능성 및 치매 진행 정도를 학습 및 결정하며, 상기 치매 가능성 및 상기 치매 진행 정도에 따라, 문진 검사 및 검사실 검사를 포함한 추가 검사가 필요함을 상기 사용자 단말을 통해 실시간으로 통지할 수 있다. 또한, 시간 경과에 따른 치매 진행 정도가 최근 기하급수적으로 증가한 경우에도, 이러한 진행 경과를 사용자 단말을 통해 실시간으로 통지할 수 있다. 사용자 단말을 통한 실시간 통지는 팝업 또는 푸쉬 알람 등으로 구성될 수 있다.

한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 저장하는 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함한다.

본원 발명의 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 특허청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명인 실시간으로 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법은, 홍채 촬영 영상을 치매 진단에 사용하기 위한 의료 수단 그 자체로서 산업상 이용할 수 있는 발명에 해당한다.

Claims

스마트폰 상에서 실시간으로 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법으로서,
서버가 사용자 단말로부터 사용자의 눈을 촬영한 입력 영상을 수신하는 단계;
서버가 상기 입력 영상으로부터 홍채를 추출하기 위해 관심 영역(Region of Interest)을 추출하는 단계;
서버가 추출된 상기 관심 영역을 정사각형 형태로 리사이징하고, 상기 관심 영역의 크기를 스케일링하는 단계;
서버가 리사이징 및 스케일링된 상기 관심 영역에 대해 심층 신경망을 적용하는 단계;
서버가 상기 심층 신경망을 적용함으로써 획득된 영상에 대해 디텍션(detection) 및 세그먼테이션(segmentation)을 적용하여 병변 영역을 검출하는 단계;
서버가 상기 디텍션을 통해 상기 병변 영역의 위치를 판단하고, 상기 세그먼테이션을 통해 상기 병변 영역의 형상을 결정함으로써, 치매를 진단하는 단계를 포함하고,
상기 관심 영역을 추출하는 단계는, 상기 입력 영상으로부터 치매 진단에 이용되지 않는 영역을 배제함으로써 홍채를 추출하기 위해 필요한 최소 영역인 상기 관심 영역을 추출하는 단계를 더 포함하고,
상기 심층 신경망을 적용하는 단계는, 상기 입력 영상 중 상기 추출한 관심 영역을 정사각형 형태로 리사이징하고 픽셀 정보값을 0과 1사이의 값들로 정규화 및 바이트(byte) 형태로 변환하여 하나의 데이터로 압축 및 최적화하는 단계를 더 포함하고,
상기 치매를 진단하는 단계는 상기 병변 영역의 위치 및 형상에 기초하여 치매 종류를 진단하는 단계를 더 포함하고,
상기 상기 병변 영역의 위치 및 형상에 기초하여 치매 종류를 진단하는 단계는, 상기 병변 영역의 위치 및 형상에 따른 치매 가능성 및 치매 진행 정도를 나타내는 빅데이터를 축적하는 단계; 상기 빅데이터에 기초하여, 상기 병변 영역의 위치 및 형상에 따른 상기 치매 가능성 및 치매 진행 정도를 결정하는 단계; 상기 치매 가능성 및 상기 치매 진행 정도에 따라, 문진 검사 및 검사실 검사를 포함한 추가 검사가 필요함을 상기 사용자 단말을 통해 실시간으로 통지하는 단계를 더 포함하고, 상기 치매 종류는 알츠하이머 치매, 혈관성 치매, 루이소체 치매 및 전두엽 치매를 포함하고, 상기 치매 가능성은 백분율로 구분되며, 상기 치매 진행 정도는 초기, 중기 및 말기로 구분되는, 홍채 영상을 인공지능으로 분석하는 방법.
제1항에 있어서,
상기 관심 영역을 추출하는 단계는, 상기 입력 영상이 수직 방향에 대해 기울어져 있는 경우, 미리 설정한 가상의 축을 이용하여 상기 수직 방향에 대해 기울어진 각도만큼 정렬시킨 후 상기 관심 영역을 추출하는 단계를 더 포함하는,
홍채 영상을 인공지능으로 분석하는 방법.
제1항에 있어서,
상기 리사이징 및 스케일링하는 단계는, 상기 관심 영역을 정사각형 형태로 리사이징하고, 픽셀 정보값을 0과 1 사이의 값들로 정규화하며, 상기 픽셀 정보값을 바이트(byte) 형태로 변환하고 상기 관심 영역을 하나의 데이터로 압축함으로써 상기 홍채 영상의 데이터를 최적화하는 단계를 더 포함하는,
홍채 영상을 인공지능으로 분석하는 방법.
제1항에 있어서,
상기 심층 신경망은 합성곱 신경망(Convolutional Neural Network: CNN)을 포함함으로써, 상기 홍채 영상의 공간 정보가 손실되는 것을 방지하는,
홍채 영상을 인공지능으로 분석하는 방법.
제1항에 있어서,
상기 사용자 단말은 카메라부를 포함하고,
상기 카메라부는 일반 모바일 카메라 및 홍채 인식 전용 카메라를 포함하거나, 상기 카메라부에 홍채 인식 전용 렌즈가 부착되는,
홍채 영상을 인공지능으로 분석하는 방법.
제4항에 있어서,
상기 심층 신경망을 적용하는 단계는, 분리 가능한(Separable) 컨볼루션 및 팽창된(atrous) 컨볼루션을 이용하는 단계를 더 포함하는,
홍채 영상을 인공지능으로 분석하는 방법.
제1항에 있어서,
상기 병변 영역의 위치 및 형상에 기초하여, 치매 진단에 근거가 되는 가시화 이미지를 생성하는 단계를 더 포함하는,
홍채 영상을 인공지능으로 분석하는 방법.
제1항에 있어서,
상기 병변 영역의 위치 및 형상에 기초하여, 치매를 전조 진단하는 단계를 더 포함하는,
홍채 영상을 인공지능으로 분석하는 방법.
삭제
제4항에 있어서,
상기 합성곱 신경망은 활성화 함수(activation function) 및 초점(Focal) 손실 방법이 이용되는,
홍채 영상을 인공지능으로 분석하는 방법.