KR20220120345A

KR20220120345A - 시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 딥 러닝 모델

Info

Publication number: KR20220120345A
Application number: KR1020210024344A
Authority: KR
Inventors: 곽경섭
Original assignee: 인하대학교 산학협력단
Priority date: 2021-02-23
Filing date: 2021-02-23
Publication date: 2022-08-30
Also published as: KR102639807B1

Abstract

시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 학습 방법 및 장치가 제시된다. 본 발명에서 제안하는 시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 학습 방법은 복수의 유형의 멀티모드 시계열 데이터와 일련의 배경 데이터를 입력 받아 멀티모드 시계열 데이터의 각 모드에 대한 로컬 특성 및 종적(longitudinal) 특성을 추출하는 단계, 추출된 멀티모드 시계열 데이터의 특성의 데이터 품질을 개선하기 위한 전처리를 수행하는 단계, 전처리된 멀티모드 시계열 데이터의 특성에 관하여 스택형 CNN-BiLSTM 네트워크를 통해 학습하는 단계, 학습된 특성에 대해 일련의 덴스 레이어(dense layer)를 사용하여 모든 모드에서 공통 특성을 추출하고, 배경 데이터에 대해 일련의 덴스 레이어를 사용하여 특성을 추출하기 위한 의사결정 단계 및 추출된 멀티모드 시계열 데이터의 공통 특성 및 배경 데이터의 특성에 대해 덴스 레이어 집합을 사용하여 테스크 별 특성을 학습하고 분류 또는 회귀하여 결과를 최종 감지하는 단계를 포함한다.

Description

시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 딥 러닝 모델{Multimodal Multitask Deep Learning Model for Alzheimer's Disease Progression Detection based on Time Series Data}

본 발명은 시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 딥 러닝 방법 및 장치에 관한 것이다.

알츠하이머 병(Alzheimer's disease; AD)은 노인 치매의 60%에서 70%를 차지하며, 2050년에는 1억 1천540만 명이 치매에 걸릴 것으로 예상된다[1]. AD에 대한 치료법은 없으며 현재 치료법은 AD의 진행을 늦출 뿐이다[2]. 결과적으로, 그것의 초기 예측은 적시에 치료와 진행 지연을 위해 근본적으로 중요하다. 경도 인지 장애(Mild Cognitive Impairment; MCI)는 AD[3]보다 상대적으로 덜 눈에 띄는 기억력 부족을 야기하는 광범위하고 잘못 정의된 매우 이질적인 표현형 스펙트럼이다. 매년 MCI 환자의 약 10%에서 20%가 AD로 진행된다[4]. MCI에서 AD로의 점진적인 변화는 수십 년은 아니더라도 몇 년이 걸린다. AD로 진행되지 않는 안정적인 MCI(stable MCI; sMCI) 환자와 나중에 AD를 갖게 될 진행형 MCI(progressive MCI; pMCI) 환자를 식별하는 것은 어려운 작업이다[6]. 머신 러닝(Machine Learning; ML) 기법은 의료 전문가가 환자 데이터를 분석하는 데 중요한 역할을 할 수 있다. AD 증상학은 멀티 모드와 종적(longitudinal)[7,8]이다. 환자 데이터는 자기공명영상(Magnetic Resonance Imaging; MRI), 양전자단층촬영(Positron Emission Tomography; PET), 유전학, 뇌척수액(Cerebrospinal Fluid; CSF) 등 서로 다른 유형의 이기종이지만 상호 보완적인 데이터 모음으로 구성된다[9]. 멀티 모드의 조합은 환자의 진행 상태에 있는 모든 미묘한 변화를 감지하고 구별하는 것을 용이하게 하며, 신뢰할 수 있는 진단을 지원한다[5]. 지난 10년 동안 정규 ML 알고리즘(특히 지원 벡터 머신(Support Vector Machine; SVM) 및 랜덤 포리스트(Random Forest; RF))는 MCI 변환 예측에 활용되었다[9-13]. 대부분의 연구는 sMCI 대 pMCI 분류[5,14] 또는 인지 점수 회귀[15]와 같은 단일 모드 및 단일 작업 모델을 활용했다. 이러한 설계 패러다임을 단일 https 형식 단일 작업이라고 하는데, 여기서 모델은 한 가지 유형의 데이터를 기반으로 한 단일 목표 함수만 최적화한다[16]. 이러한 모델에서는 작업 간의 상관관계나 모드 간 보완적 정보 모두 조사되지 않는다[17]. 멀티모드 시스템은 일반적으로 포괄적인 통찰력, 더 정확한 결과, 더 안정적인 행동을 제공하며, 결과적으로 의료 측면에서는 더 수용성이 높은 것으로 나타났다[13,18-20]. Liu[21]와 Duchesne[22]는 멀티모드 단일 작업 분류와 회귀 분석을 각각 연구하기 위해 정규 머신 러닝 기법을 사용했다. 멀티모드 데이터는 다른 방식으로 융합될 수 있으며, 최상의 모드 조합과 적절한 융합 체계를 선택하는 것은 어려운 과제이다[13,23]. 또한 단일 작업 모델은 진행 시 환자의 가능한 인지 행동에 관한 의료 전문가에게 유용한 지식을 제공할 수 있는 능력이 부족하다. 일부 연구는 MCI 진행을 멀티모드 단일 작업 회귀 모델로 설계하며, 여기서 간이 정신 상태 검사(Mini-Mental State Examination; MMSE)와 알츠하이머 병 평가 척도(Alzheimer's Diseases Assessment Scale; ADAS)와 같은 일부 인지 점수는 AD 진행의 지표이다[22,24]. 반대로, Zhou[25]는 단일 모드 멀티테스크 회귀 분석 문제로서의 AD 진행을 연구했다. 그러나 실제 의료 환경에서는 많은 모드가 만성적으로 분석되고 여러 임상 변수가 예측되어야 한다. 이 작업을 수행할 수 있는 ML 모델을 멀티모드 멀티테스크 모델이라고 하며, 여기서 모든 작업은 여러 소스의 특징을 가지고, 여러 작업은 연대순으로 관련된다[7,8,17,26]. Zhang과 Shen[9]은 멀티모드 데이터(즉, MRI, PET 및 CSF)를 융합하여 여러 의료 점수(즉, MMSE, ADAS 및 진단 기능)를 공동으로 예측하는 SVM 기반 방법을 제안했다. 최근에 Ding [8]은 대부분의 AD 연구는 제한된 수의 요인만 고려한다고 주장하며, 이는 질병의 복잡하고 다요소적인 특성을 이해하기에 잠재적으로 불충분하다. 대부분의 연구는 MCI 진행을 기본 데이터에 기초한 이진 sMCI 대 pMCI 분류 문제로 간주한다[4]. 이는 기준 데이터가 환자의 종적 데이터를 고려하는 것보다 진행률 감지에 대해 덜 차별적이기 때문에 최적의 전략으로, 결과적으로 모델이 더 정확하지 않다. AD는 만성 질환이기 때문에 환자의 데이터는 항상 시계열이다. 환자 데이터는 서로 다른 방문에서 누적되며 지속적인 환자 감독을 형성한다. 특정 시점의 질병 상태는 이전 시점의 상태와 독립적이지 않다. 결과적으로, AD 데이터는 멀티 모드일 뿐만 아니라 시계열이다. 따라서 AD 멀티모드 데이터를 시계열로 고려하는 것이 AD 진행 문제에 대한 직관적인 해결책이다. 그러나 대다수의 연구는 AD 데이터의 이러한 시간적/순차적 특성을 고려하지 않는다[1]. 일부 연구는 AD 진행 감지 문제에 전통적인 시계열 알고리즘을 채택했으며[27,28] 환자의 멀티모드 데이터와 그것들이 어떻게 진화하는지 사이의 상관관계는 분석되지 않았다[6]. 최근에, Li[4]는 AD 데이터의 멀티모드 및 종적 분석의 긴급성을 주장했다. 멀티테스크 학습이 모든 직무의 정규화 역할을 하기 때문에 시계열 데이터를 기반으로 한 AD 진행의 멀티모드 멀티테스크 모델링은 모델 성능의 큰 향상을 약속하는 과제이다[29]. 게다가, SVM과 같은 대부분의 AD 분류기는 차원 감소와 분류의 두 가지 독립적 단계를 기반으로 한다. 이 두 모델은 수학적으로 독립적이며 다른 가정을 포함한다. 또한 이러한 기법은 미리 지정된 집합에서 선택한 커널을 사용해야 한다. 최근, 딥 러닝 기술은 여러 분야에서 유망한 예측 결과를 입증했다[30,31]. 이전의 모든 과제는 DL(Deep Learning)을 사용하여 효과적으로 관리할 수 있었다[5,32-37]. AD 컨텍스트에서 Choi와 Jin[38]은 CNN을 활용하여 단일 소스(PET 이미지) 단일 작업 모델을 기반으로 pMCI 사례를 감지했다. Spasov[39]는 MRI, 인구통계학, 신경심리학 및 아폴리포단백질 E4(APOe4) 유전자 데이터의 늦은 융합에 기초한 AD 진행을 감지하기 위해 CNN 기반의 멀티모드 단일 작업 분류 모델을 제안했다. Liu[7]는 공동 AD 분류 및 임상 점수 회귀 분석을 위한 CNN 기반 모델을 제안했다. 이 모델은 기준 방문에서만 수집된 세 가지 인구통계학적 특징과 MRI의 융합을 기반으로 한다. 대부분의 알츠하이머 DL 모델은 CNN과 단일(베이스라인) MRI 스캔을 기반으로 한다[5]. 이러한 모델은 정확도가 떨어지고, 충분치 않으며, 의학적으로 받아들일 수 없다. 왜냐하면 의학 전문가는 일반적으로 진행 결정을 내리기 전에 종적 멀티모드 환자 데이터를 연구하기 때문이다[8].

본 발명이 이루고자 하는 기술적 과제는 스택형 CNN(Convolutional Neural Network) 및 BiLSTM(Bidirectional Long Short Term Memory) 네트워크를 기반으로 하는 딥 러닝 모델을 제공하는데 있다. 제안하는 멀티모드 멀티테스크 모델은 5가지 유형의 멀티모드 시계열 데이터와 일련의 BG의 융합을 기반으로 복수의 변수를 공동으로 예측하고, 스택형 CNN 및 BiLSTM 네트워크를 사용하여 각 모드의 로컬 및 종적(longitudinal) 특성을 추출하며, 결과 특성은 분류 및 회귀 작업을 예측하는 데 공동으로 사용되는 공통 패턴을 감지하기 위해 심층 네트워크에서 융합된다.

일 측면에 있어서, 본 발명에서 제안하는 시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 학습 방법은 복수의 유형의 멀티모드 시계열 데이터와 일련의 배경 데이터를 입력 받아 멀티모드 시계열 데이터의 각 모드에 대한 로컬 특성 및 종적(longitudinal) 특성을 추출하는 단계, 추출된 멀티모드 시계열 데이터의 특성의 데이터 품질을 개선하기 위한 전처리를 수행하는 단계, 전처리된 멀티모드 시계열 데이터의 특성에 관하여 스택형 CNN-BiLSTM 네트워크를 통해 학습하는 단계, 학습된 특성에 대해 일련의 덴스 레이어(dense layer)를 사용하여 모든 모드에서 공통 특성을 추출하고, 배경 데이터에 대해 일련의 덴스 레이어를 사용하여 특성을 추출하기 위한 의사결정 단계 및 추출된 멀티모드 시계열 데이터의 공통 특성 및 배경 데이터의 특성에 대해 덴스 레이어 집합을 사용하여 테스크 별 특성을 학습하고 분류 또는 회귀하여 결과를 최종 감지하는 단계를 포함한다.

전처리된 멀티모드 시계열 데이터의 특성에 관하여 스택형 CNN-BiLSTM 네트워크를 통해 학습하는 단계는 멀티모드 시계열 데이터의 특성에 관한 각 모드의 학습을 위해 1D 컨볼루션을 이용한 CNN을 사용하고, 각 모드에 대해 하나의 CNN 레이어를 사용하여 복수의 텐서의 시계열 데이터를 새로운 특성 공간으로 변환하기 위해 1D 컨볼루션은 모든 입력 벡터에 대한 시간 차원을 따라 별도로 수행되며, 1D 컨볼루션은 필터 수에 기초하여 CNN은 모든 일변량 시계열 데이터에 대한 입력 벡터를 새로운 특성 공간에 매핑하여 LSTM 예측을 위한 특성 맵으로 확장한다.

전처리된 멀티모드 시계열 데이터의 특성에 관하여 스택형 CNN-BiLSTM 네트워크를 통해 학습하는 단계는 CNN에서 학습된 특성을 입력 받아 멀티모드 시계열 데이터의 시간 상관 관계를 활용하기 위해 BiLSTM 레이어를 통해 종적 데이터에서 시간 패턴을 찾고, 입력 게이트, 망각 게이트, 출력 게이트를 포함하는 LSTM 셀을 통해 셀 상태에 포함된 정보의 업데이트, 유지 관리 및 삭제를 제어한다.

전처리된 멀티모드 시계열 데이터의 특성에 관하여 스택형 CNN-BiLSTM 네트워크를 통해 학습하는 단계는 복수의 동시 스택 CNN-BiLSTM 파이프라인과 하나의 피드포워드 신경망을 포함하는 스택형 CNN-BiLSTM 네트워크를 통해 학습을 수행하고, 각 CNN-BiLSTM 파이프라인에 대한 CNN은 최대 풀링 뒤에 하나의 1D 컨볼루션 레이어를 포함하고, BiLSTM은 복수의 스택 BiLSTM 레이어, L2 정규화 레이어 및 드롭아웃 레이어를 포함하며, CNN이 각 멀티모드 시계열 데이터에서 로컬 특성을 추출하기 위해 적용되고, BiLSTM이 CNN에서 학습된 특성을 입력 받아 동일한 형식의 특성과 단일 시계열 데이터 내에서 시간 관계를 학습하기 위해 적용된다.

학습된 특성에 대해 일련의 덴스 레이어(dense layer)를 사용하여 모든 모드에서 공통 특성을 추출하고, 배경 데이터에 대해 일련의 덴스 레이어를 사용하여 특성을 추출하기 위한 의사결정 단계는 BiLSTM에서 학습된 특성을 복수의 덴스 레이어에 입력하여 심층 특성 학습을 수행한 후, 복수의 덴스 레이어에 의해 융합한다.

또 다른 일 측면에 있어서, 본 발명에서 제안하는 시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 학습 장치는 복수의 유형의 멀티모드 시계열 데이터와 일련의 배경 데이터를 입력 받아 멀티모드 시계열 데이터의 각 모드에 대한 로컬 특성 및 종적(longitudinal) 특성을 추출하는 특성 추출부, 추출된 멀티모드 시계열 데이터의 특성의 데이터 품질을 개선하기 위한 전처리를 수행하는 전처리부, 전처리된 멀티모드 시계열 데이터의 특성에 관하여 스택형 CNN-BiLSTM 네트워크를 통해 학습하는 CNN-BiLSTM 학습부, 학습된 특성에 대해 일련의 덴스 레이어(dense layer)를 사용하여 모든 모드에서 공통 특성을 추출하고, 배경 데이터에 대해 일련의 덴스 레이어를 사용하여 특성을 추출하는 의사결정부 및 추출된 멀티모드 시계열 데이터의 공통 특성 및 배경 데이터의 특성에 대해 덴스 레이어 집합을 사용하여 테스크 별 특성을 학습하고 분류 또는 회귀하여 결과를 최종 감지하는 판단부를 포함한다.

본 발명의 실시예들에 따른 스택형 CNN(Convolutional Neural Network) 및 BiLSTM(Bidirectional Long Short Term Memory) 네트워크를 기반으로 하는 딥 러닝 모델인 멀티모드 멀티테스크 모델을 통해 5가지 유형의 멀티모드 시계열 데이터와 일련의 BG의 융합을 기반으로 복수의 변수를 공동으로 예측할 수 있고, 스택형 CNN 및 BiLSTM 네트워크를 사용하여 각 모드의 로컬 및 종적(longitudinal) 특성을 추출하며, 결과 특성은 분류 및 회귀 작업을 예측하는 데 공동으로 사용되는 공통 패턴을 감지하기 위해 심층 네트워크에서 융합될 수 있다.

도 1은 본 발명의 일 실시예에 따른 시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 학습 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 학습 방법이 수행되는 딥 러닝 모델을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 1D 컨볼루션 레이어를 사용하여 로컬 기능을 학습하는 CNN 네트워크를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 BiLSTM 네트워크의 아키텍처를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 학습 장치의 구조를 나타내는 도면이다.

알츠하이머병에 대한 조기 예측은 알츠하이머 병(Alzheimer's disease; AD)의 진행을 지연시키는데 매우 중요하다. 만성 질환으로서 AD 데이터의 시간적 차원을 무시하는 것은 진행 감지 성능에 영향을 미치며 의학적으로 용인할 수 없다. 게다가 AD 환자는 이기종(heterogeneous)이지만 보완적인 멀티 모드(multimodality)로 대표된다. 멀티테스크 모델링은 진행-탐지 성능, 견고성 및 안정성을 향상시킨다. 그러나 다모드 멀티테스크 모델링은 특히 AD 진행 감지를 위해 시계열과 딥 러닝 패러다임을 사용하여 평가되지 않았다.

본 발명에서는 AD 환자의 시계열 다중 형식 데이터를 사용하여 예측 성능 및 진행에 미치는 영향을 조사하고, CNN과 반복 신경 네트워크(Recurrent Neural Network; RNN)를 활용하여 각각 로컬 및 장기 시간 종속성을 포착한다[40]. Wang[40]은 일정하지 않은 방문 간격을 가진 시계열 데이터로부터 AD 진행을 예측하기 위한 LSTM(Long Short-Term Memory) 기반 회귀 모델을 제안했다. AD 진행 문제와 달리 CNN과 RNN 모델의 결합에 기초한 고급 DL 기법은 업계의 다른 분야에서 제안되었으며[26,30,31,41,42] 심층 학습 기법에 비해 우수한 성능을 달성했다. Cui[43]는 6단계의 MRI 시계열 데이터를 기반으로 한 AD 진단을 위한 CNN-BiLSTM 모델을 제안했다. AD 도메인의 대부분의 DL 모델은 이진 분류로 구현되지만, 다중 클래스 모델은 여전히 임상 적용 가능성에 대한 만족스러운 결과에 도달하지 못하고 있다[44]. AD 데이터가 복잡하기 때문에 결합된 CNN-BiLSTM에 기반한 DL 모델은 CNN 또는 LSTM에만 기반한 모델보다 성능이 우수할 수 있다. 또한 종적 데이터에 사용되는 시간 단계의 수를 늘리면 시스템 성능이 향상된다[43]. 이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명에서는 스택형 CNN(Convolutional Neural Network)와 BiLSTM(Bidirectional Long Short Term Memory) 네트워크를 기반으로 한 강력한 앙상블 딥 러닝 모델을 제안한다. 이 멀티모드 멀티테스크 모델은 5가지 유형의 멀티모드 시계열 데이터와 일련의 배경 지식의 융합을 기반으로 여러 변수를 공동으로 예측한다. 예측 변수에는 AD 다중 클래스 진행 테스크와 네 가지 중요한 인지 점수 회귀 테스크가 포함된다. 제안된 모델은 스택형 CNN 및 BiLSTM 네트워크를 사용하여 각 모드의 로컬 및 종적(longitudinal) 특성을 추출한다. 동시에, 로컬 특성은 피드포워드 신경망을 사용하여 BG 데이터에서 추출된다. 결과 특성은 분류 및 회귀 작업을 예측하는 데 공동으로 사용되는 공통 패턴을 감지하기 위해 심층 네트워크에서 융합된다.

제안하는 모델을 검증하기 위해, 1536명의 피실험자의 알츠하이머병 신경영상화 계획(Alzheimer's Disease Neuroimaging Initiative; ADNI)의 다섯 가지 모드에 대해 여섯 가지 실험을 수행했다. 제안된 모델의 결과는 다중 클래스 진행 및 회귀 작업 모두에 대해 최첨단 성능을 달성한다. 더욱이, 제안하는 모델은 환자의 미래 상태를 예측하기 위한 이기종 시간 데이터를 분석하기 위해 다른 미디얼(medial) 영역에서 일반화될 수 있다.

본 발명의 실시예에 따르면 시계열과 정적 데이터의 늦은 융합에 기초한 다중 범주형 및 연속형 변수의 멀티모드 공동 예측이 각 개별 변수를 개별적으로 예측하는 것보다 더 잘 수행될 수 있다는 것이다.

본 발명에서는 AD 진행을 감지하기 위한 고급 멀티모드 작업 DL 아키텍처를 제안한다. 이 프레임워크는 환자의 시계열 데이터를 활용하여 여러 소스에서 여러 변수를 공동으로 예측한다. 그 결과 종합 시스템은 최근의 종래기술보다 의학적으로 직관적이고 안정적이며 정확하다. 종래기술에 따르면 어떠한 선행기술도 딥 러닝을 사용하여 개인화되고 정확하며 의학적으로 신뢰할 수 있는 AD 진행 모델을 만들기 위해 시계열 데이터를 기반으로 멀티모드 및 멀티테스크 아키텍처를 통합하는 방법을 제안하지 않았다.

본 발명에서 제안하는 모델은 공동으로 환자의 진행 상태와 진행 시 네 가지 중요한 인지 점수의 값을 동시에 예측하는 방법을 학습한다. 예측 임상 점수는 ADAS, MMSE, 기능 평가 설문지(FAQ), 임상 치매 등급 점수(Clinical Dementia Rating Sum of Boxes; CDRSB) 점수이며 이는 4가지 회귀 작업으로 구현된다. 진행 감지는 다중 클래스 분류 작업(즉, 인지 정상(Cognitive Normal; CN) 대 sMCI 대 pMCI 대 AD)이다. 의학적으로 이러한 관련 작업은 공통적으로 관련된 특성 부분집합을 공유한다.

종래기술과 비교하여, 제안하는 모델은 5개의 이기종 데이터 소스(five heterogeneous data sources)와 일련의 정적 기준치 특성에서 시간적 특성을 추출하려는 첫 번째 시도이다. 각 시계열 소스는 스택 CNN-BiLSTM 블록의 파이프라인을 사용하여 별도로 학습된다. CNN은 각 시계열에서 로컬 특성을 자동으로 추출하고 LSTM은 각 특성과 특성 간의 시간 관계에서 시간적 특성을 추출한다. 그런 다음, 모든 모드에서 학습된 형상을 융합하여 컨텍스트 인식 공통 특성을 추출한다.

모델 성능 향상을 위한 BG(Background knowledge)로서의 정적 데이터의 역할을 탐구하는 데 거의 노력을 기울이지 않았기 때문에 [45], 이러한 데이터가 모델의 성능에 미치는 영향을 연구했다. BG 데이터를 준비하기 위해 환자의 첫 방문으로부터 몇몇 유형의 기준 데이터(예를 들어, 연령, 성별, CSF, 증상 등)와 시계열 데이터에서 추출된 일련의 통계 측정 데이터를 수집했다. 이러한 특성들은 모델에 공급되며, 여기서 그것들은 별도의 피드포워드 신경망에 의해 동시에 학습된다. 그런 다음 학습된 심층 특성은 환자의 진행 상태와 인지 점수를 공동으로 예측하기 위한 모드의 학습된 특성과 다시 융합된다.

본 발명에서는 알츠하이머병 신경영상계획(Alzheimer's Disease Neuroimaging Initiative; ADNI) 데이터베이스에서 1536개의 환자 샘플 데이터셋을 사용하여 다양한 환경에서 모델을 평가하기 위한 광범위한 실험을 수행했다. 여섯 가지 실험이 시행되고 테스트되었다: (1) 심층-스택 CNN-BiLSTM이 연결된 CNN-BiLSTM 네트워크 구조보다 더 정확하다는 것을 입증했다. (2) 시계열 및 BG의 늦은 융합(late fusion)은 초기 융합(early fusion) 구조에 비해 더 나은 성능을 달성했다. (3) 분류 및 회귀 작업의 멀티테스크 모델이 단일 작업 모델보다 더 안정적이고 더 정확한 시스템을 제공했다. (4) DL 모델에 더 많은 데이터 추가(다시 말해, 동일 모드에서 더 많은 시간 단계 또는 더 많은 모드)는 데이터가 노이즈가 있더라도 그 성능을 향상시켰다. (5) 확장 모드 선택 프로세스에 기초한 MRI와 PET는 가장 유용한 모드이며, 마지막으로 (6) 시계열 데이터에서 추출한 통계적 특성은 기준 데이터보다 더 중요하다.

본 발명에 사용된 데이터는 2019년 3월 18일 ADNI 1, ADNI GO 및 ADNI 2에서 액세스되었다. 본 발명은 기준점과 미래 시점에서의 개별 임상 진단을 기반으로 4개 그룹으로 분류된 1536명의 환자(남성 54.7%)를 포함했다. 참가자들은 네 가지 범주로 분류된다. 첫 번째 범주에는 기준에서 CN을 진단하고 본 발명의 실시예에 따른 실험이 준비되었을 때 CN을 유지한 419명의 환자가 포함된다. 두 번째 범주에는 본 발명의 실시예에 따른 실험의 모든 시점에서 안정적인 MCI로 진단된 473명의 환자가 포함된다. 세 번째 범주에는 기준 방문 시 진보적 MCI로 평가되고 본 발명의 실시예에 따른 실험 기간 중 어느 시점에 AD로 진행(84개월)한 305명의 환자가 포함된다. 마지막으로 네 번째 범주에는 모든 방문에서 AD의 임상 진단을 받은 339명의 환자가 포함된다. 후속 조치 중에 임상적으로 MCI로 진단되었지만 CN으로 복귀한 환자 또는 임상적으로 AD로 진단되었지만 MCI 또는 CN으로 복귀한 환자 등 임상 진단이 돌이킬 수 없는 형태의 치매임을 고려하여 연구에서 제외되었다. 또한 CN에서 AD로 직접 변환된 사례도 제거되었다. 피실험자에 대한 인구통계학 및 임상적 정보는 표 1에 있다.

<표 1>

도 1은 본 발명의 일 실시예에 따른 시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 학습 방법을 설명하기 위한 흐름도이다.

제안하는 시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 학습 방법은 복수의 유형의 멀티모드 시계열 데이터와 일련의 배경 데이터를 입력 받아 멀티모드 시계열 데이터의 각 모드에 대한 로컬 특성 및 종적(longitudinal) 특성을 추출하는 단계(110), 추출된 멀티모드 시계열 데이터의 특성의 데이터 품질을 개선하기 위한 전처리를 수행하는 단계(120), 전처리된 멀티모드 시계열 데이터의 특성에 관하여 스택형 CNN-BiLSTM 네트워크를 통해 학습하는 단계(130), 학습된 특성에 대해 일련의 덴스 레이어(dense layer)를 사용하여 모든 모드에서 공통 특성을 추출하고, 배경 데이터에 대해 일련의 덴스 레이어를 사용하여 특성을 추출하기 위한 의사결정 단계(140) 및 추출된 멀티모드 시계열 데이터의 공통 특성 및 배경 데이터의 특성에 대해 덴스 레이어 집합을 사용하여 테스크 별 특성을 학습하고 분류 또는 회귀하여 결과를 최종 감지하는 단계(150)를 포함한다.

단계(110)에서, 복수의 유형의 멀티모드 시계열 데이터와 일련의 배경 데이터를 입력 받아 멀티모드 시계열 데이터의 각 모드에 대한 로컬 특성 및 종적(longitudinal) 특성을 추출하고, 단계(120)에서 추출된 멀티모드 시계열 데이터의 특성의 데이터 품질을 개선하기 위한 전처리를 수행한다.

단계(130)에서, 전처리된 멀티모드 시계열 데이터의 특성에 관하여 스택형 CNN-BiLSTM 네트워크를 통해 학습한다.

단계(130)에서, 멀티모드 시계열 데이터의 특성에 관한 각 모드의 학습을 위해 1D 컨볼루션을 이용한 CNN을 사용하고, 각 모드에 대해 하나의 CNN 레이어를 사용하여 복수의 텐서의 시계열 데이터를 새로운 특성 공간으로 변환하기 위해 1D 컨볼루션은 모든 입력 벡터에 대한 시간 차원을 따라 별도로 수행된다. 1D 컨볼루션은 필터 수에 기초하여 CNN은 모든 일변량 시계열 데이터에 대한 입력 벡터를 새로운 특성 공간에 매핑하여 LSTM 예측을 위한 특성 맵으로 확장한다.

이후, CNN에서 학습된 특성을 입력 받아 멀티모드 시계열 데이터의 시간 상관 관계를 활용하기 위해 BiLSTM 레이어를 통해 종적 데이터에서 시간 패턴을 찾고, 입력 게이트, 망각 게이트, 출력 게이트를 포함하는 LSTM 셀을 통해 셀 상태에 포함된 정보의 업데이트, 유지 관리 및 삭제를 제어한다.

단계(130)에서, 복수의 동시 스택 CNN-BiLSTM 파이프라인과 하나의 피드포워드 신경망을 포함하는 스택형 CNN-BiLSTM 네트워크를 통해 학습을 수행한다. 각 CNN-BiLSTM 파이프라인에 대한 CNN은 최대 풀링 뒤에 하나의 1D 컨볼루션 레이어를 포함하고, BiLSTM은 복수의 스택 BiLSTM 레이어, L2 정규화 레이어 및 드롭아웃 레이어를 포함한다. 이때, CNN이 각 멀티모드 시계열 데이터에서 로컬 특성을 추출하기 위해 적용되고, BiLSTM이 CNN에서 학습된 특성을 입력 받아 동일한 형식의 특성과 단일 시계열 데이터 내에서 시간 관계를 학습하기 위해 적용된다.

단계(140)에서는, 학습된 특성에 대해 일련의 덴스 레이어(dense layer)를 사용하여 모든 모드에서 공통 특성을 추출하고, 배경 데이터에 대해 일련의 덴스 레이어를 사용하여 특성을 추출하기 위한 의사결정을 수행한다. 단계(140)는, BiLSTM에서 학습된 특성을 복수의 덴스 레이어에 입력하여 심층 특성 학습을 수행한 후, 복수의 덴스 레이어에 의해 융합한다.

단계(150)에서는, 추출된 멀티모드 시계열 데이터의 공통 특성 및 배경 데이터의 특성에 대해 덴스 레이어 집합을 사용하여 테스크 별 특성을 학습하고 분류 또는 회귀하여 결과를 최종 감지한다. 도 2 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 학습 과정을 더욱 상세히 설명한다.

도 2는 본 발명의 일 실시예에 따른 시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 학습 방법이 수행되는 딥러닝 모델을 설명하기 위한 도면이다.

제안된 모델은 다변량 시계열 데이터를 기반으로 AD 진행과 4가지 인지 점수를 학습하기 위해 멀티모드 멀티테스크 목적으로 설계되었다. 처음에 15개의 정규 시간 단계(즉, 기준, M06, M12, ..., M84)를 가진 5개의 시계열 모드가 BG 데이터와 함께 별도로 모델에 공급되었다. 모델의 로컬 및 시간적 특성 학습은 스택 CNN 및 BiLSTM 서브 네트워크를 기반으로 한다.

도 2와 같이, 제안하는 모델은 처음에 5개 모드의 시계열 데이터인 멀티모드 데이터(Multimodal data)(211)를 준비한다. MRI 및 PET 형상의 신경 영상 특성은 프리 서퍼(FreeSurfer)를 사용하여 추출된다. 멀티모드(즉, 인지 점수, 신경 심리학적 배터리, MRI, PET 및 평가 모드)에서 추출된 특성은 데이터의 품질을 개선하기 위해 전처리된다(data preprocessing). 특성 축소를 위한 PCA 기법은 고차원 MRI 및 PET 데이터에서 주요 구성 요소를 추출하는 데 사용된다. 이후, 스택 CNN-BiLSTM 모델을 사용하여 각 시계열 멀티모드로부터 심층 특성을 별도로 학습한다. 이전 단계에서 학습한 추상적 심층 특징은 일련의 덴스 레이어(dense layer)(231)를 사용하여 모든 모드에서 공통 특징을 추출하기 위해 딥 러닝 구조(220)에서 융합된다. 동시에, BG(Background knowledge) 데이터(212)는 대표적인 심층 특징을 추출하기 위해 일련의 덴스 레이어(232)를 사용하여 사전 처리되고 학습된다. 시계열 모드의 공통적인 심층 특징과 배경 데이터의 대표적인 심층 특징을 얻기 위해, 덴스 레이어(233)에 의한 두 번째 의사결정 융합(230)이 더 추상적인 심층 특징을 얻기 위해 사용된다. 마지막 단계는 멀티테스크 학습(Multitask learning)(240)으로, 테스크 별 특징을 학습하는 데 덴스 레이어 집합이 사용된다. 그런 다음 Softmax 또는 Sigmoid는 각각 분류 또는 회귀 작업에 사용된다(250).

도 3은 본 발명의 일 실시예에 따른 1D 컨볼루션 레이어를 사용하여 로컬 기능을 학습하는 CNN 네트워크를 설명하기 위한 도면이다.

도 2에서 설명된 바와 같이, 별도의 CNN 서브 네트워크(220)는 멀티모드 데이터의 각 모드 학습을 위해 사용된다. CNN은 멀티모드 데이터인 일변량 시계열 데이터(univariate time series data)를 학습할 수 있는 1D 컨볼루션(Conv1D)을 도입했다. 컨볼루션은 모든 입력 벡터에 대한 시간 차원을 따라 별도로 수행된다(도 3 참조). 공식적으로 입력 벡터

과 커널 r이 m×1이면 Conv1D는 x를 새로운 특성 공간

에 매핑한다. 여기서 d는 단계 크기이다. 필터 수에 기초하여 CNN은 모든 일변량 시계열을 LSTM 예측에 더 적합한 특성 맵이라고 하는 더 추상적이고 정보적인 기능으로 확장한다. 특성 맵 f의 각 값 f_i는

를 계산하기 위해 활성화 함수 g로 제공되며, 여기서 g는 비선형 활성화 함수(본 발명의 실시예에 따르면,

이고, b는 바이어스(bias),

은 x에서의 j 관측치이다. 각 모드에 대해 하나의 CNN 레이어를 사용하여 여러 텐서의 시계열을 새로운 특성 공간으로 별도로 변환할 것을 제안한다. 어떤 모드

의 경우, (m×1)의 k 필터를 사용하여, 해당 출력 텐서는

로, 여기서 n은 샘플 수, l은 시간 단계 수, f는 특성의 수이다. 최대 풀링 레이어는 입력을 스무스하게(smooth) 하고 과적합을 방지하며 상위 수준의 추상화(higher-level abstractions)를 학습하는 데 사용된다.

도 4는 본 발명의 일 실시예에 따른 BiLSTM 네트워크의 아키텍처를 설명하기 위한 도면이다.

시계열 데이터의 시간 상관 관계를 활용하기 위해 BiLSTM 레이어를 추가하여 종적(longitudinal) 데이터에서 시간 패턴을 찾았다. BiLSTM 블록에 대한 입력은 위에서 설명된 CNN 레이어에서 학습된 특성이다. LSTM 셀의 핵심 구조는 입력 게이트(

), 망각 게이트(

), 출력 게이트(

)의 세 가지 게이트를 사용하는 것이다. 이 게이트는 셀 상태에 포함된 정보의 업데이트, 유지 관리 및 삭제를 제어한다.

,

및

은 각각 시간 t_n에서 현재 셀 상태 값, 마지막 시간 단계 셀 상태 값 및 현재 셀 상태 값의 업데이트이고,

은 이전 시간 단계에서 은닉 레이어(hidden layer)의 각 메모리 셀 출력 값이고

은 시간 t_n에서

과

을 기반으로 하는 은닉 레이어의 값이며

및 bs는 각각 시간 알고리즘을 통한 역전파(backpropagation)에 따라 업데이트된 가중치 매트릭스와 바이어스 벡터의 집합이다. 또한,

는 하다마드(Hadamard) 곱을 나타낸다.

는 표준 로지스틱 시그모이드 함수이며,

는 연결 연산자이고,

는 출력 활성화 함수, 예를 들어 SoftMax 또는 Tanh이다. 식(1)-(7)는 각 단계에서 메모리 셀의 정보를 전송한다.

단일 LSTM은 이전 컨텍스트만 캡처하지만 향후(future) 컨텍스트는 활용하지 않는다. BiLSTM [46]은 두 개의 분리된 은닉 LSTM 레이어를 동일한 출력에 결합한다. BiLSTM은 입력 시퀀스

를 반대 방향에서 전방 은닉 시퀀스(forward hidden sequence)

와 백워드 은닉 시퀀스(backward hidden sequence)

에 이르기까지 처리한다. 은닉 레이어

,

의 출력 벡터는

와

의 연결이며 식(8)-(11)에 나타낸 바와 같이

이다.

그런 다음 출력 y_t가 다음 은닉 레이어 등에 대한 입력으로 사용된다. 도 2의 각 BiLSTM 블록은 3개의 스택 BiLSTM 레이어 L2 정규화 레이어 및 드롭아웃 레이어로 구성된다. 도 4에서 볼 수 있듯이, 하위 레이어로부터의 출력 y_t는 상위 레이어로의 입력이 된다. 본 발명의 실시예에 따르면, 시계열은 그리 길지 않기 때문에 세 개의 BiLSTM 레이어는 계산 부하를 증가시키지 않는다. CNN(BiLSTM 이전의)은 로컬 특성을 학습하기 위한 전처리 단계를 수행하며, 그 결과는 하이-레벨 특성이 있는 더 짧은 시계열이다. 별도의 BiLSTM 서브 네트워크는 다른 모드 즉,

에 대해 훈련된다.

제안하는 모델에는 5개의 동시 스택 CNN-BiLSTM 파이프라인과 1개의 피드포워드 신경망(feed-forward neural network)이 있다. 각 CNN-BiLSTM 파이프라인에 대해 CNN 블록은 최대 풀링(max pooling) 뒤에 하나의 Conv1D 레이어를 가진다. BiLSTM 블록에는 3개의 스택 BiLSTM 레이어, L2 정규화 레이어 및 드롭아웃 레이어가 있다. 이 모델은 신경 영상, 신경 심리학적 배터리 등을 포함한 다섯 가지 다른 시간적 데이터 소스의 최신 융합에 기초한다.

CNN 서브 네트워크는 도 3에 도시된 바와 같이, 각 시계열 기능에서 로컬 특징을 추출하기 위해 적용된다. 그 후, 스택 BiLSTM 서브 네트워크는 도 4에 도시된 바와 같이 동일한 형식의 특성과 단일 시계열 내에서 시간 관계를 학습하기 위해 적용된다. 그런 다음, BiLSTM 블록에서 학습된 특성을 2개의 덴스 레이어에 입력하여 더 심층적인 특징 학습을 수행한다. 그런 다음 5개 스트림의 출력은 3개의 덴스 레이어에 의해 융합되어 보다 독특하고 깊은 특성을 형성한다. 또한 기준 데이터는 학습 프로세스의 정확성과 신뢰도를 높이기 위해 BG 역할을 한다. 이러한 기준 데이터는 인구통계학 및 종적 시계열 데이터에서 추출한 일부 통계 특징과 같은 환자의 정적 특징이다. 다른 독특하고 깊은 특성은 피드포워드 신경망을 사용하여 별도로 기준 데이터에서 추출된다. 이 두 특성 추출 단계의 결과는 분류 및 회귀 작업에 대한 보다 미세한 공통 특성을 학습하기 위해 일련의 공유 덴스 레이어에 의해 융합된다. 제안된 모델은 다중 클래스 분류 문제(즉, AD 진행)와 네 가지 회귀 문제(즉, 알츠하이머병과 관련된 가장 의학적으로 민감한 인지 점수[7])를 포함하여 많은 관련 작업을 동시에 학습한다. DL 모델의 결과를 신뢰하기 위해서는 의사들에게 이러한 유형의 정보가 매우 중요할 것으로 예상된다. 제안하는 모델은 멀티테스크 학습을 위해 DL 네트워크의 매개변수 공유를 이용한다. 도 2와 같이 모든 작업 사이에 은닉 레이어를 공유하여 적용한다. 멀티테스크 학습은 정규화기로 작동하며 과적합 위험을 줄여준다. 결과 모델은 단일 작업 모델보다 더 일반적이고 안정적이다[47].

제안된 DL 프레임워크는 모드 집합 M을 기반으로 관련 작업 집합 Y를 공동으로 학습한다. 데이터의 M 모드가

로 표시되는 것을 고려하며, 학습해야 할 멀티테스크는

로 표시된다. 각 j번째 테스크는

이다. 각 모드 X^m은 N명 환자의 경우

으로 표현되며, 각 사례

는

타임 스텝 및 일변량 시계열 f 집합에 대해 다변량 시계열,

이다.

N 환자의 경우 각 환자 i는

,

로 표현되고, i번째 예시의 제1 테스크의 레이블이다.

은 i번째 사례의 t번째 테스크 값,

로 표시된다. 최적화될 파라미터는 공유 파라미터(

)와 작업별 파라미터(

)이다. 테스크 별 파라메트릭 가설은

이며 테스크 별 손실 함수는

이다. 일반적인 최적화 문제는 식(12)에 나타낸 것과 같이 테스크 별 손실에 대한 경사(gradient) 기반의 다목적 최적화이다.

은

와 같이 정의된 테스크 별 손실 함수이다.

제안하는 모델은 분류 작업과 회귀 작업이라는 두 가지 유형의 테스크를 예측한다. 제안하는 모델에 따른 분류 및 회귀 과제를 식(13)에 정의된 목표 함수로 동등하게 처리한다. 여기서 m은

및

매개변수의 수이다. 여기서 첫 번째 항은 다중 클래스 분류의 가중 교차 엔트로피 손실이고, 두 번째 항은 4개의 회귀 작업에 대한 평균 제곱 손실이며, 마지막 항은 정규화 항이다. T는 회귀 작업의 수이며,

와

는 각각 환자 i에 대한 회귀 작업 t의 실제 값과 예측 값이다.

는 지시 함수이며, 여기서 I(true statement) = 1이고 그렇지 않으면 0이다. W_C는 각 클래스의 케이스 수에 따라 계산된 클래스 가중치의 벡터이다. 다중 클래스 분류는 SoftMax 함수를 기반으로 하며, 라벨 y는 K개의 다른 값인

를 가질 수 있다. 각 입력 x에 대해 모델은 각

에 대한

의 확률을 계산한다. 출력은 합이 1인 K 추정 확률의 K 차원 벡터이다. 본 발명에서, 클래스 라벨과 n 임상 점수는 역전파 절차에서 컨볼루션과 BiLSTM 레이어의 네트워크 가중치를 업데이트하고 덴스 레이어에서 가장 관련성이 높은 특징을 학습하는 데 사용된다.

본 발명의 실시예에 따르면, 복수의 유형의 멀티모드 시계열 데이터와 일련의 배경 데이터를 입력 받아 멀티모드 시계열 데이터의 각 모드에 대한 로컬 특성 및 종적(longitudinal) 특성을 추출하고, 추출된 멀티모드 시계열 데이터의 특성의 데이터 품질을 개선하기 위한 전처리를 수행한다.

데이터 전처리 과정에서는 먼저 누락된 데이터를 처리한다. 데이터셋의 특성은 수치적이고 범주형이기 때문에 결측값은 데이터 유형에 따라 처리되었다. 기본 정적 데이터의 경우 먼저 30% 이상의 특징이 누락된 모든 특성을 제거했다. 다음으로, 누락된 값을 귀속하기 위해 KNN(K-Nearest Neighbors) 알고리즘을 사용했으며, 누락된 값은 동일한 진단으로 다른 피실험자의 정보를 사용하여 대체되었다. 즉, k개의 이웃을 찾은 다음, 귀속된 값은 해당 이웃의 값을 평균화하여 계산했다. 본 발명의 실시예에 따르면, k는 실험을 통해 경험적으로 10으로 설정되었다. 숫자 값의 경우 유클리드 거리도 사용되었고, 범주형 값의 경우 두 값이 동일하면 0의 거리를 취했고, 그렇지 않으면 1의 거리를 취하였다. 시계열 데이터의 경우 30% 이상이 누락된 모든 특성도 제거했다. 기준 판독값이 누락된 모든 환자 사례가 실험에서 제외되었다. CSF tau(83%)와 같은 일부 중요 특성은 시계열의 30% 이상이 누락되었지만 기준점에서 누락되지는 않았다. 본 발명에서는 이러한 특성들을 기준치에서 수집하고 정적 데이터를 가진 BG로 간주하는 것을 선호했다. 중요한 특징은 ADNI 권고사항과 AD 진단 및 진행 문헌에 따라 결정되었다[14]. 존재하지 않는 시계열 값을 처리하기 위해 ADNI의 직관에 따라 두 가지 순차 전략을 따랐다. 첫째, ADNI 절차에 따라 모든 데이터 범주에 적용할 수 없는 값을 채웠다. 예를 들어 CN인 ADNI 1 환자는 M18을 방문했을 때 MRI 스캔을 수행하지 않는다. 따라서 이러한 유형의 값이 누락되거나 랜덤하지 않은 것으로 간주하면 안 된다. 많은 실험 테스트, 인지 테스트 및 신경 영상 스캔은 특정 방문 시 특정 진단에 대해 수행되지 않는다. 본 발명의 실시예에 따르면, 이러한 적용 불가능한 값을 채우기 위해 정확한 절차를 따랐다. 진단이 변경되지 않은 경우 이전 값으로 포워드 필링(forward filling)을 사용했다. 진단이 변경되었으면 값을 결측값으로 간주했다. 이러한 방법은 알츠하이머 문헌[48]에서 흔히 볼 수 있다. 두 번째 단계는 통계 또는 ML 기법을 사용하여 기존 데이터에서 결측값을 결정하는 것이다. 본 발명의 실시예에 따르면, 이러한 문제를 다루기 위해 의학적으로 직관적이고 잘 알려진 방법을 사용했다. 수치 데이터의 경우 CN, sMCI, pMCI, AD 등 다양한 클래스에 따른 평균값을 사용했다. 범주형 기능의 경우 환자 클래스에 따라 모드 값을 사용했다. 결과 시계열은 두 번의 연속 방문 사이에 6개월로 규칙적이다. 결과적으로 LSTM과 CNN 모델을 직접 적용할 수 있다.

기준치와 시계열 모두에 대해 사용 가능한 참가자 데이터의 크기는 다르다. 이러한 데이터를 직접 사용하여 ML 모델을 훈련시키는 것은 수렴을 어렵게 한다. 데이터의 모든 형상이 동일한 중요도를 가지도록 z-점수 방법 즉,

을 사용하여 특징을 표준화했다. 여기서

는 특징 j에 대한 참가자의 원래 값이고

는 정규화한 값이며

는 특징의 평균이고

는 특징의 표준 편차이다. z-점수 방법은 평균 및 단위 표준 편차가 0인 데이터로 변환하며 특이치를 제거하는 데 도움을 준다.

본 발명의 실시예에 따르면, MRI와 PET 데이터에서 특징의 수를 줄이기 위해 주요 구성요소 분석(Pincipal Cmponent Analysis; PCA)을 활용했다. PCA는 91% 이상의 유지된 분산으로 구현되었다. 처음에 MRI는 프리서퍼(FreeSurfer) 소프트웨어를 사용하여 UCSF에서 추출한 326개의 특징을 가지고 있었으며 [49] PCA를 적용한 후 주요 구성요소의 수는 110개가 되었다. 수동으로 계산된 7가지 특징을 추가한 후 전체 MRI 촬영장비는 117가지 특징을 가지고 있었다. PCA는 PET 특징을 288개에서 75개로 줄였다. 모든 모드의 총 특징 수는 259개, 즉 MRI (117개), PET (75개), 인지 점수 (9개), 신경 병리학 (7개) 및 평가(51개)였다. 131개의 계산된 통계 특징에 동일한 설정의 PCA를 적용하여 30개의 구성요소를 생성하였다. 결과적으로 기준 BG는 158개의 특징을 가지고 있었다(124 ADNI 특징 + 30 PCA 구성 요소).

도 5는 본 발명의 일 실시예에 따른 시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 학습 장치의 구조를 나타내는 도면이다.

제안하는 시계열 데이터에 기반한 알츠하이머병 진행감지를 위한 멀티모드 멀티테스크 학습 장치(500)는 특성 추출부(510), 전처리부(520), CNN-BiLSTM 학습부(530), 의사 결정부(540) 및 판단부(550)를 포함한다.

특성 추출부(510), 전처리부(520), CNN-BiLSTM 학습부(530), 의사 결정부(540) 및 판단부(550)는 도 1의 단계들(110~150)을 수행하기 위해 구성될 수 있다.

특성 추출부(510)는 복수의 유형의 멀티모드 시계열 데이터와 일련의 배경 데이터를 입력 받아 멀티모드 시계열 데이터의 각 모드에 대한 로컬 특성 및 종적(longitudinal) 특성을 추출한다.

전처리부(520)는 추출된 멀티모드 시계열 데이터의 특성의 데이터 품질을 개선하기 위한 전처리를 수행한다.

CNN-BiLSTM 학습부(530)는 전처리된 멀티모드 시계열 데이터의 특성에 관하여 스택형 CNN-BiLSTM 네트워크를 통해 학습한다.

CNN-BiLSTM 학습부(530)는 멀티모드 시계열 데이터의 특성에 관한 각 모드의 학습을 위해 1D 컨볼루션을 이용한 CNN을 사용하고, 각 모드에 대해 하나의 CNN 레이어를 사용하여 복수의 텐서의 시계열 데이터를 새로운 특성 공간으로 변환하기 위해 1D 컨볼루션은 모든 입력 벡터에 대한 시간 차원을 따라 별도로 수행된다. 1D 컨볼루션은 필터 수에 기초하여 CNN은 모든 일변량 시계열 데이터에 대한 입력 벡터를 새로운 특성 공간에 매핑하여 LSTM 예측을 위한 특성 맵으로 확장한다.

CNN-BiLSTM 학습부(530)는 복수의 동시 스택 CNN-BiLSTM 파이프라인과 하나의 피드포워드 신경망을 포함하는 스택형 CNN-BiLSTM 네트워크를 통해 학습을 수행한다. 각 CNN-BiLSTM 파이프라인에 대한 CNN은 최대 풀링 뒤에 하나의 1D 컨볼루션 레이어를 포함하고, BiLSTM은 복수의 스택 BiLSTM 레이어, L2 정규화 레이어 및 드롭아웃 레이어를 포함한다. 이때, CNN이 각 멀티모드 시계열 데이터에서 로컬 특성을 추출하기 위해 적용되고, BiLSTM이 CNN에서 학습된 특성을 입력 받아 동일한 형식의 특성과 단일 시계열 데이터 내에서 시간 관계를 학습하기 위해 적용된다.

의사 결정부(540)는 학습된 특성에 대해 일련의 덴스 레이어(dense layer)를 사용하여 모든 모드에서 공통 특성을 추출하고, 배경 데이터에 대해 일련의 덴스 레이어를 사용하여 특성을 추출하기 위한 의사결정을 수행한다. 의사 결정부(540)는 BiLSTM에서 학습된 특성을 복수의 덴스 레이어에 입력하여 심층 특성 학습을 수행한 후, 복수의 덴스 레이어에 의해 융합한다.

판단부(550)는 추출된 멀티모드 시계열 데이터의 공통 특성 및 배경 데이터의 특성에 대해 덴스 레이어 집합을 사용하여 테스크 별 특성을 학습하고 분류 또는 회귀하여 결과를 최종 감지한다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

<참고 자료>

[1] A. Alberdi, A. Aztiria, A. Basarab, On the early diagnosis of alzheimer's disease from multimodal signals: a survey, Artificial Intelligence in Medicine 71 (2016) 1-29.

[2] C.L. Masters, K. Beyreuther, Alzheimer's centennial legacy: prospects for rational therapeutic intervention targeting the ab amyloid pathway, Brain 129 (11) (2006) 2823-2839.

[3] R.A. Sperling, P.S. Aisen, L.A. Beckett, D.A. Bennett, S. Craft, A.M. Fagan, T. Iwatsubo, C.R. Jack Jr, J. Kaye, T.J. Montine, et al., Toward defining the preclinical stages of alzheimer's disease: recommendations from the national institute on aging-alzheimer's association workgroups on diagnostic guidelines for alzheimer's disease, Alzheimer's & Dementia 7 (3) (2011) 280- 292.

[4] H. Li, M. Habes, D.A. Wolk, Y. Fan, A deep learning model for early prediction of alzheimer's disease dementia based on hippocampal mri, 2019, ArXiv abs/ 1904.07282.

[5] S. Qiu, G.H. Chang, M. Panagia, D.M. Gopal, R. Au, V.B. Kolachalama, Fusion of deep learning models of mri scans, mini-mental state examination, and logical memory test enhances diagnosis of mild cognitive impairment, Alzheimer's & Dementia: Diagnosis, Assessment & Disease Monitoring 10 (2018) 737-749.

[6] G. Lee, K. Nho, B. Kang, K.-A. Sohn, D. Kim, Predicting alzheimer's disease progression using multi-modal deep learning approach, Scientific Reports 9 (1) (2019) 1952.

[7] M. Liu, J. Zhang, E. Adeli, D. Shen, Joint classification and regression via deep multi-task multi-channel learning for alzheimer's disease diagnosis, IEEE Transactions on Biomedical Engineering 66 (5) (2018) 1195-1206.

[8] X. Ding, M. Bucholc, H. Wang, D.H. Glass, H. Wang, D.H. Clarke, A.J. Bjourson, C. D. Le Roy, M. O'Kane, G. Prasad, et al., A hybrid computational approach for efficient alzheimer's disease classification based on heterogeneous data, Scientific Reports 8 (1) (2018) 9774.

[9] D. Zhang, D. Shen, A.D.N. Initiative, et al., Multi-modal multi-task learning for joint prediction of multiple regression and classification variables in alzheimer's disease, NeuroImage 59 (2) (2012) 895-907.

[10] B. Cheng, M. Liu, D. Zhang, B.C. Munsell, D. Shen, Domain transfer learning for mci conversion prediction, IEEE Transactions on Biomedical Engineering 62 (7) (2015) 1805-1817.

[11] C.-Y. Wee, P.-T. Yap, D. Shen, A.D.N. Initiative, Prediction of alzheimer's disease and mild cognitive impairment using cortical morphological patterns, Human Brain Mapping 34 (12) (2013) 3411-3425.

[12] P. Moore, T. Lyons, J. Gallacher, A.D.N. Initiative, et al., Random forest prediction of alzheimer's disease using pairwise selection from time series data, PloS One 14 (2) (2019), e0211558.

[13] E. Moradi, A. Pepe, C. Gaser, H. Huttunen, J. Tohka, A.D.N. Initiative, et al., Machine learning framework for early MRI-based alzheimer's conversion prediction in mci subjects, Neuroimage 104 (2015) 398-412.

[14] M.W. Weiner, D.P. Veitch, P.S. Aisen, L.A. Beckett, N.J. Cairns, R.C. Green, D. Harvey, C.R. Jack Jr, W. Jagust, J.C. Morris, et al., Recent publications from the alzheimer's disease neuroimaging initiative: Reviewing progress toward improved ad clinical trials, Alzheimer's & Dementia 13 (4) (2017) e1-e85.

[15] K. Ito, B. Corrigan, Q. Zhao, J. French, R. Miller, H. Soares, E. Katz, T. Nicholas, B. Billing, R. Anziano, et al., Disease progression model for cognitive deterioration from alzheimer's disease neuroimaging initiative database, Alzheimer's & Dementia 7 (2) (2011) 151-160.

[16] T. Tong, Q. Gao, R. Guerrero, C. Ledig, L. Chen, D. Rueckert, A.D.N. Initiative, et al., A novel grading biomarker for the prediction of conversion from mild cognitive impairment to alzheimer's disease, IEEE Transactions on Biomedical Engineering 64 (1) (2016) 155-165.

[17] L. Nie, L. Zhang, L. Meng, X. Song, X. Chang, X. Li, Modeling disease progression via multisource multitask learners: a case study with alzheimer's disease, IEEE Transactions on Neural Networks and Learning Systems 28 (7) (2016) 1508- 1519.

[18] P.S. Pillai, T.-Y. Leong, Fusing heterogeneous data for alzheimer's disease classification, Stud. Health Technol. Inform.

[19] M. Ewers, C. Walsh, J.Q. Trojanowski, L.M. Shaw, R.C. Petersen, C.R. Jack Jr, H.H. Feldman, A.L. Bokde, G.E. Alexander, P. Scheltens, et al., Prediction of conversion from mild cognitive impairment to alzheimer's disease dementia based upon biomarkers and neuropsychological test performance, Neurobiology of Aging 33 (7) (2012) 1203-1214.

[20] K. Li, R. O'Brien, M. Lutz, S. Luo, A.D.N. Initiative, et al., A prognostic model of alzheimer's disease relying on multiple longitudinal measures and time-toevent data, Alzheimer's & Dementia 14 (5) (2018) 644-651.

[21] F. Liu, L. Zhou, C. Shen, J. Yin, Multiple kernel learning in the primal for multimodal alzheimer's disease classification, IEEE Journal of Biomedical and Health Informatics 18 (3) (2013) 984-990.

[22] S. Duchesne, A. Caroli, C. Geroldi, D.L. Collins, G.B. Frisoni, Relating one-year cognitive change in mild cognitive impairment to baseline MRI features, Neuroimage 47 (4) (2009) 1363-1370.

[23] D. Ramachandram, G.W. Taylor, Deep multimodal learning: a survey on recent advances and trends, IEEE Signal Processing Magazine 34 (6) (2017) 96-108.

[24] Y. Wang, Y. Fan, P. Bhatt, C. Davatzikos, High-dimensional pattern regression using machine learning: from medical images to continuous clinical variables, Neuroimage 50 (4) (2010) 1519-1535.

[25] J. Zhou, J. Liu, V.A. Narayan, J. Ye, A.D.N. Initiative, et al., Modeling disease progression via multi-task learning, NeuroImage 78 (2013) 233-248.

[26] Q. Liao, Y. Ding, Z.L. Jiang, X. Wang, C. Zhang, Q. Zhang, Multi-task deep convolutional neural network for cancer diagnosis, Neurocomputing 348 (2019) 66-73.

[27] W. Liu, B. Zhang, Z. Zhang, X.-H. Zhou, Joint modeling of transitional patterns of alzheimer's disease, PloS One 8 (9) (2013), e75487.

[28] L. Huang, Y. Jin, Y. Gao, K.-H. Thung, D. Shen, A.D.N. Initiative, et al., Longitudinal clinical score prediction in alzheimer's disease with soft-split sparse regression based random forest, Neurobiology of Aging 46 (2016) 180- 191.

[29] H. Harutyunyan, H. Khachatrian, D. C. Kale, G. Ver Steeg, A. Galstyan, Multitask learning and benchmarking with clinical time series data, Scientific data 6 (1) (2019) 96.

[30] H. Suresh, N. Hunt, A. Johnson, L. A. Celi, P. Szolovits, M. Ghassemi, Clinical intervention prediction and understanding using deep networks, arXiv preprint arXiv:1705.08498.

[31] C. Tian, J. Ma, C. Zhang, P. Zhan, A deep neural network model for short-term load forecast based on long short-term memory network and convolutional neural network, Energies 11 (12) (2018) 3493.

[32] D. Lu, K. Popuri, G.W. Ding, R. Balachandar, M.F. Beg, Multimodal and multiscale deep neural networks for the early diagnosis of alzheimer's disease using structural mr and fdg-pet images, Scientific Reports 8 (1) (2018) 5697.

[33] M. Liu, D. Cheng, K. Wang, Y. Wang, A.D.N. Initiative, et al., Multi-modality cascaded convolutional neural networks for alzheimer's disease diagnosis, Neuroinformatics 16 (3-4) (2018) 295-308.

[34] E. Goceri, Formulas behind deep learning success, in: Int. Conf. Appl. Anal. Math. Model, 2018.

[35] E. Goceri, Diagnosis of alzheimer's disease with Sobolev gradient-based optimization and 3d convolutional neural network, International journal for numerical methods in biomedical engineering 35 (7) (2019), e3225.

[36] E. Goceri, Challenges and recent solutions for image segmentation in the era of deep learning, 2019, pp. 1-6.

[37] E. Goceri, Capsnet topology to classify tumours from brain images and comparative evaluation, IET Image Processing 14 (2020) 882-889(7).

[38] H. Choi, K.H. Jin, A.D.N. Initiative, et al., Predicting cognitive decline with deep learning of brain metabolism and amyloid imaging, Behavioural Brain Research 344 (2018) 103-109.

[39] S. Spasov, L. Passamonti, A. Duggento, P. Lio, N. Toschi, A.D.N. Initiative, et al., A parameter-efficient deep learning approach to predict conversion from mild cognitive impairment to alzheimer's disease, Neuroimage 189 (2019) 276- 287.

[40] S. Hochreiter, J. Schmidhuber, Long short-term memory, Neural Computation 9 (8) (1997) 1735-1780.

[41] A. Yousif, Z. Niu, J. Chambua, Z.Y. Khan, Multi-task learning model based on recurrent convolutional neural networks for citation sentiment and purpose classification, Neurocomputing 335 (2019) 195-205.

[42] Z. Hu, Z. Zhang, H. Yang, Q. Chen, R. Zhu, D. Zuo, Predicting the quality of online health expert question-answering services with temporal features in a deep learning framework, Neurocomputing 275 (2018) 2769-2782.

[43] R. Cui, M. Liu, A.D.N. Initiative, et al., Rnn-based longitudinal analysis for diagnosis of alzheimer's disease, Computerized Medical Imaging and Graphics 73 (2019) 1-10.

[44] N. Amoroso, D. Diacono, A. Fanizzi, M. La Rocca, A. Monaco, A. Lombardi, C. Guaragnella, R. Bellotti, S. Tangaro, A.D.N. Initiative, et al., Deep learning reveals alzheimer's disease onset in mci subjects: results from an international challenge, Journal of Neuroscience Methods 302 (2018) 3-9.

[45] N.P. Oxtoby, D.C. Alexander, Imaging plus x: multimodal models of neurodegenerative disease, Current Opinion in Neurology 30 (4) (2017) 371.

[46] M. Schuster, K.K. Paliwal, Bidirectional recurrent neural networks, IEEE Transactions on Signal Processing 45 (11) (1997) 2673-2681.

[47] S. Ruder, An overview of multi-task learning in deep neural networks, arXiv preprint arXiv:1706.05098.

[48] H. Runtti, J. Mattila, M. van Gils, J. Koikkalainen, H. Soininen, J. Lφtjφnen, A.D.N. Initiative, et al., Quantitative evaluation of disease progression in a longitudinal mild cognitive impairment cohort, Journal of Alzheimer's Disease 39 (1) (2014) 49-61.

[49] M. Reuter, N.J. Schmansky, H.D. Rosas, B. Fischl, Within-subject template estimation for unbiased longitudinal image analysis, Neuroimage 61 (4) (2012) 1402-1418.

Claims

복수의 유형의 멀티모드 시계열 데이터와 일련의 배경 데이터를 입력 받아 멀티모드 시계열 데이터의 각 모드에 대한 로컬 특성 및 종적(longitudinal) 특성을 추출하는 단계;
추출된 멀티모드 시계열 데이터의 특성의 데이터 품질을 개선하기 위한 전처리를 수행하는 단계;
전처리된 멀티모드 시계열 데이터의 특성에 관하여 스택형 CNN-BiLSTM 네트워크를 통해 학습하는 단계;
학습된 특성에 대해 일련의 덴스 레이어(dense layer)를 사용하여 모든 모드에서 공통 특성을 추출하고, 배경 데이터에 대해 일련의 덴스 레이어를 사용하여 특성을 추출하기 위한 의사결정 단계; 및
추출된 멀티모드 시계열 데이터의 공통 특성 및 배경 데이터의 특성에 대해 덴스 레이어 집합을 사용하여 테스크 별 특성을 학습하고 분류 또는 회귀하여 결과를 최종 감지하는 단계
를 포함하는 멀티모드 멀티테스크 학습 방법.
제1항에 있어서,
전처리된 멀티모드 시계열 데이터의 특성에 관하여 스택형 CNN-BiLSTM 네트워크를 통해 학습하는 단계는,
멀티모드 시계열 데이터의 특성에 관한 각 모드의 학습을 위해 1D 컨볼루션을 이용한 CNN을 사용하고, 각 모드에 대해 하나의 CNN 레이어를 사용하여 복수의 텐서의 시계열 데이터를 새로운 특성 공간으로 변환하기 위해 1D 컨볼루션은 모든 입력 벡터에 대한 시간 차원을 따라 별도로 수행되며, 1D 컨볼루션은 필터 수에 기초하여 CNN은 모든 일변량 시계열 데이터에 대한 입력 벡터를 새로운 특성 공간에 매핑하여 LSTM 예측을 위한 특성 맵으로 확장하는
멀티모드 멀티테스크 학습 방법.
제2항에 있어서,
전처리된 멀티모드 시계열 데이터의 특성에 관하여 스택형 CNN-BiLSTM 네트워크를 통해 학습하는 단계는,
CNN에서 학습된 특성을 입력 받아 멀티모드 시계열 데이터의 시간 상관 관계를 활용하기 위해 BiLSTM 레이어를 통해 종적 데이터에서 시간 패턴을 찾고, 입력 게이트, 망각 게이트, 출력 게이트를 포함하는 LSTM 셀을 통해 셀 상태에 포함된 정보의 업데이트, 유지 관리 및 삭제를 제어하는
멀티모드 멀티테스크 학습 방법.
제3항에 있어서,
전처리된 멀티모드 시계열 데이터의 특성에 관하여 스택형 CNN-BiLSTM 네트워크를 통해 학습하는 단계는,
복수의 동시 스택 CNN-BiLSTM 파이프라인과 하나의 피드포워드 신경망을 포함하는 스택형 CNN-BiLSTM 네트워크를 통해 학습을 수행하고,
각 CNN-BiLSTM 파이프라인에 대한 CNN은 최대 풀링 뒤에 하나의 1D 컨볼루션 레이어를 포함하고, BiLSTM은 복수의 스택 BiLSTM 레이어, L2 정규화 레이어 및 드롭아웃 레이어를 포함하며,
CNN이 각 멀티모드 시계열 데이터에서 로컬 특성을 추출하기 위해 적용되고, BiLSTM이 CNN에서 학습된 특성을 입력 받아 동일한 형식의 특성과 단일 시계열 데이터 내에서 시간 관계를 학습하기 위해 적용되며,
학습된 특성에 대해 일련의 덴스 레이어(dense layer)를 사용하여 모든 모드에서 공통 특성을 추출하고, 배경 데이터에 대해 일련의 덴스 레이어를 사용하여 특성을 추출하기 위한 의사결정 단계는,
BiLSTM에서 학습된 특성을 복수의 덴스 레이어에 입력하여 심층 특성 학습을 수행한 후, 복수의 덴스 레이어에 의해 융합하는
멀티모드 멀티테스크 학습 방법.
복수의 유형의 멀티모드 시계열 데이터와 일련의 배경 데이터를 입력 받아 멀티모드 시계열 데이터의 각 모드에 대한 로컬 특성 및 종적(longitudinal) 특성을 추출하는 특성 추출부;
추출된 멀티모드 시계열 데이터의 특성의 데이터 품질을 개선하기 위한 전처리를 수행하는 전처리부;
전처리된 멀티모드 시계열 데이터의 특성에 관하여 스택형 CNN-BiLSTM 네트워크를 통해 학습하는 CNN-BiLSTM 학습부;
학습된 특성에 대해 일련의 덴스 레이어(dense layer)를 사용하여 모든 모드에서 공통 특성을 추출하고, 배경 데이터에 대해 일련의 덴스 레이어를 사용하여 특성을 추출하는 의사결정부; 및
추출된 멀티모드 시계열 데이터의 공통 특성 및 배경 데이터의 특성에 대해 덴스 레이어 집합을 사용하여 테스크 별 특성을 학습하고 분류 또는 회귀하여 결과를 최종 감지하는 판단부
를 포함하는 멀티모드 멀티테스크 학습 장치.
제5항에 있어서,
CNN-BiLSTM 학습부는,
멀티모드 시계열 데이터의 특성에 관한 각 모드의 학습을 위해 1D 컨볼루션을 이용한 CNN을 사용하고, 각 모드에 대해 하나의 CNN 레이어를 사용하여 복수의 텐서의 시계열 데이터를 새로운 특성 공간으로 변환하기 위해 1D 컨볼루션은 모든 입력 벡터에 대한 시간 차원을 따라 별도로 수행되며, 1D 컨볼루션은 필터 수에 기초하여 CNN은 모든 일변량 시계열 데이터에 대한 입력 벡터를 새로운 특성 공간에 매핑하여 LSTM 예측을 위한 특성 맵으로 확장하는
멀티모드 멀티테스크 학습 장치.
제6항에 있어서,
CNN-BiLSTM 학습부는,
CNN에서 학습된 특성을 입력 받아 멀티모드 시계열 데이터의 시간 상관 관계를 활용하기 위해 BiLSTM 레이어를 통해 종적 데이터에서 시간 패턴을 찾고, 입력 게이트, 망각 게이트, 출력 게이트를 포함하는 LSTM 셀을 통해 셀 상태에 포함된 정보의 업데이트, 유지 관리 및 삭제를 제어하는
멀티모드 멀티테스크 학습 장치.
제7항에 있어서,
CNN-BiLSTM 학습부는,
복수의 동시 스택 CNN-BiLSTM 파이프라인과 하나의 피드포워드 신경망을 포함하는 스택형 CNN-BiLSTM 네트워크를 통해 학습을 수행하고,
각 CNN-BiLSTM 파이프라인에 대한 CNN은 최대 풀링 뒤에 하나의 1D 컨볼루션 레이어를 포함하고, BiLSTM은 복수의 스택 BiLSTM 레이어, L2 정규화 레이어 및 드롭아웃 레이어를 포함하며,
CNN이 각 멀티모드 시계열 데이터에서 로컬 특성을 추출하기 위해 적용되고, BiLSTM이 CNN에서 학습된 특성을 입력 받아 동일한 형식의 특성과 단일 시계열 데이터 내에서 시간 관계를 학습하기 위해 적용되며,
의사결정부는,
BiLSTM에서 학습된 특성을 복수의 덴스 레이어에 입력하여 심층 특성 학습을 수행한 후, 복수의 덴스 레이어에 의해 융합하는
멀티모드 멀티테스크 학습 장치.