KR20200118763A - 인공신경망 기반 핵자기공명 및 자기공명분광 데이터 처리 방법 및 그 장치 - Google Patents

Abstract

핵자기공명 및 자기공명분광 데이터 처리 장치가 제공 된다. 본 발명의 일 실시예에 따른 핵자기공명 및 자기공명분광 데이터 처리 장치는 자기공명기로부터 입력 데이터를 수신하고, 샘플링 시간을 기초로 상기 입력 데이터에서 불완전 데이터를 분류한 후, 상기 입력 데이터 중 상기 불완전 데이터를 제외한 나머지 데이터를 기 설정된 기준을 기초로 상기 기준을 만족하는 완전 데이터 또는 상기 기준에 미달하는 불량 데이터로 분류하는 데이터 입력부, 상기 데이터 입력부에서 수신한 상기 불완전 데이터 및 상기 불량 데이터를 복구하여 복구 데이터를 획득하는 데이터 복구부 및 상기 데이터 입력부에서 수신한 상기 완전 데이터 및 상기 데이터 복구부에서 수신한 상기 복구 데이터를 이용하여 대사체 농도 범위를 기초로 대사체 정량화 데이터를 생성하는 질병 진단부를 포함한다.

Description

인공신경망 기반 핵자기공명 및 자기공명분광 데이터 처리 방법 및 그 장치{ METHOD AND APPARATUS FOR PROCESSING NUCLEAR MAGNETIC RESONANCE AND MAGNETIC RESONANCE SPECTROSCOPY DATA BASED ON ARTIFICIAL NEURAL NETWORK }

본 발명은 인공신경망 기반으로 자기 공명기를 이용하여 획득된 핵자기공명 및 자기공명분광 데이터를 처리하는 방법 및 그 장치에 관한 것이다.

자기공명분광법 (Magnetic Resonance Spectroscopy; MRS)은 핵자기공명법(Nuclear Magnetic Resonance; NMR)을 생체에 적용하여 비침습적으로 대사체학 정보를 얻는 기법으로써, 기초 연구 및 임상에서 높은 응용 잠재성을 가진다.

하지만, MRS는 낮은 두뇌 대사체 농도, 저자장으로 인한 낮은 신호대잡음비, 저자장으로 인한 대사체 신호간 중첩 및 기저신호와 대사체 신호간 중첩 등의 다양한 원인에 의해 대사체 정량 분석 정확도가 제한적이라는 한계가 존재한다.

이에 따라, 핵자기공명 또는 자기공명분광 데이터의 전반적인 품질 개선, 핵자기공명 및 자기공명분광 데이터를 이용한 대사체 정량분석의 정확도 향상 및 각종 질환 진단에 관한 기술의 제공이 요구된다.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.

1. Alkan C, Cocjin J, Weitz A. Magnetic Resonance Contrast Prediction Using Deep Learning. 2017 class material (cs231n), Stanford University. 2. Bhogal AA, Sch , Houtepen LC, van de Bank B, Boer VO, Marsman A, Barker PB, Scheenen TWJ, Wijnen JP, Vinkers CH, Klomp DWJ. 1H-MRS processing parameters affect metabolite quantification: The urgent need for uniform and transparent standardization. NMR Biomed 2017;30:e3804. 3. Kreis R. The Trouble With Quality Filtering Based on Relative Cramer-Rao Lower Bounds. Magn Reson Med 2016;75:15-18. 4. LeCun Y, Bengio Y, Hinton G. Deep learning. Nature 2015;521:436-444. 5. Litjens G, Kooi T, Bejnordi BE, Setio AAA, Ciompi F, Ghafoorian M, van der Laak JAWM, van Ginneken B, Sαnchez CI. A Survey on Deep Learning in Medical Image Analysis. 2017 arXiv:1702.05747 [cs.CV] 6. Nguyen, H., Zhou, K., Vemulapalli, R. Cross-domain synthesis of medical images using efficient location-sensitive deep network. In: Navab, N., Hornegger, J., Wells, W.M., Frangi, A.F. (eds.) MICCAI 2015. LNCS, vol. 9349, pp. 677-684. Springer, Heidelberg (2015). 7. Provencher SW. Estimation of metabolite concentrations from localized in vivo proton NMR spectra. Magn Reson Med 1993;30:672-679. 8. Ratiney H, Coenradie Y, Cavassila S, van Ormondt D, Graveron-Demilly D. Time-domain quantitation of 1H short echo-time signals: background accommodation. MAGMA 2004;16:284-296. 9. Sevetlidis V, Giuffrida MV, Tsaftaris SA. Whole image synthesis using a deep encoder-decoder network. In: International Workshop on Simulation and Synthesis in Medical Imaging 2016. pp. 127-137. 10. Birch R, Peet AC, Dehghani H, Wilson M. Influence of macromolecule baseline on (1) H MR spectroscopic imaging reproducibility. Magn Reson Med. 2017;77(1):34-43. 11. Opstad KS, Bell BA, Griffiths JR, Howe FA. Toward accurate quantification of metabolites, lipids, and macromolecules in HRMAS spectra of human brain tumor biopsies using LCModel. Magn Reson Med. 2008;60(5):1237-42 12. Behar KL, Ogino T. Characterization of macromolecule resonances in the 1H NMR spectrum of rat brain. Magn Reson Med 1993;30:38-44. 13. Pfeuffer J, Tkαc I, Provencher SW, Gruetter R. Toward an in vivo neurochemical profile: quantification of 18 metabolites in short-echo-time (1)H NMR spectra of the rat brain. J Magn Reson 1999;141:104-120. 14. Seeger U et al., Parameterized Evaluation of Macromolecules and Lipids in Proton MR Spectroscopy of Brain Diseases. 2003;MRM 49:19-28. 15. Kirstie S. Opstad et al., Toward Accurate Quantification of Metabolites, Lipids, and Macromolecules in HRMAS Spectra of Human Brain Tumor Biopsies Using LCModel. 2008;MRM 60:1237-1242 16. Cobbold, JFL, et al. Hepatic lipid profiling in chronic hepatitis C: an in vitro and in vivo proton magnetic resonance spectroscopy study. Journal of hepatology 2010;52(1): 16-24. 17. Heo H, Kim S, Lee HH, Cho HR, Xu WJ, Lee SH, Park CK, Park S, Choi SH, Kim H. On the Utility of Short Echo Time (TE) Single 복셀(voxel) 1H-MRS in Non-Invasive Detection of 2-Hydroxyglutarate (2HG); Challenges and Potential Improvement Illustrated with Animal Models Using MRUI and LCModel. PLoS One 2016;11:e0147794.

1)MRS 대사체 정량화 기술상의 SNR, 선폭좁힘, 스펙트럴 베이스라인 제거

본 발명의 일 실시예는 MRS기반의 대사체 정량화의 기술적 한계의 원인이 되는 스펙트럼의 낮은 SNR, 선폭확장(line-broadening), 스펙트럴 베이스라인(spectral baseline)에 대해 데이터의 SNR을 높이고 선폭-좁힘(line-narrowing) 성능을 지니며 스펙트럴 베이스라인 을 제거할 수 있는 인공 신경망을 개발하여 NMR/MRS 데이터로부터 대사체 정량분석에 이용되는 기존 방법들 대비 정량분석 정확도 향상시킬 수 있는 인공신경망 기반 핵자기공명 및 자기공명분광 데이터 처리 방법 및 그 장치를 제공한다.

2) 데이터 처리결과 신뢰도 방법 개선하는 알고리즘 개시

본 발명의 다른 실시예는 참 값을 알 수 없는 데이터의 처리 결과의 신뢰도를, 현재 가장 널리 이용되지만 정량화 결과의 정확도(accuracy)가 아닌 정밀도(precision)로 제공하여 궁극적으로 결과 해석에 편견을 유발할 수 있는 CRLB 대신, 백분율 절대 오차율 형태의 정확도로 제공하여 사용자가 해당 데이터 분석 결과에 대해 올바르게 해석할 수 있는 알고리즘을 제시하는 인공신경망 기반 핵자기공명 및 자기공명분광 데이터 처리 방법 및 그 장치를 제공한다.

3) FID에서 양질의 스펙트럼 복원, 불량데이터 스크리닝

본 발명의 또 다른 실시예는 불완전 데이터로부터 양질의 스펙트럼을 복원해 내는 기술과 불량 데이터에 대한 스크리닝 기술을 탑재한 인공 신경망 장치를 제공한다.

본 발명의 또 다른 실시예는 데이터로부터 여러 질환/질병들에 대한 진단이 가능한 인공 신경망 장치를 제공한다.

본 발명의 바람직한 일 실시예로서, 핵자기공명법 및 자기공명분광법을 이용하여 질병을 진단하는 방법으로서, 상기 방법은 데이터입력부에서 자기공명기로부터 입력데이터를 수신하는 단계; 상기 데이터 입력부에서 상기 입력데이터의 샘플링 시간을 기초로 상기 입력데이터에서 불완전 데이터를 분별하고, 상기 입력데이터 중 상기 불완전 데이터로 분별되지 않은 입력데이터에 대해 기설정된 기준에 미달되는 불량 데이터인지 판단하는 단계; 데이터 복구부에서 상기 불완전 데이터 및 상기 불량데이터를 수신하여 복구를 수행하는 단계; 질병 진단부에서 상기 데이터 입력부로부터 상기 완전데이터를 수신하고, 상기 데이터 복구부로부터 상기 복구가 수행된 불완전데이터 또는 상기 불량데이터 중 복구가 수행된 불량데이터만을 수신하여 대사체 농도 범위를 기초로 대사체별 정량화 데이터를 분석하여 질병을 진단하는 단계를 포함하는 것을 특징으로 한다.

바람직하게, 상기 불완전 데이터의 분별은 상기 입력데이터의 헤더를 기초로 수행되는 것을 특징으로 한다. 보다 상세히 불완전 데이터의 분별은 상기 헤더의 데이터 포인트값을 이용하여 계산된 샘플링 시간을 기초로 수행되는 것을 특징으로 한다.

바람직하게, 상기 불량 데이터의 분별은 상기 입력데이터 중 불완전 데이터로 분별되지 않은 입력 데이터를 FFT 변환한 형태에서 검출된 아티팩트를 기초로 수행되는 것을 특징으로 한다.

본 발명의 일 실시예에 따라 컴퓨팅 장치에 의해 수행되는 타겟 대사체 검출 방법은, 자기공명기로부터 생체 데이터를 획득하는 단계, 상기 생체 데이터를 신호 불량 판단 모델에 입력하여, 적어도 하나의 절단 구간을 포함하는 불완전 데이터를 추출하는 단계, 상기 불완전 데이터를 제1 신경망에 입력하여, 상기 절단 구간이 복구된 복구 데이터를 획득하는 단계, 상기 복구 데이터를 제2 신경망에 입력하여 대사체 농도 범위를 기초로 대사체별 정량화 데이터를 획득하는 단계 및 상기 복구 데이터 및 상기 대사체별 정량화 데이터를 제3 신경망에 입력하여 타겟 대사체 검출 결과를 획득하는 단계를 포함할 수 있다.

일 실시예에서 상기 생체 데이터는, 절단 구간이 없는 완전 데이터, 상기 불완전 데이터 및 불량 데이터를 포함하고, 상기 불완전 데이터를 추출하는 단계는, 상기 생체 데이터에 포함된 불량 데이터를 제거하는 단계를 포함하고, 상기 타겟 대사체 검출 결과를 획득하는 단계는, 상기 완전 데이터를 상기 제3 신경망에 더 입력하여 상기 타겟 대사체 검출 결과를 획득하는 단계를 포함할 수 있다.

일 실시예에서 상기 생체 데이터를 획득하는 단계는, 상기 자기공명기로부터 대사체 신호를 획득하는 단계 및 상기 획득한 대사체 신호의 신호 요소를 변경하여 복수의 생체 데이터를 획득하는 단계를 포함하고, 상기 신호 요소는, 신호폭, 위성, 주파수 및 신호대잡음비 중 적어도 하나를 포함할 수 있다.

일 실시예에서 상기 불완전 데이터를 추출하는 단계는, 신호 불량 판단 모델을 이용하여 상기 생체 데이터의 측정 시간(sampling time)을 상기 생체 데이터의 자기장 세기에 대한 기준 측정 시간(sampling time)과 비교하여 상기 불완전 데이터를 추출하는 단계를 포함할 수 있다.

일 실시예에서 상기 복구 데이터를 획득하는 단계는, 상기 불완전 데이터를 지정된 단위로 분할하고, 분할된 불완전 데이터를 제1 신경망에 입력하여 상기 복구 데이터를 획득하는 단계를 포함할 수 있다.

일 실시예에서 상기 대사체별 정량화 데이터를 획득하는 단계는,상기 복구 데이터에 대하여 고속 푸리에 변환(FFT)을 수행하고, 상기 변환된 복구 데이터를 CNN 구조의 상기 제2 신경망에 입력하여 상기 대사체별 정량화 데이터를 획득하는 단계를 포함하고,상기 대사체별 정량화 데이터는, 복수의 대사체 각각의 구간 별 농도 데이터를 포함할 수 있다.

일 실시예에서 상기 타겟 대사체 검출 결과는, 상기 타겟 대사체의 농도 데이터를 포함하고, 상기 타겟 대사체 검출 결과를 획득하는 단계는, 상기 타겟 대사체의 농도 데이터가 지정된 기준을 초과하는 경우 상기 생체 데이터에 상기 타겟 사체가 검출된 것으로 판단하고, 상기 타겟 대사체를 기초로 병리 진단 데이터를 생성하는 단계를 더 포함할 수 있다.

본 발명의 다른 실시예에 따른 타겟 대사체 검출 장치는 프로세서; 를 포함하고, 상기 프로세서는, 자기공명기로부터 생체 데이터를 획득하고, 상기 생체 데이터를 신호 불량 판단 모델에 입력하여 적어도 하나의 절단 구간을 포함하는 불완전 데이터를 추출하고, 상기 불완전 데이터를 제1 신경망에 입력하여 상기 절단 구간이 복구된 복구 데이터를 획득하고, 상기 복구 데이터를 제2 신경망에 입력하여 대사체 농도 범위를 기초로 대사체별 정량화 데이터를 획득하고, 상기 복구 데이터 및 상기 대사체별 정량화 데이터를 제3 신경망에 입력하여 타겟 대사체 검출 결과를 획득할 수 있다.

일 실시예에서 상기 생체 데이터는, 절단 구간이 없는 완전 데이터, 상기 불완전 데이터 및 불량 데이터를 포함하고,

상기 프로세서는, 상기 생체 데이터에 포함된 불량 데이터를 제거하고, 상기 완전 데이터를 상기 제3 신경망에 더 입력하여 상기 타겟 대사체 검출 결과를 획득할 수 있다.

일 실시예에서 상기 타겟 대사체 검출 결과는, 상기 타겟 대사체의 농도 데이터를 포함하고, 상기 프로세서는, 상기 타겟 대사체의 농도 데이터가 지정된 기준을 초과하는 경우 상기 생체 데이터에 상기 타겟 대사체가 검출된 것으로 판단하고, 상기 타겟 대사체를 기초로 병리 진단 데이터를 생성할 수 있다.

본 발명은 전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.

도 1 은 본 발명의 일 실시예로서, 인공신경망 기반 핵자기공명 및 자기공명분광 데이터 처리 장치의 내부 구성도이다.
도 2 내지 3 은 본 발명의 일 실시예로서, 각각 3.0 T와 9.4T에서 획득한 데이터를 고속 푸리에 변환(Fast Fourier Transform; FFT)한 결과를 대사체 별로 도시한 도면이다.
도 4 는 본 발명의 일 실시예로서, 9.4T MRS simulated time-domain raw 데이터에 대한 FFT 결과를 도시한 도면이다.
도 5 는 본 발명의 일 실시예로서, 다양한 line-function 분광 패턴을 나타내는 정상 뇌조직 기저신호를 도시한 도면이다.
도 6 는 본 발명의 일 실시예로서, 다양한 line-function 분광 패턴을 나타내는 뇌종양 조직 기저신호를 도시한 도면이다.
도 7 는 본 발명의 일 실시예로서, 뇌종양 조건에서의 시뮬레이션 과정 중 신호 품질 변화 전 단계의 신호를 도시한 도면이다.
도 8 는 본 발명의 일 실시예로서, 뇌종양 조건에서의 시뮬레이션 과정 중 신호 품질 변화 전 단계의 신호를 도시한 도면이다.
도 9 는 본 발명의 일 실시예로서, 정상 뇌 조건에서의 시뮬레이션 과정 중 신호 품질 변화 후 단계의 신호를 도시한 도면이다.
도 10 는 본 발명의 일 실시예로서, 데이터 입력부의 처리방식에 대한 순서도이다.
도 11 는 본 발명의 일 실시예로서, 데이터의 무결성 검사 및 복구를 수행하는 데이터 복구부의 구성의 기능을 도시한다.
도 12 는 본 발명의 일 실시예로서, 여러 MRS 데이터의 불량성 여부 판단 결과를 도시한 도면이다.
도 13 는 본 발명의 일 실시예로서, 본 실시예에서 구현한 순환 신경망 구조를 도시한 도면이다.
도 14 는 본 발명의 일 실시예로서, 순환 신경망 훈련에 이용된 MRS 데이터의 구성을 도시한 도면이다.
도 15 는 본 발명의 일 실시예로서, 훈련을 마친 순환 신경망의 데이터 복구 결과를 도시한 도면이다.
도 16 는 본 발명의 일 실시예로서, 뇌 종양 병변이 있는 랫에서 획득한 원 데이터와 FID-truncation 후 복구 된 데이터를 도시한 도면이다.
도 17 는 본 발명의 일 실시예로서, 정상 랫에서 획득한 원 데이터와 FID-truncation 후 복구 된 데이터를 도시한 도면이다.
도 18은 대사체 기반 정량적 진단에 기반하여 질병을 진단하는 질병 진단부의 동작을 설명하기 위한 도면이다.
도 19 는 본 발명의 일 실시예로서, 본 실시예에서 구현한 합성곱 신경망의 구조 및 전체적인 훈련 순서도이다.
도 20 는 본 발명의 일 실시예로서, 합성곱 신경망이 예측 할 원 데이터, 예측 데이터(분광 편집) 결과, 및 완전 데이터(ground truth data)를 도시한 도면이다.
도 21 는 본 발명의 일 실시예로서, test set 1만개에 대한 대사체 별 MAE를 도시한 도면이다.
도 22 는 본 발명의 일 실시예로서, 정상 랫에서 각 부위별로 획득 한 원 데이터 및 NAA 대사체 분광 편집 예측 결과를 도시한 도면이다.
도 23 는 본 발명의 일 실시예로서, 서로 다른 두 부위의 대사체 별 평균(정상 랫 14마리), 표준편차 그래프 및 t-test 검정 결과 P-value를 도시한 도면이다.
도 24 는 본 발명의 일 실시예로서, 해당 합성곱 신경망에 대한 구조 및 훈련의 전체적인 과정, 사용한 인공신경망을 통해 출력되는 결과를 도시한 도면이다.
도 25 는 본 발명의 일 실시예로서, Test set 5천 개에 대한 MAPE값을 도시한 도면이다.
도 26 는 본 발명의 일 실시예로서, 5명의 정상군으로부터 획득한 생체 데이터, 인공신경망 예측 결과를 도시한 도면이다.
도 27 는 본 발명의 일 실시예로서, 대사체별 정량화에 대한 본 실시예의 결과 및 LCM 결과를 도시한 도면이다.
도 28 는 본 발명의 일 실시예로서, NSA 64 데이터에 대한 정량화 결과와 NSA 8 ~56데이터에 대한 정량화 결과 간의 절대 차이 그래프를 도시한 도면이다.
도 29 는 본 발명의 일 실시예로서, 신속 질환 진단용 인공신경망 구성도 및 훈련, 예측 과정을 도시한 도면이다.
도 30 는 본 발명의 일 실시예로서, 13명의 환자군에 대한 2HG-positive / 2HG- negative 진단 결과를 도시한 도면이다.
도 31 는 본 발명의 일 실시예로서, 특정 대사체에 대한 예측 오차 지도를 도시한 도면이다.
도 32 는 본 발명의 일 실시예로서, test set 내에 포함되어 있는 데이터의 대사체 정량화 결과에 대한 예측 오차 표시를 도시한 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

본 발명에서 개시하는 인공 지능(artificial intelligence, AI)은 인공적인 지능 또는 이를 만들 수 있는 방법론을 연구하는 분야를 의미할 수 있고, 기계 학습(machine learning)은 인공지능 기술의 한 분야로서 컴퓨팅 장치가 데이터를 통해 학습하여 특정 대상 혹은 조건을 이해할 수 있게 하거나 데이터의 패턴을 찾아내 분류하는 기술적 방식으로써 컴퓨터가 데이터를 분석할 수 있게 하는 알고리즘일 수 있다. 본 발명에서 개시하는 기계 학습은 인공지능 모델을 학습하기 위한 동작 방법을 포함하는 의미로서 이해될 수 있다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1 은 본 발명의 일 실시예에 따른 인공신경망 기반 핵자기공명 및 자기공명분광 데이터 처리 장치의 내부 구성도를 도시한 도면이다.

다만, 도 1에 도시된 구성도는 인공신경망 기반 핵자기공명 및 자기공명분광 데이터 처리 장치의 일 예시일 뿐, 본 발명의 몇몇 실시예에 따른 인공신경망 기반 핵자기공명 및 자기공명분광 데이터 처리 장치의 내부 구성은 도시된 바에 한정되지 않는다.

이하 본 명세서에서 기술하는 데이터의 종류 및 포맷은 한정되지 않는다. 예를 들어 후술되는 데이터는 NMR/MRS 타임 도메인 로(time-domain raw) 데이터(예: Free Induction Decay; FID, 이하 FID), 푸리에 변환을 사용하여 나타내는 주파수-영역(frequency-domain)스펙트럼 데이터를 포함할 수 있고, 1H, 13C, 19F, 31P 등 다핵종 데이터를 포함할 수도 있다.

NMR+MRS 통합처리장치(100)

본 발명의 일 실시예에 따른 인공신경망 기반 핵자기공명 및 자기공명분광 데이터 처리 방법은 NMR 및 MRS에 대한 통합 분석처리 장치(100)에 의해 수행될 수 있다. 일 실시예에 따른 통합 분석처리 장치(100)는 데이터 저장부데이터 저장부(110), 데이터 입력부(120), 데이터 복구부(130), 질병 진단부(160) 및 결과 출력부(190)를 포함할 수 있다. 또한 몇몇 실시예에 따른 데이터 복구부(130) 및 질병 진단부(160)는 각각 인공신경망 학습부(140, 170) 및 인공신경망 예측부(150, 180)를 포함할 수 있다.

데이터 저장부데이터 저장부(110)는 인공신경망의 학습 데이터가 저장될 수 있다. 예를 들어 데이터 저장부데이터 저장부(110)에는 정상인이나 환자 그리고 여러 질병 관련 동물모델로부터 채취된 샘플에서 또는 생체 내에서 자기공명기를 이용하여 획득된 데이터 또는 이를 모사한 데이터들이 저장될 수 있다. 데이터 저장부(110)는 불완전하게 얻어진 데이터 또는 부분적으로 선별된 데이터 형태로도 저장될 수 있다. 불완전하게 얻어진 데이터는 절단(truncated) 데이터, 그리고 언더샘플링된(undersampled) 데이터를 포함한다.

일 실시예에서 모사된 데이터는 생체 내 각 장기(두뇌, 간, 근육, 심장 등)에 존재 할 수 있는 주요 대사체들 간의 다양한 농도비, 데이터 품질 결정 요인, 데이터 획득 파라미터, 대사체의 양자 물리적 특성들을 모두 고려한 데이터를 모사한 데이터일 수 있다.

데이터 저장부(110)에 저장된 데이터의 품질은 자기장 세기, 신호대잡음비(signal-to-noise ratio), 신호폭(linewidth), 바닥신호(spectral baseline), phase shift, frequency shift, ghosting 아티팩트 (unwanted signal) 및 residue water signal 중 적어도 하나를 기초로 결정될 수 있다. 데이터 획득 파라미터는 펄스 시퀀스 종류, 펄스 시퀀스를 구성하는 고주파 펄스(RF)의 특성, 경사 자계 특성, 에코 시간 (Echo time; TE) 및 반복 시간 (Repetition time; TR)중 적어도 하나를 포함할 수 있다. 또한, 대사체 양자 물리적 특성은 대사체들의 종축 이완 시간 (Longitudinal time; T1), 대사체들의 횡축 이완 시간 (Transverse time; T2), J-coupling 및 대사체들의 스핀 정보를 포함할 수 있다. 본 실시예에 따른 데이터 저장부데이터 저장부(110)는 인공신경망의 학습 데이터와 각각의 데이터에 대응되는 대사체 상대 농도비, 품질 결정 요인 및 데이터 획득 파라미터를 매핑하여 저장할 수 있다.

데이터 입력부(120)는 데이터 저장부데이터 저장부(110)에서 획득한 입력데이터(S110) 또는 자기공명기(101)에서 획득한 입력데이터(S101)를 획득할 수 있다.

데이터 입력부(120)는 입력 데이터(S101, S110)의 유형을 기초로 입력 데이터를 데이터 복구부(130)로 전송할지 내지 질병 진단부(160)로 전송할지를 결정할 수 있다.

또 다른 일 실시예로서, 학습용 입력데이터(S110)의 경우, 불완전/불량 데이터로 분류 될 지라도, 해당 데이터의 완전한 형태(이하 ground truth 데이터로 기술한다) 및 헤더(header) 정보가 함께 전송되며, 이는 데이터 복구부(130) 및 질병 진단부(160)에서 훈련 목적에 맞게 사용될 수 있다. 입력데이터(S101)의 경우에는 불완전/불량 데이터(S102)로 분류될 경우, 파라미터를 포함한 헤더만 함께 데이터 복구부(130)로 전송 됨에 유의한다. 완전데이터(S103)의 경우에는 질병 진단부(160)로 전송된다.

데이터 입력부(120)는 입력 데이터(S101)의 데이터 획득시간이 기설정된 시간 미만인 경우, 해당 데이터를 불완전 데이터로 분류한다. 그리고, 입력 데이터(S101) 중 불완전 데이터로 분류되지 않은 데이터에 대해서는 불량 데이터인지 여부를 판단하여, 불량데이터에 해당하지 않는 경우 완전 데이터로 분류할 수 있다.

도 10을 참고하여 설명하면, 데이터입력부(120)는 입력된 데이터(S110, S101) 내의 헤더 정보로부터 파라미터를 추출할 수 있다(S1010). 파라미터는 자기장의 세기(B0), 데이터 포인트(data point) 수 및 spectral bandwidth(SW)중 적어도 하나를 포함할 수 있다.

데이터 입력부(120)는 헤더 내의 데이터 포인트 값을 기초로 입력 데이터가 불완전 데이터인지 여부를 판단한다(S1020). 구체적으로, 데이터 입력부(120)가 불완전성을 결정짓는 기준은 샘플링 시간(sampling time) (sec) 이며 이는 데이터 포인트(1 / SW) 값으로 추출될 수 있다. 예를 들어, 자기장의 세기가 3T일 때의 최소 획득시간은 0.512 sec (1024 data points, SW = 2000Hz) 이며, 9.4T일 때의 기준 획득 시간(acquisition time)은 0.256 sec (1024 data points, SW = 5000 Hz) 일 수 있다.

일 실시예에서 데이터 입력부(120)는 입력된 데이터의 샘플링 시간(sampling time)이 해당 자기장 세기의 기준 샘플링 시간(sampling time) tm에 비해 50% 이하로 짧은 경우 불완전 데이터로 판별할 수 있고, 입력된 데이터의 샘플링 시간(sampling time)이 해당 자기장 세기의 기준 샘플링 시간(sampling time) tm에 비해 초과 하는 경우 완전 데이터로 판별할 수 있다(S1020).

데이터 입력부(120)는 불완전 데이터에 해당하지 않는 입력 데이터에 대하여 추가적으로 불량데이터에 해당하는지 판단한다(S1030)

불량 데이터를 결정짓는 기준은, 해당 데이터의 FFT 변환 형태에서, 0.5~4.5ppm 범위 내에 대사체나 기저신호 외의 다른 추가 아티팩트 요소가 있는지에 대한 여부 기초로 정해질 수 있다. 예를 들어 신호 내 아티팩트 요소의 포함 여부 결정에는 변화점 탐지(cumulative sum; CUSUM)를 이용하여 정해질 수 있다. 또한 불량 데이터는 인공 신경망 훈련을 위한 기설정된 기준에 미달하는 데이터 품질을 지닌 데이터를 지칭한다.

데이터 입력부(120)에 입력된 데이터가 불완전 데이터 또는 불량 데이터로 분류된 경우, 해당 데이터는 데이터 복구부(130)에 전달된다. 그 외 완전 데이터는 질병전달부(160)로 전달된다. 이 후, 질병의 진단이 이루어지면 데이터를 출력한다(S1070).

데이터 복구부(130)는 불완전 데이터를 완전한 형태의 데이터로 복구할 수 있고, 불량 데이터를 배제할 수도 있다. 데이터 복구부(130)는 합성곱 신경망(Convolutional neural network), 순환 신경망(Recurrent neural network)등 다양한 신경망을 이용할 수 있다.

본 발명의 바람직한 일 실시예로서, 데이터 복구부(130)는 데이터 입력부(120)에서 전송된 데이터가 불완전한, 또는 불량 데이터의 경우,해당 데이터를 복구하거나 또는 데이터를 분석할 수 없다는 판단을 수행한다. 이를 위해, 데이터 복구부(130)는 인공신경망 학습부(140) 및 인공신경망 예측부(150)를 포함한다.

도 11을 참고하여 설명하면, 인공신경망 학습부(140)는 데이터 입력부(120)에서 데이터 저장부(110)로부터 받은 입력신호(S110)를 기초로 기계학습을 수행하여 데이터가 불량인지 여부를 훈련하고(S131), 이를 기초로 입력데이터가(S102) 불량 데이터인지 여부를 예측한다(S132). 복구가 불가능한 불량 데이터인 경우에는 데이터 처리를 종료한다(S133).

본 발명의 바람직한 일 실시예로서, 인공신경망 학습부(140)는 학습에 필요한 불완전 데이터와 완전 데이터(예를 들어, ground truth)의 쌍을 이용하여 지도 학습(Supervised learning)을 실시할 수 있다. 이 경우 인공신경망부의 학습 과정에서 수행되는 디노이징(Denoising)등을 통해 데이터 품질이 개선될 수 있다.

인공신경망 학습부(140)에 입력되는 입력데이터(S110)는 훈련용과 테스트용 또는 훈련용, 검증용 그리고 테스트용으로 분류될 수 있다. 인공신경망의 학습이 완료된 경우, 인공신경망 학습부(140)는 학습한 인공신경망을 고정(freeze) 하여 인공신경망 예측부(150)로 전달할 수 있다. 이 경우 불량 데이터의 경우 추가적인 데이터 처리 없이 처리불가의 메시지를 태깅하여 전달할 수 있다.

인공신경망 학습부(140)는 데이터 저장부(110)로부터 전송 받은 입력데이터(S110)들을 사용하여 품질 허용 한계치 (quality control) 기준들을 결정짓는 기계학습 기반의 신호 불량 판단 모델을 포함할 수 있다.

인공신경망 모델의 종류는 한정되지 않으나 기계학습 기반의 서포트 벡터 머신(support vector machine; SVM) 모델 등을 사용 할 수 있으며, 데이터 품질을 결정하는 요소는 ghosting, residual water signal, 신호폭(linewidth) 또는 SNR 중 적어도 하나를 포함할 수 있다. 이하 본 발명의 이해를 용이하게 하기 위해 신호 불량 판단 모델이 SVM 모델임을 가정하고 후술하나 이에 한정되는 것은 아님에 유의한다.

인공신경망 예측부(150)는 인공신경망 학습부(140)에서 학습된 인공신경망을 수신하여, 데이터 입력부로부터 수신한 FID 입력신호(S102) 가 불량인지, 불완전 데이터인지를 판단한다.

인공신경망 예측부(150)는 인공신경망 학습부(140)로부터 전달받은 인공신경망을 이용하여, 완전 데이터(ground truth data)가 없는 실제 자기공명기에서 획득한 불완전 데이터(S102)에 대한 복구를 진행할 수 있다. 복구가 완료된 데이터는 질병 진단부(160) 내 인공신경망 예측부(180)로 전달하여 대사체 정량화 또는 병의 진단을 수행 할 수 있다. 종래에는 데이터를 복구하는 작업과 대사체를 기반으로 질병을 진단하는 작업이 별개로 이루어졌으나, 본 발명의 바람직한 일 실시예에서는, 통합처리장치(100)에서 데이터 복구부(130)와 질병 진단부(160)를 통합함으로써, 데이터 복구부(130)에서 불완전 데이터를 복구한 후, 인공신경망 예측부(180)로 전달하여 대사체 정량화 또는 병의 진단을 수행하는 과정을 순차적으로 진행하여 결과출력부(190)를 통해 결과를 자동으로 받아볼 수 있는 이점이 있다.

질병 진단부(160)는 대사체 정량화 또는 병의 진단을 수행할 수 있다. 보다 구체적으로 질병 진단부(160)는 입력된 데이터 내의 대사체의 양을 절대 농도 또는 상대 농도로 표현할 수 있다. 또한, 특정 대사체에 대한 농도 범위별로 구간을 나누어 데이터를 범주화하여 분류 할 수 있다.

그리고, 질병 진단부(160)는 데이터 입력부(120)로부터 직접 전달받은 완전데이터(S103), 데이터 복구부(130)에서 데이터 복구 후 전달받은 데이터(S104), 또는 대사체 정량화 결과를 토대로 병의 진단을 수행할 수 있다.

질병 진단부(160)는 인공신경망 학습부(170) 및 인공신경망 예측부(180) 를 포함할 수 있다. 인공신경망 학습부(170)는 인공신경망을 이용하여 데이터의 품질 처리 및 대사체 정량화를 진행하거나, 특정 대사체에 대한 농도 범위별로 구간을 나누어 데이터를 분류할 수 있다.

인공신경망의 구조는 제한되지 않으며 합성곱 신경망(Convolutional neural network), 또는 스택 오토인코더 (Stacked autoencoder) 등 다양한 신경망을 이용할 수 있다. 인공신경망의 학습 데이터에 대한 완전 데이터(ground truth data), 대사체의 농도, 상대 농도, 또는 특정 대사체양의 농도 범위 별로 구간 값은 모두 하나의 쌍을 이루어, 지도 학습(Supervised learning) 또는 비지도 학습(Unsupervised learning)에 이용될 수 있다. 인공신경망 학습부(170)의 학습 과정을 통해 입력 데이터의 품질이 개선될 수 있다. 상술한 인공신경망의 입력 데이터는 훈련용과 테스트용 또는 훈련용,검증용 그리고 테스트용으로 분류될 수 있다. 이후, 인공신경망 학습부(170)에서 훈련이 완료된 인공 신경망은 고정(freeze)되어 인공신경망 예측부(180)로 전달될 수 있다.

인공신경망 예측부(180)는 인공신경망 학습부(170)로부터 전달받은 인공신경망을 이용하여, 완전 데이터(ground truth data)가 없는 실제 자기공명기에서 획득한 데이터에 대해 디노이징(Denoising), line-narrowing, 주파수 조정(frequency adjustment), 위상 조정(phase adjustment)를 수행하여 해당 데이터의 품질을 개선할 수 있다.

인공신경망 예측부(180)는 또한 해당 데이터를 편집 (editing)하거나, 특정 대사체에 대한 농도 범위 별로 구간 값(classification)을 산출하거나 병의 진단을 수행할 수도 있다. 처리가 완료된 데이터는 결과 출력부(190)로 전달될 수 있다.

결과 출력부(190)는 인공신경망 학습부(170) 또는 인공신경망 예측부(180)로부터 전달받은 데이터, 또는 편집된 데이터로부터 선형대수 연산을 통해 대사체의 농도/상대 농도를 추출하고, 그에 대한 오차율을 출력할 수 있다.

기존에는 대사체 정량시 정밀도(accuracy)를 나타내는 CRLB를 사용하여 통계에 오류가 있었으나, 본 발명에서는 예측값 대비 절대 오차를 나타내는 오차율을 출력함으로써 대사체 정량 데이터 처리결과에 대한 신뢰도를 개선시키는 이점이 있다.

일 실시예에서 결과 출력부(190)는 인공신경망 예측부(180)의 결과 표시 이전에 절대 오차를 연산할 수 있다. 보다 구체적으로, 인공신경망 학습부(170)로부터 전달 받은 데이터는 농도/상대 농도에 대한 참값이 존재하므로, 결과 출력부(190)는 이를 사용하여 데이터 입력부(120)의 데이터 품질과, 전달 받은 데이터를 복합적으로 고려한 절대 오차를 계산하는 과정을 선행할 수 있다. 이후 결과 출력부(190)는 인공신경망 예측부(180) 결과들에 대해 예상 절대 오차율을 결정할 수 있다. 또 다른 일 실시예에서 결과 출력부(190)는 농도 범위 별 구간 값 결과의 경우에는 오차율을 결정하기 않고 데이터를 출력할 수 있다.

이하, 도 1에 도시된 인공신경망 기반 핵자기공명 및 자기공명분광 데이터 처리 장치에 포함된 각 구성의 세부 동작에 대하여 도 2 내지 도 32를 참조하여 설명한다.

도 2 내지 도 9는 본 발명의 일 실시예에 따른 데이터 저장부(110)의 동작을 상세히 설명하기 위한 도면이다.

일 실시예에 따른 데이터 저장부데이터 저장부(110)는 시료 측정 또는 양자역학적 연산을 통해 모델 대사체 신호(model metabolite basis set)를 획득할 수 있다.

이하, 본 발명의 일 실시예에 따른 데이터 저장부(110)가 시료 측정을 통해 모델 대사체 신호를 획득하는 방법에 대하여 설명한다.

먼저, 데이터 저장부(110)는 대사체 시료를 획득할 수 있다. 대사체 시료의 종류는 제한되지 않는다. 예를 들어 대사체 시료의 종류는 alanine (Ala), aspartate (Asp), creatine (Cr), γ-amino butyric acid (GABA), glucose (Glc), glutamine (Gln), glutamate (Glu), glutathione (GSH), glycerophosphorylcholine (GPC), lactate (Lac), myo-Inositol (mI), N-acetylaspartate (NAA), N-acetylaspartylglutamate (NAAG), phosphocreatine (PCr), phosphorylcholine (PC), phosphorylethanolamine (PE) 또는 taurine (Tau)중 적어도 하나를 포함할 수 있다. 본 발명의 몇몇 실시예에 따라 생성된 대사체 시료는 각 대사체 별로 3-trimethylsilyl-propionic acid (TSP; 1 mM) and sodium azide (NaN3; 0.1%)와 함께 300mL 원통형 유리병 (3.0 T 자기공명기 측정용), 또는 15ml 원심관 튜브 (9.4T 소동물용 자기공명기 측정용)에 50mM 농도, pH 7.0-7.5 범위로 제조될 수 있고, PC는 36.05 mM, NAAG는 10mM의 농도로 제조될 수 있다. 상기 과정에 따라 완성된 제조 시료는 이하, metabolite phantom로 후술한다.

이후, 데이터 저장부(110)는 획득된 시료를 측정한 후 저장할 수 있다. 도 2 및 도 3은 각각 3.0 T와 9.4T에서 획득한 데이터를 고속 푸리에 변환(Fast Fourier Transform; FFT)한 결과에 대하여 도시한 도면이다.

일 실시예에서 획득된 metabolite phantom은 자기공명기 내 위치한 뒤, T2-weighted 고속 스핀 에코 영상을 3축 방향으로 획득될 수 있다. (3.0 T 측정 파라미터: repetition time(TR)/echo time(TE) = 2000/25 ms, echo train length(ETL) = 8, field of view (FOV) = 200 × 200 mm2, matrix size = 256 × 256, number of slices = 15 (no gap), slice thickness= 8mm, number of signal average(NSA) = 1), (9.4T 측정 파라미터: TR/TE = 3000/30 ms, ETL = 4, FOV = 40 × 40 mm2, matrix size = 256 × 256, number of slices = 15 (no gap), slice thickness = 1mm, NSA = 2).

다음으로, MRS 데이터를 획득 할 복셀(voxel)을 isocenter에 위치시킨 뒤, 해당 복셀(voxel)에 대한 1,2차 auto-shimming, manual shimming을 통하여 물 신호의 신호폭(linewidth)이 조절될 수 있다. (3T 기준 linewidth: 5Hz, 9.4 기준 linewidth: 3Hz)

데이터 획득은 3.0 T 자기공명기에서는 point resolved spectroscopy (PRESS) 펄스 시퀀스로, 9.4T 자기공명기에서는 spin echo, full Intensity acquired localized (SPECIAL) 펄스 시퀀스로 획득 될 수 있다. (3T 측정 파라미터: TR/TE = 4000/30 ms, spectral bandwidth(SW) = 2kHz, NSA = 256, 복셀(voxel) size = 8 cm3, number of data points = 2048, zero-filled to 4096), (9.4T 측정 파라미터: TR/TE = 10000/3.45 ms, SW = 5kHz, NSA = 256, 복셀(voxel) size = 27 mm3 number of data points = 2048, zero-filled to 4096).

도 4를 참조하여 본 발명의 일 실시예에 따른 데이터 저장부(110)가 양자역학적 계산을 통해 모델 대사체 신호를 획득하는 방법에 대하여 설명한다.

본 실시예에 따른 데이터 저장부(110)는 각 대사체 내 핵자들의 화학적, 양자역학적, 분광학적 특성들 (J-coupling constant, Chemical shift)과, 펄스 시퀀스 파라미터들을 토대로 행렬 곱 연산(product operator), 밀도 행렬(density matrix) 연산을 수행할 수 있다. 도 4는 전술한 양자역학적 계산을 통해 획득한 9.4T MRS simulated time-domain raw 데이터에 대한 FFT 결과를 도시한 도면이다.

이후 데이터 저장부(110)는 생체 기저 신호를 획득하여 저장할 수 있다. 보다 구체적으로 데이터 저장부(110)는 자기공명 데이터에서 대사체 신호와의 신호 중첩으로 인해 대사체 정량분석에서 오차를 일으키는 기저 신호를 모사하여 자기공명 모사 데이터에 포함시킬 수 있다. 기저 신호의 종류는 제한되지 않으나 본 발명의 이해를 용이하게 하기 위해 이하 두뇌 부위에 대한 기저 신호를 이용하여 본 발명의 몇몇 실시예에 대하여 설명한다.

도 5는 다양한 라인함수(line-function) 분광 패턴을 나타내는 정상 뇌조직 기저신호 (0.5~4.5 ppm 주파수 영역, 9.4T 자기장 세기, 랫 두뇌 조건)를 도시한 도면이다. 일 실시예에 따른 데이터 저장부(110)는 정상 뇌 조직의 기저 신호를 구축 하기 위하여, 선행연구들을 토대로 line-function들의 초기 화학 이동(chemical shift), 신호폭(linewidth), 상대 진폭(relative amplitude)를 정의 할 수 있다. 이 후, 기저신호의 불규칙한 패턴을 고려하기 위하여, 데이터 저장부(110)는 각 line-function들의 상대 진폭(relative amplitude) 는 기준 값 대비 ±10% 변동 폭으로, 신호폭(linewidth)은 기준 값 대비 ±20% 변동 폭을 두어, 다양한 분광 패턴을 나타내는 기저 신호를 구성할 수 있다. 도 5에 도시된 실시예는, 사람 두뇌 기저신호는 3.0 T 자기장 조건 하에 17개의 line-function으로, 랫 두뇌 기저신호는 9.4T 자기장 조건 하에 25개의 line-function으로 모사를 진행한 경우를 도시하였다.

도 6 는 다양한 line-function 분광 패턴을 나타내는 뇌종양 조직 기저신호 (0.5~4.5 ppm 주파수 영역, 3.0T 자기장 세기, 사람 두뇌 조건) 를 도시한 도면이다.

뇌종양 조직 기저 신호의 경우, 상기한 정상 뇌 조직과는 다른 패턴의 기저신호가 얻어지며 특히 지방 신호가 포함 된다. 따라서 일 실시예에 따른 데이터 저장부(110)는 해당 요소에 대한 선행 연구들을 토대로 기저 신호를 구성하는 line-function들의 초기 chemical shift, 신호폭(linewidth), 상대 진폭(relative amplitude)을 정의할 수 있다. 도 6에 도시된 실시예의 경우 지방 신호와 단백질 등의 거대분자 신호 사이 간의 비율은 각 데이터 별로 조절하였으며, 이외의 모든 과정은 도 5에 도시된 실시예와 동일함을 가정한다. 이후 데이터 저장부(110)는 신호 요소들의 선형 조합, 신호 품질 조절 및 최종 데이터를 저장할 수 있다.

도 7은 본 발명의 일 실시예에 따라 뇌종양 조건에서의 시뮬레이션 과정 중 신호 품질 변화 전 단계의 신호 (0.5~4.5 ppm 주파수 영역, 3.0T 자기장 세기, 사람 두뇌 대사체 / 기저신호 환경)를 도시한 도면이고, 도 8 은 일 실시예에 따라 뇌종양 조건에서의 시뮬레이션 과정 중 신호 품질 변화 후 단계의 신호 (0.5~4.5 ppm 주파수 영역, 3.0T 자기장 세기, 사람 두뇌 대사체 / 기저신호 환경) 를 도시한 도면이며, 도 9 는 일 실시예에 따라 정상 뇌 조건에서의 시뮬레이션 과정 중 신호 품질 변화 후 단계의 신호 (0.5~4.5 ppm 주파수 영역, 9.4T 자기장 세기, 랫 두뇌 대사체 / 기저신호 환경)를 도시한 도면이다.

도 7에 도시된 바를 참조할 때, 본 실시예에 따른 데이터 저장부(110)는 획득한 대사체 모델 신호들에 대해 생체 내 분포 조건과 유사하면서 다양한 농도 조합을 나타내도록 진폭(amplitude)을 조절할 수 있고, 동시에 대사체 신호 및 기저 신호 간 비율을 생체 내 값과 유사하게 나타낼 수 있도록 처리할 수 있다. 이 후, 도 8 및 도 9에 도시된 바를 참조할 때, 데이터 저장부(110)는 신호 품질을 결정짓는 요소들인 신호폭(linewidth), phase shift, frequency shift, 신호대잡음비(signal-to-noise ratio, SNR)을 고려하여 최종적으로 다양한 신호 품질, 대사체 농도 조합, 기저신호 패턴이 적용된 데이터를 획득하여 저장할 수 있다.

도 8은 뇌종양 조건에서의 신호 품질 변화 전 단계의 신호들을, 도 9는 정상 뇌 조건에서 품질 변화를 유도 한 후의 신호들을 도시한다. 이후, 데이터 저장부(110)는 데이터의 품질 요소까지 모두 적용한 시뮬레이션 데이터들을 최종적으로 복소수 형식의 raw 데이터 (FID)로 저장할 수 있다.

도 12는 복수의 MRS 데이터의 불량성 여부 판단 결과 데이터를 도시한 도면이다.

일 실시예에서, 훈련 된 SVM 모델은 고정(freeze)될 수 있고, 자기공명기로부터 획득된 데이터의 불완전함 또는 불량성 여부에 대한 판단 결과 를 출력할 수 있다. 판단 결과는 '승인' 또는 '거절'일 수 있다. 판단 결과에서 '승인'을 획득한 데이터는 복구가 가능한 데이터로써, 사전에 훈련된 복구용 인공신경망을 통하여 신호 복구 과정이 진행될 수 있다. 판단 결과에서 '거절'을 획득한 데이터는 본 장치에서 복구가 불가능할 정도로 품질이 좋지 않거나 왜곡된 데이터를 의미할 수 있다. 다시 말해, 불량 데이터 중에서도 복구가 가능한 데이터는 복구를 수행할 수 있다.

즉, 도 12에 도시된 바를 참조할 때, 데이터 저장부(110)에 저장되어있는 데이터들이 수용 할 수 없을 정도의 낮은 품질, 또는 예측이 불가능한 신호 요소들이 포함되어 있는 경우, 데이터 복구부(130)는 추가적인 데이터 처리 및 분석 과정은 진행하지 않고 분석 처리 과정을 종결할 수 있다.

또한, 데이터 복구부(130)는 데이터를 복구하기 위해 인공신경망 훈련 및 예측을 수행할 수 있다. 이하 도 13 내지도 15를 참조하여 상세히 설명한다.

본 실시예에서 신호 불량 판단 모델에서 통과된 데이터들은 신호 복구용 인공신경망을 통하여 복구 과정이 진행될 수 있다. 이에 필요한 인공신경망 훈련에는 데이터 저장부데이터 저장부(110)로부터 전달 받은 데이터가 이용될 수 있다.

도 13을 참조할 때, 본 실시예에 따른 데이터 복구용 인공신경망은 순환신경망 중 한 종류인 Nonlinear Auto Regression Neural Network (NARNet)을 이용하여 구성될 수 있다. 다만, 이에 한정되는 것은 아님에 유의한다. 일 실시예에 따른 데이터 복구용 인공신경망은 자기장 세기와 관계없이 입력된 데이터를 모두 1024 data points로 복구를 진행할 수 있다. (3.0 T 기준 sampling time: 2.048 sec, 9.4 T 기준 sampling time : 0.8196 sec)

도 14를 참조할 때 일 실시예에 따른 데이터 복구부(130)는 데이터 저장부(110)로부터 전송 받은 데이터 (1024 data points, FID 형식의 데이터)를 FID의 앞 쪽 부터 50 data points 개수로 자른 뒤 (FID-truncation, 3T, 9.4T 기준 획득시간의 5%, 불완전하게 획득한 데이터와 동일한 의미를 가짐), 순차적으로 다량의 데이터를 연결할 수 있다. (예를 들어1000개의 FID 형식의 데이터) 각 개별 데이터들은 data point 별로 순차적으로 신호 복구용 인공신경망 내로 입력되고 잘려진 나머지 부분들에 대한 예측 값들이 출력될 수 있다.

출력 값들은 잘리기 전의 해당 위치의 data point들(ground truth)과의 비교를 통해 얻어지는 cost (예: mean square error (MSE)) 값을 토대로 인공신경망의 예측 정확도를 평가할 수 있고, 비용(cost) 값을 최소화하는 방향으로 인공신경망 내의 은닉층, 출력층 내에 존재하는 훈련 가능한 변수들(trainable variables)인 가중치(weights), 바이어스(biases) 등의 값들을 최적화할 수 있다.

또한 인공신경망의 훈련이 과적합(overfitting) 되지 않도록 도시된 바와 같이 검증 데이터 세트(validation set), 테스트 데이터 세트(test set)을 설정하여 이폭(epoch) 별, 반복 회차(iteration) 별로 평가가 진행될 수 있다. 전술한 인공신경망의 훈련 과정은 전체적으로 반복하여 수행됨으로써 인공신경망 예측의 재현성이 검증될 수 있다. 도 15는 위 과정으로 훈련된 인공신경망을 통해 테스트 데이터 세트(test set) 내 데이터를 FID-truncation 한 상태에서 이를 예측하여 복구한 결과 및 FFT 변환 결과를 도시한다.

이후, 훈련이 종결 된 인공신경망은 추가로 입력되는 데이터에 의해 훈련이 더 이상 진행이 되지 않도록 고정 (freeze)된 후, 생체 데이터에 대한 복구를 진행할 수 있다. 예를 들어 본 실시예에 따른 데이터 복구부(130)는 9.4T 자기공명기를 이용하여, 랫의 정상 두뇌 조직(4개), 뇌종양 두뇌 조직 데이터(6개)를 획득 하여 이에 대해 FID-truncation (앞쪽 50개 data points 만큼을 잘라서 이용)을 처리 한 뒤, 이를 다시 복구하여 원 상태의 데이터 대비 차이를 통해 인공신경망의 복구 성능을 평가할 수 있다. 도면16은 뇌 종양 병변이 있는 랫에서 획득한 원 데이터와 FID-truncation 후 복구 된 데이터의 일 예시를 도시한 도면이며, 도면17은 정상 랫에서 획득한 원 데이터와 FID-truncation 후 복구 된 데이터의 일 예시를 도시한 도면이다.

이하 생체 데이터를 획득하는 방법의 일 예시를 설명한다. 우선, 이소플루레인(Isoflurane)을 산소에 5% 농도로 희석한 공기를 동물 모델에 노출 시켜, 호흡 마취를 유도한 뒤, 1.5% 농도로 지속적인 마취 상태를 유지한 상태로 자기공명기 내 위치시킨다. T2-weighted 고속 스핀 에코 영상을 3축 방향으로 해부학적 영상을 획득한다.(TR/TE = 3000/30 ms, ETL = 4, FOV = 40 × 40 mm2, matrix size = 192 × 192, number of slices = 15 (no gap), slice thickness = 2mm, NSA = 2). 그리고, MRS 데이터를 획득 할 복셀(voxel)을 뇌종양(tumor) 부위 또는 반대편 정상(contralateral normal) 부위에 위치시킨 뒤, 해당 복셀(voxel)에 대한 1,2차 auto-shimming, manual-shimming을 통하여 물 신호의 신호폭(linewidth)을 조절한다. (기준 linewidth : 10 - 20Hz) MRS 데이터 획득은 SPECIAL 펄스 시퀀스로 획득한다. (TR/TE = 4000/3.45 ms, SW = 5kHz, NSA = 384, 복셀(voxel) size = 9 - 25 mm3, number of data points = 2048, zero-filled to 4096).

도 16은 정상 두뇌 부위에서 획득한 데이터의 원 상태의 신호, 잘려진 신호에 대한 복구 및 원상태 신호 대비 차이에 대한 결과와 이에 대한 FFT 변환 결과를 도시한다.

도 17은 뇌종양 두뇌 부위에서 획득한 데이터의 원상태의 신호, 잘려진 신호에 대한 복구 및 원상태 신호 대비 차이에 대한 결과와 이에 대한 FFT 변환 결과를 도시한다. 이 경우, 복구된 10개의 생체 데이터들과 원 상태의 데이터들 간 결정계수(R2) 값의 평균±표준편차는 0.722±0.157 로 획득된다. 이외의 평가지표로서 mean absolute error (MAE)의 평균±표준편차는 4.484±1.250, normalized mean square error (NMSE)의 평균표준편차는 6.173±1.742를 나타낸다.

본 발명의 바람직한 일 실시예에서, 데이터 복구부(130)는 일반적으로 측정하는 획득 시간 대비 5% 수준의 매우 짧게 획득한 불완전 데이터들을 원상 신호에 가깝게 복구할 수 있다. 또한 데이터 복구부(130)는 불수의근에 의해 연속적인 근육 운동이 일어나는 심장 조직 부위 같이, 획득 시간이 극단적 짧은 장기에서의 대사체 신호를 획득 했을 경우, 후속 처리가 가능한 수준의 신호로 복구할 수 있다.

도 18은 대사체 기반 정량적 진단에 기반하여 질병을 진단하는 질병 진단부의 동작을 설명하기 위한 도면이다. 도 1 을 참고하여 설명한다.

질병 진단부(도 1, 160)는 데이터 저장부에서 전송된 데이터(S110)와 데이터입력부(120)에서 전송된 완전 데이터(S103), 복구된 불완전/불량 데이터(S104)를 수신한다. 질병 진단부(도 1, 160)는 데이터 저장부에서 전송된 데이터(S110)를 이용하여 인공신경망 훈련을 수행한다. 사용자의 선택에 따라 특정 대사체에 대한 정밀 정량화(162), 광역 대사체에 대한 프로파일링(163) 또는 대사체 기반 신속 질환 진단(164)에 대해 인공신경망 훈련을 수행할 수 있다. 이를 위해 사용자에게 선택인터페이스(161)를 제공할 수 있다.

본 발명의 바람직한 일 실시예로서, 질병 진단부(160)에서 인공신경망은 합성곱 신경망(Convolutional Neural Network; CNN)기반으로 생성될 수 있다. 도 19 내지 도 20을 참조하여 인공신경망을 훈련시키는 방법에 대하여 상세히 설명한다.

도 19는 CNN 기반의 특정 대사체 정밀 정량화용 인공신경망의 훈련 프로세스를 도시한 도면이다. 또한, 도 20은 도 19의 일 실시예에서 사용한 인공신경망을 통해 출력되는 결과 데이터의 일 예시이다. 특정 대사체 정밀 정량화용 인공신경망은 총 32 개의 층(layer)로 구성되어 있으며, 입력층 - 은닉층 - 출력층의 순서로 설계될 수 있다. 은닉층은 9개의 합성곱 레이어(Convolutional layer) - 배치 정규화 레이어(Batch normalization layer) - 활성화 레이어(relu layer) 로 구성되는 합성곱 블록(convolutional block)과 두 층의 완전 연결 레이어(fully connected layer) 및 회귀 레이어(regression layer)로 구성될 수 있다. 특정 대사체의 정밀 정량화를 위한 본 인공신경망의 학습 단계는 후술되는 바와 같다.

질병 진단부(160)는 데이터 저장부(110)로부터 10만 개의 데이터와 이에 상응하는 완전 데이터(ground truth data)를 획득할 수 있다. 상술한 데이터는 상기한 인공신경망 훈련에 이용하며, 완전 데이터(ground truth data)는 특정 대사체 및 기준 대사체(상대 농도 표현 목적) 쌍 형태의 신호로 구성되어 있다. 타겟 대사체(target metabolite)의 종류는 총 15개(기준 대사체인 Cr, PCr제외) 로 구성된다. 본 형태로의 훈련 과정을 신호 편집(editing) 과정이라 지칭한다.

이후, 질병 진단부(160)는 인공신경망의 초매개변수 (hyperparameter) 들의 설정을 위해 베이지안 최적화를 coarse searching, fine searching 두 단계에 걸쳐 진행한다. 이 경우, 베이지안 최적화에서 검색하는 초매개변수는 각 층에 포함되어있는 합성곱 필터(convolutional filter)들의 수 및 크기, 완전 연결 (fully connected)을 구성하는 뉴런의 수, 초기 학습 속도 비율이다.

이후 질병 진단부(160)는 베이지안 최적화를 통해 선택된 상위 10개의 초매개변수 조합으로 구성된 인공신경망들에 대한 최종 평가를 진행할 수 있다.

평가는 5-폴드 크로스 검증(5-fold cross validation)을 통해 진행될 수 있고, 질병 진단부(160)는 그 중 중간 성능을 나타내는 초매개변수 조합을 선택할 수 있다. 상기 단계에서 확정된 초매개변수 조합을 포함하는 인공신경망을 포함하는 질병 진단부(160)는 불러온 데이터들을 훈련용(training)(80%) / 검증용(validation)(10%) / 테스트용(test)(10%)으로 나누어 훈련을 진행할 수 있다.

본 실시예에 따른 질병 진단부(160)는 테스트 데이터 세트(test set)을 통해 획득한 결과는 훈련된 인공신경망의 평가요소로 사용할 수 있다. 이 경우, 질병 진단부(160)는 인공신경망 예측에 사용 할 수 있도록 고정(freeze) 된 상태의 작동 모델 (operating model)을 구축한다.

또한, 질병 진단부(160)는 위 과정을 반복하여 완전 데이터에 포함되어있는 특정 대사체의 종류 별로 서로 다른 작동 모델을 형성할 수 있다.

이하 도 21 내지 도 23을 참조하여 도 18에서 상술한 특정 대사체 정밀 정량화용 인공신경망을 이용하여 예측 및 평가를 수행하는 방법에 대하여 상세히 설명한다.

도 21은 테스트 데이터 세트 1만개에 대한 대사체 별 MAE를 도시한 도면이며, 도 22는 정상 랫에서 각 부위별로 획득 한 원 데이터 및 NAA 대사체 분광 편집 예측 결과를 도시한 도면이고, 도 23은 서로 다른 두 부위의 대사체 별 평균(정상 랫 14마리), 표준편차 그래프 및 t-test 검정 결과 P-value 를 도시한 도면이다.

질병 진단부(160)에서 각 대사체 별로 구축 된 인공신경망의 평가는 훈련에 참여한 테스트 데이터 세트(test set)와, 9.4T 자기공명기에서 획득한 정상 랫 두뇌 내 서로 다른 두 부위에서 얻은 데이터들로 진행할 수 있다.

이 경우, 각 특정 대사체 별로 테스트 데이터 세트(test set) 1만 개의 예측 결과에 대한 ground truth 대비 절대 평균 오차 값(mean absolute error; MAE)의 결과는 도 21과 같다. 인공신경망 훈련에 참여하지 않은 데이터들임에도 불구하고, 대사체에 따라 20% 또는 10% 이내의 MAE( mean absolute error 를 나태 냄을 알 수 있다.

구체적인 생체 데이터는 정상 랫 14마리에 대해, 다음과 같은 방식으로 획득한 것임을 가정한다. 먼저, 아이소플루레인을 산소에 5%농도만큼 희석한 공기를 동물 모델에 노출 시켜 호흡 마취를 유도한 뒤, 1.5% 희석된 농도의 공기에 노출하여 마취 상태를 유지한 상태로 자기공명기 내 위치시킨다.

T2-weighted 고속 스핀 에코 영상을 3축 방향으로 해부학적 영상을 획득하였다.(TR/TE = 3000/30 ms, ETL = 4, FOV = 40 ×40 mm2, matrix size = 256 × 256, number of slices = 15 (no gap), slice thickness = 2mm, NSA = 2). 데이터를 획득 할 복셀(voxel)을 소뇌(Cerebellum) 그리고 시상(Thalamus)에 위치시킨 뒤, 해당 복셀(voxel)에 대한 1,2차 auto-shimming, manual-shimming을 통하여 물 신호의 신호폭(linewidth)을 조절한다. (기준 linewidth : 10 - 20Hz) 데이터 획득은 SPECIAL 펄스 시퀀스로 획득한다. (TR/TE = 4000/3.45 ms, SW = 5kHz, NSA = 384, 복셀(voxel) size = 23.52 mm3, number of data points = 2048, zero-filled to 4096).

도 22에는 각 두뇌 부위에서 획득한 데이터의 원 상태의 신호, 해당 데이터를 토대로 대사체 예측 스펙트럼이 도시된다. 도 22에는 NAA만 표현되어 있다. 이 경우 각 두뇌 부위에서 획득한 데이터들의 평균 및 표준편차 결과와, 이에 대해서 paired t-test을 시행하였을 시, P-value < 0.05 의 결과를 나타내는 대사체에 대해서는 도 23에 도시되어 있다. 이를 통해 본 발명의 바람직한 일 실시예로서,질병 진단부(160)에서 신호 편집을 사용한 특정 대사체의 자동 정량화는 높은 정확도로 진행이 되었음을 확인 할 수 있다.

본 발명의 바람직한 일 실시예로서,질병 진단부(160)는 특정 대사체 정밀 정량화용 인공신경망뿐만 아니라, 복합 대사체 프로파일링용 인공신경망을 포함할 수 있다.

이하 도 24를 참조하여 본 발명의 일 실시예에 따라 질병 진단부(160)에 포함된 복합 대사체 프로파일링용 인공신경망을 훈련하는 방법에 대하여 상세히 설명한다.

일 실시예에 따른 복합 대사체 프로파일링용 인공신경망 훈련에는 데이터 저장부데이터 저장부(110)으로부터 전달받은 데이터가 이용될 수 있다. 복합 대사체 프로파일링용 인공신경망은 합성곱 신경망 (Convolutional Neural Network; CNN)기반의 인공신경망 구조일 수 있다.

일 실시예에서 복합 대사체 프로파일링용 인공신경망은 총 41 개의 층(layer)로 구성되어 있으며, 입력층 - 은닉층 - 출력층의 순서로 설계될 수 있다. 이 경우, 은닉층은 3개의 합성곱 레이어(convolutional layer) - 배치 정규화 레이어(batch normalization layer) - 활성화 레이어(Relu layer) 로 구성되는 합성곱 블록(convolutional block)과 한 층의 완전 연결 레이어(fully connected layer) 및 회귀 레이어(regression layer)로 구성될 수 있다. 일 실시예에 따른 합성곱 블록(convolutional block)은 후술할 베이지안 최적화(Bayesian optimization)에 의하여 반복 삽입 되는 횟수를 결정할 수 있다. 본 발명의 몇몇 실시예에 따른 복합 대사체 프로파일링용 인공신경망은 광범위 종류의 대사체들에 대한 프로파일링을 위하여 후술되는 최적화 과정을 수행할 수 있다.

먼저 질병 진단부(160)는 데이터 저장부데이터 저장부(110)로부터 5만 개의 데이터와 이에 상응하는 완전 데이터(ground truth data)를 불러올 수 있다. 해당 데이터는 상기한 인공신경망 훈련에 이용하며, 완전 데이터는 포함 되어 있는 대사체들의 신호가 높은 품질(line-narrowed, frequency adjusted, phase adjusted)의 조건으로 선형 조합되어 있는 형태의 신호로 구성될 수 있다. 목표 대사체(target metabolite)의 종류는 총 17개로 구성될 수 있다. 본 형태로의 훈련 과정을 이하 내재 대사체 신호 채굴(mining) 과정이라 서술한다.

질병 진단부(160)는 인공신경망의 초매개변수(hyperparameter) 들의 설정을 위해 베이지안 최적화 를 진행할 수 있다. 이 경우 베이지안 최적화 에서 검색하는 초매개변수는 각 합성곱 블록 의 반복 횟수, 합성곱 블록 에 포함되어있는 합성곱 필터 들의 수 및 크기, 완전 연결 을 구성하는 뉴런의 수, 초기 학습 속도 비율일 수 있다. 베이지안 최적화 를 통해 선택된 초매개변수 조합으로 이뤄진 인공신경망은 불러온 데이터들을 훈련용(training)(80%) / 검증용(validation)(10%) / 테스트용(test)(10%)으로 나누어 훈련을 진행할 수 있다. 이 경우, 테스트 데이터 세트(test set)을 통해 획득한 결과는 훈련된 인공신경망의 평가요소로 사용될 수 있다. 그 다음, 질병 진단부(160)는 인공신경망 예측에 사용 할 수 있도록 고정(freeze)된 상태의 작동 모델 (operating model)을 구축할 수 있다. 그리고, 질병 진단부(160)는 구축한 작동 모델의 재현성을 검증하기 위해 10-크로스 검증(10-cross validation)을 시행할 수 있다.

도 25 내지 도 28을 참조하여 일 실시예에 따른 질병 진단부(160)에 포함된 복합 대사체 프로파일링용 인공신경망을 이용하여 예측 및 평가하는 방법에 대하여 상세히 설명한다.

일 실시예에서 복합 대사체 프로파일링용 인공신경망의 평가는 훈련에 참여한 테스트 데이터 세트(test set) 5천 개와, 3.0T 자기공명기에서 획득한 정상군 두뇌 데이터들을 이용하여 수행될 수 있다. 이하, 복합 대사체 프로파일링용 인공신경망을 이용하여 예측한 데이터로부터 대사체의 농도를 구하기 위한 방법을 상세히 서술한다.

본 실시예에서 대사체 기반 진단 장치(160)는 복합 대사체 프로파일링용 인공신경망의 예측 데이터로부터 각 대사체 신호의 곱셈 계수 값을 산출할 수 있도록 무어-펜로즈 의사역행렬 (Moore-Penrose pseudoinverse matrix)을 이용할 수 있다. 상술한 산출된 곱셈 계수 값은 각 대사체의 고유 농도를 의미하며, 일 실시예에 따른 대사체 기반 진단 장치(160)는 해당 값과 ground-truth 데이터와 함께 저장된 고유 농도 값 간의 절대 오차를 산정할 수 있다. 이 경우 전체 데이터에 대한 평균 절대 오차는 mean absolute percent error(MAPE, %)로 표현할 수 있다.

도 25는 테스트 데이터 세트(test set) 5천 개에 대한 MAPE 값을 도시하며, 10% 기준 및 20% 기준선이 표시된다.

도시된 바를 참조하면, 훈련에 참여하지 않은 데이터들임에도 불구하고, 대부분의 대사체들의 MAPE 값은 20%이하를 나타내며, 주요 대사체들은 10% 이내의 MAPE값을 나타낸다. 이하, 본 발명의 일 실시예에 따라 획득한 생체 데이터를 획득하는 방법에 대하여 서술한다.

먼저, 피험자를 자기공명기에 위치 시킨 뒤, T2-weighted 고속 스핀 에코 영상을 3축 방향으로 해부학적 영상을 획득할 수 있다.(TR/TE = 2000/25 ms, ETL = 8, FOV = 250 × 250 mm2, matrix size = 256 × 256, number of slices = 15 (no gap), slice thickness = 8 mm, NSA = 2). 이후, MRS 데이터를 획득 할 복셀(voxel)을 백색질이 주로 분포하는 좌측 전두엽에 위치시킨 뒤, 해당 복셀(voxel)에 대해 auto-shimming 을 사용하여 물 신호의 신호폭(linewidth)을 조절할 수 있다. (기준 linewidth : 10 - 15Hz) 또한, MRS 데이터는 PRESS 펄스 시퀀스로 획득 할 수 있다. (TR/TE = 2000/30 ms, spectral bandwidth(SW) = 2kHz, NSA = 64 (NSA 8 x 8), 복셀(voxel) size = 8 cm3, number of data points = 2048, zero-filled to 4096)

도 26은 5명의 정상군에 대한 NSA 64(a), NSA8(b) 데이터(in vivo)를 인공신경망을 통해 예측하고(predicted) 이를 무어-펜로즈 유사역행렬로 대사체들의 개별 신호를 예측(Recon)한 뒤, 인공신경망 예측신호와의 차이 (Difference)를 도시한 도면이다. 또한 NSA 64 데이터와 NSA 8 데이터에서 각각 인공신경망으로 예측된 신호들 간의 차이(c)가 도시된다.

도 27은 5명의 정상군의 NSA 64데이터에 대해 각 대사체별 정량화 결과들을 도시한 것으로, 각 사람 데이터 별로 인공신경망을 이용한 결과와 NLLS fitting 방법으로 가장 많이 이용되는 LCModel가 비교하여 도시되었다. 또한, 각 대사체별로 선행연구들을 통해 알려져 있는 농도의 범위(점선은 평균 값)이 도시되었다.

도 28은 NSA 8 - NSA 56 데이터들로부터 획득한 각 대사체 별 정량화 결과를 NSA 64 데이터로 획득한 정량화 결과에 대한 절대 백분율 차이 (%)의 변화를 나타내며, 5명의 결과 값에 대한 평균으로 도시될 수 있다. 도 28에는 인공신경망을 통해 획득 한 결과 값, LC Model을 통해 획득한 결과 값 및 LCModel에서 정량화 결과에 대한 신뢰 척도 값으로 표현하는 CRLB(%)의 5명 평균 값이 도시된다.

두뇌 대사체의 비침습적 정량분석에 있어 종래 MRS의 기술적 한계성의 주원인은 제한된 스캔시간과 근본적으로 낮은 대사체 농도로 인한 스펙트럼의 낮은 SNR과 정확히 정의되지 않은 채로 스펙트럼 전반에 걸쳐 대사체 신호와 중첩되어 있는 기저신호의 존재이다. 그러나 본 발명의 몇몇 실시예에 따른 대사체 기반 진단 장치(160)에 포함된 인공신경망을 통한 정량화 과정들에서는 SNR을 개선함과 동시에 기저신호를 효과적으로 제거하여 낮은 오차율로 대사체 정량화가 진행 되었음을 확인 할 수 있다. 본 발명의 몇몇 실시예는 기존 MRS의 한계성 극복을 위한 인공신경망 기반 새로운 데이터 처리 기술 개발의 가능성을 보여주며, 특히 인공신경망의 뛰어난 신호 품질 개선 성능을 토대로 임상에서의 스캔시간을 크게 단축할 수 있는 기술의 개발 가능성을 명백히 제시하며, 사용자의 목적, 상황에 맞게 적절한 인공신경망을 선택하여 대사체 정량화를 진행 할 수 있다.

본 발명의 바람직한 일 실시예로서, 질병 진단부(160)는 도 18을 참고하면 대사체 신호 패턴 기반 신속 질환 진단(도 18, 164)을 수행하는 인공신경망을 포함할 수 있다.이하 도 29 및 30을 참고하여 설명한다.

도 29에는 스택 오토인코더(stacked autoencoder) 를 이용하여 상술한 인공신경망에 대한 구조 및 훈련의 전체적인 과정, 사용한 인공신경망을 통해 출력되는 결과가 도시되어 있다.

신호 패턴 기반 신속 질환 진단을 수행하는 인공신경망의 훈련부는 2개의 인코더-디코더(encoder-decoder) 형태의 훈련 층과, 대사체 신호의 전반적 패턴에 따라 진단적 분류 (classification)를 하는 소프트맥스 레이어(softmax layer)를 포함할 수 있다. 이후 훈련이 완료된 신경망은 총 2개의 인코더(encoder) 층과, 1개의 소프트맥스 레이어(softmax layer)를 포함할 수 있다. 본 실시예에 따른 인공신경망은 뇌종양 환자의 병변에서 isocitrate dehydrogenease (IDH) mutation 결과 축적 되는 것으로 알려지는 2-hydroxyglutarate (2HG)을 목적 대사체로 설정하고, 해당 대사체 유무 및 mutation과 관련된 다양한 대사체들의 변화에 따라, IDH-wild type(MRS 신호 내에 2HG 신호 불포함), IDH-mutant type(MRS 신호내에 2HG 신호 포함)으로 분류할 수 있다.

이하 대사체 신호 패턴 기반 신속 질환 진단을 수행하는 인공 신경망의 훈련방법에 대하여 상세히 서술한다. 일 실시예에서 질병 진단부(160)는 데이터 저장부(110)로부터 150만 개의 데이터와 이에 상응하는 완전 데이터를 획득할 수 있다. 상술한 데이터는 2HG 대사체 신호 및 다양한 농도비의 타 대사체들을 포함하는 75만개의 뇌종양 모사 MRS 데이터 및 2HG 대사체 신호가 포함되지 않은 뇌종양 모사 MRS 데이터를 포함할 수 있다. 일 실시예에서 상술한 데이터는 상기한 인공신경망 훈련에 이용되며, 완전 데이터에는 2HG 대사체들의 실제 농도 값과, 유전자 타입이 포함되어 있을 수 있다. 일 실시예에서 획득한 데이터는 인공신경망의 학습용 데이터 및 테스트용 데이터로 나누어 이용될 수 있다. 테스트 데이터 세트을 통해 획득한 결과는 훈련된 인공신경망의 평가요소로 사용될 수 있다.

도 30을 참고하면, 훈련 된 인공신경망의 평가는 3.0T 자기공명기에서 획득한 13명의 뇌암 환자 데이터를 이용하여 진행될 수 있다. 상술한 인공신경망을 통해 예측 한 데이터의 최종 결과 표현은 2HG-negative (동일한 의미로 2HG 불검출), 또는 2HG-positive (동일한 의미로 2HG 검출) 이고, 해당 예측 결과의 정확성 여부를 판별 하기 위하여 각 환자들로부터 획득한 뇌암 조직에 대한 유전자형 시퀀싱(gene type sequencing)이 수행될 수 있다. 도 30은 유전자형(Gene type) 결과와 인공신경망의 예측 결과, 그리고 LC model에서 정량화 된 2HG 농도 결과(농도 검출 시 2HG- positive, 농도 불검출 시 2HG-negative)가 도시되어 있다.

도 30에 표시된 실시예에서 인공신경망을 이용한 예측 정확도는 77% (13명 데이터 중 10명 데이터에 대해 정확히 2HG 검출 / 불검출)이며, LC model 의 정확도는 46% (13명 데이터 중 6명 데이터에 대해 정확히 2HG 검출 / 불검출) 로 나타난다. MRS 분야에서 최근 가장 중요한 연구 및 임상 진단 주제 중 하나는 뇌종양 환자의 병변에서 IDH mutation에 의한 2HG 대사체 신호의 축적에 대한 검출이나, 여러 대사체 신호들 간의 신호 중첩과 낮은 대사체 농도로 인한 신호 수율 문제로 2HG 검출이 매우 어렵다. 본 발명의 몇몇 실시예에서는 이러한 기존 기술들의 한계성 극복을 위해 인공신경망을 통해 뇌종양 환자의 데이터를 분석하여 IDH-mutation 유무 판별 관련 진단율을 기존 NLLS fitting을 이용한 대사체 정량화 방법인 LCmodel 대비 46%에서 77%로 대폭 개선되었다.

본 발명의 바람직한 일 실시예로서, 결과 출력부(190)는 질병 진단부(160)에 포함된 인공신경망 학습부(170) 및 인공신경망 예측부(180)에서 전달 받은 정보들을 토대로 정량화, 또는 진단된 결과를 출력할 수 있다. 이하 도 31 및 도 32를 참조하여 결과 출력부(190)의 동작에 대하여 상세히 설명한다.

결과 출력부(190)에서 출력된 정량화 결과는 해당 결과에 대한 예측 오차 표시를 함께 표시할 수 있다. 도 31은 특정 대사체에 대한 예측 오차 지도를 도시하며, 도 32는 테스트 데이터 세트 내에 포함되어 있는 데이터의 대사체 정량화 결과에 대한 예측 오차 도시한다.

결과 출력부(190)는 데이터 저장부데이터 저장부(110)로부터 각 정량화용 인공신경망 학습에 사용하였던 데이터, 훈련을 모두 마친 인공신경망들로부터 예측된 데이터, 이에 상응하는 완전 데이터를 획득할 수 있다.

이후, 결과 출력부(190)는 학습에 사용하였던 원 데이터들로부터 신호 품질을 결정짓는 요소인 LW, SNR을 각각 계산할 수 있다. 또한, 결과 출력부(190)는 예측된 데이터와 원 데이터간의 signal-to-background ratio(SBR)을 계산할 수 있다 (SBRPRED) .

또한, 결과 출력부(190)는 동일 한 방식으로 완전 데이터(ground truth data)와 원 데이터간의 SBR을 계산한다(SBRTRUE). 이 경우, SBR 값이 낮을수록 해당 데이터의 정량화에 대한 난이도는 증가한다.

그 다음, 결과 출력부(190) 는 각 원 데이터 별로 예측된 데이터를 기반으로 한 정량화 결과와 완전 데이터에 포함된 정량화 결과 간의 차이 비율을 계산할 수 있다 (ARPRED/GT).

이 경우, 결과 출력부(190)는 상기 과정에서 서술한 LW, SNR, SBRTRUE 값 들을 토대로 원 데이터의 품질/정량화 난이도에 관한 좌표를 3축 공간에 표현하고 해당 데이터들에 대한 ARPRED/GT값을 색깔척도로써 표시할 수 있다.

또한, 결과 출력부(190) 는 3차원 공간에 형성된 데이터 품질, 정량화 난이도, 정량 오차에 대한 정보를 2차원 공간상에 투영하여 3개의 등고선 지도를 형성한다. 각 등고선 지도의 높이 값은 공통적으로 ARPRED/GT로 표시할 수 있다.

이 경우 결과 출력부(190) 는 LW, SNR, SBRTRUE을 0.1 간격으로 범위 구획을 나눈 후, 각 품질 요소 범위 구획 별로, 포함하고 있는 예측 데이터들에 대한 SBRPRED 값을 확인하고, 3차원 공간상에서 해당 값이 존재하는 위치에서 나타내는 최소/최대 ARPRED/GT 값을 결정하여 이를 행렬 형태로 저장할 수 있다.

도 31은 특정 대사체 정밀 정량화용 인공신경망 훈련에 참여한 100,000개의 원 데이터, 이에 상응하는 예측 데이터, 완전 데이터들을 사용하여 대사체에 관한 3축 공간상의 품질/정량화 난이도 표현 및 2축 평면상의 등고선 지도를 도시한 도면이다.

본 실시예에서 구성한 알고리즘을 검증 하기 위하여, 인공신경망 훈련에 참여하지 않은 임의의 데이터에 대해 (동일한 의미로 ground truth를 모르는 상태에서) Gln 대사체 대한 정량 예측을 실시, 결과에 대한 오차를 산정(quantification lower/upper limit (%)), 실제 참값 대비 오차에 대한 표현(actual quantification error)은 도면32에 도시된 바와 같다. 이를 통해 본 발명의 몇몇 실시예에 따라 획득한 실제 오차 값(-1.7%)이 예측 오차의 범위 (-10.4%~ 2.6 %)내에 존재하므로 유의미한 오차 예측을 진행 함을 알 수 있다.

전술한 본 발명의 실시예에서는 1천 개의 훈련되지 않은 임의의 데이터에 대해 상기한 과정과 동일하게 검증한 결과, 전체 데이터 대비 98%의 비율 (동일한 의미로 예측 오차 신뢰 확률)로, 모든 대사체에 대해서 예측 오차 범위 내에 실제 오차 값이 존재함이 확인될 수 있다. 일반적으로 대사체 정량화에 사용하는 LCModel에서는 정량화 결과에 대한 신뢰 척도로 CRLB (%) 를 표현한다. 그러나 해당 값은 정량화 결과와 실제 참 값 간의 오차를 표현하는 것이 아니라, 원 신호의 신호 품질과 비슷한 조건에서 반복하여 fitting을 수행 시 해당 정량화 값이 어느 정도의 정밀도(precision)로 재산출되는지를 표현한다. 따라서, 해당 척도로부터 정량화 결과 해석에 편견이 발생 할 수 있다. 그러나 본 실시예 에서는 실제 기대 할 수 있는 참값에 대한 예측 오차를 제공하기 때문에, 기존 방법 대비 훨씬 더 정확한 대사체 정량적 해석을 제공할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (8)

1. 자기공명기로부터 입력 데이터를 수신하고, 샘플링 시간을 기초로 상기 입력 데이터에서 불완전 데이터를 분류한 후, 상기 입력 데이터 중 상기 불완전 데이터를 제외한 나머지 데이터를 기 설정된 기준을 기초로 상기 기준을 만족하는 완전 데이터 또는 상기 기준에 미달하는 불량 데이터로 분류하는 데이터 입력부;
   상기 데이터 입력부로부터 수신한 상기 불완전 데이터 및 상기 불량 데이터를 복구하여 복구 데이터를 획득하는 데이터 복구부; 및
   상기 데이터 입력부로부터 수신한 상기 완전 데이터 및 상기 데이터 복구부에서 수신한 상기 복구 데이터를 이용하여 대사체 농도 범위를 기초로 대사체 정량화 데이터를 생성하는 질병 진단부;를 포함하는
   핵자기공명 및 자기공명분광 데이터 처리 장치.
   
2. 제1 항에 있어서,
   상기 데이터 입력부는,
   상기 입력 데이터의 헤더에 포함된 데이터포인트 값을 기초로 샘플링 시간을 획득하고, 상기 샘플링 시간을 기초로 상기 입력 데이터에서 불완전 데이터를 분류하는,
   핵자기공명 및 자기공명분광 데이터 처리 장치.
   
3. 제2 항에 있어서,
   상기 데이터 입력부는,
   상기 입력 데이터의 측정 시간을 해당 자기장 세기에 대한 기준 측정 시간과 비교하여 상기 불완전 데이터를 분류하는,
   핵자기공명 및 자기공명분광 데이터 처리 장치.
   
4. 제1 항에 있어서,
   상기 데이터 입력부는,
   상기 나머지 데이터에 포함된 노이즈 신호가 기 설정된 기준을 만족하는 경우 완전 데이터로 분류하고, 상기 나머지 데이터 포함된 노이즈 신호가 기 설정된 기준에 미달하는 경우 불량 데이터로 분류하는,
   핵자기공명 및 자기공명분광 데이터 처리 장치.
   
5. 제1 항에 있어서,
   상기 데이터 복구부는,
   상기 불완전 데이터 및 상기 불량 데이터를 지정된 단위로 절단한 후, 절단된 데이터를 순차적으로 인공신경망에 입력하는,
   핵자기공명 및 자기공명분광 데이터 처리 장치.
   
6. 제1 항에 있어서,
   상기 질병 진단부는,
   상기 대사체 정량화 데이터를 이용하여 타겟 대사체 검출 결과를 추정하고, 상기 타겟 대사체 검출 결과를 기초로 질병 진단 데이터를 생성하는,
   핵자기공명 및 자기공명분광 데이터 처리 장치.
   
7. 컴퓨팅 장치에 의해 수행되는 핵자기공명 및 자기공명분광 데이터 처리 방법에 있어서,
   자기공명기로부터 입력 데이터를 수신하는 단계;
   샘플링 시간을 기초로 상기 입력 데이터에서 불완전 데이터를 분류하는 단계;
   상기 입력 데이터 중 상기 불완전 데이터를 제외한 나머지 데이터를 기 설정된 기준을 기초로 상기 기준을 만족하는 완전 데이터 또는 상기 기준에 미달하는 불량 데이터로 분류하는 단계;
   상기 불완전 데이터 및 상기 불량 데이터를 복구하여 복구 데이터를 획득하는 단계; 및
   상기 완전 데이터 및 상기 복구 데이터를 이용하여 대사체 농도 범위를 기초로 대사체 정량화 데이터를 생성하는 단계;
   상기 대사체 정량화 데이터를 기초로 타겟 대사체를 검출하는 단계를 포함하는,
   핵자기공명 및 자기공명분광 데이터 처리 방법.
   
8. 컴퓨터를 이용하여 제7 항의 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램.

Images