KR102482680B1 - 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법 - Google Patents

안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법 Download PDF

Info

Publication number
KR102482680B1
KR102482680B1 KR1020200066992A KR20200066992A KR102482680B1 KR 102482680 B1 KR102482680 B1 KR 102482680B1 KR 1020200066992 A KR1020200066992 A KR 1020200066992A KR 20200066992 A KR20200066992 A KR 20200066992A KR 102482680 B1 KR102482680 B1 KR 102482680B1
Authority
KR
South Korea
Prior art keywords
fundus
fundus image
predicted
learning
photographed
Prior art date
Application number
KR1020200066992A
Other languages
English (en)
Other versions
KR20210150065A (ko
Inventor
오재령
한재호
정연우
이보람
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020200066992A priority Critical patent/KR102482680B1/ko
Publication of KR20210150065A publication Critical patent/KR20210150065A/ko
Application granted granted Critical
Publication of KR102482680B1 publication Critical patent/KR102482680B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법이 개시되며, 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 방법은, 복수의 학습 안저영상을 준비하는 단계, 상기 복수의 학습 안저영상에 반영된 적어도 하나의 국부적 특성을 기초로 안저영상의 피촬영자에 대한 소정의 생체 계측치를 예측하는 학습 모델을 생성하는 단계, 예측 대상 안저영상을 수신하는 단계 및 상기 생성된 학습 모델을 이용하여 상기 예측 대상 안저영상의 피촬영자의 상기 생체 계측치를 도출하는 단계를 포함할 수 있다.

Description

안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법{APPARATUS AND METHOD FOR PREDICTING BIOMETRY BASED ON FUNDUS IMAGE}
본원은 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법에 관한 것이다. 특히, 본원은 안저영상에 대한 빅데이터와 심층신경망을 이용하여 안축장 길이, 안저 나이 등 안과 질환, 뇌 질환 등에 대한 조기 진단에 있어서 중요도가 높은 생체 계측치를 예측하는 장치 및 방법에 관한 것이다.
안과에서의 검사 과정에서 안저영상(안저사진)은 비침습적이며 기본적인 검사로 쉽게 획득 가능하다는 점에서 활용도가 높다. 특히, 안저영상은 비교적 협조가 안되는 환자 또는 시력이 저하된 환자에 대하여도 적은 노력과 시간으로 촬영될 수 있으며, 피촬영자의 동공이 확대되지 않은 상태(산동되지 않은 상태)에서도 쉽게 촬영할 수 있다는 이점이 있다.
다만, 종래에는 안저영상을 획득하기 위하여 고가의 안저 촬영 기기가 구비될 것이 요구되었으나, 최근 들어 안저 촬영을 위한 고가의 기기 없이도 스마트폰에 탑재되는 렌즈를 이용하여 쉽게 안저영상을 얻을 수 있는 기술이 마련되고 있다.
또한, 안저영상은 다양한 망막 질환을 발견하는데 활용될 수 있다. 예를 들어, 당뇨망막병증, 망막정맥폐쇄, 황반변성 등의 다양한 안과 질환의 진단에 있어서는 안저영상을 기초로 한 전문의의 소견이 필수적이다.
특히, 환자의 안저 상태와 관련된 생체 계측치 중 안축장 길이(Axial Length)는 근시 여부를 파악하거나 망막의 질환 여부를 파악하는 등의 환자 상태 평가에 중요한 요소이다. 구체적으로 안축장 길이에 따라 망막 및 맥락막의 혈관, 배경 안저의 색 등이 변화한다는 사실은 기존에도 알려져 있었지만, 구체적으로 이를 이용하여 안축장 길이에 대한 정확한 수치 예측을 수행할 수 있는 기법은 알려진바 없다.
또한, 현재까지 안축장 길이를 측정하기 위해 개발되어 있는 전용 측정장비는 고가의 첨단 장비에 해당하여 이러한 고가의 안축장 측정장비를 구비하지 못한 개발도상국이나 의료산업 인프라가 제대로 갖춰지지 못한 국가에서는 고령 환자에게 발생하는 백내장 등의 안구 질환의 치료를 위해 적절한 규격의 인공수정체를 제조하여야 함에도 불구하고 환자의 안축장 길이에 대한 정보를 세밀하게 획득하기 어렵다는 한계가 있었다.
또한, 안저의 상태로부터 망막의 혈관 상태와 나아가 심혈관 질환 및 뇌의 질환들과 관련된 발병 가능성을 판단할 수 있는 것으로 알려져 있어, 환자의 안저 상태를 종합적으로 반영한 안저 나이를 수치적으로 산출하면 환자 실제 나이와 산출된 안저 나이와의 비교를 통해 환자의 전신 혈관 상태 및 뇌 노화 위험 등을 유추하여 환자 건강 상태에 대한 지표로 활용할 수 있을 것으로 기대된다.
본원의 배경이 되는 기술은 한국공개특허공보 제10-2019-0087272호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 고가의 안축장 측정 장비 없이도 쉽게 획득 가능한 안저영상을 활용하여 안축장 길이, 안저 나이 등 피촬영자의 중요 생체 계측치들을 예측할 수 있는 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 방법은, 복수의 학습 안저영상을 준비하는 단계, 상기 복수의 학습 안저영상에 반영된 적어도 하나의 국부적 특성을 기초로 안저영상의 피촬영자에 대한 소정의 생체 계측치를 예측하는 학습 모델을 생성하는 단계, 예측 대상 안저영상을 수신하는 단계 및 상기 생성된 학습 모델을 이용하여 상기 예측 대상 안저영상의 피촬영자의 상기 생체 계측치를 도출하는 단계를 포함할 수 있다.
또한, 상기 생체 계측치는 안축장 길이를 포함할 수 있다.
또한, 상기 적어도 하나의 국부적 특성은 맥락막 혈관 및 시신경 유두의 형상을 포함할 수 있다.
또한, 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 방법은, 상기 예측 대상 안저영상에서 상기 생체 계측치의 예측에 미친 영향도가 소정 수준 이상인 근거 영역을 도출하는 단계를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 방법은, 상기 근거 영역이 강조되도록 상기 예측 대상 안저영상을 출력하는 단계를 포함할 수 있다.
또한, 상기 학습 안저영상을 준비하는 단계는, 상기 복수의 학습 안저영상 각각의 피촬영자의 연령 정보를 획득하는 단계를 포함할 수 있다.
또한, 상기 학습 모델을 생성하는 단계는, 상기 적어도 하나의 국부적 특성 및 상기 복수의 학습 안저영상 각각의 피촬영자의 연령 정보를 기초로 상기 생체 계측치를 예측하는 학습 모델을 생성할 수 있다.
또한, 상기 예측 대상 안저영상을 수신하는 단계는, 상기 예측 대상 안저영상의 피촬영자의 연령 정보를 획득하는 단계를 포함할 수 있다.
또한, 상기 생체 계측치를 도출하는 단계는, 상기 예측 대상 안저영상의 피촬영자의 연령 정보를 고려하여 상기 안축장 길이를 도출할 수 있다.
또한, 상기 생체 계측치는 안저 나이를 포함할 수 있다.
또한, 상기 적어도 하나의 국부적 특성은 안저영상에 포함된 적어도 하나의 혈관의 상태를 포함할 수 있다.
한편, 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 장치는, 복수의 학습 안저영상을 준비하고, 상기 복수의 학습 안저영상에 반영된 적어도 하나의 국부적 특성을 기초로 안저영상의 피촬영자에 대한 소정의 생체 계측치를 예측하는 학습 모델을 생성하는 학습부 및 예측 대상 안저영상을 수신하고, 상기 생성된 학습 모델을 이용하여 상기 예측 대상 안저영상의 피촬영자의 상기 생체 계측치를 도출하는 추론부를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 장치는, 상기 예측 대상 안저영상에서 상기 생체 계측치의 예측에 미친 영향도가 소정 수준 이상인 근거 영역을 도출하고, 상기 근거 영역이 강조되도록 상기 예측 대상 안저영상을 출력하는 시각화부를 포함할 수 있다.
또한, 상기 학습부는, 상기 복수의 학습 안저영상 각각의 피촬영자의 연령 정보를 획득할 수 있다.
또한, 상기 학습부는, 상기 적어도 하나의 국부적 특성 및 상기 복수의 학습 안저영상 각각의 피촬영자의 연령 정보를 기초로 상기 생체 계측치를 예측하는 학습 모델을 생성할 수 있다.
또한, 상기 추론부는, 상기 예측 대상 안저영상의 피촬영자의 연령 정보를 획득할 수 있다.
또한, 상기 추론부는, 상기 예측 대상 안저영상의 피촬영자의 연령 정보를 고려하여 상기 안축장 길이를 도출할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 고가의 안축장 측정 장비 없이도 쉽게 획득 가능한 안저영상을 활용하여 안축장 길이, 안저 나이 등 피촬영자의 중요 생체 계측치들을 예측할 수 있는 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 고가의 안축장 측정장비를 구비하기 어렵거나 의료산업 인프라가 낙후된 개발도상국에서도 안축장 길이, 안저 나이 등의 중요 생체 계측치를 간편하면서도 신뢰성 있게 획득할 수 있도록 지원할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 생체 계측치 예측에 중요한 영향을 미친 근거 영역을 강조되게 표시함으로써, 예측된 생체 계측치에 대한 신뢰성을 확보할 수 있고, 이를 육안으로 확인하는 의료진의 정확한 판단을 보조할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 장치를 포함하는 생체 계측 시스템의 개략적인 구성도이다.
도 2는 안축장 길이를 설명하기 위한 개념도이다.
도 3은 생체 계측치를 예측하기 위해 고려되는 안저영상의 국부적 특성인 맥락막 혈관 및 시신경 유두의 형상을 설명하기 위한 개념도이다.
도 4는 본원의 일 실시예에 따른 심층신경망 기반 학습 모델을 설명하기 위한 개념도이다.
도 5는 생체 계측치의 예측에 미친 영향도가 소정 수준 이상인 근거 영역이 강조되도록 출력된 예측 대상 안저영상을 예시적으로 나타낸 도면이다.
도 6은 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 장치의 개략적인 구성도이다.
도 7은 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 방법에 대한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본원은 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법에 관한 것이다. 특히, 본원은 안저영상에 대한 빅데이터와 심층신경망을 이용하여 안축장 길이, 안저 나이 등 안과 질환, 뇌 질환 등에 대한 조기 진단에 있어서 중요도가 높은 생체 계측치를 예측하는 장치 및 방법에 관한 것이다.
도 1은 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 장치를 포함하는 생체 계측 시스템의 개략적인 구성도이다.
도 1을 참조하면, 생체 계측 시스템(10)은, 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 장치(100)(이하, '생체 계측치 예측 장치(100)'라 한다.), 안저영상 DB(200) 및 안저영상 촬영 장치(30)를 포함할 수 있다.
생체 계측치 예측 장치(100), 안저영상 DB(200) 및 안저영상 촬영 장치(30) 상호간은 네트워크(20)를 통해 통신할 수 있다. 네트워크(20)는 단말들 및 서버들과 같은 각각의 노드 상호간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(20)의 일 예에는, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5G 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), wifi 네트워크, 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
본원의 일 실시예에 따르면, 안저영상 촬영 장치(30)는 사용자 단말(31)을 포함할 수 있다. 사용자 단말(31)은 예를 들면, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말기 같은 모든 종류의 무선 통신 장치일 수 있다. 다른 예로, 안저영상 촬영 장치(30)는 안과, 대학 병원 등에 구비되어 환자의 안저영상을 획득하기 위한 전용 촬영기기인 안저 카메라(32)를 포함할 수 있다.
또한, 본원의 일 실시예에 따르면, 안저영상 DB(200)는 복수의 학습 안저영상(2)을 포함하는 데이터베이스일 수 있다. 본원의 실시예에 관한 설명에서 학습 안저영상(2)은 피촬영자의 안축장 길이 정보 및 연령 정보가 정답 데이터(ground truth)로써 확보된 안저영상으로써, 본원의 생체 계측치 예측 장치(100)가 피촬영자의 생체 계측치에 대한 정보가 알려지지 않은 안저영상(달리 말해, '예측 대상 안저영상(2)')에 대한 생체 계측치 예측값을 도출하기 위해 구축되는 학습 모델을 구현하는 과정에서 활용되는 이미지 데이터를 의미하는 것일 수 있다.
먼저, 생체 계측치 예측 장치(100)는 복수의 학습 안저영상(2)을 준비할 수 있다. 구체적으로, 생체 계측치 예측 장치(100)는 안저영상 DB(200)로부터 복수의 학습 안저영상(2)을 수신할 수 있다.
또한, 생체 계측치 예측 장치(100)는 후술하는 학습 모델 구현시 과적합을 방지하기 위해, 수신된 복수의 학습 안저영상(2)의 데이터 분포를 조정할 수 있다. 달리 말해, 생체 계측치 예측 장치(100)는 수신된 복수의 학습 안저영상(2) 중 일부 영상을 소정의 기준으로 선별하고, 선별된 학습 안저영상(2)이 학습에 활용되도록 할 수 있다.
본원의 일 실시예에 따르면, 복수의 학습 안저영상(2) 각각은 피촬영자의 연령 정보 및 안축장 길이 정보와 매칭되어 안저영상 DB(200)에 기 저장된 것일 수 있다. 달리 말해, 생체 계측치 예측 장치(100)는 복수의 학습 안저영상(2)을 수신할 때, 복수의 학습 안저영상(2) 각각의 생체 계측치 중 안저 나이의 정답 정보인 피촬영자의 연령 정보 및 생체 계측치 중 안축장 길이의 정답 정보인 피촬영자의 실제 안축장 길이 정보를 획득할 수 있다.
이와 관련하여, 생체 계측치 예측 장치(100)는 피촬영자의 나이(연령)를 기준으로 복수의 학습 안저영상(2)을 정렬하거나 피촬영자의 안축장 길이 정보를 기준으로 복수의 학습 안저영상(2)을 정렬하여 예측 대상 안저영상(2)의 사전 예측수치와 소정 수준 이상 유사한 범위에 속하는 학습 안저영상(2)의 그룹을 선택하여 학습을 진행하도록 동작할 수 있다.
또한, 생체 계측치 예측 장치(100)는 복수의 학습 안저영상에 반영된 적어도 하나의 국부적 특성을 기초로 안저영상의 피촬영자에 대한 소정의 생체 계측치를 예측하는 학습 모델을 생성할 수 있다. 또한, 생체 계측치 예측 장치(100)는 실시예에 따라 복수의 학습 안저영상에 반영된 적어도 하나의 국부적 특성 및 복수의 학습 안저영상(2) 각각의 피촬영자의 연령 정보를 기초로 생체 계측치를 예측하는 학습 모델을 생성할 수 있다.
여기서, 생체 계측치는 안축장 길이(Axial Length, AL)를 포함할 수 있다. 달리 말해, 생체 계측 예측 장치(100)는 안저영상으로부터 피촬영자의 안축장 길이를 예측하는 학습 모델을 생성할 수 있다.
또한, 생체 계측치 예측 장치(100)는 예측 대상 안저영상(2)을 수신할 수 있다. 본원의 일 실시예에 따르면, 생체 계측치 예측 장치(100)는 도 1을 참조하면, 안저영상 촬영 장치(30)로부터 예측 대상 안저영상(2)을 수신하는 것일 수 있으나, 이에만 한정되는 것은 아니다. 다른 예로, 생체 계측치 예측 장치(100)는 어플리케이션 형태로 사용자 단말(31)에 탑재(설치)되는 것일 수 있으며, 이 때, 생체 계측치 예측 장치(100)는 엣지 디바이스인 사용자 단말(31) 내에서 자체적인 Edge Learning을 통해 본원에서 개시하는 학습 모델을 보유하고, 사용자 단말(31)을 통해 촬영된 예측 대상 안저영상(2)을 네트워크를 통해 별도의 서버나 연산 장치로 송신받지 않더라도 사용자 단말(31) 내에서 자체적으로 생체 계측치에 대한 예측값을 출력하도록 동작할 수 있다.
또한, 생체 계측치 예측 장치(100)는 예측 대상 안저영상(2)을 수신할 때, 예측 대상 안저영상(2)의 피촬영자의 연령 정보를 획득할 수 있다. 또한, 생체 계측치 예측 장치(100)는 획득된 예측 대상 안저영상(2)의 피촬영자의 연령 정보를 고려하여 안축장 길이를 도출할 수 있다. 이렇듯, 예측 대상 안저영상(2)의 피촬영자의 연령 정보가 확보되는 경우에는 나이와 안축장 길이와의 상관관계(correlation)를 추가적으로 더 고려할 수 있어 생체 계측치인 안축장 길이의 예측 결과가 보다 정확해 질 수 있다.
도 2는 안축장 길이를 설명하기 위한 개념도이다.
도 2를 참조하면, 안축장 길이는 피촬영자의 각막으로부터 황반 중심(중심와)에 이르는 거리를 의미하는 것일 수 있다.
이와 관련하여, 생체 계측치 예측 장치(100)가 안축장 길이를 예측하려는 생체 계측치로 하는 경우, 구체적으로 생체 계측치 예측 장치(100)가 생성하는 학습 모델은 복수의 학습 안저영상(2)에 반영된 국부적 특성인 맥락막 혈관 및 시신경 유두(Optic disc)의 형상을 기초로 안축장 길이를 예측하도록 구축될 수 있다.
도 3은 생체 계측치를 예측하기 위해 고려되는 안저영상의 국부적 특성인 맥락막 혈관 및 시신경 유두의 형상을 설명하기 위한 개념도이다
특히, 도 3의 A는 안저영상에서 고려될 수 있는 국부적 특성 중 하나인 맥락막 혈관을 나타내고, 도 3의 B는 안저영상에서 고려될 수 있는 국부적 특성 중 하나인 시신경 유두의 형상을 나타낸 것일 수 있다.
구체적으로, 맥락막 혈관은 안저영상에 포함된 맥락막 혈관의 시인성을 의미하는 것일 수 있으며, 이와 관련하여 일반적으로 안축장이 길어질수록 맥락막 혈관 영역이 안저영상에서 현저하게 나타날 수 있고, 피촬영자의 연령이 높을수록 맥락막의 색소감소와 연관되어 깊은 층의 큰 맥락막 혈관 영역이 안저영상에 현저하게 나타날 수 있다. 달리 말해, 맥락막 혈관이 안저영상에서 잘 드러나면(비춰지면), 피촬영자의 연령이 높거나 피촬영자의 안축장 길이가 비교적 긴 것으로 판단될 수 있다.
즉, 복수의 학습 안저영상(1)을 기초로 구축된 학습 모델은 예측 대상 안저영상(2)을 새로이 수신하면, 예측 대상 안저영상(2)에 포함된 맥락막 혈관의 두께가 두껍거나 맥락막 혈관 영역이 안저영상에 현저하게 나타날수록 생체 계측치인 안축장 길이에 대한 예측값을 크게 도출하도록 동작할 수 있다.
또한, 망막의 시신경이 모이고, 망막에서 신경절 세포의 축색이 안구를 빠져나가는 영역인 시신경 유두와 관련한 국부적 특성인 시신경 유두(Optic disc)의 형상이란 안저영상으로부터 파악되는 시신경 유두의 틸트(기울임) 정도(Optic disc tilt), 시신경 유두의 위치(영상 내 좌표), 안와(fovea)로부터의 이격 거리, 시신경 유두 영역의 반지름, 직경, 테두리 길이 등의 크기 정보, 시신경 유두의 사상판 두께(Lamina Cribrosa Thickness), 전사상판 두께(Prelaminar Tissue Thickness), 사상판 앞길이(Anterior Laminar Displacement) 등을 폭넓게 포함하는 개념일 수 있다.
또한, 본원의 일 실시예에 따르면, 생체 계측치는 안저 나이(fundus age)를 포함할 수 있다. 달리 말해, 생체 계측 예측 장치(100)는 안저영상으로부터 피촬영자의 안저 나이를 생체 계측치로 하여 이를 예측하는 학습 모델을 생성할 수 있다.
본원의 실시예에 관한 설명에서, 안저 나이(fundus age)는 안저영상을 통해 예측되는 피촬영자의 연령을 의미하며, 이는 안저영상으로부터 파악되는 피촬영자의 안구 건강 상태, 안저 혈관 상태 등을 종합하여 반영한 수치로 활용될 수 있으므로, 후술하는 바와 같이 피촬영자의 실제 나이(연령)와 예측된 안저 나이(fundus age)와의 상호 비교를 통해 피촬영자의 건강 상태를 평가하거나 피촬영자의 질환 유무를 진단(판단)하는데 활용될 수 있다.
구체적으로 예시하면, 생체 계측치 예측 장치(100)가 수신된 예측 대상 안저영상(2)을 기초로 예측한 피촬영자의 안저 나이(fundus age)가 해당 피촬영자의 실제 나이(연령)보다 낮게 도출된 경우, 해당 피촬영자의 안구 건강 상태 또는 전신 혈관 상태가 양호한 것으로 판단되나, 이와 달리 예측된 안저 나이(fundus age)가 해당 피촬영자의 실제 나이(연령)보다 높게 도출된 경우, 해당 피촬영자의 안구 건강 상태 또는 전신 혈관 상태가 비정상적인 것으로 추론될 수 있다.
이와 관련하여, 생체 계측치 예측 장치(100)가 안저 나이(fundus age)를 예측하려는 생체 계측치로 하는 경우, 구체적으로 생체 계측치 예측 장치(100)가 생성하는 학습 모델은 복수의 학습 안저영상(2)에 반영된 국부적 특성인 적어도 하나의 혈관의 상태를 기초로 안저 나이(fundus age)를 예측하도록 구축될 수 있다. 여기서, 적어도 하나의 혈관의 상태란 안저영상에 표출된 혈관 각각의 분포 정보, 굵기 정보, 색상 정보, 안저 배경의 색상 및 명암 정보 등을 포함할 수 있다.
본원의 일 실시예에 따르면, 생체 계측치 예측 장치(100)는 생체 계측치 예측을 위한 학습 모델로써, 심층신경망(Deep Neural Network, DNN) 기반 학습 모델을 구축할 수 있다. 생체 계측치 예측 장치(100)는 이미지 처리를 위한 심층신경망 모델인 LeNet, AlexNet, GoogleNet, VGGNet, ResNet 등을 기반으로 한 학습 모델을 구축할 수 있으나, 이에만 한정되는 것은 아니다. 예시적으로, 본원에서 개시하는 학습 모델의 유형은 ResNet-18일 수 있다.
도 4는 본원의 일 실시예에 따른 심층신경망 기반 학습 모델을 설명하기 위한 개념도이다.
도 4를 참조하면, 본원의 일 실시예에 따른 심층신경망 기반 학습 모델은 다중 레이어로 된 네트워크를 의미하며, 입력 레이어(input layer), 컨볼루션 레이어(convolution layers), 완전연결 레이어(fully connected layers) 및 출력 레이어(output layer)로 구분될 수 있다.
이 때, 입력 레이어에서의 노드의 수는 입력되는 안저영상의 차원이고, 출력 레이어에서의 노드의 수는 예측하고자 하는 벡터의 차원일 수 있다. 즉, 본원에서 개시하는 생체 계측치 예측 장치(100)가 구축하는 학습 모델에 대한 입력 노드의 수는 안저영상의 픽셀 수에 해당하고, 출력 노드의 수는 예측값이 안축장 길이, 안저 나이 등의 스칼라 값이므로 한 개일 수 있다.
컨볼루션 레이어는 입력된 영상의 국부적 특성(국지적 영역의 특성)과 특정 패턴과의 상관관계(correlation)를 계산하는 층으로, 컨볼루션 레이어는 레이어의 수와 각 컨볼루션 레이어 마다의 필터 수로 특징 지어질 수 있다. 이렇듯 여러 층으로 이루어진 컨볼루션 레이어는 레이어의 수에 따라 추상화의 수준이 결정되고, 레이어의 수가 많아질수록(달리 말해, 층이 깊어질수록) 입력된 영상으로부터 세부적인 특징을 추출할 수 있게 된다. 본원의 구현예에 따라 국부적 특성을 추출하는 효율성과 정확성을 제고하기 위해 복수의 컨볼루션 레이어를 병렬로 계산하는 모듈 또는 파라미터의 수를 임의로 바꿀 수 있는 모듈 등이 추가로 구비될 수 있다. 다른 예로, 각 컨볼루션 레이어들 사이에서 필요한 값만 추출하는 Pooling, 비선형필터 등을 적용하여 이전 단계에서의 노이즈나 불필요한 정보의 영향을 줄일 수 있다.
이렇게 컨볼루션 레이어로부터 추출된 특징 벡터들을 기반으로 완전연결 레이어에서는 다수의 완전연결 레이어를 차례로 연결하여 최종적으로 예측값(결과값 또는 결과벡터)을 출력하는 노드에 연결하여 결과적으로 분류를 수행하거나 소정의 생체 계측치에 대한 예측값을 도출할 수 있다.
또한, 생체 계측치 예측 장치(100)는 예측 대상 안저영상(2)으로부터 도출된 생체 계측치(예를 들면, 안축장 길이, 안저 나이 등)의 예측에 미친 영향도가 소정 수준 이상인 근거 영역을 예측 대상 안저영상(2) 내에서 도출할 수 있다.
또한, 생체 계측치 예측 장치(100)는 도출된 근거 영역이 강조되도록 예측 대상 안저영상(2)을 출력(표시)할 수 있다. 예를 들어, 생체 계측치 예측 장치(100)는 도출된 근거 영역의 색상, 명암, 선명도 등이 예측 대상 안저영상(2)의 다른 영역과 대비되도록 하여 출력 결과를 육안으로 확인하는 대상자(의료진 등)이 근거 영역을 직관적으로 인식할 수 있도록 할 수 있다.
또한, 본원의 일 실시예에 따르면, 강조 표시되는 근거 영역은 각각의 위치(픽셀)에 대하여 계산된 영향도(기여도) 값이 클수록 근거 영역이 아닌 영역과 대비되는 색상, 명암, 선명도 등의 요소가 크게 변화되도록 출력(표시)될 수 있다.
도 5는 생체 계측치의 예측에 미친 영향도가 소정 수준 이상인 근거 영역이 강조되도록 출력된 예측 대상 안저영상을 예시적으로 나타낸 도면이다.
본원의 일 실시예에 따르면, 생체 계측치 예측 장치(100)는 학습 모델의 입력 레이어 또는 복수의 컨볼루션 레이어 중 마지막 레이어에서 레이어 내의 각각의 노드에 대한 미분 연산을 적용하여 노드마다의 생체 계측치 예측값에 대한 영향도(기여도)를 산출할 수 있다.
특히, 도 5의 (a)는 입력된 예측 대상 안저영상(2)이고, 도 5의 (b)는 학습 모델의 입력 레이어에 대한 미분 적용을 통해 도출된 근거 영역을 강조되게 표시한 예측 대상 안저영상(2)이고, 도 5의 (c)는 학습 모델의 복수의 컨볼루션 레이어 중 마지막 컨볼루션 레이어에 대한 미분 적용을 통해 도출된 근거 영역을 강조되게 표시한 예측 대상 안저영상(2)을 예시적으로 나타낸 것이다. 또한, 본원의 구현예에 따라 예측 대상 안저영상(2)에 근거 영역이 강조되도록 표시한 도 5의 (c)는 Saliency map, CAM(Class activation map), Grad-CAM(gradient-class activation map) 등으로 지칭될 수 있다.
이하에서는, 식 1내지 식 4를 참조하여, 생체 계측치 예측 장치(100)가 예측 대상 안저영상(2)으로부터 근거 영역을 도출하는 실시예에 관하여 상세히 설명하도록 한다.
도 4를 통해 상술한 심층신경망 기반의 학습 모델은 역전파 알고리즘을 이용하여 각 레이어의 파라미터들을 학습시키도록 동작하며, 최종 학습된 학습 모델은 입력 레이어 또는 복수의 컨볼루션 레이어 중 마지막 레이어의 미분값에 의해 학습 모델이 생체 계측치에 대한 예측 결과로 최종 도출한 출력값(예를 들면, 안축장 길이 예측값, 안저 나이 예측값 등)의 근거를 시각적으로 획득할 수 있다.
구체적으로, 학습 모델이 n개의 완전연결 레이어와 m개의 컨볼루션 레이어로 이루어진 심층신경망인 경우, 학습 모델은 하기 식 1과 같이 특정 도메인에서의 함수로 정의될 수 있다.
[식 1]
Figure 112020057124825-pat00001
또한, 특징 추출이 끝난 마지막 컨볼루션 레이어의 각 노드(픽셀)에 미세한 변화를 추어 출력 레이어의 출력값의 변화를 관찰하면, 어떤 노드(픽셀)들이 출력값 변화에 예민한지 알 수 있으며, 이를 통해 최종 예측값의 근거가 되는 부분인 근거 영역을 구할 수 있으며, 이를 식으로 표현하면 하기 식 2 내지 식 4와 같다.
[식 2]
Figure 112020057124825-pat00002
또한, 출력값 Y에 대한 X'의 K개의 필터 중 특정 필터의 특정 노드 X'i, j의 미분값을 구할 수 있으며, 이를 가중치로 하여 해당하는 노드의 픽셀 값에 곱하면, 마지막 컨볼루션 레이어에서 어떤 노드가 출력값에 대하여 얼만큼의 영향도(기여도)를 갖는지 확인할 수 있다. 또한, 각 필터의 같은 위치에 위치하는 픽셀값과 미분값을 곱한 후 모두 더하면 각각의 노드(픽셀)마다의 기여도를 하기 식 3과 같이 수치적으로 산출할 수 있다.
[식 3]
Figure 112020057124825-pat00003
또한, 입력 레이어를 활용한 근거 영역의 도출과 관련하여서는, 학습 모델의 층이 깊지 않아 컨볼루션 레이어의 마지막 층을 활용하는 경우, 미분 연산량 및 곱셈 연산량이 적은 경우 입력 레이어의 각각의 노드에 대한 미분값을 가중치로 하여 기여도를 산출하면, 하기 식 4와 같이 각각의 위치의 더욱 정확한 기여도를 산출할 수 있다.
[식 4]
Figure 112020057124825-pat00004
이렇듯, 본원에서 개시하는 생체 계측치 예측 장치(100)는 생체 계측치 예측에 중요한 영향을 미친 근거 영역을 도출하고 이를 강조되게 표시하여 제공함으로써, 예측된 생체 계측치(안축장 길이, 안저 나이 등)에 대한 신뢰성을 확보할 수 있으며, 이를 육안으로 확인하는 의료진의 정확한 판단을 보조할 수 있는 효과가 있다.
도 6은 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 장치의 개략적인 구성도이다.
도 6을 참조하면, 생체 계측치 예측 장치(100)는, 학습부(110), 추론부(120) 및 시각화부(130)를 포함할 수 있다.
학습부(110)는, 복수의 학습 안저영상(1)을 준비할 수 있다. 또한, 학습부(110)는 복수의 학습 안저영상(1) 각각의 피촬영자의 연령 정보를 획득할 수 있다.
또한, 학습부(110)는, 준비된 복수의 학습 안저영상(1)에 반영된 적어도 하나의 국부적 특성을 기초로 안저영상의 피촬영자에 대한 소정의 생체 계측치를 예측하는 학습 모델을 생성할 수 있다. 또한, 학습부(110)는 적어도 하나의 국부적 특성 및 복수의 학습 안저영상(1) 각각의 피촬영자의 연령 정보를 기초로 생체 계측치를 예측하는 학습 모델을 생성할 수 있다. 달리 말해, 학습부(110)는 필요에 따라 복수의 학습 안저영상(1)의 피촬영자의 연령 정보를 더 고려하여 학습 모델 구축을 위한 학습을 수행할 수 있다.
여기서, 생체 계측치는 안축장 길이 및 안저 나이를 포함할 수 있다. 또한, 적어도 하나의 국부적 특성은 맥락막 혈관, 시신경 유두의 형상 및 안저영상에 포함된 적어도 하나의 혈관의 상태를 포함할 수 있다.
추론부(120)는, 예측 대상 안저영상(2)을 수신할 수 있다. 또한, 추론부(120)는 예측 대상 안저영상(2)의 피촬영자의 연령 정보를 획득할 수 있다.
또한, 추론부(120)는 학습부(110)에 의해 생성된 학습 모델을 이용하여 예측 대상 안저영상(2)의 피촬영자의 생체 계측치를 도출할 수 있다. 또한, 추론부(120)는 예측 대상 안저영상(2)의 피촬영자의 연령 정보를 고려하여 안축장 길이를 도출할 수 있다.
시각화부(130)는, 예측 대상 안저영상(2)에서 생체 계측치의 예측에 미친 영향도(기여도)가 소정 수준 이상인 근거 영역을 도출할 수 있다. 또한, 시각화부(130)는 도출된 근거 영역이 강조되도록 예측 대상 안저영상을 출력할 수 있다.
본원의 일 실시예에 따르면, 시각화부(130)는 도출된 근거 영역을 나타내는 화상(예를 들면, 도 5의 (c)를 통해 이해될 수 있는 Saliency map, CAM(Class activation map), Grad-CAM(gradient-class activation map 등)을 원본 예측 대상 안저영상(2)이 구분되도록 함께 표시(예를 들면, 수평 또는 수직으로 나란하게 배치하여 표시)하거나 원본 예측 대상 안저영상(2)에 근거 영역을 나타내는 화상을 오버래이하여 표시할 수 있으나, 이에만 한정되는 것은 아니다. 다른 예로, 시각화부(130)는 원본 예측 대상 안저영상(2)을 그대로 표시하는 모드와 근거 영역이 강조 표시되도록 출력되는 모드를 가변적으로 제공하되, 생체 계측치 예측 장치(100)에 인가된 사용자 입력에 따라 각각의 모드를 전환하도록 동작할 수 있다.
이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.
도 7은 본원의 일 실시예에 따른 안저영상을 기초로 생체 계측치를 예측하는 방법에 대한 동작 흐름도이다.
도 7에 도시된 안저영상을 기초로 생체 계측치를 예측하는 방법은 앞서 설명된 생체 계측치 예측 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 생체 계측치 예측 장치(100)에 대하여 설명된 내용은 안저영상을 기초로 생체 계측치를 예측하는 방법에 대한 설명에도 동일하게 적용될 수 있다.
도 7을 참조하면, 단계 S11에서 학습부(110)는, 복수의 학습 안저영상(1)을 준비할 수 있다.
또한, 단계 S11에서 학습부(110)는, 복수의 학습 안저영상(1) 각각의 피촬영자의 연령 정보를 획득할 수 있다.
다음으로, 단계 S12에서 학습부(110)는, 준비된 복수의 학습 안저영상(1)에 반영된 적어도 하나의 국부적 특성을 기초로 안저영상의 피촬영자에 대한 소정의 생체 계측치를 예측하는 학습 모델을 생성할 수 있다.
또한, 단계 S12에서 학습부(110)는, 적어도 하나의 국부적 특성 및 복수의 학습 안저영상(1) 각각의 피촬영자의 연령 정보를 기초로 생체 계측치를 예측하는 학습 모델을 생성할 수 있다.
다음으로, 단계 S13에서 추론부(120)는, 예측 대상 안저영상(2)을 수신할 수 있다.
또한, 단계 S13에서 추론부(120)는, 예측 대상 안저영상(2)의 피촬영자의 연령 정보를 획득할 수 있다.
다음으로, 단계 S14에서 추론부(120)는, 단계 S12에서 생성된 학습 모델을 이용하여 예측 대상 안저영상(2)의 피촬영자의 생체 계측치를 도출할 수 있다.
또한, 단계 S14에서 추론부(120)는, 단계 S11에서 획득된 예측 대상 안저영상(2)의 피촬영자의 연령 정보를 고려하여 생체 계측치인 안축장 길이를 도출할 수 있다.
다음으로, 단계 S15에서 시각화부(130)는, 예측 대상 안저영상(2)에서 생체 계측치의 예측에 미친 영향도(기여도)가 소정 수준 이상인 근거 영역을 도출할 수 있다.
다음으로, 단계 S16에서 시각화부(130)는, 단계 S15에서 도출된 근거 영역이 강조되도록 예측 대상 안저영상(2)을 출력할 수 있다.
상술한 설명에서, 단계 S11 내지 S16은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 안저영상을 기초로 생체 계측치를 예측하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 안저영상을 기초로 생체 계측치를 예측하는 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
10: 생체 계측 시스템
100: 안저영상을 기초로 생체 계측치를 예측하는 장치
110: 학습부
120: 추론부
130: 시각화부
20: 네트워크
30: 안저영상 촬영 장치
200: 안저영상 DB
1: 학습 안저영상
2: 예측 대상 안저영상

Claims (14)

  1. 안저영상을 기초로 생체 계측치를 예측하는 방법에 있어서,
    복수의 학습 안저영상을 준비하는 단계;
    상기 복수의 학습 안저영상에 반영된 적어도 하나의 국부적 특성을 기초로 안저영상의 피촬영자에 대한 소정의 생체 계측치를 예측하는 학습 모델을 생성하는 단계;
    예측 대상 안저영상을 수신하는 단계; 및
    상기 생성된 학습 모델을 이용하여 상기 예측 대상 안저영상의 피촬영자의 상기 생체 계측치를 도출하는 단계,
    를 포함하되,
    상기 학습 안저영상을 준비하는 단계는,
    상기 복수의 학습 안저영상 각각의 피촬영자의 연령 정보 및 안축장 길이 정보를 획득하는 단계;
    상기 복수의 학습 안저영상을 상기 연령 정보 또는 상기 안축장 길이 정보를 기준으로 정렬하는 단계; 및
    상기 예측 대상 안저영상의 사전 예측수치와 소정 수준 이상 유사한 범위에 속하는 학습 안저영상 그룹을 상기 정렬된 복수의 학습 안저영상 중에서 선택하는 단계,
    를 포함하고,
    상기 생체 계측치는 안축장 길이를 포함하고, 상기 적어도 하나의 국부적 특성은 맥락막 혈관의 시인성을 포함하고,
    상기 학습 모델은
    상기 예측 대상 안저영상에 포함된 상기 맥락막 혈관의 두께가 두껍거나 상기 맥락막 혈관을 포함하는 영역이 다른 안저영상 대비 상대적으로 현저하게 식별되어 상기 맥락막 혈관의 시인성이 높은 것으로 판단될수록 상기 안축장 길이에 대한 예측값을 큰 값으로 도출하도록 학습되고,
    상기 예측 대상 안저영상에서 상기 생체 계측치의 예측에 미친 영향도가 소정 수준 이상인 근거 영역을 도출하는 단계; 및
    상기 근거 영역이 강조되도록 상기 예측 대상 안저영상을 출력하는 단계,
    를 더 포함하되,
    상기 근거 영역을 도출하는 단계는,
    상기 학습 모델의 입력 레이어 또는 복수의 컨볼루션 레이어 중 마지막 레이어에서 해당 레이어 내의 각각의 노드에 대한 미분 연산을 적용하여 상기 노드마다의 상기 예측값에 대한 상기 영향도를 산출하는 것인, 생체 계측치 예측 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 국부적 특성은 맥락막 혈관 및 시신경 유두의 형상을 포함하는 것인, 생체 계측치 예측 방법.
  3. 삭제
  4. 삭제
  5. 제2항에 있어서,
    상기 학습 모델을 생성하는 단계는,
    상기 적어도 하나의 국부적 특성 및 상기 복수의 학습 안저영상 각각의 피촬영자의 연령 정보를 기초로 상기 생체 계측치를 예측하는 학습 모델을 생성하는 것인, 생체 계측치 예측 방법.
  6. 제5항에 있어서,
    상기 예측 대상 안저영상을 수신하는 단계는,
    상기 예측 대상 안저영상의 피촬영자의 연령 정보를 획득하는 단계를 포함하고,
    상기 생체 계측치를 도출하는 단계는,
    상기 예측 대상 안저영상의 피촬영자의 연령 정보를 고려하여 상기 안축장 길이를 도출하는 것인, 생체 계측치 예측 방법.
  7. 제1항에 있어서,
    상기 생체 계측치는 안저 나이를 포함하고,
    상기 적어도 하나의 국부적 특성은 안저영상에 포함된 적어도 하나의 혈관의 상태를 포함하는 것인, 생체 계측치 예측 방법.
  8. 안저영상을 기초로 생체 계측치를 예측하는 장치에 있어서,
    복수의 학습 안저영상을 준비하고, 상기 복수의 학습 안저영상에 반영된 적어도 하나의 국부적 특성을 기초로 안저영상의 피촬영자에 대한 소정의 생체 계측치를 예측하는 학습 모델을 생성하는 학습부; 및
    예측 대상 안저영상을 수신하고, 상기 생성된 학습 모델을 이용하여 상기 예측 대상 안저영상의 피촬영자의 상기 생체 계측치를 도출하는 추론부,
    를 포함하되,
    상기 학습부는,
    상기 복수의 학습 안저영상 각각의 피촬영자의 연령 정보 및 안축장 길이 정보를 획득하고,
    상기 복수의 학습 안저영상을 상기 연령 정보 또는 상기 안축장 길이 정보를 기준으로 정렬하고,
    상기 예측 대상 안저영상의 사전 예측수치와 소정 수준 이상 유사한 범위에 속하는 학습 안저 영상 그룹을 상기 정렬된 복수의 학습 안저영상 중에서 선택하고,
    상기 생체 계측치는 안축장 길이를 포함하고, 상기 적어도 하나의 국부적 특성은 맥락막 혈관의 시인성을 포함하고,
    상기 학습 모델은
    상기 예측 대상 안저영상에 포함된 상기 맥락막 혈관의 두께가 두껍거나 상기 맥락막 혈관을 포함하는 영역이 다른 안저영상 대비 상대적으로 현저하게 식별되어 상기 맥락막 혈관의 시인성이 높은 것으로 판단될수록 상기 안축장 길이에 대한 예측값을 큰 값으로 도출하도록 학습되고,
    상기 예측 대상 안저영상에서 상기 생체 계측치의 예측에 미친 영향도가 소정 수준 이상인 근거 영역을 도출하고, 상기 근거 영역이 강조되도록 상기 예측 대상 안저영상을 출력하는 시각화부,
    를 더 포함하되,
    상기 시각화부는,
    상기 학습 모델의 입력 레이어 또는 복수의 컨볼루션 레이어 중 마지막 레이어에서 해당 레이어 내의 각각의 노드에 대한 미분 연산을 적용하여 상기 노드마다의 상기 예측값에 대한 상기 영향도를 산출하는 것인, 생체 계측치 예측 장치.
  9. 제8항에 있어서,
    상기 적어도 하나의 국부적 특성은 맥락막 혈관 및 시신경 유두의 형상을 포함하는 것인, 생체 계측치 예측 장치.
  10. 삭제
  11. 제9항에 있어서,
    상기 학습부는,
    상기 적어도 하나의 국부적 특성 및 상기 복수의 학습 안저영상 각각의 피촬영자의 연령 정보를 기초로 상기 생체 계측치를 예측하는 학습 모델을 생성하는 것인, 생체 계측치 예측 장치.
  12. 제11항에 있어서,
    상기 추론부는,
    상기 예측 대상 안저영상의 피촬영자의 연령 정보를 획득하고, 상기 예측 대상 안저영상의 피촬영자의 연령 정보를 고려하여 상기 안축장 길이를 도출하는 것인, 생체 계측치 예측 장치.
  13. 제8항에 있어서,
    상기 생체 계측치는 안저 나이를 포함하고,
    상기 적어도 하나의 국부적 특성은 안저영상에 포함된 적어도 하나의 혈관의 상태를 포함하는 것인, 생체 계측치 예측 장치.
  14. 제1항, 제2항, 제5항 내지 제7항 중 어느 한 항에 따른 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록한 컴퓨터에서 판독 가능한 기록매체.
KR1020200066992A 2020-06-03 2020-06-03 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법 KR102482680B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200066992A KR102482680B1 (ko) 2020-06-03 2020-06-03 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200066992A KR102482680B1 (ko) 2020-06-03 2020-06-03 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210150065A KR20210150065A (ko) 2021-12-10
KR102482680B1 true KR102482680B1 (ko) 2022-12-28

Family

ID=78865525

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200066992A KR102482680B1 (ko) 2020-06-03 2020-06-03 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102482680B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023017875A1 (ko) * 2021-08-12 2023-02-16 고려대학교 산학협력단 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170112372A1 (en) * 2015-10-23 2017-04-27 International Business Machines Corporation Automatically detecting eye type in retinal fundus images
JP2019005319A (ja) * 2017-06-27 2019-01-17 株式会社トプコン 眼科情報処理システム、眼科情報処理方法、プログラム、及び記録媒体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102029768B1 (ko) * 2018-01-23 2019-10-08 홍석우 안축장 산출을 위한 시신경 유두의 형태학적 변화 추출 시스템 및 방법
KR102270659B1 (ko) * 2018-07-06 2021-06-29 주식회사 메디웨일 안저 이미지 관리 장치 및 안저 이미지의 적합성 판단 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170112372A1 (en) * 2015-10-23 2017-04-27 International Business Machines Corporation Automatically detecting eye type in retinal fundus images
JP2019005319A (ja) * 2017-06-27 2019-01-17 株式会社トプコン 眼科情報処理システム、眼科情報処理方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
KR20210150065A (ko) 2021-12-10

Similar Documents

Publication Publication Date Title
KR101977645B1 (ko) 안구영상 분석방법
US20210104313A1 (en) Medical image processing apparatus, medical image processing method and computer-readable medium
CN110517235B (zh) 一种基于GCS-Net进行OCT图像脉络膜自动分割方法
US20220175325A1 (en) Information processing apparatus, information processing method, information processing system, and program
US20210390696A1 (en) Medical image processing apparatus, medical image processing method and computer-readable storage medium
WO2020200087A1 (en) Image-based detection of ophthalmic and systemic diseases
CN112513999A (zh) 眼科疾病和病症的基于深度学习的诊断和转诊
US11922601B2 (en) Medical image processing apparatus, medical image processing method and computer-readable medium
JP2023145613A (ja) 視力を予測するための眼の画像を処理するための深層学習の使用
KR102354980B1 (ko) 전안부 질환 진단 시스템 및 이를 이용한 진단 방법
KR102216051B1 (ko) 안과 질환 모니터링 장치 및 방법
CN113557714A (zh) 医学图像处理装置、医学图像处理方法和程序
Kihara et al. Policy-driven, multimodal deep learning for predicting visual fields from the optic disc and OCT imaging
CN111696100A (zh) 基于眼底影像确定吸烟程度的方法及设备
KR102482680B1 (ko) 안저영상을 기초로 생체 계측치를 예측하는 장치 및 방법
US20230047199A1 (en) Apparatus and method for predicting biometrics based on fundus image
BAKIR et al. Using transfer learning technique as a feature extraction phase for diagnosis of cataract disease in the eye
Eladawi et al. Early signs detection of diabetic retinopathy using optical coherence tomography angiography scans based on 3D multi-path convolutional neural network
KR102330519B1 (ko) 안저 사진을 이용한 뇌동맥류 예측 장치 및 뇌동맥류 예측 결과 제공 방법
Trivino et al. Deep learning on retina images as screening tool for diagnostic decision support
KR102599464B1 (ko) 안저 사진과 안축장 길이를 이용하여 안저 나이를 예측하는 장치 및 방법
Eladawi et al. An octa based diagnosis system based on a comprehensive local features analysis for early diabetic retinopathy detection
Eladawi et al. Diabetic retinopathy grading using 3d multi-path convolutional neural network based on fusing features from octa scans, demographic, and clinical biomarkers
Sabina et al. Convolutional Neural Network Analysis of Fundus for Glaucoma Diagnosis
Kaur et al. Diabetic retinopathy detection system (DRDS); A novel GUI based approach for diabetic retinopathy detection

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant