KR20210096737A - 안저 영상판독 지원방법, 안저 영상판독 지원장치 및 이를 포함하는 안저 영상판독 지원 시스템 - Google Patents

안저 영상판독 지원방법, 안저 영상판독 지원장치 및 이를 포함하는 안저 영상판독 지원 시스템 Download PDF

Info

Publication number
KR20210096737A
KR20210096737A KR1020200010154A KR20200010154A KR20210096737A KR 20210096737 A KR20210096737 A KR 20210096737A KR 1020200010154 A KR1020200010154 A KR 1020200010154A KR 20200010154 A KR20200010154 A KR 20200010154A KR 20210096737 A KR20210096737 A KR 20210096737A
Authority
KR
South Korea
Prior art keywords
fundus image
information
attribute information
fundus
image reading
Prior art date
Application number
KR1020200010154A
Other languages
English (en)
Other versions
KR102306279B1 (ko
Inventor
박상민
장주영
이충희
신일형
Original Assignee
자이메드 주식회사
인더스마트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 자이메드 주식회사, 인더스마트 주식회사 filed Critical 자이메드 주식회사
Priority to KR1020200010154A priority Critical patent/KR102306279B1/ko
Priority to US17/145,389 priority patent/US11730364B2/en
Priority to CN202110056761.9A priority patent/CN113191999A/zh
Publication of KR20210096737A publication Critical patent/KR20210096737A/ko
Application granted granted Critical
Publication of KR102306279B1 publication Critical patent/KR102306279B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A61B3/005—Constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A61B3/0058—Operational features thereof characterised by display arrangements for multiple images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)

Abstract

기계 학습모델에 기초하여 대상체의 제1안저 영상으로부터 제 1속성정보를 추출하고, 상기 제 1안저 영상에 대해 적대적 요소(Adversarial factor)를 맵핑하여 상기 제 1속성정보를 변화시켜 제 2속성정보를 갖는 제 2 안저영상을 생성하고, 제 1속성정보를 갖는 제 1안저영상과 상기 제2속성정보를 갖는 제2안저영상을 외부 엔티티에 제공방법을 포함하는 안저영상 판독 지원 방법 및 이를 이용한 장치를 제공한다.

Description

안저 영상판독 지원방법, 안저 영상판독 지원장치 및 이를 포함하는 안저 영상판독 지원 시스템 {METHOD FOR FACILITATING DIAGNOSIS OF FUNDUS IMAGE, APPARATUS THEREFOR AND SYSTEM INCLUDING THE SAME}
본 발명은 대상체의 안저 영상 판독을 지원하는 방법 및 장치, 이를 포함하는 안저영상 판독 지원 시스템에 관한 것이다.
최근 인공지능 학습모델이 발달함에 따라 의료영상을 판독함에 많은 기계 학습모델을 이용하고 있다. 예를들어, 합성곱 신경망(Convolutional Neural Networks, 심층 신경망(Deep neural networks), 순환 신경망(Reccurent Neural Network), 심층 신뢰 신경망(Deep Belief Networks)과 같은 학습모델은 의료영상 이미지를 detection, classification, feature learning을 하는데 적용되고 있다.
특히, 의료 분야 중 안저 분야 역시 이와 같은 학습모델을 이용하여 현재 피검사자의 질환을 예측하기 위하여 영상 판독(finding/diagnosis)을 지원하는데 사용되고 있다.
종래 선행기술로써, 대한민국 특허 10-1848321(이하,'선행특허'라 함)의 경우, 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 컴퓨팅 장치에 대해 기재되어 있다. 좀더 구체적으론, 피검체의 안저영상을 획득하여 기계학습모델에 기반하여 속성정보를 추출하여 진단자에게 제공하고, 이때, 속성정보는 안저 영상에 포함된 여러가지 정보를 포함한다.
그러나 위와 같이 학습모델에 기초하여 영상의 속성 정보를 추출한다 하더라도, 학습모델에 입력되는 학습정보가 차이가 날 경우, 의료진과 같은 엔티티(entity)로 하여금 잘못된 정보를 주게 된다. 예를들어, 학습정보의 차이는 학습모델에 입력되는 학습 데이터의 부족, 영상 촬영 환경(예, 건강검진센터, 개인 안과병원, 안과 전문 종합병원)의 차이, 집단(예, 오로지 정상인, 오로지 비정상인, 정상인과 비정상인 혼합)의 차이, 영상촬영 기기의 차이 등일 수 있다. 이러한 여러 가지 요인은 피검사자의 질환을 잘못 예측하게 한다.
따라서 학습정보가 차이가 나더라도, 안저 영상에 대한 보다 더 정확한 질환 예측 및 질환 예측을 뒷받침할 수 있는 설명 등에 관한 방법 및 기기가 필요한 실정이다.
대한민국 특허 10-1848321호
본 발명의 실시예는 기계 학습모델을 이용하여 얻어진 안저 영상에 대해 보다 더 신뢰성이 있는 안저 영상 판독을 할 수 있도록 기계 학습모델을 이용하여 지원할 수 있는 안저 영상판독 지원방법, 안저 영상판독 지원장치 및 이를 포함하는 안저 영상판독 지원 시스템을 제공하고자 한다.
본 발명의 실시예는 안저 영상에서 나타난 안구의 해부학적 구조에 기초하여 안구의 주요 기관들의 위치정보를 제공할 수 있는 안저 영상판독 지원방법, 안저 영상판독 지원장치 및 이를 포함하는 안저 영상판독 지원 시스템을 제공하고자 한다.
본 출원의 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않는 또 다른 과제는 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일측면에 따르면, 대상체에 대한 안저영상 판독 지원 방법은 기계 학습모델에 기초하여 상기 대상체의 제1안저 영상으로부터 제 1속성정보를 추출하는 단계, 상기 제 1안저 영상에 대해 적대적 요소(Adversarial factor)를 맵핑하여 상기 제 1속성정보를 변화시켜 제 2속성정보를 갖는 제 2 안저영상을 생성하는 단계, 및 상기 제 1속성정보를 갖는 제 1안저영상과 상기 제2속성정보를 갖는 제2안저영상을 외부 엔티티에 제공하는 단계를 포함한다.
본 발명의 다른 측면에 따르면, 대상체에 대한 안저영상 판독 지원장치는 대상체의 제 1 안저영상이 저장된 메모리부 및 기계 학습모델에 기초하여 상기 제1안저영상으로부터 제 1속성정보를 추출하고, 상기 제 1안저 영상에 대해 적대적 요소(Adversarial factor)를 맵핑하여 상기 제 1속성정보를 변화시켜 제 2속성정보를 갖는 제 2 안저영상을 생성하는 프로세서를 포함한다.
제1안저영상의 제1속성정보는, 안저 영상에 포함된 C/D 비(Cup-to-Disk ratio)의 정보, Disc Rim Thinning에 대한 두께 변화 정보, 망막신경섬유층 결손(Retinal Nerve Fiber Layer Defect)에 관한 명암 정보, 망막 출혈(Retinal Hemorrhage) 에 대한 위치 정보 중 적어도 어느 하나일 수 있다.
적대적 요소는, 상기 제 1안저영상을 표현하는 R, G, B 픽셀의 계조 레벨(Gradation level)를 조절하는 값, R, G, B 픽셀의 색(Colar)의 변화를 조절할 수 있는 값, 상기 제 1 안저영상에서 국부적으로 명암비(Contrast Ratio)를 조절하는 값 중 적어도 어느 하나일 수 있다.
본 발명의 실시예에 따르면, 기계 학습모델에 기초한 안저 영상을 판독하는데 있어서, 설명 가능한 안저영상 판독을 지원 할 수 있는 효과가 있다.
또한, 기계 학습모델을 위한 학습정보가 차이가 나더라도, 비교 가능한 안저 영상을 이용하여 보다 더 정확한 판독으로 신뢰성 있는 안저영상 판독을 가능하게 할 수 있는 효과가 있다.
본 출원의 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않는 또 다른 효과는 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 안저 영상판독 지원방법을 설명하기 위한 도이다.
도 2는 본 발명의 일 실시예에 따라 대상체에 대한 안저영상의 판독을 지원하는 방법을 수행하는 안저영상 판독 지원장치의 예시적 구성을 개략적으로 나타낸 도이다.
도 3은 본 발명의 일 실시예에 따라 대상체에 대한 안저영상의 판독을 지원하는 방법을 수행하는 안저영상 판독 지원 시스템을 개략적으로 나타낸 도이다.
도 4는 본 발명에 따른 안저영상 판독 지원 장치의 일 실시예에서, 안저 영상에 포함된 속성정보인 C/D 비(Cup-to-Disk ratio)의 정보를 비교 판독할 수 있도록 지원하는 방법을 설명하기 위한 도이다.
도 5는 본 발명에 따른 안저영상 판독 지원장치의 일 실시예에서, 속성정보인 C/D 비(Cup-to-Disk ratio)의 정보를 갖는 안저영상에 대해 적대적 노이즈(Adverserial Noise)를 맵핑하여 시각화 한 영상을 나타낸 도이다.
도6은 본 발명에 따른 안저영상 판독 지원 방법의 일 실시예에서, 안저 영상에 포함된 속성정보인 Disc Rim Thinning에 대한 정보를 비교 판독할 수 있도록 지원하는 방법을 설명하기 위한 도이다.
7은 본 발명에 따른 안저영상 판독 지원 방법의 일 실시예에서, 안저 영상에 포함된 속성정보인 망막신경섬유층 결손(RNFL Defect, Retinal Nerve Fiber Layer Defect)에 대한 명암 정보를 비교 판독할 수 있도록 지원하는 방법을 설명하기 위한 도이다.
도8은 본 발명에 따른 안저영상 판독 지원 방법의 일 실시예에서, 안저 영상에 포함된 속성정보인 망막 출혈(Retinal Hemorrhage)에 대한 위치 정보를 비교 판독할 수 있도록 지원하는 방법을 설명하기 위한 도이다.
도 9는 본 발명의 일 실시예에 따른 안저영상 판독 지원 방법을 예시적으로 나타낸 흐름도이다.
이하 본 발명의 실시예에 대하여 첨부한 도면을 참조하여 상세하게 설명하기로 한다. 다만, 첨부된 도면은 본 발명의 내용을 보다 쉽게 개시하기 위하여 설명되는 것일 뿐, 본 발명의 범위가 첨부된 도면의 범위로 한정되는 것이 아님은 이 기술분야의 통상의 지식을 가진 자라면 용이하게 알 수 있을 것이다.
또한, 본 발명의 상세한 설명 및 청구항들에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 발명의 상세한 설명 및 청구항들에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 상세한 설명 및 청구항들에서, "학습", 혹은 "러닝"은 절차에 따른 컴퓨팅(computing)을 통하여 기계학습(machine learning)을 수행함을 일컫는 용어인바, 인간의 교육활동과 같은 정신적 작용을 지칭하도록 의도된 것이 아닌 것으로 이해되어야 한다.
더욱이 본 발명은 본 명세서에 표시된 실시예들의 모든 가능한 조합들을 망라한다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나 지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다
도 1은 본 발명의 일 실시예에 따른 안저 영상판독 지원방법을 설명하기 위한 도이다.
일반적으로, 대상체로부터 안저 영상을 취득하면, 기계 학습모델을 이용하여 상기 안저 영상에서 녹내장 등과 같은 병의 속성정보를 도출해 낸다. 그러나 이와 같은 안저 영상의 속성정보는 앞서 설명한 바와 같이 기계 학습모델에 입력되는 학습정보의 차이로 인해 신뢰성 있는 속성정보를 도출해 내지 못하게 된다. 또한, 1차적으로 안저 영상의 속성정보를 도출했다 하더라도 이를 통한 병의 예측 및 판단함에 있어서 뒷받침할 수 있는 설명의 부족으로 신뢰성있는 안저 영상의 판독 지원이 되지 못하게 된다.
본 발명의 일 실시예에 따른 안저 영상판독 지원장치는 이와 같은 신뢰성이 부족한 안저영상 판독 지원을 해결하기 위해, 도출해낸 안저 영상의 속성정보가 신뢰성을 갖고, 의료진이 정확한 판독을 하는데 지원할 수 있는 안저영상의 속성정보를 자동으로 생성해 낼 수 있다. 즉, 본 발명에 따른 안저 영상판독 지원장치(100)는 대상체의 안저에 대해 카메라 등을 통해 촬영한 안저 영상(10)으로부터 1차적으로 속성정보를 알아내고, 2차적으로 속성정보를 포함한 대상체의 안저 영상이 실제 신뢰성 있는 안저 영상인지를 판단 혹은 설명하는데 도움을 줄 수 있다.
상술한 바와 같은 안저영상의 속성정보를 생성하기 위해, 안저 영상판독 지원장치(100)는 촬영된 제1안저 영상(10)으로부터 기계 학습모델(Machine Learning Model)을 이용하여 제 1안저영상(10)의 제 1속성정보(30)를 추출하고, 추출된 상기 제1안저영상(10)의 제1 속성정보(30)는 후술할 시스템 메모리부(113)나 스토리지 디바이스(115)에 저장될 수 있다. 기계 학습모델은 프로세서(111)에 입력되어 수행될 수 있고, 도시되지 않았지만 컴퓨터 판독 가능한 기록매체에 입력되어 수행될 수 있다. 또한, 기계 학습 모델은 메모리부(113)나 스토리지 디바이스(115)에 입력되고, 상기 프로세서(111)에 의해 동작되어 수행될 수 있다.
추가로, 안저영상 판독 지원장치(100)는 대상체, 예를들어, 대상체(환자)의 임상정보를 후술할 메모리부(113)나 스토리지 디바이스(115)에 추가 저장할 수 있다. 프로세서(111)는 메모리나 스토리지 디바이스에 저장된 대상체의 임상정보를 활용하여 기계 학습모델에 기초한 제 1안저영상의 제1속성정보를 추출할 수 있다. 임상정보는 대상체(환자)의 나이, 성별, 병력, 문진정보, 검사 측정 값, 운동습관, 식습관, 상기 병력과 관련된 가족력, 환자의 음주량 및 흡연 여부 등이 될 수 있고, 이에 한정되지 않는다. 문진정보라 함은 의사가 환자에게 수행할 수 있는 신경의학적 문진등을 포함할 수 있고, 이는 병력과 다르게 지금 현재 관찰되는 이상적 소견을 의미할 수 있다. 또한, 검사 측정값은 예를들어, Intraocular pressure을 측정한 값, 혈압, 혈중 당수치 등이 고려될 수 있다.
제 1 속성정보(30)는 의료진과 같은 엔티티(entity)가 병명을 예측 및 진단하는데 지원할 수 있는 정보, 예를들어, 제1 속성정보는 대상체의 안저영상에서 녹내장(Glaucoma)을 예측 및 진단할 경우, 안저 영상에 포함된 Increased C/D 비(Cup-to-Disk ratio)의 정보, Disc Rim Thinning에 대한 두께 변화 정보, 망막신경섬유층 결손(Retinal Nerve Fiber Layer Defect)에 관한 명암 정보, 망막 출혈(Retinal Hemorrhage) 에 대한 위치 정보 등을 포함할 수 있다. 또한, 제1속성정보는 대상체의 안저영상에서 당뇨망막병증(Diabetic Retinopathy)을 예측 및 진단할 경우, 드루젠(Drusen)에 관한 위치 정보, 망막색소상피 변화(Retinal pigment epithelium Change)에 대한 정보, Chorioretinal scar/atrophy에 대한 정보, Peripapillary atrophy에 대한 정보, Hard exudate에 대한 정보, Cotton-wool patch에 대한 정보, Hemorrhage에 대한 정보, Vascular abnormality에 대한 정보, Laser scar에 대한 정보, Subretinal fluid에 대한 정보, Myelinated nerve fiber에 대한 정보, Epiretinal Membrane에 대한 정보 등을 포함할 수 있다. 또한 제 1 속성정보는 대상체의 안저영상에서 안구의 주요기관들의 정보를 알 수 있는 안저영상에 포함된 시신경 혈관 정보, 상기 안저 영상이 좌안의 영상인지 우안의 영상인지 여부를 나타내는 양안 구분정보, 상기 안저 영상에 포함된 황반 및 시신경 유두 중 적어도 하나의 위치를 나타내는 위치 정보, 상기 안저 영상의 구획을 나타낸 구획 구분 정보 등을 포함할 수 있다.
이때, 제 1 속성 정보는 병이 있고 없다는 것을 의미하는 소견(Finding)의 유무로 나타나거나 소견의 유무를 확인할 수 있는 예측값(Prediction Value)으로 나타날 수 있다. 상기 예측값은 백분율이나, 0과 1사이의 숫자로 표현될 수 있지만, 이에 한정되지 않는다.
한편, 기계 학습모델인 GAN(Generative Adversarial Networks)을 이용하여 실제 이미지(데이터)와 가까운 유사한 이미지(데이터)를 생성하기도 한다. 그러나 이와 같은 학습모델은 원래의 이미지(Original Image)가 아닌 원래 이미지와 유사한 이미지(데이터)를 이용하여 실제 이미지에 가까운 유사한 이미지(데이터)를 생성하기 때문에, 실질적으론 원래 이미지의 속성정보를 정확히 반영하지 못하게 된다. 이에 따라 생성된 이미지(데이터)에 대한 신뢰성을 떨어뜨리게 된다.
본 발명의 일 실시예에 따른 안저영상 판독 지원 방법의 경우, GAN의 학습모델과 같이, 유사한 이미지를 이용하지 않고, 원래 이미지 즉, 촬영된 제1안저영상(10)에 대해 적대적 요소(Adversarial factor, 11)를 맵핑(Mapping)하여, 제 1안저영상의 제 1속성정보를 변화시켜 얻어진 제 2속성정보(40)를 포함하는 제2 안저영상(20)을 생성한다. 이때, 적대적 요소(11)를 맵핑하는 것은 프로세서(111)에 의해 수행될 수 있다. 제2속성정보(40)를 포함하는 제2안저영상은 제1안저영상(10)과 같이 후술할 메모리부(113)나 스토리지 디바이스(115)에 저장될 수 있다.
적대적 요소(11)는 제 1안저영상에 가해(Attack)지는 적대적 노이즈 (Adversarial Noise, N0?Nn)일 수 있다. 예를들어, 적대적 노이즈는 제 1안저영상을 표현하는 R, G, B 픽셀의 계조 레벨(Gradation level)를 조절하는 값, R, G, B 픽셀의 색(Colar)의 변화를 조절할 수 있는 값, 제 1 안저영상에서 국부적으로 명암비(Contrast Ratio)를 조절하는 값 등을 포함할 수 있고, 이에 한정되지 않고 제1 안저영상의 제1 속성정보에 변화를 줄 수 있는 요소이면 어느 것이든 포함될 수 있다.
상기 제2속성정보를 포함하는 제2안저영상(20)은 적대적 요소를1회 맵핑하여 생성될 수 있지만, 기계 학습모델에 기초하여 얻어진 제2속성정보(40)에 대해 나타나지는 예측값(Prediction Value)이 설정값(Set Value)에 수렴하도록 반복적으로 맵핑하여 생성될 수 있다.
맵핑 방법은 도시된 바와 같이, 설정값이 1일 경우, 기계 학습모델에 기초하여 얻어진 제 1 안저영상의 예측값이 0.58일 경우, 제1안저영상에 대해 적대적 요소를 맵핑한 후, 동일 기계 학습모델에 기초하여 얻어진 제2안저 영상의 예측값(0.60, 0.66, 0.68,...)이 설정값 1에 수렴하도록 반복하여 맵핑한다.
또한, 도시되어 있지 않지만, 설정값이 0일 경우, 기계 학습모델에 기초하여 얻어진 제 1 안저영상의 예측값이 0.58일 경우, 제1안저영상에 대해 적대적 요소를 반복적으로 맵핑하여 제2안저 영상의 예측값(0.56, 0.54, 0.52,...)이 설정값 0에 수렴하도록 반복하여 맵핑한다.
이때, 설정값이 1이라는 의미는 거의 비정상에 가까운 안저영상으로써, 안저영상에서 병(예, 녹내장 등)을 예측 및 진단할 수 있다는 소견이 있는 안저 영상에 해당될 수 있고, 설정값이 0이라는 의미는 거의 정상에 가까운 안저영상으로써, 안저영사에서 병(예, 녹내장 등)을 예측 및 진단할 수 없다는 소견이 없는 안저 영상에 해당될 수 있다. 따라서, 제 2안저영상의 수는 설정값의 수에 따라 정해질 수 있다.
이와 같이 기계 학습모델에 기초하여 얻어진 제 1속성정보를 갖는 제1안저영상과 적대적 요소를 맵핑하여 얻어진 제2속성정보를 갖는 제2안저영상은 후술할 디스플레이 어댑터(118)나 네트워크 어뎁터(119)와 같은 전송모듈을 통하여 외부 엔티티에 제공되거나 컴퓨팅 디바이스(110)에 인터넷 네트웍 망으로 연동되는 리모트 컴퓨팅 디바이스 혹은 타 장치에 제공될 수 있다.
제공된 제2속성정보를 갖는 제 2안저영상은 정상에 가까운 안저영상이거나 비정상에 가까운 안저영상이기 때문에 엔티티로 하여금 제 1안저영상을 판독할 때, 제2안저영상과 비교 판독이 쉽고, 비교 기준이 있어 판독의 결과에 대한 설명이 가능하고, 이에 따라 제1속성정보를 갖는 제1안저영상의 판독에 대해 신뢰성을 높일 수 있다.
또한, 제1안저영상의제1속성정보와 제2안저영상의 제2속성정보 차이를 표시하여 엔티티에게 제공할 수 있다. 구체적인 비교 판독 방법에 대해선 후술하기로 한다.
도 2는 본 발명의 일 실시예에 따라 대상체에 대한 안저영상의 판독을 지원하는 방법을 수행하는 안저영상 판독 지원장치의 예시적 구성을 개략적으로 나타낸 도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 안저영상 판독 지원장치(100)는 컴퓨팅 디바이스(Computing Device, 110), 디스플레이 디바이스(Display Device, 130)를 포함할 수 있다. 컴퓨팅 디바이스(110)는 프로세서(Processor, 111), 메모리부(Memory Unit, 113), 스토리지 디바이스(Storage Device, 115), 입, 출력 인터페이스(117), 네트웍 어뎁터(Network Adapter, 118), 디스플레이 어뎁터(Display Adapter, 119), 프로세서를 포함한 다양한 시스템 구성요소를 메모리부(113)에 연결하는 시스템 버스(System bus, 112)를 포함할 수 있지만 이에 한정되지 않는다. 또한, 안저영상 판독 지원장치는 정보를 전달하기 위한 버스(112)뿐만 아니라 다른 통신 메커니즘을 포함할 수 있다.
버스 또는 다른 통신 메커니즘은, 프로세서, 컴퓨터 판독가능한 기록매체인 메모리, 근거리 통신 모듈(예를 들어, 블루투스나 NFC), 네트워크 인터페이스나 이동통신 모듈을 포함하는 네트워크 어뎁터, 디스플레이 디바이스(예를 들면, CRT 또는 LCD 등), 입력장치 (예를 들면, 키보드, 키패드, 가상 키보드, 마우스, 트랙볼, 스타일러스, 터치 감지 수단 등), 및/또는 하위 시스템들을 상호 접속한다.
프로세서(111)는 기계 학습모델(13)을 활용하여 자동으로 프로세싱 하는 프로세싱 모듈일 수 있고, CPU, AP(Application Processor), 마이크로 컨트롤러, 등일 수 있으나 이에 한정되는 것은 아니다.
프로세서(111)는 디스플레이 디바이스용 하드웨어 제어기 예를들어, 디스플레이 어뎁터(119)와 통신하여 디스플레이 디바이스(130) 상에 안저영상 판독 지원장치의 동작 및 유저 인터페이스를 표시할 수 있다.
프로세서(111)는 메모리부(113)에 접속하여 메모리부에 저장된 명령들이나 로직의 하나 이상의 시퀀스들을 실행하는 것에 의해 이후 설명될 본 발명의 실시예에 따른 안저영상 판독 지원장치의 동작을 제어한다.
이러한 명령들은, 정적 저장부(Static storage) 또는 디스크 드라이브와 같은 다른 컴퓨터 판독가능 기록매체로부터 메모리 안에서 판독 될 수도 있다. 다른 실시형태들에서, 본 개시를 구현하기 위한 소프트웨어 명령들을 대신하거나 소프트웨어 명령들과 조합된 하드웨어에 내장된 회로부(hard-wired circuitry)가 사용될 수도 있다. 로직은, 프로세서로 명령들을 제공하는 데 참여하는 임의의 매체를 지칭할 수도 있으며, 메모리부(113)에 로딩될 수도 있다.
시스템 버스(System bus, 112)는 다양한 버스 구조(architectures) 중 임의의 것을 사용하는 메모리 버스 또는 메모리 컨트롤러, 주변장치버스, 가속 그래픽 포트 및 프로세서 혹은 로컬 버스를 포함하는 여러 가능한 유형의 버스 구조 중 하나 이상을 나타낸다. 예를 들어, 이런 구조들(architectures)은 ISA (Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA)버스, VESA(Video Electronics Standard Association) 로컬 버스, AGP(Accelerated Graphics Port) 버스 및 PCI(Peripheral Component Interconnects), PCI-Express 버스, PCMCIA(Personal Computer Memory Card Industry Association), USB(Universal Serial Bus)과 같은 것을 포함할 수 있다.
시스템 버스(System bus, 112)는 유, 무선 네트워크 연결로써 실행될 수 있다. 프로세서(Processor, 111), 대용량 스토리지 장치(Mass Storage Device), 오퍼레이팅 시스템(Operating System), 이미징 소프트웨어(Imaging Software), 이미징 데이터(Imaging Data), 네트워크 어뎁터(Network Adapter), 시스템 메모리(System Memory), 입/출력 인터페이스(Input/Output Interface), 디스플레이 어뎁터(Display Adapter), 디스플레이 디바이스(Display Device)를 포함하는 서브 시스템 각각은 물리적으로 분리된 위치에 하나 이상의 원격 컴퓨팅 장치(Remote Computing Device, 200, 300, 400) 안에 포함될 수 있고, 분산된 시스템을 효율적으로 실행하는데 있어 이와 같은 형태의 버스들을 통해 연결될 수 있다.
버스의 배선들(wires)을 포함하는 송신 매체들은 동축 케이블, 동선(copper wire), 및 광섬유들을 포함할 수 있다. 일 예에서, 송신 매체들은, 라디오 파 통신이나 적외선 데이터 통신 동안 생성된 음파 또는 광파의 형태를 취할 수도 있다.
본 발명의 실시예에 따른 안저영상 판독 지원장치(100)는, 네트워크 링크 및 네트워크 어뎁터(Network Adapter, 118)를 통해 메시지들, 데이터, 정보 및 하나 이상의 프로그램들(즉, 애플리케이션 코드)을 포함하는 명령들을 송신하고 수신할 수도 있다.
네트워크 어뎁터(Network Adapter, 118)는, 네트워크 링크를 통한 송수신을 가능하게 하기 위한, 별개의 또는 통합된 안테나를 포함할 수도 있다. 네트워크 어뎁터(118)는 네트워크에 접속하여 원격 안저영상 판독지원 장치와 같은 원격 컴퓨팅 장치(Remote Computing Device, 200, 300, 400)와 통신할 수 있다. 네트워크는 LAN, WLAN, PSTN, 및 셀룰러 폰 네트워크 중 적어도 하나를 포함할 수 있으나 이에 한정되는 것은 아니다.
네트워크 어뎁터(118)는 상기 네트워크에 접속하기 위한 네트워크 인터페이스 및 이동통신 모듈 중 적어도 하나를 포함할 수 있다. 이동통신 모듈은 세대별 이동통신망(예를 들어, 2G 내지 5G 이동통신망)에 접속가능하다.
프로그램 코드는 수신될 때 프로세서(111)에 의해 실행될 수도 있고/있거나 실행을 위해 메모리부(113)의 디스크 드라이브 또는 디스크 드라이브와는 다른 종류의 비휘발성 메모리에 저장될 수도 있다.
컴퓨팅 디바이스(Computing device, 110)는 다양한 컴퓨터 판독가능한 기록매체를 포함할 수 있다. 판독가능한 매체는 컴퓨팅 디바이스에 의해 접근 가능한 임의의 다양한 매체가 될 수 있고, 예를들어, 휘발성(volatile) 또는 비휘발성 매체(non-volatile media), 유동 매체(removable media), 비유동 매체(non-removablemedia)를 포함할 수 있지만 이에 한정되지 않는다.
메모리부(113)는 본 발명의 실시예에 따른 안저영상 판독 지원장치의 동작에 필요한 운영체제, 드라이버, 애플리케이션 프로그램, 데이터 및 데이터 베이스 등을 저장할 수 있으나 이에 한정되는 것은 아니다. 또한, 메모리부(113)는RAM(Random Acces Memory)과 같은 휘발성 메모리, ROM(Read Only Memory) 및 플래시 메모리와 같은 비휘발성 메모리 형태로 컴퓨터 판독 가능한 매체를 포함할 수 있고, 또한, 디스크 드라이브 예를들면, 하드 디스크 드라이브(Hard Disk Drive), 솔리드 스테이트 드라이브(Solid State Drive), 광 디스크 드라이브 등을 포함 할 수 있지만 이에 한정되지 않는다. 또한, 메모리부(113)와 스토리지 디바이스(115)는 각각 전형적으로 대상체의 안저영상과 같은 이미징 데이터(Imaging Data, 113a, 115a)와 같은 데이터, 프로세서(111)에 의해 동작되도록 즉시 접속될 수 있는 이미징 소프트웨어(113b, 115b)와 오퍼레이팅 시스템(113c, 115c)과 같은 프로그램 모듈을 포함 할 수 있다.
기계 학습모델(13)은 프로세서, 메모리부(113) 혹은 스토리지 디바이스(115)에 삽입될 수 있다. 이때의 기계 학습모델은 기계학습 알고리즘의 하나인 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN) 등을 포함할 수 있고, 이에 한정되지 않는다.
심층 신경망(Deep Neural Network, DNN)은 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network, ANN)이다. 심층 신경망(DNN)은 일반적인 인공신경망과 마찬가지로 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다. 예를 들어, 물체 식별 모델을 위한 심층 신경망 구조에서는 각 물체가 영상의 기본적 요소들의 계층적 구성으로 표현될 수 있다. 이때, 추가 계층들은 점진적으로 모여진 하위 계층들의 특징들을 규합시킬 수 있다. 심층 신경망의 이러한 특징은, 비슷하게 수행된 인공신경망에 비해 더 적은 수의 유닛(unit, node)들만으로도 복잡한 데이터를 모델링할 수 있게 해준다.
합성곱신경망(CNN)은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 합성곱 신경망(CNN)은 하나 또는 여러개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 합성곱 신경망(CNN)은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥 러닝 구조들과 비교해서, 합성곱 신경망(CNN)은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. 합성곱 신경망(CNN)은 또한 표준 역전달을 통해 훈련될 수 있다. 합성곱 신경망(CNN)은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.
딥 러닝에서는 합성곱 심층 신뢰 신경망(Convolutional Deep Belief Network, CDBN)가 개발되었는데, 기존 합성곱 신경망(CNN)과 구조적으로 매우 비슷해서, 2차원 구조를 잘 이용할 수 있으며 그와 동시에 심층 신뢰신경망(Deep Belief Network, DBN)에서의 선훈련에 의한 장점도 취할 수 있다. 합성곱 심층 신뢰 신경망(CDBN)은 다양한 영상과 신호 처리 기법에 사용될 수 있는 일반적인 구조를 제공하며 CIFAR와 같은 표준 이미지 데이터에 대한 여러 벤치마크 결과에 사용되고 있다.
순환 신경망(Recurrent Neural Network, RNN)은 인공신경망을 구성하는 유닛 사이의 연결이 다이렉티드 사이클(directed cycle)을 구성하는 신경망을 말한다. 순환 신경망은 임의의 입력을 처리하기 위해 신경망 내부의 메모리를 활용할 수 있다. 이러한 특성에 의해 순환 신경망은 필기체 인식(Handwriting recognition)과 같은 분야에 활용되고 있고, 높은 인식률을 나타낸다.
도 3은 본 발명의 일 실시예에 따라 대상체에 대한 안저영상의 판독을 지원하는 방법을 수행하는 안저영상 판독 지원 시스템을 개략적으로 나타낸 도이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 안저영상 판독 지원시스템(500)은 본 발명의 일 실시예에 따른 안저영상 판독지원 장치(100)의 구성요소를 포함하고, 추가로 카메라부(Camera, 150)를 포함한다. 그러므로 이미 설명한 안저영상 판독지원 장치의 구성요소에 대한 동작 및 설명에 대해선 생략하기로 한다. 카메라부(15)는 오브젝트의 이미지를 촬상하고 그 이미지를 광전자적으로 이미지 신호로 변환하는 이미지 센서(미도시)를 포함하고, 대상체의 안저 영상을 촬영한다. 촬영된 대상체의 안저영상은 입/출력 인터페이스(117)를 통하여 프로세서(111)에 제공되어 기계 학습모델(13)에 기초하여 처리된다.
도 4는 본 발명에 따른 안저영상 판독 지원 장치의 일 실시예에서, 안저 영상에 포함된 속성정보인 C/D 비(Cup-to-Disk ratio)의 정보를 비교 판독할 수 있도록 지원하는 방법을 설명하기 위한 도이다.
C/D 비는 안저영상의 Cup에 해당하는 면적의 위아래(안저영상에서 정의하고 있는 방향의Superior(위), Inferior(아래)) 방향의 최대거리를 Disc에 해당하는 면적의 위아래 방향의 최대거리로 나눈값을 의미한다. 이러한 C/D비 정보는 안저영상에서 녹내장을 예측하는 척도이다.
도 4를 참고하면, (a)는 본 발명에 따른 안저영상 판독 지원 장치가 기계 학습모델에 기초하여 대상체로부터 얻어낸 제 1안저영상이고, (a')는 (a)인 제1안저영상에서 디스크 영역을 확대한 영상이다. (b) 제1안저영상에 대해 negative 적대적 요소를 맵핑하여 얻어낸 거의 정상에 가까운 제2안저영상이고, (b')는 (b)인 제2안저영상에서 디스크 영역을 확대한 영상이다. (c)는 제1안저영상에 대해 positive적대적 요소를 맵핑하여 얻어낸 거의 비정상에 가까운 제2안저영상이고, (c')는 (c)인 제2안저영상에서 디스크 영역을 확대한 영상이다. 제1안저영상의 제1속성정보는 C/D비의 정보이고, 제2안저영상의 제2속성정보는 적대적 요소의 맵핑에 의해 변화된 C/D비의 정보에 관한 것이고, 이와 같은 제 1속성정보와 제 2속성정보가 각각 제1안저영상과 제2안저영상에 반영되어 나타난다. 적대적 요소의 맵핑 방법에 대해선 이미 상술한바 있음으로 이에 대한 설명은 생략하기로 한다.
구체적으로 살펴보면, 기계 학습모델에 기초하여 얻어진 제1 안저영상(a)의 경우, 제1속성정보인 C/D 비의 정보에 기초해볼 때, 의료진과 같은 엔티티는 녹내장과 같은 병이 있다는 소견이 있는 안저영상이다. 그러나 이와 같은 기계학습 모델에 기초하여 소견이 있는 제1안저영상이라 하더라도 실제 비교 가능한 안저영상이 없을 경우, 제1안저영상에 대한 신뢰성이나 소견이 있다는 확인 가능한 설명이 부족하다.
본 발명에 따른 안저영상 판독 지원장치는 (b)와 같이, C/D 비가 정상 안저영상에 가깝도록 제2안저영상을 생성하거나 (c)와 같이, C/D비가 비정상 안저영상에 가깝도록 제2안저영상을 생성하여 엔티티에 제공함으로써, 제1안저영상에 대한 판독시 제2안저영상과의 비교판독이 가능함으로, 제1안저영상에 대한 판독의 신뢰성과 판독의 근거를 설명할 수 있다.
도 5는 본 발명에 따른 안저영상 판독 지원장치의 일 실시예에서, 속성정보인 C/D 비(Cup-to-Disk ratio)의 정보를 갖는 안저영상에 대해 적대적 노이즈(Adverserial Noise)를 맵핑하여 시각화 한 영상을 나타낸 도이다.
도 5를 참조하면, (a)와 (b)는 각각 도 4의 (b)와 (c)인 제2안저영상에 맵핑된 적대적 노이즈(red or blue dot)를 시각화 한 영상으로, 화살표에 표시된 바와 같이 안저영상에서 C/D비 정보를 알 수 있는 디스크 영역을 중심으로 적대적 노이즈가 맵핑됨을 알 수 있다.
구체적으로 살펴보면, C/D비가 정상에 가까운 (a)의 경우, 적대적 노이즈가 디스크 영역에 더 집중적으로 맵핑되어 있음을 알 수 있고, C/D비가 비정상에 가까운 (b)의 경우, 적대적 노이즈가 디스크 영역뿐 아니라 안저영상 전체에 걸쳐 넓게 맵핑되어 있음을 알 수 있다.
이와 같이, 본 발명에 따른 안저 영상판독 지원 장치는 적대적 노이즈를 시각화 함으로써 안저영상의 어떤 위치에서 C/D비 정보와 같은 속성정보가 변화되고 있음을 알 수 있다. 따라서 이를 통하여 보다 더 신뢰성 있는 안저 영상 판독을 할 수 있다.
도6은 본 발명에 따른 안저영상 판독 지원 방법의 일 실시예에서, 안저 영상에 포함된 속성정보인 Disc Rim Thinning에 대한 정보를 비교 판독할 수 있도록 지원하는 방법을 설명하기 위한 도이다.
Disc Rim Thinning이란 안저영상의 Disc면적에서 Cup에 해당하는 면적을 제외한 부분을 Rim이라하고, 안저영상에서 정의되는 위바깥(Superiotemporal, Stemp), 위(Superior), 아래바깥(Inferiotempal), 아래(Inferior) 의 방향의 Rim의 두께가 좁아지는 정도를 의미한다. 통상적으로 위바깥, 위, 아래바깥, 아래 방향으로의 Rim의 두께를 각각 바깥(Temporal, Temp) 방향으로의 Rim의 두께로 나눈 값 중 어느 하나라도 대략 1.6 이하일 경우, 또는 Disc의 최대 길이의 약 0.1배 이하일 경우에 녹내장이 있다는 소견이 있는 것으로 본다.
도 6를 참고하면, (a)는 본 발명에 따른 안저영상 판독지원 장치가 기계 학습모델에 기초하여 대상체로부터 얻어낸 제1안저영상이고, (a')는 (a)인 제1안저영상에서 디스크 영역을 확대한 영상이다. (b') 제1안저영상에 대해 negative 적대적 요소를 맵핑하여 얻어낸 거의 정상에 가까운 제2안저영상에서 디스크 영역을 확대한 영상이다. (c')는 제1안저영상에 대해 positive적대적 요소를 맵핑하여 얻어낸 거의 비정상에 가까운 제2안저영상에서 디스크 영역을 확대한 영상이다. 제1안저영상의 제1속성정보는 Disc Rim Thinning에 대한 두께 변화 정보이고, 제2안저영상의 제2속성정보는 적대적 요소의 맵핑에 의해 변화된 Disc Rim Thinning에 대한 두께 변화 정보에 관한 것이고, 이와 같은 제 1속성정보와 제 2속성정보가 각각 제1안저영상과 제2안저영상에 반영되어 나타난다.
구체적으로, 살펴보면, 기계 학습모델에 기초하여 얻어진 (a')의 경우, 제1속성정보인 Disc Rim Thinning에 대한 두께 변화 정보에 기초해볼 때, Rim의 위바깥 방향(Stemp Direction)으로의 두께(R) 대비 바깥 방향(Temp Direction)으로의 두께(D)의 비가 약 0.56에 해당되어 녹내장이 있다는 소견이 있는 안저영상이다. 이에 대해 본 발명에 따른 안저영상 판독 지원장치는 (b')와 같이, Rim의 위바깥 방향(Stemp Direction)으로의 두께(R2) 대비 바깥 방향(Temp Direction)으로의 두께(D)의 비가 정상 안저영상에 가깝도록 제2안저영상을 생성하거나, (c')와 같이, Rim의 위바깥 방향(Stemp Direction)으로의 두께(R1) 대비 바깥 방향(Temp Direction)으로의 두께(D)의 비가 비정상 안저영상에 가깝도록 제2안저영상을 생성하여 엔티티에 제공할 수 있다. 또한, 본 발명에 따른 안저영상 판독 지원장치는 도면에 도시되어 있지 않지만, C/D비의 정보를 갖는 안저영상과 같이, 속성정보인 Disc Rim Thinning에 대한 두께 변화 정보를 갖는 안저영상에 대해 적대적 노이즈(Adverserial Noise)를 맵핑하여 시각화 할 수 있다.
도 7은 본 발명에 따른 안저영상 판독 지원 방법의 일 실시예에서, 안저 영상에 포함된 속성정보인 망막신경섬유층 결손(RNFL Defect, Retinal Nerve Fiber Layer Defect)에 대한 명암 정보를 비교 판독할 수 있도록 지원하는 방법을 설명하기 위한 도이다.
망막신경섬유층 결손(RNFL Defect)이란 망막신경섬유층이 안저영상의 Disc에서 시작하여 부채꼴 형태로 나타나게 되는데, 이러한 신경섬유가 결손이 되는 것을 의미하고, 망막신경섬유층 결손이 발생할 경우엔 안저영상에서 해당부위가 어둡게 나타나고 밝은 신경섬유 유형의 패턴이 손실되어 녹내장의 소견이 있는 것으로 본다.
도 7를 참고하면, (a)는 본 발명에 따른 안저영상 판독지원 장치가 기계 학습모델에 기초하여 대상체로부터 얻어낸 제1안저영상이고, (a')는 (a)인 제1안저영상에서 망막신경섬유층이 나타나는 영역을 확대한 영상이다. (b') 제1안저영상에 대해 negative 적대적 요소를 맵핑하여 얻어낸 정상에 가까운 제2안저영상에서 망막신경섬유층이 나타난 확대된 영상이다. (c')는 제1안저영상에 대해 positive적대적 요소를 맵핑하여 얻어낸 비정상에 가까운 제2안저영상에서 망막신경섬유층이 나타나지 않은 확대된 영상이다. 제1안저영상의 제1속성정보는 망막신경섬유층 결손(RNFL Defect, Retinal Nerve Fiber Layer Defect)에 대한 명암 정보이고, 제2안저영상의 제2속성정보는 적대적 요소의 맵핑에 의해 변화된 망막신경섬유층 결손(RNFL Defect, Retinal Nerve Fiber Layer Defect)에 대한 명암 정보에 관한 것이고, 이와 같은 제 1속성정보와 제 2속성정보가 각각 제1안저영상과 제2안저영상에 반영되어 나타난다.
구체적으로, 살펴보면, 기계 학습모델에 기초하여 얻어진 (a')의 경우, 제1속성정보인 망막신경섬유층 결손(RNFL Defect, Retinal Nerve Fiber Layer Defect)에 대한 명암 정보에 기초해볼 때, 초록색 점선영역에서 Wedge shaped Focal RNFL Defect가 있다. 즉, (a')는 망막신경섬유에 해당하는 섬유층이 안저영상에서 나타나지 않아 이를 근거로 녹내장이 있을 수 있다는 소견이 있는 안저영상이다.
이에 대해 본 발명에 따른 안저영상 판독 지원장치는 (b')와 같이, 망막신경섬유가 나타나지 않는 영역(주황색 점선영역)이 감소되고, 화살표로 표시된 망막신경섬유가 초록색 점선영역에서 나타나도록(밝은 신경섬유 유형의 패턴을 추가)하여 정상 안저영상에 가까운 제2안저영상을 생성하거나, (c')와 같이, 망막신경섬유가 나타나지 않은 영역(빨간색 점선영역)을 증가시키고, 원래의 초록색 점선영역에서의 망막신경섬유가 나타나지 않게 해당 영역이 더 어둡게 나타나도록 하여 비정상 안저영상에 가까운 제2 안저영상을 생성하여 엔티티에 제공할 수 있다. 또한, 본 발명에 따른 안저영상 판독 지원장치는 도면에 도시되어 있지 않지만, C/D비의 정보를 갖는 안저영상과 같이, 속성정보인 망막신경섬유층 결손(RNFL Defect, Retinal Nerve Fiber Layer Defect)에 대한 명암 정보를 갖는 안저영상에 대해 적대적 노이즈(Adverserial Noise)를 맵핑하여 시각화 할 수 있다.
도 8은 본 발명에 따른 안저영상 판독 지원 방법의 일 실시예에서, 안저 영상에 포함된 속성정보인 망막 출혈(Retinal Hemorrhage)에 대한 위치 정보를 비교 판독할 수 있도록 지원하는 방법을 설명하기 위한 도이다.
망막출혈(Retinal Hemorrhage)은 망막에 분포된 혈관의 파열로 인한 출혈로 안저영상에서 특정부위가 어둡거나 붉은 반점처럼 나타난다.
도 8를 참고하면, (a)는 본 발명에 따른 안저영상 판독지원 장치가 기계 학습모델에 기초하여 대상체로부터 얻어낸 제1안저영상이고, (a')는 (a)인 제1안저영상에서 망막출혈이 나타나는 영역을 확대한 영상이다. (b') 제1안저영상에 대해 negative 적대적 요소를 맵핑하여 얻어낸 정상에 가까운 제2안저영상에서 망막출혈이 나타나지 않은 확대된 영상이다. (c')는 제1안저영상에 대해 positive적대적 요소를 맵핑하여 얻어낸 비정상에 가까운 제2안저영상에서 망막출혈이 나타난 확대된 영상이다. 제1안저영상의 제1속성정보는 망막출혈(Retinal Hemorrhage)에 대한 위치정보이고, 제2안저영상의 제2속성정보는 적대적 요소의 맵핑에 의해 변화된 망막출혈(Retinal Hemorrhage)에 대한 위치정보에 관한 것이고, 이와 같은 제 1속성정보와 제 2속성정보가 각각 제1안저영상과 제2안저영상에 반영되어 나타난다.
구체적으로, 살펴보면, 기계 학습모델에 기초하여 얻어진 (a')의 경우, 제1속성정보인 망막출혈(Retinal Hemorrhage)에 대한 위치정보에 기초해볼 때, 화살표로 표시된 부분에 출혈점이 있다.
이에 대해 본 발명에 따른 안저영상 판독 지원장치는 (b')와 같이, (a')의 동일영역에서 출혈점이 나타나지지 않도록 정상 안저영상에 가까운 제2안저영상을 생성하거나, (c')와 같이, (a')의 동일영역에서 출혈점의 색조가 더 명확해지도록 하거나 다른 영역에서 추가 출혈점이 나타나도록 비정상 안저영상에 가까운 제2 안저영상을 생성하여 엔티티에 제공할 수 있다. 또한, 본 발명에 따른 안저영상 판독 지원장치는 도면에 도시되어 있지 않지만, C/D비의 정보를 갖는 안저영상과 같이, 속성정보인 망막출혈(Retinal Hemorrhage)에 대한 위치정보를 갖는 안저영상에 대해 적대적 노이즈(Adverserial Noise)를 맵핑하여 시각화 할 수 있다.
이외에 본 발명에 따른 안저영상 판독 지원장치는 드루젠(Drusen)에 관한 위치 정보, 망막색소상피 변화(Retinal pigment epithelium Change)에 대한 정보, Chorioretinal scar/atrophy에 대한 정보, Peripapillary atrophy에 대한 정보, Hard exudate에 대한 정보, Cotton-wool patch에 대한 정보, Hemorrhage에 대한 정보, Vascular abnormality에 대한 정보, Laser scar에 대한 정보, Subretinal fluid에 대한 정보, Myelinated nerve fiber에 대한 정보, Epiretinal Membrane에 대한 정보 등을 비교 판독할 수 있다. 이에 대한 비교 판독 방법은 앞서 설명한 실시예와 같은 방법을 이용할 수 있음으로 이에 대한 설명은 생략하기로 한다.
도 9는 본 발명의 일 실시예에 따른 안저영상 판독 지원 방법을 예시적으로 나타낸 흐름도이다.
도 9를 참조하면, 외부 기기장치 예를 들어, 안저 카메라(Fundus Camera) 혹은 컴퓨팅 장치(110)와 연동되는 타장치(미도시)로부터 대상체의 제1안저영상을 획득하면, 컴퓨팅 장치(110)는 기계 학습모델에 기초하여 제1안저영상으로부터 제1속성정보를 추출한다 (S910). 제1안저영상은 메모리부(113)나 스토리지 디바이스(115)에 저장될 수 있다. 이후 컴퓨티 장치(110)는 제 1안저영상에 대해 적대적 노이즈(Adversarial Noise)를 맵핑한다. 적대적 노이즈의 맵핑방법은 앞서 상술한 바와 동일함으로 이에 대한 설명은 생략하기로 한다. 적대적 노이즈가 맵핑된 제1안저영상은 동일 기계 학습모델에 기초하여 학습한 결과 속성정보가 변화되고, 이에 따라 속성정보가 변화된 제2속성정보를 갖는 제2안저영상이 생성된다 (S920). 이 경우, 제1안저영상에 대해 적대적 노이즈가 맵핑되어 시각화 된 영상을 추가하여 생성할 수 있다. 제 2안저영상 역시 메모리부(113)나 스토리지 디바이스(115)에 저장될 수 있다. 컴퓨팅 장치의 네트워크 어댑터(118)와 디스플레이 어뎁터(119)와 같은 전송모듈을 통해 제1속성정보를 갖는 제1안저영상과 제2속성정보를 갖는 제2안저영상을 외부 엔티티에 제공한다 (S930).
이와 같이 본 발명에 따른 안저영상 판독 지원 장치 및 방법은 기계 학습모델에 기초한 안저 영상을 판독하는데 있어서, 설명 가능한 안저영상 판독을 지원 할 수 있어 의료진으로 하여금 더욱더 신뢰성이 있는 안저 영상 판독을 가능하게 할 수 있다.
위 실시예에서와 같이, 본 발명이 소프트웨어 및 하드웨어의 결합을 통하여 달성되거나 하드웨어만으로 달성될 수 있다는 점을 명확하게 이해할 수 있다. 본 발명의 기술적 해법의 대상물 또는 선행 기술들에 기여하는 부분들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 기계 판독 가능한 기록 매체에 기록될 수 있다. 상기 기계 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기계 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다.
기계 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다.
상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 상기 하드웨어 장치는, 프로그램 명령어를 저장하기 위한 ROM/RAM 등과 같은 메모리와 결합되고 상기 메모리에 저장된 명령어들을 실행하도록 구성되는 CPU나 GPU와 같은 프로세서를 포함할 수 있으며, 외부 장치와 신호를 주고 받을 수 있는 통신부를 포함할 수 있다. 덧붙여, 상기 하드웨어 장치는 개발자들에 의하여 작성된 명령어들을 전달받기 위한 키보드, 마우스, 기타 외부 입력장치를 포함할 수 있다.
이상과 같이 본 발명에 따른 실시예를 살펴보았으며, 앞서 설명된 실시예 이외에도 본 발명이 그 취지나 범주에서 벗어남이 없이 다른 특정 형태로 구체화 될 수 있다는 사실은 해당 기술에 통상의 지식을 가진 이들에게는 자명한 것이다. 그러므로, 상술된 실시예는 제한적인 것이 아니라 예시적인 것으로 여겨져야 하고, 이에 따라 본 발명은 상술한 설명에 한정되지 않고 첨부된 청구항의 범주 및 그 동등 범위 내에서 변경될 수도 있다.
10: 제1안저영상
20: 제2안저영상
30: 제1속성정보
40: 제2속성정보
110: 컴퓨팅 장치
111: 프로세서
113: 메모리부
115: 스토리지 디바이스
117: 입출력 인터페이스
118: 네트웍 어뎁터
119: 디스플레이 어뎁터
130: 디스플레이 디바이스

Claims (15)

  1. 대상체에 대한 안저 영상의 판독을 지원하는 방법에 있어서,
    (a)기계 학습모델에 기초하여 상기 대상체의 제1안저 영상으로부터 제 1속성정보를 추출하는 단계;
    (b) 상기 제 1안저 영상에 대해 적대적 요소(Adversarial factor)를 맵핑하여 상기 제 1속성정보를 변화시켜 제 2속성정보를 갖는 제 2 안저영상을 생성하는 단계; 및
    (c) 상기 제 1속성정보를 갖는 제 1안저영상과 상기 제2속성정보를 갖는 제2안저영상을 외부 엔티티에 제공하는 단계
    를 포함하는 안저 영상판독 지원 방법.
  2. 제 1항에 있어서,
    상기 적대적 요소는,
    상기 제 1안저영상을 표현하는 R, G, B 픽셀의 계조 레벨(Gradation level)를 조절하는 값, R, G, B 픽셀의 색(Color)의 변화를 조절할 수 있는 값, 상기 제 1 안저영상에서 국부적으로 명암비(Contrast Ratio)를 조절하는 값 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 안저 영상판독 지원 방법.
  3. 제 1항에 있어서,
    상기 제2안저영상은 상기 제1안저영상에 대해 상기 기초 학습모델에 기초하여 얻어진 상기 제2속성정보의 예측값이 설정값에 수렴되도록 상기 적대적 요소를 적어도 1회 또는 그 이상 반복적으로 맵핑하여 생성되는 것을 특징으로 하는 안저 영상판독 지원 방법.
  4. 제 3항에 있어서,
    상기 제2안저영상의 수는 상기 설정값의 수에 따라 정해지는 것을 특징으로 하는 안저 영상판독 지원 방법.
  5. 제1항에 있어서,
    상기 기계 학습모델은 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN)을 포함할 수 있는 것을 특징으로 하는 안저 영상판독 지원 방법.
  6. 제 1항에 있어서,
    상기 제1안저영상의 제1속성정보는,
    안저 영상에 포함된 C/D 비(Cup-to-Disk ratio)의 정보, Disc Rim Thinning에 대한 두께 변화 정보, 망막신경섬유층 결손(Retinal Nerve Fiber Layer Defect)에 관한 명암 정보, 망막 출혈(Retinal Hemorrhage) 에 대한 위치 정보 중 적어도 어느 하나인 것을 특징으로 하는 안저 영상판독 지원 방법.
  7. 제 1항에 있어서,
    상기 제1안저영상의 제1속성정보는,
    드루젠(Drusen)에 관한 위치 정보, 망막색소상피 변화(Retinal pigment epithelium Change)에 대한 정보, Chorioretinal scar/atrophy에 대한 정보, Peripapillary atrophy에 대한 정보, Hard exudate에 대한 정보, Cotton-wool patch에 대한 정보, Hemorrhage에 대한 정보, Vascular abnormality에 대한 정보, Laser scar에 대한 정보, Subretinal fluid에 대한 정보, Myelinated nerve fiber에 대한 정보, Epiretinal Membrane에 대한 정보 중 적어도 어느 하나인 것을 특징으로 하는 안저 영상판독 지원 방법.
  8. 제 1항에 있어서,
    상기 제 1안저 영상에 대해 적대적 요소(Adversarial factor)를 맵핑되어 시각화 된 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 안저 영상판독 지원 방법.
  9. 제 1항에 있어서,
    상기 제 1안저영상의 제1속성정보는 상기 대상체의 임상정보가 활용되어 추출되는 것을 특징으로 하는 안저 영상판독 지원 방법.
  10. 제 9항에 있어서,
    상기 임상정보는 상기 대상체의 나이, 성별, 병력, 문진 정보, 검사 측정 값, 운동습관, 식습관, 흡연 및 음주여부 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 안저 영상판독 지원 방법.
  11. 제 1항 내지 제10항 중 어느 한 항의 방법을 수행하도록 구현된 명령어를 포함하는, 기계 판독 가능한 기록매체에 저장된, 컴퓨터 프로그램.
  12. 대상체의 제 1 안저영상이 저장된 메모리부; 및
    기계 학습모델에 기초하여 상기 제1안저영상으로부터 제 1속성정보를 추출하고, 상기 제 1안저 영상에 대해 적대적 요소(Adversarial factor)를 맵핑하여 상기 제 1속성정보를 변화시켜 제 2속성정보를 갖는 제 2 안저영상을 생성하는 프로세서
    를 포함하는 안저영상 판독지원 장치.
  13. 제 12항에 있어서,
    상기 제1안저영상의 제1속성정보는,
    안저 영상에 포함된 C/D 비(Cup-to-Disk ratio)의 정보, Disc Rim Thinning에 대한 두께 변화 정보, 망막신경섬유층 결손(Retinal Nerve Fiber Layer Defect)에 관한 명암 정보, 망막 출혈(Retinal Hemorrhage) 에 대한 위치 정보 중 적어도 어느 하나인 것을 특징으로 하는 안저 영상 판독지원 장치.
  14. 제 12항에 있어서,
    상기 적대적 요소는,
    상기 제 1안저영상을 표현하는 R, G, B 픽셀의 계조 레벨(Gradation level)를 조절하는 값, R, G, B 픽셀의 색(Color)의 변화를 조절할 수 있는 값, 상기 제 1 안저영상에서 국부적으로 명암비(Contrast Ratio)를 조절하는 값 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 안저 영상판독 지원장치.
  15. 대상체의 제1안저영상을 촬영하는 카메라부;
    상기 제1안저영상이 저장된 메모리부; 및
    기계 학습모델에 기초하여 상기 제1안저영상으로부터 제 1속성정보를 추출하고, 상기 제 1안저 영상에 대해 적대적 요소(Adversarial factor)를 맵핑하여 상기 제 1속성정보를 변화시켜 제 2속성정보를 갖는 제 2 안저영상을 생성하는 프로세서
    를 포함하는 안저영상 판독지원 시스템.
KR1020200010154A 2020-01-29 2020-01-29 안저 영상판독 지원방법, 안저 영상판독 지원장치 및 이를 포함하는 안저 영상판독 지원 시스템 KR102306279B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200010154A KR102306279B1 (ko) 2020-01-29 2020-01-29 안저 영상판독 지원방법, 안저 영상판독 지원장치 및 이를 포함하는 안저 영상판독 지원 시스템
US17/145,389 US11730364B2 (en) 2020-01-29 2021-01-10 Apparatus and methods for supporting reading of fundus image
CN202110056761.9A CN113191999A (zh) 2020-01-29 2021-01-15 支持读取眼底图像的方法以及装置、包含该装置的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200010154A KR102306279B1 (ko) 2020-01-29 2020-01-29 안저 영상판독 지원방법, 안저 영상판독 지원장치 및 이를 포함하는 안저 영상판독 지원 시스템

Publications (2)

Publication Number Publication Date
KR20210096737A true KR20210096737A (ko) 2021-08-06
KR102306279B1 KR102306279B1 (ko) 2021-09-29

Family

ID=76969556

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200010154A KR102306279B1 (ko) 2020-01-29 2020-01-29 안저 영상판독 지원방법, 안저 영상판독 지원장치 및 이를 포함하는 안저 영상판독 지원 시스템

Country Status (3)

Country Link
US (1) US11730364B2 (ko)
KR (1) KR102306279B1 (ko)
CN (1) CN113191999A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158727A1 (ko) * 2021-01-25 2022-07-28 자이메드 주식회사 생체 이미지 판독 지원 장치 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220415513A1 (en) * 2021-06-24 2022-12-29 Techeverst Co., Ltd. System and method for predicting diabetic retinopathy progression
KR20230135319A (ko) 2022-03-16 2023-09-25 성균관대학교산학협력단 인공지능 기반 강화된 안저영상 생성 방법, 컴퓨터 판독 가능한 기록 매체, 컴퓨터 프로그램 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101848321B1 (ko) 2017-10-27 2018-04-20 주식회사 뷰노 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치
KR20190087272A (ko) * 2018-01-16 2019-07-24 한국전자통신연구원 안저영상을 이용한 녹내장 진단 방법 및 이를 위한 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6418766B2 (ja) * 2014-03-27 2018-11-07 キヤノン株式会社 断層画像処理装置、断層画像処理方法及びプログラム
US10111582B2 (en) * 2014-05-02 2018-10-30 Kowa Company, Ltd. Image processing device and method to identify disease in an ocular fundus image
US10115194B2 (en) * 2015-04-06 2018-10-30 IDx, LLC Systems and methods for feature detection in retinal images
US10052016B2 (en) * 2015-12-03 2018-08-21 The Cleveland Clinic Foundation Automated clinical evaluation of the eye
WO2018116321A2 (en) * 2016-12-21 2018-06-28 Braviithi Technologies Private Limited Retinal fundus image processing method
EP3471106A1 (en) * 2017-10-10 2019-04-17 Siemens Healthcare GmbH Method and system for supporting clinical decisions
JP7178672B6 (ja) * 2017-10-27 2022-12-20 ビュノ インコーポレイテッド 被検体に対する眼底映像の読取を支援する方法及びそれを利用した装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101848321B1 (ko) 2017-10-27 2018-04-20 주식회사 뷰노 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치
KR20190087272A (ko) * 2018-01-16 2019-07-24 한국전자통신연구원 안저영상을 이용한 녹내장 진단 방법 및 이를 위한 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022158727A1 (ko) * 2021-01-25 2022-07-28 자이메드 주식회사 생체 이미지 판독 지원 장치 및 방법

Also Published As

Publication number Publication date
CN113191999A (zh) 2021-07-30
US11730364B2 (en) 2023-08-22
US20210228073A1 (en) 2021-07-29
KR102306279B1 (ko) 2021-09-29

Similar Documents

Publication Publication Date Title
US11276497B2 (en) Diagnosis assistance system and control method thereof
US11869184B2 (en) Method and device for assisting heart disease diagnosis
US11989877B2 (en) Method and system for analysing images of a retina
KR102270659B1 (ko) 안저 이미지 관리 장치 및 안저 이미지의 적합성 판단 방법
US20220175325A1 (en) Information processing apparatus, information processing method, information processing system, and program
KR102306279B1 (ko) 안저 영상판독 지원방법, 안저 영상판독 지원장치 및 이를 포함하는 안저 영상판독 지원 시스템
JP2021507428A (ja) 眼科疾病及び障害の深層学習に基づく診断及び紹介
US20240144478A1 (en) Method and device for assisting heart disease diagnosis
KR20230104083A (ko) 안구 이미지 기반의 진단 보조 이미지 제공 장치
CN110381846B (zh) 血管阻塞诊断方法、设备及系统
KR102283443B1 (ko) 광 간섭 단층 영상 기반의 고위험 병변 진단 시스템 및 이의 진단 방법
KR20200023029A (ko) 진단 보조 시스템 및 그 제어 방법
KR102414994B1 (ko) 안저영상을 이용한 혈관질환 예측 지원방법 및 지원장치, 이를 포함하는 시스템
JPWO2020116351A1 (ja) 診断支援装置、および診断支援プログラム
KR20220108235A (ko) 생체 이미지 판독 지원 장치 및 방법
KR20220161672A (ko) 설명 가능한 생체 이미지 판독 지원 장치 및 방법
CN111712186B (zh) 用于辅助心血管疾病的诊断的方法和装置
Thakoor Robust, Interpretable, and Portable Deep Learning Systems for Detection of Ophthalmic Diseases
JP2022068457A (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム
Habib Incorporating spatial and temporal information for microaneurysm detection in retinal images

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant