KR102595647B1 - 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템 - Google Patents

딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템 Download PDF

Info

Publication number
KR102595647B1
KR102595647B1 KR1020230034525A KR20230034525A KR102595647B1 KR 102595647 B1 KR102595647 B1 KR 102595647B1 KR 1020230034525 A KR1020230034525 A KR 1020230034525A KR 20230034525 A KR20230034525 A KR 20230034525A KR 102595647 B1 KR102595647 B1 KR 102595647B1
Authority
KR
South Korea
Prior art keywords
eardrum
image
hearing
unit
patient
Prior art date
Application number
KR1020230034525A
Other languages
English (en)
Inventor
천성태
이홍창
최성준
문경영
Original Assignee
(주)해우기술
순천향대학교 산학협력단
(주)엠디에이아이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)해우기술, 순천향대학교 산학협력단, (주)엠디에이아이 filed Critical (주)해우기술
Priority to KR1020230034525A priority Critical patent/KR102595647B1/ko
Application granted granted Critical
Publication of KR102595647B1 publication Critical patent/KR102595647B1/ko

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/227—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for ears, i.e. otoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/12—Audiometering
    • A61B5/121—Audiometering evaluating hearing capacity
    • A61B5/125—Audiometering evaluating hearing capacity objective methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Otolaryngology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)

Abstract

본 발명은 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템에 관한 것으로서, 환자 정보의 수집, 저장 및 송수신을 수행하는 환자정보 관리부, 기분류된 질환에 대응하는 고막 영상 및 청력 수치 정보를 외부로부터 수집하여 빅데이터를 생성하는 외부 정보 수집부, 상기 환자정보 관리부 및 상기 외부 정보 수집부에서 수집한 고막 영상을 의미적 분할(Semantic Segmentation)하여 고막 모델을 추출한 후 레이블 지정을 수행하는 영상처리부, 상기 영상처리부에서 분류된 고막 모델에 대응하는 청력 질환 및 청력 수치 정보를 학습하여 청력학습데이터를 생성하는 고막영상 학습부 및 상기 청력학습데이터를 이용하여 상기 환자정보 관리부에서 수집한 고막 영상으로부터 청력 수치 예측치를 산출하는 청력 예측치 산출부를 포함하는 것을 특징으로 한다.

Description

딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템{A SYSTEM FOR PREDICTING HEARING LEVELS THROUGH THE ANALYSIS OF EARDRUM IMAGES BASED ON DEEP LEARNING}
본 발명은 고막 촬영 영상을 이용한 청력 수치 진단 시스템에 관한 것으로서, 보다 상세하게는 내시경 등의 영상촬영장치를 이용하여 촬영한 고막 촬영 영상을 머신러닝을 통해 청력 수치 예측을 수행하는 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템에 관한 것이다.
귀 질환 또는 청력 질환은 사람의 다양한 감각 중 소리를 듣는 청력기관인 귀에 발생하는 이명, 난청, 중이염, 이석증, 메니에르병 등을 의미하여 일정 크기 이상의 소리를 듣지 못하는 경우에도 청력 질환으로 판단할 수 있다.
특히, 이명은 외부 소리 자극이 없는데도 귓속 또는 머릿속에서 주파수가 높은 금속성의 소리를 느끼는 현상을 의미하며, 이명이 들리는 환자 본인은 이명으로 인하여 괴롭거나 고통을 호소해도 주위의 일반 사람들은 그 소리를 듣거나 느낄 수 없어 더욱 고통스러운 질환이다.
또한, 이명의 경우, 청각적인 문제이외에도 정신적, 신경학적인 문제로 인해 발생할 수도 있는 질병이기 때문에 환자가 이명을 느낄 때 청각 질환인지 정신적, 신경학적 문제로 발생했는지 여부를 확실하게 구분할 필요가 있다.
이를 구분하기 위하여, 환자가 일정 수준 이상의 이명을 호소하는 경우, 청각적 검사와 더불어 신경학적 검사, 심리학적 검사를 모두 수행할 수 있다.
그러나, 청각적 검사에서 환자의 귀 내부를 촬영한 내시경 영상과 환자가 호소하는 증상에 의존하여 청각기관의 문제로 인하여 이명이 발생하였다고 진단하기에는 의사의 경험과 귀 내부를 촬영한 내시경 영상의 종류에 따라 진단이 달라질 수 있다.
이외에도, 환자의 청력 수치의 경우에도 환자 본인 이외에 다른 사람의 청력 기관을 통해 동일한 소리를 들을 일이 없어 본인의 청력 수치에 이상이 있음에도 이를 눈치채지 못하고 그대로 살아가는 사람들이 많다.
따라서, 환자의 귀 내부를 촬영한 내시경 영상 중 이명 등으로 질환이 진단된 다수 개의 영상을 수집한 귀 내부 질환 영상 데이터를 분류하고, 분류된 데이터와 현재 미진단한 환자의 귀 내부 영상 내시경 데이터를 딥러닝을 이용한 일치도를 산출하여 이명이외에도 환자의 청력 수치를 예측하는 청력 수치 예측 시스템에 대한 연구가 요구된다.
한국등록특허 제10-2421110호
본 발명은 환자의 고막을 촬영한 영상과 고막 영역 레이블을 심층신경망으로 학습하여 해당 환자의 청력을 예측함으로써, 청력수치 판단에 관한 의료진의 부담을 감소시킴에 목적이 있다.
또한, 본 발명은 귀 내부의 고막을 촬영하는 귀 내시경 촬영 장치로부터 촬영된 고막 영상을 이용하여 고장 여부를 진단함으로써, 장치 고장으로 인한 환자의 진단 오진을 미연에 방지함에 목적이 있다.
또한, 환자의 고막 영상에 대하여 기계학습을 통한 청력 수치 예측치를 산출하여 진단보조에 활용함으로써, 청력 진단의 정확도를 향상시킴에 목적이 있다.
본 발명의 일 실시례에 따른 고막 예측 영상과 딥러닝을 이용한 청력 수치 예측 시스템은, 환자 정보의 수집, 저장 및 송수신을 수행하는 환자정보 관리부, 기분류된 질환에 대응하는 고막 영상 및 청력 수치 정보를 외부로부터 수집하여 빅데이터를 생성하는 외부 정보 수집부, 상기 환자정보 관리부 및 상기 외부 정보 수집부에서 수집한 고막 영상을 의미적 분할(Semantic Segmentation)하여 고막 모델을 추출한 후 레이블 지정을 수행하는 영상처리부, 상기 영상처리부에서 분류된 고막 모델에 대응하는 청력 질환 및 청력 수치 정보를 학습하여 청력학습데이터를 생성하는 고막영상 학습부 및 상기 청력학습데이터를 이용하여 상기 환자정보 관리부에서 수집한 고막 영상으로부터 청력 수치 예측치를 산출하는 청력 예측치 산출부를 포함할 수 있다.
또한, 상기 환자정보 관리부는, 상기 환자의 이름, 성별, 나이, 기저질환, 복용중인 약, 현재 증상, 병원 방문 날짜 및 진료 기록 중 하나 이상의 환자 정보를 수집하는 환자 정보 수집부, 귀 내시경 촬영 장치를 이용하여 상기 환자의 고막 영상을 촬영하는 영상촬영부, 상기 고막 영상 및 기수집된 환자정보를 저장하는 환자정보 저장부 및 상기 환자정보 저장부에 저장된 환자정보를 송수신하는 환자정보 송수신부를 포함할 수 있다.
또한, 상기 영상촬영부는, 상기 귀 내시경 촬영 장치를 이용하여 수집한 고막 영상의 이미지 히스토그램 분포 데이터를 생성하는 히스토그램 생성부 및 상기 히스토그램 생성부에서 생성된 고막 영상의 이미지 히스토그램의 분포 데이터를 분석하여 신뢰도를 판단하되, 하기 [수학식 1]에 의해 산출되는 평균값(Aerr)이 기설정된 한계값(Serr)보다 큰 경우, 상기 귀 내시경 촬영 장치 및 상기 고막 영상에 오류가 발생한 것으로 판단하는 고장 진단부를 더 포함할 수 있다.
[수학식 1]
(여기서, Aerr은 상기 고막 영상 이미지별 히스토그램 분포 데이터의 평균오차, Taver는 상기 고막 영상 이미지별 히스토그램 분포 데이터의 전체평균, Paver는 상기 고막 영상 이미지 n개에 대한 히스토그램 분포 데이터의 일부평균, Tσ는 상기 고막 영상 이미지별 히스토그램 분포 데이터의 전체표준편차를 의미함)
또한, 상기 영상처리부는, 상기 고막 모델을 그래드 캠(Grad-CAM)을 이용하여 상기 고막 영역의 활성화 맵(Activation Map)을 생성할 수 있다.
또한, 상기 청력 예측치 산출부는, 기설정된 이미지 비교 프로세싱 및 활성화 함수를 이용하여 상기 환자의 고막 모델과 상기 고막영상 학습부에서 학습된 고막 모델과의 유사도 비율을 산출하고, 상기 유사도 비율이 기설정된 비율을 초과하는 경우, 상기 고막영상 학습부에서 학습된 고막 모델의 청력 수치 정보에 대응하는 청력 수치를 청력 예측치로 산출하며, 상기 청력 예측치에 대응하여 난청 정도를 분류할 수 있다.
본 발명에 따르면, 환자의 고막을 촬영한 영상과 고막 영역 레이블을 심층신경망으로 학습하여 해당 환자의 청력을 예측함으로써, 청력수치 판단에 관한 의료진의 부담을 감소시킬 수 있다.
또한, 본 발명은 귀 내부의 고막을 촬영하는 귀 내시경 촬영 장치로부터 촬영된 고막 영상을 이용하여 고장 여부를 진단함으로써, 장치 고장으로 인한 환자의 진단 오진을 미연에 방지할 수 있다.
또한, 환자의 고막 영상에 대하여 기계학습을 통한 청력 수치 예측치를 산출하여 진단보조에 활용함으로써, 청력 진단의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일실시례에 따른 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템의 블록도를 도시한 도면이다.
도 2는 본 발명의 일실시례에 따른 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템의 중간 블록도를 도시한 도면이다.
도 3은 본 발명의 일실시례에 따른 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템을 통해 고막 영상을 고막 모델로 분할한 모습을 도시한 도면이다.
도 4는 본 발명의 일실시례에 따른 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템이 외부로부터 수집한 고막 영상에 대한 레이블을 도시한 도면이다.
이상과 같은 본 발명에 대한 해결하고자 하는 과제, 과제의 해결 수단, 발명의 효과를 포함한 구체적인 사항들은 다음에 기재할 실시례 및 도면들에 포함되어 있다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시례들을 참조하면 명확해질 것이다.
본 발명의 권리범위는 이하에서 설명하는 실시례에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 당해 기술분야의 통상적인 지식을 가진자에 의하여 다양하게 변형 실시될 수 있다.
이하, 본 발명인 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템은 첨부된 도 1 내지 도 4를 참고로 상세하게 설명한다.
우선, 도 1은 본 발명의 일실시례에 따른 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템의 블록도를 도시한 도면이고, 도 2는 본 발명의 일실시례에 따른 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템의 중간 블록도를 도시한 도면이며, 도 3은 본 발명의 일실시례에 따른 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템을 통해 고막 영상을 고막 모델로 분할한 모습을 도시한 도면이고, 도 4는 본 발명의 일실시례에 따른 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템이 외부로부터 수집한 고막 영상에 대한 레이블을 도시한 도면이다.
도 1을 참고하면, 본 발명의 일실시례에 따른 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템(100)은 환자정보 관리부(110), 외부 정보 수집부(120), 영상처리부(130), 고막영상 학습부(140) 및 청력 예측치 산출부(150)를 포함할 수 있다.
상기 환자정보 관리부(110)는, 환자 정보의 수집, 저장 및 기설정된 기기와의 환자정보 송수신을 수행할 수 있다.
여기서, 상기 환자정보 관리부(110)는, 도 2를 참고하여 더욱 자세히 설명한다.
상기 도 2를 참고하면, 상기 환자정보 관리부(110)는, 환자 정보 수집부(111), 영상촬영부(112), 환자정보 저장부(113) 및 환자정보 송수신부(114)를 포함할 수 있다.
상기 환자 정보 수집부(111)는, 환자의 이름, 성병, 나이, 기저질환, 복용중인 약, 현재 증상, 병원 방문날짜 및 진료 기록 중 하나 이상의 환자 정보를 수집하며, 나열된 항목 이외에도 진료에 요구되는 주민등록번호, 의료보험 가입 여부, 담당의사 이름, 처방 내역 등을 포함하는 정보를 더 수집할 수 있다.
상기 영상촬영부(112)는, 귀 내시경 촬영 장치를 이용하여 환자의 고막 영상을 촬영할 수 있다.
여기서, 상기 귀 내시경 촬영 장치는, 지름 1mm~3mm내외 크기의 조명장치, 영상촬영장치 및 광학소자를 포함하는 내시경 촬영 장치로 구성되며, 환자의 외이도로 삽입되어 고막을 기설정된 배율만큼 확대된 영상으로 촬영하여 유선 또는 무선 연결된 화면출력 장치의 화면에 표시될 수 있다.
또한, 상기 영상촬영부(112)는, 상기 귀 내시경 촬영 장치를 제어하는 제어기사 또는 의사의 제어에 대응하여 촬영된 환자의 귀 내부 영상을 촬영하여 이미지 파일로 생성할 수 있다.
한편, 상기 영상촬영부(112)는, 히스토그램 생성부(미도시) 및 고장 진단부(미도시)를 더 포함할 수 있다.
상기 히스토그램 생성부(미도시)는, 귀 내시경 촬영 장치를 이용하여 수집한 환자의 고막 영상의 이미지 파일의 픽셀의 색감 분포(RGB 색상코드값), 콘트라스트(Contrast), 밝기(Brighteness), 픽셀 수 등의 이미지 특성에 대한 히스토그램 분포 데이터를 생성할 수 있다.
상기 고장 진단부(미도시)는, 상기 히스토그램 생성부(미도시)에서 생성된 고막 영상의 이미지 히스토그램의 분포 데이터를 분석하여 신뢰도를 판단하되, 하기 [수학식 1]에 의해 산출되는 평균값(Aerr)이 기설정된 한계값(Serr)보다 큰 경우, 귀 내시경 촬영 장치 및 상기 귀 내시경 촬영 장치로부터 촬영된 고막 영상에 오류가 발생한 것으로 판단할 수 있다.
[수학식 1]
여기서, Aerr은 상기 고막 영상 이미지별 히스토그램 분포 데이터의 평균오차, Taver는 상기 고막 영상 이미지별 히스토그램 분포 데이터의 전체평균, Paver는 상기 고막 영상 이미지 n개에 대한 히스토그램 분포 데이터의 일부평균, Tσ는 상기 고막 영상 이미지별 히스토그램 분포 데이터의 전체표준편차를 의미할 수 있다.
보다 상세하게는, Taver는 상기 고막 영상 이미지별 히스토그램 분포 데이터의 전체 평균이며, 기설정된 기간동안(ex. 한 달) 생성된 단일 이미지에 대하여 생성된 히스토그램 분포 데이터의 전체 평균을 산출한 값을 의미하고, Tσ는 상기 기설정된 기간동안(ex. 한 달) 상기 고막 영상 이미지별 히스토그램 분포 데이터의 전체표준편차를 산출한 값을 의미한다.
또한, Paver는 기설정된 기간동안(ex. 한 달) 생성된 고막 영상 이미지 중 n개의 고막 영상 이미지에 대한 히스토그램 분포 데이터의 일부평균이며, 상기 영상촬영부(112)의 귀 내시경 촬영 장치로부터 촬영된 고막 영상 데이터를 수집하는 과정에서 기설정된 수(n개)의 고막 영상 이미지에 대한 히스토그램 분포 데이터를 생성하고, 상기 기설정된 수(n개)의 히스토그램 분포 데이터의 평균을 산출한 것으로서, 일부 히스토그램 분포 데이터의 평균에 해당하므로 일부평균이라 지칭할 수 있다.
이 때, 일부평균을 이용하여 95%의 신뢰도로 추정평균값을 산출하면, 추정평균값(μ)은 범위를 갖게 된다.
따라서, 추정평균값(μ)의 상한 또는 하한과 전체평균(Taver)과의 차이값인 평균오차(Aerr)는, 상기 [수학식 1]과 같이 산출될 수 있다.
그러므로, 상기 [수학식 1]에 의해 산출되는 평균오차(Aerr)가 기설정된 한계오차(Serr)보다 크다는 것은 상기 영상촬영부(112)를 통해 수집되는 고막 영상 데이터는 귀 내시경 촬영 장치 등의 고장으로 잘못 입력되고 있을 가능성이 매우 높음을 의미하므로, 상기 고장 진단부(미도시)는 상기 조건이 만족되면 상기 영상촬영부(112)를 통해 수집되는 상기 고막 영상 데이터를 신뢰할 수 없는 것으로 판단하여 사용자에게 표시할 수 있다.
한편, 고장 진단부(미도시)는 상기 고막 영상 데이터에 오류가 있는지 판단하기 위해 상기 [수학식 1]에 의해 산출되는 평균값(Aerr)과 기설정된 한계값(Serr)을 비교하는 것과 동시에 영상촬영부(112)의 귀 내시경 촬영 장치에 온도를 측정하는 온도센서를 조명장치에 마련하여 사용자가 귀 내시경 촬영 시 귀 내시경 촬영 장치의 온도를 측정하여 측정된 온도가 기설정된 범위를 벗어나는지 여부, 상기 온도센서로부터 수집된 온도 데이터가 기설정된 구간크기 내에서 주기적으로 반복되는 패턴을 보이는지 여부, 영상촬영부(112)의 귀 내시경 촬영 장치 주변의 습도를 측정하는 습도센서를 더 마련하여 측정된 습도가 기설정된 범위를 벗어나는지 여부, 온도 센서 또는 습도 센서가 귀 내시경 촬영 시 조명장치가 켜졌을 때만 동작된다는 조건 하에 상기 온도 센서 또는 습도 센서의 동작시간과 비동작시간의 비율을 분석하여 상기 비율이 기설정된 비율범위를 벗어나는지 여부 등을 판단하여, 상기 조건들이 적어도 하나 이상 만족되는 경우에 귀 내시경 촬영 장치에 고장이 발생한 것으로 판단하여 해당 장치에서 촬영된 고막 영상 데이터에도 오류가 발생한 것으로 판단할 수 있다.
이하에서는 상기 오류 판단방법들의 구체적 내용을 상세하게 설명한다.
우선, 영상촬영부(112)의 귀 내시경 촬영 장치의 온도를 측정하여 측정된 온도가 기설정된 범위를 벗어나는지 여부를 판단하기 위해서는, 영상촬영부(112)의 귀 내시경 촬영 장치와 기설정된 거리 내에 온도센서를 별도로 더 마련하고, 상기 온도센서를 통해 영상촬영부(112)의 귀 내시경 촬영 장치의 온도를 실시간 모니터링할 수 있다. 이는, 영상촬영부(112)의 귀 내시경 촬영 장치가 정상동작하는 상황이라면 허용되는 범위(기설정된 발열온도범위) 내에서의 발열 온도를 유지한다는 기술적 원리를 이용하는 것이며, 발열이 지나치다거나 발열이 전혀 없는 경우라면 과부하가 걸렸거나 전혀 동작하지 않는 것으로 추측할 수 있으므로 그 경우는 영상촬영부(112)의 귀 내시경 촬영 장치에 오류가 발생한 것으로 판단할 수 있고, 이는 곧 고막 영상 데이터에 오류가 발생한 것으로 추정할 수 있다.
다음으로, 상기 귀 내시경 촬영 장치에 마련된 온도 센서에 오류가 있는지 판단하기 위해서는, 상기 온도 센서가 기설정된 구간크기 내에서 주기적으로 반복되는 패턴을 보이는지 여부를 모니터링할 수 있는데, 이는 영상촬영부(112)의 귀 내시경 촬영 장치에 이물질이 유입된 경우, 유입된 이물질에 의해 기설정된 구간크기 내에서 온도 센서의 온도 측정값이 반복적으로 특정 패턴으로 출력될 수 있다는 기술적 원리를 이용한 것이다. 이때, 상기 기설정된 구간크기는, 아래 [수학식 2]에 따라 결정될 수 있다.
[수학식 2]
Arange = {(Taver + Dmax) - (Taver - Dmax)}*0.3
Arange는 기설정된 구간크기이고, Taver는 기설정된 기간동안의 전체 평균이며, Dmax는 기설정된 기간동안의 최대편차를 의미한다.
일례로, 기설정된 기간동안의 전체 평균이 70이고 최대편차가 20이라면 Arange는 12가 되므로, 최대값과 최소값의 차가 12를 넘지 않는 범위에서 주기적으로 반복되는 값이 출력(ex. 52, 62, 52, 62, 53, 62, 52, 63 등과 같은 유사한 값들이 반복 출력)된다면 이는 영상촬영부(112)의 귀 내시경 촬영 장치에 이물질이 유입되어 온도 센서에 오류가 발생한 것으로 추정할 수 있다.
다음으로, 영상촬영부(112)의 습도를 측정하여 측정된 습도가 기설정된 값을 초과하였는지 여부를 판단하기 위해서는, 영상촬영부(112)와 기설정된 거리 내에 습도센서를 별도로 마련하고, 상기 습도센서를 통해 영상촬영부(112)의 습도를 실시간 모니터링할 수 있다. 이는, 영상촬영부(112)에 수분이 유입된 경우에는 비정상 동작한다는 기술적 원리를 이용하는 것이며, 습도가 기설정된 값을 초과했다면 영상촬영부(112)에 수분이 유입된 것으로 추측할 수 있다. 따라서 이 경우는 영상촬영부(112)에 오류가 발생한 것으로 판단할 수 있고, 이는 곧 고막 영상 데이터에 오류가 발생한 것으로 추정할 수 있다.
마지막으로, 영상촬영부(112)의 귀 내시경 촬영 장치의 동작시간과 비동작시간의 비율을 분석하여 상기 비율이 기설정된 비율범위를 벗어나는지 여부 등을 판단할 수 있으며, 그 결과에 따라 상기 고막 영상 데이터에 오류가 발생한 것으로 판단할 수 있다.
일례로, 현장에 설치된 영상촬영부(112)가 고막 영상 촬영을 위해 사용자(영상 촬영 기사 또는 의사 등)가 귀 내시경 촬영 장치가 위치한 걸이에 근접센서를 마련하여 걸이로부터 감지가 안되는 시점을 동작시간으로, 감지가 되는 시점을 비동작시간으로 인식했을 때, 최소 1개월간 하루 평균 동작시간과 비동작 시간의 비율이 10:1 내지 9:1로 기록되었으나, 실시간 모니터링을 통해 분석한 결과 그 비율이 1:10 내지 1:9로 역전되거나 현저히 다른 비율(ex. 5:5 등의 비율변화)로 변화했다면 귀 내시경 촬영장치의 오동작 또는 귀 내시경 촬영장치의 걸이에 위치한 근접센서에 오류가 발생한 것으로 판단할 수 있다.
상기와 같이, 본 발명의 일실시례에서 고장 진단부(미도시)는 다수의 고장진단방법을 모두 고려하여 상기 귀 내시경 촬영 장치 및 귀 내시경 촬영 장치에 마련된 센서의 오류여부를 판단할 수 있으며, 아래 [수학식 3]과 같이 다수의 고장진단방법을 모두 반영한 Stotal값으로 최종 판단될 수도 있다.
[수학식 3]
Stotal = W1*Raver + W2*Rtem + W3*Rrep + W4*Rhum + W5*Rrat
여기서, Stotal은 다수의 오류판단값의 합산값, Raver은 [수학식 1]에 의해 산출되는 평균값(Aerr)과 기설정된 한계값(Serr)을 비교하여 도출한 오류판단값(오류 여부에 따라 0과 1중 하나의 값), Rtem은 온도가 기설정된 범위를 벗어나지 여부에 따라 오류여부를 판단한 값(오류 여부에 따라 0과 1중 하나의 값), Rrep은 반복 패턴이 나타나는지 여부에 따라 오류여부를 판단한 값(오류 여부에 따라 0과 1중 하나의 값), Rhum은 습도가 기설정된 범위를 벗어나지 여부에 따라 오류여부를 판단한 값(오류 여부에 따라 0과 1중 하나의 값), Rrat은 동작시간과 비동작시간의 비율을 분석하여 오류여부를 판단한 값(오류 여부에 따라 0과 1중 하나의 값), W1은 Raver항목 가중치, W2는 Rtem항목 가중치, W3은 Rrep항목 가중치, W4는 Rhum항목 가중치, W5는 Rrat 항목 가중치를 각각 의미한다.
예를 들어, Stotal가 4 이상이라면 귀 내시경 촬영 장치에 오류가 있는 것으로 사전 설정할 수 있고, 발열온도가 매우 중요한 파라미터인 경우이라면 W2를 3으로 사전 설정하고, W1, W3, W4, W5는 모두 1으로 사전 설정할 수 있다.
이러한 조건에서 상기 다수의 고장진단방법에 따라 오류여부를 모니터링한 결과, Raver는 1, Rtem은 1, Rrep는 0, Rhum은 0, Rrat은 0으로 도출되었다면, Stotal는 4가 되므로, 상기 귀 내시경 촬영 장치에는 오류가 있는 것으로 최종 판단할 수 있다.
상기 환자정보 저장부(113)는, 상기 영상촬영부(112)에서 촬영된 환자의 고막 영상 및 기수집된 환자정보를 저장할 수 있다.
보다 상세하게는, 상기 영상촬영부(112)에서 고막을 촬영하여 변환된 이미지 파일을 기설정된 저장장치(PC, 노트북, 외부저장매체 등)에 저장하고, 수집된 환자 정보(이름, 성별, 나이?? 등)를 상기 저장장치(하드디스크, CD, USB, PC, 노트북, 태블릿PC 등)에 저장할 수 있다.
상기 환자정보 송수신부(114)는, 상기 환자정보 저장부(113)에 저장된 환자정보를 기설정된 사용자 단말(노트북, PC, 스마트폰, 태블릿PC 등)에 송수신할 수 있다.
즉, 상기 환자정보 저장부(113)를 통해 저장된 기설정된 사용자 단말을 이용하여 타 사용자 단말로의 상기 환자정보를 송수신할 수 있다.
다시 도 1을 참고하면, 상기 외부 정보 수집부(120)는, 기분류된 질환에 대응하는 고막 영상 및 청력 수치 정보를 외부로부터 수집하여 빅데이터를 생성할 수 있다.
여기서, 상기 외부 정보 수집부(120)는, 공식적으로 분류된 질환에 대응하는 고막 영상(귀 내시경을 이용하여 촬영한 고막 영상)과 해당 영상에 대응하는 청력 수치 정보를 귀 질환을 진단하는 외부 병원, 기관 등으로부터 수집되어 상기 빅데이터로 생성되는 정보를 의미할 수 있다.
일례로, 타 병원 또는 타 기관에서 귀 내시경 촬영 장치를 이용하여 환자의 고막 영상이 촬영되고, 청력 수치가 45dBHL로 측정되어 중등도 난청으로 분류되어 진단이 완료된 환자의 정보, 고막 영상이 수집되고 청력수치가 20dBHL로 측정되어 정상 청력 수치로 판단되어 진단이 완료된 환자의 정보 등을 의미할 수 있다.
상기 영상처리부(130)는, 상기 환자정보 관리부(110) 및 상기 외부 정보 수집부(120)에서 수집한 고막 영상을 의미적 분할(Semantic Segmentation)하여 고막 모델로 분류한 후 레이블 지정을 수행할 수 있다.
여기서, 상기 영상처리부(130)를 통한 환자의 고막 영상의 의미적 분할은 상기 도 3을 참고하여 더욱 상세히 설명한다.
상기 도 3을 참고하면, 상기 영상처리부(130)는, 상기 환자정보 관리부(110)에서 수집한 환자의 고막 영상과 상기 외부 정보 수집부(120)에서 수집한 고막 영상을 의미적 분할 기술을 이용하여 고막 영상을 여러 개의 픽셀 집합으로 분할하되 객체의 부위와 명칭에 따라 외이도 모델, 고막 모델, 귀지 모델 등으로 구분할 수 있다.
이때, 상기 통한 청력 수치 예측 시스템(100)은 분류된 객체 중 특히 고막 객체만을 분할한 이미지인 고막 모델을 중심으로 딥러닝에 적용할 수 있다.
보다 상세하게는, 상기 영상처리부(130)는, 수집한 고막 영상을 외이도 모델, 고막 모델, 귀지 모델 등으로 의미적 분할하기 위하여 사용자가 포토샵(Adobe Photoshop) 등의 영상처리 레이블링 툴을 사용하여 각 모델별로 직접 분할하여 분류 결과를 생성할 수 있다.
이때, 상기 사용자가 분류한 분류 결과에 해당하는 카테고리(외이도, 고막, 귀지 등) 모델을 레이블로 지정할 수 있다.
이를 통해, 상기 영상처리부(130)는, 수집한 고막 영상에 딥러닝(Deep Learning)에 상기 분류 결과에 해당하는 카테고리 레이블을 적용하여 머신 러닝을 통한 의미적 분할을 수행할 수 있다.
한편, 상기 영상처리부(130)는, 의미적 분할한 고막 모델의 위치에 해당하는 고막 모델 영역을 잘라내어 이미지 크기를 줄인 후, 그래드 캠(Grad-CAM)을 사용하여 잘라낸 고막 모델의 활성화 맵(Activation Map)을 생성할 수 있다.
이를 통해, 상기 영상처리부(130)는, 수집한 고막 영상에서 의미적 분할한 고막 모델 영역과 그래드 캠에서 계산한 활성화 맵을 결합하여 객체 분석 결과의 정확도를 향상시킬 수 있다.
이때, 상기 그래드 캠을 이용한 고막 모델 분할 시, 계산에 필요한 시간과 비용이 요구되므로 실시간 분석에는 적합하지 않을 수 있다.
또한, 상기 영상처리부(130)는, 상기 외부 정보 수집부(120)에서 수집한 고막 영상에 대한 청력 질환명과 청력 수치를 딥러닝 분석 시 해당 진단 고막 영상에 대한 정답지 역할을 하는 레이블 지정을 수행할 수 있다.
여기서, 상기 영상처리부(130)의 영상처리 과정에서 레이블 지정은 상기 도 4를 참고하여 더욱 상세히 설명한다.
상기 도 4를 참고하면, 상기 영상처리부(130)는, 상기 외부 정보 수집부(120)에서 수집한 환자의 고막 영상에 대하여 진단이 완료된 해당 환자의 청력수치 및 청력 질환을 레이블(Label)로 지정할 수 있다.
보다 상세하게는, 상기 영상처리부(130)는, 상기 외부 정보 수집부(120)에서 수집한 고막 영상의 레이블 지정 및 생성하되, 상기 레이블 지정은 해당 고막 영상에 대응하여 사용자가 입력한 청력수치 및 청력 질환이 포함된 고막 영상을 레이블링하여 추후 상기 환자정보 관리부(110)에서 청력 질환 판단이 필요한 고막 영상의 청력 질환 명 판단 및 예측 청력 수치 산출에 사용될 수 있다.
다시 도 2를 참고하면, 상기 고막영상 학습부(140)는, 상기 영상처리부(130)에서 분류된 고막 모델에 대응하는 청력 질환 및 청력 수치 정보를 학습하여 청력학습데이터를 생성할 수 있다.
보다 상세하게는, 상기 고막영상 학습부(140)는, 상기 영상처리부(130)에서 분류된 고막 모델 및 상기 고막 모델에 해당하는 레이블(청력 질환, 청력 수치)을 이용하여 합성곱 신경망(CNN) 인코더에서 특징 추출한 후 디코더에서 트랜스포즈드 컨벌루션(Transposed convolution), 디컨벌루션(Deconvolution) 등을 통해 원본 영상을 복원하고, 상기 복원된 영상에서 고막 영역 정보와 이에 해당하는 청력학습데이터에 대한 특징을 추출하여 학습할 수 있다.
이때, FCN, DeepLab, U-Net 등의 분할(Segmentation)을 목적으로 한 모델 구조가 사용될 수 있다.
한편, 상기 고막영상 학습부(140)는, 상기 영상처리부(130)에서 의미적 분할이 수행된 고막 모델에서 해당 이미지의 픽셀에 대한 독립적 확률을 구하기 위해 시그모이드(Sigmoid) 활성화 함수를 사용하며, 회귀(Regression) 모델에서는 연속적인 수치의 예측을 위해서 선형(Linear) 활성화 함수를 사용하여 영상처리를 수행할 수 있다.
여기서, 상기 시그모이드 함수는, 의미적 분할이 수행된 고막 모델에서 해당 이미지의 픽셀이 고막 모델에 해당하는지에 대한 0.0~1.0 사이의 확률적 수치를 산출하기 위한 분류기로 사용되며, 상기 선형 활성화 함수는 청력 수치의 상한치가 설정되지 않은 환경에서 연속적인 성향을 반영하기 위한 분류기로 사용될 수 있다.
상기 청력 예측치 산출부(150)는, 상기 영상처리부(130)에서 의미적 분할한 환자의 고막 모델에 대응하는 청력 수치 예측치를 산출할 수 있다.
즉, 상기 환자정보 관리부(110)에서 수집한 환자의 고막 영상을 통해 환자의 귀 질환을 보조 진단하기 위해 상기 영상처리부(130) 및 상기 고막영상 학습부(140)를 통해 이미 진단된 고막 영상에서 고막 영역 특징 추출과 고막 모델을 생성하여 미진단된 고막 영상과 가장 유사도가 높은 타 환자의 고막 영상, 진단명 및 청력 수치를 학습한 상기 고막영상 학습부(140)를 이용하여 유사도 비율을 산출할 수 있다.
보다 상세하게는, 기계학습을 통한 기설정된 이미지 비교 프로세싱(이미지 히스토그램, 픽셀분포도, 활성화 함수, 알고리즘 등) 및 활성화 함수를 이용하여 환자의 고막 모델과 상기 고막영상 학습부(140)에서 학습된 고막 모델과의 유사도 비율을 산출할 수 있다.
여기서, 상기 기설정된 이미지 비교 프로세싱은, 상기 고막영상 학습부(140)에서 이용한 합성곱 신경망 인코더의 특징을 바탕으로 Global Average Pooling 레이어를 사용해 압축한 후, Fully Connected ResNeXt Bottleneck과 Linear분류기를 거쳐 청력 수치를 예측할 수 있다.
이때, 상기 Fully Connected ResNeXt Bottleneck은 Fully Connected 레이어와 Dropout으로 구성된 구조를 N개의 병렬 구조로 연결시켜 밀집시킨 것으로, 일반적으로 합성곱 신경망 레이어에 쓰이던 것을 Fully Connected 레이어에 적용한 것을 의미할 수 있다.
또한, Bottleneck 구조는 기존 ResNet의 구조를 확장시킨 ResNeXt의 것을 사용하며, 직렬적으로 Fully Connected를 전개하는 기존의 모델들과 달리 각 유닛을 n개만큼 나눈 병렬적인 구조를 만들어내어 복잡도와 과적합을 완화하고 보다 높은 정확도를 지향한 이미지 분석을 수행할 수 있다.
한편, 청력 수치를 예측하기 위해 고막 모델을 분류하는 분류 모델로는 Resnet, Inceptionnet 및 Efficinetnet 등의 모델 구조를 더 사용할 수 있다.
상기와 같이, 환자의 고막 영상 및 고막 모델과 상기 고막영상 학습부(140)에서 학습된 고막 모델 중 유사도 비율이 기설정된 비율을 초과하는 경우, 상기 고막영상 학습부(140)에서 학습된 고막 모델의 청력 수치 정보에 대응하는 청력 수치를 청력 예측치로 산출할 수 있다.
여기서, 상기 기설정된 비율은, 80% 내지 100% 사이의 범위로 설정할 수 있으나, 동일한 방법으로 청력수치 예측이 아닌 질환만 판단하는 경우, 상기 기설정된 비율의 범위를 자유롭게 변경하여 설정할 수 있다.
이를 통해, 상기 환자의 고막 영상 및 고막 모델과 상기 고막영상 학습부(140)에서 학습된 고막 모델의 유사도를 비교하여 상기 기설정된 비율을 초과하는 경우, 학습된 고막 모델의 청력 수치를 청력 예측치로 산출하고, 상기 청력 예측치에 대응하여 난청 정도를 분류할 수 있다.
여기서, 상기 난청 정도는, 상기 청력 예측치가 25dBHL이하인 경우 정상, 26~40dBHL인 경우 경도 난청, 41~55dBHL인 경우 중등도 난청, 56~70dBHL인 경우 중고도 난청, 71~90dBHL인 경우 고도난청, 91dBHL이상인 경우 심도난청으로 판단할 수 있다.
일례로, 상기 청력 예측치 산출부(150)는, 환자의 고막 영상 및 고막 모델을 이용하여 미리 수집되어 진단된 다수 개의 고막 영상과 비교하여 유사도가 90%를 초과하는 경우, 해당 진단 고막 영상의 청력 수치가 60dBHL인 경우 상기 환자의 청력 예측치는 60dBHL로 산출될 수 있다. 이때, 산출된 청력 예측치인 60dBHL를 이용하여 중고도 난청으로 판단할 수 있다.
한편, 상기 고막 예측 영상과 딥러닝을 이용하여 청력 수치를 예측하는 방법은, 환자정보 수집 단계, 외부 정보 수집 단계, 영상 처리 단계, 고막영상 학습 단계, 고막 영상 유사도 산출 단계, 청력 질환 판단 단계 및 청력 수치 산출 단계를 포함할 수 있다.
상기 환자정보 수집 단계는, 환자로부터 환자의 이름, 성별, 나이, 기저질환, 복용중인 약, 현재 증상, 병원 방문날짜, 진료기록 등을 수집하고, 귀 내시경 촬영 장치를 이용하여 촬영한 미진단 고막 영상을 더 수집하여 저장 및 사용자 단말로의 송수신을 수행할 수 있다.
상기 외부 정보 수집 단계는, 귀 질환과 관련된 타 병원 또는 의료 기관에서 진단과 청력 수치 검사가 완료된 환자의 고막 영상을 수집할 수 있다.
상기 영상 처리 단계는, 상기 미진단 고막 영상 및 진단이 완료된 고막 영상을 의미적 분할(Semantic Segmentation)하려 고막 모델로 분류하고, 진단이 완료된 고막 영상에 대응하는 진단 질환명 및 진단 청력 수치를 레이블로 생성할 수 있다.
보다 상세하게는, 상기 진단 고막 영상을 외이도, 고막, 귀지 등 여러 개의 층을 가진 픽셀 집합의 객체로 분류하고, 그래드 캠을 이용한 어텐션 맵을 생성할 수 있다.
또한, 상기 진단 고막 영상에서 고막 영상 중 고막 부분만을 분류하여 고막 모델로 생성할 수 있다.
상기 고막영상 학습 단계는, 상기 영상 처리 단계에서 생성한 고막 모델, 어텐션 맵 및 레이블을 이용하여 진단된 고막 영상에 대한 특징을 학습할 수 있다.
여기서, 상기 사용자가 지정한 레이블을 이용하여 합성곱 신경망 인코더에서 특징 추출 후 디코더에서 트랜스포즈드 컨벌루션, 디컨벌루션 등을 이용하여 원본 영상을 복원하여 복원된 영상에서 해당 질병의 특징을 추출하여 학습할 수 있다.
이때, 상기 고막 영상에 대응하는 질병 특징을 추출하기 위하여 고막 영상 내 탐색 영역, 이미지와 픽셀의 특징 추출 및 각 픽셀의 독립적 확률을 산출하기 위해 시그모이드 활성화 함수, 선형 활성화 함수 등을 이용하거나 이미지 비교 프로세싱 및 활성화 함수를 이용하여 특징 추출을 수행할 수 있다.
상기 고막 영상 유사도 산출 단계는, 상기 고막영상 학습 단계에서 추출한 진단 고막 영상의 특징과 상기 미진단 고막 영상의 특징을 비교하여 추출한 픽셀의 RGB값 분포, 색감분포, 영역분포, 콘트라스트, 밝기, 픽셀 수 등을 포함하는 이미지 특성을 비교하여 유사도를 산출할 수 있다.
상기 청력 질환 판단 단계는, 상기 고막 유사도 산출 단계에서 미진단 고막 영상과 가장 유사도가 백분율로 산출하되, 백분율로 산출된 유사도가 일정 비율을 초과하는 진단 고막 영상이 존재하는 경우, 상기 진단 고막 영상의 청력 질환명을 상기 미진단 고막 영상에 해당하는 질환으로 판단할 수 있다.
상기 청력 수치 산출 단계는, 상기 미진단 고막 영상에 해당하는 질환으로 판단된 후 유사도가 일정 비율을 초과하는 진단 고막 영상의 청력 수치를 청력 예측치로 산출하되, 상기 진단 고막 영상이 다수 개인 경우, 평균값을 청력 예측치로 산출할 수 있다.
상기와 같은 과정을 통해, 상기 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템(100)은 진단과 청력수치 측정이 완료된 환자의 고막 영상을 외부로부터 다수 개 수집하여 고막 영상만을 추출한 고막 모델로 분류하고 해당 고막 모델을 레이블로 지정하여 기계학습을 수행할 수 있다. 또한, 귀 내시경 촬영 장치를 이용하여 촬영한 환자의 고막 영상을 이용하여 외부에서 수집한 고막 영상 모델과 같이 분류하여 유사도를 산출할 수 있다. 이를 통해, 외부에서 수집된 고막 모델과 그 유사도를 이미지 비교 프로세싱 및 활성화 함수를 이용하여 비율로 산출하고, 산출된 상기 유사도 비율이 일정 비율을 초과하는 경우, 해당 고막 모델의 청력 수치를 청력 예측치로 산출하여 표시할 수 있다. 또한 상기 청력 예측치가 산출되는 경우, 해당 청력 예측치에 해당하는 난청 정도를 분류하여 제공할 수 있다.
본 발명의 일실시례에 따르면, 환자의 고막을 촬영한 영상과 고막 영역 레이블을 심층신경망으로 학습하여 해당 환자의 청력을 예측함으로써, 청력수치 판단에 관한 의료진의 부담을 감소시킬 수 있다.
또한, 본 발명은 귀 내부의 고막을 촬영하는 귀 내시경 촬영 장치로부터 촬영된 고막 영상을 이용하여 고장 여부를 진단함으로써, 장치 고장으로 인한 환자의 진단 오진을 미연에 방지할 수 있다.
또한, 환자의 고막 영상에 대하여 기계학습을 통한 청력 수치 예측치를 산출하여 진단보조에 활용함으로써, 청력 진단의 정확도를 향상시킬 수 있다.
이상과 같이 본 발명의 일실시례는 비록 한정된 실시례와 도면에 의해 설명되었으나, 본 발명의 일실시례는 상기 설명된 실시례에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서 본 발명의 일실시례는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
100 : 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템
110 : 환자정보 관리부
111 : 환자 정보 수집부
112 : 영상촬영부
113 : 환자정보 저장부
114 : 환자정보 송수신부
120 : 외부 정보 수집부
130 : 영상처리부
140 : 고막영상 학습부
150 : 청력 예측치 산출부

Claims (5)

  1. 환자 정보의 수집, 저장 및 송수신을 수행하는 환자정보 관리부;
    기분류된 질환에 대응하는 고막 영상 및 청력 수치 정보를 외부로부터 수집하여 빅데이터를 생성하는 외부 정보 수집부;
    상기 환자정보 관리부 및 상기 외부 정보 수집부에서 수집한 고막 영상을 의미적 분할(Semantic Segmentation)하여 고막 모델을 추출한 후 레이블 지정을 수행하는 영상처리부;
    상기 영상처리부에서 분류된 고막 모델에 대응하는 청력 질환 및 청력 수치 정보를 학습하여 청력학습데이터를 생성하는 고막영상 학습부; 및
    상기 청력학습데이터를 이용하여 상기 환자정보 관리부에서 수집한 고막 영상으로부터 청력 수치 예측치를 산출하는 청력 예측치 산출부;
    를 포함하고,
    상기 환자정보 관리부는,
    상기 환자의 이름, 성별, 나이, 기저질환, 복용중인 약, 현재 증상, 병원 방문 날짜 및 진료 기록 중 하나 이상의 환자 정보를 수집하는 환자 정보 수집부;
    귀 내시경 촬영 장치를 이용하여 상기 환자의 고막 영상을 촬영하는 영상촬영부;
    상기 고막 영상 및 기수집된 환자정보를 저장하는 환자정보 저장부; 및
    상기 환자정보 저장부에 저장된 환자정보를 송수신하는 환자정보 송수신부;
    를 포함하며,
    상기 영상촬영부는,
    상기 귀 내시경 촬영 장치를 이용하여 수집한 고막 영상의 이미지 히스토그램 분포 데이터를 생성하는 히스토그램 생성부; 및
    상기 히스토그램 생성부에서 생성된 고막 영상의 이미지 히스토그램의 분포 데이터를 분석하여 신뢰도를 판단하되, 하기 [수학식 1]에 의해 산출되는 평균값(Aerr)이 기설정된 한계값(Serr)보다 큰 경우, 상기 귀 내시경 촬영 장치 및 상기 고막 영상에 오류가 발생한 것으로 판단하는 고장 진단부;
    를 더 포함하는 것을 특징으로 하는 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템.
    [수학식 1]

    (여기서, Aerr은 상기 고막 영상 이미지별 히스토그램 분포 데이터의 평균오차, Taver는 상기 고막 영상 이미지별 히스토그램 분포 데이터의 전체평균, Paver는 상기 고막 영상 이미지 n개에 대한 히스토그램 분포 데이터의 일부평균, Tσ는 상기 고막 영상 이미지별 히스토그램 분포 데이터의 전체표준편차를 의미함)
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 영상처리부는,
    상기 고막 모델로부터 그래드 캠(Grad-CAM)을 사용하여 잘라낸 이미지인 활성화 맵(Activation Map)을 추출하는 것을 특징으로 하는 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템.
  5. 제1항에 있어서,
    상기 청력 예측치 산출부는,
    기설정된 이미지 비교 프로세싱 및 활성화 함수를 이용하여 상기 환자의 고막 모델과 상기 고막영상 학습부에서 학습된 고막 모델과의 유사도 비율을 산출하고,
    상기 유사도 비율이 기설정된 비율을 초과하는 경우, 상기 고막영상 학습부에서 학습된 고막 모델의 청력 수치 정보에 대응하는 청력 수치를 청력 예측치로 산출하며,
    상기 청력 예측치에 대응하여 난청 정도를 분류하는 것을 특징으로 하는 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템.
KR1020230034525A 2023-03-16 2023-03-16 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템 KR102595647B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230034525A KR102595647B1 (ko) 2023-03-16 2023-03-16 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020230034525A KR102595647B1 (ko) 2023-03-16 2023-03-16 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템

Publications (1)

Publication Number Publication Date
KR102595647B1 true KR102595647B1 (ko) 2023-10-30

Family

ID=88557848

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230034525A KR102595647B1 (ko) 2023-03-16 2023-03-16 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템

Country Status (1)

Country Link
KR (1) KR102595647B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190056005A (ko) * 2017-11-16 2019-05-24 주식회사 쉐어 귓속 질병 진단 시스템
JP2019534723A (ja) * 2016-09-02 2019-12-05 オハイオ・ステイト・イノベーション・ファウンデーション 耳病理を診断するための耳鏡検査画像分析のシステム及び方法
US20200037930A1 (en) * 2018-08-01 2020-02-06 Idx Technologies Inc. Autonomous diagnosis of ear diseases from biomarker data
US20220130544A1 (en) * 2020-10-23 2022-04-28 Remmie, Inc Machine learning techniques to assist diagnosis of ear diseases
KR102421110B1 (ko) 2020-10-26 2022-07-14 동아대학교 산학협력단 뇌질환 판단을 위한 딥러닝 기반의 pet 영상 분류 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019534723A (ja) * 2016-09-02 2019-12-05 オハイオ・ステイト・イノベーション・ファウンデーション 耳病理を診断するための耳鏡検査画像分析のシステム及び方法
KR20190056005A (ko) * 2017-11-16 2019-05-24 주식회사 쉐어 귓속 질병 진단 시스템
US20200037930A1 (en) * 2018-08-01 2020-02-06 Idx Technologies Inc. Autonomous diagnosis of ear diseases from biomarker data
US20220130544A1 (en) * 2020-10-23 2022-04-28 Remmie, Inc Machine learning techniques to assist diagnosis of ear diseases
KR102421110B1 (ko) 2020-10-26 2022-07-14 동아대학교 산학협력단 뇌질환 판단을 위한 딥러닝 기반의 pet 영상 분류 장치 및 그 방법

Similar Documents

Publication Publication Date Title
US20210145306A1 (en) Managing respiratory conditions based on sounds of the respiratory system
AU2014271202B2 (en) A system and method for remote medical diagnosis
KR20190105210A (ko) 통합 의료 진단 서비스 제공 시스템 및 그 방법
CN114514585A (zh) 疾病预测系统、保险费计算系统以及疾病预测方法
US11529105B2 (en) Digital twin updating
CN108652587A (zh) 一种认知功能障碍预防监测装置
US20220133215A1 (en) Method for evaluating skin lesions using artificial intelligence
EP2509006A1 (en) Method and device for detecting affective events in a video
CN111227789A (zh) 人体健康监护方法和装置
CN117224080B (zh) 大数据的人体数据监测方法装置
US20240050006A1 (en) System and method for prediction and control of attention deficit hyperactivity (adhd) disorders
KR102595647B1 (ko) 딥러닝 기반의 고막 촬영 영상 분석 및 청력 수치 예측 시스템
US20060069535A1 (en) System and method for converting data, and system and method for providing warning signals
KR102645192B1 (ko) 인공지능 모델을 기반으로 욕창을 관리하는 방법 및 이를 수행하는 전자 장치
Arora et al. Deep‐SQA: A deep learning model using motor activity data for objective sleep quality assessment assisting digital wellness in healthcare 5.0
CN115080782A (zh) 相似病灶的检索和匹配方法与系统
KR102595646B1 (ko) 심층신경망과 몬테카를로 드롭아웃을 이용한 고막 질병 예측 모델 시스템
KR102344084B1 (ko) 귀의 병변에 대한 정보 제공 방법 및 이를 이용한 귀의 병변에 대한 정보 제공용 디바이스
KR102595644B1 (ko) 소아 청력 예측 인공지능 시스템
CN114847872A (zh) 一种基于物联网技术的医疗诊断系统及其实施方法
CN114651264A (zh) 将模型输出组合为组合模型输出
US20230394800A1 (en) Inference learning device and inference learning method
WO2021152710A1 (ja) 情報伝達装置および情報伝達方法
KR102247712B1 (ko) 빅데이터를 이용한 피부 진단 방법 및 피부 진단 장치
CN116313021B (zh) 医院诊疗管理系统及方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant