KR20220166544A - Vfss 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치 및 그 방법 - Google Patents
Vfss 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치 및 그 방법 Download PDFInfo
- Publication number
- KR20220166544A KR20220166544A KR1020210075441A KR20210075441A KR20220166544A KR 20220166544 A KR20220166544 A KR 20220166544A KR 1020210075441 A KR1020210075441 A KR 1020210075441A KR 20210075441 A KR20210075441 A KR 20210075441A KR 20220166544 A KR20220166544 A KR 20220166544A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- vfss
- patient
- aspiration
- swallowing
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 31
- 208000019505 Deglutition disease Diseases 0.000 title abstract description 22
- 230000035515 penetration Effects 0.000 title description 7
- 230000009747 swallowing Effects 0.000 claims abstract description 54
- 230000009545 invasion Effects 0.000 claims abstract description 47
- 238000013145 classification model Methods 0.000 claims abstract description 32
- 238000013135 deep learning Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 238000013480 data collection Methods 0.000 claims abstract description 9
- 210000003823 hyoid bone Anatomy 0.000 claims description 25
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 abstract description 16
- 206010003504 Aspiration Diseases 0.000 description 64
- 238000010586 diagram Methods 0.000 description 16
- 238000011160 research Methods 0.000 description 14
- 238000010801 machine learning Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 208000006011 Stroke Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003800 pharynx Anatomy 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000001260 vocal cord Anatomy 0.000 description 2
- 208000023178 Musculoskeletal disease Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 208000026106 cerebrovascular disease Diseases 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 210000003054 facial bone Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 210000000867 larynx Anatomy 0.000 description 1
- 230000033001 locomotion Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000004770 neurodegeneration Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 208000018360 neuromuscular disease Diseases 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 231100001051 skull abnormality Toxicity 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000002105 tongue Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Image Analysis (AREA)
Abstract
본 발명은, 복수의 대상자 별로 삼킴 동작 시 기록된 VFSS 영상과 대상자의 침습, 흡인 또는 정상 여부를 포함한 상태 정보를 수집하는 데이터 수집부와, 상기 대상자의 VFSS 영상에서 삼킴 시작 시점과 삼킴 완료 시점을 기준으로 추출한 총 M개의 관심 프레임 이미지를 입력받아 상기 대상자의 침습, 흡인 또는 정상 상태를 분류하기 위한 분류 모델을 딥러닝 학습시키는 학습부와, 분석 대상 환자의 VFSS 영상 내에서 삼킴 시작 시점을 기준으로 연속한 K개의 관심 프레임 이미지 및 삼킴 완료 시점을 기준으로 연속한 K개의 관심 프레임 이미지를 추출하는 프레임 추출부, 및 상기 추출에 따라 획득된 총 M개(M=2K)의 관심 프레임 이미지를 상기 분류 모듈에 입력하여 상기 분석 대상 환자의 침습, 흡인 또는 정상 여부를 판별하는 판별부를 포함하는 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치를 제공한다.
본 발명에 따르면, 연하 곤란 환자의 VFSS 영상을 딥러닝 분석하여 연하 곤란 환자들의 침습 또는 흡인 유무를 빠르고 정확하게 자동 판별할 수 있다.
본 발명에 따르면, 연하 곤란 환자의 VFSS 영상을 딥러닝 분석하여 연하 곤란 환자들의 침습 또는 흡인 유무를 빠르고 정확하게 자동 판별할 수 있다.
Description
본 발명은 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 연하 곤란 환자의 VFSS 영상을 딥러닝 분석하여 환자의 칩습 또는 흡인 유무를 판별할 수 있는 환자의 침습 또는 흡인 유무 판별 장치 및 그 방법에 관한 것이다.
본 발명은 과학기술정보통신부의 재원으로 수행된 연구사업 및 경산시에서 지원한 2021년 메디챌린저 육성사업의 지원을 받아 수행된 연구/용역의 일환으로 출원된 특허이며, 관련 사항은 아래와 같다.
[과제고유번호] 2021000496
[부처명] 과학기술정보통신부
[연구관리전문기관] 한국연구재단
[연구사업명] 혁신형의사과학자공동연구사업(R&D)
[연구과제명] 의료 빅데이터를 이용한 뇌졸중 환자의 운동 기능 회복 예측 인공지능 개발: 초기 영상 데이터에 기반한 개발
[기여율] 1/2
[과제수행기관명] 영남대학교
[연구기간] 2021.01.01~2021.12.31
[과제고유번호]
[부처명] 경산시
[연구관리전문기관] 퍼넬즈
[연구사업명] 연구/용역
[연구과제명] 의료 빅데이터를 이용한 뇌졸중 환자의 삼킴 기능 회복 예측 인공지능 개발: 영상데이터에 기반한 개발
[기여율] 1/2
[주관기관] 대구경북첨단의료산업진흥재단
[연구기간] 2021.04.01~2021.11.30
연하에는 중추신경계에 의해 혀, 인두, 후두 및 식도 근육이 조절되는 과정이 포함된다. 연하 곤란은 뇌혈관, 신경근육, 신경퇴행성 질환 환자 등에서 흔히 발생하는 임상 증상이다.
연하 곤란을 정확하게 진단하기 위하여 사용하는 비디오 투시 연하 검사(Video Fluoroscopic Swallowing Study, VFSS)는 엑스선을 지속적으로 쏘는 투시촬영을 통하여 삼킴 장애를 평가하는 표준 검사이다. 이 검사는 동영상으로 촬영되어서 실시간 이미지를 제공해 준다는 특징이 있고, 인두기에서 섭취하는 음식의 통과 시간을 정량적으로 평가할 수 있어 삼킴 장애의 진행 정도나 치료 효과 평가에 유용하게 사용되고 있다.
머신 러닝은 명시적인 프로그래밍 없이 데이터에서 자동으로 학습할 수 있는 컴퓨터 알고리즘이다. 머신 러닝은 기존 기술의 한계를 극복하고 이미지 분석, 생물 정보학 및 자연어 처리와 같은 여러 분야에서 돌파구가 되어왔다. 또한, 여러 연구에서 근골격계 질환을 진단하고 질병의 예후를 예측하는 데 유용하게 사용될 가능성이 입증되었다.
딥러닝 기술은 고급 머신러닝 접근 방식 중 하나이다. 특히 다수의 은닉층을 이용하여 인간의 뇌와 유사한 구조와 기능을 가진 인공신경망을 구축한다. 딥러닝 기술은 기존의 머신러닝 기술을 능가할 수 있으며, 이미지 및 언어와 같은 구조화되지 않은 지각 데이터를 학습할 수 있다.
현재까지는 VFSS 이미지에 딥러닝을 접목하여 연하 곤란 환자들의 침습(penetration)과 흡인(aspiration)을 자동으로 결정하는 연구는 존재하지 않는다. 최근 의료 분야에서 딥러닝 연구가 급속히 발전함에 따라 VFSS 영상을 딥러닝을 통해 분석하여 해석의 복잡성으로 인해 임상의에게 가해진 부담을 줄일 필요가 있다.
본 발명의 배경이 되는 기술은 한국등록특허 제10-1302193호(2013.08.26 공고)에 개시되어 있다.
본 발명은 연하 곤란 환자의 VFSS 영상을 딥러닝 분석하여 환자의 칩습 또는 흡인 유무를 빠르고 정확하게 판별할 수 있는 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치 및 그 방법을 제공하는데 목적이 있다.
본 발명은, 복수의 대상자 별로 삼킴 동작 시 기록된 VFSS 영상과 대상자의 침습, 흡인 또는 정상 여부를 포함한 상태 정보를 수집하는 데이터 수집부와, 상기 대상자의 VFSS 영상에서 삼킴 시작 시점과 삼킴 완료 시점을 기준으로 추출한 총 M개의 관심 프레임 이미지를 입력받아 상기 대상자의 침습, 흡인 또는 정상 상태를 분류하기 위한 분류 모델을 딥러닝 학습시키는 학습부와, 분석 대상 환자의 VFSS 영상 내에서 삼킴 시작 시점을 기준으로 연속한 K개의 관심 프레임 이미지 및 삼킴 완료 시점을 기준으로 연속한 K개의 관심 프레임 이미지를 추출하는 프레임 추출부, 및 상기 추출에 따라 획득된 총 M개(M=2K)의 관심 프레임 이미지를 상기 분류 모듈에 입력하여 상기 분석 대상 환자의 침습, 흡인 또는 정상 여부를 판별하는 판별부를 포함하는 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치를 제공한다.
또한, 상기 삼킴 시작 시점은 상기 VFSS 영상에서 환자의 설골이 최고 높이에 도달하는 시점이고, 상기 삼킴 완료 시점은 상기 설골이 최저 높이에 도달하는 시점일 수 있다.
또한, 상기 프레임 추출부는, 상기 VFSS 영상을 구성한 시간 별 프레임 이미지로부터 설골이 최고 높이에 도달한 T1 시점 및 최저 높이에 도달한 T2 시점을 분석 후, 분석된 T1 시점을 중심으로 연속한 K개의 관심 프레임 이미지로 구성된 제1 이미지 셋과 및 T2 시점을 중심으로 연속한 K개의 제2 관심 프레임 이미지를 포함한 제2 이미지 셋을 각각 추출할 수 있다.
또한, 상기 분류 모델은, 상기 입력된 제1 및 제2 이미지 셋을 개별 분석하여 각 이미지 셋에서 침습, 흡인 또는 정상 여부를 1차 분류한 다음, 상기 제1 및 제2 이미지 셋을 통한 1차 분류 결과를 조합하여 상기 환자의 침습, 흡인 또는 정상 여부를 최종 분류하여 출력할 수 있다.
또한, 상기 분류 모델은, 합성곱 신경망(CNN) 알고리즘을 통하여 기 학습될 수 있다.
그리고, 본 발명은 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치를 이용한 환자의 침습 또는 흡인 유무 판별 방법에 있어서, 복수의 대상자 별로 삼킴 동작 시 기록된 VFSS 영상과 대상자의 침습, 흡인 또는 정상 여부를 포함한 상태 정보를 수집하는 단계와, 상기 대상자의 VFSS 영상에서 삼킴 시작 시점과 삼킴 완료 시점을 기준으로 추출한 총 M개의 관심 프레임 이미지를 입력받아 상기 대상자의 침습, 흡인 또는 정상 상태를 분류하기 위한 분류 모델을 딥러닝 학습시키는 단계와, 분석 대상 환자의 VFSS 영상 내에서 삼킴 시작 시점을 기준으로 연속한 K개의 관심 프레임 이미지 및 삼킴 완료 시점을 기준으로 연속한 K개의 관심 프레임 이미지를 추출하는 단계, 및 상기 추출에 따라 획득된 총 M개(M=2K)의 관심 프레임 이미지를 상기 분류 모듈에 입력하여 상기 분석 대상 환자의 침습, 흡인 또는 정상 여부를 판별하는 단계를 포함하는 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 방법을 제공한다.
본 발명에 따르면, 연하 곤란 환자의 VFSS 영상을 딥러닝 분석하여 연하 곤란 환자들의 침습 또는 흡인 유무를 빠르고 정확하게 자동으로 판별할 수 있다.
아울러, 본 발명은 VFSS 영상 해석을 딥러닝 기법으로 수행함에 따라 분석 정확도와 속도를 높일 수 있으며, 기존에 해석 복잡성으로 인하여 임상의에게 가해진 부담을 최소화할 수 있다.
도 1은 본 발명의 실시예에 따른 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치의 구성을 나타낸 도면이다.
도 2는 도 1의 각 부의 기능과 데이터 흐름을 간략히 설명한 도면이다
도 3a 내지 도 3c는 본 발명의 실시예에서 침습, 흡인 및 정상인 경우 각각에 대한 VFSS 영상 내 관심 프레임 이미지 추출 결과를 예시한 도면이다.
도 4는 본 발명의 실시예에서 분류 모델의 동작 과정을 설명한 도면이다.
도 5는 도 1의 장치를 이용한 연하 곤란 환자의 침습 또는 흡인 유무 판별 방법을 설명하는 도면이다.
도 6은 본 발명의 실시예에서 모델 학습에 사용된 환자 데이터의 세부 특징을 나타낸 도면이다.
도 7은 본 발명의 실시예에서 머신 러닝 분석에 사용된 VFSS 이미지를 예시적으로 나타낸 도면이다.
도 8은 사용된 머신러닝 알고리즘의 성능을 나타낸 도면이다.
도 9는 학습된 모델을 통한 최종 분류 성능 결과를 요약한 도면이다.
도 2는 도 1의 각 부의 기능과 데이터 흐름을 간략히 설명한 도면이다
도 3a 내지 도 3c는 본 발명의 실시예에서 침습, 흡인 및 정상인 경우 각각에 대한 VFSS 영상 내 관심 프레임 이미지 추출 결과를 예시한 도면이다.
도 4는 본 발명의 실시예에서 분류 모델의 동작 과정을 설명한 도면이다.
도 5는 도 1의 장치를 이용한 연하 곤란 환자의 침습 또는 흡인 유무 판별 방법을 설명하는 도면이다.
도 6은 본 발명의 실시예에서 모델 학습에 사용된 환자 데이터의 세부 특징을 나타낸 도면이다.
도 7은 본 발명의 실시예에서 머신 러닝 분석에 사용된 VFSS 이미지를 예시적으로 나타낸 도면이다.
도 8은 사용된 머신러닝 알고리즘의 성능을 나타낸 도면이다.
도 9는 학습된 모델을 통한 최종 분류 성능 결과를 요약한 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 연하 곤란 환자의 비디오 투시 연하 검사(Video Fluoroscopic Swallowing Study, VFSS) 영상을 딥러닝 분석하여 환자의 침습(penetration) 또는 흡인(aspiration)을 자동으로 탐지하는 기법을 제안한다.
도 1은 본 발명의 실시예에 따른 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치의 구성을 나타낸 도면이고, 도 2는 도 1의 각 부의 기능과 데이터 흐름을 간략히 설명한 도면이다
도 1 및 도 2를 참조하면, 본 발명의 실시예에 따른 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치(100)(이하, 판별 장치)는 데이터 수집부(110), 학습부(120), 데이터 획득부(130), 프레임 추출부(140), 판별부(150), 출력부(160)를 포함한다. 각 부(110~160)의 동작 및 각 부 간의 데이터 흐름은 제어부(미도시)에 의해 제어될 수 있다.
데이터 수집부(110)는 복수의 대상자 별로, 대상자의 삼킴 동작 시 기록된 VFSS 영상 및 대상자의 상태 정보(침습, 흡인 또는 정상 여부)를 기초 데이터로 수집한다. 수집된 VFSS 영상은 머신 러닝에 사용된다.
여기서, 대상자란 과거에 연하 곤란으로 VFSS 영상을 촬영한 이력이 있는 환자를 포함하며, 각각의 대상자는 이러한 VFSS 영상을 통하여 침습(penetration), 흡인(aspiration) 또는 정상(normal) 중 어느 하나의 상태로 분류되어 진다. 여기서 정상이란 침습도 흡입도 없는 상태를 의미한다.
본 발명의 실시예의 경우 연하 곤란이 있는 참가자들로부터 VFSS 영상 데이터를 기초 데이터로 수집하였다.
이때, 20세 미만인 자, 기관 절개술(tracheostomy)을 시행한 자, 안면 또는 두개골 이상이 있는 자, 그리고 인공물(artifact)로 인해 경추 또는 안면 뼈에 금속판이 있는 자를 대상자에서 제외하며, 이를 통하여 딥러닝 모델의 효율성, 정확도 및 유효성을 높인다.
본 발명의 실시예에서 대상자들은 "thin" 유체(fluid)를 5ml 씩 섭취한 상태에서 VFSS 검사를 수행하고, 검사 중에 VFSS 영상은 디지털 방식으로 기록되며 초당 30 개의 프레임 이미지로 저장되는 것을 가정한다.
VFSS 영상 분석 시 "침습"은 조영제가 진성대(true vocal cord) 위를 통과하고 아래로는 통과하지 못한 것으로 정의하고, "흡인"은 조영제가 진성대 아래를 통과한 것으로 정의한다.
여기서, 본 발명의 실시예는 모델 학습을 위해, 각 대상자별 VFSS 영상에 대한 관심 프레임 추출 과정을 거칠 수 있다. 이를 위해, 프레임 추출부(140)는 VFSS 영상에서 삼킴 시작 시점과 삼킴 완료 시점을 기준으로 관심 프레임 이미지를 각각 추출하고 추출한 관심 프레임 이미지를 학습부(120)로 제공할 수 있다.
프레임 추출부(140)는 VFSS 영상을 구성하는 시간에 따른 복수의 프레임 이미지 중에서 삼킴 시작 시점을 기준(중심)으로 연속한 K개(예: 5개)의 프레임 이미지를 추출하고, 삼킴 완료 시점을 기준(중심)으로 연속한 K개(예: 5개)의 프레임 이미지를 추출한다. 이에 따라 대상자 한명 당 M개(예: 10)개의 관심 프레임 이미지를 얻게 된다.
여기서, 삼킴 시작 시점은 VFSS 영상에서 환자의 설골이 최고 높이(High_peak)에 도달하는 시점을 의미하고, 삼킴 완료 시점은 설골이 최저 높이(Low_peak)에 도달하는 시점을 의미한다.
도 3a 내지 도 3c는 본 발명의 실시예에서 침습, 흡인 및 정상인 경우 각각에 대한 VFSS 영상 내 관심 프레임 이미지 추출 결과를 예시한 도면이다.
도 3a는 침습(aspiration)이 있는 대상자의 VFSS 영상에서 얻은 총 10장의 관심 프레임 이미지를 나타낸다. 마찬가지로 도 3b는 흡인(aspiration)이 있는 대상자에 대한 VFSS 영상에서 얻은 10장의 관심 프레임 이미지를 나타내고, 도 3c은 검사 결과 침습과 흡인이 모두 없는 정상(normal) 상태의 대상자에 대한 VFSS 영상에서 얻은 10장의 관심 프레임 이미지를 나타낸다.
각각의 도면에서 상단에 위치한 이미지들은 설골이 최고점(High_peak)인 시점의 프레임 이미지를 중심으로 앞뒤 시간에서 추출한 연속한 5개 프레임 이미지로서, 이는 삼킴 시작 시점에 대응하여 획득된 5장의 제1 이미지 셋에 해당한다.
그리고, 하단에 위치한 이미지들은 설골이 최저점(Low_peak)인 시점의 프레임 이미지를 중심으로 앞뒤 시간에서 추출한 연속한 5개 프레임 이미지로서, 삼킴 완료 시점에 대응하여 획득된 5장의 제2 이미지 셋에 해당한다.
데이터 수집부(110) 및 프레임 추출부(140)를 통하여 수집 및 추출된 데이터는 환자의 침습, 흡인, 정상 여부를 분류하기 위한 분류 모델의 학습에 활용된다.
앞서 도 3을 통해 확인할 수 있듯이, 흡인, 침습 및 정상인 경우 별로 이미지 내에서 드러나는 특징이 다르므로, 각 대상자 별로 이들 각 경우에 대한 이미지를 딥러닝 학습하게 되면, 특정 환자의 VFSS 영상 내 추출된 관심 프레임 이미지들을 딥러닝 모델에 입력하는 것만으로도 환자를 흡인, 침습, 정상 중 어느 하나의 상태로 분류할 수 있게 된다.
학습부(120)는 데이터 수집부(110) 및 프레임 추출부(140)를 통하여 수집 및 추출된 데이터를 이용하여 환자의 침습, 흡인, 정상 여부를 분류하기 위한 분류 모델을 학습시킨다.
구체적으로, 학습부(120)는 대상자의 VFSS 영상에서 삼킴 시작 시점과 삼킴 완료 시점을 기준으로 추출한 총 M개의 관심 프레임 이미지를 입력 데이터로 하고 해당 대상자의 상태 정보(침습, 흡인 또는 정상)를 출력 데이터로 하여 분류 모델을 학습시킨다.
즉, 대상자의 VFSS 영상 내에서 추출한 M개의 관심 프레임 이미지의 경우 분류 모델의 학습 시에 입력 데이터로 활용되고, 해당 대상자의 기 분류된 상태 정보(침습, 흡인, 정상 중 어느 하나)의 경우 분류 모델의 출력 데이터로 활용된다. 분류 모델은 이들 입력 데이터와 출력 데이터 간의 관계를 머신 러닝을 기반으로 학습하게 된다.
이에 따라, 분류 모델은 대상자의 VFSS 영상에서 추출한 총 M개의 관심 프레임 이미지의 입력에 대응하여, 해당 대상자의 상태를 침습, 흡인, 정상 중 어느 하나의 상태로 분류하도록 학습된다.
이때, 분류 모델은 입력된 제1 및 제2 이미지 셋을 개별 분석하여 각 이미지 셋에서 침습, 흡인 또는 정상 여부를 1차 분류한 다음, 제1 이미지 셋 및 제2 이미지 셋을 통한 1차 분류 결과를 서로 조합하여, 환자를 세 가지 상태(침습, 흡인, 정상) 중 어느 하나로 2차(최종) 분류하도록 학습될 수 있다.
학습부(120)는 인공지능 기반의 러닝 분석을 통하여 분류 모델을 생성할 수 있다. 분류 모델 생성에는 다양한 기법이 사용될 수 있는데, 본 발명의 실시예는 합성곱 신경망(CNN; Convolutional neural network) 알고리즘을 이용한 것을 대표 예시로 한다.
학습부(120)는 대상자 별로 대상자의 VFSS 영상에서 추출한 M개의 관심 프레임 이미지 및 그에 대응하는 대상자의 상태 정보 간의 관계를 지도 학습을 기반으로 지속적으로 머신 러닝 분석하고 업데이트할 수 있고 심층 신경망 내 가중치를 수정 및 최적화할 수 있다. 물론 그 과정에서 오차가 임계치 이하에 들어올 때까지 학습을 수행할 수 있다.
학습을 통하여 분류 모델이 완성되면, 임의의 분석 대상 환자에 대한 VFSS 영상 내의 관심 프레임 이미지들을 해당 분류 모델에 적용하는 것만으로도 분석 대상 환자가 침습, 흡인 또는 정상인지를 판별할 수 있다.
이를 위해, 데이터 획득부(130)는 분석 대상 환자에 대하여 촬영된 VFSS 영상을 획득하고 이를 프레임 추출부(140)로 전달한다. 여기서 데이터 획득부(130)는 EMR 또는 병원 서버, 시스템, 의료진 측 단말 등과 연동하여 분석 대상 환자의 VRSS 데이터를 검색, 조회 및 로딩하여 획득할 수도 있고, 현장의 VFSS 장비로부터 실시간 획득할 수도 있다.
프레임 추출부(140)는 획득된 VFSS 영상 내에서 환자의 삼킴 시작 시점을 기준으로 연속한 K개(예: 5개)의 관심 프레임 이미지 및 삼킴 완료 시점을 기준으로 연속한 K개(예: 5개)의 관심 프레임 이미지를 각각 추출한다.
구체적으로, 프레임 추출부(140)는 VFSS 영상을 구성한 각 시간 별 프레임 이미지로부터, 설골이 최고 높이(High_peak)에 도달한 시점(T1 시점)과 설골이 최저 높이(Low_peak)에 도달한 시점(T2 시점)을 분석한다.
즉, 프레임 추출부(140)는 VFSS 영상을 구성한 매 시간 프레임의 이미지를 분석하여 설골이 가장 높이 위치한 시점(T1)과 가장 낮게 위치한 시점(T2)을 탐색한다.
예를 들어, 프레임 추출부(140)는 각 시간 프레임 이미지를 영상 처리 및 분석하여 영상 내 설골 부위를 탐색 후, 각 프레임 이미지 별로 설골 부위의 높이 좌표(y축 좌표)를 비교하여 설골이 최고점에 이른 시점(T1) 및 최저점에 이른 시점(T2)을 각각 확인할 수 있다.
이후에는, 탐색된 T1 시점을 중심으로 서로 연속한 K개의 프레임 이미지(이하, 제1 이미지 셋)와, T2 시점을 중심으로 서로 연속한 K개의 프레임 이미지(이하, 제2 이미지 셋)을 각각 추출한다.
물론, 이에 따라, 제1 이미지 셋은 T1 시점의 프레임 이미지를 포함한 총 5개의 연속된 프레임 이미지로 구성되고, 제2 이미지 셋은 T2 시점의 프레임 이미지를 포함한 총 5개의 연속된 프레임 이미지로 구성된다. 이러한 제1 이미지 셋과 제2 이미지 셋의 추출 과정은 앞서 도 3을 통하여 설명한 바 있다.
이를 통해, 분석 대상 환자의 VFSS 영상으로부터 총 M개(예: 10개)의 관심 프레임 이미지가 획득되며, 획득된 10개의 이미지는 판별부(150)로 전달된다.
판별부(150)는 획득된 총 M개(M=2K)의 관심 프레임 이미지를 사전 학습된 분류 모듈에 입력하여, 분석 대상 환자의 침습, 흡인 또는 정상 여부를 판별한다.
구체적으로, 판별부(150)는 환자의 설골이 최대 높이에 도달한 시점을 기준으로 확보한 제1 이미지 셋과 설골이 최소 높이에 도달한 시점을 기준으로 확보한 제2 이미지 셋을 분류 모델에 입력한다. 그러면 분류 모델은 제1 이미지 셋으로부터 얻은 1차 분류 결과 및 제2 이미지 셋으로부터 얻은 1차 분류 결과를 서로 조합하여 최종 분류 결과를 도출한다.
상술한 동작을 위하여, 분류 모델은 제1 이미지 셋과 제2 이미지 셋을 개별 입력받아 분석 대상 환자의 상태를 각각 1차 분류하기 위한 제1 및 제2 분류기와, 이들 제1 및 제2 분류기의 분류 결과를 입력받아 최종적으로 2차 분류하기 위한 제3 분류기를 포함하여 구성될 수 있다.
도 4는 본 발명의 실시예에서 분류 모델의 동작을 설명한 도면이다.
도 4에 나타낸 것과 같이, 제1 분류기(High-peak classifier) 및 제2 분류기(Low-peak classifier)는 각각 1차 분류기(Initial classifier)에 해당하고, 제3 분류기(VFSS intergrated classifier)는 최종 분류기(Final classifier)에 해당한다.
제1 분류기(High-peak classifier)은 설골의 최고점에 대응한 5개의 이미지(제1 이미지 셋)를 입력받아 분석 대상 환자의 상태를 침습, 흡인, 정상 중 어느 하나로 1차 분류한다. 마찬가지로, 제2 분류기(Low-peak classifier)는 설골의 최저점에 대응한 5개의 이미지(제2 이미지 셋)를 입력받아 분석 대상 환자의 상태를 침습, 흡인, 정상 중 어느 하나로 1차 분류한다. 각 분류기의 분류 결과는 최종 분류기인 제3 분류기로 전달된다.
제3 분류기(intergrated classifier)는 제1 이미지 셋을 통한 1차 분류 결과와 제2 이미지 셋을 통한 1차 분류 결과를 서로 조합하여, 분석 대상 환자의 상태를 침습, 흡인, 정상 중 어느 하나로 최종(확정) 분류한다.
각 분류기의 구체적인 분류 동작은 아래 표 1과 같이 수행될 수 있다.
| Classification model |
연하 곤란 분류 기준 |
| 1차 분류 (Initial classifier) |
정상(Normal) : NI ≥ 4 침습(Penetration) : NI < 4 and AI = 0 흡인(Aspiration) : NI < 4 and AI ≥ 1 |
| 최종 분류 (Integrated classifier) |
정상(Normal) : N = 2 침습(Penetration) : N ≤ 1 and A = 0 흡인(Aspiration) : N ≤ 1 and A ≥ 1 |
표 1은 두 개의 1차 분류기(High-peak classifier, Low-peak classifier) 및 이를 이용한 최종 분류기(intergrated classifier)의 분류 기준을 예시한 것이다. 표 1에서 'NI'는 딥러닝 분석 결과, 침습과 흡인이 미발견된 '정상 이미지'(normal image)를 나타내고, 'AI'는 흡인이 발견된 '흡인 이미지'(aspiration image)를 나타낸다. 또한, N 및 A는 1차 분류 결과로, N은 정상, A는 흡인을 나타낸다.
먼저, 제1 분류기 및 제2 분류기에서 수행하는 1차 분류 동작은 다음과 같다. 표 1과 같이, 1차 분류 시에는 입력된 5개 이미지를 딥러닝 알고리즘을 통하여 분석한 결과, 침습 및 흡인이 모두 발견되지 않은 정상 이미지가 4개 이상(NI≥4)이면 '정상'으로 1차 분류한다. 여기서 정상 이미지(NI)가 4개 미만(NI<4)일 때는 흡인이 발견된 이미지가 0개(AI=0) 이면 '침습'으로 1차 분류하고, 흡인이 발견된 이미지가 최소 1개 이상(AI≥1)일 때는 '흡인'으로 1차 분류한다.
다음의 제3 분류기에서 수행하는 최종 분류 동작은 다음과 같다. 최종 분류 시에는 위에서 나온 제1 및 제2 분류기의 1차 분류 결과가 모두 '정상'(정상이 2개; N=2)일 때만 "정상"으로 최종 분류하고, '정상'이 하나 이하(N≤1)이면서 '흡인' 결과가 전혀 없다면(A=0), "침투"로 최종 분류하고, '정상'이 하나 이하(N≤1)이면서 '흡인'이 최소 1개 이상(A≥1)이면, "흡인"으로 최종 분류한다.
판별부(150)는 분류 모델에서 최종 도출된 분석 대상 환자의 최종 분류 결과를 출력부(160)로 제공한다.
출력부(160)는 판별부(150)에서 분류 모델을 통해 획득한 최종 판별 결과(분석 대상 환자의 침습, 흡인 또는 정상 상태)를 디스플레이 등을 통하여 출력하여 제공한다. 아울러, 해당 환자의 VFSS 영상 플레이 기능 및 도 3과 같은 형태의 제1 이미지 셋과 제2 이미지 셋의 출력 기능을 함께 제공할 수 있다.
본 발명의 실시예에 따른 판별 장치(100)는 환자의 침습 또는 흡인 유무 판별을 수행하는 서버 그 자체 일수도 있고, 의료진 측의 단말 장치(PC, 데스크탑, 스마트폰, 노트북, 패드 등) 또는 사용자 단말 상에 구현되는 어플리케이션(Application)에 해당할 수도 있다. 따라서 각 단말은 관련 어플리케이션(응용 프로그램)이 실행된 상태에서 판별 장치(100)와 네트워크 접속되어 관련 서비스를 제공받을 수 있다.
도 5는 도 1의 장치를 이용한 연하 곤란 환자의 침습 또는 흡인 유무 판별 방법을 설명하는 도면이다.
먼저, 데이터 수집부(110)는 복수의 대상자 별로, 대상자의 삼킴 동작 시 기록된 VFSS 영상과 대상자의 침습, 흡인 또는 정상 여부를 포함한 상태 정보를 기초(학습) 데이터로 수집한다(S510).
이때, 대상자의 VFSS 영상의 경우 프레임 추출부(140)에 입력된 후 삼킴 시작 시점과 완료 시점을 기준으로 각각 K개의 관심 프레임 이미지가 추출될 수 있다.
각 대상자의 VFSS 영상에서 추출된 M개(=2K)의 관심 프레임 이미지 및 각 대상자의 상태 정보는 대상자 식별 코드를 통해 서로 매칭되어 학습부(120)로 전달될 수 있다.
다음, 학습부(120)는 대상자의 VFSS 영상에서 삼킴 시작 시점과 삼킴 완료 시점을 기준으로 추출한 총 M개의 관심 프레임 이미지를 입력받아, 대상자의 침습, 흡인 또는 정상 상태를 분류하기 위한 분류 모델을 딥러닝 학습시킨다(S520).
이때, 학습부(120)는 합성곱 신경망(CNN)을 이용하여 모델을 학습시킬 수 있으며, 관련 환자들에 대한 빅데이터의 학습을 통하여 모델의 신뢰성을 높일 수 있다.
이후, 데이터 획득부(130)는 분석 대상 환자에 대응하여 촬영된 VFSS 영상을 입력받고(S530), 이를 판별부(150)로 전달한다. 데이터 획득부(130)는 병원 서버, EMR, 의료진 측 단말 장치, 현장의 VFSS 장비 중 적어도 하나와 연동하여 관련 데이터를 획득하거나 입력받을 수 있다.
다음, 프레임 추출부(140)는 입력된 VFSS 영상 내에서 분석 대상 환자의 삼킴 시작 시점을 기준으로 연속한 K개의 관심 프레임 이미지 및 삼킴 완료 시점을 기준으로 연속한 K개의 관심 프레임 이미지를 추출하고(S540), 추출한 총 M개(=2K개)의 관심 프레임 이미지를 판별부(150)로 전달한다.
그러면, 판별부(150)는 입력된 총 M개의 관심 프레임 이미지를 분류 모듈에 적용하여, 분석 대상 환자의 침습, 흡인 또는 정상 여부를 최종 판별한다(S550).
이후, 출력부(160)는 판별부(150)에서 분류 모델을 통해 획득한 최종 분류 결과를 디스플레이 등을 통하여 출력할 수 있다(S360). 이때, 분석 대상 환자의 전체 VFSS 영상과 해당 영상에서 추출된 제1 및 제2 이미지 셋을 함께 제공할 수 있다.
다음은 사용된 머신 러닝 알고리즘에 따른 본 발명의 예측 성능을 설명한다.
도 6은 본 발명의 실시예에서 모델 학습에 사용된 환자 데이터의 세부 특징을 나타낸 도면이고, 도 7은 본 발명의 실시예에서 머신 러닝 분석에 사용된 VFSS 이미지를 예시적으로 나타낸 도면이다.
총 190 명의 환자(평균 연령, 66.83 ± 15.47 세, 남성 92 명, 여성 88 명)를 대상으로 데이터를 수집하였다. 도 7은 그중에서 어느 한 환자의 VFSS 영상에서 추출한 10개의 이미지를 예시하고 이다.
알고리즘은 파이썬(python) 프로그램으로 구현되었으며, Python 프로그래밍 언어를 사용하여 convolutional neural network를 적용하였다. 그리고 Tensorflow 2.4와 Keras 프레임워크 및 scikit-learn tookit 0.24.1을 사용하여 CNN 모델을 학습하였다.
또한, SGD Oprimizer를 사용하여 학습 모델 최적화 수행하였으며, 이를 통하여 연하 곤란 환자를 정상(침습 및 흡인 없음), 침습 혹은 흡인 그룹으로 구분하기 위한 학습을 수행하였다. 통계 분석은 receiver operating characteristic curve (ROC curve) 분석을 수행하였고, scikit-learn을 사용하여 area under the curve(AUC)를 계산하였다.
도 8은 사용된 머신러닝 알고리즘의 성능을 나타낸 도면이고, 도 9는 학습된 모델을 통한 최종 분류 성능 결과를 요약한 도면이다.
도 8 및 도 9의 결과로부터 연하 곤란 환자들의 VFSS 영상을 딥러닝 분석하는 경우 정상(normal), 침습(penetration), 흡인(aspiration) 각각의 분류 결과에 대한 Validation AUC 값은 0.946, 0.885, 1.000로서, CNN 알고리즘으로 구현한 본 발명의 예측 모델은 신뢰할 만한 성능을 나타냄을 확인할 수 있으며, 특히 흡인의 경우 100%의 분류 성능을 나타낸 것을 알 수 있다.
본 발명에 따르면, 연하 곤란 환자의 VFSS 영상을 딥러닝 분석하여 연하 곤란 환자들의 침습 또는 흡인 유무를 빠르고 정확하게 자동으로 판별할 수 있으며, VFSS 영상 해석을 딥러닝 기법으로 수행함에 따라 분석 정확도와 속도를 높임은 물론 기존에 해석 복잡성으로 인하여 임상의에게 가해진 부담을 최소화할 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 환자의 침습 또는 흡인 유무 판별 장치
110: 데이터 수집부 120: 학습부
130: 데이터 획득부 140: 프레임 추출부
150: 판별부 160: 출력부
110: 데이터 수집부 120: 학습부
130: 데이터 획득부 140: 프레임 추출부
150: 판별부 160: 출력부
Claims (10)
- 복수의 대상자 별로 삼킴 동작 시 기록된 VFSS 영상과 대상자의 침습, 흡인 또는 정상 여부를 포함한 상태 정보를 수집하는 데이터 수집부;
상기 대상자의 VFSS 영상에서 삼킴 시작 시점과 삼킴 완료 시점을 기준으로 추출한 총 M개의 관심 프레임 이미지를 입력받아 상기 대상자의 침습, 흡인 또는 정상 상태를 분류하기 위한 분류 모델을 딥러닝 학습시키는 학습부;
분석 대상 환자의 VFSS 영상 내에서 삼킴 시작 시점을 기준으로 연속한 K개의 관심 프레임 이미지 및 삼킴 완료 시점을 기준으로 연속한 K개의 관심 프레임 이미지를 추출하는 프레임 추출부; 및
상기 추출에 따라 획득된 총 M개(M=2K)의 관심 프레임 이미지를 상기 분류 모듈에 입력하여 상기 분석 대상 환자의 침습, 흡인 또는 정상 여부를 판별하는 판별부를 포함하는 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치. - 청구항 1에 있어서,
상기 삼킴 시작 시점은 상기 VFSS 영상에서 환자의 설골이 최고 높이에 도달하는 시점이고, 상기 삼킴 완료 시점은 상기 설골이 최저 높이에 도달하는 시점인 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치. - 청구항 1에 있어서,
상기 프레임 추출부는,
상기 VFSS 영상을 구성한 시간 별 프레임 이미지로부터 설골이 최고 높이에 도달한 T1 시점 및 최저 높이에 도달한 T2 시점을 분석 후,
분석된 T1 시점을 중심으로 연속한 K개의 관심 프레임 이미지로 구성된 제1 이미지 셋과 및 T2 시점을 중심으로 연속한 K개의 제2 관심 프레임 이미지를 포함한 제2 이미지 셋을 각각 추출하는 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치. - 청구항 3에 있어서,
상기 분류 모델은,
상기 입력된 제1 및 제2 이미지 셋을 개별 분석하여 각 이미지 셋에서 침습, 흡인 또는 정상 여부를 1차 분류한 다음,
상기 제1 및 제2 이미지 셋을 통한 1차 분류 결과를 조합하여 상기 환자의 침습, 흡인 또는 정상 여부를 최종 분류하여 출력하는 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치. - 청구항 1에 있어서,
상기 분류 모델은,
합성곱 신경망(CNN) 알고리즘을 통하여 기 학습된 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치. - VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치를 이용한 환자의 침습 또는 흡인 유무 판별 방법에 있어서,
복수의 대상자 별로 삼킴 동작 시 기록된 VFSS 영상과 대상자의 침습, 흡인 또는 정상 여부를 포함한 상태 정보를 수집하는 단계;
상기 대상자의 VFSS 영상에서 삼킴 시작 시점과 삼킴 완료 시점을 기준으로 추출한 총 M개의 관심 프레임 이미지를 입력받아 상기 대상자의 침습, 흡인 또는 정상 상태를 분류하기 위한 분류 모델을 딥러닝 학습시키는 단계;
분석 대상 환자의 VFSS 영상 내에서 삼킴 시작 시점을 기준으로 연속한 K개의 관심 프레임 이미지 및 삼킴 완료 시점을 기준으로 연속한 K개의 관심 프레임 이미지를 추출하는 단계; 및
상기 추출에 따라 획득된 총 M개(M=2K)의 관심 프레임 이미지를 상기 분류 모듈에 입력하여 상기 분석 대상 환자의 침습, 흡인 또는 정상 여부를 판별하는 단계를 포함하는 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 방법. - 청구항 6에 있어서,
상기 삼킴 시작 시점은 상기 VFSS 영상에서 환자의 설골이 최고 높이에 도달하는 시점이고, 상기 삼킴 완료 시점은 상기 설골이 최저 높이에 도달하는 시점인 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 방법. - 청구항 6에 있어서,
상기 관심 프레임 이미지를 추출하는 단계는,
상기 VFSS 영상을 구성한 시간 별 프레임 이미지로부터 설골이 최고 높이에 도달한 T1 시점 및 최저 높이에 도달한 T2 시점을 분석 후,
분석된 T1 시점을 중심으로 연속한 K개의 관심 프레임 이미지로 구성된 제1 이미지 셋과 및 T2 시점을 중심으로 연속한 K개의 제2 관심 프레임 이미지를 포함한 제2 이미지 셋을 각각 추출하는 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 방법. - 청구항 8에 있어서,
상기 분류 모델은,
상기 입력된 제1 및 제2 이미지 셋을 개별 분석하여 각 이미지 셋에서 침습, 흡인 또는 정상 여부를 1차 분류한 다음,
상기 제1 및 제2 이미지 셋을 통한 1차 분류 결과를 조합하여 상기 환자의 침습, 흡인 또는 정상 여부를 최종 분류하여 출력하는 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 방법. - 청구항 6에 있어서,
상기 분류 모델은,
합성곱 신경망(CNN) 알고리즘을 통하여 기 학습된 VFSS 영상을 이용한 환자의 침습 또는 흡인 유무 판별 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210075441A KR102551723B1 (ko) | 2021-06-10 | 2021-06-10 | Vfss 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치 및 그 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210075441A KR102551723B1 (ko) | 2021-06-10 | 2021-06-10 | Vfss 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치 및 그 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220166544A true KR20220166544A (ko) | 2022-12-19 |
| KR102551723B1 KR102551723B1 (ko) | 2023-07-06 |
Family
ID=84535566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210075441A KR102551723B1 (ko) | 2021-06-10 | 2021-06-10 | Vfss 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치 및 그 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102551723B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102094828B1 (ko) * | 2019-09-24 | 2020-04-27 | 가톨릭대학교 산학협력단 | 비디오투시 연하검사 판독 장치 및 방법 |
-
2021
- 2021-06-10 KR KR1020210075441A patent/KR102551723B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102094828B1 (ko) * | 2019-09-24 | 2020-04-27 | 가톨릭대학교 산학협력단 | 비디오투시 연하검사 판독 장치 및 방법 |
Non-Patent Citations (2)
| Title |
|---|
| Jong Taek Lee 외 4인 "Machine learning analysis to automatically measure response time of pharyngeal swallowing refex in videofuoroscopic swallowing study". SCIENTIFIC REPORTS. 2020년 공개 1부.* * |
| Kraaijenga 외 5인. "Hyoid bone displacement as parameter for swallowing impairment in patients treated for advanced head and neck cancer". European Archives of Oto-Rhino-Laryngology. 2017년 공개 1부.* * |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102551723B1 (ko) | 2023-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lu et al. | Vision-based estimation of MDS-UPDRS gait scores for assessing Parkinson’s disease motor severity | |
| CN105559802B (zh) | 基于注意和情感信息融合的抑郁诊断系统及数据处理方法 | |
| US7428323B2 (en) | Method and system for automatic diagnosis of possible brain disease | |
| CN101742961B (zh) | 诊断支持设备及系统 | |
| US20130184538A1 (en) | Method and device for swallowing impairment detection | |
| US20230248998A1 (en) | System and method for predicting diseases in its early phase using artificial intelligence | |
| KR20170061222A (ko) | 건강데이터 패턴의 일반화를 통한 건강수치 예측 방법 및 그 장치 | |
| Deters et al. | Hidden Markov Model approach for the assessment of tele-rehabilitation exercises | |
| CN112890815A (zh) | 一种基于深度学习的孤独症辅助评估系统和方法 | |
| US20210134442A1 (en) | Medical image diagnosis assistance apparatus and method using plurality of medical image diagnosis algorithms for endoscopic images | |
| Zeng et al. | Automated detection of diabetic retinopathy using a binocular siamese-like convolutional network | |
| Chiwariro et al. | Comparative analysis of deep learning convolutional neural networks based on transfer learning for pneumonia detection | |
| Jaswal et al. | Early Stage Emphysema Detection in Chest X-ray Images: A Machine Learning based Approach | |
| CN113329683A (zh) | 用于筛查吞咽受损的方法和装置 | |
| Abhishek et al. | Towards accurate auscultation sound classification with convolutional neural network | |
| KR20200123618A (ko) | Mri 영상을 이용한 노인 정신질환의 조기 변화 감별 장치 및 방법 | |
| Islam et al. | Chest X‐Ray Images to Differentiate COVID‐19 from Pneumonia with Artificial Intelligence Techniques | |
| KR102551723B1 (ko) | Vfss 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치 및 그 방법 | |
| Van Uden et al. | Exploring the Versatility of Zero-Shot CLIP for Interstitial Lung Disease Classification | |
| Bansal et al. | Pre-diagnostic tool to predict obstructive lung diseases using iris recognition system | |
| Yazar | A Comparative study on classification performance of Emphysema with transfer learning methods in deep convolutional neural networks | |
| Saaudi et al. | Clustering and Visualizing of Chest X-ray Images for Covid-19 Detection | |
| Ramya et al. | Detection of Pneumonia by Binary Image Classification Using Hybrid Neural Networks | |
| Vashisht et al. | Using Support Vector Machine to Detect and Classify the Alzheimer Disease | |
| KR102707289B1 (ko) | 방사선 이미지를 이용한 대퇴골두 무혈성 괴사 판별 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |