KR102094828B1 - 비디오투시 연하검사 판독 장치 및 방법 - Google Patents

비디오투시 연하검사 판독 장치 및 방법 Download PDF

Info

Publication number
KR102094828B1
KR102094828B1 KR1020190117391A KR20190117391A KR102094828B1 KR 102094828 B1 KR102094828 B1 KR 102094828B1 KR 1020190117391 A KR1020190117391 A KR 1020190117391A KR 20190117391 A KR20190117391 A KR 20190117391A KR 102094828 B1 KR102094828 B1 KR 102094828B1
Authority
KR
South Korea
Prior art keywords
food
anatomical
video
anatomical position
movement
Prior art date
Application number
KR1020190117391A
Other languages
English (en)
Inventor
장동진
박성준
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority to KR1020190117391A priority Critical patent/KR102094828B1/ko
Application granted granted Critical
Publication of KR102094828B1 publication Critical patent/KR102094828B1/ko
Priority to PCT/KR2020/010735 priority patent/WO2021060700A1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4205Evaluating swallowing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/481Diagnostic techniques involving the use of contrast agents
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/486Diagnostic techniques involving generating temporal series of image data
    • A61B6/487Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Software Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Endocrinology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

비디오투시 연하검사 판독 장치가 개시된다. 비디오투시 연하검사 판독 장치로서, 피검사자의 음식물 섭취 중에 해부학적 위치의 움직임이 촬영된 비디오투시 영상이 입력되는 영상 입력부; 비디오투시 영상에서 해부학적 위치를 미리 설정된 해부학적 표준 위치에 대응되도록 지정하고 해부학적 위치에 대한 음식물의 위치를 지정하는 해부학적 위치 지정부; 해부학적 위치 및 음식물의 위치의 좌표를 설정하는 좌표 설정부; 해부학적 위치가 움직이는 정도와 음식물의 이동 경로를 추적하는 위치 추적부 및 해부학적 위치가 움직이는 정도와 음식물의 이동 경로를 분석하여 삼킴장애 여부를 판독하는 판독부를 포함한다.

Description

비디오투시 연하검사 판독 장치 및 방법{Apparatus and Method for Videofluoroscopic Swallowing Study}
본 발명은 비디오투시 연하검사 판독 장치 및 방법에 관한 것으로, 보다 상세하게는, 인공지능 알고리즘 기반 비디오투시 연하검사 판독 장치 및 방법에 관한 것이다.
삼킴(연하)는 구강내 조직의 조화로운 움직임에 의해 이루어진다. 이와 관련하여 삼킴장애(곤란)은 근신경 계통의 이상 또는 구강에서 상부식도에 이르는 구간의 구조적 이상으로 인해 발생하는 삼킴의 어려움을 말한다.
이러한 삼킴장애는 신생아부터 노인에 이르기까지 모든 연령대에서 발생할 수 있고, 다양한 선천적인 기형이나 구조적인 손상, 혹은 의학적인 상태의 결과로 발생될 수 있다. 구체적으로, 삼킴장애를 발생시키는 원인은 다양하며, 특히 단순한 치아의 이상이나 보형물에 의한 가벼운 원인이 있고, 뇌졸중(Stroker) 등 기타 신경성 질환에 의한 신경 마비로 인한 입, 인두 및 식도 근육의 마비, 인두나 식도가 좁아진 협착, 주변 기관의 기형에 따른 식도 압박, 식도의 연축으로 인한 경련, 음식을 입으로 식도로 이동시키는 추진 장애 등이 있으며, 증상으로는 침을 흘리거나 음식물이 식도에서 멈춘 느낌 등이 나타날 수 있다.
일반적으로, 삼킴장애 여부를 판독하기 위하여 비디오투시 연하검사(VFS, videofluoroscopic swallowing study)가 이루어진다. 특히, 의료 지식을 겸비한 의료인이 여러 프레임으로 구성된 복수의 VFS파일을 직접 관찰함으로써 기도흡인(aspiration) 또는 비강흡입 여부를 판독하고 있다.
그러나, 의료인에 의한 삼킴장애 여부 판독은 의료인의 경험 또는 역량에 따라 정확도의 편차가 크다. 그리고 판독을 위한 별도의 시간을 필요로 한다는 단점이 있다.
본 발명의 일 실시예는 비디오투시 영상으로부터 삼킴장애 여부를 스스로 판독할 수 있는 비디오투시 연하검사 판독 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 객관성과 정확성이 높은 비디오투시 연하검사 판독 장치 및 방법을 제공하고자 한다.
본 발명의 일 측면에 따르면, 비디오투시 연하검사 판독 장치로서, 피검사자의 음식물 섭취 중에 해부학적 위치의 움직임이 촬영된 비디오투시 영상이 입력되는 영상 입력부; 상기 비디오투시 영상에서 상기 해부학적 위치를 미리 설정된 해부학적 표준 위치에 대응되도록 지정하고 상기 해부학적 위치에 대한 음식물의 위치를 지정하는 해부학적 위치 지정부; 상기 해부학적 위치 및 상기 음식물의 위치의 좌표를 설정하는 좌표 설정부; 상기 해부학적 위치가 움직이는 정도와 상기 음식물의 이동 경로를 추적하는 위치 추적부 및 상기 해부학적 위치가 움직이는 정도와 상기 음식물의 이동 경로를 분석하여 삼킴장애 여부를 판독하는 판독부를 포함하는, 비디오투시 연하검사 판독 장치가 제공된다.
이때, 상기 영상 입력부, 위치 지정부, 좌표 설정부, 위치 추적부 또는 판독부 중 적어도 하나는 기계 학습을 통해 학습되는 알고리즘을 이용할 수 있다.
이때, 상기 알고리즘은 인공 신경망을 구축하여 상기 기계 학습을 수행할 수 있다.
이때, 상기 해부학적 표준 위치는 혀(tongue), 경구개(hard palate), 연구개(soft palate), 하악각(mandibular angle), 후두개(epiglottis), 후두개골(valleculae), 후두전정(laryngeal vestibule), 제4목뼈(C4 vertebra), 이상와(pyriform sinus), 상부식도 괄약근(UES), 성대(vocal cord), 식도(esophagus) 또는 기관(trachea) 중 적어도 하나일 수 있다.
이때, 상기 위치 추적부는 상기 비디오투시 영상으로부터 분할된 영상에 포함된 상기 해부학적 위치 및 음식물의 위치를 누적할 수 있다.
이때, 상기 판독부의 삼킴장애 여부 판독 결과는 기도흡인, 비강흡입 또는 정상 중 어느 하나일 수 있다.
이때, 상기 판독부는 미리 정해진 임상적 파라미터를 기준으로 상기 좌표의 이동 정도를 비교하여 상기 삼킴장애 여부를 판독할 수 있다.
이때, 상기 판독부는 음식물의 이동경로를 표준 경로 모델과 비교하여 상기 삼킴장애 여부를 판독할 수 있다.
본 발명의 다른 측면에 따르면, 기계 학습 기반의 알고리즘을 이용하여 비디오투시 연하검사 판독을 하는 방법으로서, 복수의 비디오투시 영상을 입력하여 상기 알고리즘을 학습시키는 단계; 피검사자의 음식물 섭취 중에 해부학적 위치의 움직임이 촬영된 비디오투시 영상을 입력하는 단계; 상기 비디오투시 영상에서 상기 해부학적 위치를 미리 설정된 해부학적 표준 위치에 대응되도록 지정하고 상기 해부학적 위치에 대한 음식물의 위치를 지정하는 단계; 상기 해부학적 위치 및 상기 음식물의 위치의 좌표를 설정하는 단계; 상기 해부학적 위치가 움직이는 정도와 음식물의 위치를 추적하는 단계 및 상기 해부학적 위치가 움직이는 정도와 음식물의 이동경로를 분석하여 삼킴장애 여부를 판독하는 단계를 포함하는, 비디오투시 연하검사 판독 방법이 제공된다.
본 발명의 일 실시예에 따르면, 기계 학습을 통해 학습된 알고리즘을 통해 비디오투시 영상으로부터 삼킴장애 여부를 판독할 수 있어서 의료인에 영상 판독으로 인한 비용과 시간을 절감할 수 있다.
본 발명의 일 실시예에 따르면, 기계 학습을 통해 학습된 알고리즘을 통해 비디오투시 영상으로부터 삼킴장애 여부를 판독할 수 있어서 비디오투시 연하 검사의 객관성과 정확성을 제고할 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오투시 연하검사 판독 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 비디오투시 연하검사 판독 장치의 좌표 설정부에서 지정하는 해부학적 표준 위치를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 비디오투시 연하검사 판독 장치가 분할된 영상의 음식물의 위치를 하나의 영상에 누적하는 것의 일례를 나타낸 도면이다.
도 4은 본 발명의 일 실시예에 따른 비디오투시 연하검사 판독 장치가 정상 판독을 하는 경우의 VFS파일을 나타낸 도면이다.
도 5은 본 발명의 일 실시예에 따른 비디오투시 연하검사 판독 장치가 기도흡인 판독을 하는 경우의 VFS파일을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 비디오투시 연하검사 판독 장치가 비강흡입 판독을 하는 경우의 VFS파일을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 비디오투시 연하검사 판독 장치가 삼킴장애 여부 판독시 대비하는 표준 경로 모델을 나타낸 도면이다.
도 8는 본 발명의 일 실시예에 따른 비디오투시 연하검사 판독 장치가 비디오투시 연하검사를 수행하는 방법의 순서도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 비디오투시 연하검사 판독 장치(1)는 비디오투시 영상을 분석하여 삼킴장애 여부를 판독하는 장치로서, 특히 기계 학습을 통해 학습된 알고리즘을 이용하여 의료인의 판독 없이 비디오투시 연하검사를 수행하는 장치에 관한 것이다.
도 1은 본 발명의 일 실시예에 따른 비디오투시 연하검사 판독 장치의 구성도이다. 도 2는 본 발명의 일 실시예에 따른 비디오투시 연하검사 판독 장치의 좌표 설정부에서 지정하는 해부학적 표준 위치를 나타낸 도면이다. 도 3은 본 발명의 일 실시예에 따른 비디오투시 연하검사 판독 장치가 분할된 영상의 음식물의 위치를 하나의 영상에 누적하는 것의 일례를 나타낸 도면이다. 도 4 내지 도 6는 각각 본 발명의 일 실시예에 따른 비디오투시 연하검사 판독 장치가 정상, 기도흡인, 비강흡입 판독을 하는 경우의 VFS파일을 나타낸 도면이다. 도 7은 본 발명의 일 실시예에 따른 비디오투시 연하검사 판독 장치가 삼킴장애 여부 판독시 대비하는 표준 경로 모델을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 비디오투시 연하검사 판독 장치(1, 이하 연하검사 장치)는 영상 입력부(110), 해부학적 위치 지정부(120), 좌표 설정부(130), 위치 추적부(140) 및 판독부(150)를 포함한다.
본 발명의 일 실시예에서, 영상 입력부(110)는 피검사자의 음식물 섭취 중에 촬영된 비디오투시 영상(V)을 입력 받는다. 비디오투시 영상(V)은 피검사자의 신체 조직의 움직임을 확인할 수 있는 영상으로서, 이때 신체 조직은 구강, 인두, 식도, 후두 또는 기관 중 적어도 하나일 수 있다. 또한 비디오투시 영상(V)은 X선을 이용하는 X-ray 영상뿐만 아니라 자기공명영상(MRI) 영상 등을 포함할 수 있다.
이때, 비디오투시 영상(V) 촬영 시 피검사자는 조영제를 포함하는 음식물을 섭취할 수 있다. 이것은 비디오투시 영상(V) 내에서 음식물의 위치를 보다 명확하게 표시하기 위함이다.
본 발명의 일 실시예에 따른 연하검사 장치(1)의 해부학적 위치 지정부(120)는 영상 입력부(110)를 통해 입력된 비디오투시 영상(V)에서 해부학적 표준 위치(St)에 대응되도록 해부학적 위치(Sp)를 지정할 수 있다. 여기서 지정이란 매핑(mapping)의 의미를 가질 수 있다.
이때, 도 2를 참조하면, 해부학적 표준 위치(St)는 후술될 판독부(150)가 삼킴장애 여부 판독시 중요하게 고려되는 주요 신체 조직이며, 후술될 해부학적 위치(Sp) 지정 시 기준이 되는 가상의 해부학적 위치(Sp)를 의미한다. 일례로, 도 2에 도시된 바와 같이, 해부학적 표준 위치(St)는 혀(tongue), 경구개(hard palate), 연구개(soft palate), 하악각(mandibular angle), 후두개(epiglottis), 후두개골(valleculae), 후두전정(laryngeal vestibule), 제4목뼈(C4 vertebra), 이상와(pyriform sinus), 상부식도 괄약근(UES), 성대(vocal cord), 식도(esophagus) 또는 기관(trachea) 중 적어도 하나일 수 있다. 그러나 이들은 해부학적 표준 위치(St)의 예시에 불과하며, 본 발명의 일 실시예에 따른 연하검사 장치(1)의 해부학적 표준 위치(St)가 이에 제한되는 것은 아니다.
또한, 해부학적 위치(Sp)는 특정 비디오투시 영상(V)에서 해부학적 표준 위치(St)에 대응되도록 지정된 신체 조직으로서, 도 4 내지 도 6에 표시된 10, 20, 30, 40 또는 50 등이 해부학적 표준 위치(St)의 일례이다.
이때, 지정되는 해부학적 위치(Sp)는 해부학적 표준 위치(St)에 해당하는 신체 조직 영역 중 가장 관찰이 용이한 지점, 신체 조직 중 가장 중심에 위치하는 지점, 신체 조직을 대표할 수 있는 지점 또는 가장 민감하게 반응하는 지점 등과 같이 하나의 점으로 지정될 수 있다.
지정된 해부학적 위치(Sp)는 후술될 위치 추적부(140)의 음식물 이동경로 추적시 음식물이 신체 조직 중 어디에 위치하고 있는지 알려주는 공간적 지표로 이용될 수 있다.
본 발명의 일 실시예에서, 위치 지정부(120)는 해부학적 위치(Sp)와 함께 음식물의 위치(Sf)도 함께 지정한다. 해부학적 위치(Sp)와는 달리 섭취된 음식물의 위치(Sf)는 신체 기관을 따라 이동한다. 따라서 시간 순으로 분할된 복수의 분할 영상에서 음식물의 위치는 서로 상이할 수 있다.
도 3에 도시된 바와 같이 각각의 분할된 영상마다 상이한 음식물의 위치를 하나의 영상으로 누적하면, 음식물의 이동경로를 파악할 수 있다. 이미 전술한 바와 같이, 음식물의 위치(Sf)를 보다 명확하게 지정하기 위해 조영제가 이용된다.
본 발명의 일 실시예에서, 위치 지정부(120)는 기계 학습을 통해 학습된 알고리즘을 이용하여 해부학적 위치(Sp)와 음식물의 위치(Sf)를 지정할 수 있다. 즉, 의료인의 도움이 없이도 알고리즘을 이용하여 임의의 비디오투시 영상에 자동으로 해부학적 위치(Sp)를 지정할 수 있다. 이때, 기계 학습이란 특정한 샘플 데이터로부터 반복적으로 학습을 행하고, 특정한 샘플 데이터에 잠재하는 특징을 찾아내고, 학습 결과를 새로운 데이터에 적용시킴으로써, 그 발견된 특징에 따라서 장래를 예측할 수 있게 하는 알고리즘을 의미한다.
본 발명의 일 실시예에서, 기계 학습은 하나 이상의 인공신경망(Artificial Neural Network)을 이용한 학습 모델에 기초할 수 있다. 이때, 인공신경망은 인간의 신경망 구조를 본떠 만든 알고리즘의 일종으로서, 하나 이상의 노드 또는 뉴런(neuron)을 포함하는 하나 이상의 레이어를 포함할 수 있고 각각의 노드는 시냅스(synapse)를 통해 연결될 수 있다.
이때, 인공신경망은, 전문지식을 갖춘 의료인에 의해 지정된 해부학적 위치(Sp)를 포함하는 비디오투시 영상의 데이터를 입력 값으로 하는 지도 학습 학습(supervised learning)에 기초할 수 있다. 또한 인공신경망은, 비지도 학습(unsupervised learning)에 기초하여 별다른 지도 없이 복수의 비디오투시 영상으로부터 특징(Feature)이나 패턴을 발견함으로써 해부학적 위치(Sp)또는 음식물의 위치(Sf)를 지정하는 방법을 학습할 수도 있다.
본 발명의 일 실시예에서, 좌표 설정부(130)는 지정된 해부학적 위치(Sp) 및 음식물의 위치(Sf)에 대하여 특정 지점을 기준으로 한 상대 좌표를 설정한다. 해부학적 위치(Sp)및 음식물의 위치(Sf)를 수치화함으로써 보다 다양하고 정밀한 데이터 처리를 가능하게 하기 위함이다. 일례로, 후술될 위치 추적부(140)의 음식물의 이동경로 분석시, 상대 좌표를 고려하여 보다 정확한 이동경로 누적을 달성할 수 있다.
본 발명의 일 실시예에서, 위치 추적부(140)는 해부학적 위치(Sp)와 음식물의 위치(Sf)를 추적할 수 있다.
본 발명의 일 실시예에서, 비디오투시 영상(V)은 복수의 프레임으로 분할될 수 있다. 본 발명의 일 실시예에 따른 연하검사 장치(1)는 복수의 프레임 중 일부 프레임만을 분석에 이용할 수 있다. 이것은 데이터 처리량을 감소시킴으로써, 연하검사에 소모되는 에너지와 시간을 절약하기 위함이다. 위치 추적부(140)는 이와 같이 복수의 프레임 중 선택된 일부 프레임들 사이에 해부학적 위치(Sp)와 음식물의 위치(Sf)와 관련하여 어떠한 공간적 움직임이 있었는지 시간의 흐름에 따라 확인하고 분석한다.
먼저, 해부학적 위치(Sp)를 추적한다는 것은 해부학적 위치(Sp)가 대표하는 신체 조직의 움직임을 추적하는 것을 의미한다. 이를 위해 위치 추적부(140)는 해부학적 위치(Sp)와 관련된 좌표의 이동을 추적할 수 있다. 이와 같은 신체 조직의 움직임 정도를 임상적 파라미터라고 한다. 임상적 파라미터는 후술될 판독부(150)가 삼킴장애 여부를 판단할 때 이용될 수 있다.
또한, 해부학적 위치(Sp)의 추적은 삼킴장애의 치료에 도움이 될 수도 있다. 일례로, 해부학적 위치(Sp)가 움직이는 정도를 분석하여 신체 조직 중 어떤 신체 조직이 삼킴장애를 유발하는지 판단하는 데 도움이 될 수 있다.
다음으로, 음식물의 위치(Sf)를 추적한다는 것은 음식물의 상대적인 위치 이동을 확인하는 것으로서, 음식물이 어떠한 신체 조직에 인접하여 위치하는 지를 시간의 흐름에 따라 추적하는 것을 의미한다. 다시 도 3을 참조하면, 위치 추적부(140)는 복수의 프레임 중 분석을 위해 선택된 일부 프레임에 포함된 음식물의 위치를 개별적으로 확인한 후 이를 종합적으로 누적함으로써, 전체적인 음식물의 이동 경로를 제공할 수 있다.
이때, 일부 프레임과 프레임 사이의 음식물의 이동은 알고리즘에 의해 추정될 수 있다. 이와 같은 추정 작업을 통해 일부 프레임 사이의 간극을 채움으로써, 도 4 내지 6에 도시된 것처럼 전체적으로 연속적인 음식물의 이동경로를 나타낼 수 있다. 이때, 추정 작업은 기계 학습을 통해 학습된 알고리즘에 의하여 수행될 수 있다. 알고리즘이 보다 정교한 추정을 위하여 인공신경망을 구축하여 설계될 수 있음은 물론이다.
본 발명의 일 실시예에서, 판독부(150)는 위치 추적부(140)를 통해 획득된 해부학적 위치(Sp)의 움직임 정도와 음식물의 이동경로를 기초로 판단하여 삼킴장애 여부를 판독할 수 있다. 그러나 해부학적 위치(Sp)와 음식물의 이동 경로는 판독부(150)의 판독 근거의 일례에 불과하며, 해부학적 위치(Sp)와 음식물의 이동 경로 외에 다른 정보를 포함하여 삼킴장애 여부를 판단할 수 있음은 물론이다.
판독부(150)는 해부학적 위치(Sp)의 움직임과 관련하여, 위치 추적부(140)로부터 획득된 임상적 파라미터 값을 임상적 파라미터의 기준값과 비교함으로써, 삼킴장애 여부를 판단할 수 있다. 또한 각 신체조직의 임상적 파라미터 값을 서로 비교하여 삼킴장애 여부를 판단할 수도 있을 것이다.
또한 판독부(150)는 음식물의 이동경로와 관련하여, 위치 추적부(140)을 통해 획득된 전체적인 음식물 이동경로를, 도 7의 표준 경로 모델과 비교하여 삼킴장애 여부를 판단할 수도 있다. 도 4 내지 6을 참조하면, 도 4 및 도 7(a)와 같이 음식물이 구강(10)-인두(20)-식도(30) 순으로 이동한 것으로 확인될 경우, 판독부(150)는 정상으로 판독할 수 있다. 그러나 도 5 및 도 7(b)와 같이, 음식물이 식도(30) 외에도 후두(40)-기관(50)으로 이동된 것으로 확인될 경우, 판독부(150)는 '기도흡인'으로 판독할 수 있다. 또한 도 6 및 도 7(c)과 같이, 음식물이 비강(60)으로 유입되는 경로가 확인될 경우, '비강역류'로 판독할 수 있다.
본 발명의 일 실시예에서, 판독부(150)의 삼킴장애 여부 판독 또한 기계 학습을 통해 학습된 알고리즘을 통해 이루어질 수 있다. 보다 상세히, 판독부(150)의 삼킴장애 여부의 판독시 이용되는 알고리즘은 상술한 해부학적 위치(Sp), 임상적 파라미터, 음식물의 이동경로 등을 포함하여 다양한 판단 근거를 종합적으로 판단하여 삼킴장애 여부를 판독할 수 있다.
이때 판독부(150)와 관련된 알고리즘은 다수의 학습데이터를 통해 미리 기계 학습이 수행될 수 있으며, 이러한 학습 과정을 통해 스스로 갱신될 수도 있다. 이러한 학습은 지도학습, 비지도 학습 모두 적용될 수 있으며, 인공신경망을 구축하여 이루어질 수 있음은 물론이다.
살펴본 바와 같이 위치 지정부(120), 위치 추적부(140), 판독부(150)에 적용되는 알고리즘은 모두 기계 학습에 기반한 인공지능 알고리즘일 수 있다. 이때, 위치 지정부(120), 위치 추적부(140), 판독부(150) 각각의 작업을 수행하기 위해 복수의 알고리즘이 개별적으로 존재할 수도 있고, 위치 지정부(120), 위치 추적부(140), 판독부(150)를 아우르는 통합 알고리즘이 존재할 수도 있다.
본 발명의 일 실시예에 따른 연하검사 장치(1)는 이처럼 인공지능 알고리즘에 의하여 비디오투시 연하검사가 자동으로 수행되므로, 의료인의 수고를 덜 수 있으며, 판독의 객관성을 확보할 수 있다.
이하 도면을 달리하여, 본 발명의 일 실시예에 따른 연하검사 장치(1)를 이용하여 비디오투시 연하검사를 하는 방법(이하 연하검사를 하는 방법)을 설명한다.
도 8는 본 발명의 일 실시예에 따른 연하검사 장치(1)를 이용하여 비디오투시 연하검사를 하는 방법의 순서도이다.
도 8를 참조하면, 본 발명의 일 실시예에 따른 연하검사를 하는 방법은, 복수의 영상을 통해 알고리즘을 학습시키는 단계(S10); 음식물 섭취 중에 신체 조직의 움직임이 촬영된 비디오투시 영상을 입력하는 단계(S20); 비디오투시 영상에서 해부학적 표준 위치(St)에 대응하는 해부학적 위치(Sp) 및 음식물의 위치를 지정하는 단계(S30); 해부학적 위치(Sp) 및 음식물의 좌표를 설정하는 단계(S40); 해부학적 위치(Sp)가 움직이는 정도와 음식물의 위치를 추적하는 단계(S50) 및 해부학적 위치(Sp)가 움직이는 정도와 음식물의 이동경로를 분석하여 삼킴장애 여부를 판독하는 단계(S60)를 포함할 수 있다.
복수의 영상을 통해 알고리즘을 학습시키는 단계(S10)에서는 연하검사를 위해 촬영된 복수의 비디오투시 영상(V)을 알고리즘에 학습데이터로서 제공하여 이루어진다. 이때, 알고리즘은 인공신경망을 구축하여 학습될 수 있으며 학습 과정 중 경험된 결과를 반영하여 스스로 갱신될 수도 있다. 또한 알고리즘은 복수의 비디오투시 영상(V)으로부터 특징(feature)을 스스로 추출하여 과업을 수행할 수 있다.
음식물 섭취 중에 신체 조직의 움직임이 촬영된 비디오투시 영상(V)을 입력하는 단계(S20)에서는 별도의 비디오투시 영상 촬영 장치로부터 실시간으로 비디오투시 영상(V)이 입력되거나, 이미 촬영된 비디오투시 영상이 입력될 수 있다.
비디오투시 영상(V)에서 해부학적 표준 위치(St)에 대응하는 해부학적 위치(Sp)를 지정하는 단계(S30)에서는 개개인의 신체 구조에 따라 서로 상이할 수 있는 비디오투시 영상에서 미리 선정된 해부학적 표준 위치(St)에 대응하는 위치를 찾아서 매칭시킨다. 이와 같은 지정 작업은 앞서 살펴본 바와 같이 기계 학습을 통해 학습된 알고리즘을 통해 이루어짐으로써 신속성과 객관성을 확보할 수 있다.
해부학적 위치(Sp)의 좌표를 설정하는 단계(S40)에서는 특정 지점을 기준으로 해부학적 위치(Sp)를 지정하는 단계(S30)를 통해 지정된 해부학적 위치(Sp)의 상대 좌표를 설정한다. 이와 같이 설정된 좌표는 위치 추적부(140)의 해부학적 위치(Sp)및 음식물의 위치(Sf) 추적시 이용될 수 있다.
해부학적 위치(Sp)가 움직이는 정도와 음식물의 위치를 추적하는 단계(S40)에서는 비디오투시 영상 중 분할된 일부 프레임 사이에서 시간의 흐름에 따른 해부학적 위치(Sp)의 움직임과 음식물의 이동경로를 추적한다. 특히 해부학적 위치(Sp)의 움직임을 추적함으로써, 후술될 판독부(150)의 분석시 이용될 임상적 파라미터가 도출될 수 있다.
해부학적 위치(Sp)가 움직이는 정도와 음식물의 이동경로를 분석하여 삼킴장애 여부를 판독하는 단계(S60)에서는 기계 학습을 통해 학습된 인공지능 알고리즘이 비디오투시 영상을 분석함으로써, 삼킴장애 여부를 판독할 수 있다. 이때, 판독부(150)는 위치 추적부(140)로부터 획득된 임상적 파라미터를 임상적 파라미터 기본값과 비교하거나 또는 획득된 음식물의 전체 이동경로를 도 7의 표준 경로 모델과 대조함으로써 삼킴장애 여부를 판독할 수 있다. 그러나, 본 발명의 일 실시예에서, 판독부(150)의 삼킴장애 여부 판단 방법이 이에 한정되는 것은 아니며, 비디오투시 영상으로부터 추출되는 다른 데이터값도 함께 고려될 수 있다.
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.
1 비디오투시 연하검사 장치 10 구강
20 인두 30 식도
40 후두 50 기관
110 영상 입력부 120 위치 지정부
130 좌표 설정부 140 위치 추적부
150 판독부 V 비디오투시 영상

Claims (9)

  1. 비디오투시 연하검사 판독 장치로서,
    피검사자의 음식물 섭취 중에 해부학적 위치의 움직임이 순차적으로 촬영된 복수의 비디오투시 영상이 입력되는 영상 입력부;
    상기 복수의 비디오투시 영상에서 상기 해부학적 위치를 미리 설정된 해부학적 표준 위치에 대응되도록 지정하고 상기 해부학적 위치에 대한 음식물의 위치를 지정하는 해부학적 위치 지정부;
    상기 복수의 비디오투시 영상의 상기 해부학적 위치 및 상기 음식물의 위치의 좌표를 설정하는 좌표 설정부;
    상기 복수의 비디오투시 영상의 상기 해부학적 위치 및 상기 음식물의 위치의 좌표를 이용하여 상기 해부학적 위치가 움직이는 정도와 상기 음식물의 이동 경로를 추적하는 위치 추적부 및
    상기 해부학적 위치가 움직이는 정도와 상기 음식물의 이동 경로를 분석하여 삼킴장애 여부를 판독하는 판독부를 포함하고,
    상기 영상 입력부, 위치 지정부, 좌표 설정부, 위치 추적부 또는 판독부 중 적어도 하나는 인공 신경망을 구축하여 기계 학습을 수행하는 알고리즘을 이용하며,
    상기 판독부는 상기 해부학적 위치의 좌표의 이동 정도를 상기 해부학적 위치가 움직이는 정도에 대하여 미리 정해진 임상적 파라미터 기준값과 비교하고, 상기 음식물의 이동 경로를 표준 경로 모델과 비교함으로써 상기 삼킴장애 여부를 판독하는, 비디오투시 연하검사 판독 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 해부학적 표준 위치는 혀(tongue), 경구개(hard palate), 연구개(soft palate), 하악각(mandibular angle), 후두개(epiglottis), 후두개골(valleculae), 후두전정(laryngeal vestibule), 제4목뼈(C4 vertebra), 이상와(pyriform sinus), 상부식도 괄약근(UES), 성대(vocal cord), 식도(esophagus) 또는 기관(trachea) 중 적어도 하나인, 비디오투시 연하검사 판독 장치.
  5. 제1항에 있어서,
    상기 위치 추적부는 상기 비디오투시 영상으로부터 분할된 영상에 포함된 상기 해부학적 위치 및 음식물의 위치를 누적하는, 비디오투시 연하검사 판독 장치.
  6. 제1항에 있어서,
    상기 판독부의 삼킴장애 여부 판독 결과는 기도흡인, 비강흡입 또는 정상 중 어느 하나인, 비디오투시 연하검사 판독 장치.
  7. 삭제
  8. 삭제
  9. 제1항, 제4항 내지 제6항 중 어느 한 항에 따른 비디오투시 연하검사 판독 장치가 기계 학습 기반의 알고리즘을 이용하여 비디오투시 연하검사 판독을 하는 방법으로서,
    복수의 비디오투시 영상을 입력하여 상기 알고리즘을 학습시키는 단계;
    피검사자의 음식물 섭취 중에 해부학적 위치의 움직임이 촬영된 비디오투시 영상을 입력하는 단계;
    상기 비디오투시 영상에서 상기 해부학적 위치를 미리 설정된 해부학적 표준 위치에 대응되도록 지정하고 상기 해부학적 위치에 대한 음식물의 위치를 지정하는 단계;
    상기 해부학적 위치 및 상기 음식물의 위치의 좌표를 설정하는 단계;
    상기 해부학적 위치가 움직이는 정도와 음식물의 위치를 추적하는 단계 및
    상기 해부학적 위치가 움직이는 정도와 음식물의 이동경로를 분석하여 삼킴장애 여부를 판독하는 단계를 포함하는, 비디오투시 연하검사 판독 방법.
KR1020190117391A 2019-09-24 2019-09-24 비디오투시 연하검사 판독 장치 및 방법 KR102094828B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190117391A KR102094828B1 (ko) 2019-09-24 2019-09-24 비디오투시 연하검사 판독 장치 및 방법
PCT/KR2020/010735 WO2021060700A1 (ko) 2019-09-24 2020-08-13 비디오투시 연하검사 판독 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190117391A KR102094828B1 (ko) 2019-09-24 2019-09-24 비디오투시 연하검사 판독 장치 및 방법

Publications (1)

Publication Number Publication Date
KR102094828B1 true KR102094828B1 (ko) 2020-04-27

Family

ID=70467593

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190117391A KR102094828B1 (ko) 2019-09-24 2019-09-24 비디오투시 연하검사 판독 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102094828B1 (ko)
WO (1) WO2021060700A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210152249A (ko) * 2020-06-08 2021-12-15 고려대학교 산학협력단 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치 및 방법
KR20220008126A (ko) 2020-07-13 2022-01-20 단국대학교 산학협력단 기계학습 기반 연하장애 자동 탐지 방법 및 장치
KR20220115369A (ko) * 2021-02-10 2022-08-17 서울대학교산학협력단 설골 추적 장치 및 방법
KR20220122067A (ko) 2021-02-26 2022-09-02 동서대학교 산학협력단 근적외선 기술을 이용한 연하장애 측정장치
KR20220156143A (ko) * 2021-05-17 2022-11-25 단국대학교 산학협력단 설골 움직임 추적 방법
KR20220166544A (ko) * 2021-06-10 2022-12-19 영남대학교 산학협력단 Vfss 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140343415A1 (en) * 2013-05-17 2014-11-20 Wisconsin Alumini Research Foundation Diagnosis of Swallowing Disorders Using High Resolution Manometry
JP2014224133A (ja) * 2009-01-15 2014-12-04 ネステク ソシエテ アノニム 嚥下障害の診断及び治療方法
JP6060076B2 (ja) * 2011-06-30 2017-01-11 株式会社明治 嚥下シミュレーション装置及び方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6060076B2 (ja) * 1977-12-28 1985-12-27 日本電気株式会社 音声認識装置
KR102233427B1 (ko) * 2014-04-14 2021-03-29 삼성전자주식회사 의료 영상 정합 방법 및 장치
KR101912569B1 (ko) * 2018-07-11 2018-10-26 전북대학교산학협력단 비디오 영상에서의 물체 추적시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014224133A (ja) * 2009-01-15 2014-12-04 ネステク ソシエテ アノニム 嚥下障害の診断及び治療方法
JP6060076B2 (ja) * 2011-06-30 2017-01-11 株式会社明治 嚥下シミュレーション装置及び方法
US20140343415A1 (en) * 2013-05-17 2014-11-20 Wisconsin Alumini Research Foundation Diagnosis of Swallowing Disorders Using High Resolution Manometry
US9782118B2 (en) * 2013-05-17 2017-10-10 Wisconsin Alumni Research Foundation Diagnosis of swallowing disorders using high resolution manometry

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210152249A (ko) * 2020-06-08 2021-12-15 고려대학교 산학협력단 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치 및 방법
KR102418073B1 (ko) * 2020-06-08 2022-07-06 고려대학교 산학협력단 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치 및 방법
KR20220008126A (ko) 2020-07-13 2022-01-20 단국대학교 산학협력단 기계학습 기반 연하장애 자동 탐지 방법 및 장치
KR102430526B1 (ko) 2020-07-13 2022-08-05 단국대학교 산학협력단 기계학습 기반 연하장애 자동 탐지 방법 및 장치
KR20220115369A (ko) * 2021-02-10 2022-08-17 서울대학교산학협력단 설골 추적 장치 및 방법
KR102595012B1 (ko) 2021-02-10 2023-10-26 서울대학교산학협력단 설골 추적 장치 및 방법
KR20220122067A (ko) 2021-02-26 2022-09-02 동서대학교 산학협력단 근적외선 기술을 이용한 연하장애 측정장치
KR102631213B1 (ko) 2021-02-26 2024-02-06 동서대학교 산학협력단 근적외선 기술을 이용한 연하장애 측정장치
KR20220156143A (ko) * 2021-05-17 2022-11-25 단국대학교 산학협력단 설골 움직임 추적 방법
KR102650787B1 (ko) 2021-05-17 2024-03-25 단국대학교 산학협력단 설골 움직임 추적 방법
KR20220166544A (ko) * 2021-06-10 2022-12-19 영남대학교 산학협력단 Vfss 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치 및 그 방법
KR102551723B1 (ko) * 2021-06-10 2023-07-06 영남대학교 산학협력단 Vfss 영상을 이용한 환자의 침습 또는 흡인 유무 판별 장치 및 그 방법

Also Published As

Publication number Publication date
WO2021060700A1 (ko) 2021-04-01

Similar Documents

Publication Publication Date Title
KR102094828B1 (ko) 비디오투시 연하검사 판독 장치 및 방법
US11464467B2 (en) Automated tooth localization, enumeration, and diagnostic system and method
KR101952887B1 (ko) 해부학적 랜드마크의 예측 방법 및 이를 이용한 디바이스
Sejdic et al. Computational deglutition: Using signal-and image-processing methods to understand swallowing and associated disorders [life sciences]
WO2019083129A1 (ko) 피검체에 대한 안저 영상의 판독을 지원하는 방법 및 이를 이용한 장치
JP7004648B2 (ja) X線画像吸気品質モニタリング
JP6830082B2 (ja) 歯科分析システムおよび歯科分析x線システム
US11963840B2 (en) Method of analysis of a representation of a dental arch
Khalifa et al. Upper esophageal sphincter opening segmentation with convolutional recurrent neural networks in high resolution cervical auscultation
US20240153615A1 (en) Methods and apparatus for the application of machine learning to radiographic images of animals
CN107658028A (zh) 一种获取病变数据的方法、识别病变方法及计算机设备
EP3612101A1 (en) Articulating arm for analyzing anatomical objects using deep learning networks
US20210217170A1 (en) System and Method for Classifying a Tooth Condition Based on Landmarked Anthropomorphic Measurements.
CN115381429B (zh) 基于人工智能的气道评估终端
US11432742B2 (en) Airway ventilation state calibration system and system for predicting airway deformation during sleep
Pongpipatpaiboon et al. Clinical evaluation of dysphagia
Jeon et al. Quantitative analysis of the mouth opening movement of temporomandibular joint disorder patients according to disc position using computer vision: a pilot study
Khalifa et al. Non-invasive sensor-based estimation of anterior-posterior upper esophageal sphincter opening maximal distension
Cho et al. Accuracy of convolutional neural networks-based automatic segmentation of pharyngeal airway sections according to craniofacial skeletal pattern
CN110473180A (zh) 胸部呼吸运动的识别方法、系统及存储介质
CN116486458A (zh) 一种基于图像识别技术的气道评估方法
CN116258726A (zh) 基于深度学习的颞下颌关节mri图像重要结构分割方法
Ward et al. Pediatric sleep-related breathing disorders: advances in imaging and computational modeling
CN114240934A (zh) 一种基于肢端肥大症的图像数据分析方法及系统
Daniele et al. Endoscopic criteria in assessing severity of swallowing disorders

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant