KR20200058657A - Vfss based auromatic dysphagia detection system and the method therof - Google Patents

Vfss based auromatic dysphagia detection system and the method therof Download PDF

Info

Publication number
KR20200058657A
KR20200058657A KR1020180142791A KR20180142791A KR20200058657A KR 20200058657 A KR20200058657 A KR 20200058657A KR 1020180142791 A KR1020180142791 A KR 1020180142791A KR 20180142791 A KR20180142791 A KR 20180142791A KR 20200058657 A KR20200058657 A KR 20200058657A
Authority
KR
South Korea
Prior art keywords
area
epiglottis
food
vfss
region
Prior art date
Application number
KR1020180142791A
Other languages
Korean (ko)
Inventor
이성종
이홍채
이해일
최철호
김혜란
최동규
Original Assignee
수상에스티(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 수상에스티(주) filed Critical 수상에스티(주)
Priority to KR1020180142791A priority Critical patent/KR20200058657A/en
Publication of KR20200058657A publication Critical patent/KR20200058657A/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4205Evaluating swallowing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endocrinology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

According to the present invention, disclosed are a videofluoroscopic swallowing study-based (VFSS-based) automatic dysphagia detection system and a detection method thereof. According to an embodiment of the present invention, the VFSS-based automatic dysphagia detection system comprises: an image extraction unit; an area detection unit; a food detection unit; a calculation unit; and a determination unit. According to the present invention, a ratio of a residual food area in vallecula epiglottica and piriform sinus areas is measured, and thus severity of dysphagia can be determined through the measured ratio.

Description

VFSS 기반 연하곤란 자동 검출 시스템 및 그 검출방법{VFSS BASED AUROMATIC DYSPHAGIA DETECTION SYSTEM AND THE METHOD THEROF}VFSS-based automatic dysphagia detection system and its detection method {VFSS BASED AUROMATIC DYSPHAGIA DETECTION SYSTEM AND THE METHOD THEROF}

본 발명은 VFSS 기반 연하곤란 자동 검출 시스템 및 그 검출방법에 관한 것으로, 보다 상세하게는 후두개곡 및 이상와 영역에 포함된 잔여 음식물 영역의 비율을 검출하여 연하 장애 여부를 판단하는 VFSS 기반 연하곤란 자동 검출 시스템 및 그 검출방법에 관한 것이다.The present invention relates to an automatic detection system for dysphagia based on VFSS and a detection method thereof, and more specifically, to detect a dysphagia based on the detection of the ratio of epiglottis and abnormal food areas contained in the region and laryngeal dysphagia. It relates to a system and its detection method.

연하란 구강 내의 음식물을 위장관까지 전달하는 일련의 기능을 말하는데, 여기에는 중추 및 말초 신경계의 여러 신경들에 의해 지배받는 괄약근을 비롯한 많은 두경부 근육들과 골격 및 기타 연부 조직들이 복잡하게 작용한다. 연하작용 경로 중 어느 부위에 이상이 생긴 경우에 이를 연하곤란(Dysphagia) 혹은 삼킴장애라 하는데, 그 주요 원인으로는 식이 섭취와 관련된 근육, 신경학계 이상을 들 수 있으며, 그 밖에 정신과적인 질환이나 약물 등도 연하곤란을 유발할 수 있다. 특히, 뇌졸중 환자는 대한민국에서 매년 10만 명씩 발생하고 있으며, 이 중에서 51~73(%)의 환자는 음식 섭취가 곤란한 연하곤란을 겪고 있다.Swallowing refers to a series of functions that deliver food from the oral cavity to the gastrointestinal tract, which involves many head and neck muscles, including the sphincter muscles dominated by the nerves of the central and peripheral nervous system, as well as skeletal and other soft tissues. When an abnormality occurs in any part of the swallowing pathway, it is called dysphagia or swallowing disorder. The main causes include muscle and neurological abnormalities related to dietary intake, and other psychiatric diseases or drugs. The back may also cause dysphagia. In particular, 100,000 stroke patients occur annually in Korea, of which 51 to 73 (%) suffer from dysphagia, which is difficult to eat.

연하곤란은 입술과 혀의 조절 약화뿐만 아니라 삼킴 반사의 지연, 인두 음식의 저류, 후두로의 음식 유입 등과 같은 다양한 증상을 보이고 있다. 또한, 뇌졸중 환자뿐만 아니라, 교통사고에 의한 두부/경추 손상, 뇌종양 등과 같은 중추신경계 손상 환자의 경우에도 연하장애가 빈번하게 발생하고 있다.Difficulty dysphagia shows various symptoms such as delay in swallowing reflexes, retention of pharyngeal food, and food inflow into the larynx, as well as weakening of the control of the lips and tongue. In addition, dysphagia frequently occurs not only in stroke patients, but also in patients with central nervous system damage such as head / cervical injury due to traffic accidents, brain tumors, and the like.

이러한 연하곤란 환자를 진단하기 위해 종래에는 방사선 영상에 의료진이 직접 후두개곡(Vallecular) 및 이상와(Pyriform sinus)에 남아있는 음식물의 영역을 육안으로 확인 후 직접 그려 연하곤란 중증도를 판단하는 방식이 사용되고 있었다.In order to diagnose such dysphagia patients, conventionally, a method of determining the severity of dysphagia was used by a medical staff directly checking the area of food left in the epiglottis (Vallecular) and abnormal sinus (Pyriform sinus) on a radiographic image. .

이러한 방식은 후두개곡 및 이상와에 남아있는 음식물의 비율을 정확하게 치수화하지 못하기 때문에 정확한 진단이 불가능하다는 문제점이 있었다.This method has a problem in that it is impossible to accurately diagnose the ratio of food remaining in the epiglottis and the epiglottis.

이러한 방식의 문제점을 해결하기 위해 후두개곡 및 이상와에 남아있는 음식물의 비율을 치수화하여 진단의 효율성 및 정확성을 향상시킬 수 있는 시스템에 관한 연구가 필히 요구된다.In order to solve the problems of this method, a study on a system capable of improving the efficiency and accuracy of diagnosis by dimensioning the proportion of food left in the epiglottis and the epiglottis is essential.

KR등록특허공보 제10-1793816호(2017.09.06공개)KR Registered Patent Publication No. 10-1793816 (published Sep. 6, 2017)

본 발명은 후두개곡 및 이상와 영역 내에 잔여 음식물 영역의 비율을 측정함으로써, 상기 측정된 비율을 통해 연하 장애 중증도를 판단할 수 있는 VFSS 기반 연하곤란 자동 검출 시스템 및 그 검출방법을 제공한다.The present invention provides a VFSS based swallowing dysfunction automatic detection system and a method for detecting the severity of dysphagia through the measured ratio by measuring the ratio of the epiglottis and the areas of abnormal food and residual food in the region.

본 발명은 후두개곡 및 이상와의 형상과 위치에 대한 딥 러닝 트레이닝을 수행함으로써, 정확한 후두개곡 및 이상와 영역을 검출할 수 있는 VFSS 기반 연하곤란 자동 검출 시스템 및 그 검출방법을 제공한다.The present invention provides a VFSS-based swallowing dysfunction automatic detection system and a detection method capable of detecting accurate epiglottis and abnormalities and regions by performing deep learning training on the shape and position of the epiglottis and abnormalities.

본 발명은 추출된 VFSS 영상에 대한 명암 보정 작업을 실시함으로써, 설골, 후두개곡, 이상와 및 잔여 음식물 영역의 위치를 보다 명확하게 확인할 수 있는 VFSS 기반 연하곤란 자동 검출 시스템 및 그 검출방법을 제공한다.The present invention provides a VFSS-based automatic dysphagia automatic detection system and its detection method that can more clearly check the location of the hyoid bone, epiglottis, abnormal and residual food areas by performing contrast correction on the extracted VFSS image.

본 발명의 일실시예에 따른 VFSS 기반 연하곤란 자동 검출 시스템은, 다수의 VFSS(Videofluoroscopic Swallowing Study, 비디오 투시 연하 검사) 영상 중 설골의 위치가 최하단에 위치한 영상을 추출하는 영상추출부, 상기 영상추출부로부터 추출된 영상에서 후두개곡 및 이상와 영역을 검출하는 영역검출부, 상기 영역검출부로부터 검출된 후두개곡 및 이상와 영역 내에서 잔여 음식물 영역을 검출하는 음식물검출부, 상기 영역검출부로부터 검출된 후두개곡 및 이상와 영역의 면적을 계산하고, 상기 음식물검출부로부터 검출된 잔여 음식물 영역의 면적을 계산하며, 상기 후두개곡 및 이상와 영역 내의 면적 중 상기 잔여 음식물 영역이 차지하는 면적의 비율을 계산하는 계산부 및 상기 계산부에서 계산된 잔여 음식물이 차지하는 비율과 기설정된 수치와 대조하여 연하 장애의 중증도를 판단하는 판단부를 포함할 수 있다.VFSS-based swallowing dysfunction automatic detection system according to an embodiment of the present invention, an image extraction unit for extracting the image located at the bottom of the hyoid bone among a plurality of Videofluoroscopic Swallowing Study (VFSS) images, the image extraction Region detection unit to detect epiglottis and abnormalities and regions from images extracted from the part, food detection unit to detect residual food areas within the epiglottis and abnormalities and regions detected by the region detection unit, epiglottis and abnormalities and regions detected from the region detection unit The calculation unit calculates the area of the area, calculates the area of the residual food area detected by the food detection unit, and calculates the ratio of the area occupied by the residual food area among the areas in the epiglottis and abnormal areas and the calculation area and the calculation unit It may include a judgment unit for determining the severity of dysphagia in contrast to the proportion of the remaining food and the predetermined value.

본 발명의 일측에 따르면, 상기 설골 영역, 상기 후두개곡 영역, 상기 이상와 영역 및 상기 잔여 음식물 영역의 명암의 수치가 상기 VFSS 영상의 평균 명암 수치와 기설정된 차이를 가지도록 명암을 보정하는 명암보정부를 더 포함할 수 있고, 상기 명암보정부는, 감마 보정을 통해 상기 후두개곡 및 이상와 영역의 백색을 강조하고, 상기 VFSS 영상 중 피촬영자의 뼈 영역의 흑색을 강조하여 명암의 차이를 가질 수 있다.According to an aspect of the present invention, the contrast correction to correct the contrast so that the numerical value of the contrast of the hyoid area, the epiglottis area, the abnormal area and the residual food area has a predetermined difference from the average contrast value of the VFSS image. Further, the contrast correction unit may have a difference in contrast by emphasizing whiteness of the epiglottis and abnormal areas and regions through gamma correction, and emphasizing black of a bone region of a subject in the VFSS image.

본 발명의 일측에 따르면, 상기 음식물검출부는, 피촬영자가 섭취한 VFSS 영상 상에 표시되는 바륨 용액이 포함된 음식물이 상기 후두개곡 및 이상와 영역에 잔여하게 되면, 상기 영상추출부에서 추출된 영상 상에 표시되어 잔여 음식물 영역으로 검출할 수 있다.According to an aspect of the present invention, the food detection unit, when the food containing barium solution displayed on the VFSS image taken by the subject remains in the epiglottis and abnormalities and areas, the image extracted from the image extraction unit It can be detected as the remaining food area.

본 발명의 일측에 따르면, 상기 판단부는, 상기 잔여 음식물 영역이 차지하는 비율이 제1 수치 미만인 경우 비연하장애로 판단하고, 상기 잔여 음식물 영역이 차지하는 비율이 제1 수치 이상 제2 수치 미만인 경우 경증연하장애로 판단하고, 상기 잔여 음식물 영역이 차지하는 비율이 제2 수치 이상인 경우 중증연하장애로 판단할 수 있다.According to an aspect of the present invention, when the ratio of the residual food area occupies less than the first value, it is determined as non- swallowing disorder, and when the ratio of the remaining food area occupies less than the first value and less than the second value, the If it is determined as a disorder, and the proportion of the remaining food area occupies more than the second value, it can be determined as a severe dysphagia.

본 발명의 일실시예에 따른 VFSS 기반 연하곤란 자동 검출방법은, 다수의 VFSS 영상 중 설골의 위치가 최하단에 위치한 영상을 추출하고, 상기 설골 영역에 경계가 표시되는 단계, 상기 추출된 영상에서 후두개곡 및 이상와 영역을 검출하고, 상기 검출된 후두개곡 및 이상와 영역의 경계가 표시되는 단계, 상기 후두개곡 및 이상와 영역의 경계가 표시된 영상에서 잔여 음식물 영역을 검출하고, 상기 검출된 잔여 음식물 영역의 경계가 표시되는 단계, 상기 후두개곡 영역, 이상와 영역 및 잔여 음식물 영역의 면적을 계산하고, 상기 후두개곡 및 이상와 영역에서의 잔여 음식물 영역이 차지하는 비율을 계산하는 단계 및 상기 잔여 음식물 영역이 차지하는 비율을 기설정된 수치와 대조하여 연하 장애의 중증도를 판단하는 단계를 포함할 수 있다.According to an embodiment of the present invention, a method for automatically detecting dysphagia based on VFSS extracts an image in which the location of the hyoid bone is located at the bottom of a plurality of VFSS images, and a boundary is displayed in the hyoid region, the epiglottis in the extracted image Detecting a grain and an abnormality and an area, and displaying the boundary between the detected epiglottis and an abnormality and an area, and detecting a residual food area in the image in which the boundary between the epiglottis and the abnormality and the area is displayed, and detecting the boundary of the detected residual food area. Is displayed, calculating the area of the epiglottis area, the abnormal area and the residual food area, calculating the proportion of the residual food area in the epiglottis area and the abnormal area and the proportion of the residual food area. And determining the severity of dysphagia in contrast to the set value.

본 발명의 일실시예에 따르면, 후두개곡 및 이상와 영역 내에 잔여 음식물 영역의 비율을 측정함으로써, 상기 측정된 비율을 통해 연하 장애 중증도를 판단할 수 있는 VFSS 기반 연하곤란 자동 검출 시스템 및 그 검출방법이 제공된다.According to an embodiment of the present invention, by measuring the ratio of the epiglottis and abnormal areas and food areas remaining in the region, the VFSS-based swallowing dysfunction automatic detection system and its detection method capable of determining the severity of dysphagia through the measured ratio Is provided.

본 발명의 일실시예에 따르면, 후두개곡 및 이상와의 형상과 위치에 대한 딥 러닝 트레이닝을 수행함으로써, 정확한 후두개곡 및 이상와 영역을 검출할 수 있는 VFSS 기반 연하곤란 자동 검출 시스템 및 그 검출방법이 제공된다.According to an embodiment of the present invention, by performing deep learning training on the shape and location of the epiglottis and abnormalities, a VFSS-based swallowing dysfunction automatic detection system and a method for detecting the correct epiglottis and abnormalities and regions are provided. do.

본 발명의 일실시예에 따르면, 추출된 VFSS 영상에 대한 명암 보정 작업을 실시함으로써, 설골, 후두개곡, 이상와 및 잔여 음식물 영역의 위치를 보다 명확하게 확인할 수 있는 VFSS 기반 연하곤란 자동 검출 시스템 및 그 검출방법이 제공된다.According to an embodiment of the present invention, by performing a contrast correction operation on the extracted VFSS image, the VFSS-based swallowing dysfunction automatic detection system that can more clearly check the location of the hyoid bone, epiglottis, abnormal orbital and residual food areas, and A detection method is provided.

도 1은 본 발명의 실시예에 따른 VFSS 기반 연하곤란 자동 검출 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 잔여 음식물 영역의 비율이 계산된 예시를 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 감마 보정을 통한 명암 보정의 예시를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 VFSS 기반 연하곤란 자동 검출방법의 흐름을 나타낸 동작흐름도이다.
1 is a block diagram showing the configuration of a VFSS-based swallowing disorder automatic detection system according to an embodiment of the present invention.
2 is a view showing an example in which the ratio of the remaining food area according to an embodiment of the present invention is calculated.
3 is a view showing an example of contrast correction through gamma correction according to an embodiment of the present invention.
4 is a flow chart showing the flow of the VFSS-based swallowing dysfunction automatic detection method according to an embodiment of the present invention.

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의 실시예들을 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the contents described in the accompanying drawings. However, the present invention is not limited or limited by the embodiments. The same reference numerals in each drawing denote the same members.

종래에 연하곤란 여부를 판단하기 위해 사용되는 영상처리 프로그램은 피촬영자를 촬영한 영상에 의사가 육안으로 확인 후 수동으로 직접 그려서 진단하므로, 정확한 진단이 불가능하다는 문제점이 있었다.Conventionally, an image processing program used to determine whether dysphagia is difficult has a problem in that an accurate diagnosis is impossible because a doctor visually checks an image taken by a subject and manually draws and diagnoses it.

또한, 의사마다 견해 차이에 의해 진단 결과가 다르다는 문제점도 있었다.In addition, there was also a problem that the diagnosis result differed according to differences in opinions among doctors.

본 발명은 상기 종래 기술의 문제점을 해결하기 위해 고안된 발명으로, 본 발명의 구성을 아래에 상세하게 설명한다.The present invention is an invention designed to solve the problems of the prior art, and the configuration of the present invention will be described in detail below.

도 1은 본 발명의 실시예에 따른 VFSS 기반 연하곤란 자동 검출 시스템(100)의 구성을 나타낸 블록도이다.1 is a block diagram showing the configuration of a VFSS-based swallowing difficulty automatic detection system 100 according to an embodiment of the present invention.

도 1을 참고하면, 본 발명의 VFSS 기반 연하곤란 자동 검출 시스템(100)은 영상추출부(110), 영역검출부(120), 음식물검출부(130), 계산부(140) 및 판단부(150)를 포함 할 수 있다.Referring to FIG. 1, the VFSS-based automatic dysphagia automatic detection system 100 of the present invention includes an image extraction unit 110, an area detection unit 120, a food detection unit 130, a calculation unit 140, and a determination unit 150. It may include.

상기 영상추출부(110)는 다수의 VFSS 영상 중 설골의 위치가 최하단에 위치한 영상을 추출할 수 있다. The image extraction unit 110 may extract an image in which the location of the hyoid bone is located at the bottom of a plurality of VFSS images.

즉, 다수의 VFSS 영상마다 설골(210)이 포함되어 촬영되고, 각 영상마다의 설골(210) 위치는 Y 좌표값으로 표현될 수 있다. 따라서, 다수의 VFSS 영상들 간의 비교를 통해 그 중 설골(210)의 Y 좌표값이 가장 작은 영상을 추출하여 이를 후술할 후두개곡(220) 및 이상와(230) 영역을 검출하기 위한 영상으로 활용할 수 있다.That is, the hyoid bone 210 is included in every VFSS image and photographed, and the location of the hyoid bone 210 for each image may be expressed by a Y coordinate value. Therefore, through comparison between multiple VFSS images, an image having the smallest Y-coordinate value of the hyoid bone 210 is extracted and used as an image for detecting the epiglottis 220 and anomalous 230 region, which will be described later. have.

이는 설골(210)이 최하단에 위치할 때, 상기 후두개곡(220)과 이상와(230)이 최대로 팽창되므로, 상기 후두개곡(220) 및 이상와(230) 영역을 관찰하기에 가장 적절하기 때문이다.This is because, when the hyoid bone 210 is positioned at the bottom, the epiglottis 220 and the abnormal orbit 230 are maximally expanded, so it is most suitable to observe the epiglottis 220 and the abnormal orbit 230 region. .

상기 영역검출부(120)는 상기 영상추출부(110)로부터 추출된 영상에서 후두개곡(220) 및 이상와(230) 영역을 검출할 수 있다. 여기서, 상기 검출된 후두개곡(220) 및 이상와(230) 영역이 검출되면, 그 외곽 경계를 구분 가능한 색상으로 별도 표시할 수 있다.The region detection unit 120 may detect a region of the epiglottis 220 and the abnormality 230 from the image extracted from the image extraction unit 110. Here, when the detected areas of the epiglottis 220 and the abnormality 230 are detected, the outer boundary may be separately displayed in a distinguishable color.

이때, 상기 후두개곡(220) 영역과 상기 이상와(230) 영역의 외곽 경계의 경계선의 색은 다른 색으로 표시할 수 있다.At this time, the color of the boundary line of the outer boundary of the epiglottis 220 region and the abnormality 230 region may be displayed in different colors.

상기 음식물검출부(130)는 상기 영역검출부(120)로부터 검출된 후두개곡(220) 및 이상와(230) 영역 내의 잔여 음식물(240) 영역을 검출하고, 상기 검출된 잔여 음식물(240) 영역에 외곽 경계가 표시될 수 있다.The food detection unit 130 detects an area of the residual food 240 in the epiglottis 220 and the abnormal 230 region detected by the region detection unit 120, and an outer boundary of the detected food residue 240 region Can be displayed.

상기 잔여 음식물(240) 영역을 검출하는 방법은 VFSS 영상 상에 표시될 수 있는 바륨 용액이 포함된 음식물(ex. 물, 푸딩, 미음 등)을 피촬영자가 섭취하면, 상기 후두개곡(220) 및 이상와(230) 영역 내에 남아있는 바륨 용액이 포함된 음식물을 상기 VFSS 영상 상에 표시되어 잔여 음식물(240) 영역을 검출할 수 있다.The method of detecting the area of the residual food 240 is when the subject ingests food (ex. Water, pudding, mime, etc.) containing barium solution that can be displayed on the VFSS image, the epiglottis 220 and The food containing barium solution remaining in the abnormal orbital region 230 may be displayed on the VFSS image to detect the remaining food 240 region.

즉, 일반적인 음식물을 섭취하는 경우 연하장애가 있다면, 후두개곡(220) 및 이상와(230)에 잔여음식물(240)이 존재할 것이므로, 바륨 용액이 포함된 음식물을 섭취하고 상기 바륨 용액이 포함된 음식물이 후두개곡(220) 및 이상와(230)에 남아있는 것을 통해 향후 잔여 음식물(240)이 존재할 것을 미리 예측해 볼 수 있다.In other words, if there is dysphagia in general food intake, residual food 240 will be present in the epiglottis 220 and the abnormal gyrus 230, so the food containing the barium solution is consumed and the food containing the barium solution is the epiglottis It is possible to predict in advance that there will be residual food 240 in the future through what remains in the song 220 and the Sangwawa 230.

이때, 상기 후두개곡(220) 영역의 외곽 경계와 상기 후두개곡(220) 영역 내의 잔여 음식물(240a) 영역의 외곽 경계는 같은 색으로 표시 될 수 있고, 상기 이상와(230) 영역의 경계와 상기 이상와 영역 내의 잔여 음식물(240b) 영역의 외곽 경계는 같은 색으로 표시될 수 있다.At this time, the outer boundary of the epiglottis 220 region and the outer boundary of the residual food 240a region within the epiglottis 220 region may be displayed in the same color, and the boundary between the abnormality and the 230 region and the abnormality The outer border of the area of the residual food 240b in the area may be displayed with the same color.

또한, 상기 외곽 경계는 경계선으로 표시할 수 있고, 영역 전체를 도색하여 표시할 수 있으며, 관심영역과 비관심영역이 명암의 차이를 가지도록 보정하여 표시할 수 있다.In addition, the outer boundary may be displayed as a boundary line, the entire area may be painted and displayed, and the region of interest and the non-interested region may be corrected and displayed to have a difference in contrast.

상기 관심영역과 비관심영역이 명암의 차이를 가지도록 보정하는 방법은 후술할 명암보정부(미도시)에서 상세하게 설명한다.The method of correcting the region of interest and the non-interested region to have a difference in contrast will be described in detail in a contrast correction unit (not shown), which will be described later.

일실시예로, 상기 후두개곡(220) 영역내의 외곽 경계가 경계선으로 표시된 경우, 상기 영역검출부(120)에서 후두개곡(220) 영역을 검출하고, 상기 검출된 후두개곡(220) 영역 외곽 경계에는 초록색으로 경계선이 표시될 수 있다.In one embodiment, when an outer boundary in the region of the epiglottis 220 is indicated by a boundary line, the region of the epiglottis 220 is detected by the region detection unit 120, and the boundary of the outer region of the epiglottis 220 is detected. Borders can be displayed in green.

상기 음식물검출부(130)는 상기 영역검출부(120)에서 검출된 후두개곡(220) 영역 내에 잔여 음식물(240a) 영역을 검출하고, 상기 잔여 음식물(240a) 영역 외곽 경계에는 초록색으로 경계선이 표시될 수 있다.The food detection unit 130 detects the area of the residual food 240a in the region of the epiglottis 220 detected by the area detection unit 120, and a border line may be displayed in green on the outer boundary of the area of the residual food 240a. have.

또 다른 실시예로, 상기 후두개곡(220) 영역의 경계를 영역 전체에 도색하여 표현하고자 하는 경우, 상기 영역검출부(120)에서 후두개곡(220) 영역을 검출하고, 상기 검출된 후두개곡(220) 영역 전체를 초록색으로 도색하여 경계를 표현할 수 있다.In another embodiment, when the boundary of the epiglottis 220 region is to be painted and expressed in the entire region, the region detection unit 120 detects the epiglottis 220 region, and the detected epiglottis 220 ) The entire area can be painted in green to express the border.

상기 음식물검출부(130)는 상기 영역검출부(120)에서 검출된 후두개곡(220) 영역 내에 잔여 음식물(240a) 영역을 검출하고, 상기 잔여 음식물(240a) 영역 전체를 초록색으로 도색하여 경계가 표현될 수 있다.The food detection unit 130 detects the area of the residual food 240a within the region of the epiglottis 220 detected by the area detection unit 120, and paints the entire area of the residual food 240a in green to express a boundary. Can be.

이때 상기 후두개곡(220) 영역과 잔여 음식물(240a)의 영역에 도색된 색의 색깔은 같지만, 명암을 다르게 하여 사용자로 하여금 후두개곡(220)과 잔여 음식물(240a)을 구별할 수 있도록 할 수 있다.At this time, the color of the color painted in the region of the epiglottis 220 and the area of the residual food 240a is the same, but the contrast is different to allow the user to distinguish the epiglottis 220 and the residual food 240a. have.

상기 일실시예들처럼 상기 후두개곡(220) 및 잔여 음식물(240a) 영역의 외곽 경계에 경계선을 표시하거나, 관심 영역 전체를 도색하여 표시함으로써, 의사가 진단을 쉽게 할 수 있으며, 의사가 환자에게 상기 경계가 표시된 영상 또는 관심 영역 전체를 도색한 영상을 보여주고 연하 장애 중증도에 대해서 쉽게 설명이 가능하다.As in the above-described embodiments, a doctor can easily diagnose the patient by marking a boundary line on the outer boundary of the epiglottis 220 and the residual food 240a, or by painting the entire region of interest. The boundary-marked image or the entire region of interest is painted, and the severity of dysphagia can be easily explained.

또한, 상기 이상와(230) 영역 및 상기 이상와(230) 영역 내의 잔여 음식물(240b) 영역에 대해서도 상기 일실시예들처럼 경계를 표시하는 방법은 똑같이 적용될 수 있다.In addition, a method of displaying a boundary may be equally applied to the abnormality 230 region and the residual food 240b region in the abnormality 230 region.

한편, 상기 영상추출부(110), 영역검출부(120), 음식물검출부(130)에는 딥 러닝 기술을 적용하여, 설골(210), 후두개곡(220), 이상와(230) 및 잔여 음식물(240) 영역의 검출 정확도를 향상시킬 수 있다.Meanwhile, deep learning technology is applied to the image extraction unit 110, the area detection unit 120, and the food detection unit 130, the hyoid bone 210, the epiglottis 220, the abnormal vortex 230, and the remaining food 240 The detection accuracy of the region can be improved.

상기 계산부(140)는 상기 영역검출부(120)로부터 검출된 후두개곡(220) 및 이상와(230) 영역의 면적을 계산하고, 상기 음식물검출부(130)로부터 검출된 잔여 음식물(240) 영역의 면적을 계산하며, 상기 후두개곡(220) 및 이상와(230) 영역 내의 면적 중 상기 잔여 음식물(240) 영역이 차지하는 면적의 비율을 계산할 수 있다.The calculation unit 140 calculates the area of the epiglottis 220 and the abnormal orbital region 230 detected from the region detection unit 120, and the area of the residual food 240 region detected by the food detection unit 130. The ratio of the area occupied by the area of the residual food 240 among the areas in the epiglottis 220 and the abnormal area 230 may be calculated.

또한, 상기 계산부(140)는 상기 후두개곡(220) 영역 내의 잔여 음식물(240a) 영역의 면적과 상기 이상와(230) 영역 내의 잔여 음식물(240b) 영역을 각각 계산하여, VFSS 영상 상에 수치로 표시할 수 있다.In addition, the calculator 140 calculates the area of the residual food 240a region in the epiglottis 220 region and the residual food 240b region in the abnormal 230 region, respectively, as a numerical value on the VFSS image. Can be displayed.

즉, 상기 계산부(140)는 후두개곡(220) 영역, 이상와(230) 영역 및 잔여 음식물(240) 영역의 면적을 계산하고, 상기 면적에 따라 계산된 비율이 영상 상에 표시되며, 이를 통해 정확한 치수로 진단을 함으로써, 진단의 정확성을 향상시킬 수 있다.That is, the calculation unit 140 calculates the area of the epiglottis 220 region, the abnormal gyrus 230 region, and the remaining food 240 region, and the calculated ratio according to the area is displayed on the image. By making the diagnosis with the correct dimensions, the accuracy of the diagnosis can be improved.

상기 판단부(150)는 상기 계산부(140)에서 계산된 잔여 음식물(240)이 차지하는 비율과 기설정된 수치와 대조하여 연하 장애의 중증도를 판단할 수 있다.The determination unit 150 may determine the severity of dysphagia by comparing the proportion of the remaining food 240 calculated by the calculation unit 140 with a preset value.

상기 판단부(150)에서 기설정된 수치와 대조하여 연하 장애의 중증도를 판단하는 기준은 상기 잔여 음식물(240) 영역이 차지하는 비율이 제1 수치 미만인 경우 비연하장애로 판단할 수 있고, 상기 잔여 음식물(240) 영역이 차지하는 비율이 제1 수치 이상 제2 수치 미만인 경우 경증연하장애로 판단할 수 있으며, 상기 잔여 음식물(240) 영역이 차지하는 비율이 제2 수치 이상인 경우 중증연하장애로 판단할 수 있다.A criterion for determining the severity of dysphagia in comparison with a predetermined value in the determination unit 150 may be determined as a non- swallowing disorder when the proportion occupied by the area of the residual food 240 is less than a first value. (240) When the proportion of the area occupied by the first value or more and less than the second value may be determined as mild dysphagia, and when the proportion of the remaining food 240 area occupies more than the second value, it may be determined as severe dysphagia. .

상기 잔여 음식물(240) 영역이 차지하는 비율을 판단하는 기준은 상기 후두개곡(220) 및 이상와(230) 영역의 전체 면적 대비 잔여 음식물(240) 영역이 차지하는 면적의 비율을 기설정된 수치와 대조하여 연하 장애 중증도를 판단할 수 있다. The criterion for determining the proportion occupied by the residual food 240 area is compared with the predetermined area by comparing the ratio of the area occupied by the residual food 240 area to the total area of the epiglottis 220 and the abnormal 230 area. The severity of the disorder can be determined.

또한, 상기 후두개곡(220) 영역 내의 잔여 음식물(240a) 영역이 차지하는 비율과 상기 이상와(230) 영역 내의 잔여 음식물(240b) 영역이 차지하는 비율 중 상기 잔여 음식물(240a, 240b)이 차지하는 비율이 더 큰 쪽의 비율을 상기 기설정된 수치와 대조하여 연하 장애 중증도를 판단할 수 있다.In addition, the ratio occupied by the residual food 240a region in the epiglottis 220 region and the ratio occupied by the residual food 240b region in the abnormal 230 region are more occupied by the residual food 240a, 240b. The severity of dysphagia can be determined by contrasting the larger proportions with the predetermined values.

일예로, 후두개곡(220) 및 이상와(230) 영역의 전체 면적 대비 잔여 음식물(240) 영역이 차지하는 비율이 25%이면 상기 후두개곡(220) 및 이상와(230) 영역의 전체 면적 대비 잔여 음식물(240) 영역이 차지하는 비율과 기설정된 수치(ex. 20%이상 30%미만 경증연하장애가 있는 것으로 판단)와 비교할 수 있다.For example, if the proportion of the remaining food 240 area to the total area of the epiglottis 220 and the abnormal area 230 area is 25%, the residual food relative to the total area of the epiglottis 220 and the abnormal area 230 area ( 240) It can be compared with the ratio occupied by the area and the predetermined value (ex. 20% or more and less than 30%, it is considered to have mild dysphagia).

상기와 같은 경우에는 기설정된 수치를 초과하였으므로, 경증연하장애가 있는 것으로 판단할 수 있다.In this case, since the predetermined value was exceeded, it can be determined that there is a mild dysphagia.

또 다른 일예로, 후두개곡(220) 영역 내의 잔여 음식물(240a)가 차지하는 비율이 40%이고, 이상와(230) 영역 내의 잔여 음식물(240b) 영역이 차지하는 비율이 5%이면, 상기 후두개곡(22) 영역 내의 잔여 음식물(240a) 영역의 비율(40%)가 상기 이상와(230) 영역 내의 잔여 음식물(240b) 영역의 비율(5%)보다 더 크므로, 상기 후두개곡(220) 영역 내의 잔여 음식물(240a) 영역의 비율인 40%를 기설정된 수치(ex. 40% 이상이면 중증연하장애가 있는 것으로 판단)와 비교할 수 있다.As another example, if the proportion of the remaining food 240a in the epiglottis 220 region is 40% and the proportion of the remaining food 240b in the abnormal 230 region is 5%, the epiglottis 22 ) Since the proportion (40%) of the area of the residual food (240a) in the area is greater than the proportion (5%) of the area of the residual food (240b) in the area (230), the residual food in the epiglottis (220) area (240a) The ratio of the area, 40%, can be compared with a predetermined value (ex. If it is more than 40%, it is determined that there is severe dysphagia).

상기와 같은 경우에는 기설정된 수치를 초과하였으므로, 중증연하장애가 있는 것으로 판단할 수 있다.In this case, since the predetermined value was exceeded, it can be determined that there is severe dysphagia.

상기 VFSS 기반 연하곤란 자동 검출 시스템(100)에 대한 실시예는 아래에 도 2를 참고하여 상세하게 설명한다.An embodiment of the VFSS-based dysphagia automatic detection system 100 will be described in detail with reference to FIG. 2 below.

도 2는 본 발명의 실시예에 따른 잔여 음식물 영역의 비율이 계산된 예시를 나타낸 도면이다.2 is a view showing an example in which the ratio of the remaining food area according to an embodiment of the present invention is calculated.

도 2를 참고하면, 영상추출부(110), 영역검출부(120), 음식물검출부(130)에서 검출된 설골(210), 후두개곡(220), 이상와(230) 및 잔여 음식물(240) 영역을 VFSS 영상 상에 도색하여 표시될 수 있다.Referring to Figure 2, the image extraction unit 110, the area detection unit 120, the hyoid bone 210, the epiglottis 220, the abnormal orbital 230 and the residual food 240 area detected by the food detection unit 130 It can be displayed by painting on the VFSS image.

상기 설골(210) 영역은 빨간색으로 도색되어 표시되고, 상기 후두개곡(220) 및 상기 후두개곡(220) 영역 내의 잔여 음식물(240a) 영역은 초록색으로 도색하여 표시되며, 상기 이상와(230) 및 상기 이상와(230) 영역 내의 잔여 음식물(240b) 영역은 파란색으로 도색하여 표시될 수 있다.The hyoid bone 210 area is painted and displayed in red, and the residual food 240a area in the epiglottis 220 and the epiglottis 220 area is painted and displayed in green, and the abnormalities 230 and the The area of the residual food 240b in the area of the abnormal phase 230 may be displayed by painting in blue.

이때, 상기 후두개곡(220) 영역과 상기 후두개곡(220) 영역 내의 잔여 음식물(240a) 영역은 같은 색으로 도색되어 표시되지만, 명암을 다르게 하여 구별할 수 있도록 하고, 상기 이상와(230) 영역과 상기 이상와(230) 영역 내의 잔여 음식물(240b) 영역도 같은 색으로 도색되어 표시되지만, 명암을 다르게 하여 구별할 수 있도록 할 수 있다.At this time, the region of the epiglottis 220 and the area of the remaining food 240a in the region of the epiglottis 220 are painted and displayed in the same color, but can be distinguished by different contrasts, and the region of the abnormality 230 Although the area of the food 240b remaining in the abnormal area 230 is also painted and displayed in the same color, the contrast may be distinguished by different contrasts.

상기 후두개곡(220) 영역 내의 잔여 음식물(240a) 영역이 차지하는 비율과 상기 이상와(230) 영역 내에서 잔여 음식물(240b) 영역이 차지하는 비율을 계산부(140)에서 분석하여 VFSS 영상 상에 표시할 수 있다.The ratio of the remaining food (240a) area in the epiglottis 220 region and the proportion of the remaining food (240b) region in the abnormal (230) region are analyzed by the calculator 140 and displayed on the VFSS image. Can be.

분석결과, 상기 후두개곡(220) 영역 내의 잔여 음식물(240a) 영역이 차지하는 비율은 16.12%로 계산되어 VFSS 영상 상에 표시되고, 상기 이상와(230) 영역 내의 잔여 음식물(240b) 영역이 차지하는 비율은 1.31%로 계산되어 VFSS 영상 상에 표시될 수 있다.As a result of analysis, the proportion of the remaining food 240a area in the region of the epiglottis 220 is calculated as 16.12% and displayed on the VFSS image, and the proportion of the remaining food 240b area in the abnormal 230 region is calculated. It can be calculated as 1.31% and displayed on the VFSS image.

상기 계산된 비율을 기설정된 수치와 대조하여 판단부(150)에서 연하 장애 중증도를 판단한다.The severity of the swallowing disorder is determined by the determination unit 150 by comparing the calculated ratio with a predetermined value.

이때, 상기 예시한 바와 같이 후두개곡(220)과 이상와(230) 중 잔여 음식물 영역이 더 큰 부위의 수치를 추출하여, 상기 추출된 수치와 기설정된 수치를 비교하여 연하장애 여부를 판단할 수 있다. At this time, as illustrated above, by extracting the values of the areas of the epiglottis 220 and the abnormal portion 230 where the remaining food area is larger, it is possible to determine whether swallowing disorders by comparing the extracted values with preset values. .

즉, 후두개곡(220) 영역 내에서 잔여 음식물(240a)이 차지하는 영역 비율이 16.12%이고, 상기 이상와(230) 영역 내에서 잔여 음식물(240b)이 차지하는 영역 비율이 1.31%이므로, 둘 중 더 큰 영역 비율을 갖는 16.12%를 비교대상 영역 비율로 추출하고 이를 기설정된 수치(ex. 기설정된 수치의 제1 수치는 5% 로 설정되고, 제2 수치는 20% 로 설정)와 대조하여 판단할 수 있다.That is, the area ratio occupied by the residual food 240a in the epiglottis 220 region is 16.12%, and the area ratio occupied by the residual food 240b in the abnormal 230 region is 1.31%, whichever is greater. It can be judged by extracting 16.12% having the area ratio as the comparison area ratio and comparing it with a preset value (ex. The first value of the preset value is set to 5%, and the second value to 20%). have.

상기 판단 결과, 상기 후두개곡(220) 영역 내의 잔여 음식물(240a) 영역이 차지하는 비율인 16.12%는 제1 수치(5%) 이상 제2 수치(20%) 미만 내에 분포되어 있으므로, 상기 판단부(150)는 VFSS 영상을 촬영한 환자의 연하 장애 중증도를 경증연하장애로 판단한다.As a result of the determination, 16.12%, which is the ratio occupied by the area of the residual food 240a in the region of the epiglottis 220, is distributed within the first value (5%) or more and less than the second value (20%). 150) determines the severity of dysphagia in patients who have taken VFSS images as mild dysphagia.

상기와 같이 본 발명의 VFSS 기반 연하곤란 자동 검출 시스템(100) 이용하면, 의사의 진단이 없어도 기설정된 수치에 의해 연하 장애 중증도를 판단할 수 있다.As described above, when the VFSS-based swallowing dysfunction automatic detection system 100 of the present invention is used, it is possible to determine the severity of dysphagia according to a preset value even without a doctor's diagnosis.

상기 VFSS 기반 연하곤란 자동 검출 시스템(100)은 명암보정부(미도시)를 더 포함할 수 있다.The VFSS-based automatic dysphagia detection system 100 may further include a contrast compensation unit (not shown).

상기 명암보정부(미도시)는 상기 설골(210) 영역, 상기 후두개곡(220) 영역, 상기 이상와(230) 영역 및 상기 잔여 음식물(240) 영역의 명암의 수치가 상기 VFSS 영상의 평균 명암 수치와 기설정된 차이를 가지도록 명암을 보정할 수 있다.The contrast correction unit (not shown) has an average contrast value of the VFSS image in which the contrast values of the hyoid bone 210 region, the epiglottis 220 region, the anomaly 230 region, and the residual food 240 region are measured. The contrast can be corrected to have a preset difference with.

이때, 상기 명암을 보정하는 방법은 감마 보정을 통해 명암을 보정할 수 있다.At this time, the method of correcting the contrast may correct the contrast through gamma correction.

상기 감마 보정을 통해 명암을 보정하는 실시예는 아래에 도 3을 참고하여 상세하게 설명한다.An embodiment of correcting contrast through gamma correction will be described in detail with reference to FIG. 3 below.

도 3은 본 발명의 실시예에 따른 감마 보정을 통한 명암 보정의 예시를 나타낸 도면이다.3 is a view showing an example of contrast correction through gamma correction according to an embodiment of the present invention.

도 3을 참고하면, 상기 명암보정부(미도시)는 감마 보정을 통해 상기 후두개곡(220) 및 이상와(230) 영역의 백색을 강조하고, 상기 VFSS 영상 중 피촬영자의 뼈 영역의 흑색을 강조하여, 연하곤란을 판단하고자 할 때 필요한 영역(ex. 후두개곡, 이상와 등)을 선명하게 관측할 수 있다.Referring to FIG. 3, the contrast correction unit (not shown) emphasizes the whiteness of the epiglottis 220 and the abnormal orbital region 230 through gamma correction, and emphasizes the blackness of the bone region of the subject in the VFSS image. By doing so, it is possible to clearly observe the area (ex. Epiglottis, abnormal gyrus, etc.) required when determining dysphagia.

이때, 상기 백색을 강조한다는 것은 백색에 가깝게 보정한다는 의미로 해석되고, 상기 흑색을 강조한다는 것은 흑색에 가깝게 보정한다는 의미로 해석될 수 있다.At this time, emphasizing the white may be interpreted as means to correct close to white, and emphasizing the black may be interpreted to mean correcting close to black.

즉, 상기 명암보정부(미도시)는 상기 영역검출부(120) 및 음식물검출부(130)에서 검출된 설골(210) 영역, 후두개곡(220) 영역, 이상와(230) 영역 및 잔여 음식물(240) 영역 등과 같은 관심영역의 백색을 강조하고, 관심영역이 아닌 비관심영역은 흑색을 강조하여, 상기 관심영역과 상기 비관심영역의 명암 차이를 극대화하여 사용자로 하여금 관심영역을 선명하게 관측할 수 있도록 한다.That is, the contrast compensation unit (not shown) is detected in the area detection unit 120 and the food detection unit 130, the hyoid bone 210 region, the epiglottis 220 region, the abnormal vortex 230 region and the residual food 240 By emphasizing the white of the region of interest, such as the region, and by emphasizing the non-interesting region that is not the region of interest, the contrast between the region of interest and the non-interesting region is maximized so that the user can observe the region of interest clearly do.

아래에서는 VFSS 연하곤란 자동 검출방법에 대해서, 도 4를 참고하여 자세하게 설명한다.Hereinafter, an automatic detection method for VFSS dysphagia will be described in detail with reference to FIG. 4.

상기 VFSS 기반 연하곤란 자동 검출방법은 상술한 VFSS 기반 연하곤란 자동 검출 시스템에 의해 수행되며, 상기 VFSS 기반 연하곤란 자동 검출 시스템에 적용되는 세부 구성들은 모두 VFSS 기반 연하곤란 자동 검출 방법에 적용될 수 있으며, 이하에서는 상기 VFSS 기반 연하곤란 자동 검출 시스템의 구성에서 언급되지 않은 내용을 중심으로 설명한다.The VFSS-based dysphagia automatic detection method is performed by the above-described VFSS-based dysphagia automatic detection system, and all detailed configurations applied to the VFSS-based dysphagia automatic detection system can be applied to the VFSS-based dysphagia automatic detection method, Hereinafter, a description will be made focusing on contents not mentioned in the configuration of the VFSS-based swallowing dysfunction automatic detection system.

도 4는 본 발명의 실시예에 따른 VFSS 기반 연하곤란 자동 검출방법의 흐름을 나타낸 동작흐름도이다.4 is a flow chart showing the flow of the VFSS-based swallowing dysfunction automatic detection method according to an embodiment of the present invention.

도 4를 참고하면, 상기 VFSS 기반 연하곤란 자동 검출방법은 다수의 VFSS 영상 중 설골(210)의 위치가 최하단에 위치한 영상을 추출하고, 상기 설골(210) 영역에 경계가 표시되는 단계(S110), 상기 추출된 영상에서 후두개곡(220) 및 이상와(230) 영역을 검출하고, 상기 검출된 후두개곡(220) 및 이상와(230) 영역의 경계가 표시되는 단계(S120), 상기 후두개곡(220) 및 이상와(230) 영역의 경계가 표시된 영상에서 잔여 음식물(240) 영역을 검출하고, 상기 검출된 잔여 음식물(240) 영역의 경계가 표시되는 단계(S130), 상기 후두개곡(220) 영역, 이상와(230) 영역 및 잔여 음식물(240) 영역의 면적을 계산하고, 상기 후두개곡(220) 및 이상와(230) 영역에서의 잔여 음식물(240) 영역이 차지하는 비율을 계산하는 단계(S140) 및 상기 잔여 음식물(240) 영역이 차지하는 비율을 기설정된 수치와 대조하여 연하 장애의 중증도를 판단하는 단계(S150)를 포함할 수 있다.Referring to FIG. 4, the VFSS-based swallowing dysfunction automatic detection method extracts an image in which the location of the hyoid bone 210 is located at the bottom of a plurality of VFSS images, and a boundary is displayed in the hyoid bone 210 region (S110). , In the extracted image, detecting the epiglottis 220 and abnormal region 230 region, and displaying the boundary between the detected epiglottis 220 and abnormal region 230 region (S120), the epiglottis 220 ) And the image of the boundary between the area of the abnormality 230 and the residual food 240 is detected, and the boundary of the detected residual food 240 area is displayed (S130), the epiglottis 220 area, Calculating the area of the area of the abnormal orbital (230) and the area of residual food (240), and calculating the proportion of the area of residual food (240) in the epiglottis (220) and abnormal orbital area (230) (S140) and the It may include a step (S150) of determining the severity of dysphagia by comparing the proportion occupied by the remaining food 240 area with a predetermined value.

상기 다수의 VFSS 영상 중 설골(210)의 위치가 최하단에 위치한 영상을 검출하는 단계(S110)에서는 설골(210) 위치를 Y 좌표값으로 표현하여, 다수의 VFSS 영상들 간의 비교를 통해 그 중 설골(210)의 Y 좌표값이 가장 작은 영상을 추출할 수 있다.In the step of detecting an image in which the location of the hyoid bone 210 is located at the bottom of the plurality of VFSS images (S110), the location of the hyoid bone 210 is expressed as a Y coordinate value, and the hyoid bone among them is compared through comparison between multiple VFSS images. An image having the smallest Y-coordinate value of 210 may be extracted.

상기 설골(210)의 Y 좌표값이 가장 작은 영상을 추출하는 이유는 상기 설골(210)이 최하단에 위치할 때, 후두개곡(220) 및 이상와(230)가 최대로 팽창되므로, 이 경우가 후두개곡(220) 및 이상와(230) 영역을 관찰하기에 가장 적절하기 때문이다.The reason for extracting the image with the smallest Y-coordinate value of the hyoid bone 210 is that the epiglottis 220 and the abnormal orbit 230 expand to the maximum when the hyoid bone 210 is positioned at the bottom, so this case is the epiglottis. This is because it is most suitable for observing the region of the song 220 and the abnormal vortex 230.

상기 후두개곡(220) 및 이상와(230) 영역을 검출하고, 경계를 표시하는 단계(S120)와 상기 검출된 후두개곡(220) 및 이상와(230) 영역 내의 잔여 음식물(240) 영역을 검출하고, 경계를 표시하는 단계(S130)에서는 딥 러닝 기술을 적용하여, 상기 후두개곡(220) 영역, 이상와(230) 영역 및 잔여 음식물(240) 영역을 검출하는 정확도를 향상시킬 수 있고, 경계를 표시함으로써, 의사가 진단을 쉽게 할 수 있으며, 의사가 환자에게 경계가 표시된 영상을 보여주고 연하 장애 중증도에 대해서 쉽게 설명이 가능하다.The region of the epiglottis 220 and the abnormality 230 is detected, a step of displaying a boundary (S120), and the region of residual food 240 in the region of the detected epiglottis 220 and the abnormality 230 is detected, In the step of displaying the boundary (S130), by applying a deep learning technique, it is possible to improve the accuracy of detecting the epiglottis 220 region, the abnormal gyrus 230 region, and the remaining food 240 region, by displaying the boundary , The doctor can make the diagnosis easily, and the doctor can show the patient with a bordered image and easily explain the severity of dysphagia.

또한, 상기 경계를 표시하는 방법에는 외곽 경계를 경계선으로 표시하는 방법, 관심 영역 전체를 도색하여 표시하는 방법, 관심영역과 비관심영역이 명암의 차이를 가지도록 보정하여 표시하는 방법 등을 사용할 수 있다.In addition, as a method of displaying the boundary, a method of displaying an outer boundary as a boundary line, a method of painting and displaying the entire region of interest, a method of correcting and displaying the region of interest and a non-interested region to have a difference in contrast can be used. have.

또한, 상기 후두개곡(220) 및 이상와(230) 영역 내의 잔여 음식물(240) 영역을 검출하는 단계(S130)에서는 피촬영자가 VFSS 영상 상에 표시될 수 있는 바륨 용액이 포함된 음식을 섭취하면, 상기 후두개곡(220) 및 이상와(230) 영역 내에 남아있는 바륨 용이 포함된 음식물을 상기 VFSS 영상 상에 표시되어 잔여 음식물(240) 영역을 검출할 수 있다.In addition, in the step (S130) of detecting the region of the epiglottis 220 and the residual food 240 in the region of the abnormality 230, when the subject ingests food containing barium solution that can be displayed on the VFSS image, The food that contains barium dragons remaining in the epiglottis 220 and the abnormal orbital region 230 may be displayed on the VFSS image to detect the remaining food 240 region.

상기 후두개곡(220) 및 이상와(230) 영역 내에 잔여 음식물(240) 영역의 면적을 계산하고, 상기 잔여 음식물(240) 영역이 차지하는 비율을 계산하는 단계(S140)에서는 상기 후두개곡(220) 및 이상와(230) 영역 내에 잔여 음식물(240a, 240b) 영역을 각각 계산하고, 상기 잔여 음식물(240a, 240b) 영역이 차지하는 비율을 각각 치수화하여 영상 상에 표시된다.In the step (S140) of calculating the area of the area of the residual food 240 in the region of the epiglottis 220 and the abnormal and 230, and calculating the proportion occupied by the region of the residual food 240, the epiglottis 220 and Residual food (240a, 240b) areas within the area of the orbital (230) are calculated, respectively, and a ratio occupied by the remaining food (240a, 240b) areas is respectively dimensioned and displayed on the image.

이는 상기 잔여 음식물(240a, 240b) 영역이 차지하는 비율을 각각 치수화하여 영상 상에 표시됨으로써, 진단의 정확성을 향상시킬 수 있다.This can improve the accuracy of diagnosis by dimensioning the proportions of the remaining foods 240a and 240b, respectively, and displaying them on the image.

상기 치수화된 잔여 음식물(240) 영역이 차지하는 비율과 기설정된 수치와 대조하여 연하 장애 중증도를 판단하는 단계(S150)에서 기설정된 수치와 대조하여 연하 장애의 중증도를 판단하는 기준은 상기 치수화된 잔여 음식물(240) 영역이 차지하는 비율이 제1 수치 미만인 경우 비연하장애로 판단할 수 있고, 상기 비율이 제1수치 이상 제2 수치 미만인 경우 경증연하장애로 판단할 수 있고, 상기 비율이 제2 수치 이상인 경우 중증연하장애로 판단할 수 있다.The criterion for determining the severity of swallowing disorder in comparison with the preset value in step S150 is determined by comparing the ratio occupied by the area of the dimensioned residual food 240 with the preset value and the predetermined value. When the proportion of the remaining food 240 area occupies less than the first value, it can be determined as non- swallowing disorder, and when the proportion is greater than or equal to the first value and less than the second value, it can be determined as mild dysphagia, and the proportion is second. If it is above the value, it can be judged as severe dysphagia.

상기와 같이 본 발명의 일실시예에 따르면, 후두개곡 및 이상와 영역 내에 잔여 음식물 영역의 비율을 측정함으로써, 상기 측정된 비율을 통해 연하 장애 중증도를 판단할 수 있는 VFSS 기반 연하곤란 자동 검출 시스템 및 그 검출방법이 제공된다.According to an embodiment of the present invention as described above, by measuring the proportion of the food area remaining in the epiglottis and abnormal areas and the VFSS-based swallowing dysfunction automatic detection system capable of determining the severity of dysphagia through the measured ratio and A detection method is provided.

본 발명의 일실시예에 따르면, 후두개곡 및 이상와의 형상과 위치에 대한 딥 러닝 트레이닝을 수행함으로써, 정확한 후두개곡 및 이상와 영역을 검출할 수 있는 VFSS 기반 연하곤란 자동 검출 시스템 및 그 검출방법이 제공된다.According to an embodiment of the present invention, by performing deep learning training on the shape and location of the epiglottis and abnormalities, a VFSS-based swallowing dysfunction automatic detection system and a method for detecting the correct epiglottis and abnormalities and regions are provided. do.

본 발명의 일실시예에 따르면, 추출된 VFSS 영상에 대한 명암 보정 작업을 실시함으로써, 설골, 후두개곡, 이상와 및 잔여 음식물 영역의 위치를 보다 명확하게 확인할 수 있는 VFSS 기반 연하곤란 자동 검출 시스템 및 그 검출방법이 제공된다.According to an embodiment of the present invention, by performing a contrast correction operation on the extracted VFSS image, the VFSS-based swallowing dysfunction automatic detection system that can more clearly check the location of the hyoid bone, epiglottis, abnormal orbital and residual food areas, and A detection method is provided.

또한 본 발명의 일실시예에 따른, VFSS 기반 연하곤란 자동 검출 시스템 및 그 검출방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.In addition, according to an embodiment of the present invention, the VFSS-based swallowing dysfunction automatic detection system and its detection method may be recorded on a computer-readable medium including program instructions for performing various computer-implemented operations. The computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination. The media may be program instructions specially designed and constructed for the present invention, or may be known and usable by those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks. -Hardware devices specifically configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler.

이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.  따라서, 본 발명의 일실시예는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.As described above, although one embodiment of the present invention has been described by a limited embodiment and drawings, one embodiment of the present invention is not limited to the above-described embodiment, which is a general knowledge in the field to which the present invention pertains. Various modifications and variations can be made by those who have this description. Accordingly, one embodiment of the present invention should be understood only by the claims set forth below, and all equivalents or equivalent modifications thereof will be said to fall within the scope of the spirit of the present invention.

100: VFSS 기반 연하곤란 자동 검출 시스템
110: 영상추출부
120: 영역검출부
130: 음식물검출부
140: 계산부
150: 판단부
210: 설골
220: 후두개곡
230: 이상와
240: 잔여 음식물
100: VFSS based dysphagia automatic detection system
110: image extraction unit
120: area detection unit
130: food detection unit
140: calculation unit
150: judgment unit
210: hyoid bone
220: epiglottis
230: Wow
240: residual food

Claims (5)

다수의 VFSS(Videofluoroscopic Swallowing Study, 비디오 투시 연하 검사) 영상 중 설골의 위치가 최하단에 위치한 영상을 추출하는 영상추출부;
상기 영상추출부로부터 추출된 영상에서 후두개곡 및 이상와 영역을 검출하는 영역검출부;
상기 영역검출부로부터 검출된 후두개곡 및 이상와 영역 내에서 잔여 음식물 영역을 검출하는 음식물검출부;
상기 영역검출부로부터 검출된 후두개곡 및 이상와 영역의 면적을 계산하고, 상기 음식물검출부로부터 검출된 잔여 음식물 영역의 면적을 계산하며, 상기 후두개곡 및 이상와 영역 내의 면적 중 상기 잔여 음식물 영역이 차지하는 면적의 비율을 계산하는 계산부; 및
상기 계산부에서 계산된 잔여 음식물이 차지하는 비율과 기설정된 수치와 대조하여 연하 장애의 중증도를 판단하는 판단부;
를 포함하는 것을 특징으로 하는 VFSS 기반 연하곤란 자동 검출 시스템.
An image extraction unit for extracting an image in which the location of the hyoid bone is at the bottom of a plurality of VFSS (Videofluoroscopic Swallowing Study) images;
A region detection unit that detects epiglottis, abnormalities, and regions from the image extracted from the image extraction unit;
A food detection unit that detects the epiglottis and abnormalities detected by the region detection unit and the residual food region within the region;
Calculate the area of the epiglottis and abnormalities and areas detected by the area detection unit, calculate the area of the residual food area detected by the food detection unit, and the ratio of the area occupied by the residual food area among the areas of the epiglottis and abnormalities and areas Calculation unit for calculating; And
A determination unit to determine the severity of dysphagia by comparing the proportion of the remaining food and beverage calculated by the calculation unit with a predetermined value;
VFSS-based swallowing difficulty automatic detection system characterized in that it comprises a.
제 1항에 있어서,
상기 설골 영역, 상기 후두개곡 영역, 상기 이상와 영역 및 상기 잔여 음식물 영역의 명암의 수치가 상기 VFSS 영상의 평균 명암 수치와 기설정된 차이를 가지도록 명암을 보정하는 명암보정부;를 더 포함하고,
상기 명암보정부는,
감마 보정을 통해 상기 후두개곡 및 이상와 영역의 백색을 강조하고, 상기 VFSS 영상 중 피촬영자의 뼈 영역의 흑색을 강조하여 명암의 차이를 가지는 것을 특징으로 하는 VFSS 기반 연하곤란 자동 검출 시스템.
According to claim 1,
Further comprising a contrast correction for correcting the contrast so that the numerical value of the contrast of the hyoid area, the epiglottis area, the abnormal area and the residual food area has a predetermined difference from the average contrast value of the VFSS image,
The contrast compensation unit,
VFSS-based swallowing dysfunction automatic detection system characterized by having a difference in contrast by emphasizing whiteness of the epiglottis and abnormal areas and areas through gamma correction, and emphasizing black of a bone area of a subject in the VFSS image.
제 1항에 있어서,
상기 음식물검출부는,
피촬영자가 섭취한 VFSS 영상 상에 표시되는 바륨 용액이 포함된 음식물이 상기 후두개곡 및 이상와 영역에 잔여하게 되면, 상기 영상추출부에서 추출된 영상 상에 표시되어 잔여 음식물 영역으로 검출하는 것을 특징으로 하는 VFSS 기반 연하곤란 자동 검출 시스템.
According to claim 1,
The food detection unit,
When the food containing barium solution displayed on the VFSS image taken by the subject remains in the epiglottis and abnormal areas, the image is extracted from the image extraction unit and detected as a residual food region. VFSS-based dysphagia automatic detection system.
제 1항에 있어서,
상기 판단부는,
상기 잔여 음식물 영역이 차지하는 비율이 제1 수치 미만인 경우 비연하장애로 판단하고,
상기 잔여 음식물 영역이 차지하는 비율이 제1 수치 이상 제2 수치 미만인 경우 경증연하장애로 판단하고,
상기 잔여 음식물 영역이 차지하는 비율이 제2 수치 이상인 경우 중증연하장애로 판단하는 것을 특징으로 하는 VFSS 기반 연하곤란 자동 검출 시스템.
According to claim 1,
The determination unit,
If the proportion occupied by the residual food area is less than the first value, it is determined as non- swallowing disorder,
When the proportion of the remaining food area occupies less than the first value or less than the second value, it is determined as mild dysphagia,
VFSS-based dysphagia automatic detection system, characterized in that when the proportion of the remaining food area occupies more than the second value, it is determined as severe dysphagia.
다수의 VFSS 영상 중 설골의 위치가 최하단에 위치한 영상을 추출하고, 상기 설골 영역에 경계가 표시되는 단계;
상기 추출된 영상에서 후두개곡 및 이상와 영역을 검출하고, 상기 검출된 후두개곡 및 이상와 영역의 경계가 표시되는 단계;
상기 후두개곡 및 이상와 영역의 경계가 표시된 영상에서 잔여 음식물 영역을 검출하고, 상기 검출된 잔여 음식물 영역의 경계가 표시되는 단계;
상기 후두개곡 영역, 이상와 영역 및 잔여 음식물 영역의 면적을 계산하고, 상기 후두개곡 및 이상와 영역에서의 잔여 음식물 영역이 차지하는 비율을 계산하는 단계; 및
상기 잔여 음식물 영역이 차지하는 비율을 기설정된 수치와 대조하여 연하 장애의 중증도를 판단하는 단계;
를 포함하는 VFSS 기반 연하곤란 자동 검출방법.
Extracting an image in which the location of the hyoid bone is located at the bottom of a plurality of VFSS images, and displaying a boundary in the hyoid region;
Detecting an epiglottis and anomalies and regions in the extracted image, and displaying a boundary between the detected epiglottis and anomalies and regions;
Detecting a residual food area in the image in which the boundary between the epiglottis and the abnormal area is displayed, and displaying a boundary of the detected remaining food area;
Calculating an area of the epiglottis area, anomalous area, and residual food area, and calculating a proportion of the residual food area in the epiglottis area and anomaly area; And
Determining the severity of dysphagia by comparing the proportion of the remaining food area with a predetermined value;
VFSS-based swallowing dysfunction automatic detection method comprising a.
KR1020180142791A 2018-11-19 2018-11-19 Vfss based auromatic dysphagia detection system and the method therof KR20200058657A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180142791A KR20200058657A (en) 2018-11-19 2018-11-19 Vfss based auromatic dysphagia detection system and the method therof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180142791A KR20200058657A (en) 2018-11-19 2018-11-19 Vfss based auromatic dysphagia detection system and the method therof

Publications (1)

Publication Number Publication Date
KR20200058657A true KR20200058657A (en) 2020-05-28

Family

ID=70920230

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180142791A KR20200058657A (en) 2018-11-19 2018-11-19 Vfss based auromatic dysphagia detection system and the method therof

Country Status (1)

Country Link
KR (1) KR20200058657A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220008126A (en) * 2020-07-13 2022-01-20 단국대학교 산학협력단 Method and apparatus for detecting dysphagia automatically based on machine learning
KR20220115369A (en) 2021-02-10 2022-08-17 서울대학교산학협력단 Apparatus and method for tracking hyoid bone

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101793816B1 (en) 2016-02-29 2017-11-06 건양대학교산학협력단 Monitoring system for diagnosis dysphagia

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101793816B1 (en) 2016-02-29 2017-11-06 건양대학교산학협력단 Monitoring system for diagnosis dysphagia

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220008126A (en) * 2020-07-13 2022-01-20 단국대학교 산학협력단 Method and apparatus for detecting dysphagia automatically based on machine learning
KR20220115369A (en) 2021-02-10 2022-08-17 서울대학교산학협력단 Apparatus and method for tracking hyoid bone

Similar Documents

Publication Publication Date Title
KR102182641B1 (en) Method for diagnosing glaucoma using fundus image and apparatus therefor
JP6038112B2 (en) Method for classification of tooth surfaces
Chrástek et al. Automated segmentation of the optic nerve head for diagnosis of glaucoma
Oliveira Jr et al. Use of SVM methods with surface-based cortical and volumetric subcortical measurements to detect Alzheimer's disease
US11080850B2 (en) Glaucoma diagnosis method using fundus image and apparatus for the same
US20140018681A1 (en) Ultrasound imaging breast tumor detection and diagnostic system and method
Ginsburg et al. Automated texture-based quantification of centrilobular nodularity and centrilobular emphysema in chest CT images
Hamelin et al. Sulcal morphology as a new imaging marker for the diagnosis of early onset Alzheimer's disease
KR102176490B1 (en) Methods for Segmentation and Processing of Dental Images for Diagnosing, Predicting, or Managing Oral Conditions
CN111602173A (en) Tomographic data analysis
Sawagashira et al. An automatic detection method for carotid artery calcifications using top-hat filter on dental panoramic radiographs
Wang et al. A comparison of magnetic resonance imaging and neuropsychological examination in the diagnostic distinction of Alzheimer's disease and behavioral variant frontotemporal dementia
Clark et al. Longitudinal imaging pattern analysis (SPARE-CD index) detects early structural and functional changes before cognitive decline in healthy older adults
KR20200058657A (en) Vfss based auromatic dysphagia detection system and the method therof
Liao et al. Comparison of the effectiveness of using the optic strut and tuberculum sellae as radiological landmarks in diagnosing paraclinoid aneurysms with CT angiography
Duy et al. Automatic detection and classification of teeth in CT data
US20100002922A1 (en) Apparatus and method for indicating likely computer-detected false positives in medical imaging data
US20070286467A1 (en) Osteoporosis Diagnosis Support Device
Tiehuis et al. Automated and visual scoring methods of cerebral white matter hyperintensities: relation with age and cognitive function
US10231663B2 (en) Image display control apparatus, image display control method, and image display control program
May et al. Pharyngeal swallowing mechanics associated with upper esophageal sphincter pressure wave
Olsen et al. An image-processing enabled dental caries detection system
TW201923777A (en) Image processing apparatus, image processing method and memory medium in which the degree of freedom in setting a region of interest is enhanced
Mohd Noor et al. Segmentation of the lung anatomy for high resolution computed tomography (HRCT) thorax images
Lundell et al. Spinal cord atrophy in anterior‐posterior direction reflects impairment in multiple sclerosis

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application