KR20220115369A - Apparatus and method for tracking hyoid bone - Google Patents

Apparatus and method for tracking hyoid bone Download PDF

Info

Publication number
KR20220115369A
KR20220115369A KR1020210019295A KR20210019295A KR20220115369A KR 20220115369 A KR20220115369 A KR 20220115369A KR 1020210019295 A KR1020210019295 A KR 1020210019295A KR 20210019295 A KR20210019295 A KR 20210019295A KR 20220115369 A KR20220115369 A KR 20220115369A
Authority
KR
South Korea
Prior art keywords
hyoid bone
hyoid
vfss
cervical
tracking
Prior art date
Application number
KR1020210019295A
Other languages
Korean (ko)
Other versions
KR102595012B1 (en
Inventor
이동헌
이정찬
김희찬
이우형
오병모
서한길
Original Assignee
서울대학교산학협력단
서울대학교병원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단, 서울대학교병원 filed Critical 서울대학교산학협력단
Priority to KR1020210019295A priority Critical patent/KR102595012B1/en
Publication of KR20220115369A publication Critical patent/KR20220115369A/en
Application granted granted Critical
Publication of KR102595012B1 publication Critical patent/KR102595012B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4205—Evaluating swallowing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4504—Bones
    • A61B5/4509—Bone density determination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542—Evaluating the mouth, e.g. the jaw
    • A61B5/4552—Evaluating soft tissue within the mouth, e.g. gums or tongue
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Rheumatology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Primary Health Care (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Endocrinology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

According to one aspect of the present invention, a hyoid bone tracking device includes: an image acquisition unit which acquires VFSS (video fuoroscopic swallowing study) images; and a processor for determining the relative trajectory of the hyoid bone with respect to a cervical spine from the obtained VFSS images. Therefore, a high-precision trajectory of the hyoid bone during swallowing can be automatically acquired by determining the relative trajectory of the hyoid bone with respect to the cervical vertebrae from the VFSS images through machine learning or deep learning.

Description

설골 추적 장치 및 방법{Apparatus and method for tracking hyoid bone}Apparatus and method for tracking hyoid bone}

삼킴 과정에서 설골의 움직임을 추적하는 장치 및 방법과 관련된다.It relates to an apparatus and method for tracking the movement of the hyoid bone during swallowing.

삼키기 어려움(swallowing difficulty)은 노인 인구의 15%에서 22%의 유병률을 보이는 일반적인 주요 건강 문제이다. 치매, 뇌졸증 및 파킨슨 병과 같은 여러 신경계 질환이 있는 환자에게 발생할 수 있지만, 정상적인 연령 관련 변화로 발생할 수도 있다. 노인의 삼키기 어려움은 탈수, 영양실조, 흡인성 폐렴과 같은 심각한 합병증을 유발하여 입원 및 사망률을 증가시킬 수 있다.Swallowing difficulty is a common major health problem with a prevalence of 15% to 22% of the elderly population. It can occur in patients with several neurological disorders, such as dementia, stroke, and Parkinson's, but can also occur with normal age-related changes. Swallowing difficulties in the elderly can lead to serious complications such as dehydration, malnutrition, and aspiration pneumonia, increasing hospitalization and mortality.

삼킴 기능을 평가하기 위한 표준검사는 비디오투시 연하 검사(videofuoroscopic swallowing study, VFSS)이다. VFSS를 통해 구강, 인두, 및 식도 단계를 포함하는 전체 삼킴 과정의 삼킴 관련 해부학적 구조와 역학을 시각화할 수 있다. 삼키기 어려움에 대한 정량적 운동학적 분석은 삼킴의 해부학적 및 동적 특성에 대한 정보를 포함하는 VFSS 영상을 기반으로 수행된다. 그러나 삼킴의 운동학적 분석은 삼킴 구조의 수동 표시를 위해 노동 집약적이고 시간이 많이 소요되는 프로세스를 요구하므로 임상적 유용성과 적용 가능성이 제한된다.The standard test to evaluate swallowing function is the videofuoroscopic swallowing study (VFSS). VFSS enables visualization of swallow-related anatomy and dynamics of the entire swallowing process, including the oral, pharyngeal, and esophageal stages. Quantitative kinematic analysis of swallowing difficulties is performed based on VFSS images including information on the anatomical and dynamic characteristics of swallowing. However, kinematic analysis of swallowing requires a labor-intensive and time-consuming process for manual representation of swallowing structures, thus limiting its clinical usefulness and applicability.

대한민국공개특허공보 제10-2020-0058657호Republic of Korea Patent Publication No. 10-2020-0058657

설골 추적 장치 및 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide a hyoid bone tracking device and method.

일 양상에 따른 설골 추적 장치는, VFSS(videofuoroscopic swallowing study) 영상들을 획득하는 영상 획득부; 및 상기 획득된 VFSS 영상들로부터 경추에 대한 설골의 상대적 궤적을 판단하는 프로세서; 를 포함할 수 있다.The hyoid bone tracking device according to an aspect includes: an image acquisition unit for acquiring VFSS (videofuoroscopic swallowing study) images; and a processor for determining a relative trajectory of the hyoid bone with respect to the cervical spine from the obtained VFSS images. may include.

상기 프로세서는, 설골 추적 모델을 이용하여 각 VFSS 영상에서 설골을 포함하는 관심 영역을 추출하는 설골 추적부; 설골 분할 모델을 이용하여 상기 추출된 각 관심 영역에서 상기 설골을 분할하는 설골 분할부; 상기 분할된 각 설골의 특정점을 판단하는 특정점 판단부; 경추 분할 모델을 이용하여 각 VFSS 영상에서 경추를 분할하는 경추 분할부; 상기 분할된 경추를 기반으로 경추를 기준으로 하는 좌표계를 생성하는 좌표계 생성부; 및 상기 각 설골의 특정점과 상기 생성된 좌표계를 기반으로 경추에 대한 설골의 상대적 궤적을 판단하는 궤적 판단부; 를 포함할 수 있다.The processor may include: a hyoid bone tracking unit for extracting a region of interest including a hyoid bone from each VFSS image using a hyoid bone tracking model; a hyoid bone division unit for dividing the hyoid bone in each of the extracted regions of interest using a hyoid bone division model; a specific point determination unit for determining a specific point of each of the divided hyoid bones; a cervical segmentation unit for segmenting the cervical vertebrae in each VFSS image using a cervical segmentation model; a coordinate system generator for generating a coordinate system based on the cervical vertebrae based on the divided cervical vertebrae; and a trajectory determination unit for determining a relative trajectory of the hyoid bone with respect to the cervical vertebrae based on the specific point of each hyoid bone and the generated coordinate system. may include.

상기 설골 추적부는 상기 설골 추적 모델을 이용하여 상기 VFSS 영상들에서 설골을 추적하고, 설골 추적 결과를 기반으로 각 VFSS 영상에서 상기 관심 영역을 추출할 수 있다.The hyoid bone tracking unit may track the hyoid bone in the VFSS images using the hyoid bone tracking model, and extract the ROI from each VFSS image based on the hyoid bone tracking result.

상기 설골 추적 모델, 상기 설골 분할 모델 및 상기 경추 분할 모델은 머신러닝 또는 딥러닝을 통해 미리 생성될 수 있다.The hyoid bone tracking model, the hyoid bone segmentation model, and the cervical segmentation model may be generated in advance through machine learning or deep learning.

상기 특정점은 center point, most anterior point, most posterior point, most superior point, most inferior point를 포함할 수 있다.The specific point may include a center point, most anterior point, most posterior point, most superior point, and most inferior point.

상기 특정점 판단부는 상기 각 설골을 설골의 특정점이 표시된 기준 설골 영상에 형상 매칭시킴으로써, 상기 각 설골의 특정점을 판단할 수 있다.The specific point determination unit may determine the specific point of each hyoid bone by shape-matching the respective hyoid bone to a reference hyoid bone image in which a specific point of the hyoid bone is displayed.

상기 기준 설골 영상은 상기 VFSS 영상들 중 최초 프레임 영상에서 분할된 설골의 영상일 수 있다.The reference hyoid bone image may be an image of the hyoid bone divided from the first frame image among the VFSS images.

상기 좌표계 생성부는 상기 분할된 경추에서 2개의 해부학적 지점을 판단하고, 상기 2개의 해부학적 지점을 연결하는 제1 축과, 상기 제1 축에 수직한 제2 축을 포함하는 상기 좌표계를 생성할 수 있다.The coordinate system generating unit may determine two anatomical points in the divided cervical vertebrae, and generate the coordinate system including a first axis connecting the two anatomical points and a second axis perpendicular to the first axis. have.

상기 궤적 판단부는 상기 각 설골의 특정점을 상기 좌표계에 표시하여 상기 경추에 대한 상기 설골의 상대적 궤적을 판단할 수 있다.The trajectory determination unit may determine the relative trajectory of the hyoid bone with respect to the cervical vertebra by displaying a specific point of each hyoid bone on the coordinate system.

상기 프로세서는, 상기 설골 추적 모델, 상기 설골 분할 모델 및 상기 경추 분할 모델 중 적어도 하나를 갱신하는 모델 갱신부; 를 더 포함할 수 있다.The processor may include: a model updater for updating at least one of the hyoid bone tracking model, the hyoid bone segmentation model, and the cervical segmentation model; may further include.

다른 양상에 따른 설골 추적 방법은 VFSS(videofuoroscopic swallowing study) 영상들을 획득하는 단계; 및 상기 획득된 VFSS 영상들로부터 경추에 대한 설골의 상대적 궤적을 판단하는 단계; 를 포함할 수 있다.The hyoid bone tracking method according to another aspect comprises: acquiring VFSS (videofuoroscopic swallowing study) images; and determining a relative trajectory of the hyoid bone with respect to the cervical spine from the obtained VFSS images. may include.

상기 경추에 대한 설골의 상대적 궤적을 판단하는 단계는, 설골 추적 모델을 이용하여 각 VFSS 영상에서 설골을 포함하는 관심 영역을 추출하는 단계; 설골 분할 모델을 이용하여 상기 추출된 각 관심 영역에서 상기 설골을 분할하는 단계; 상기 분할된 각 설골의 특정점을 판단하는 단계; 경추 분할 모델을 이용하여 각 VFSS 영상에서 경추를 분할하는 단계; 상기 분할된 경추를 기반으로 경추를 기준으로 하는 좌표계를 생성하는 단계; 및 상기 각 설골의 특정점과 상기 생성된 좌표계를 기반으로 경추에 대한 설골의 상대적 궤적을 판단하는 단계; 를 포함할 수 있다.The determining of the relative trajectory of the hyoid bone with respect to the cervical vertebrae may include: extracting a region of interest including the hyoid bone from each VFSS image using a hyoid bone tracking model; segmenting the hyoid bone in each of the extracted regions of interest using a hyoid bone segmentation model; determining a specific point of each of the divided hyoid bones; segmenting the cervical vertebrae in each VFSS image using a cervical segmentation model; generating a coordinate system based on the cervical vertebrae based on the divided cervical vertebrae; and determining the relative trajectory of the hyoid bone with respect to the cervical vertebrae based on the specific point of each hyoid bone and the generated coordinate system. may include.

상기 관심 영역을 추출하는 단계는 상기 설골 추적 모델을 이용하여 상기 VFSS 영상들에서 설골을 추적하고, 설골 추적 결과를 기반으로 각 VFSS 영상에서 상기 관심 영역을 추출할 수 있다.The extracting of the region of interest may include tracking the hyoid bone in the VFSS images using the hyoid bone tracking model, and extracting the region of interest from each VFSS image based on the hyoid bone tracking result.

상기 설골 추적 모델, 상기 설골 분할 모델 및 상기 경추 분할 모델은 머신러닝 또는 딥러닝을 통해 미리 생성될 수 있다.The hyoid bone tracking model, the hyoid bone segmentation model, and the cervical segmentation model may be generated in advance through machine learning or deep learning.

상기 특정점은 center point, most anterior point, most posterior point, most superior point, most inferior point를 포함할 수 있다.The specific point may include a center point, most anterior point, most posterior point, most superior point, and most inferior point.

상기 각 설골의 특정점을 판단하는 단계는 상기 각 설골을 설골의 특정점이 표시된 기준 설골 영상에 형상 매칭시킴으로써, 상기 각 설골의 특정점을 판단할 수 있다.In the step of determining the specific point of each hyoid bone, the specific point of each hyoid bone may be determined by shape matching the respective hyoid bone to a reference hyoid bone image in which the specific point of the hyoid bone is displayed.

상기 기준 설골 영상은 상기 VFSS 영상들 중 최초 프레임 영상에서 분할된 설골의 영상일 수 있다.The reference hyoid bone image may be an image of the hyoid bone divided from the first frame image among the VFSS images.

상기 좌표계를 생성하는 단계는 상기 분할된 경추에서 2개의 해부학적 지점을 판단하고, 상기 2개의 해부학적 지점을 연결하는 제1 축과, 상기 제1 축에 수직한 제2 축을 포함하는 상기 좌표계를 생성할 수 있다.The step of generating the coordinate system includes determining two anatomical points in the divided cervical vertebrae, a first axis connecting the two anatomical points, and a second axis perpendicular to the first axis. can create

상기 경추에 대한 설골의 상대적 궤적을 판단하는 단계는 상기 각 설골의 특정점을 상기 좌표계에 표시하여 상기 경추에 대한 상기 설골의 상대적 궤적을 판단할 수 있다.The step of determining the relative trajectory of the hyoid bone with respect to the cervical vertebrae may determine the relative trajectory of the hyoid bone with respect to the cervical vertebrae by displaying a specific point of each hyoid bone on the coordinate system.

설골 추적 방법은 상기 설골 추적 모델, 상기 설골 분할 모델 및 상기 경추 분할 모델 중 적어도 하나를 갱신하는 단계; 를 더 포함할 수 있다.The hyoid bone tracking method includes: updating at least one of the hyoid bone tracking model, the hyoid bone segmentation model, and the cervical segmentation model; may further include.

머신러닝 또는 딥러닝을 통해 VFSS 영상들로부터 경추에 대한 설골의 상대적 궤적을 판단함으로써 삼키는 동안의 설골의 고정밀 궤적을 자동으로 획득할 수 있다.By judging the relative trajectory of the hyoid bone to the cervical vertebrae from the VFSS images through machine learning or deep learning, it is possible to automatically acquire a high-precision trajectory of the hyoid bone during swallowing.

도 1은 예시적 실시예에 따른 설골 추적 장치를 도시한 도면이다.
도 2는 예시적 실시예에 따른 프로세서를 도시한 도면이다.
도 3은 설골 궤적을 판단하는 과정을 설명하기 위한 예시도이다.
도 4는 예시적 실시예에 따른 설골 추적 장치를 도시한 도면이다.
도 5는 예시적 실시예에 따른 설골 추적 방법을 도시한 도면이다.1 is a view showing a hyoid bone tracking device according to an exemplary embodiment.
Fig. 2 is a diagram illustrating a processor according to an exemplary embodiment.
3 is an exemplary view for explaining the process of determining the hyoid bone trajectory.
4 is a view showing a hyoid bone tracking device according to an exemplary embodiment.
Fig. 5 is a diagram illustrating a method for tracking the hyoid bone according to an exemplary embodiment.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, when it is determined that a detailed description of a known function or configuration related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

한편, 각 단계들에 있어, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 수행될 수 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.On the other hand, in each step, each step may occur differently from the specified order unless a specific order is clearly stated in context. That is, each step may be performed in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.The terms to be described below are terms defined in consideration of functions in the present invention, which may vary according to intentions or customs of users and operators. Therefore, the definition should be made based on the content throughout this specification.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하고, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms such as first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. The singular expression includes the plural expression unless the context clearly dictates otherwise, and the term 'comprise' or 'have' refers to a feature, number, step, operation, component, part, or combination thereof described in the specification. It is to be understood that this is intended to indicate the existence of one or more other features, or to not preclude in advance the possibility of the presence or addition of one or more other features or numbers, steps, operations, components, parts, or combinations thereof.

또한, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주 기능별로 구분한 것에 불과하다. 즉, 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있다. 각 구성부는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, in the present specification, the classification of the constituent units is merely a division according to the main function each constituent unit is responsible for. That is, two or more components may be combined into one component, or one component may be divided into two or more for each more subdivided function. In addition to the main functions in charge of each component, each component may additionally perform some or all of the functions of other components, and some of the main functions of each component are dedicated to other components. may be performed. Each component may be implemented as hardware or software, or may be implemented as a combination of hardware and software.

도 1은 예시적 실시예에 따른 설골 추적 장치를 도시한 도면이고, 도 2는 예시적 실시예에 따른 프로세서를 도시한 도면이고, 도 3은 설골 궤적을 판단하는 과정을 설명하기 위한 예시도이다.Fig. 1 is a view showing a hyoid bone tracking apparatus according to an exemplary embodiment, Fig. 2 is a view showing a processor according to an exemplary embodiment, and Fig. 3 is an exemplary view for explaining a process of determining the hyoid bone trajectory .

예시적 실시예에 따른 설골 추적 장치(100)는 비디오투시 연하 검사(videofuoroscopic swallowing study, VFSS) 영상들으로부터 피검체의 설골을 추적하고 설골의 궤적을 판단할 수 있는 장치로, 전자 장치에 탑재되거나 하우징으로 감싸져 별개의 장치로 형성될 수 있다. 전자 장치는 의료용 영상진단장치, 전자의료기기, 데스크탑 컴퓨터, 휴대폰, 스마트폰, 태블릿, 노트북, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 장치, MP3 플레이어, 디지털 카메라, 웨어러블 디바이스 등을 포함할 수 있으나 이에 한정되는 것은 아니다. 여기서 VFSS 영상은 방사선을 이용하여 피검체의 음식물 삼킴 과정이 촬영된 영상일 수 있다.The hyoid bone tracking device 100 according to an exemplary embodiment is a device capable of tracking the hyoid bone of a subject from videofuoroscopic swallowing study (VFSS) images and determining the hyoid bone trajectory, and is mounted on an electronic device or It can be encased in a housing and formed as a separate device. Electronic devices include medical imaging devices, electronic medical devices, desktop computers, mobile phones, smartphones, tablets, laptops, personal digital assistants (PDAs), portable multimedia players (PMPs), navigation devices, MP3 players, digital cameras, wearable devices, etc. may include, but is not limited thereto. Here, the VFSS image may be an image obtained by photographing a process of swallowing food by a subject using radiation.

도 1 내지 도 3을 참조하면, 설골 추적 장치(100)는 영상 획득부(110) 및 프로세서(120)를 포함할 수 있다.1 to 3 , the hyoid bone tracking apparatus 100 may include an image acquisition unit 110 and a processor 120 .

영상 획득부(110)는 피검체의 VFSS 영상들을 획득할 수 있다.The image acquisition unit 110 may acquire VFSS images of the subject.

예를 들면, 영상 획득부(110)는 방사선 촬영 장치를 포함하며, 방사선 촬영 장치를 이용하여 피검체의 VFSS 영상들을 직접 촬영함으로써, VFSS 영상들을 획득할 수 있다.For example, the image acquisition unit 110 may include a radiographic imaging apparatus, and may acquire VFSS images by directly photographing VFSS images of a subject using the radiographic imaging apparatus.

다른 예를 들면, 영상 획득부(110)는 VFSS 영상들을 촬영 및/또는 저장하는 외부 장치(예컨대, 방사선 촬영 장치)로부터 피검체의 VFSS 영상들을 수신함으로써, VFSS 영상들을 획득할 수 있다. 이때, 영상 획득부(110)는 유무선 통신 기술을 이용할 수 있다. 여기서 무선 통신 기술은 블루투스(bluetooth) 통신, BLE(Bluetooth Low Energy) 통신, 근거리 무선 통신(Near Field Communication, NFC), WLAN 통신, 지그비(Zigbee) 통신, 적외선(Infrared Data Association, IrDA) 통신, WFD(Wi-Fi Direct) 통신, UWB(ultra-wideband) 통신, Ant+ 통신, WIFI 통신, RFID(Radio Frequency Identification) 통신, 3G 통신, 4G 통신 및 5G 통신 등을 포함할 수 있으나 이에 한정되는 것은 아니다.As another example, the image acquisition unit 110 may acquire VFSS images by receiving VFSS images of the subject from an external device (eg, a radiographic imaging device) that captures and/or stores VFSS images. In this case, the image acquisition unit 110 may use a wired/wireless communication technology. Here, the wireless communication technology is Bluetooth (bluetooth) communication, BLE (Bluetooth Low Energy) communication, near field communication (NFC), WLAN communication, Zigbee communication, infrared (Infrared Data Association, IrDA) communication, WFD (Wi-Fi Direct) communication, ultra-wideband (UWB) communication, Ant+ communication, WIFI communication, RFID (Radio Frequency Identification) communication, 3G communication, 4G communication, 5G communication, etc. may include, but are not limited thereto.

프로세서(120)는 획득된 VFSS 영상들로부터 경추에 대한 설골의 상대적 궤적을 판단할 수 있다. 이를 위해 프로세서(120)는 설골 추적부(210), 설골 분할부(220), 특정점 판단부(230), 경추 분할부(240), 좌표계 생성부(250) 및 궤적 판단부(260)를 포함할 수 있다.The processor 120 may determine the relative trajectory of the hyoid bone to the cervical spine from the obtained VFSS images. To this end, the processor 120 includes the hyoid bone tracking unit 210 , the hyoid bone division unit 220 , the specific point determination unit 230 , the cervical spine division unit 240 , the coordinate system generation unit 250 , and the trajectory determination unit 260 . may include

설골 추적부(210)는 설골 추적 모델을 이용하여 VFSS 영상들(310)에서 설골을 추적하고 설골 추적 결과를 기반으로 각 VFSS 영상(310)에서 설골을 포함하는 관심 영역(320)을 추출할 수 있다. 여기서 설골 추적 모델은 설골을 포함하는 관심 영역이 표시된 학습용 VFSS 영상들을 기반으로 머신러닝 또는 딥러닝을 통해 미리 생성될 수 있다. 이때, 학습에 이용되는 머신러닝 모델 또는 딥러닝 모델은 SVM(Support Vector Machine), R-CNN(Region Based Convolutional Neural Networks), Fast R-CNN, Faster R-CNN, cascade R-CNN, SSD(Single Shot MultiBox Detector), YOLO, AttentionNet, SPP-Net, RefineDet, Retina-Net, MDNet(Multi-Domain Networks), SDNet(Single-Domain Networks), Deformable convolutional networks 등을 포함할 수 있으나 이에 한정되는 것은 아니다.The hyoid bone tracking unit 210 tracks the hyoid bone in the VFSS images 310 using the hyoid bone tracking model, and extracts the region of interest 320 including the hyoid bone from each VFSS image 310 based on the hyoid bone tracking result. have. Here, the hyoid bone tracking model may be generated in advance through machine learning or deep learning based on VFSS images for learning in which the region of interest including the hyoid bone is displayed. At this time, the machine learning model or deep learning model used for learning is SVM (Support Vector Machine), R-CNN (Region Based Convolutional Neural Networks), Fast R-CNN, Faster R-CNN, cascade R-CNN, SSD (Single) Shot MultiBox Detector), YOLO, AttentionNet, SPP-Net, RefineDet, Retina-Net, Multi-Domain Networks (MDNet), Single-Domain Networks (SDNet), Deformable convolutional networks, and the like.

설골 분할부(220)는 설골 분할 모델을 이용하여 각 VFSS 영상의 관심 영역(320)에서 설골(330)을 분할(segmentation)할 수 있다. 여기서 설골 분할 모델은 설골이 분할된 학습용 설골 영상들을 기반으로 머신러닝 또는 딥러닝을 통해 미리 생성될 수 있다. 이때, 학습에 이용되는 머신러닝 모델 또는 딥러닝 모델은 FCN(Fully Convolutional Network), DeepLab, Attention U-Net, ReSeg, CRF(Conditional Random Field) 등을 포함할 수 있으나 이에 한정되는 것은 아니다.The hyoid bone segmentation unit 220 may segment the hyoid bone 330 in the region of interest 320 of each VFSS image by using the hyoid bone segmentation model. Here, the hyoid bone segmentation model may be generated in advance through machine learning or deep learning based on the hyoid bone images for learning in which the hyoid bone is divided. In this case, the machine learning model or deep learning model used for learning may include, but is not limited to, FCN (Fully Convolutional Network), DeepLab, Attention U-Net, ReSeg, CRF (Conditional Random Field), and the like.

특정점 판단부(230)는 분할된 각 설골(330)의 특정점(340)을 판단할 수 있다. 예를 들어, 특정점 판단부(230)는 각 설골(330)을 설골의 특정점이 표시된 기준 설골 영상에 형상 매칭시킴으로써, 각 설골(330)의 특정점(340)을 판단할 수 있다. 이때, 기준 설골 영상은 VFSS 영상들 중 최초 프레임 영상에서 분할된 설골 영상일 수 있으며, 특정점은 설골 내 임의의 지점, 예컨대, center point, most anterior point, most posterior point, most superior point, most inferior point 등일 수 있다.The specific point determination unit 230 may determine a specific point 340 of each divided hyoid bone 330 . For example, the specific point determination unit 230 may determine the specific point 340 of each hyoid bone 330 by shape-matching each hyoid bone 330 to a reference hyoid bone image in which a specific point of the hyoid bone is displayed. In this case, the reference hyoid image may be a hyoid image divided from the first frame image among VFSS images, and a specific point is any point within the hyoid, for example, center point, most anterior point, most posterior point, most superior point, most inferior point. It may be a point, etc.

경추 분할부(240)는 경추 분할 모델을 이용하여 각 VFSS 영상(310)에서 경추(350)를 분할(segmentation)할 수 있다. 여기서 경추 분할 모델은 경추가 분할된 학습용 VFSS 영상들을 기반으로 머신러닝 또는 딥러닝을 통해 미리 생성될 수 있다. 이때, 학습에 이용되는 머신러닝 모델 또는 딥러닝 모델은 FCN(Fully Convolutional Network), DeepLab, Attention U-Net, ReSeg, CRF(Conditional Random Field) 등을 포함할 수 있으나 이에 한정되는 것은 아니다.The cervical vertebrae segmentation unit 240 may segment the cervical vertebrae 350 in each VFSS image 310 using a cervical segmentation model. Here, the cervical vertebra segmentation model may be generated in advance through machine learning or deep learning based on VFSS images for training in which the cervical vertebrae are segmented. In this case, the machine learning model or deep learning model used for learning may include, but is not limited to, FCN (Fully Convolutional Network), DeepLab, Attention U-Net, ReSeg, CRF (Conditional Random Field), and the like.

좌표계 생성부(250)는 분할된 경추(350)를 기반으로 경추를 기준으로 하는 좌표계(360)를 생성할 수 있다. 예를 들어, 좌표계 생성부(250)는 분할된 경추(350)에서 2개의 해부학적 지점을 판단하고, 2개의 해부학적 지점을 연결하는 제1 축과, 제1 축에 수직한 제2 축을 포함하는 새로운 좌표계(360)을 생성할 수 있다. 여기서 해부학적 지점은 제2 경추(C2), 제3 경추(C3), 제4 경추(C4) 및 제5 경추(C5) 등을 포함할 수 있다. 그리고 좌표계(360)의 원점은 2개의 해부학적 지점 중 어느 하나 또는 제1 축의 임의의 지점일 수 있다.The coordinate system generator 250 may generate the coordinate system 360 based on the cervical vertebrae based on the divided cervical vertebrae 350 . For example, the coordinate system generator 250 determines two anatomical points in the divided cervical vertebrae 350 , and includes a first axis connecting the two anatomical points and a second axis perpendicular to the first axis. A new coordinate system 360 may be created. Here, the anatomical points may include the second cervical vertebrae C2, the third cervical vertebrae C3, the fourth cervical vertebrae C4, and the fifth cervical vertebrae C5. In addition, the origin of the coordinate system 360 may be any one of the two anatomical points or any point of the first axis.

궤적 판단부(260)는 특정점 판단부(230)에서 판단된 각 설골의 특정점(340)과 좌표계 생성부(250)에서 생성된 좌표계(360)룰 기반으로 경추에 대한 설골의 상대적 궤적(370)을 판단할 수 있다. 예를 들어, 궤적 판단부(260)는 각 설골의 특정점(340)을 좌표계(360)에 표시하여 경추에 대한 설골의 상대적 궤적(370)을 판단할 수 있다.The trajectory determination unit 260 is based on the specific point 340 of each hyoid bone determined by the specific point determination unit 230 and the coordinate system 360 generated by the coordinate system generation unit 250 relative to the cervical vertebrae ( 370) can be determined. For example, the trajectory determiner 260 may determine the relative trajectory 370 of the hyoid bone relative to the cervical vertebra by displaying a specific point 340 of each hyoid bone on the coordinate system 360 .

예시적 실시예에 따르면, 프로세서(120)는 모델 갱신부(270)를 더 포함할 수 있다.According to an exemplary embodiment, the processor 120 may further include a model updater 270 .

모델 갱신부(270)는 설골 추적 모델, 설골 분할 모델 및 경추 분할 모델을 갱신할 수 있다.The model updater 270 may update the hyoid bone tracking model, the hyoid bone segmentation model, and the cervical segmentation model.

예를 들면, 모델 갱신부(270)는 설골 추적부(210)의 설골 추적 결과를 추가 학습 데이터로 이용하여 설골 추적 모델을 실시간으로 갱신할 수 있다. 예를 들어, 모델 갱신부(270)는 설정된 주기에 따라, VFSS 영상들(310)로부터 설골을 추적하는 과정에서 이전 프레임의 설골 추적 결과를 추가 학습시켜 설골 추적 모델을 실시간으로 갱신할 수 있다. 이 경우, 설골 추적부(210)는 추가 학습을 통해 실시간으로 갱신된 설골 추적 모델을 다음 프레임의 설골 추적에 이용할 있으며, 이를 통해 설골 추적의 정확도를 향상시킬 수 있다.For example, the model updater 270 may update the hyoid bone tracking model in real time by using the hyoid bone tracking result of the hyoid bone tracking unit 210 as additional learning data. For example, the model updater 270 may update the hyoid bone tracking model in real time by additionally learning the hyoid bone tracking result of the previous frame in the process of tracking the hyoid bone from the VFSS images 310 according to a set period. In this case, the hyoid bone tracking unit 210 may use the hyoid bone tracking model updated in real time through additional learning to track the hyoid bone in the next frame, thereby improving the accuracy of the hyoid bone tracking.

다른 예를 들면, 모델 갱신부(270)는 주기적으로 설골이 분할된 추가 학습용 설골 영상들 또는 경추가 분할된 추가 학습용 VFSS 영상들을 수집하고, 수집된 추가 학습용 설골 영상들 또는 경추가 분할된 추가 학습용 VFSS 영상들을 기반으로 설골 분할 모델 또는 경추 분할 모델을 갱신할 수 있다.For another example, the model update unit 270 periodically collects hyoid bone images for additional learning in which the hyoid bone is divided or VFSS images for additional learning in which the cervical spine is divided, and the collected hyoid bone images for additional learning or additional learning in which the cervical spine is divided. Based on the VFSS images, the hyoid bone segmentation model or the cervical segmentation model may be updated.

도 4는 예시적 실시예에 따른 설골 추적 장치를 도시한 도면이다.4 is a view showing a hyoid bone tracking device according to an exemplary embodiment.

도 4를 참조하면, 예시적 실시예에 따른 설골 추적 장치(400)는 영상 획득부(110), 프로세서(120), 입력부(410), 저장부(420), 통신부(430) 및 출력부(440)를 포함할 수 있다. 여기서, 영상 획득부(110) 및 프로세서(120)는 도 1 내지 도 3을 참조하여 전술한 바와 같으므로 그 상세한 설명은 생략하기로 한다.Referring to FIG. 4 , the hyoid bone tracking device 400 according to an exemplary embodiment includes an image acquisition unit 110 , a processor 120 , an input unit 410 , a storage unit 420 , a communication unit 430 , and an output unit ( 440) may be included. Here, since the image acquisition unit 110 and the processor 120 are the same as described above with reference to FIGS. 1 to 3 , a detailed description thereof will be omitted.

입력부(410)는 사용자로부터 다양한 조작신호 및 정보를 입력 받을 수 있다. 일 실시예에 따르면, 입력부(410)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(touch pad), 조그 휠(Jog wheel), 조그 스위치(Jog switch), H/W 버튼 등을 포함할 수 있다. 특히, 터치 패드가 디스플레이와 상호 레이어 구조를 이룰 경우, 이를 터치 스크린이라 부를 수 있다.The input unit 410 may receive various manipulation signals and information from the user. According to an embodiment, the input unit 410 includes a key pad, a dome switch, a touch pad, a jog wheel, a jog switch, and a H/W button. and the like. In particular, when the touch pad forms a layer structure with the display, it may be referred to as a touch screen.

저장부(420)는 설골 추적 장치(400)의 동작을 위한 프로그램 또는 명령들을 저장할 수 있고, 설골 추적 장치(400)에 입력되는 데이터 및 처리된 데이터를 저장할 수 있다. 또한, 저장부(420)는 설골 추적 모델, 설골 분할 모델, 경추 분할 모델 등을 저장할 수 있다.The storage unit 420 may store a program or commands for the operation of the hyoid bone tracking device 400 , and may store data input to the hyoid bone tracking device 400 and processed data. Also, the storage unit 420 may store a hyoid bone tracking model, a hyoid bone split model, a cervical spine split model, and the like.

저장부(420)는 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예컨대, SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read Only Memory), PROM(Programmable Read Only Memory), 자기 메모리, 자기 디스크, 광디스크 등 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 설골 추적 장치(400)는 인터넷 상에서 저장부(420)의 저장 기능을 수행하는 웹 스토리지(web storage) 등 외부 저장 매체를 운영할 수도 있다.The storage unit 420 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory, etc.), RAM (Random Access Memory, RAM), SRAM (Static Random Access Memory), ROM (Read Only Memory, ROM), EEPROM (Electrically Erasable Programmable Read Only Memory), PROM (Programmable Read Only Memory), magnetic memory, magnetic disk, optical disk and at least one type of storage medium. In addition, the hyoid bone tracking device 400 may operate an external storage medium, such as a web storage (web storage) that performs the storage function of the storage unit 420 on the Internet.

통신부(430)는 외부 장치와 통신을 수행할 수 있다. 예컨대, 통신부(430)는 설골 추적 장치(400)에 입력된 데이터, 저장된 데이터, 처리된 데이터 등을 외부 장치로 전송하거나, 외부 장치로부터 설골 추적을 위한 다양한 데이터를 수신할 수 있다.The communication unit 430 may communicate with an external device. For example, the communication unit 430 may transmit data input to the hyoid bone tracking device 400, stored data, processed data, etc. to an external device, or receive various data for hyoid bone tracking from an external device.

이때, 외부 장치는 설골 추적 장치(400)에 입력된 데이터, 저장된 데이터, 처리된 데이터 등을 사용하는 의료 장비, 결과물을 출력하기 위한 프린트 또는 디스플레이 장치일 수도 있다. 이외에도 외부 장치는 디지털 TV, 데스크탑 컴퓨터, 휴대폰, 스마트 폰, 태블릿, 노트북, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 장치, MP3 플레이어, 디지털 카메라, 웨어러블 디바이스 등일 수 있으나, 이에 제한되지 않는다.At this time, the external device may be a print or display device for outputting the data input to the hyoid bone tracking device 400, medical equipment using stored data, processed data, and the like. In addition, the external device may be a digital TV, desktop computer, mobile phone, smart phone, tablet, notebook, PDA (Personal Digital Assistants), PMP (Portable Multimedia Player), navigation device, MP3 player, digital camera, wearable device, etc., but is limited thereto. doesn't happen

통신부(430)는 유무선 통신 기술을 이용하여 외부 장치와 통신할 수 있다. 이때 무선 통신 기술은 블루투스(bluetooth) 통신, BLE(Bluetooth Low Energy) 통신, 근거리 무선 통신(Near Field Communication, NFC), WLAN 통신, 지그비(Zigbee) 통신, 적외선(Infrared Data Association, IrDA) 통신, WFD(Wi-Fi Direct) 통신, UWB(ultra-wideband) 통신, Ant+ 통신, WIFI 통신, RFID(Radio Frequency Identification) 통신, 3G 통신, 4G 통신 및 5G 통신 등을 포함할 수 있으나 이는 일 예에 불과할 뿐이며, 이에 한정되는 것은 아니다.The communication unit 430 may communicate with an external device using a wired/wireless communication technology. At this time, the wireless communication technology is Bluetooth (bluetooth) communication, BLE (Bluetooth Low Energy) communication, near field communication (NFC), WLAN communication, Zigbee communication, infrared (Infrared Data Association, IrDA) communication, WFD (Wi-Fi Direct) communication, UWB (ultra-wideband) communication, Ant+ communication, WIFI communication, RFID (Radio Frequency Identification) communication, 3G communication, 4G communication, 5G communication, etc. may include, but this is only an example, and , but is not limited thereto.

출력부(440)는 설골 추적 장치(400)에 입력된 데이터, 저장된 데이터, 처리된 데이터 등을 출력할 수 있다. 일 실시예에 따르면, 출력부(440)는 설골 추적 결과, 설골 분할 결과, 경추 분할 결과, 설골 궤적 등을 청각적 방법, 시각적 방법 및 촉각적 방법 중 적어도 하나의 방법으로 출력할 수 있다. 이를 위해 출력부(440)는 디스플레이, 스피커, 진동기 등을 포함할 수 있다.The output unit 440 may output data input to the hyoid bone tracking device 400, stored data, processed data, and the like. According to an embodiment, the output unit 440 may output the hyoid bone tracking result, the hyoid bone segmentation result, the cervical spine segmentation result, and the hyoid bone trajectory using at least one of an auditory method, a visual method, and a tactile method. To this end, the output unit 440 may include a display, a speaker, a vibrator, and the like.

도 5는 예시적 실시예에 따른 설골 추적 방법을 도시한 도면이다.Fig. 5 is a diagram illustrating a method for tracking the hyoid bone according to an exemplary embodiment.

도 5의 설골 추적 방법은 도 1 또는 도 4의 설골 추적 장치(100, 400)에 의해 수행될 수 있다.The hyoid bone tracking method of FIG. 5 may be performed by the hyoid bone tracking apparatuses 100 and 400 of FIG. 1 or 4 .

도 5를 참조하면, 설골 추적 장치는 피검체의 VFSS 영상들을 획득할 수 있다(510).Referring to FIG. 5 , the hyoid bone tracking apparatus may acquire VFSS images of the subject ( 510 ).

예를 들면, 설골 추적 장치는 방사선 촬영 장치를 포함하며, 방사선 촬영 장치를 이용하여 피검체의 VFSS 영상들을 직접 촬영함으로써, VFSS 영상들을 획득할 수 있다. 다른 예를 들면, 설골 추적 장치는 VFSS 영상들을 촬영 및/또는 저장하는 외부 장치(예컨대, 방사선 촬영 장치)로부터 피검체의 VFSS 영상들을 수신함으로써, VFSS 영상들을 획득할 수 있다.For example, the hyoid bone tracking apparatus may include a radiographic apparatus, and may obtain VFSS images by directly photographing VFSS images of a subject using the radiographic apparatus. As another example, the hyoid bone tracking apparatus may acquire VFSS images by receiving VFSS images of the subject from an external device (eg, a radiographic imaging device) that captures and/or stores VFSS images.

설골 추적 장치는 획득된 VFSS 영상들로부터 경추에 대한 설골의 상대적 궤적을 판단할 수 있다(520).The hyoid bone tracking apparatus may determine the relative trajectory of the hyoid bone with respect to the cervical vertebrae from the obtained VFSS images ( 520 ).

구체적으로 설골 추적 장치는 설골 추적 모델을 이용하여 VFSS 영상들에서 설골을 추적하고 설골 추적 결과를 기반으로 각 VFSS 영상에서 설골을 포함하는 관심 영역을 추출할 수 있다(521). 여기서 설골 추적 모델은 설골을 포함하는 관심 영역이 표시된 학습용 VFSS 영상들을 기반으로 머신러닝 또는 딥러닝을 통해 미리 생성될 수 있다.Specifically, the hyoid bone tracking apparatus may track the hyoid bone in the VFSS images using the hyoid bone tracking model and extract a region of interest including the hyoid bone from each VFSS image based on the hyoid bone tracking result ( 521 ). Here, the hyoid bone tracking model may be generated in advance through machine learning or deep learning based on VFSS images for learning in which the region of interest including the hyoid bone is displayed.

설골 추적 장치는 설골 분할 모델을 이용하여 각 VFSS 영상의 관심 영역에서 설골을 분할할 수 있다(522). 여기서 설골 분할 모델은 설골이 분할된 학습용 설골 영상들을 기반으로 머신러닝 또는 딥러닝을 통해 미리 생성될 수 있다.The hyoid bone tracking apparatus may segment the hyoid bone in the region of interest of each VFSS image by using the hyoid bone segmentation model ( 522 ). Here, the hyoid bone segmentation model may be generated in advance through machine learning or deep learning based on the hyoid bone images for learning in which the hyoid bone is divided.

설골 추적 장치는 분할된 각 설골의 특정점을 판단할 수 있다(523). 예를 들어, 설골 추적 장치는 분할된 각 설골을 설골의 특정점이 표시된 기준 설골 영상에 형상 매칭시킴으로써, 각 설골의 특정점을 판단할 수 있다. 이때, 기준 설골 영상은 VFSS 영상들 중 최초 프레임 영상에서 분할된 설골 영상일 수 있으며, 특정점은 설골 내 임의의 지점, 예컨대, center point, most anterior point, most posterior point, most superior point, most inferior point 등일 수 있다.The hyoid bone tracking device may determine a specific point of each divided hyoid bone (523). For example, the hyoid bone tracking apparatus may determine a specific point of each hyoid bone by shape matching each of the divided hyoid bones to a reference hyoid bone image in which a specific point of the hyoid bone is displayed. In this case, the reference hyoid image may be a hyoid image divided from the first frame image among VFSS images, and a specific point is any point within the hyoid, for example, center point, most anterior point, most posterior point, most superior point, most inferior point. It may be a point, etc.

설골 추적 장치는 경추 분할 모델을 이용하여 각 VFSS 영상에서 경추를 분할할 수 있다(524). 여기서 경추 분할 모델은 경추가 분할된 학습용 VFSS 영상들을 기반으로 머신러닝 또는 딥러닝을 통해 미리 생성될 수 있다.The hyoid bone tracking apparatus may segment the cervical vertebrae in each VFSS image using the cervical vertebrae segmentation model (524). Here, the cervical vertebra segmentation model may be generated in advance through machine learning or deep learning based on VFSS images for training in which the cervical vertebrae are segmented.

설골 추적 장치는 분할된 경추를 기반으로 경추를 기준으로 하는 좌표계를 생성할 수 있다(525). 예를 들어, 설골 추적 장치는 분할된 경추에서 2개의 해부학적 지점을 판단하고, 2개의 해부학적 지점을 연결하는 제1 축과, 제1 축에 수직한 제2 축을 포함하는 새로운 좌표계를 생성할 수 있다. 여기서 해부학적 지점은 제2 경추(C2), 제3 경추(C3), 제4 경추(C4) 및 제5 경추(C5) 등을 포함할 수 있다. 그리고 좌표계의 원점은 2개의 해부학적 지점 중 어느 하나, 또는 제1 축의 임의의 지점일 수 있다.The hyoid bone tracking device may generate a coordinate system based on the cervical vertebrae based on the divided cervical vertebrae (525). For example, the hyoid bone tracking device determines two anatomical points in the divided cervical vertebrae, and generates a new coordinate system including a first axis connecting the two anatomical points and a second axis perpendicular to the first axis. can Here, the anatomical point may include the second cervical vertebrae (C2), the third cervical vertebrae (C3), the fourth cervical vertebrae (C4), and the fifth cervical vertebrae (C5). And the origin of the coordinate system may be any one of the two anatomical points, or any point of the first axis.

설골 추적 장치는 판단된 각 설골의 특정점과 생성된 좌표계를 기반으로 경추에 대한 설골의 상대적 궤적을 판단할 수 있다(526). 예를 들어, 설골 추적 장치는 각 설골의 특정점을 좌표계에 표시하여 경추에 대한 설골의 상대적 궤적을 판단할 수 있다.The hyoid bone tracking device may determine the relative trajectory of the hyoid bone with respect to the cervical spine based on the determined specific point of each hyoid bone and the generated coordinate system (526). For example, the hyoid bone tracking device may determine the relative trajectory of the hyoid bone with respect to the cervical vertebrae by displaying a specific point of each hyoid bone on the coordinate system.

예시적 실시예에 따르면, 설골 추적 장치는 설골 추적 모델, 설골 분할 모델 및 경추 분할 모델을 주기적으로 갱신할 수 있다.According to an exemplary embodiment, the hyoid bone tracking device may periodically update the hyoid bone tracking model, the hyoid bone segmentation model, and the cervical spine segmentation model.

예를 들면, 설골 추적 장치는 단계 521의 설골 추적 결과를 추가 학습 데이터로 이용하여 설골 추적 모델을 실시간으로 갱신할 수 있다. 예를 들어, 설골 추적 장치는 설정된 주기에 따라, 이전 프레임의 설골 추적 결과를 추가 학습시켜 설골 추적 모델을 실시간으로 갱신할 수 있다. 이 경우, 설골 추적 장치는 추가 학습을 통해 실시간으로 갱신된 설골 추적 모델을 다음 프레임의 설골 추적에 이용할 있으며, 이를 통해 설골 추적의 정확도를 향상시킬 수 있다.For example, the hyoid bone tracking device may update the hyoid bone tracking model in real time by using the hyoid bone tracking result of step 521 as additional learning data. For example, the hyoid bone tracking apparatus may update the hyoid bone tracking model in real time by additionally learning the hyoid bone tracking result of the previous frame according to a set period. In this case, the hyoid bone tracking device may use the hyoid bone tracking model updated in real time through additional learning to track the hyoid bone in the next frame, thereby improving the accuracy of the hyoid bone tracking.

다른 예를 들면, 설골 추적 장치는 주기적으로 설골이 분할된 추가 학습용 설골 영상들 또는 경추가 분할된 추가 학습용 VFSS 영상들을 수집하고, 수집된 추가 학습용 설골 영상들 또는 경추가 분할된 추가 학습용 VFSS 영상들을 기반으로 설골 분할 모델 또는 경추 분할 모델을 갱신할 수 있다.For another example, the hyoid bone tracking device periodically collects hyoid bone images for additional learning in which the hyoid bone is divided or VFSS images for additional learning in which the cervical spine is divided, and collects the hyoid bone images for additional learning or VFSS images for additional learning in which the cervical spine is divided. Based on this, the hyoid bone segmentation model or cervical segmentation model can be updated.

상술한 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 작성되고 실행될 수 있다.The above-described embodiments may be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium may include any type of recording device in which data readable by a computer system is stored. Examples of the computer-readable recording medium may include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, and the like. In addition, the computer-readable recording medium may be distributed in network-connected computer systems, and may be written and executed as computer-readable codes in a distributed manner.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.So far, with respect to the present invention, the preferred embodiments have been looked at. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Accordingly, the scope of the present invention should not be limited to the above-described embodiments, but should be construed to include various embodiments within the scope equivalent to the content described in the claims.

100, 400: 설골 추적 장치
110: 영상 획득부
120: 프로세서
210: 설골 추적부
220: 설골 분할부
230: 특정점 판단부
240: 경추 분할부
250: 좌표계 생성부
260: 궤적 판단부
270: 모델 갱신부
410: 입력부
420: 저장부
430: 통신부
440: 출력부100, 400: hyoid bone tracking device
110: image acquisition unit
120: processor
210: hyoid bone tracking unit
220: hyoid bone division
230: specific point determination unit
240: cervical segment
250: coordinate system generator
260: trajectory determination unit
270: model update
410: input unit
420: storage
430: communication unit
440: output unit

Claims (20)

VFSS(videofuoroscopic swallowing study) 영상들을 획득하는 영상 획득부; 및
상기 획득된 VFSS 영상들로부터 경추에 대한 설골의 상대적 궤적을 판단하는 프로세서; 를 포함하는,
설골 추적 장치.An image acquisition unit for acquiring VFSS (videofuoroscopic swallowing study) images; and
a processor for determining a relative trajectory of the hyoid bone with respect to the cervical spine from the obtained VFSS images; containing,
hyoid bone tracking device. 제1항에 있어서,
상기 프로세서는,
설골 추적 모델을 이용하여 각 VFSS 영상에서 설골을 포함하는 관심 영역을 추출하는 설골 추적부;
설골 분할 모델을 이용하여 상기 추출된 각 관심 영역에서 상기 설골을 분할하는 설골 분할부;
상기 분할된 각 설골의 특정점을 판단하는 특정점 판단부;
경추 분할 모델을 이용하여 각 VFSS 영상에서 경추를 분할하는 경추 분할부;
상기 분할된 경추를 기반으로 경추를 기준으로 하는 좌표계를 생성하는 좌표계 생성부; 및
상기 각 설골의 특정점과 상기 생성된 좌표계를 기반으로 경추에 대한 설골의 상대적 궤적을 판단하는 궤적 판단부; 를 포함하는,
설골 추적 장치.According to claim 1,
The processor is
a hyoid bone tracking unit that extracts a region of interest including the hyoid bone from each VFSS image using the hyoid bone tracking model;
a hyoid bone division unit for dividing the hyoid bone in each of the extracted regions of interest using a hyoid bone division model;
a specific point determination unit for determining a specific point of each of the divided hyoid bones;
a cervical segmentation unit for segmenting the cervical vertebrae in each VFSS image using a cervical segmentation model;
a coordinate system generating unit for generating a coordinate system based on the cervical vertebrae based on the divided cervical vertebrae; and
a trajectory determination unit for determining a relative trajectory of the hyoid bone with respect to the cervical vertebrae based on the specific point of each hyoid bone and the generated coordinate system; containing,
hyoid bone tracking device. 제2항에 있어서,
상기 설골 추적부는 상기 설골 추적 모델을 이용하여 상기 VFSS 영상들에서 설골을 추적하고, 설골 추적 결과를 기반으로 각 VFSS 영상에서 상기 관심 영역을 추출하는,
설골 추적 장치.3. The method of claim 2,
The hyoid bone tracking unit tracks the hyoid bone in the VFSS images using the hyoid bone tracking model, and extracts the region of interest from each VFSS image based on the hyoid bone tracking result.
hyoid bone tracking device. 제2항에 있어서,
상기 설골 추적 모델, 상기 설골 분할 모델 및 상기 경추 분할 모델은 머신러닝 또는 딥러닝을 통해 미리 생성되는,
설골 추적 장치.3. The method of claim 2,
The hyoid bone tracking model, the hyoid bone segmentation model and the cervical segmentation model are generated in advance through machine learning or deep learning,
hyoid bone tracking device. 제2항에 있어서,
상기 특정점은 center point, most anterior point, most posterior point, most superior point, most inferior point를 포함하는,
설골 추적 장치.3. The method of claim 2,
The specific point includes a center point, most anterior point, most posterior point, most superior point, most inferior point,
hyoid bone tracking device. 제2항에 있어서,
상기 특정점 판단부는 상기 각 설골을 설골의 특정점이 표시된 기준 설골 영상에 형상 매칭시킴으로써, 상기 각 설골의 특정점을 판단하는,
설골 추적 장치.3. The method of claim 2,
The specific point determination unit determines the specific point of each hyoid bone by shape matching the hyoid bone to the reference hyoid bone image marked with a specific point of the hyoid bone,
hyoid bone tracking device. 제6항에 있어서,
상기 기준 설골 영상은 상기 VFSS 영상들 중 최초 프레임 영상에서 분할된 설골의 영상인,
설골 추적 장치.7. The method of claim 6,
The reference hyoid image is an image of the hyoid bone divided from the first frame image among the VFSS images,
hyoid bone tracking device. 제2항에 있어서,
상기 좌표계 생성부는 상기 분할된 경추에서 2개의 해부학적 지점을 판단하고, 상기 2개의 해부학적 지점을 연결하는 제1 축과, 상기 제1 축에 수직한 제2 축을 포함하는 상기 좌표계를 생성하는,
설골 추적 장치.3. The method of claim 2,
The coordinate system generating unit determines two anatomical points in the divided cervical vertebrae, and generates the coordinate system including a first axis connecting the two anatomical points and a second axis perpendicular to the first axis,
hyoid bone tracking device. 제2항에 있어서,
상기 궤적 판단부는 상기 각 설골의 특정점을 상기 좌표계에 표시하여 상기 경추에 대한 상기 설골의 상대적 궤적을 판단하는,
설골 추적 장치.3. The method of claim 2,
The trajectory determining unit determines the relative trajectory of the hyoid bone with respect to the cervical vertebrae by displaying a specific point of each hyoid bone in the coordinate system,
hyoid bone tracking device. 제2항에 있어서,
상기 프로세서는,
상기 설골 추적 모델, 상기 설골 분할 모델 및 상기 경추 분할 모델 중 적어도 하나를 갱신하는 모델 갱신부; 를 더 포함하는,
설골 추적 장치.3. The method of claim 2,
The processor is
a model updater for updating at least one of the hyoid bone tracking model, the hyoid bone segmentation model, and the cervical segmentation model; further comprising,
hyoid bone tracking device. VFSS(videofuoroscopic swallowing study) 영상들을 획득하는 단계; 및
상기 획득된 VFSS 영상들로부터 경추에 대한 설골의 상대적 궤적을 판단하는 단계; 를 포함하는,
설골 추적 방법.acquiring VFSS (videofuoroscopic swallowing study) images; and
determining a relative trajectory of the hyoid bone with respect to the cervical spine from the obtained VFSS images; containing,
How to track the hyoid bone. 제11항에 있어서,
상기 경추에 대한 설골의 상대적 궤적을 판단하는 단계는,
설골 추적 모델을 이용하여 각 VFSS 영상에서 설골을 포함하는 관심 영역을 추출하는 단계;
설골 분할 모델을 이용하여 상기 추출된 각 관심 영역에서 상기 설골을 분할하는 단계;
상기 분할된 각 설골의 특정점을 판단하는 단계;
경추 분할 모델을 이용하여 각 VFSS 영상에서 경추를 분할하는 단계;
상기 분할된 경추를 기반으로 경추를 기준으로 하는 좌표계를 생성하는 단계; 및
상기 각 설골의 특정점과 상기 생성된 좌표계를 기반으로 경추에 대한 설골의 상대적 궤적을 판단하는 단계; 를 포함하는,
설골 추적 방법.12. The method of claim 11,
The step of determining the relative trajectory of the hyoid bone with respect to the cervical vertebrae,
extracting a region of interest including the hyoid bone from each VFSS image using a hyoid bone tracking model;
segmenting the hyoid bone in each of the extracted regions of interest using a hyoid bone segmentation model;
determining a specific point of each of the divided hyoid bones;
segmenting the cervical vertebrae in each VFSS image using a cervical segmentation model;
generating a coordinate system based on the cervical vertebrae based on the divided cervical vertebrae; and
determining the relative trajectory of the hyoid bone with respect to the cervical spine based on the specific point of each hyoid bone and the generated coordinate system; containing,
How to track the hyoid bone. 제12항에 있어서,
상기 관심 영역을 추출하는 단계는 상기 설골 추적 모델을 이용하여 상기 VFSS 영상들에서 설골을 추적하고, 설골 추적 결과를 기반으로 각 VFSS 영상에서 상기 관심 영역을 추출하는,
설골 추적 방법.13. The method of claim 12,
The extracting of the region of interest includes tracking the hyoid bone in the VFSS images using the hyoid bone tracking model, and extracting the region of interest from each VFSS image based on the hyoid bone tracking result.
How to track the hyoid bone. 제12항에 있어서,
상기 설골 추적 모델, 상기 설골 분할 모델 및 상기 경추 분할 모델은 머신러닝 또는 딥러닝을 통해 미리 생성되는,
설골 추적 방법.13. The method of claim 12,
The hyoid bone tracking model, the hyoid bone segmentation model and the cervical segmentation model are generated in advance through machine learning or deep learning,
How to track the hyoid bone. 제12항에 있어서,
상기 특정점은 center point, most anterior point, most posterior point, most superior point, most inferior point를 포함하는,
설골 추적 방법.13. The method of claim 12,
The specific point includes a center point, most anterior point, most posterior point, most superior point, most inferior point,
How to track the hyoid bone. 제12항에 있어서,
상기 각 설골의 특정점을 판단하는 단계는 상기 각 설골을 설골의 특정점이 표시된 기준 설골 영상에 형상 매칭시킴으로써, 상기 각 설골의 특정점을 판단하는,
설골 추적 방법.13. The method of claim 12,
The step of determining the specific point of each hyoid bone is to determine the specific point of each hyoid bone by matching the shape of each hyoid bone to the reference hyoid image in which the specific point of the hyoid bone is displayed,
How to track the hyoid bone. 제16항에 있어서,
상기 기준 설골 영상은 상기 VFSS 영상들 중 최초 프레임 영상에서 분할된 설골의 영상인,
설골 추적 방법.17. The method of claim 16,
The reference hyoid image is an image of the hyoid bone divided from the first frame image among the VFSS images,
How to track the hyoid bone. 제12항에 있어서,
상기 좌표계를 생성하는 단계는 상기 분할된 경추에서 2개의 해부학적 지점을 판단하고, 상기 2개의 해부학적 지점을 연결하는 제1 축과, 상기 제1 축에 수직한 제2 축을 포함하는 상기 좌표계를 생성하는,
설골 추적 방법.13. The method of claim 12,
The step of generating the coordinate system includes determining two anatomical points in the divided cervical vertebrae, a first axis connecting the two anatomical points, and a second axis perpendicular to the first axis. generated,
How to track the hyoid bone. 제12항에 있어서,
상기 경추에 대한 설골의 상대적 궤적을 판단하는 단계는 상기 각 설골의 특정점을 상기 좌표계에 표시하여 상기 경추에 대한 상기 설골의 상대적 궤적을 판단하는,
설골 추적 방법.13. The method of claim 12,
The step of determining the relative trajectory of the hyoid bone with respect to the cervical vertebrae is to determine the relative trajectory of the hyoid bone with respect to the cervical vertebrae by displaying a specific point of each hyoid bone on the coordinate system,
How to track the hyoid bone. 제12항에 있어서,
상기 설골 추적 모델, 상기 설골 분할 모델 및 상기 경추 분할 모델 중 적어도 하나를 갱신하는 단계; 를 더 포함하는,
설골 추적 방법.13. The method of claim 12,
updating at least one of the hyoid bone tracking model, the hyoid bone segmentation model, and the cervical segmentation model; further comprising,
How to track the hyoid bone.
KR1020210019295A 2021-02-10 2021-02-10 Apparatus and method for tracking hyoid bone KR102595012B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210019295A KR102595012B1 (en) 2021-02-10 2021-02-10 Apparatus and method for tracking hyoid bone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210019295A KR102595012B1 (en) 2021-02-10 2021-02-10 Apparatus and method for tracking hyoid bone

Publications (2)

Publication Number Publication Date
KR20220115369A true KR20220115369A (en) 2022-08-17
KR102595012B1 KR102595012B1 (en) 2023-10-26

Family

ID=83110295

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210019295A KR102595012B1 (en) 2021-02-10 2021-02-10 Apparatus and method for tracking hyoid bone

Country Status (1)

Country Link
KR (1) KR102595012B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019208629A (en) * 2018-05-31 2019-12-12 国立大学法人岩手大学 Swallowing function evaluation method and swallowing function evaluation apparatus
KR102094828B1 (en) * 2019-09-24 2020-04-27 가톨릭대학교 산학협력단 Apparatus and Method for Videofluoroscopic Swallowing Study
KR20200058657A (en) 2018-11-19 2020-05-28 수상에스티(주) Vfss based auromatic dysphagia detection system and the method therof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019208629A (en) * 2018-05-31 2019-12-12 国立大学法人岩手大学 Swallowing function evaluation method and swallowing function evaluation apparatus
KR20200058657A (en) 2018-11-19 2020-05-28 수상에스티(주) Vfss based auromatic dysphagia detection system and the method therof
KR102094828B1 (en) * 2019-09-24 2020-04-27 가톨릭대학교 산학협력단 Apparatus and Method for Videofluoroscopic Swallowing Study

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kim 외 4인, Semi-automatic tracking, smoothing and segmentation of hyoid bone motion from videofluoroscopic swallowing study, PloS one, Public Library of Science, Nov. 2017, Vol.12, no.11, pp.e0188684* *

Also Published As

Publication number Publication date
KR102595012B1 (en) 2023-10-26

Similar Documents

Publication Publication Date Title
WO2020253657A1 (en) Video clip positioning method and apparatus, computer device, and storage medium
Siena et al. Utilising the intel realsense camera for measuring health outcomes in clinical research
CN110348543B (en) Fundus image recognition method and device, computer equipment and storage medium
TW202112299A (en) Mage processing method, electronic device and computer-readable storage medium
US8891841B2 (en) Mobile dermatology collection and analysis system
US20200234444A1 (en) Systems and methods for the analysis of skin conditions
CN107665485B (en) Electronic device and computer-readable recording medium for displaying graphic objects
JP2020101927A (en) Image identification device, identifier learning method, image identification method and program
CN110610181A (en) Medical image identification method and device, electronic equipment and storage medium
US10089332B2 (en) Method and electronic device for classifying contents
CN111897996B (en) Topic label recommendation method, device, equipment and storage medium
US9058056B2 (en) System and method of dynamically generating a frequency pattern to realize the sense of touch in a computing device
Dorfman et al. Making the subjective objective: machine learning and rhinoplasty
US11841923B2 (en) Processing method, model training method, means, and storage medium for spinal images
WO2022193973A1 (en) Image processing method and apparatus, electronic device, computer readable storage medium, and computer program product
CN111984803B (en) Multimedia resource processing method and device, computer equipment and storage medium
Wu et al. Hierarchical dynamic depth projected difference images–based action recognition in videos with convolutional neural networks
CN104541304B (en) Use the destination object angle-determining of multiple cameras
CN113257412B (en) Information processing method, information processing device, computer equipment and storage medium
EP3594901A1 (en) Apparatus and method for analyzing cephalometric image
KR20150117043A (en) Method for sorting a media content and electronic device implementing the same
KR20220115369A (en) Apparatus and method for tracking hyoid bone
CN110942033B (en) Method, device, electronic equipment and computer medium for pushing information
KR102456338B1 (en) Apparatus and method for predicting amyloid beta deposition
KR20110085037A (en) Multi-display device and method of providing information using the same

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant