KR102418073B1

KR102418073B1 - 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치 및 방법

Info

Publication number: KR102418073B1
Application number: KR1020200069108A
Authority: KR
Inventors: 편성범; 이기선; 이은영
Original assignee: 고려대학교 산학협력단
Priority date: 2020-06-08
Filing date: 2020-06-08
Publication date: 2022-07-06
Also published as: KR20210152249A

Abstract

인공지능 기술을 기반으로 비디오투시연하검사(VFSS)의 분석을 자동화하는 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치 및 방법, 기록 매체가 개시된다. 본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치는, 비디오 투시 연하 검사(VFSS)용 VFSS 검사 기기에 의해 분석 대상에 대해 획득된 VFSS 동영상의 영상 프레임들을 입력받도록 구성되는 데이터 입력부; 및 상기 VFSS 동영상의 영상 프레임들을 인공지능 모델에 의해 구강부 단계, 인두부 단계 및 식도부 단계를 포함하는 연하 단계들로 분류하는 연하 단계 분류부를 포함한다.

Description

인공지능 기반 비디오 투시 연하검사 자동화 분석 장치 및 방법{Apparatus and method for artificial intelligence based automatic analysis of video fluoroscopic swallowing study}

본 발명은 인공지능 기술을 기반으로 비디오투시연하검사(VFSS; video fluoroscopic swallowing study)의 연하 단계 분류 및 연하 장애 수준 결정을 자동화하는 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치 및 방법에 관한 것이다.

연하 장애(dysphagia)란 근육신경 계통의 이상이나 상부식도의 구조적 이상으로 인해 발생하는 삼킴의 어려움 증상을 지칭한다. 연하 장애는 고령 환자 뿐만 아니라, 뇌졸중 환자, 두경부 종양 환자 등에서 흔히 나타나는 증상이며 대표적인 합병증으로 흡인성 폐렴이나 기도 막힘, 영양 장애나 탈수 등의 증상이 발생할 수 있다. 하지만 대개의 경우, 연하 장애의 원인 질환 치료가 어려우며 같은 원인 질환인 경우에도 다양한 형태의 연하 장애를 일으키므로, 연하 장애의 패턴을 분석하여 그 자체로 치료적 접근을 하는 것(재활의학적 접근)이 더 도움이 된다.

이러한, 연하 장애의 진단을 위한 검사법으로 현재 표준 검사(gold standard)로 인정받고 있는 것이 비디오 투시 연하검사(VFSS; video fluoroscopic swallowing study)이다. VFSS 방식에 의하면, 예를 들어 바륨 조영제를 이용하여 구강, 인두, 식도의 구조적 이상과 움직임을 평가할 수 있고, 기도의 흡인 여부를 직접 확인할 수 있다.

그러나 종래의 VFSS 검사 방식의 경우, VFSS 디지털 영상을 취득한 이후의 분석은 분석자가 수작업으로 동영상의 프레임 단위 분석을 통하여 식괴의 이동경로를 분석하거나 연하 단계별 연하 시간을 측정하는 등의 방법으로 최종적으로 연하 장애 분류를 하고 있다. 이와 같이, VFSS 검사 후 영상데이터 분석 작업은 분석자의 경험도 및 숙련도에 의존한 수작업(manual)에 의해 수행되는 관계로, 분석 결과의 편향성(bias)이 높고, 재현성(reproducibility)과 객관성이 낮을 수밖에 없으며, 분석자에 따라 분석 결과가 다를 수 있어 결과의 일관성이 낮을 수밖에 없다. 뿐만 아니라, 분석자의 많은 노동력 및 시간이 요구되는 노동 집약적 분석을 필요로 하여 분석 결과 또한 상당한 시간이 소요된 이후에 제시될 수밖에 없다. Sensors, MDPI AG, 2019.9., Vol.19, no.18, pp.3873 (Lee,Jong Taek 외 2명)에는 "Automatic Detection of the Pharyngeal Phase in Raw Videos for the Videofluoroscopic Swallowing Study Using Efficient Data Collection and 3D Convolutional Networks"가 개시되어 있다.

본 발명은 인공지능 기술을 기반으로 비디오 투시 연하검사(VFSS)의 연하 단계 분류 및 연하 장애 수준 결정을 자동화하는 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치 및 방법, 기록 매체를 제공하기 위한 것이다.

본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치는, 비디오 투시 연하 검사(VFSS)용 VFSS 검사 기기에 의해 분석 대상에 대해 획득된 VFSS 동영상의 영상 프레임들을 입력받도록 구성되는 데이터 입력부; 및 상기 VFSS 동영상의 영상 프레임들을 인공지능 모델에 의해 구강부 단계, 인두부 단계 및 식도부 단계를 포함하는 연하 단계들로 분류하는 연하 단계 분류부를 포함한다.

본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치는, 다수의 연하 장애 환자에 관한 연하 단계별 VFSS 학습 영상 및 검사 데이터를 포함하는 학습 데이터를 학습하여 상기 인공지능 모델을 생성하는 데이터 학습부를 더 포함할 수 있다.

본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치는, 상기 FSS 동영상 중 상기 인공지능 모델에 의해 분류된 각 연하 단계에 해당하는 영상 구간을 추출하고, 상기 각 연하 단계에 해당하는 영상 구간으로부터 각 연하 단계별 연하 시간을 산출하도록 구성되는 연하 시간 산출부를 더 포함할 수 있다.

상기 연하 단계 분류부는, 상기 인공지능 모델에 의해 연하 장애 분류 기준에 따라 연하 장애를 분류하도록 구성될 수 있다. 상기 연하 장애 분류 기준은 연하 장애를 다수의 침투-흡인 스케일 수준 중 어느 하나로 분류하도록 정의되는 침투-흡인 스케일(Penetration-Aspiration Scale)을 포함할 수 있다.

상기 인공지능 모델은, 상기 침투-흡인 스케일에 정의된 상기 다수의 침투-흡인 스케일 수준 별로 학습된 다수의 서브 인공지능 모델의 출력값들을 기반으로 상기 분석 대상의 연하 장애를 상기 침투-흡인 스케일에 따라 분류하도록 구성될 수 있다.

상기 다수의 침투-흡인 스케일 수준 중 제1 침투-흡인 스케일 수준에 관하여 학습된 서브 인공지능 모델은, 상기 VFSS 동영상의 각 영상 프레임으로부터 다수의 영상 특징 정보를 추출하도록 구성되는 영상 특징 추출부; 및 상기 다수의 영상 특징 정보를 기반으로 상기 제1 침투-흡인 스케일 수준에 관한 확률을 출력하도록 구성되는 서브 인공 신경망을 포함할 수 있다.

상기 영상 특징 추출부는, 상기 VFSS 동영상의 각 영상 프레임을 컨볼루션 처리하여 컨볼루션 영상을 생성하는 하나 이상의 컨볼루션 처리부; 및 상기 다수의 영상 특징 정보를 추출하기 위해 상기 컨볼루션 영상을 서브 샘플링 처리하는 하나 이상의 서브 샘플링 처리부를 포함할 수 있다.

상기 서브 인공 신경망은, 상기 다수의 영상 특징 정보를 입력받도록 구성되는 입력 노드들을 포함하는 입력층; 상기 제1 침투-흡인 스케일 수준에 관한 확률을 출력하도록 구성되는 출력 노드를 포함하는 출력층; 및 상기 입력 노드들과 상기 출력 노드 사이에 완전 연결층 구조로 연결되는 은닉 노드들을 포함하는 은닉층을 포함할 수 있다.

본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치는, 상기 VFSS 동영상 중 정지 객체를 제외한 움직임이 발생된 이동 객체를 검출하여 이동 경로를 추적하고, 상기 VFSS 동영상 중 상기 분석 대상에 의해 섭취된 식괴의 이동 경로를 추적하도록 구성되는 이동 객체 추적부를 더 포함할 수 있다.

본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 방법은, 데이터 입력부에 의해, 비디오 투시 연하 검사(VFSS)용 VFSS 검사 기기에 의해 분석 대상에 대해 획득된 VFSS 동영상의 영상 프레임들을 입력받는 단계; 및 연하 단계 분류부에 의해, 상기 VFSS 동영상의 영상 프레임들을 인공지능 모델에 의해 구강부 단계, 인두부 단계 및 식도부 단계를 포함하는 연하 단계들로 분류하는 단계를 포함한다.

본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 방법은, 데이터 학습부에 의해, 다수의 연하 장애 환자에 관한 연하 단계별 VFSS 학습 영상 및 검사 데이터를 포함하는 학습 데이터를 학습하여 상기 인공지능 모델을 생성하는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 방법은, 연하 시간 산출부에 의해, 상기 VFSS 동영상 중 상기 인공지능 모델에 의해 분류된 각 연하 단계에 해당하는 영상 구간을 추출하고, 상기 각 연하 단계에 해당하는 영상 구간으로부터 각 연하 단계별 연하 시간을 산출하는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 방법은, 상기 인공지능 모델에 의해, 연하 장애를 다수의 침투-흡인 스케일 수준 중 어느 하나로 분류하도록 정의되는 침투-흡인 스케일(Penetration-Aspiration Scale)에 따라 상기 분석 대상의 연하 장애를 분류하는 단계를 더 포함할 수 있다.

상기 분석 대상의 연하 장애를 분류하는 단계는, 상기 다수의 침투-흡인 스케일 수준 별로 학습된 다수의 서브 인공지능 모델의 출력값들을 기반으로 상기 분석 대상의 연하 장애를 상기 침투-흡인 스케일에 따라 분류하는 단계를 포함할 수 있다.

상기 분석 대상의 연하 장애를 상기 침투-흡인 스케일에 따라 분류하는 단계는, 상기 다수의 침투-흡인 스케일 수준 중 제1 침투-흡인 스케일 수준에 관하여 학습된 제1 서브 인공지능 모델에 의해 상기 제1 침투-흡인 스케일 수준의 확률을 예측하는 단계를 포함할 수 있다.

상기 제1 침투-흡인 스케일 수준의 확률을 예측하는 단계는, 상기 제1 서브 인공지능 모델의 영상 특징 추출부에 의해, 상기 VFSS 동영상의 각 영상 프레임을 컨볼루션 처리하여 컨볼루션 영상을 생성하고, 상기 컨볼루션 영상을 서브 샘플링 처리하여 상기 각 영상 프레임으로부터 다수의 영상 특징 정보를 추출하는 단계; 및 상기 제1 서브 인공지능 모델의 완전 연결층 구조를 가지는 서브 인공 신경망에 의해, 상기 다수의 영상 특징 정보를 기반으로 상기 제1 침투-흡인 스케일 수준에 관한 확률을 출력하는 단계를 포함할 수 있다.

본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 방법은, 이동 객체 추적부에 의해, 상기 VFSS 동영상 중 정지 객체를 제외한 움직임이 발생된 이동 객체를 검출하여 이동 경로를 추적하고, 상기 VFSS 동영상 중 상기 분석 대상에 의해 섭취된 식괴의 이동 경로를 추적하는 단계를 더 포함할 수 있다.

본 발명의 실시예에 따르면, 상기 인공지능 기반 비디오 투시 연하검사 자동화 분석 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체가 제공된다.

본 발명의 실시예에 의하면, 인공지능 기술을 기반으로 비디오투시연하검사(VFSS)의 연하 단계 분류 및 연하 장애 수준 결정을 자동화하는 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치 및 방법, 기록 매체가 제공된다.

도 1은 본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치의 구성도이다.
도 2는 본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 방법의 순서도이다.
도 3은 구강부 단계, 인두부 단계 및 식도부 단계를 예시한 도면이다.
도 4는 본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치를 구성하는 인공지능 모델의 구성도이다.
도 5는 연하 장애 평가를 위한 침투-흡인 스케일의 예시도이다.
도 6은 본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치를 구성하는 서브 인공지능 모델의 구성도이다.
도 7은 도 2의 단계 S150의 순서도이다.
도 8 및 도 9는 본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치를 구성하는 인공지능 모델을 예시한 개념도이다.
도 10은 VFSS 동영상의 예시도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

본 명세서에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 본 명세서에서 사용되는 '~부, ~모듈'은 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 하드웨어 구성요소를 의미할 수 있다. '~부, ~모듈'에서 제공하는 기능은 복수의 구성요소에 의해 분리되어 수행되거나, 다른 추가적인 구성요소와 통합될 수도 있다. 본 명세서의 '~부, ~모듈'은 반드시 소프트웨어 또는 하드웨어에 한정되지 않으며, 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고, 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 이하에서는 도면을 참조하여 본 발명의 실시예에 대해서 구체적으로 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치의 구성도이다. 도 1을 참조하면, 본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치(100)는 인공지능 기반으로 연하 장애 환자와 같은 분석 대상에 대한 비디오 투시 연하 검사(VFSS)를 자동으로 수행하도록 구성되는 연하 검사부(100a)를 포함할 수 있다.

또한, 본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치(100)는 VFSS 검사 기기에 의해 분석 대상에 대해 촬영된 VFSS 동영상을 입력받아 연하 검사부(100a)로 출력하는 데이터 입력부(120), 연하 검사부(100a)를 제어하여 연하 검사 기능을 실행하는 제어부(180), 연하 검사부(100a)의 연하 검사 기능을 위한 프로그램 및 각종 정보를 저장하는 메모리(190) 및 연하 검사부(100a)에 의해 제공되는 각종 연하 검사 결과(연하 단계 분류 결과, 연하 단계별 연하 시간, 연하 단계별 영상 구간, 연하 장애 수준, 식괴 이동 궤적 등)를 출력하는 출력부(170)를 포함할 수 있다.

도 2는 본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 방법의 순서도이다. 도 1 및 도 2를 참조하면, 연하 검사부(100a)는 데이터 학습부(110), 연하 단계 분류부(130), 연하 시간 산출부(150) 및 이동 객체 추적부(160)를 포함할 수 있다.

데이터 학습부(110)는 다양한 연하 장애 환자(또는 연하 장애가 없는 사람)에 관한 연하 단계별 VFSS 학습 영상 및 검사 결과 데이터(예를 들어, 환자가 VFSS 검사를 진행하는 동안 각 연하 단계별 소요된 시간, 연하 장애 분류 기준에 따른 정량적 평가값을 의사 등이 평가한 결과 등)를 포함하는 학습 데이터를 학습하여 인공지능 모델(인공지능 확률모델)(140)을 생성할 수 있다(S110).

도 3은 구강부 단계(a), 인두부 단계(b) 및 식도부 단계(c)를 예시한 도면이다. 연하 단계는 구강부 단계, 인두부 단계 및 식도부 단계를 포함할 수 있다. 구강부 단계는 분석 대상이 섭취한 식괴가 구강부(1)에 머무르는 단계, 인두부 단계는 식괴가 인두부(2)를 통과하는 단계, 식도부 단계는 식괴가 식도부(3)를 통과하는 단계일 수 있다.

데이터 학습부(110)는 연하 단계별 및 연하 장애 분류 기준, 예를 들어, 연하 장애 분류를 위한 침투-흡인 스케일(PAS; Penetration-Aspiration Scale) 별로 구분된 학습 데이터에 의해 인공 지능망을 학습하여, VFSS 동영상 내 연하 단계별 영상구간 분류 및 추출, 연하 장애 분류를 위한 인공지능 모델을 생성할 수 있다.

데이터 입력부(120)는 비디오 투시 연하 검사(VFSS)용 VFSS 검사 기기에 의해 분석 대상에 대해 획득된 VFSS 동영상의 영상 프레임들을 입력받아 연하 검사부(100a)로 전달할 수 있다(S120). VFSS 동영상 정보는 디지털 데이터일 수 있으며, 수집된 데이터에 대해 정규화 알고리즘 등의 다양한 데이터 전처리가 수행될 수 있다.

연하 단계 분류부(130)는 데이터 학습부(110)의 학습에 의해 생성된 인공지능 모델(140)에 의해, VFSS 동영상의 영상 프레임들을 구강부 단계(oral phase), 인두부 단계(pharyngeal phase) 및 식도부 단계(esophagus phase)를 포함하는 3단계 연하 단계들(구강부 단계, 인두부 단계 및 식도부 단계) 또는 4단계 이상의 연하 단계들로 분류할 수 있다(S130).

연하 시간 산출부(150)는 VFSS 동영상 중 인공지능 모델(140)에 의해 분류된 각 연하 단계에 해당하는 영상 구간을 추출하고, 각 연하 단계에 해당하는 영상 구간으로부터 각 연하 단계별 연하 시간을 산출할 수 있다(S140). 연하 시간 산출부(150)는 예를 들어, VFSS 동영상의 영상 프레임들 중 각 연하 단계에 해당하는 연속된 영상 프레임의 개수에 인접한 두 영상 프레임 간의 간격을 곱한 값으로부터 연하 단계별 연하 시간을 산출할 수 있다.

또한, 연하 단계 분류부(130)는 인공지능 모델(140)에 의해 연하 장애 분류 기준에 따라 분석 대상의 연하 장애를 분류할 수 있다(S150). 실시예에서, 연하 장애 분류 기준은 침투-흡인 스케일(PAS; Penetration-Aspiration Scale)을 포함할 수 있다. 침투-흡인 스케일은 연하 장애를 다수의 침투-흡인 스케일 수준 중 어느 하나로 분류하도록 정의될 수 있다.

이동 객체 추적부(160)는 VFSS 동영상 중 정지 객체를 제외한 움직임이 발생된 이동 객체(예를 들어, 설골, 식괴 등)를 검출하여 이동 경로를 추적하고, VFSS 동영상 중 분석 대상에 의해 섭취된 식괴의 이동 경로를 추적할 수 있다(S160). 이를 통해 연하 장애의 원인을 파악하거나, 기도 흡인 등을 판단할 수 있다.

이동 객체 추적부(160)는 예를 들어, 순차적으로 입력되는 영상 프레임들에서 객체들을 추출하고, 인접한 영상 프레임들 간의 객체들의 좌표 변화량으로부터 움직임 벡터를 생성하여 객체들을 정지 객체와 이동 객체로 분류할 수 있으나, 이와 다른 방식으로 이동 객체를 추적하는 것도 가능하다.

도 4는 본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치를 구성하는 인공지능 모델의 구성도이다. 도 1 내지 도 4를 참조하면, 인공지능 모델(140)은 다수의 서브 인공지능 모델(142, 144, 146)과, 침투-흡인 스케일 결정부(148)를 포함할 수 있다.

도 5는 연하 장애 평가를 위한 침투-흡인 스케일의 예시도이다. 도 6은 본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치를 구성하는 서브 인공지능 모델의 구성도이다. 도 7은 도 2의 단계 S150의 순서도이다.

도 4 내지 도 7을 참조하면, 인공지능 모델(140)은 침투-흡인 스케일에 정의된 다수의 침투-흡인 스케일 수준(예를 들어, 도 5에 도시된 PAS1 ~ PAS8) 별로 학습된 다수의 서브 인공지능 모델(142, 144, 146)의 출력값들(확률값들)을 기반으로 분석 대상의 연하 장애를 침투-흡인 스케일에 따라 분류할 수 있다.

침투-흡인 스케일(PAS)은 크게 정상(Normal), 침투(Penetration), 흡인(Aspiration)의 3개의 카테고리로 나눌 수 있으며, 다시 도 5에 도시된 바와 같이 8개의 세부 카테고리의 PAS 수준(PAS1 ~ PAS8)으로 분류될 수 있다.

도 5에서, PAS1은 음식물이 기도로 침투하지 않은 정상 수준, PAS2는 음식물이 기도로 유입되어 성대 위에 잔류하며 잔여물이 없는 제1 침투 수준, PAS3은 음식물이 기도로 유입되어 성대 위에 잔류하며 잔여물이 남아 있는 제2 침투 수준, PAS4는 음식물이 기도로 유입되어 성대에 접촉하며 잔여물이 남아 있지 않은 제3 침투 수준, PAS5는 음식물이 기도로 유입되어 성대에 접촉하며 잔여물이 남아 있는 제4 침투 수준을 나타낸다.

또한, PAS6은 음식물이 기도로 유입되어 성문을 통과하고, 성문 아래에 남아 있는 잔여물이 없는 제1 흡인 수준, PAS7은 음식물이 기도로 유입되어 성문을 통과하고, 환자의 반응이 있는 상태에서 성문 아래에 남아 있는 잔여물이 존재하는 제2 흡인 수준, PAS8은 음식물이 기도로 유입되어 성문을 통과하고, 성문 아래에 남아 있는 잔여물이 존재하며, 환자의 반응도 없는 제3 흡인 수준을 나타낸다.

PAS 수준별 확률 예측을 위해, 인공지능 모델(140)의 각 서브 인공지능 모델(142, 144, 146)은 영상 특징 추출부(142a) 및 서브 인공 신경망(142b)을 포함할 수 있다. 영상 특징 추출부(142a)는 VFSS 동영상의 각 영상 프레임으로부터 다수의 영상 특징 정보(다수의 특징 맵)를 추출할 수 있다.

도 8 및 도 9는 본 발명의 실시예에 따른 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치를 구성하는 인공지능 모델을 예시한 개념도이다. 도 8은 인공지능 모델을 학습하는 과정을 나타낸 도면이다.

도 1, 도 4, 도 6 내지 도 8을 참조하여 인공지능 모델을 학습하는 과정에 대해 설명하면, 데이터 학습부(110)는 학습 데이터(훈련 데이터)(10)를 이용하여 인공지능 모델을 학습한다.

학습 데이터(10)는 연하 장애를 갖지 않는 사람의 VFSS 동영상 및 검사 데이터에 해당하는 긍정 학습 데이터(20)와, 연하 장애를 갖고 있는 사람의 VFSS 동영상 및 검사 데이터에 해당하는 부정 학습 데이터(30)를 포함할 수 있다.

부정 학습 데이터(30)는 연하 단계별 및 연하 장애 분류 기준별로 구분될 수 있으며, 예를 들어 다수의 침투-흡인 스케일(PAS) 수준별로 분류된 서브 학습 데이터(32, 34, 36)를 포함할 수 있다.

각 서브 학습 데이터(32, 34, 36)는 대응되는 각 서브 인공지능 모델(142, 144, 146)의 학습에 활용될 수 있다. 서브 인공지능 모델(142, 144, 146)은 침투-흡인 스케일(PAS) 수준의 개수 만큼 마련될 수 있다.

이와 같이, 다양한 VFSS 동영상을 연하 장애 기준(예를 들어, PAS) 별로 구분하고, 각 VFSS 동영상의 영상 프레임들을 연하 단계별로 연속된 프레임으로 구분한 후, 이를 이용한 인공지능 기반의 훈련을 통해 연하 장애 수준 및 연하 단계를 구분하기 위한 인공지능 모델(140)을 생성할 수 있다.

도 9는 학습된 인공지능 모델에 의해 연하 검사를 자동으로 수행하는 과정을 나타낸 도면이다. 도 10은 VFSS 동영상의 예시도이다. 도 1, 도 4, 도 6, 도 7, 도 9 및 도 10을 참조하면, 영상 특징 추출부(142a)는 VFSS 동영상(50)의 영상 프레임(40)에서 다수의 영상 특징 정보(예를 들어, 특징 맵)를 추출하기 위한 하나 이상의 컨볼루션 처리부(1422) 및 하나 이상의 서브 샘플링 처리부(1424)를 포함할 수 있다.

컨볼루션 처리부(1422)는 VFSS 동영상의 각 영상 프레임(40)을 컨볼루션(Convolution) 처리하여 다수의 컨볼루션 영상(제1 특징 맵)을 생성할 수 있다(S152).

컨볼루션 처리부(1422)는 설정된 픽셀 크기의 기준 영상(예를 들어, 3×3 기준 영상, 2×2 기준 영상, 7×7 기준 영상 등)을 VFSS 영상(또는 이전에 생성된 컨볼루션 영상)에 매핑하여 특징 맵을 생성할 수 있다.

서브 샘플링 처리부(1424)는 다수의 컨볼루션 영상(제1 특징 맵)으로부터 다수의 영상 특징 정보(제2 특징 맵)를 추출하기 위해 컨볼루션 처리부(1422)에 의해 생성된 컨볼루션 영상에 대해 풀링(pooling) 등의 서브 샘플링(subsampling) 처리를 수행할 수 있다(S154).

컨볼루션 처리부(1422)의 컨볼루션 처리와 서브 샘플링 처리부(1424)의 서브 샘플링 처리는 순차적으로 복수회 반복하여 수행될 수 있으며, 최종적인 컨볼루션 처리 또는 서브 샘플링 처리를 통해 서브 인공 신경망(142b)으로 입력될 영상 특징 정보가 생성될 수 있다.

서브 인공 신경망(142b)은 영상 특징 추출부(142a)에 의해 추출된 다수의 영상 특징 정보(예를 들어, 특징 맵)를 기반으로, 예를 들어 완전 연결층 인공 신경망에 의해 제1 침투-흡인 스케일 수준에 관한 확률을 출력할 수 있다(S156).

서브 인공 신경망(142b)은 다수의 영상 특징 정보를 입력받는 입력 노드들을 포함하는 입력층(IL), 제1 침투-흡인 스케일 수준에 관한 확률을 출력하는 하나 이상의 출력 노드를 포함하는 출력층(OL) 및 입력 노드들과 출력 노드 사이에 완전 연결층(fully connected layer) 구조로 연결되는 은닉 노드들을 포함하는 은닉층(HL)을 포함할 수 있다.

침투-흡인 스케일 결정부(148)는 다수의 침투-흡인 스케일 수준 별로 학습된 다수의 서브 인공지능 모델(142, 144, 146)의 출력값들(확률값들)을 기반으로 분석 대상의 연하 장애를 침투-흡인 스케일에 따라 분류할 수 있다(S158).

서브 인공지능 모델(142, 144, 146)의 각 출력값(확률값)은 0, 1의 이진값으로 출력되거나, 0 ~ 1 사이 미리 설정된 범위 내의 확률 값 또는 수치로 출력될 수 있다.

침투-흡인 스케일 결정부(148)는 예를 들어, 다수의 서브 인공지능 모델(142, 144, 146) 중 제1 PAS 수준에 대응되는 제1 서브 인공지능 모델에서 출력되는 확률값이 1 이고, 나머지 서브 인공지능 모델에서 출력되는 확률값이 0 인 경우, 분석 대상의 침투-흡인 스케일(PAS)을 제1 PAS 수준으로 결정할 수 있다.

또한, 침투-흡인 스케일 결정부(148)는 다수의 서브 인공지능 모델(142, 144, 146)에서 출력되는 확률값들의 통계값(예를 들어, 평균 또는 각 PAS 수준별로 설정되거나 학습된 가중치가 반영된 가중 평균 등)을 기반으로 분석 대상의 PAS 수준을 결정할 수도 있다.

이와 같이, 환자의 VFSS 동영상(50) 정보가 입력될 경우, 사용자에게 연하 단계별 동영상을 연속된 프레임별로 구분하고 해당 연하 단계별 연하 시간을 추정할 수 있으며, 최종적으로 연하 장애 수준(PAS 수준)을 예측할 수 있다.

본 발명의 실시예에 따라, 방대한 VFSS 검사 동영상 데이터 및 검사 결과 정보를 데이터 마이닝한 결과를 기반으로 인공지능 학습을 통하여 연하 단계 및 연하 장애 수준 분류를 위한 인공지능 확률모델을 생성할 수 있으며, 인공지능 확률모델을 기반으로 임의의 VFSS 검사 동영상에서 각 연하 단계별 동영상 프레임을 자동 인지 및 추출하여 자동으로 연하 단계별 소요시간 및 연하 장애 분류를 예측하고 표 1에 도시된 바와 같이 연하 검사 결과를 제공할 수 있다.

따라서 본 발명의 실시예에 의하면, VFSS 동영상의 각 프레임 이미지별로 분석해야 하는 VFSS 분석가의 노동 집약적인 분석 업무를 절감할 수 있으며, 연하 단계별 시간 측정, 연하 장애 정도의 예측을 정확하면서 일관성 있는 결과로 제시할 수 있어, 연하 장애자 진단의 효율성과 정확성을 제고할 수 있다.

또한, 본 발명의 실시예에 의하면, VFSS 동영상 중 정지 객체를 제외한 움직임이 발생된 이동 객체(예를 들어, 설골, 식괴 등)를 검출하여 이동 경로를 추적할 수 있다.

즉, 각 연하 단계에 해당하는 구간 별로 설골(hyoid bone) 등 연하와 관련된 기관의 이동 상태(움직임 범위, 이동 궤적 등)을 산출하고, 이를 미리 설정된 정상 이동 상태 또는 비정상 이동 상태 등과 비교하여 연하 장애의 원인을 파악하는데 활용할 수 있다.

또한, 본 발명의 실시예에 의하면, VFSS 동영상 중 분석 대상에 의해 섭취된 식괴의 이동 경로를 추적하여, 식괴가 기도(airway)로 침투(penetration)하였는지 여부, 흡인(aspiration) 여부 등을 이동 객체의 이동 궤적을 통해 확인할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/ 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(Arithmetic Logic Unit), 디지털 신호 프로세서(Digital Signal Processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(Programmable Logic Unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.

처리 장치는 운영 체제 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술 분야에서 통상의 지식을 가진 자는 처리 장치가 복수 개의 처리 요소(Processing Element) 및/또는 복수 유형의 처리요소를 포함할 수 있음을 이해할 것이다.

예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(Parallel Processor) 와 같은, 다른 처리 구성(Processing configuration)도 가능하다. 소프트웨어는 컴퓨터 프로그램(Computer Program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.

소프트웨어 및/ 또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody) 될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CDROM, DVD와 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

100: 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치
100a: 연하 검사부
110: 데이터 학습부
120: 데이터 입력부
130: 연하 단계 분류부
140: 인공지능 모델
142, 144, 146: 서브 인공지능 모델
142a: 영상 특징 추출부
142b: 서브 인공 신경망
148: 침투-흡인 스케일 결정부
150: 연하 시간 산출부
160: 이동 객체 추적부
170: 출력부
180: 제어부
190: 메모리

Claims

비디오 투시 연하 검사(VFSS)용 VFSS 검사 기기에 의해 분석 대상에 대해 획득된 VFSS 동영상의 영상 프레임들을 입력받도록 구성되는 데이터 입력부; 및
상기 VFSS 동영상의 영상 프레임들을 인공지능 모델에 의해 구강부 단계, 인두부 단계 및 식도부 단계를 포함하는 연하 단계들로 분류하는 연하 단계 분류부를 포함하고,
상기 연하 단계 분류부는, 상기 인공지능 모델에 의해 연하 장애 분류 기준에 따라 연하 장애를 분류하도록 구성되고,
상기 연하 장애 분류 기준은 연하 장애를 다수의 침투-흡인 스케일 수준 중 어느 하나로 분류하도록 정의되는 침투-흡인 스케일(Penetration-Aspiration Scale)을 포함하고,
상기 인공지능 모델은,
상기 침투-흡인 스케일에 정의된 상기 다수의 침투-흡인 스케일 수준 별로 학습된 다수의 서브 인공지능 모델의 출력값들을 기반으로 상기 분석 대상의 연하 장애를 상기 침투-흡인 스케일에 따라 분류하도록 구성되고,
상기 다수의 침투-흡인 스케일 수준 중 제1 침투-흡인 스케일 수준에 관하여 학습된 서브 인공지능 모델은,
상기 VFSS 동영상의 각 영상 프레임으로부터 다수의 영상 특징 정보를 추출하도록 구성되는 영상 특징 추출부; 및
상기 다수의 영상 특징 정보를 기반으로 상기 제1 침투-흡인 스케일 수준에 관한 확률을 출력하도록 구성되는 서브 인공 신경망을 포함하고,
상기 영상 특징 추출부는,
상기 VFSS 동영상의 각 영상 프레임을 컨볼루션 처리하여 컨볼루션 영상을 생성하는 하나 이상의 컨볼루션 처리부; 및
상기 다수의 영상 특징 정보를 추출하기 위해 상기 컨볼루션 영상을 서브 샘플링 처리하는 하나 이상의 서브 샘플링 처리부를 포함하고,
상기 서브 인공 신경망은,
상기 다수의 영상 특징 정보를 입력받도록 구성되는 입력 노드들을 포함하는 입력층;
상기 제1 침투-흡인 스케일 수준에 관한 확률을 출력하도록 구성되는 출력 노드를 포함하는 출력층; 및
상기 입력 노드들과 상기 출력 노드 사이에 완전 연결층 구조로 연결되는 은닉 노드들을 포함하는 은닉층을 포함하는, 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치.
제1항에 있어서,
다수의 연하 장애 환자에 관한 연하 단계별 VFSS 학습 영상 및 검사 데이터를 포함하는 학습 데이터를 학습하여 상기 인공지능 모델을 생성하는 데이터 학습부를 더 포함하는, 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치.
제1항에 있어서,
상기 VFSS 동영상 중 상기 인공지능 모델에 의해 분류된 각 연하 단계에 해당하는 영상 구간을 추출하고, 상기 각 연하 단계에 해당하는 영상 구간으로부터 각 연하 단계별 연하 시간을 산출하도록 구성되는 연하 시간 산출부를 더 포함하는, 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치.
삭제
삭제
삭제
삭제
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 VFSS 동영상 중 정지 객체를 제외한 움직임이 발생된 이동 객체를 검출하여 이동 경로를 추적하고, 상기 VFSS 동영상 중 상기 분석 대상에 의해 섭취된 식괴의 이동 경로를 추적하도록 구성되는 이동 객체 추적부를 더 포함하는, 인공지능 기반 비디오 투시 연하검사 자동화 분석 장치.
데이터 입력부에 의해, 비디오 투시 연하 검사(VFSS)용 VFSS 검사 기기에 의해 분석 대상에 대해 획득된 VFSS 동영상의 영상 프레임들을 입력받는 단계; 및
연하 단계 분류부에 의해, 상기 VFSS 동영상의 영상 프레임들을 인공지능 모델에 의해 구강부 단계, 인두부 단계 및 식도부 단계를 포함하는 연하 단계들로 분류하는 단계를 포함하고,
상기 인공지능 모델에 의해, 연하 장애를 다수의 침투-흡인 스케일 수준 중 어느 하나로 분류하도록 정의되는 침투-흡인 스케일(Penetration-Aspiration Scale)에 따라 상기 분석 대상의 연하 장애를 분류하는 단계를 더 포함하고,
상기 분석 대상의 연하 장애를 분류하는 단계는, 상기 다수의 침투-흡인 스케일 수준 별로 학습된 다수의 서브 인공지능 모델의 출력값들을 기반으로 상기 분석 대상의 연하 장애를 상기 침투-흡인 스케일에 따라 분류하는 단계를 포함하고,
상기 분석 대상의 연하 장애를 상기 침투-흡인 스케일에 따라 분류하는 단계는, 상기 다수의 침투-흡인 스케일 수준 중 제1 침투-흡인 스케일 수준에 관하여 학습된 제1 서브 인공지능 모델에 의해 상기 제1 침투-흡인 스케일 수준의 확률을 예측하는 단계를 포함하고,
상기 제1 침투-흡인 스케일 수준의 확률을 예측하는 단계는,
상기 제1 서브 인공지능 모델의 영상 특징 추출부에 의해, 상기 VFSS 동영상의 각 영상 프레임을 컨볼루션 처리하여 컨볼루션 영상을 생성하고, 상기 컨볼루션 영상을 서브 샘플링 처리하여 상기 각 영상 프레임으로부터 다수의 영상 특징 정보를 추출하는 단계; 및
상기 제1 서브 인공지능 모델의 완전 연결층 구조를 가지는 서브 인공 신경망에 의해, 상기 다수의 영상 특징 정보를 기반으로 상기 제1 침투-흡인 스케일 수준에 관한 확률을 출력하는 단계를 포함하고,
상기 서브 인공 신경망은,
상기 다수의 영상 특징 정보를 입력받도록 구성되는 입력 노드들을 포함하는 입력층;
상기 제1 침투-흡인 스케일 수준에 관한 확률을 출력하도록 구성되는 출력 노드를 포함하는 출력층; 및
상기 입력 노드들과 상기 출력 노드 사이에 완전 연결층 구조로 연결되는 은닉 노드들을 포함하는 은닉층을 포함하는, 인공지능 기반 비디오 투시 연하검사 자동화 분석 방법.
제9항에 있어서,
데이터 학습부에 의해, 다수의 연하 장애 환자에 관한 연하 단계별 VFSS 학습 영상 및 검사 데이터를 포함하는 학습 데이터를 학습하여 상기 인공지능 모델을 생성하는 단계를 더 포함하는, 인공지능 기반 비디오 투시 연하검사 자동화 분석 방법.
제9항에 있어서,
연하 시간 산출부에 의해, 상기 VFSS 동영상 중 상기 인공지능 모델에 의해 분류된 각 연하 단계에 해당하는 영상 구간을 추출하고, 상기 각 연하 단계에 해당하는 영상 구간으로부터 각 연하 단계별 연하 시간을 산출하는 단계를 더 포함하는, 인공지능 기반 비디오 투시 연하검사 자동화 분석 방법.
삭제
삭제
제9항에 있어서,
이동 객체 추적부에 의해, 상기 VFSS 동영상 중 정지 객체를 제외한 움직임이 발생된 이동 객체를 검출하여 이동 경로를 추적하고, 상기 VFSS 동영상 중 상기 분석 대상에 의해 섭취된 식괴의 이동 경로를 추적하는 단계를 더 포함하는, 인공지능 기반 비디오 투시 연하검사 자동화 분석 방법.
제9항 내지 제11항, 및 제14항 중 어느 한 항의 인공지능 기반 비디오 투시 연하검사 자동화 분석 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.