KR20190041011A - 연하 진단 장치 및 프로그램 - Google Patents

연하 진단 장치 및 프로그램 Download PDF

Info

Publication number
KR20190041011A
KR20190041011A KR1020197009098A KR20197009098A KR20190041011A KR 20190041011 A KR20190041011 A KR 20190041011A KR 1020197009098 A KR1020197009098 A KR 1020197009098A KR 20197009098 A KR20197009098 A KR 20197009098A KR 20190041011 A KR20190041011 A KR 20190041011A
Authority
KR
South Korea
Prior art keywords
swallowing
information
respiration
soft
section
Prior art date
Application number
KR1020197009098A
Other languages
English (en)
Other versions
KR102179511B1 (ko
Inventor
미치후미 요시오카
가츠후미 이노우에
요시타카 오쿠
Original Assignee
고리츠다이가쿠호징 오사카후리츠다이가쿠
가꼬우호우징 효고 이카다이가쿠
가부시키가이샤 제이 크래프트
유센스 메디컬 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고리츠다이가쿠호징 오사카후리츠다이가쿠, 가꼬우호우징 효고 이카다이가쿠, 가부시키가이샤 제이 크래프트, 유센스 메디컬 가부시키가이샤 filed Critical 고리츠다이가쿠호징 오사카후리츠다이가쿠
Publication of KR20190041011A publication Critical patent/KR20190041011A/ko
Application granted granted Critical
Publication of KR102179511B1 publication Critical patent/KR102179511B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4205—Evaluating swallowing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0826—Detecting or evaluating apnoea events
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/003—Detecting lung or respiration noise
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/008—Detecting noise of gastric tract, e.g. caused by voiding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204—Acoustic sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0247—Pressure sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1107—Measuring contraction of parts of the body, e.g. organ, muscle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Abstract

연하 진단 장치(100)는 연하 추정부(116a)에 의해 연하가 발생했다고 추정된 기간의 전후의 호흡상을, 압력 센서(114)로부터 출력되는 호흡압 데이터로부터 검출하고, 검출한 호흡상에 기초하여 당해 연하에 오연의 리스크가 있는지 여부를 판정하는 제1 연하 판정부(116b)와, 연하 추정부(116a)에 의해 연하가 발생했다고 추정된 기간을 포함하는 소정 기간에 있어서 음 센서(131a)로부터 출력되는 생체음 데이터를 추출하고, 추출한 생체음 데이터로부터 특징량을 취득하고, 취득한 상기 특징량에 기계 학습 처리를 실행하여 당해 연하에 연하 장해의 가능성이 있는지 여부를 판정하는 제2 연하 판정부(116c)와, 각 연하 판정부에 의한 판정 결과를 표시부(111)에 표시시키는 표시 제어부(116d)를 구비한다.

Description

연하 진단 장치 및 프로그램
본 발명은 오연(誤嚥)의 리스크를 진단하기 위한 연하(嚥下, 삼킴) 진단 장치 및 컴퓨터에 당해 연하 진단의 기능을 부여하는 프로그램에 관한 것이다.
오연에 의해서 야기되는 오연성 폐렴이, 특히, 고령자에 있어서 심각한 문제가 되고 있다. 「오연」이란 적절히 연하를 발생시키지 못하여, 삼켜진 것이 식도가 아니라 기관으로 들어가는 병태이다. 현재, 오연의 리스크를 적절히 진단 가능한 연하 진단 장치의 개발이 요구되고 있다.
특허 문헌 1에는, 인두(咽頭)의 가속도 신호로부터 특징을 추출하고, 추출한 특징을 기초로 하여, 방사 기저 함수 뉴럴 네트워크에 의해 연하 활동(연하, 오연 등)을 분류하는 시스템이 기재되어 있다. 여기에서는, 가속도 신호로부터 추출되는 특징으로서, 정상성, 정규성, 편차율(dispersion ratio)이 이용된다. 또, 분류된 연하 활동에 대해서, 연하와 오연이 색분(色分)되어 표시된다.
특허 문헌 1: 일본 특표 2008－502386호 공보
오연은 개인의 특성(버릇 등)이 연령이나 질병에 의해 수식(修飾)된 결과로서 발생할 수 있다. 또, 그 한편으로, 개인에게 그러한 특성이 없어도, 질환 등에 의한 연하 장해가 원인이 되어, 오연이 발생하기도 한다. 따라서, 환자에 있어서의 오연의 리스크는 이들 양측면으로부터 종합적으로 판단하는 것이 바람직하다.
이러한 과제를 감안하여, 본 발명은 의사 등의 사용자가 환자에 있어서의 오연의 리스크를 다면적이면서 또한 종합적으로 판단하는 것이 가능한 연하 진단 장치 및 그 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 제1 태양은 연하 진단 장치에 관한 것이다. 이 태양에 따른 연하 진단 장치는 후두부의 음을 검출하는 음 검출부와, 호흡을 검출하는 호흡 검출부와, 상기 음 검출부로부터 출력되는 음 정보에 있어서 연하의 추정 조건을 만족하는 특징량을 취득한 생체음 발생 구간과, 상기 호흡 검출부로부터 출력되는 호흡 정보에 있어서 소정 시간 이상 호흡을 검출하지 않았던 무호흡 구간이 서로 매치되는 것에 기초하여, 연하가 발생했다고 추정하는 연하 추정부와, 상기 연하 추정부에 의해 연하가 발생했다고 추정된 기간의 전후의 호흡상(respiratory phase)을 상기 호흡 정보로부터 검출하고, 검출한 호흡상에 기초하여 당해 연하에 오연의 리스크가 있는지 여부를 판정하는 제1 연하 판정부와, 상기 연하 추정부에 의해 연하가 발생했다고 추정된 기간을 포함하는 소정 기간에 있어서 상기 음 정보 및 상기 호흡 정보 중 적어도 한쪽을 포함하는 참조 정보를 추출하고, 추출한 상기 참조 정보로부터 특징량을 취득하고, 취득한 상기 특징량에 기계 학습 처리를 실행하여 당해 연하에 연하 장해의 가능성이 있는지 여부를 판정하는 제2 연하 판정부와, 상기 제1 연하 판정부에 의한 판정 결과와 상기 제2 연하 판정부에 의한 판정 결과를 표시부에 표시시키는 표시 제어부를 구비한다.
본 태양에 따른 연하 진단 장치에 의하면, 개인의 특성(버릇 등)이 연령이나 질병에 의해 수식된 결과로서 발생할 수 있는 오연의 리스크가 제1 연하 판정부에 의해 판정되고, 또, 제2 연하 판정부에 의해서 연하 장해의 가능성이 판정된다. 그리고 이들 판정 결과가, 표시부에 표시되어, 의사 등의 사용자에게 제시된다. 이것에 의해, 의사 등의 사용자는, 이들 판정 결과를 참조함으로써, 환자에 있어서의 오연의 리스크를 다면적이면서 또한 종합적으로 판단할 수 있어, 보다 적절히, 환자에 있어서의 오연의 리스크를 진단할 수 있다.
또, 본 태양에 따른 연하 진단 장치에 의하면, 연하 추정을 위해서 취득한 정보(음 정보, 호흡 정보)를 이용하여, 제1 연하 판정부에 있어서의 판정과 제2 연하 판정부에 있어서의 판정이 행해지기 때문에, 이들 판정에 있어서 환자로부터 별도 정보를 취득하지 않아도 된다. 따라서, 연하 진단 장치의 구성을 간소하게 할 수 있고, 또, 이들 판정에 있어서의 처리 부하를 경감시킬 수 있다.
본 태양에 따른 연하 진단 장치에 있어서, 상기 제2 연하 판정부는 상기 참조 정보로서 상기 음 정보를 추출하고, 추출한 상기 음 정보로부터 상기 특징량을 취득하고, 취득한 상기 특징량에 기계 학습 처리를 실행하여 당해 연하에 연하 장해의 가능성이 있는지 여부를 판정하도록 구성될 수 있다. 이렇게 하면, 이하의 실시 형태에 있어서 검증 결과로서 나타내지는 것처럼, 연하 장해의 가능성의 판정 정밀도를 높일 수 있다.
이 경우, 상기 제2 연하 판정부는, 또한, 상기 참조 정보로서 상기 호흡 정보를 추출하고, 추출한 상기 호흡 정보로부터 특징량을 취득하고, 상기 호흡 정보로부터 취득한 상기 특징량과 상기 음 정보로부터 취득한 특징량에 기계 학습 처리를 실행하여 당해 연하에 연하 장해의 가능성이 있는지 여부를 판정하도록 구성될 수 있다. 이렇게 하면, 이하의 실시 형태에 있어서 검증 결과로서 나타내지는 것처럼, 연하 장해의 가능성의 판정 정밀도를 더욱 높일 수 있다.
또, 본 태양에 따른 연하 진단 장치는, 후두(喉頭)부의 변위를 검출하는 변위 검출부를 추가로 구비하고, 상기 제2 연하 판정부는, 또한, 연하가 발생했다고 추정된 상기 기간을 포함하는 상기 소정 기간에 있어서 상기 변위 검출부로부터 출력되는 변위 정보를 상기 참조 정보로서 추출하고, 추출한 상기 변위 정보로부터 특징량을 취득하고, 상기 변위 정보로부터 취득한 상기 특징량과, 상기 음 정보 및 상기 호흡 정보로부터 각각 취득한 특징량에 기계 학습 처리를 실행하여 당해 연하에 오연의 가능성이 있는지 여부를 판정하도록 구성될 수 있다. 이렇게 하면, 이하의 실시 형태에 있어서 검증 결과로서 나타내지는 것처럼, 연하 장해의 가능성의 판정 정밀도를 보다 한층 높일 수 있다.
이 경우, 상기 연하 추정부는 상기 생체음 발생 구간과 상기 무호흡 구간이 부호되고, 또한 상기 상기 생체음 발생 구간에 있어서 상기 변위 정보의 진폭이 소정의 임계치를 초과하는 경우에, 연하가 발생했다고 추정하도록 구성될 수 있다. 이렇게 하면, 연하 추정의 정밀도를 높일 수 있다.
본 태양에 따른 연하 진단 장치에 있어서, 상기 제2 연하 판정부는 상기 참조 정보를 푸리에 변환하여 주파수 스펙트럼을 취득하고, 취득한 주파수 스펙트럼에 선형 예측 분석을 적용하여 스펙트럼 포락을 구하고, 구한 스펙트럼 포락을 소정 주파수 간격으로 샘플링하여, 상기 특징량을 취득하도록 구성될 수 있다. 이렇게 하면, 이하의 실시 형태에 있어서 검증 결과로서 나타내지는 것처럼, 연하 장해의 가능성의 판정에 있어서, 높은 판정 정밀도를 얻을 수 있다.
이 경우, 상기 제2 연하 판정부는 상기 주파수 스펙트럼을 소정의 주파수 대역마다 분할하고, 상기 주파수 대역마다 선형 예측 분석을 적용하여 스펙트럼 포락을 구하고, 구한 각 주파수 대역의 스펙트럼 포락을 소정 주파수 간격으로 샘플링하여, 상기 특징량을 취득하도록 구성될 수 있다. 이렇게 하면, 이하의 실시 형태에 있어서 검증 결과로서 나타내지는 것처럼, 연하 장해의 가능성의 판정 정밀도를 보다 한층 높일 수 있다.
혹은, 상기 제2 연하 판정부는 상기 참조 정보를 푸리에 변환하여 주파수 스펙트럼을 취득하고, 취득한 주파수 스펙트럼에 선형 예측 분석을 적용하여 선형 예측 분석에 있어서의 각 차수의 계수를 취득하고, 취득한 계수 그룹을 상기 특징량으로서 취득하도록 구성될 수 있다. 이 경우도, 이하의 실시 형태에 있어서 검증 결과로서 나타내지는 것처럼, 연하 장해의 가능성의 판정에 있어서, 높은 판정 정밀도를 얻을 수 있다.
본 태양에 따른 연하 진단 장치에 있어서, 상기 제2 연하 판정부에 있어서의 상기 기계 학습 처리는, 서포트 벡터 머신인 것이 바람직하다. 이것에 의해, 이하의 실시 형태에 있어서 검증 결과로서 나타내지는 것처럼, 연하 장해의 가능성을, 높은 정밀도로 판정할 수 있다.
본 발명의 제2 태양은, 연하 진단 장치에 관한 것이다. 이 태양에 따른 연하 진단 장치는 후두부의 음을 검출하는 음 검출부와, 호흡을 검출하는 호흡 검출부와, 상기 음 검출부로부터 출력되는 음 정보에 있어서 연하의 추정 조건을 만족하는 특징량을 취득한 생체음 발생 구간과, 상기 호흡 검출부로부터 출력되는 호흡 정보에 있어서 소정 시간 이상 호흡을 검출하지 않았던 무호흡 구간이 서로 매치되는 것에 기초하여, 연하가 발생했다고 추정하는 연하 추정부와, 상기 연하 추정부에 의해 연하가 발생했다고 추정된 기간을 포함하는 소정 기간에 있어서 상기 음 정보 및 상기 호흡 정보 중 적어도 한쪽을 포함하는 참조 정보를 추출하고, 추출한 상기 참조 정보를 푸리에 변환하여 주파수 스펙트럼을 취득하고, 취득한 주파수 스펙트럼에 선형 예측 분석을 적용하여 스펙트럼 포락을 구하고, 구한 스펙트럼 포락을 소정 주파수 간격으로 샘플링하여 특징량을 취득하고, 취득한 상기 특징량에 기계 학습 처리를 실행하여 당해 연하에 연하 장해의 가능성이 있는지 여부를 판정하는 연하 판정부를 구비한다.
본 태양에 따른 연하 진단 장치에 의하면, 이하의 실시 형태에 있어서 검증 결과로서 나타내지는 것처럼, 연하 장해의 가능성을, 높은 정밀도로 판정할 수 있다.
덧붙여, 제2 태양에 있어서, 연하 판정부는 상기 주파수 스펙트럼을 소정의 주파수 대역마다 분할하고, 상기 주파수 대역마다 선형 예측 분석을 적용하여 스펙트럼 포락을 구하고, 구한 각 주파수 대역의 스펙트럼 포락을 소정 주파수 간격으로 샘플링하여, 상기 특징량을 취득하도록 구성되는 것이 바람직하다. 이렇게 하면, 이하의 실시 형태에 있어서 검증 결과로서 나타내지는 것처럼, 연하 장해의 가능성의 판정 정밀도를 보다 한층 높일 수 있다.
혹은, 상기 제2 연하 판정부는 상기 참조 정보를 푸리에 변환하여 주파수 스펙트럼을 취득하고, 취득한 주파수 스펙트럼에 선형 예측 분석을 적용하여 선형 예측 분석에 있어서의 각 차수의 계수를 취득하고, 취득한 계수 그룹을 상기 특징량으로서 취득하도록 구성될 수 있다. 이 경우도, 이하의 실시 형태에 있어서 검증 결과로서 나타내지는 것처럼, 연하 장해의 가능성의 판정에 있어서, 높은 판정 정밀도를 얻을 수 있다.
본 발명의 제3 태양은, 컴퓨터에, 상기 제1 태양에 따른 상기 연하 추정부, 상기 제1 연하 판정부, 상기 제2 연하 판정부 및 상기 표시 제어부의 기능을 부여하는 프로그램이다.
본 태양에 따른 프로그램에 의하면, 상기 제1 태양과 같은 효과가 달성될 수 있다.
이상과 같이, 본 발명에 의하면, 의사 등의 사용자가 환자에 있어서의 오연의 리스크를 다면적이면서 또한 종합적으로 판단하는 것이 가능한 연하 진단 장치 및 그 프로그램을 제공할 수 있다.
본 발명의 효과 내지 의의는, 이하에 나타내는 실시 형태의 설명에 의해 더욱 분명해질 것이다. 다만, 이하에 나타내는 실시 형태는, 어디까지나, 본 발명을 실시화할 때의 하나의 예시이고, 본 발명은 이하의 실시 형태에 의해 조금도 제한되는 것은 아니다.
도 1은 실시 형태에 따른 연하 진단 장치의 구성을 나타내는 외관도이다.
도 2는 실시 형태에 따른 연하 진단 장치의 구성을 나타내는 블록도이다.
도 3의 (a)~(c)는, 각각, 실시 형태에 따른 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터의 일례를 나타내는 도면이다.
도 4의 (a)는 실시 형태에 따른 스펙트로그램을 모식적으로 나타내는 도면이다. 도 4의 (b)는 실시 형태에 따른 멜 주파수(mel-frequency) 스펙트로그램을 모식적으로 나타내는 도면이다. 도 4의 (c)는 실시 형태에 따른 연속 웨이브렛(wavelet) 변환에 의한 펄스를 나타내는 도면이다. 도 4의 (d)는 실시 형태에 따른 연속 웨이브렛 변환에 의한 펄스를 확대하여 모식적으로 나타내는 도면이다.
도 5의 (a)는 실시 형태에 따른 연하 진단 장치에 있어서의 각종 데이터의 취득 처리를 나타내는 순서도이다. 도 5의 (b)는 실시 형태에 따른 연하 진단 장치에 있어서의 연하 진단 처리를 나타내는 순서도이다.
도 6은 실시 형태에 따른 연하 진단 장치에 있어서의 제1 연하 판정 처리를 나타내는 순서도이다.
도 7은 실시 형태에 따른 연하 진단 장치에 있어서의 제2 연하 판정 처리를 나타내는 순서도이다.
도 8은 실시 형태에 따른 제2 연하 판정 처리에 있어서의 각종 데이터의 추출 구간의 설정 방법을 나타내는 도면이다.
도 9의 (a), (b)는 실시 형태에 따른 검증 1에 있어서, LPC 스펙트럼에 의한 파라미터값의 취득 방법을 나타내는 도면이다.
도 10의 (a)~(c)는 각각, 실시 형태에 따른 검증 1에 있어서, 특징 파라미터로서 LPC 스펙트럼을 이용했을 경우의 검증 결과를 나타내는 도면이다.
도 11의 (a)~(c)는 각각, 실시 형태에 따른 검증 1에 있어서, 특징 파라미터로서 LPC 차수의 계수를 이용했을 경우의 검증 결과를 나타내는 도면이다.
도 12의 (a)~(c)는 각각, 실시 형태에 따른 검증 1에 있어서, 특징 파라미터로서 MFCC를 이용했을 경우의 검증 결과를 나타내는 도면이다.
도 13의 (a)~(c)는 각각, 실시 형태에 따른 검증 1의 검증 결과를 데이터의 종류(후두 변위, 호흡압, 연하음)마다 정리한 도면이다.
도 14는 실시 형태에 따른 검증 2에 있어서, 비시계열에 의한 LPC 스펙트럼에 의해 특징 파라미터값을 취득한 경우의 검증 결과를 수치로 나타내는 도면이다.
도 15는 실시 형태에 따른 검증 2에 있어서, 시계열에 의한 LPC 스펙트럼에 의해 특징 파라미터값을 취득한 경우의 검증 결과를 수치로 나타내는 도면이다.
도 16은 실시 형태에 따른 검증 2에 있어서, 정상인 데이터에 대해서 비시계열에 의한 LPC 스펙트럼에 의해 특징 파라미터값을 취득한 경우의 검증 결과를 나타내는 그래프이다.
도 17은 실시 형태에 따른 검증 2에 있어서, 환자 데이터에 대해서 비시계열에 의한 LPC 스펙트럼에 의해 특징 파라미터값을 취득한 경우의 검증 결과를 나타내는 그래프이다.
도 18은 실시 형태에 따른 검증 2에 있어서, 정상인 데이터에 대해서 시계열에 의한 LPC 스펙트럼에 의해 특징 파라미터값을 취득한 경우의 검증 결과를 나타내는 그래프이다.
도 19는 실시 형태에 따른 검증 2에 있어서, 환자 데이터에 대해서 시계열에 의한 LPC 스펙트럼에 의해 특징 파라미터값을 취득한 경우의 검증 결과를 나타내는 그래프이다.
도 20의 (a)는 실시 형태에 따른 검증 2의 검증 결과를 표로 정리한 도면이다. 도 20의 (b)는 실시 형태에 따른 검증 3의 검증 결과를 표로 정리한 도면이다.
도 21은 실시 형태에 따른 검증 3에 있어서, 정상인 데이터에 대해서 특징량의 추출을 시계열에 의한 LPC 스펙트럼을 이용해서 행한 경우의 검증 결과를 나타내는 그래프이다.
도 22는 실시 형태에 따른 검증 3에 있어서, 환자 데이터에 대해서 특징량의 추출을 시계열에 의한 LPC 스펙트럼을 이용해서 행한 경우의 검증 결과를 나타내는 그래프이다.
도 23의 (a)는 실시 형태에 따른 연하 진단 장치의 진단 결과를 표시하는 화면의 구성을 나타내는 도면이다. 도 23의 (b)~(e)는, 각각, 실시 형태에 따른 제1 판정 결과의 표시 형태를 나타내는 도면이다.
도 24는 실시 형태에 따른 연하 진단 장치에 있어서 제2 연하 판정부가 이용하는 교사 데이터(teaching data)를 갱신하기 위한 시스템 구성을 모식적으로 나타내는 도면이다.
도 25는 변경예에 따른 연하 진단 장치의 구성을 나타내는 외관도이다.
다만, 도면은 오로지 설명을 위한 것이며, 이 발명의 범위를 한정하는 것은 아니다.
도 1은 본 실시 형태에 따른 연하 진단 장치(100)의 구성을 나타내는 외관도이다.
연하 진단 장치(100)는 단말 장치(110)와, 비강 카눌라(cannula)(120)와, 검출부(130)를 구비한다.
단말 장치(110)는 표시부(111)와 입력부(112)를 구비하고 있다. 단말 장치(110)는 환자가 용이하게 휴대할 수 있도록, 작고 또한 경량으로 구성되어 있다. 표시부(111)는 칼라의 액정 모니터로 이루어져 있다. 입력부(112)는 연하 진단을 개시 및 종료시키기 위한 버튼(112a)을 구비한다. 또한, 입력부(112)는 커버(112b)를 개방하는 것에 의해, 동작 설정을 위한 키 그룹을 구비하고 있다.
비강 카눌라(120)는 한쌍의 통 모양 부재를 가지는 장착부(121)와, 장착부(121)의 양단에 접속된 튜브(122)를 구비하고 있다. 장착부(121)의 한쌍의 통 모양 부재는 환자의 비강에 삽입되고, 튜브(122)의 타단은 단말 장치(110)에 접속되어 있다. 이것에 의해, 환자가 호흡을 행하면 튜브(122) 내의 공기가 유동되고, 튜브(122) 내의 공기의 유동이, 단말 장치(110) 내의 압력 센서(114)(도 2 참조)에 의해 압력으로서 검출된다. 덧붙여, 환자가 입으로 호흡하고 있는 경우에도, 비강과 구강은 연결되어 있기 때문에, 튜브(122) 내의 공기가 유동되어 압력이 변화한다.
검출부(130)는 박형(薄型)이고 유연성이 있는 패드(131)와, 케이블(132)을 구비한다. 패드(131)는 환자의 후두부에 부착되어 있다. 패드(131)는 후두부의 음을 검출하기 위한 음 센서(131a)(도 2 참조)와, 후두부의 변형에 따라 설골(舌骨)의 변위를 압력에 의해 검출하기 위한 변위 센서(131b)(도 2 참조)를 구비하고 있다. 케이블(132)의 타단은 단말 장치(110)에 접속되어 있다.
덧붙여, 비강 카눌라(120)와 압력 센서(114)는, 호흡 검출부를 구성한다. 또, 음 센서(131a)는 음 검출부를 구성하고, 변위 센서(131b)는 변위 검출부를 구성한다. 압력 센서(114)로부터 출력되는 압력 신호, 음 센서(131a)로부터 출력되는 음 신호, 및 변위 센서(131b)로부터 출력되는 변위 신호는, 각각, 호흡 정보, 음 정보 및 변위 정보의 일례이다.
도 2는 연하 진단 장치(100)의 구성을 나타내는 블록도이다.
단말 장치(110)는, 도 1에 도시한 표시부(111)와, 입력부(112)에 더하여, 음 출력부(113)와, 압력 센서(114)와, A/D 변환부(115)와, 제어부(116)와, 기억부(117)를 구비한다.
음 출력부(113)는 버저나 스피커를 구비하고, 제어부(116)로부터의 제어에 의해 소정의 음성을 외부에 출력한다.
압력 센서(114)는 비강 카눌라(120)의 튜브(122)로부터 안내된 공기의 유동을 압력으로서 검출하고, 검출한 아날로그의 압력 신호를 A/D 변환부(115)에 출력한다. 검출부(130)는 음 센서(131a)와 변위 센서(131b)를 구비한다. 음 센서(131a)는 환자의 후두부 근방의 음을 검출하고, 검출한 아날로그의 음 신호를 A/D 변환부(115)에 출력한다. 변위 센서(131b)는 환자의 후두부의 변형을 설골의 변위로서 검출하고, 검출한 아날로그의 변위 신호를 A/D 변환부(115)에 출력한다.
A/D 변환부(115)는 압력 센서(114), 음 센서(131a) 및 변위 센서(131b)로부터 각각 출력된 압력 신호, 음 신호 및 변위 신호를 소정 주기로 샘플링하여, 각각의 샘플링 신호에 대응하는 디지털 데이터를 제어부(116)에 출력한다.
이하, 압력 신호, 음 신호 및 변위 신호가 A/D 변환된 디지털 데이터를, 각각, 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터로 칭한다.
제어부(116)는 CPU(Central Processing Unit) 등의 연산 처리 회로를 구비하고, 기억부(117)에 격납된 프로그램에 따라서 단말 장치(110)의 각부를 제어한다. 기억부(117)는 ROM(Read Only Memory)이나 RAM(Random Access Memory) 등의 기억 매체를 구비하여, 제어부(116)가 실행하는 프로그램을 기억한다. 또, 기억부(117)는 제어부(116)에 있어서의 처리에 있어서 워크 영역으로서 이용된다.
제어부(116)는 기억부(117)에 기억된 프로그램에 의해서, 연하 추정부(116a)와, 제1 연하 판정부(116b)와, 제2 연하 판정부(116c)와, 표시 제어부(116d)의 기능이 부여된다. 이 프로그램은 미리 기억부(117)에 인스톨되어 있어도 되고, 혹은, 착탈 가능한 메모리 매체나 통신 네트워크로부터 기억부(117)에 다운로드되어도 된다.
연하 추정부(116a)는 A/D 변환부(115)로부터 입력된 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터에 기초하여, 환자에 의해 연하가 이루어진 것을 추정한다. 연하 추정부(116a)에 있어서의 연하의 추정 방법에 대해서는, 추후에, 도 3의 (a)~(c) 및 도 4의 (a)~(d)를 참조하여 설명한다.
제1 연하 판정부(116b)는 연하 추정부(116a)에 의해 추정된 연하에 대해서, 오연의 리스크가 있는지 여부를 판정한다. 이 판정은 A/D 변환부(115)로부터 입력된 호흡압 데이터에 기초하여 행해진다. 제1 연하 판정부(116b)에 있어서의 연하 리스크의 판정 방법에 대해서는, 추후에, 도 6을 참조하여 설명한다.
제2 연하 판정부(116c)는 연하 추정부(116a)에 의해 추정된 연하에 대해서, 오연 장해의 가능성이 있는지 여부를 판정한다. 이 판정은 A/D 변환부(115)로부터 입력된 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터 중 적어도 1개에 기초하여 행해진다. 본 실시 형태에서는, 제2 연하 판정부(116c)에 있어서의 판정이, 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터의 모두를 이용하여 행해진다. 제2 연하 판정부(116c)에 있어서의 연하 장해의 가능성의 판정 방법에 대해서는, 추후에, 도 7 및 도 8을 참조하여 설명한다.
표시 제어부(116d)는 제1 연하 판정부(116b) 및 제2 연하 판정부(116c)에 있어서의 판정 결과를 포함하는 화면을 구성하여 표시부(111)에 표시시키는 처리를 실행한다. 표시 제어부(116d)에 의해 구성되는 화면에 대해서는, 추후에, 도 23의 (a), (b)를 참조하여 설명한다.
＜연하 추정 방법＞
다음에, 도 3의 (a)~(c) 및 도 4의 (a)~(d)를 참조하여, 연하 추정부(116a)에 있어서의 연하의 추정 방법에 대해 설명한다.
도 3의 (a)~(c)는, 각각, 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터의 일례를 나타내는 도면이다. 도 3의 (a)~(c)에는, 동일 기간에 취득된 생체음 데이터와, 호흡압 데이터와, 후두 변위 데이터가, A/D 변환 전의 아날로그 신호의 파형으로서 나타내져 있다. 가로축은 시간(초), 세로축은 규격화 후의 강도이다.
연하 추정부(116a)는 생체음 데이터를 단시간 푸리에 변환함으로써 스펙트로그램을 작성하고, 작성한 스펙트로그램에 기초하여 생체음 발생 구간을 추출한다. 구체적으로는, 연하 추정부(116a)는 전(全)구간의 생체음 데이터에 대해서, 창(窓)함수(샘플링 범위)를 1.5초로 설정하여 생체음 데이터를 잘라 내어, 단시간 푸리에 변환을 실시하여, 도 4의 (a)에 나타내는 것 같은 스펙트로그램을 작성한다. 즉, 연하 추정부(116a)는 단위 시간폭(1.5초폭)에 있어서 푸리에 변환을 행하고, 이것을 0.2초씩 늦추면서 차례로 변환을 행하여 스펙트로그램을 작성한다. 도 4의 (a)에 나타내는 예는, 20개의 단위 시간폭, 즉, 4초간에 대해 작성한 스펙트로그램이다.
연하 추정부(116a)는 작성한 스펙트로그램의 진폭의 총합을 구함으로써 신호 강도 데이터로 변환하고, 노이즈 평균 ＋2SD(표준 편차)를 초과한 구간을 생체음 발생 구간으로서 추출한다. 이것에 의해, 전구간의 생체음 데이터에 대해서, 생체음 발생 구간이 특정된다. 도 3의 (b), (c)에는, 이렇게 하여 추출된 생체음 발생 구간이 부기되어 있다.
다음에, 연하 추정부(116a)는 호흡압 데이터에 있어서, 값이 노이즈를 고려한 임계치 이하로 되어 있는 구간을 무호흡 구간으로서 추출한다. 이것에 의해, 전구간의 호흡압 데이터에 대해서, 무호흡 구간이 설정된다. 도 3의 (a)에는, 이렇게 하여 추출된 무호흡 구간이 부기되어 있다.
다음에, 연하 추정부(116a)는 생체음 발생 구간에 있어서, 상술한 스펙트로그램으로부터, 도 4의 (b)에 나타내는 것 같은 멜 주파수 스펙트로그램을 작성한다. 도 4의 (b)에서는, 세로축이 멜 스케일(mel-scale)로 되어 있다. 따라서, 도 4의 (b)의 멜 주파수 스펙트로그램은, 도 4의 (a)의 주파수 스펙트로그램에 비해, 저주파 대역의 좌표축이 신장되고, 고주파 대역의 좌표축이 압축되어 있다. 이것에 의해, 저주파 대역의 분해능이 높아져 있다.
다음에, 연하 추정부(116a)는 생체음 발생 구간에 있어서, 상술한 단시간 푸리에 변환 후의 데이터에 대해서, 연속 웨이브렛 변환에 의해 펄스화를 행하여, 도 4의 (c)에 나타내는 것 같은 펄스를 생성한다. 덧붙여, 도 4의 (c)의 예에서는 생체음 발생 구간에 6개의 펄스가 포함되어 있고, 이것들을 확대하여 모식적으로 나타내면, 도 4의 (d)에 나타내는 것처럼 상이한 폭을 가지는 펄스가 복수 개 포함된다.
다음에, 연하 추정부(116a)는 생체음 발생 구간 중, 이하의 3개의 조건이 모두 만족되는 것을 추출한다.
1번째의 조건은 소정의 임계치 이상으로 되어 있는 진폭이, 생체음 발생 구간에 포함되는 것이다. 예를 들어, 도 3의 (c)의 예에서는, 생체음 발생 구간의 후두 변위 데이터의 진폭 A1이 크다. 이와 같이, 생체음 발생 구간에 있어서 후두 변위 데이터의 진폭이 커져 있는 경우, 1번째의 조건이 만족된다. 연하시에는, 설골이 상승한 후, 앞으로 변위되고, 그 후, 원래의 위치로 돌아온다. 1번째의 조건은, 이러한 현상이 생체음 발생 구간에서 발생했는지 여부를 후두 변위 데이터에 기초하여 판정하는 것이다.
2번째의 조건은 생체음 발생 구간의 멜 주파수 스펙트로그램에 있어서, 750Hz 이상의 스펙트럼의 총합(파워)의 비율이 소정 비율(예를 들어 15%) 이상인 것이다. 통상, 연하음은 고주파 성분을 포함하고 있다. 2번째의 조건은, 연하음에 대응하는 음의 주파수가 생체음 발생 구간에서 발생했는지 여부를 생체음 데이터에 기초하여 판정하는 것이다. 예를 들어, 도 4의 (b)의 예에서는, 생체음 발생 구간의 멜 주파수 스펙트로그램에 있어서, 750Hz 이상의 스펙트럼의 총합의 비율이 15%를 초과하면, 2번째의 조건이 만족된다. 덧붙여, 여기에서는, 임계치가 750Hz로 설정되었지만, 이 임계치는 연하음의 실측치를 통계화함으로써, 적당히, 다른 주파수로 변경될 수 있다.
3번째의 조건은, 생체음 발생 구간에 있어서 도 4의 (c)에 나타내는 펄스의 수가 소정수(예를 들어 50개) 이하이고, 또한 생체음 발생 구간에 있어서 생성된 펄스 중 최대 펄스폭이 소정치(예를 들어 15msec) 이하인 것이다. 이것은 연하음과 다른 음을, 단속성과 연속성의 관점에서 구별할 수 있기 때문이다. 단속성이 높을수록 짧은 폭의 펄스가 다수 나타나고, 연속성이 높을수록 펄스의 수는 적고, 펄스폭은 길어진다. 3번째의 조건은 연하음에 대응하는 음의 단속성과 연속성이 생체음 발생 구간에서 발생했는지 여부를 생체음 데이터에 기초하여 판정하는 것이다.
예를 들어, 도 4의 (c), (d)에 나타내는 예에서는, 생체음 발생 구간에 있어서, 펄스수 N이 50개 이하이고, 또한 최대 펄스폭 W가 15msec 이하이면, 3번째의 조건이 만족된다. 덧붙여, 여기에서는, 펄스수의 임계치가 50개로 되고, 최대 펄스폭의 임계치가 15msec로 설정되었지만, 펄스수의 임계치와 최대 펄스폭의 임계치는, 연하음의 실측치를 통계화함으로써, 적당히, 다른 수 및 시간폭으로 변경될 수 있다.
연하 추정부(116a)는 상기 3개의 조건을 만족하는 생체음 발생 구간이, 무호흡 구간에 포함되어 있는지 여부를 판정한다. 일반적으로, 연하시에는 호흡이 멈춘다. 연하 추정부(116a)는 상기 3개의 조건을 만족하는 생체음 발생 구간이, 무호흡 구간에 포함되어 있는 경우에, 이 생체음 발생 구간을 연하가 발생한 구간으로 추정한다.
덧붙여, 상기 3개의 조건 중, 1번째의 조건(후두 변위의 진폭)이 제외되어도된다. 다만, 1번째의 조건을 포함한 쪽이, 연하 추정의 정밀도를 보다 높일 수 있다.
＜연하 진단 처리＞
다음에, 도 5의 (a)~도 7을 참조하여, 연하 진단시의 처리에 대해 설명한다.
도 5의 (a)는 각종 데이터의 취득 처리를 나타내는 순서도이다.
도 1에 도시하는 버튼(112a)이 조작되어, 환자에 대한 연하 진단이 개시되면, 제어부(116)는 압력 센서(114), 음 센서(131a) 및 변위 센서(131b)를 동작시켜, 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터를 각각 연속적으로 취득하고, 취득한 각 데이터를 수시로, 기억부(117)에 기억시킨다(S101~S103). 제어부(116)는 다시 버튼(112a)이 조작되어 연하 진단이 종료될 때까지(S104：YES), 스텝 S101~S103의 처리를 계속한다.
도 5의 (b)는 연하 진단 처리를 나타내는 순서도이다. 도 5의 (b)의 순서도에 포함되는 스텝 중, 스텝 S201~S204는 연하 추정부(116a)가 실행하고, 스텝 S205는 제1 연하 판정부(116b)가 실행하고, 스텝 S206은 제2 연하 판정부(116c)가 실행하고, 스텝 S207은 표시 제어부(116d)가 실행한다.
연하 진단이 개시되면, 연하 추정부(116a)는 연속적으로 기억부(117)에 기억되는 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터를 리얼타임으로 차례로 참조하여, 스텝 S201~S203의 처리를 반복하여 실행한다. 먼저, 연하 추정부(116a)는 호흡압 데이터로부터 무호흡 구간을 추출하고(S201), 생체음 데이터로부터 생체음 발생 구간을 추출한다(S202). 그리고 연하 추정부(116a)는 추출한 무호흡 구간과 생체음 발생 구간에 대해서, 도 3의 (a)~도 4의 (d)를 참조하여 설명한 연하의 조건이 충족되는지 여부를 판정한다(S203). 보다 상세하게는, 연하 추정부(116a)는 생체음 발생 구간에 있어서의 각 데이터가 상기 3개의 조건을 충족하고, 또한 생체음 발생 구간이 무호흡 구간에 포함되는지 여부를 판정한다.
스텝 S203의 판정이 YES인 경우, 연하 추정부(116a)는 당해 생체음 발생 구간에 연하가 이루어졌다고 추정하여, 당해 생체음 발생 구간을 연하음 발생 구간으로 설정한다(S204). 이렇게 하여, 연하가 발생한 것에 대한 추정이 이루어지면, 제1 연하 판정부(116b) 및 제2 연하 판정부(116c)에 의한 연하 판정 처리가 실행된다(S205).
스텝 S205에 있어서 제1 연하 판정부(116b) 및 제2 연하 판정부(116c)에 의한 연하 판정 처리를 실행하면, 표시 제어부(116d)는 제1 연하 판정부(116b) 및 제2 연하 판정부(116c)의 판정 결과를, 표시부(111)에 표시시킨다(S206). 그 후, 연하 진단 처리가 종료되어 있지 않으면(S207：NO), 제어부(116)는 처리를 S201로 되돌려, 후속의 각 데이터에 대해서, 마찬가지의 처리를 실행한다. 이것에 의해, 표시부(111)의 표시가 수시로 갱신된다.
＜제1 연하 판정 처리＞
도 6은 도 5의 (b)의 스텝 S205에 있어서 제1 연하 판정부(116b)에 의해서 실행되는 제1 연하 판정 처리를 나타내는 순서도이다.
제1 연하 판정부(116b)는 스텝 S204에서 설정된 연하음 발생 구간(연하가 발생한 생체음 발생 구간)의 직전과 직후의 호흡상을, 기억부(117)에 기억된 호흡압 데이터에 기초하여 취득한다(S301). 그리고 제1 연하 판정부(116b)는 연하음 발생 구간의 직전이 흡식상(吸息相)인지 여부를 판정하고(S302), 또한, 이 연하음 발생 구간의 직후가 흡식상인지 여부를 판정한다(S303).
제1 연하 판정부(116b)는 S301, S302 중 어느 한 쪽에서 YES로 판정되면, 즉, 연하음 발생 구간의 전후의 호흡상 중 적어도 한쪽이 흡식상이라고 판정되면, 당해 연하음 발생 구간에 있어서 오연의 리스크가 있다고 판정한다(S304). 다른 한편, 제1 연하 판정부(116b)는 S302, S303의 양쪽에서 NO로 판정되면, 즉, 연하음 발생 구간의 전후의 호흡상의 양쪽이 호식상이라고 판정되면, 당해 연하음 발생 구간에서 오연의 리스크는 없다고 판정한다(S305).
＜제2 연하 판정 처리＞
도 7은 도 5의 (b)의 스텝 S205에 있어서 제2 연하 판정부(116c)에 의해서 실행되는 제2 연하 판정 처리를 나타내는 순서도이다.
제2 연하 판정부(116c)는 연하음 발생 구간을 포함하는 소정의 구간(이하, 「추출 구간」이라고 함)에 있어서, 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터를 추출하고, 추출한 각 데이터에 대해서, 소정의 특징 파라미터값(벡터)을 취득한다(S401). 여기서 취득되는 특징 파라미터값은, 후속의 스텝 S402에 있어서, 서포트 벡터 머신(support vector machine)(이하, 「SVM」라고 함)에 의한 기계 학습 처리에서 다루어지는 파라미터의 값이다. 예를 들어, 특징 파라미터값은, 이하와 같이 설정된다.
먼저, 추출 구간에 있어서 추출된 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터를 푸리에 변환하여, 주파수 스펙트럼을 취득한다. 다음에, 취득한 주파수 스펙트럼에 선형 예측 분석(LPC)을 적용하여 스펙트럼 포락을 구한다. 그리고 구한 스펙트럼 포락을 소정 주파수 간격으로 샘플링하여, 이들 샘플값 그룹으로 이루어지는 벡터를, 상기 특징 파라미터값(특징량)으로서 취득한다.
도 8은 제2 연하 판정 처리에 있어서의 각종 데이터의 추출 구간의 설정 방법을 나타내는 도면이다.
도 8에 나타내는 것처럼, 추출 구간은 생체음 발생 구간(연하음 발생 구간)을 포함하도록 설정된다. 여기에서는, 후두 변위 데이터에 기초하여, 추출 구간이 설정된다. 즉, 생체음 발생 구간에 있어서 후두 변위가 최대 피크가 되는 위치를 중심으로, 전후 2초의 범위의 구간이 추출 구간으로 설정된다.
덧붙여, 여기에서는, 추출 구간이 4초로 설정되었지만, 추출 구간의 시간 길이는 이것으로 한정되는 것은 아니다. 일반적으로, 연하에 필요로 하는 기간은 2초 정도라고 한다. 따라서, 연하에 기초하는 특징량을 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터에 대해 취득하기 위해서는, 추출 구간을 생체음 발생 구간을 포함하고, 또한 2초 이상의 시간 길이가 되도록 설정하면 된다. 예를 들어, 생체음 발생 구간에 있어서 후두 변위가 최대 피크가 되는 위치를 중심으로, 전후 1.5초의 범위의 구간을 추출 구간으로 설정해도 된다. 혹은, 생체음 발생 구간의 개시 타이밍부터 2초 정도인 구간을 추출 구간으로 설정해도 되고, 생체음 발생 구간의 개시 타이밍보다도 약간 전인 타이밍부터 3초 정도인 구간을 추출 구간으로 설정해도 된다.
도 7로 돌아가, 스텝 S401에 있어서 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터로부터 특징 파라미터값을 취득하면, 제2 연하 판정부(116c)는 취득한 특징 파라미터값(벡터)에 기초하여 SVM에 의한 기계 학습 처리를 실행하여, 당해 특징 파라미터값이, 연하 장해의 양성 및 음성 중 어느 영역에 속하는지를 판정한다(S402).
도 2의 기억부(117)에는, SVM에 의한 기계 학습 처리에 이용하는 교사 데이터 그룹(연하 장해 양성의 샘플 데이터 그룹 및 연하 장해 음성의 샘플 데이터 그룹)이 기억되어 있다. 제2 연하 판정부(116c)는 기억부(117)에 기억된 교사 데이터 그룹에 기초하여, SVM에 있어서 연하 장해의 양성과 음성을 구분하는 경계를 설정한다. 혹은, 교사 데이터 그룹을 대신하여, SVM에 있어서 연하 장해의 양성과 음성을 구분하는 경계를 규정하는 데이터가 기억부(117)에 기억되어 있어도 된다.
당해 특징 파라미터값이 양성의 영역에 속하는 경우(S402：양성), 제2 연하 판정부(116c)는 연하 장해의 가능성이 있다고 판정한다(S403). 또, 당해 특징 파라미터값이 음성의 영역에 속하는 경우(S402：음성), 제2 연하 판정부(116c)는 연하 장해의 가능성이 없다고 판정한다(S404). 또한, 제2 연하 판정부(116c)는 당해 특징 파라미터값에 대해서, 연하 장해도(양성, 음성의 정도)를 취득한다(S405).
여기서, 연하 장해도는 SVM에 있어서의 양성 영역과 음성 영역의 경계에 대해서, 당해 특징 파라미터값이 어느 정도 떨어져 있는지에 의해서 구해진다. 즉, 특징 파라미터값이 음성의 영역에 포함되는 경우, 특징 파라미터값의 위치와 경계 사이의 거리가 클수록 음성의 정도가 높아진다. 또, 특징 파라미터값이 양성의 영역에 포함되는 경우, 특징 파라미터값의 위치와 경계 사이의 거리가 클수록 양성의 정도가 높아진다.
본건 출원의 발명자 등은 제2 연하 판정부(116c)에서 취득하는 특징 파라미터값에 대해 다양한 검토를 행하고, 연하 장해의 판정에 이용하기에 바람직한 파라미터값이 무엇인지에 대해서 열심히 탐구했다. 이하, 이 검토에 있어서의 검증 결과에 대해 설명한다.
＜검증 1＞
검증 1에서는, 연하 장해의 판정 정밀도와 특징 파라미터의 관계에 대하여 검토를 행했다. 여기에서는, 특징 파라미터로서, LPC 스펙트럼과, LPC 계수를 검토하고, 비교 대상으로서, MFCC(멜 주파수 캡스트럼(cepstrum) 계수)를 검토했다.
먼저, 도 9의 (a), (b)를 참조하여, LPC 스펙트럼에 의한 특징 파라미터값의 취득 방법과, LPC 계수에 의한 특징 파라미터값의 취득 방법에 대해 설명한다.
도 9의 (a), (b)에는, 편의상, 소정의 음성에 기초하는 파형 데이터를 푸리에 변환했을 때의 주파수 스펙트럼과, 이 주파수 스펙트럼에 선형 예측 분석(LPC)을 적용했을 때의 스펙트럼 포락이 나타내져 있다. 도 9의 (a), (b)에는, 각각, 선형 예측 분석의 연산식의 최대 차수를 8차, 16차로 했을 때의 스펙트럼 포락이 나타내져 있다.
LPC 스펙트럼에 의한 파라미터값의 취득에 있어서는, 먼저, 취득 대상이 되는 파형 데이터에 푸리에 변환을 적용하여, 당해 파형 데이터에 대한 주파수 스펙트럼이 취득된다. 다음에, 취득한 주파수 스펙트럼에 선형 예측 분석(LPC)을 적용하여 스펙트럼 포락이 구해지고, 구한 스펙트럼 포락을 소정 주파수 간격으로 샘플링하여 샘플값이 취득된다. 예를 들어, 도 9의 (a), (b)에 나타내는 스펙트럼 포락이 가로축 10Hz 주기로 샘플링되어, 각 샘플링에 있어서의 스펙트럼 포락의 파워값이 취득된다. 이렇게 하여 얻어진 일련의 파워값의 그룹이, LPC 스펙트럼에 의한 파라미터값(벡터)으로서 취득된다.
도 9의 (a), (b)에서는, 선형 예측 분석에 있어서의 연산식의 차수가 상이하기 때문에, 얻어진 스펙트럼 포락의 파형이 서로 다르다. 이 때문에, 도 9의 (a), (b)에서는, LPC 스펙트럼에 의해 얻어지는 파라미터값(벡터)은, 서로 다르게 된다. 연산식의 차수가 높을 수록, 보다 촘촘하게 주파수 스펙트럼에 따른 스펙트럼 포락이 얻어지기 때문에, 주파수 스펙트럼에 의해 적합한 특징 파라미터값이 얻어지기 쉽다. 그 반면, 연산식의 차수가 과도하게 높으면, 스펙트럼 포락에 노이즈의 영향이 나타나기 쉬워지기 때문에, 특징 파라미터값에도 노이즈의 영향이 나타나기 쉬워진다. 따라서, LPC 스펙트럼에 의한 특징 파라미터에 있어서는, 연산식의 차수를 어느 정도로 설정하는지가 중요하다.
또, 상술한 선형 예측 분석에서는, 연산식의 각 차수의 계수가 조정되어 스펙트럼 포락이 얻어진다. 따라서, 주파수 스펙트럼이 상이하면, 연산식의 각 차수의 계수도 상이하고, 또 연산식의 차수가 상이하면 각 차수의 계수도 상이하다. 상기 LPC 계수에 의한 특징 파라미터에 대해서는, 주파수 스펙트럼에 선형 예측 분석을 적용했을 때의, 연산식에 있어서의 각 차수의 계수 그룹이, 특징 파라미터값(벡터)으로서 취득된다.
검증 1에서는, 추출 구간에 있어서 추출한 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터를 푸리에 변환한 주파수 스펙트럼에 대해서, LPC 스펙트럼, LPC 계수 및 MFCC에 의해 특징 파라미터값(벡터)을 취득했다. 덧붙여, 여기에서는, 추출 구간을, 도 8에 나타내는 추출 구간(4초)이 아니라, 생체음 발생 구간의 개시부터 2초간으로 했다.
LPC 스펙트럼과 LPC 계수에서는, 모두, 연산식의 최대 차수를 8, 16, 32로 했을 때의 파라미터값을 취득하고, 각 차수의 파라미터값에 대해서, SVM에 의한 기계 학습 처리에 의해, 연하 장해의 양성/음성을 평가했다. 또, SVM의 커널(kernel)은 RBF(Radial Basis Function)를 이용했다.
정상인으로부터 취득한 114의 샘플 데이터(호흡압 데이터, 생체음 데이터, 후두 변위 데이터)와, 환자로부터 취득한 64의 샘플 데이터(호흡압 데이터, 생체음 데이터, 후두 변위 데이터)의 합계 178의 샘플 데이터에 대해서, 교차 검정(10-fold cross validation)에 의한 검증을 행했다.
도 10의 (a)~(c)는 각각, 검증 1에 있어서, 특징 파라미터로서 LPC 스펙트럼을 이용했을 경우의 검증 결과를 나타내는 도면이다. 도 11의 (a)~(c)는 각각, 검증 1에 있어서, 특징 파라미터로서 LPC 차수의 계수를 이용했을 경우의 검증 결과를 나타내는 도면이다. 도 12의 (a)~(c)는 각각, 검증 1에 있어서, 특징 파라미터로서 MFCC를 이용했을 경우의 검증 결과를 나타내는 도면이다.
도 13의 (a)~(c)는 각각, 검증 1의 검증 결과를 데이터의 종류(후두 변위, 호흡압, 연하음)마다 정리한 도면이다. 도 13의 (a)~(c)에 있어서, 정상인 판정 정밀도는 정상인의 샘플을 연하 장해 음성으로서 판정한 판정 정밀도이고, 환자 판정 정밀도는 환자의 샘플을 연하 장해 양성으로서 판정한 판정 정밀도이다.
덧붙여, 도 10의 (a)~도 11의 (c) 및 도 13의 (a)~(c)에는, 연산식의 차수가 8, 16, 32인 경우에 각각 LPC 스펙트럼 및 LPC 계수를 이용하여 얻어진 판정 결과 중, 판정 정밀도가 가장 높은 판정 결과가 나타내져 있다.
도 10의 (a)~도 13의 (c)를 참조하면, 특징 파라미터로서 LPC 스펙트럼 및 LPC 계수를 이용하면, MFCC의 경우에 비해, 후두 변위 데이터, 호흡압 데이터 및 생체음 데이터의 어느 것을 이용했을 경우도, 정상인의 판정 정밀도와 환자의 판정 정밀도가 높아져 있다. 특히, 특징 파라미터로서 LPC 스펙트럼을 이용했을 경우는, 다른 특징 파라미터에 비해, 정상인의 판정 정밀도와 환자의 판정 정밀도가 높아지는 경향을 볼 수 있다. 따라서, 연하 장해 판정을 위한 특징 파라미터로서, LPC 스펙트럼 및 LPC 계수가 유효하며, 특히, LPC 스펙트럼이 유효하다고 할 수 있다.
＜검증 2＞
검증 2에서는, 특징 파라미터의 값(벡터)을, 비시계열로 취득한 경우와, 시계열로 취득한 경우에서, 연하 장해의 판정 정밀도가 어떻게 상이한지를 검증했다. 덧붙여, 도 9의 (a), (b)를 참조하여 설명한 특징 파라미터의 취득 방법은, 비시계열에 의한 취득 방법이다.
시계열에 의한 취득 방법에서는, 도 9의 (a), (b)에 나타내는 주파수 스펙트럼이 복수의 주파수 대역으로 분할되고, 주파수 대역마다, 선형 예측 분석이 적용된다. 예를 들어, 도 9의 (a), (b)의 경우, 0~23000Hz 정도의 주파수 영역에서 펼쳐진 주파수 스펙트럼이, 가로축 100Hz 마다 23개 정도의 주파수 대역으로 분할되고, 각 주파수 대역에 개별로 선형 예측 분석이 적용되어 스펙트럼 포락이 취득된다. 이렇게 하여 취득된 스펙트럼 포락이, 상기와 마찬가지로, 소정 주파수 간격으로 샘플링되어, LPC 스펙트럼에 의한 특징 파라미터값(벡터)이 취득된다.
시계열에 의한 취득 방법에서는, 분할 후의 주파수 대역마다 선형 예측 분석이 적용되어 스펙트럼 포락이 취득되기 때문에, 취득된 스펙트럼 포락이, 비시계열에 의한 취득 방법의 경우와 상이하다. 따라서, 시계열에 의한 취득 방법으로 취득된 LPC 스펙트럼의 특징량(벡터)은, 비시계열에 의한 취득 방법으로 취득된 LPC 스펙트럼의 특징량(벡터)과 상이하게 된다.
검증 2에서는, 추출 구간에 있어서 추출한 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터를 푸리에 변환한 주파수 스펙트럼에 대해서, 시계열 및 비시계열에 의한 LPC 스펙트럼에 의해, 특징 파라미터값(벡터)을 취득했다. 덧붙여, 여기에서도, 추출 구간을, 도 8에 나타내는 추출 구간(4초)이 아니라, 생체음 발생 구간의 개시부터 2초간으로 했다.
LPC 스펙트럼에 있어서의 연산식의 최대 차수를 8, 16, 32로 했을 때의 파라미터값을, 비시계열법 및 시계열법에 의해 각각 취득하고, 각 차수의 파라미터값에 대해서, SVM에 의한 기계 학습 처리에 의해, 연하 장해의 양성/음성을 평가했다. SVM의 커널은 RBF(Radial Basis Function)를 이용했다. 정상인으로부터 취득한 556의 샘플 데이터(호흡압 데이터, 생체음 데이터, 후두 변위 데이터)와, 환자로부터 취득한 212의 샘플 데이터(호흡압 데이터, 생체음 데이터, 후두 변위 데이터)의 합계 768의 샘플 데이터에 대해서, 교차 검정(10-fold cross validation)에 의한 검증을 행했다.
도 14는 비시계열에 의한 LPC 스펙트럼에 의해 특징 파라미터값을 취득한 경우의 검증 결과를 수치로 나타내는 도면이다. 도 15는 시계열에 의한 LPC 스펙트럼에 의해 특징 파라미터값을 취득한 경우의 검증 결과를 수치로 나타내는 도면이다. 도 14, 15에 있어서, LPC 차수는 선형 예측 분석의 연산식의 최대 차수를 나타내고 있다. 또, 도 14, 15에 있어서, 정상인 판정 정밀도는 정상인의 샘플을 연하 장해 음성으로서 판정한 판정 정밀도이고, 환자 판정 정밀도는, 환자의 샘플을 연하 장해 양성으로서 판정한 판정 정밀도이다.
도 14 및 도 15를 참조하면, 시계열에 의한 LPC 스펙트럼에 의해 특징 파라미터값을 취득한 경우는, 비시계열에 의한 LPC 스펙트럼에 의해 특징 파라미터값을 취득한 경우에 비해, 환자 판정 정밀도가 현저하게 높아져 있다. 또, 시계열에 의한 경우는, 비시계열에 의한 경우에 비해, LPC 차수가 32인 경우의 판정 정밀도가, 높아져 있다. 이것으로부터, 연하 장해 판정을 위한 특징 파라미터를 LPC 스펙트럼으로 하는 경우는, 시계열에 의한 취득 방법에 의해 특징 파라미터값을 취득하는 것이 유효하다고 할 수 있다.
＜검증 2－2＞
다음에, 상기 검증 2에 있어서 가장 연하 장해의 판정 정밀도가 높았던 파라미터를 이용하여 학습한 SVM에 의해, 정상인으로부터 취득한 637의 샘플 데이터(생체음 데이터)와, 환자로부터 취득한 5의 샘플 데이터(생체음 데이터)에 대해서, 상기 검증 2와 마찬가지의 방법에 의해, 연하 장해의 판정을 행했다. 검증 2－2에서는, 샘플마다 샘플 제공자의 연령이 설정되었다.
도 16은 검증 2－2에 있어서, 정상인 데이터에 대해서 비시계열에 의한 LPC 스펙트럼에 의해 특징 파라미터값을 취득한 경우의 검증 결과를 나타내는 그래프이다. 도 17은 검증 2－2에 있어서, 환자 데이터에 대해서 비시계열에 의한 LPC 스펙트럼에 의해 특징 파라미터값을 취득한 경우의 검증 결과를 나타내는 그래프이다.
도 18은 검증 2－2에 있어서, 정상인 데이터에 대해서 시계열에 의한 LPC 스펙트럼에 의해 특징 파라미터값을 취득한 경우의 검증 결과를 나타내는 그래프이다. 도 19는 검증 2－2에 있어서, 환자 데이터에 대해서 시계열에 의한 LPC 스펙트럼에 의해 특징 파라미터값을 취득한 경우의 검증 결과를 나타내는 그래프이다.
도 16~도 18에 있어서, 가로축은 SVM의 값이고, 세로축은 연령이다. 도 16~도 18에는, 각 샘플에 대해서 구한 SVM의 값이, 샘플마다 플롯되어 있다. SVM의 값이 양인 경우, 그 샘플은 정상인 판정(연하 장해：음성)이 되고, SVM의 값이 음인 경우, 그 샘플은 환자 판정(연하 장해：양성)이 된다.
도 16, 17(비시계열)과 도 18, 19(시계열)를 비교하면, 정상인에 대한 판정 정밀도는, 시계열에 의한 특징 파라미터의 취득 방법의 쪽이, 비시계열의 경우보다도, 약간 높아져 있는 것을 확인할 수 있다. 환자에 대한 판정 정밀도는, 시계열의 경우와 비시계열의 경우의 양쪽에 있어서, 100%이다.
또, 시계열에 의한 특징 파라미터의 취득 방법이, 비시계열의 경우보다도, 가로축 방향에 있어서의 SVM값의 분산이 억제되어 있는 것을 알 수 있다. 또한, 정상인 데이터에 대한 판정에 있어서는, 시계열에 의한 특징 파라미터의 취득 방법의 쪽이, 비시계열의 경우보다도, SVM값의 플롯 그룹이, 음성과 양성의 경계선(SVM값=0인 선)으로부터 양방향(보다 음성의 방향)으로 떨어져 있다. 이것으로부터, 시계열에 의한 특징 파라미터의 취득 방법의 쪽이, 비시계열의 경우보다도, 연하 장해의 판정 정밀도가 높아지고, 또한 연하 장해의 정도를 보다 정밀도 좋게 취득할 수 있다고 할 수 있다.
도 20의 (a)는 검증 2의 검증 결과를 표로 정리한 도면이다. 도 20의 (a)에는, 도 14에 나타낸 비시계열에 의한 판정 결과에 있어서, 정밀도가 가장 높은 판정 결과(LPC 차수=16, 데이터 타입=생체음 데이터)와, 도 15에 나타낸 시계열에 의한 판정 결과에 있어서, 정밀도가 가장 높은 판정 결과(LPC 차수=32, 데이터 타입=생체음 데이터)가 각각 나타내져 있다.
도 20의 (a)의 정리와 함께, 도 14~도 19의 판정 결과를 참조하면, 시계열에 의한 취득 방법에 의해 LPC 스펙트럼을 취득한 경우가, 비시계열에 의한 취득 방법에 의해 LPC 스펙트럼을 취득한 경우에 비해, 연하 장해의 판정 정밀도가 높아지는 것을 알 수 있다. 이 때문에, 특징 파라미터값의 취득에는, 시계열에 의한 취득 방법을 이용하는 것이 바람직하다고 할 수 있다.
또, 도 14 및 도 15를 참조하면, 연하 장해의 판정 정밀도에 기여하는 데이터의 종류는, 연하음 데이터가 가장 높고, 다음에, 호흡압 데이터가 높은 경향에 있다. 이 때문에, 특징 파라미터값의 취득에는, 연하음 데이터를 최우선하는 것이 바람직하고, 다음에, 호흡압 데이터를 우선하는 것이 바람직하다고 할 수 있다.
덧붙여, 검증 2에서는, LPC 스펙트럼에 의해 특징 파라미터를 취득하는 경우에, 비시계열에 의한 취득 방법과 시계열에 의한 취득 방법의 판정 정밀도의 상위에 대해서 검증을 행했지만, LPC 계수에 의해 특징 파라미터를 취득하는 경우도, 상기와 마찬가지의 경향이 얻어지는 것으로 상정될 수 있다. LPC 계수에 의해 특징 파라미터를 취득하는 경우도, 비시계열에 의한 취득 방법보다도 시계열에 의한 취득 방법의 쪽이, 연하 장해의 판정 정밀도가 높아지는 것으로 상정될 수 있다.
＜검증 3＞
검증 3에서는, 호흡압 데이터와, 생체음 데이터와, 후두 변위 데이터에 대해서 각각 취득한 특징 파라미터값(벡터)을 조합하여 1개의 특징 파라미터값(벡터)을 취득하고, 조합 후의 특징 파라미터값에 SVM에 의한 기계 학습 처리를 실행했을 경우에, 연하 장해의 판정 정밀도가 어떻게 변화하는지를 검증했다.
각 데이터에 대한 특징 파라미터값의 취득은, 시계열에 의한 LPC 스펙트럼에 의해서 행했다. 여기에서도, 추출 구간을, 도 8에 나타내는 추출 구간(4초)이 아니라, 생체음 발생 구간의 개시부터 2초간으로 했다.
LPC 스펙트럼에 있어서의 연산식의 최대 차수를 8, 16, 32로 했을 때의 파라미터값을, 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터에 대해서 시계열법에 의해 취득하고, 취득한 각 데이터의 파라미터값을 차수마다 조합하여 1개의 특징 파라미터값으로서 취득했다. 그리고 각 차수의 특징 파라미터값에 대해서, SVM에 의한 기계 학습 처리에 의해, 연하 장해의 양성/음성을 평가했다. SVM의 커널은 RBF(Radial Basis Function)로 했다. 샘플 데이터는 정상인으로부터 취득한 556의 샘플 데이터(호흡압 데이터, 생체음 데이터, 후두 변위 데이터)와, 환자로부터 취득한 212의 샘플 데이터(호흡압 데이터, 생체음 데이터, 후두 변위 데이터)의 합계 768의 샘플 데이터를 이용했다. 검증은 교차 검정(10-fold cross validation)에 의해 행했다.
도 20의 (b)는 검증 3의 검증 결과를 나타내는 도면이다.
도 20의 (b)에 나타내는 검증 결과와, 도 20의 (a)의 검증 결과를 비교하면, 3개의 데이터로부터 취득한 특징 파라미터값을 조합하여 SVM에 의한 기계 학습 처리를 행한 쪽이, 생체음 데이터만으로부터 취득한 특징 파라미터값로 SVM에 의한 기계 학습 처리를 행했을 경우에 비해, 연하 장해의 판정 정밀도가 높아져 있다. 특히, LPC 차수를 32로 했을 경우는, 3개의 데이터를 조합한 쪽이 생체음 데이터만인 경우에 비해, 연하 장해의 판정 정밀도가 현저하게 높아져 있다. 이것으로부터, 연하 장해의 판정에 있어서는, 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터로부터 취득한 특징 파라미터값을 조합하여 SVM에 의한 기계 학습 처리를 행하는 쪽이 바람직하다고 할 수 있다.
＜검증 3－2＞
상기 검증 3에 있어서 가장 연하 장해의 판정 정밀도가 높았던 파라미터를 이용하여 학습한 SVM에 의해, 정상인으로부터 취득한 637의 샘플 데이터와, 환자로부터 취득한 5의 샘플 데이터에 대해서, 상기 검증 3과 마찬가지의 방법에 의해, 연하 장해의 판정을 행했다. 검증 3－2에서는, 샘플마다 샘플 제공자의 연령이 설정되었다.
도 21은 검증 3－2에 있어서, 정상인 데이터에 대해서 연하 장해의 판정을 행했을 경우의 판정 결과를 나타내는 그래프이다. 도 22는 검증 3－2에 있어서, 환자 데이터에 대해서 연하 장해의 판정을 행했을 경우의 검증 결과를 나타내는 그래프이다. 도 16~도 18과 마찬가지로, 도 21, 22에 있어서, 가로축은 SVM의 값이고, 세로축은 연령이다.
도 21과 도 18을 비교하면, 3종의 특징 파라미터값을 조합한 쪽이, 1종의 특징 파라미터값만인 경우보다도, 가로축 방향에 있어서의 SVM값의 분산이 억제되어, 연령층에 의한 평가의 편차가 억제되어 있는 것을 알 수 있다. 이것으로부터, 3종의 특징 파라미터값을 조합한 쪽이, 1종의 특징 파라미터값만인 경우보다도, 연령층에 의한 연하 장해의 판정의 편차를 억제할 수 있고, 또한 연하 장해의 정도를 보다 정밀도 좋게 취득할 수 있다고 할 수 있다.
이상의 검증에 기초하여, 도 7의 스텝 S401에서는, 3종의 특징 파라미터를 조합한 특징 파라미터가 취득되고, 스텝 S402에서는, 조합 후의 특징 파라미터를 이용한 SVM 판정이 행해진다. 즉, 스텝 S401에 있어서, 제2 연하 판정부(116c)는 상기 검증 3에 나타낸 특징 파라미터값, 즉, 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터로부터 각각 취득한 시계열의 LPC 스펙트럼에 의한 파라미터값의 조합을, 특징 파라미터값으로서 취득한다. 그리고 스텝 S402에 있어서, 제2 연하 판정부(116c)는 취득한 특징 파라미터값에 기초하여, SVM에 의한 기계 학습 처리에 의해, 연하 장해의 유무를 판정하고, 판정 결과에 따라서, 스텝 S403 또는 스텝 S404에 있어서, 연하 장해의 가능성의 유무를 결정한다.
또, 스텝 S405에 있어서, 제2 연하 판정부(116c)는, SVM에 있어서 연하 장해의 양성 영역과 음성 영역의 경계에 대한 특징 파라미터값의 거리에 기초하여, 연하 장해도를 취득한다. 이 거리는, 예를 들어, 도 21, 22에 있어서의 플롯과, SVM의 값이 제로인 축 사이의 거리에 상당한다.
＜진단 결과 화면＞
도 23의 (a)는, 도 5의 (b)의 스텝 S206에 있어서 표시되는 진단 결과의 표시 화면의 구성을 나타내는 도면이다. 도 23의 (b)~(e)는, 각각, 제1 판정 결과의 표시 형태를 나타내는 도면이다.
도 23의 (a)에 나타내는 것처럼, 진단 결과의 표시 화면(200)은 연하 추정 마크(201)와, 기침 검출 마크(202)와, 제1 판정 결과 영역(203)과, 제2 판정 결과 영역(204)을 포함하고 있다.
연하 추정 마크(201)는, 도 5의 (b)의 스텝 S204에 있어서 연하 있음으로 추정되었을 경우에, 주위가 소정의 색(예를 들어, 청색)으로 점등된다. 기침 검출 마크(202)는, 도 5의 (b)의 스텝 S204에 있어서 연하 있음으로 추정되었을 경우에, 오연에 의한 숨 막힘(choking)이 생기면, 중앙 부분이 처리의 색(예를 들어, 오렌지색)으로 점등된다. 여기서, 숨 막힘은 호흡압 데이터에 기초하여, 제어부(116)가 검출한다.
제1 판정 결과 영역(203)에는, 제1 연하 판정부(116b)에 의한 판정 결과가 표시된다. 구체적으로는, 도 6의 스텝 S301에 있어서 취득된 연하음 발생 구간의 전후의 호흡상이, 연하에 대한 천이를 나타내는 화살표와 함께 표시된다. 또, 도 6의 스텝 S304, S305에 있어서의 오연 리스크의 판정 결과에 따라서, 제1 판정 결과 영역(203)의 배경색이 설정된다. 구체적으로는, 오연의 리스크가 없는 경우는, 도 23의 (b)에 나타내는 것처럼, 제1 판정 결과 영역(203)의 배경색이 제1 색(예를 들어, 녹색)으로 설정된다. 또, 오연의 리스크가 있는 경우는, 도 23의 (c)~(e)에 나타내는 것처럼, 제1 판정 결과 영역(203)의 배경색이 제2 색(예를 들어, 적색)으로 설정된다.
의사 등의 사용자는, 제1 판정 결과 영역(203)의 표기 및 배경색에 의해, 오연의 리스크의 가능성과 호흡상의 추이를 적확하게 파악할 수 있다.
제2 판정 결과 영역(204)에는, 제2 연하 판정부(116c)에 의한 판정 결과가 표시된다. 제2 판정 결과 영역(204)에는, 가로 방향으로 늘어서는 10의 커서와, 연하 장해도의 경중을 나타내는 표기 및 화살표가 나타내져 있다. 각 커서는 왼쪽으로 진행할수록 농담이 진해지도록 설정되어 있다. 도 7의 순서도에 있어서, 연하 장해의 가능성 없음으로 판정되었을 경우, 제2 판정 결과 영역(204)의 오른쪽 5개의 커서가, 연하 장해도에 따라 점등되고, 연하 장해의 가능성 있음으로 판정되었을 경우는, 왼? 5개의 커서가 연하 장해도에 따라 점등된다.
예를 들어, 연하 장해도의 극성을, 양성이 양, 음성이 음이도록 설정하면, 연하 장해도가 -3인 경우, 제2 판정 결과 영역(204)의 중앙부터 오른쪽 3개의 커서가 점등되고, 연하 장해도가 ＋4인 경우, 제2 판정 결과 영역(204)의 중앙부터 왼? 4개의 커서가 점등된다. 여기서, 연하 장해도의 레벨은, 상기와 같이, SVM에 있어서, 연하 장해의 양성과 음성을 구분하는 경계와 특징 파라미터의 거리에 의해서 결정된다.
의사 등의 사용자는 제2 판정 결과 영역(204)의 표기 및 커서의 상태에 의해, 연하 장해의 가능성을 적확하게 파악할 수 있다.
＜교사 데이터 갱신 시스템＞
상기 실시 형태에서는, SVM에 의한 기계 학습 처리에 의해서 연하 장해의 가능성이 판정된다. 이 경우, 양질의 교사 데이터를 보다 많이 이용함으로써, 양성과 음성의 경계를 미세하게 설정할 수 있어, 연하 장해의 판정 정밀도를 높일 수 있다.
도 24는 연하 진단 장치(100)에 있어서 제2 연하 판정부(116c)가 이용하는 교사 데이터를 갱신하기 위한 시스템 구성을 모식적으로 나타내는 도면이다.
이 시스템에서는, 병원 등의 의료 시설에 설치된 호스트 컴퓨터(300)에, 환자에 대한 진단시에 각 연하 진단 장치(100)에서 취득된 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터(연하음 발생 구간을 포함하는 추출 구간에 있어서 추출된 것)가 집약된다. 의사 등의 사용자는, 당해 환자에 대한 연하 장해의 진단 결과를, 이들 데이터에 대응지어, 호스트 컴퓨터(300)에 입력한다. 호스트 컴퓨터(300)는 집약한 데이터를 진단 결과와 함께, 외부 네트워크(500)를 통해서, 관리 시설의 서버(400)에 송신한다.
관리 시설에서는, 서버(400)가 수신한 데이터를, 작업자가, 진단 결과에 기초하여, 연하 장해 양성의 교사 데이터와, 연하 장해 음성의 교사 데이터와, 무효 데이터로 분류한다. 그리고 작업자는, 분류한 양성 및 음성의 데이터를, 서버(400) 내의 데이터 베이스에 축적한다. 서버(400)는 정기적으로, 데이터 베이스에 축적된 교사 데이터를, 의료 시설측의 호스트 컴퓨터(300)에 송신한다. 호스트 컴퓨터(300)는 수신한 교사 데이터를 각 연하 진단 장치(100)에 제공한다. 이렇게 하여, 각 연하 진단 장치(100)에 기억된 교사 데이터가 갱신된다. 이것에 의해, 제2 연하 판정부(116c)에 의한 연하 장해의 판정 정밀도가 높아진다.
＜실시 형태의 효과＞
본 실시 형태에 따른 연하 진단 장치(100)에 의하면, 개인의 특성(버릇 등)이 연령이나 질병에 의해 수식된 결과로서 발생할 수 있는 오연의 리스크가 제1 연하 판정부(116b)에 의해 판정되고, 또, 제2 연하 판정부(116c)에 의해서 연하 장해의 가능성이 판정된다. 그리고 이들 판정 결과가, 표시부(111)에 표시되어, 의사 등의 사용자에게 제시된다. 이것에 의해, 의사 등의 사용자는, 이들 판정 결과를 참조함으로써, 환자에 있어서의 오연의 리스크를 다면적이면서 또한 종합적으로 판단할 수 있어, 보다 적절히, 환자에 있어서의 오연의 리스크를 진단할 수 있다.
제1 연하 판정부(116b)에 의한 판정은, 상기와 같이, 개인의 특성(버릇 등)이 연령이나 질병에 의해 수식된 결과로 생기는 것이지만, 파킨슨병에서는 오연 리스크 인자이고, 또, 최근의 발명자 등의 연구에서는, COPD(만성 폐색성 폐질환) 악화가 두드러진 관련 인자인 것이 밝혀져 있다. 따라서, 제2 연하 판정부(116c)에 있어서 연하 장해의 가능성이 있다는 판정이 이루어지지 않는 경우에도, 제1 연하 판정부(116b)에 있어서 오연 리스크 있음으로 판정되었을 경우는, 당해 환자의 상태에 따라서 대책을 강구할 필요가 있다.
반대로, 제1 연하 판정부(116b)에 있어서의 판정은 개인의 특성이 근저에 있기 때문에, 제1 연하 판정부(116b)에 있어서 오연 리스크 없음으로 판정되었다고 하더라도, 제2 연하 판정부(116c)에 있어서 연하 장해의 가능성 있음으로 되는 케이스도 당연히 나온다. 그 경우도, 당해 환자의 상태에 따라서 대책을 강구할 필요가 있다.
이와 같이, 제1 연하 판정부(116b)에 있어서의 판정 결과와, 제2 연하 판정부(116c)에 있어서의 판정 결과는, 양쪽 모두 독립하여 연하 상태의 판정에 의의가 있고, 또한 상보적으로 작용하는 것이다. 이 때문에, 의사 등의 사용자는, 이들 판정 결과를, 도 23의 (a)에 나타내는 표시 화면(200)에 있어서, 순서대로 동시에 참조함으로써, 환자에 있어서의 오연의 리스크를 다면적이면서 또한 종합적으로 판단할 수 있어, 보다 적절히, 환자에게 대책을 강구할 수 있다.
또, 본 실시 형태에 따른 연하 진단 장치(100)에 의하면, 연하 추정을 위해서 취득한 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터를 이용하여, 제1 연하 판정부(116b)에 있어서의 판정과 제2 연하 판정부(116c)에 있어서의 판정이 행해지기 때문에, 이들 판정에 있어서 환자로부터 별도 데이터를 취득하지 않아도 된다. 따라서, 연하 진단 장치(100)의 구성을 간소하게 할 수 있고, 또, 이들 판정에 있어서의 처리 부하를 경감시킬 수 있다.
또, 본 실시 형태에 따른 연하 진단 장치(100)에 의하면, 생체음 데이터에 기초하는 LPC 스펙트럼을 특징 파라미터로서 포함하고 있기 때문에, 상기 검증 2에서 나타낸 것처럼, 제2 연하 판정부(116c)에 있어서의 연하 장해의 가능성의 판정 정밀도를 높일 수 있다.
또, 본 실시 형태에 따른 연하 진단 장치(100)에 의하면, 생체음 데이터와 함께 호흡압 데이터에 기초하는 LPC 스펙트럼을 특징 파라미터로서 포함하고 있기 때문에, 상기 검증 2에서 나타낸 것처럼, 제2 연하 판정부(116c)에 있어서의 연하 장해의 가능성의 판정 정밀도를 더욱 높일 수 있다.
또, 본 실시 형태에 따른 연하 진단 장치(100)에 의하면, 생체음 데이터, 호흡압 데이터 및 후두 변위 데이터에 기초하는 LPC 스펙트럼의 조합을 특징 파라미터로서 이용하기 때문에, 상기 검증 3에서 나타낸 것처럼, 제2 연하 판정부(116c)에 있어서의 연하 장해의 가능성의 판정 정밀도를 보다 한층 높일 수 있다.
또, 본 실시 형태에 따른 연하 진단 장치(100)에 의하면, LPC 스펙트럼을 특징 파라미터로서 이용하기 때문에, 상기 검증 1에서 나타낸 것처럼, 제2 연하 판정부(116c)에 있어서의 연하 장해의 가능성의 판정 정밀도를 높일 수 있다.
또, 본 실시 형태에 따른 연하 진단 장치(100)에 의하면, 시계열에 의한 LPC 스펙트럼을 특징 파라미터로서 이용하기 때문에, 상기 검증 2에서 나타낸 것처럼, 제2 연하 판정부(116c)에 있어서의 연하 장해의 가능성의 판정 정밀도를 더욱 높일 수 있다.
덧붙여, 상기 검증 1에서 나타낸 것처럼, LPC 스펙트럼을 대신하여 LPC 계수를 특징 파라미터로서 이용하는 경우도, 제2 연하 판정부(116c)에 있어서의 연하 장해의 가능성의 판정 정밀도를 높일 수 있다.
＜변경예＞
상기 실시 형태에서는, 단말 장치(110)에 있어서, 제1 연하 판정부(116b)에 있어서의 판정과 제2 연하 판정부(116c)에 있어서의 판정이 실행되었지만, 예를 들어, 도 25에 나타내는 것처럼, 단말 장치(110)에 태블릿 컴퓨터 등의 외부 컴퓨터(140)를 접속하고, 외부 컴퓨터(140)에 있어서, 제1 연하 판정부(116b)에 있어서의 판정과 제2 연하 판정부(116c)에 있어서의 판정이 이루어져도 된다.
이 경우, 단말 장치(110)는 환자로부터 취득한 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터에 기초하여 연하 추정 처리를 실행하여, 연하가 이루어졌다고 추정했을 경우에, 연하음 발생 구간을 포함하는 추출 구간에 있어서 추출한 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터를, 외부 컴퓨터(140)에 송신한다. 외부 컴퓨터(140)는 수신한 데이터에 기초하여, 제1 연하 판정부(116b)에 있어서의 판정과 제2 연하 판정부(116c)에 있어서의 판정을 실행하고, 그 판정 결과를, 자신의 표시부(140a)에 표시한다.
이 변경예에 의해서도, 상기 실시 형태와 마찬가지의 효과가 달성될 수 있다. 이 변경예에서는, 단말 장치(110)와, 비강 카눌라(120)와, 검출부(130)와, 외부 컴퓨터(140)에 의해서, 연하 진단 장치(100)가 구성된다.
덧붙여, 제1 연하 판정부(116b) 및 제2 연하 판정부(116c)의 기능과 함께, 연하 추정부(116a)의 기능도, 외부 컴퓨터(140)에 갖게 해도 된다. 이 경우, 단말 장치(110)는 환자로부터 취득한 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터를, 계속적으로, 외부 컴퓨터(140)에 송신하고, 외부 컴퓨터(140)가, 도 5의 (b)~도 7의 연하 진단 처리를 실행한다.
또, 상기 실시 형태에서는, 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터에 기초하는 특징 파라미터값의 조합을 이용하여, 제2 연하 판정부(116c)에 있어서의 판정이 이루어졌지만, 제2 연하 판정부(116c)에 있어서의 판정에 이용하는 특징 파라미터값은, 반드시 이것으로 한정되는 것은 아니다. 예를 들어, 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터에 기초하는 특징 파라미터값 중, 호흡압 데이터 및 생체음 데이터에 기초하는 특징 파라미터값의 조합을 이용하여, 제2 연하 판정부(116c)에 있어서의 판정이 이루어져도 되고, 다른 특징 파라미터값의 조합을 이용하여 제2 연하 판정부(116c)에 있어서의 판정이 이루어져도 된다. 혹은, 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터에 기초하는 특징 파라미터값의 어느 1개를 이용하여, 제2 연하 판정부(116c)에 있어서의 판정이 이루어져도 된다.
다만, 상기 검증 2에서 나타낸 것처럼, 생체음 데이터에 기초하는 특징 파라미터값을 이용함으로써 제2 연하 판정부(116c)에 있어서의 판정 정밀도가 가장 높아지기 때문에, 제2 연하 판정부(116c)에 있어서의 판정에 있어서는, 생체음 데이터에 기초하는 특징 파라미터값을 우선적으로 이용하는 것이 바람직하다. 또, 호흡압 데이터에 기초하는 특징 파라미터값을 이용함으로써 제2 연하 판정부(116c)에 있어서의 판정 정밀도가 다음으로 높아지기 때문에, 제2 연하 판정부(116c)에 있어서의 판정에 있어서 특징 파라미터값의 조합을 이용하는 경우는, 생체음 데이터에 기초하는 특징 파라미터값과 호흡압 데이터에 기초하는 특징 파라미터값의 조합을 이용하는 것이 바람직하다.
또, 상기 실시 형태에서는, 호흡의 검출에 비강 카눌라(120)를 이용했지만, 비강 카눌라(120) 이외의 호흡 검출 수단을 이용해도 된다. 예를 들어, 가슴둘레의 확장 및 수축을 검출 가능한 검출 밴드를 이용하여, 환자의 호흡을 검출해도 된다.
또, 상기 실시 형태에서는, 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터를 리얼타임으로 처리하여, 연하 추정부(116a)에 의한 추정과, 제1 연하 판정부(116b) 및 제2 연하 판정부(116c)에 의한 판정을 실행했지만, 연하 진단시에는, 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터를 기억부(117)에 기억하고, 진단 후에, 의사 등으로부터의 지시 입력에 의해, 연하 추정부(116a), 제1 연하 판정부(116b) 및 제2 연하 판정부(116c)가, 기억부(117)로부터 호흡압 데이터, 생체음 데이터 및 후두 변위 데이터를 읽어내어, 연하의 추정과, 오연의 리스크 및 연하 장해의 가능성을 판정해도 된다.
이 외, 제1 연하 판정부(116b) 및 제2 연하 판정부(116c)에 의한 판정 결과의 표시 화면도, 도 23의 (a)의 구성으로 한정되는 것이 아니고, 적당히, 다른 화면 구성이 이용되어도 된다.
산업상의 이용 가능성
본 발명에 따른 연하 진단 장치는, 뛰어난 연하 진단 기능을 가지고 있어, 의료 기기의 분야에 있어서 이용 가능한 것이다.
100: 연하 진단 장치
111: 표시부
114: 압력 센서(호흡 검출부)
120: 비강 카눌라(호흡 검출부)
131a: 음 센서(음 검출부)
131b: 변위 센서(변위 검출부)
116a: 연하 추정부
116b: 제1 연하 판정부
116c: 제2 연하 판정부
116d: 표시 제어부

Claims (19)

  1. 후두부의 음을 검출하는 음 검출부와,
    호흡을 검출하는 호흡 검출부와,
    상기 음 검출부로부터 출력되는 음 정보에 있어서 연하의 추정 조건을 만족하는 특징량을 취득한 생체음 발생 구간과, 상기 호흡 검출부로부터 출력되는 호흡 정보에 있어서 소정 시간 이상 호흡을 검출하지 않았던 무호흡 구간이 서로 매치되는 것에 기초하여, 연하가 발생했다고 추정하는 연하 추정부와,
    상기 연하 추정부에 의해 연하가 발생했다고 추정된 기간의 전후의 호흡상(呼吸相)을 상기 호흡 정보로부터 검출하고, 검출한 호흡상에 기초하여 당해 연하에 오연의 리스크가 있는지 여부를 판정하는 제1 연하 판정부와,
    상기 연하 추정부에 의해 연하가 발생했다고 추정된 기간을 포함하는 소정 기간에 있어서 상기 음 정보 및 상기 호흡 정보 중 적어도 한쪽을 포함하는 참조 정보를 추출하고, 추출한 상기 참조 정보로부터 특징량을 취득하고, 취득한 상기 특징량에 기계 학습 처리를 실행하여 당해 연하에 연하 장해의 가능성이 있는지 여부를 판정하는 제2 연하 판정부와,
    상기 제1 연하 판정부에 의한 판정 결과와 상기 제2 연하 판정부에 의한 판정 결과를 표시부에 표시시키는 표시 제어부를 구비하는 것을 특징으로 하는 연하 진단 장치.
  2. 청구항 1에 있어서,
    상기 제2 연하 판정부는, 상기 참조 정보로서 상기 음 정보를 추출하고, 추출한 상기 음 정보로부터 상기 특징량을 취득하고, 취득한 상기 특징량에 기계 학습 처리를 실행하여 당해 연하에 연하 장해의 가능성이 있는지 여부를 판정하는 것을 특징으로 하는 연하 진단 장치.
  3. 청구항 2에 있어서,
    상기 제2 연하 판정부는, 또한, 상기 참조 정보로서 상기 호흡 정보를 추출하고, 추출한 상기 호흡 정보로부터 특징량을 취득하고, 상기 호흡 정보로부터 취득한 상기 특징량과 상기 음 정보로부터 취득한 특징량에 기계 학습 처리를 실행하여 당해 연하에 연하 장해의 가능성이 있는지 여부를 판정하는 것을 특징으로 하는 연하 진단 장치.
  4. 청구항 3에 있어서,
    후두부의 변위를 검출하는 변위 검출부를 추가로 구비하고,
    상기 제2 연하 판정부는, 또한, 연하가 발생했다고 추정된 상기 기간을 포함하는 상기 소정 기간에 있어서 상기 변위 검출부로부터 출력되는 변위 정보를 상기 참조 정보로서 추출하고, 추출한 상기 변위 정보로부터 특징량을 취득하고, 상기 변위 정보로부터 취득한 상기 특징량과, 상기 음 정보 및 상기 호흡 정보로부터 각각 취득한 특징량에 기계 학습 처리를 실행하여 당해 연하에 오연의 가능성이 있는지 여부를 판정하는 것을 특징으로 하는 연하 진단 장치.
  5. 청구항 4에 있어서,
    상기 연하 추정부는 상기 생체음 발생 구간과 상기 무호흡 구간이 부호되고, 또한 상기 상기 생체음 발생 구간에 있어서 상기 변위 정보의 진폭이 소정의 임계치를 초과하는 경우에, 연하가 발생했다고 추정하는 것을 특징으로 하는 연하 진단 장치.
  6. 청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
    상기 제2 연하 판정부는 상기 참조 정보를 푸리에 변환하여 주파수 스펙트럼을 취득하고, 취득한 주파수 스펙트럼에 선형 예측 분석을 적용하여 스펙트럼 포락을 구하고, 구한 스펙트럼 포락을 소정 주파수 간격으로 샘플링하여, 상기 특징량을 취득하는 것을 특징으로 하는 연하 진단 장치.
  7. 청구항 6에 있어서,
    상기 제2 연하 판정부는 상기 주파수 스펙트럼을 소정의 주파수 대역마다 분할하고, 상기 주파수 대역마다 선형 예측 분석을 적용하여 스펙트럼 포락을 구하고, 구한 각 주파수 대역의 스펙트럼 포락을 소정 주파수 간격으로 샘플링하여, 상기 특징량을 취득하는 것을 특징으로 하는 연하 진단 장치.
  8. 청구항 1 내지 청구항 5 중 어느 한 항에 있어서,
    상기 제2 연하 판정부는 상기 참조 정보를 푸리에 변환하여 주파수 스펙트럼을 취득하고, 취득한 주파수 스펙트럼에 선형 예측 분석을 적용하여 선형 예측 분석에 있어서의 각 차수의 계수를 취득하고, 취득한 계수 그룹을 상기 특징량으로서 취득하는 것을 특징으로 하는 연하 진단 장치.
  9. 청구항 1 내지 청구항 8 중 어느 한 항에 있어서,
    상기 기계 학습 처리는 서포트 벡터 머신인 것을 특징으로 하는 연하 진단 장치.
  10. 후두부의 음을 검출하는 음 검출부와,
    호흡을 검출하는 호흡 검출부와,
    상기 음 검출부로부터 출력되는 음 정보에 있어서 연하의 추정 조건을 만족하는 특징량을 취득한 생체음 발생 구간과, 상기 호흡 검출부로부터 출력되는 호흡 정보에 있어서 소정 시간 이상 호흡을 검출하지 않았던 무호흡 구간이 서로 매치되는 것에 기초하여, 연하가 발생했다고 추정하는 연하 추정부와,
    상기 연하 추정부에 의해 연하가 발생했다고 추정된 기간을 포함하는 소정 기간에 있어서 상기 음 정보 및 상기 호흡 정보 중 적어도 한쪽을 포함하는 참조 정보를 추출하고, 추출한 상기 참조 정보를 푸리에 변환하여 주파수 스펙트럼을 취득하고, 취득한 주파수 스펙트럼에 선형 예측 분석을 적용하여 스펙트럼 포락을 구하고, 구한 스펙트럼 포락을 소정 주파수 간격으로 샘플링하여 특징량을 취득하고, 취득한 상기 특징량에 기계 학습 처리를 실행하여 당해 연하에 연하 장해의 가능성이 있는지 여부를 판정하는 연하 판정부를 구비하는 것을 특징으로 하는 연하 진단 장치.
  11. 후두부의 음을 검출하는 음 검출부와, 호흡을 검출하는 호흡 검출부를 구비하는 연하 진단 장치의 컴퓨터에,
    상기 음 검출부로부터 출력되는 음 정보에 있어서 연하의 추정 조건을 만족하는 특징량을 취득한 생체음 발생 구간과, 상기 호흡 검출부로부터 출력되는 호흡 정보에 있어서 소정 시간 이상 호흡을 검출하지 않았던 무호흡 구간이 서로 매치되는 것에 기초하여, 연하가 발생했다고 추정하는 연하 추정 기능과,
    상기 연하 추정 기능에 의해 연하가 발생했다고 추정된 기간의 전후의 호흡상을 상기 호흡 정보로부터 검출하고, 검출한 호흡상에 기초하여 당해 연하에 오연의 리스크가 있는지 여부를 판정하는 제1 연하 판정 기능과,
    상기 연하 추정 기능에 의해 연하가 발생했다고 추정된 기간을 포함하는 소정 기간에 있어서 상기 음 정보 및 상기 호흡 정보 중 적어도 한쪽을 포함하는 참조 정보를 추출하고, 추출한 상기 참조 정보로부터 특징량을 취득하고, 취득한 상기 특징량에 기계 학습 처리를 실행하여 당해 연하에 연하 장해의 가능성이 있는지 여부를 판정하는 제2 연하 판정 기능과,
    상기 제1 연하 판정 기능에 의한 판정 결과와 상기 제2 연하 판정 기능에 의한 판정 결과를 표시부에 표시시키는 표시 제어부를 실행시키는 프로그램.
  12. 청구항 11에 있어서,
    상기 제2 연하 판정 기능은 상기 참조 정보로서 상기 음 정보를 추출하고, 추출한 상기 음 정보로부터 상기 특징량을 취득하고, 취득한 상기 특징량에 기계 학습 처리를 실행하여 당해 연하에 연하 장해의 가능성이 있는지 여부를 판정하는 프로그램.
  13. 청구항 12에 있어서,
    상기 제2 연하 판정 기능은, 또한, 상기 참조 정보로서 상기 호흡 정보를 추출하고, 추출한 상기 호흡 정보로부터 특징량을 취득하고, 상기 호흡 정보로부터 취득한 상기 특징량과 상기 음 정보로부터 취득한 특징량에 기계 학습 처리를 실행하여 당해 연하에 연하 장해의 가능성이 있는지 여부를 판정하는 프로그램.
  14. 청구항 13에 있어서,
    상기 선하 진단 장치는, 후두부의 변위를 검출하는 변위 검출부를 추가로 구비하고,
    상기 제2 연하 판정 기능은, 또한, 연하가 발생했다고 추정된 상기 기간을 포함하는 상기 소정 기간에 있어서 상기 변위 검출부로부터 출력되는 변위 정보를 상기 참조 정보로서 추출하고, 추출한 상기 변위 정보로부터 특징량을 취득하고, 상기 변위 정보로부터 취득한 상기 특징량과, 상기 음 정보 및 상기 호흡 정보로부터 각각 취득한 특징량에 기계 학습 처리를 실행하여 당해 연하에 오연의 가능성이 있는지 여부를 판정하는 프로그램.
  15. 청구항 14에 있어서,
    상기 연하 추정 기능은 상기 생체음 발생 구간과 상기 무호흡 구간이 부호되고, 또한 상기 상기 생체음 발생 구간에 있어서 상기 변위 정보의 진폭이 소정의 임계치를 초과하는 경우에, 연하가 발생했다고 추정하는 프로그램.
  16. 청구항 11 내지 청구항 15 중 어느 한 항에 있어서,
    상기 제2 연하 판정 기능은, 상기 참조 정보를 푸리에 변환하여 주파수 스펙트럼을 취득하고, 취득한 주파수 스펙트럼에 선형 예측 분석을 적용하여 스펙트럼 포락을 구하고, 구한 스펙트럼 포락을 소정 주파수 간격으로 샘플링하여, 상기 특징량을 취득하는 프로그램.
  17. 청구항 16에 있어서,
    상기 제2 연하 판정 기능은 상기 주파수 스펙트럼을 소정의 주파수 대역마다 분할하고, 상기 주파수 대역마다 선형 예측 분석을 적용하여 스펙트럼 포락을 구하고, 구한 각 주파수 대역의 스펙트럼 포락을 소정 주파수 간격으로 샘플링하여, 상기 특징량을 취득하는 프로그램.
  18. 청구항 11 내지 청구항 15 중 어느 한 항에 있어서,
    상기 제2 연하 판정 기능은 상기 참조 정보를 푸리에 변환하여 주파수 스펙트럼을 취득하고, 취득한 주파수 스펙트럼에 선형 예측 분석을 적용하여 선형 예측 분석에 있어서의 각 차수의 계수를 취득하고, 취득한 계수 그룹을 상기 특징량으로서 취득하는 프로그램.
  19. 청구항 11 내지 청구항 18 중 어느 한 항에 있어서,
    상기 기계 학습 처리는 서포트 벡터 머신인 것을 특징으로 하는 프로그램.
KR1020197009098A 2016-10-14 2017-10-13 연하 진단 장치 및 프로그램 KR102179511B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016203157 2016-10-14
JPJP-P-2016-203157 2016-10-14
PCT/JP2017/037191 WO2018070522A1 (ja) 2016-10-14 2017-10-13 嚥下診断装置およびプログラム

Publications (2)

Publication Number Publication Date
KR20190041011A true KR20190041011A (ko) 2019-04-19
KR102179511B1 KR102179511B1 (ko) 2020-11-16

Family

ID=61905628

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197009098A KR102179511B1 (ko) 2016-10-14 2017-10-13 연하 진단 장치 및 프로그램

Country Status (7)

Country Link
US (1) US11246526B2 (ko)
EP (1) EP3527132B1 (ko)
JP (1) JP6742620B2 (ko)
KR (1) KR102179511B1 (ko)
CN (1) CN109788922A (ko)
SG (1) SG11201902898WA (ko)
WO (1) WO2018070522A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112336308B (zh) * 2020-11-03 2023-08-22 中山大学孙逸仙纪念医院 一种测量评估吞咽功能的可穿戴装置及使用方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008502386A (ja) 2004-06-17 2008-01-31 ブロアビュー マクミラン チルドレンズ センター 嚥下活動を検出するためのシステムおよび方法
KR20160036101A (ko) * 2013-08-26 2016-04-01 가꼬우호우징 효고 이카다이가쿠 연하 추정 장치, 정보 단말 장치 및 프로그램

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100347988C (zh) * 2003-10-24 2007-11-07 武汉大学 一种宽频带语音质量客观评价方法
US9138171B2 (en) 2004-06-17 2015-09-22 Holland Bloorview Kids Rehabilitation Hospital System and method for detecting swallowing activity
CN101145345B (zh) * 2006-09-13 2011-02-09 华为技术有限公司 音频分类方法
CN101996640B (zh) * 2009-08-31 2012-04-04 华为技术有限公司 频带扩展方法及装置
CN102032942B (zh) * 2009-09-25 2012-07-25 上海宝钢工业检测公司 基于高斯平滑的设备振动信号全频带特征提取和报警方法
CN102339607A (zh) * 2010-07-16 2012-02-01 华为技术有限公司 一种频带扩展的方法和装置
US20120150073A1 (en) * 2010-12-10 2012-06-14 Stephanie Dunn Method and apparatus for diagnosing a medical condition based upon audial data from a patient
AU2012208912B2 (en) * 2011-01-18 2016-03-03 Holland Bloorview Kids Rehabilitation Hospital Method and device for swallowing impairment detection
CN102243140B (zh) * 2011-04-18 2013-01-23 杨彦利 一种基于子带信号分析的机械设备状态监测方法
WO2012155257A1 (en) * 2011-05-17 2012-11-22 University Health Network Osa/csa diagnosis using recorded breath sound amplitude profile and pitch contour
CN102429662B (zh) * 2011-11-10 2014-04-09 大连理工大学 家庭环境中睡眠呼吸暂停综合征的筛查系统
CA2863049C (en) * 2012-01-26 2017-08-29 Willard Wilson Neural monitoring methods and systems for treating pharyngeal disorders
CN102780819A (zh) * 2012-07-27 2012-11-14 广东欧珀移动通信有限公司 一种移动终端的语音识别联系人的方法
CA2897883A1 (en) * 2013-01-14 2014-07-17 University Health Network Mask and method for breathing disorder identification, characterization and/or diagnosis
WO2014159749A1 (en) * 2013-03-13 2014-10-02 The Regents Of The University Of California Non-invasive nutrition monitor
WO2014203433A1 (ja) 2013-06-19 2014-12-24 京セラ株式会社 機器、及びシステム
CN103646649B (zh) * 2013-12-30 2016-04-13 中国科学院自动化研究所 一种高效的语音检测方法
CN103868690B (zh) * 2014-02-28 2017-02-01 中国人民解放军63680部队 基于多种特征提取和选择的滚动轴承状态自动预警方法
JP2016034325A (ja) * 2014-08-01 2016-03-17 国立大学法人京都大学 ファジィ推論を用いた嚥下検出方法、嚥下活動モニタリングシステム及び嚥下機能評価方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008502386A (ja) 2004-06-17 2008-01-31 ブロアビュー マクミラン チルドレンズ センター 嚥下活動を検出するためのシステムおよび方法
KR20160036101A (ko) * 2013-08-26 2016-04-01 가꼬우호우징 효고 이카다이가쿠 연하 추정 장치, 정보 단말 장치 및 프로그램

Also Published As

Publication number Publication date
EP3527132B1 (en) 2024-03-27
US20190209073A1 (en) 2019-07-11
CN109788922A (zh) 2019-05-21
WO2018070522A1 (ja) 2018-04-19
SG11201902898WA (en) 2019-05-30
EP3527132A4 (en) 2020-12-16
JPWO2018070522A1 (ja) 2019-08-22
US11246526B2 (en) 2022-02-15
KR102179511B1 (ko) 2020-11-16
EP3527132A1 (en) 2019-08-21
JP6742620B2 (ja) 2020-08-26

Similar Documents

Publication Publication Date Title
CN111315302B (zh) 认知功能评估装置、认知功能评估系统、认知功能评估方法及程序记录介质
US10007480B2 (en) Multi-parametric analysis of snore sounds for the community screening of sleep apnea with non-Gaussianity index
Bettens et al. Instrumental assessment of velopharyngeal function and resonance: A review
Goozée et al. The effects of age and gender on laryngeal aerodynamics
US10959661B2 (en) Quantification of bulbar function
US11766209B2 (en) Cognitive function evaluation device, cognitive function evaluation system, and cognitive function evaluation method
JPWO2010044162A1 (ja) 無呼吸検出プログラムおよび無呼吸検出装置
Fahed et al. Comparison of acoustic voice features derived from mobile devices and studio microphone recordings
KR20140134443A (ko) 음성신호의 특징벡터를 이용한 연하장애 판단방법
Wisler et al. Speech-based estimation of bulbar regression in amyotrophic lateral sclerosis
JP7222973B2 (ja) 嚥下障害分類モデルの信号品質を判定するための方法及びデバイス
JP2005066044A (ja) 呼吸音データ処理装置及びプログラム
Ozdemir et al. A time-series approach to predict obstructive sleep apnea (OSA) Episodes
KR20190041011A (ko) 연하 진단 장치 및 프로그램
JP2022545239A (ja) 適切な治療を適用するためにぜんそく患者の咳音を処理するための方法および装置
Groll et al. Automated relative fundamental frequency algorithms for use with neck-surface accelerometer signals
KR102043972B1 (ko) 뇌졸중 환자 대상 흡인 음성의 음향 변수 추출 장치 및 방법
US20220409063A1 (en) Diagnosis of medical conditions using voice recordings and auscultation
US11918346B2 (en) Methods and systems for pulmonary condition assessment
WO2021207590A1 (en) Biomarkers of inflammation in neurophysiological systems
Torabinenezhad et al. Acoustic parameters in Persian-speaking patients with dysphonia
JP6090828B2 (ja) 肺機能検査装置
TWI226600B (en) Nasal detection method and device thereof
JP6528058B2 (ja) 嚥下時間の計測装置、計測方法
Cennamo Post-surgery monitoring of the phonatory system through the analysis of voice signals Comparison between microphone in air and contact microphones

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant