KR20220114351A - Ppg 기반 스펙트로그램 및 cnn에 기반하는 통증 평가 방법 및 장치 - Google Patents

Ppg 기반 스펙트로그램 및 cnn에 기반하는 통증 평가 방법 및 장치 Download PDF

Info

Publication number
KR20220114351A
KR20220114351A KR1020210017756A KR20210017756A KR20220114351A KR 20220114351 A KR20220114351 A KR 20220114351A KR 1020210017756 A KR1020210017756 A KR 1020210017756A KR 20210017756 A KR20210017756 A KR 20210017756A KR 20220114351 A KR20220114351 A KR 20220114351A
Authority
KR
South Korea
Prior art keywords
spectrogram
ppg
cnn
pain
ppg signal
Prior art date
Application number
KR1020210017756A
Other languages
English (en)
Inventor
신항식
임지연
최병문
노규정
Original Assignee
전남대학교산학협력단
울산대학교 산학협력단
재단법인 아산사회복지재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단, 울산대학교 산학협력단, 재단법인 아산사회복지재단 filed Critical 전남대학교산학협력단
Priority to KR1020210017756A priority Critical patent/KR20220114351A/ko
Priority to PCT/KR2021/002696 priority patent/WO2022169020A2/ko
Publication of KR20220114351A publication Critical patent/KR20220114351A/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4824Touch or pain perception evaluation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/7257Details of waveform analysis characterised by using transforms using Fourier transforms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Cardiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Hospice & Palliative Care (AREA)
  • Pain & Pain Management (AREA)
  • Fuzzy Systems (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 방법은 (a) 사용자의 PPG(Photoplethysmographic) 신호를 획득하는 단계; (b) 상기 획득된 PPG 신호로부터 상기 PPG 신호에 대한 스펙트로그램(spectrogram)을 생성하는 단계; 및 (c)상기 PPG 신호에 대한 스펙트로그램을 이용하여 상기 사용자의 통증을 평가하는 단계;를 포함할 수 있다.

Description

PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 방법 및 장치{A method and apparatus for pain assessment based on a photoplethysmographic based spectrogram and convolutional neural network}
본 발명은 통증 평가 방법 및 장치에 관한 것으로, 더욱 상세하게는 PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 방법 및 장치에 관한 것이다.
환자의 예후에 영향을 미치는 수술 후 통증(postoperative pain)의 효율적인 관리가 점점 중요해지고 있다. 진통제를 올바르게 관리하려면, 먼저 환자의 통증 정도를 객관적으로 평가해야 한다.
종래의 VAS(visual analogue scale)와 NRS(numerical rating scale)는 수술 후 통증을 평가하기 위한 지표로 사용되었지만, 환자의 주관적인 요소를 반영합니다. 따라서, 기계 환기(mechanical ventilation)를 받는 환자와 같이 의사소통을 할 수 없는 환자에게는 적용되지 않는다.
종래와 같이 일반적으로 사용되는 일부 상용화된 진통 지수를 사용하여 수술 중 통증(intraoperative nociception)을 객관적으로 평가할 수 있지만, 종래의 SPI(surgical pleth index)와 ANI(analgesia nociception index)는 전신 마취 환자를 위해 개발되었기 때문에, 이러한 지표의 성능은 깨어있는 환자에서 정확하지 않다.
이와 같이, 전신 마취 상태와 각성 상태는 여러 가지면에서 상이하기 때문에, 깨어있는 환자의 통증을 객관적으로 평가하기 위해 새로운 진통 지수에 대한 필요성이 증가하고 있으나, 이에 대한 연구는 미흡한 실정이다.
[특허문헌 1] 한국공개특허 제10-2015-0093109호
본 발명은 전술한 문제점을 해결하기 위하여 창출된 것으로, PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 방법 및 장치를 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 PPG 신호에 대한 스펙트로그램을 CNN의 입력으로 사용하여 통증을 평가하기 위한 방법 및 장치를 제공하는 것을 그 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
상기한 목적들을 달성하기 위하여, 본 발명의 일 실시예에 따른 PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 방법은 (a) 사용자의 PPG(Photoplethysmographic) 신호를 획득하는 단계; (b) 상기 획득된 PPG 신호로부터 상기 PPG 신호에 대한 스펙트로그램(spectrogram)을 생성하는 단계; 및 (c)상기 PPG 신호에 대한 스펙트로그램을 이용하여 상기 사용자의 통증을 평가하는 단계;를 포함할 수 있다.
실시예에서, 상기 (b) 단계는, 상기 PPG 신호를 시간 세그먼트로 분할하는 단계; 및 상기 각 시간 세그먼트에 대응하는 PPG 신호를 푸리에 변환(Fourier Transform)하여 상기 PPG 신호에 대한 스펙트로그램을 생성하는 단계;를 포함할 수 있다.
실시예에서, 상기 PPG 신호에 대한 스펙트로그램은, 상기 PPG 신호의 1차원 시계열 정보를 포함하는 2차원 시간-주파수 정보를 포함할 수 있다.
실시예에서, 상기 (c) 단계는, 상기 PPG 신호에 대한 스펙트로그램을 컨볼루션 신경망(Convolutional Neural Network, CNN)에 입력하여 상기 사용자의 통증을 평가하는 단계;를 포함할 수 있다.
실시예에서, 상기 CNN은, 컨볼루션-맥스 풀링 레이어(Convolution-Max pooling layer), 적어도 하나의 히든 레이어 및 출력 레이어로 구성될 수 있다.
실시예에서, 상기 컨볼루션-맥스 풀링 레이어는, 정류된 선형 유닛(rectified linear unit, ReLU) 활성화 기능 및 정규화(normalization) 기능을 수행할 수 있다.
실시예에서, 상기 적어도 하나의 히든 레이어는, 정류된 선형 유닛(rectified linear unit, ReLU) 활성화 기능 및 드롭아웃(dropout) 기능을 수행할 수 있다.
실시예에서, PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 장치는 사용자의 PPG(Photoplethysmographic) 신호를 획득하는 획득부; 및 상기 획득된 PPG 신호로부터 상기 PPG 신호에 대한 스펙트로그램(spectrogram)을 생성하고, 상기 PPG 신호에 대한 스펙트로그램을 이용하여 상기 사용자의 통증을 평가하는 제어부;를 포함할 수 있다.
실시예에서, 상기 제어부는, 상기 PPG 신호를 시간 세그먼트로 분할하고, 상기 각 시간 세그먼트에 대응하는 PPG 신호를 푸리에 변환(Fourier Transform)하여 상기 PPG 신호에 대한 스펙트로그램을 생성할 수 있다.
실시예에서, 상기 PPG 신호에 대한 스펙트로그램은, 상기 PPG 신호의 1차원 시계열 정보를 포함하는 2차원 시간-주파수 정보를 포함할 수 있다.
실시예에서, 상기 제어부는, 상기 PPG 신호에 대한 스펙트로그램을 컨볼루션 신경망(Convolutional Neural Network, CNN)에 입력하여 상기 사용자의 통증을 평가할 수 있다.
실시예에서, 상기 CNN은, 컨볼루션-맥스 풀링 레이어(Convolution-Max pooling layer), 적어도 하나의 히든 레이어 및 출력 레이어로 구성될 수 있다.
실시예에서, 상기 컨볼루션-맥스 풀링 레이어는, 정류된 선형 유닛(rectified linear unit, ReLU) 활성화 기능 및 정규화(normalization) 기능을 수행할 수 있다.
실시예에서, 상기 적어도 하나의 히든 레이어는, 정류된 선형 유닛(rectified linear unit, ReLU) 활성화 기능 및 드롭아웃(dropout) 기능을 수행할 수 있다.
상기한 목적들을 달성하기 위한 구체적인 사항들은 첨부된 도면과 함께 상세하게 후술될 실시예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 서로 다른 다양한 형태로 구성될 수 있으며, 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "통상의 기술자")에게 발명의 범주를 완전하게 알려주기 위해서 제공되는 것이다.
본 발명의 일 실시예에 의하면, PPG 신호에 대한 스펙트로그램을 CNN의 입력으로 사용하여 사용자의 통증을 평가함으로써, 통증 평가 정확도를 향상시킬 수 있다.
본 발명의 효과들은 상술된 효과들로 제한되지 않으며, 본 발명의 기술적 특징들에 의하여 기대되는 잠정적인 효과들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 방법을 도시한 도면이다.
도 2a 내지 2c는 본 발명의 일 실시예에 따른 스펙트로그램 생성 과정을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 CNN 적용을 도시한 도면이다.
도 4a는 종래의 일 실시예에 따른 SPI 값의 분포 그래프를 도시한 도면이다.
도 4b는 본 발명의 일 실시예에 따른 SCI 값의 분포 그래프를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 SCI와 SPI의 성능 비교 그래프를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 SPI와 SCI의 빈도 분포 비교 그래프를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 통증 평가 장치의 기능적 구성을 도시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고, 여러 가지 실시예들을 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
청구범위에 개시된 발명의 다양한 특징들은 도면 및 상세한 설명을 고려하여 더 잘 이해될 수 있을 것이다. 명세서에 개시된 장치, 방법, 제법 및 다양한 실시예들은 예시를 위해서 제공되는 것이다. 개시된 구조 및 기능상의 특징들은 통상의 기술자로 하여금 다양한 실시예들을 구체적으로 실시할 수 있도록 하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다. 개시된 용어 및 문장들은 개시된 발명의 다양한 특징들을 이해하기 쉽게 설명하기 위한 것이고, 발명의 범위를 제한하기 위한 것이 아니다.
본 발명을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
이하, 본 발명의 일 실시예에 따른 PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 방법 및 장치를 설명한다. 일 실시예에서, 본 발명에 따른 통증 평가 방법 및 장치는 수술 후 통증(postoperative pain) 평가를 위해 사용될 수 있으나, 이에 제한되지 않는다.
도 1은 본 발명의 일 실시예에 따른 PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 방법을 도시한 도면이다.
도 1을 참고하면, S101 단계는, 사용자의 광용적맥파(Photoplethysmographic, PPG) 신호를 획득하는 단계이다.
S103 단계는, PPG 신호로부터 PPG 신호에 대한 스펙트로그램을 생성하는 단계이다.
일 실시예에서, PPG 신호를 시간 세그먼트로 분할하고, 각 시간 세그먼트에 대응하는 PPG 신호를 푸리에 변환(Fourier Transform)하여 PPG 신호에 대한 스펙트로그램을 생성할 수 있다.
일 실시예에서, PPG 신호에 대한 스펙트로그램은, PPG 신호의 1차원 시계열 정보를 포함하는 2차원 시간-주파수 정보를 포함할 수 있다.
S105 단계는, PPG 신호에 대한 스펙트로그램을 이용하여 사용자의 통증을 평가하는 단계이다.
일 실시예에서, PPG 신호에 대한 스펙트로그램을 컨볼루션 신경망(Convolutional Neural Network, CNN)에 입력하여 사용자의 통증을 평가할 수 있다.
일 실시예에서, 사용자의 통증을 평가한 결과는 이진값으로 나타낼 수 있다. 예를 들어, ‘0’은 통증이 없는 상태를 나타내고, ‘1’은 통증이 있는 상태를 나타낼 수 있다.
일 실시예에서, 사용자의 통증을 평가한 결과는 SPI(Spectrogram-CNN index) 또는 이와 동등한 기술적 의미를 갖는 용어로 지칭될 수 있다.
일 실시예에서, CNN은 컨볼루션-맥스 풀링 레이어, 적어도 하나의 히든 레이어 및 출력 레이어로 구성될 수 있다.
이 경우, 컨볼루션-맥스 풀링 레이어는, 정류된 선형 유닛(rectified linear unit, ReLU) 활성화 기능 및 정규화(normalization) 기능을 수행할 수 있다.
또한, 적어도 하나의 히든 레이어는, ReLU 활성화 기능 및 드롭아웃(dropout) 기능을 수행할 수 있다.
도 2a 내지 2c는 본 발명의 일 실시예에 따른 스펙트로그램 생성 과정을 도시한 도면이다.
PPG 신호에 대한 스펙트로그램 생성은 1차원 시계열 데이터에 포함된 정보를 유지하면서 2차원 이미지를 구성할 수 있다. 따라서, PPG 신호에 대한 스펙트로그램을 통해 시계열 신호(time series signal)의 시간-주파수(time-frequency) 분석을 수행할 수 있다.
스펙트로그램은 시간에 따른 생리학적 신호와 같은 비정상 신호(nonstationary signal)의 주파수 특성 변화를 시각적으로 설명할 수 있다.
일 실시예에서, PPG 신호를 동일한 길이의 세그먼트로 분할할 수 있다. 이후, 각 세그먼트에 대응하는 PPG 신호에 대해 푸리에 변환을 계산하는 STFT(short-time Fourier Transform)를 반복하여, PPG 신호에 대한 스펙트로그램을 생성할 수 있다.
이 경우, 1차원 PPG 신호에서 생성된 2차원 스펙트로그램 이미지가 PPG 파형의 특정 특징(specific feature)이 아니라 전체 파형과 파형의 변화를 반영하기 위해 통증 분류기(예: CNN)의 입력으로 사용될 수 있다.
일 실시예에서, 스펙트로그램 생성 전에, 모든 PPG 신호는 유한 임펄스 응답 대역통과 필터(finite impulse response bandpass filter)와 30-탭 이동 평균 필터(30-tap moving average filter)를 사용하여 필터링될 수 있다. 예를 들어, 상기 대역통과 필터는 0.5-10Hz 통과 대역을 가질 수 있다.
또한, 일 실시예에서, PPG 신호의 진폭이 임의의 단위인 것을 고려하여, 개체 간 및 측정 간 편차를 감소시키기 위해 정규화(normalization) 과정이 수행될 수 있다.
일 실시예에서, 정규화 과정에서, z-점수는 측정된 값에서 측정된 값의 평균을 빼고, 표준 편차로 나눔으로써 획득될 수 있다.
이 경우, 도 2a를 참고하면, PPG 신호에 대한 스펙트로그램은 각 세그먼트에 해당하는 PPG 신호의 오버랩 없이 생성될 수 있다. 예를 들어, PPG 신호에 대한 스펙트로그램은 10초마다 10초 PPG 신호의 STFT에 의해 생성될 수 있다.
도 2b를 참고하면, 단일 스펙트로그램 이미지(single spectrogram image)를 생성하기 위해, PPG 신호에 대한 스펙트로그램은 적어도 일부 오버랩된 각 세그먼트에 해당하는 PPG 신호를 이용하여 생성될 수 있다.
예를 들어, 10초 PPG 신호를 6.27초 오버랩으로 6초 세그먼트로 나누고, 해밍 윈도우(hamming window)로 윈도우를 활성화한 후, 고속 푸리에 변환(Fast Fourier transform, FFT)를 사용하여 주파수 도메인으로 변환할 수 있다.
스펙트로그램의 주파수 해상도는 시간 프레임(time frame) 및 주파수 빈(frequency bin)의 수가 같게, 즉 스펙트로그램의 수평 및 수직 픽셀 수가 동일하도록 설정될 수 있다. 예를 들어, 스펙트로그램의 주파수 범위는 0-10Hz로 설정되고, 주파수 해상도는 0.81Hz로 설정될 수 있다. 이를 통해, 5분 PPG 신호에서 크기가 124x124인 30개의 스펙트로그램 패치가 생성될 수 있다. 일 실시예에서, 도 2c를 참고하면, 통증이 없는 평균 스펙트로그램(왼쪽)과 통증이 있는 평균 스펙트로그램(오른쪽)을 확인할 수 있다.
도 3은 본 발명의 일 실시예에 따른 CNN 적용을 도시한 도면이다.
도 3을 참고하면, CNN은 2차원 이상의 입력에 대한 공간 정보(spatial information)를 유지할 수 있으므로 이미지 분석에 효율적으로 사용될 수 있다.
CNN은 데이터 중심 학습을 가능하게 하며, 클래스 별 정보로 인해 다차원 입력 및 감독된(supervised) CNN 추출의 공간 정보를 보다 효과적으로 결합할 수 있다.
CNN은 입력으로 2차원 PPG 신호에 대한 스펙트로그램을 사용하고, 출력으로 이진 코드 라벨(binary-coded label)을 사용할 수 있다. 예를 들어, CNN의 출력의 경우, '0'은 통증이 없는 상태를 나타내고, '1'은 통증이 있는 상태를 나타낼 수 있다.
CNN의 구조의 경우, 컨볼루션-맥스 풀링 레이어(Convolution-Max pooling layer)에서는 컨볼루션 프로세스를 수행하기 위해, 32, 64 및 128 필터가 스펙트로그램 입력에 적용되며, 맥스 풀링을 통해 공간 특성이 단순화될 수 있다.
컨벌루션-맥스 풀링 레이어는 컨볼루션 레이어와 맥스 풀링 레이어를 포함할 수 있다. 이 경우, 컨볼루션 레이어의 필터 크기는 2x2이고, 폭(stride)은 1일 수 있다. 맥스 풀링 레이어의 필터 크기는 2x2이고, 폭을 2일 수 있다. 이러한, 컨볼루션 레이어 및 맥스 풀링 레이어의 필터 크기 및 폭에 의해 특징 맵(feature map)의 크기가 감소할 수 있다.
일 실시예에서, 배치 정규화(Batch normalization) 레이어 및 정류된 선형 유닛(rectified linear unit, ReLU) 활성화 기능이 컨벌루션-맥스 풀링 레이어에 적용되어 학습 속도와 효율성이 향상될 수 있다.
배치 정규화는 레이어 간 입력 데이터를 정규화하여 신경망의 속도와 안정성을 개선하는 구조이며, ReLU는 비선형 기능을 기반으로 신경망의 표현력(expressive power)을 향상시킬 수 있다.
일 실시예에서, 컨벌루션-맥스 풀링 프로세스가 세 번 반복되어 15x15 크기의 특징 맵이 생성될 수 있다.
일 실시예에서, 완전히 연결된 레이어(fully connected layer)는 두 개의 히든 레이어(hidden layer)와 하나의 출력 레이어로 구성될 수 있다. 이 경우, ReLU 활성화 기능 및 드롭아웃(dropout) 기능도 히든 레이어에 적용되어 오버피팅(overfitting)을 감소시킬 수 있다.
CNN의 트레이닝(training) 중 드랍아웃은 0.5이지만 테스트(test) 중에는 드랍아웃이 없을 수 있다. 교차 엔트로피(cross-entropy)는 비용 함수(cost function)로 사용되며, 적응 모멘트 추정(adaptive moment estimation)이 옵티마이저(optimizer)로 사용될 수 있다.
이후, CNN의 출력, 즉, 통증 평가의 결과는 두 개의 노드로 출력되어 통증 없음과 통증 있음으로 할당되며, 결과값이 확률적으로 표현될 수 있다. 일 실시예에서, 소프트맥스(softmax)의 출력은 입력 데이터가 0에서 1 사이의 값으로 통증 상태일 확률을 보여주기 때문에 통증 확률(likelihood of pain)로 통증 지수가 변환될 수 있다. 따라서, SCI는 통증 노드에서 출력된 확률값에 100을 곱하여 계산될 수 있다.
CNN과 같은 딥러닝 아키텍처는 수동 절차 없이 최적의 추상화된 특징을 식별할 수 있기 때문에, PPG 신호의 숨겨진 특징을 설명하기 위한 솔루션이 될 수 있다.
또한, 통증의 존재를 판단할 때 CNN은 간단한 선형 회귀를 기반으로 통증을 평가하는 종래의 SPI와 비교하여 비선형 특성을 통해 강력한 이점을 가지므로 비선형 편차를 효과적으로 예측할 수 있다.
따라서, PPG 신호에 대한 스펙트로그램과 CNN의 조합은 종래의 통증 평가 기술의 한계를 극복할 수 있다.
이 경우, CNN은 다차원(multi-dimensional) 데이터 분석의 이점을 가지지만, PPG 신호는 1차원 신호이기 때문에, CNN에 최적으로 적용하기 위해서는 시간-주파수 특성의 손실 없이 PPG 신호의 차원 확장이 필요하다.
PPG 신호의 시간-주파수 특성을 포함하는 2차원 이미지인 스펙트로그램(spectrogram)을 CNN에 적용할 수 있다.
따라서, 본 발명에 따라, PPG 신호에 대한 스펙트로그램과 CNN을 사용하여, 깨어있는 환자의 통증을 객관적으로 평가할 수 있다.
본 발명에 따른 스펙트로그램-CNN 모델은 통증 평가를 위해 5-폴드 교차 검증(5-fold cross-validation)을 통해 개발 및 검증될 수 있다.
스펙트로그램-CNN 모델은 PPG 신호에 대한 스펙트로그램을 입력으로 사용하고, CNN을 통증 분류기로 사용하여 SCI(spectrogram-CNN index)를 통증 점수로 출력할 수 있다.
스펙트로그램-CNN 모델의 경우, 각 폴드(fold)의 개발 세트(development set)와 테스트 세트(test set) 사이의 데이터 중첩을 방지하고, 피험자(subject) 내 간섭을 방지하기 위해 피험자 세트와 테스트 세트가 분리될 수 있다. 스펙트로그램-CNN 모델을 학습할 때 개발 세트의 90%가 훈련 세트(training set)로 사용되고, 10%가 검증 세트(validation set)로 사용될 수 있다.
또한, 각 폴드에 대해 20, 73, 7명의 환자 데이터가 각각 테스트 세트, 훈련 세트 및 검증 세트로 사용될 수 있다. 일 실시예에서, 통증 및 비통증 데이터 라벨은 각각 '1'과 '0'으로 라벨링될 수 있다.
도 4a는 종래의 일 실시예에 따른 SPI 값의 분포 그래프를 도시한 도면이다. 도 4b는 본 발명의 일 실시예에 따른 SCI 값의 분포 그래프를 도시한 도면이다.
도 4a 및 4b를 참고하면, 통증이 있는 경우와 없는 경우에 대한 SCI와 SPI의 변화를 확인할 수 있다. 통증이 없는 환자는 이 분석에서 제외될 수 있다.
통증의 경우 평균(SD) SCI 및 SPI 값이 크게 증가함을 확인할 수 있다(SCI; 기준선 : 28.5 (22.1) vs. PACU : 65.7 (25.4), 대응 T-테스트에서 P <0.01, SPI; 기준선 : 42.5 (16.7) vs. PACU : 53.5 (17.8), 대응 T-테스트에서).
SCI 및 SPI에서 통증을 감지하기 위한 AUC 및 컷오프 값은 하기 <표 1>과 같이 나타낼 수 있다. 이 경우, SCI는 SPI보다 통계적으로 우수함을 확인할 수 있다(ROC 곡선의 비교 : SCI vs SPI, P <0.001).
SCI SPI
Training set Validation set Test set
AUC (95% CI) 0.992 (0.991 - 0.993) 0.932 (0.921 - 0.942) 0.757 (0.746 - 0.768) 0.659 (0.646 - 0.671)
P value <0.001 <0.001 <0.001 <0.001
Cut-off value 50 54 48 44
(sensitivity %,
specificity %)
(94.6, 96.4) (83.1, 88.2) (68.1, 73.8) (65.2, 59.5)
Balanced accuracy % 95.5 85.7 71.0 62.4
또한, 통증을 평가하기 위해, SCI 및 SPI의민감도(sensitivity) 및 특이도(specificity)를 비교하기 위하여 ROC 곡선을 계산할 수 있다.
민감도와 특이도 계산에 사용된 컷오프 값은 '최적 적합(best fit)'(가장 높은 민감도와 특이도 결합)으로 계산될 수 있다.
본 발명에 따른 SCI는 민감도와 특이도에서 균형 성능을 보인 반면, SPI는 50보다 낮은 특이도를 나타냄을 확인할 수 있다.
데이터는 정규 분포 연속 변수의 경우 평균
Figure pat00001
표준 편차, 비정규 분포 연속 변수의 경우 중앙값(25-75%), 카테고리 변수(categorical variable) 또는 SPI의 개수 및 백분율로 표시될 수 있다. P 값(value)(<0.05)은 통계적으로 고려될 수 있다.
도 5는 본 발명의 일 실시예에 따른 SCI와 SPI의 성능 비교 그래프를 도시한 도면이다.
도 5를 참고하면, SCI는 균형 정확도(balanced accuracy), 민감도 및 특이도 측면에서 향상된 성능을 확인할 수 있다.
민감도 및 특이도 계산에 사용된 컷오프 값은 '최적 적합'(가장 높은 결합 민감도와 특이도)으로 계산될 수 있다. 균형 정확도는 (민감도+특이성)/2로 계산된 클래스 세트의 불균형에 대한 보정된 정확도를 나타낼 수 있다.
도 6은 본 발명의 일 실시예에 따른 SPI와 SCI의 빈도 분포 비교 그래프를 도시한 도면이다.
도 6을 참고하면, 데이터 수집 기간 동안 통증이 있는 경우와 통증이 없는 경우 관찰된 SCI 및 SPI 값의 빈도(frequency) 분포를 확인할 수 있다.
종래의 SPI 값의 분포는 통증 유무에 관계없이 오버랩되었으며, SPI는 여러 거짓 양성 또는 거짓 음성을 나타내며, 본 발명에 따른 SCI 값의 분포는 통증이 있거나 없는 환자에서 유의미한 차이를 보이므로, SCI가 SPI보다 통증을 더 명확하게 구별함을 확인할 수 있다.
즉, 본 발명에 따른 SCI는 통증의 존재 또는 부재를 검출하기 위한 새로운 지수로서 SCI 값의 전체 분포는 널리 퍼져 있으며 극단적인 값으로 편향되는 경향이 있음을 확인할 수 있다.
본 발명에 따르면, 통증을 반영하는 PPG(photoplethysmogram) 파형의 시공간(spatiotemporal) 특성으로부터 새로운 지표인 SCI가 사용되고, 이것이 종래의 SPI에 비해 통증 분류 성능을 향상시킬 수 있음을 확인할 수 있다.
또한, SPI에 적용되는 비트 간 간격(inter-beat interval) 및 PPG 진폭 외에도 수많은 통증 관련 특징이 PPG 파형에 포함되어 있으며, 이러한 특징을 이용하여 보다 정확한 통증 평가가 가능함을 확인할 수 있다.
또한, 본 발명에 따른 PPG 신호에 대한 스펙트로그램은 피크 검출 및 특징 추출 프로세스를 필요로 하지 않으므로, 전처리 동안 피크 오검출과 같은 문제를 피할 수 있다.
또한, 스펙트로그램은 정보가 표시되는 도메인만 변환되고 기본 정보는 유지되므로, 거의 전체 PPG 파형의 정보를 제공할 수 있다.
또한, 본 발명에 따르면, 머신 러닝을 사용한 통증의 구별이 가능하며, CNN을 통한 비선형 분류(Nonlinear classification)는 성능 향상의 또 다른 중요한 이유일 수 있다.
또한, 본 발명에 따른 스펙트로그램-CNN 모델은 ReLU 활성화 기능을 사용하여 비선형 분류를 수행합니다. 또한, ReLU가 다층 구조로 서로 중첩되기 때문에 비선형성이 증가될 수 있다.
도 7은 본 발명의 일 실시예에 따른 통증 평가 장치(700)의 기능적 구성을 도시한 도면이다.
도 7을 참고하면, 통증 평가 장치(700)는 획득부(710), 제어부(720) 및 저장부(730)를 포함할 수 있다.
획득부(710)는 사용자의 PPG(Photoplethysmographic) 신호를 획득할 수 있다. 일 실시예에서, 획득부(710)는 획득부 및 통신부 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 획득부는, PPG 신호 감지하기 위한 센서 모듈을 포함할 수 있다. 일 실시예에서, 통신부는 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다. 통신부의 전부 또는 일부는 '송신부', '수신부' 또는 '송수신부(transceiver)'로 지칭될 수 있다.
제어부(720)는 PPG 신호로부터 상기 PPG 신호에 대한 스펙트로그램(spectrogram)을 생성하고, PPG 신호에 대한 스펙트로그램을 이용하여 사용자의 통증을 평가할 수 있다.
일 실시예에서, 제어부(720)는 적어도 하나의 프로세서 또는 마이크로(micro) 프로세서를 포함하거나, 또는, 프로세서의 일부일 수 있다. 또한, 제어부(720)는 CP(communication processor)라 지칭될 수 있다. 제어부(720)는 본 발명의 다양한 실시예에 따른 통증 평가 장치(700)의 동작을 제어할 수 있다.
저장부(730)는 CNN의 학습을 위한 학습 데이터를 저장할 수 있다. 일 실시예에서, 저장부(730)는 PPG 신호 및 PPG 신호에 대한 스펙트로그램을 저장할 수 있다. 일 실시예에서, 저장부(730)는 사용자의 통증을 평가한 결과값을 저장할 수 있다.
일 실시예에서, 저장부(730)는 휘발성 메모리, 비휘발성 메모리 또는 휘발성 메모리와 비휘발성 메모리의 조합으로 구성될 수 있다. 그리고, 저장부(730)는 제어부(720)의 요청에 따라 저장된 데이터를 제공할 수 있다.
도 7을 참고하면, 통증 평가 장치(700)는 획득부(710), 제어부(720) 및 저장부(730)를 포함할 수 있다. 본 발명의 다양한 실시 예들에서 통증 평가 장치(700)는 도 7에 설명된 구성들이 필수적인 것은 아니어서, 도 7에 설명된 구성들보다 많은 구성들을 가지거나, 또는 그보다 적은 구성들을 가지는 것으로 구현될 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로, 통상의 기술자라면 본 발명의 본질적인 특성이 벗어나지 않는 범위에서 다양한 변경 및 수정이 가능할 것이다.
따라서, 본 명세서에 개시된 실시예들은 본 발명의 기술적 사상을 한정하기 위한 것이 아니라, 설명하기 위한 것이고, 이러한 실시예들에 의하여 본 발명의 범위가 한정되는 것은 아니다.
본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 이해되어야 한다.
700: 통증 평가 장치
710: 획득부
720: 제어부
730: 저장부

Claims (14)

  1. (a) 사용자의 PPG(Photoplethysmographic) 신호를 획득하는 단계;
    (b) 상기 획득된 PPG 신호로부터 상기 PPG 신호에 대한 스펙트로그램(spectrogram)을 생성하는 단계; 및
    (c)상기 PPG 신호에 대한 스펙트로그램을 이용하여 상기 사용자의 통증을 평가하는 단계;
    를 포함하는,
    PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 방법.
  2. 제1항에 있어서,
    상기 (b) 단계는,
    상기 PPG 신호를 시간 세그먼트로 분할하는 단계; 및
    상기 각 시간 세그먼트에 대응하는 PPG 신호를 푸리에 변환(Fourier Transform)하여 상기 PPG 신호에 대한 스펙트로그램을 생성하는 단계;
    를 포함하는,
    PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 방법.
  3. 제1항에 있어서,
    상기 PPG 신호에 대한 스펙트로그램은,
    상기 PPG 신호의 1차원 시계열 정보를 포함하는 2차원 시간-주파수 정보를 포함하는,
    PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 방법.
  4. 제1항에 있어서,
    상기 (c) 단계는,
    상기 PPG 신호에 대한 스펙트로그램을 컨볼루션 신경망(Convolutional Neural Network, CNN)에 입력하여 상기 사용자의 통증을 평가하는 단계;
    를 포함하는,
    PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 방법.
  5. 제4항에 있어서,
    상기 CNN은,
    컨볼루션-맥스 풀링 레이어(Convolution-Max pooling layer), 적어도 하나의 히든 레이어 및 출력 레이어로 구성되는,
    PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 방법.
  6. 제5항에 있어서,
    상기 컨볼루션-맥스 풀링 레이어는,
    정류된 선형 유닛(rectified linear unit, ReLU) 활성화 기능 및 정규화(normalization) 기능을 수행하는,
    PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 방법.
  7. 제5항에 있어서,
    상기 적어도 하나의 히든 레이어는,
    정류된 선형 유닛(rectified linear unit, ReLU) 활성화 기능 및 드롭아웃(dropout) 기능을 수행하는,
    PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 방법.
  8. 사용자의 PPG(Photoplethysmographic) 신호를 획득하는 획득부; 및
    상기 획득된 PPG 신호로부터 상기 PPG 신호에 대한 스펙트로그램(spectrogram)을 생성하고,
    상기 PPG 신호에 대한 스펙트로그램을 이용하여 상기 사용자의 통증을 평가하는 제어부;
    를 포함하는,
    PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 장치.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 PPG 신호를 시간 세그먼트로 분할하고,
    상기 각 시간 세그먼트에 대응하는 PPG 신호를 푸리에 변환(Fourier Transform)하여 상기 PPG 신호에 대한 스펙트로그램을 생성하는,
    PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 장치.
  10. 제8항에 있어서,
    상기 PPG 신호에 대한 스펙트로그램은,
    상기 PPG 신호의 1차원 시계열 정보를 포함하는 2차원 시간-주파수 정보를 포함하는,
    PPG 시간 스펙트로그램 및 CNN에 기반하는 통증 평가 장치.
  11. 제8항에 있어서,
    상기 제어부는,
    상기 PPG 신호에 대한 스펙트로그램을 컨볼루션 신경망(Convolutional Neural Network, CNN)에 입력하여 상기 사용자의 통증을 평가하는,
    PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 장치.
  12. 제11항에 있어서,
    상기 CNN은,
    컨볼루션-맥스 풀링 레이어(Convolution-Max pooling layer), 적어도 하나의 히든 레이어 및 출력 레이어로 구성되는,
    PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 장치.
  13. 제12항에 있어서,
    상기 컨볼루션-맥스 풀링 레이어는,
    정류된 선형 유닛(rectified linear unit, ReLU) 활성화 기능 및 정규화(normalization) 기능을 수행하는,
    PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 장치.
  14. 제12항에 있어서,
    상기 적어도 하나의 히든 레이어는,
    정류된 선형 유닛(rectified linear unit, ReLU) 활성화 기능 및 드롭아웃(dropout) 기능을 수행하는,
    PPG 기반 스펙트로그램 및 CNN에 기반하는 통증 평가 장치.
KR1020210017756A 2021-02-08 2021-02-08 Ppg 기반 스펙트로그램 및 cnn에 기반하는 통증 평가 방법 및 장치 KR20220114351A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210017756A KR20220114351A (ko) 2021-02-08 2021-02-08 Ppg 기반 스펙트로그램 및 cnn에 기반하는 통증 평가 방법 및 장치
PCT/KR2021/002696 WO2022169020A2 (ko) 2021-02-08 2021-03-04 Ppg 기반 스펙트로그램 및 cnn에 기반하는 통증 평가 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210017756A KR20220114351A (ko) 2021-02-08 2021-02-08 Ppg 기반 스펙트로그램 및 cnn에 기반하는 통증 평가 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220114351A true KR20220114351A (ko) 2022-08-17

Family

ID=82742220

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210017756A KR20220114351A (ko) 2021-02-08 2021-02-08 Ppg 기반 스펙트로그램 및 cnn에 기반하는 통증 평가 방법 및 장치

Country Status (2)

Country Link
KR (1) KR20220114351A (ko)
WO (1) WO2022169020A2 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150093109A (ko) 2014-02-06 2015-08-17 김학경 통증 자가평가 표시방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8512240B1 (en) * 2007-11-14 2013-08-20 Medasense Biometrics Ltd. System and method for pain monitoring using a multidimensional analysis of physiological signals
KR102128158B1 (ko) * 2018-05-09 2020-06-29 연세대학교 산학협력단 시공간 주의 기반 감정 인식 장치 및 방법
KR102185893B1 (ko) * 2018-08-07 2020-12-02 주식회사 딥바이오 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
KR102197112B1 (ko) * 2020-07-20 2020-12-31 주식회사 아이메디신 시계열 생체 신호 기반의 인공신경망 모델 학습 컴퓨터 프로그램 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150093109A (ko) 2014-02-06 2015-08-17 김학경 통증 자가평가 표시방법

Also Published As

Publication number Publication date
WO2022169020A3 (ko) 2022-10-06
WO2022169020A2 (ko) 2022-08-11

Similar Documents

Publication Publication Date Title
US10602942B2 (en) Method of detecting abnormalities in ECG signals
Němcová et al. A comparative analysis of methods for evaluation of ECG signal quality after compression
US20240023886A1 (en) Noninvasive method and system for sleep apnea detection
Park et al. Arrhythmia detection from heartbeat using k-nearest neighbor classifier
RU2768581C2 (ru) Устройства, системы и способы для прогнозирования, скрининга и контроля энцефалопатии/делирия
US11538585B2 (en) Detecting abnormalities in ECG signals
Lin et al. Towards accurate estimation of cuffless and continuous blood pressure using multi-order derivative and multivariate photoplethysmogram features
CN106473750A (zh) 基于光电容积脉搏波最佳周期波形的身份识别方法
EP2185063A1 (en) Method and system for monitoring sleep
Au-Yeung et al. Reduction of false alarms in the intensive care unit using an optimized machine learning based approach
Salas-Boni et al. False ventricular tachycardia alarm suppression in the ICU based on the discrete wavelet transform in the ECG signal
CN104173043A (zh) 一种适合于移动平台的心电数据分析方法
Arumugam et al. Arrhythmia identification and classification using wavelet centered methodology in ECG signals
CN116407090A (zh) 基于脑电图(eeg)非线性变化的用于癫痫发作检测的系统和方法
CN112704503B (zh) 心电信号噪声处理方法
Jeong et al. Convolutional neural network for classification of eight types of arrhythmia using 2D time–frequency feature map from standard 12-lead electrocardiogram
Qu et al. Classification of congestive heart failure with different New York Heart Association functional classes based on heart rate variability indices and machine learning
Sihem et al. A body area network for ubiquitous driver stress monitoring based on ECG signal
Mendonça et al. A portable wireless device based on oximetry for sleep apnea detection
KR20220114351A (ko) Ppg 기반 스펙트로그램 및 cnn에 기반하는 통증 평가 방법 및 장치
Athaya et al. An efficient fingertip photoplethysmographic signal artifact detection method: A machine learning approach
Don et al. Analysis of electrocardiogram signals of arrhythmia and ischemia using fractal and statistical features
Gialelis et al. Identifying chronic disease complications utilizing state of the art data fusion methodologies and signal processing algorithms
Erkuş et al. A new collective anomaly detection approach using pitch frequency and dissimilarity: Pitchy anomaly detection (PAD)
CN115067910A (zh) 一种心率变异性压力检测方法、装置、存储介质以及系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application