KR20220009202A

KR20220009202A - Apparatus and method for monitoring breathing using thermal image

Info

Publication number: KR20220009202A
Application number: KR1020200087619A
Authority: KR
Inventors: 신현준; 김현준; 양명현
Original assignee: 아주대학교산학협력단
Priority date: 2020-07-15
Filing date: 2020-07-15
Publication date: 2022-01-24
Also published as: KR102381204B1

Abstract

According to one aspect of the present disclosure, an apparatus for monitoring breathing comprises: a communication interface connected to an apparatus for acquiring a thermal image and receiving the thermal image including a monitoring target; a control unit selecting a breathing interested region including an exhalation region in which gas is emitted when the monitoring target exhales from the thermal image, acquiring an exhalation air current image by processing the thermal image corresponding to the selected breathing interested region, and extracting a breathing signal from the acquired exhalation air current image; and a breathing pattern classifier trained for providing a classification result of a breathing pattern corresponding to the breathing signal when the breathing signal is input.

Description

Respiratory monitoring device and method using thermal imaging {APPARATUS AND METHOD FOR MONITORING BREATHING USING THERMAL IMAGE}

본 개시(disclosure)의 기술적 사상은 열화상을 이용한 비접촉식 호흡 모니터링 장치 및 방법에 관한 것이다.The technical idea of the present disclosure (disclosure) relates to a non-contact breathing monitoring apparatus and method using a thermal image.

호흡은 스트레스나 약물과 같은 심리적 요인과 외부적 요인에 의해 쉽게 영향을 받는다. 또한, 호흡은 건강 상태와 질병 등에 의해서도 영향을 받기 때문에, 사람의 활력 징후를 알 수 있는 중요한 정보로서 다루어지고 있다. 이러한 호흡의 임상적 가치로 인하여, 환자의 상태를 예측하고 진단하기 위한 다양한 호흡 모니터링 방법이 연구되었다.Respiration is easily influenced by external factors and psychological factors such as stress or drugs. In addition, since respiration is also affected by health conditions and diseases, it is treated as important information to know the vital signs of a person. Due to the clinical value of respiration, various respiration monitoring methods for predicting and diagnosing a patient's condition have been studied.

종래의 호흡 모니터링 방법은 주로 접촉식 센서를 이용한 측정 방법에 기반한다. 접촉식 측정 방법은 정확한 측정값의 획득 및 안정성 측면에서 장점을 가지나, 환자에게 불편함을 느끼게 하고 피부 손상 등의 부작용을 유발할 수도 있다. Conventional respiration monitoring method is mainly based on a measurement method using a touch sensor. The contact measurement method has advantages in terms of obtaining accurate measurement values and stability, but may cause discomfort to the patient and cause side effects such as skin damage.

이에 따라, 비접촉식 장비를 활용한 호흡 모니터링 방법이 제안되었다. 그러나, 종래의 비접촉식 측정 방법은 대부분 호흡 수를 측정하는 것에 국한되어 있어, 다양한 종류의 이상 호흡을 감지하고 분류하기에는 부족함이 있었다.Accordingly, a breathing monitoring method using non-contact equipment has been proposed. However, since the conventional non-contact measurement method is mostly limited to measuring the respiratory rate, it is insufficient to detect and classify various types of abnormal respiration.

본 발명이 해결하고자 하는 일 과제는, 모니터링 대상자의 신체와 접촉되지 않고도 호흡 상태를 정확히 모니터링하는 방법을 제공하는 것이다.One problem to be solved by the present invention is to provide a method for accurately monitoring a respiration state without contact with the body of a subject to be monitored.

본 발명이 해결하고자 하는 일 과제는, 호흡 상태의 모니터링 시 모니터링 대상자의 이상 호흡을 신속하고 정확하게 검출하는 방법을 제공하는 것이다.One problem to be solved by the present invention is to provide a method for rapidly and accurately detecting abnormal respiration of a subject to be monitored when monitoring a respiration state.

상기와 같은 목적을 달성하기 위하여, 본 개시의 기술적 사상에 의한 일 양태(aspect)에 따른 호흡 모니터링 장치는, 열화상 획득 장치와 연결되어, 모니터링 대상자를 포함하는 열화상을 수신하는 통신 인터페이스, 상기 열화상으로부터, 상기 모니터링 대상자의 호기 시 가스가 배출되는 호기 영역을 포함하는 호흡 관심 영역을 선택하고, 선택된 호흡 관심 영역에 대응하는 열화상을 처리하여 호기 기류 영상을 획득하고, 획득된 호기 기류 영상으로부터 호흡 신호를 추출하는 제어부, 및 상기 호흡 신호가 입력되면, 상기 호흡 신호에 대응하는 호흡 패턴의 분류 결과를 제공하도록 학습된 호흡 패턴 분류기를 포함한다.In order to achieve the above object, a respiratory monitoring device according to an aspect according to the technical spirit of the present disclosure is connected to a thermal image acquisition device, a communication interface for receiving a thermal image including a subject to be monitored, the From the thermal image, a region of interest for respiration including an expiratory region from which gas is discharged during exhalation of the monitored subject is selected, and an expiratory airflow image is obtained by processing the thermal image corresponding to the selected region of interest for respiration, and the acquired expiratory airflow image A control unit for extracting a respiration signal from, and when the respiration signal is input, it includes a respiration pattern classifier learned to provide a classification result of a respiration pattern corresponding to the respiration signal.

실시 예에 따라, 상기 제어부는, 상기 열화상으로부터 상기 모니터링 대상자의 얼굴 영역을 인식하고, 인식된 얼굴 영역에 기초하여 상기 호흡 관심 영역을 선택할 수 있다.According to an embodiment, the controller may recognize a face region of the subject to be monitored from the thermal image, and select the breathing ROI based on the recognized face region.

실시 예에 따라, 상기 제어부는 상기 인식된 얼굴 영역의 무게 중심을 산출하고, 산출된 무게 중심의 위치를 기준점으로 하여 상기 호흡 관심 영역을 선택할 수 있다.According to an embodiment, the controller may calculate the center of gravity of the recognized face region, and select the breathing ROI using the calculated position of the center of gravity as a reference point.

실시 예에 따라, 상기 제어부는 상기 호흡 관심 영역의 열화상으로부터, 대기 온도 변화 성분 및 배경 온도 성분을 제거함으로써 상기 호기 기류 영상을 획득할 수 있다.According to an embodiment, the controller may acquire the expiratory airflow image by removing an atmospheric temperature change component and a background temperature component from the thermal image of the respiration ROI.

실시 예에 따라, 상기 제어부는 상기 호흡 관심 영역의 열화상 중 호기 배제 영역에 포함된 적어도 하나의 화소 각각의 온도 변화 정보를 획득하고, 획득된 적어도 하나의 온도 변화 정보로부터 상기 대기 온도 변화 성분을 추정하고, 상기 호흡 관심 영역의 열화상으로부터 상기 추정된 대기 온도 변화 성분을 제거할 수 있다.According to an embodiment, the control unit obtains temperature change information of each of at least one pixel included in the exhalation exclusion region among the thermal images of the breathing region of interest, and obtains the atmospheric temperature change component from the obtained at least one temperature change information It is possible to estimate, and remove the estimated atmospheric temperature change component from the thermal image of the respiration region of interest.

실시 예에 따라, 상기 제어부는 대기 온도 변화 성분이 제거된 열화상의 화소들 각각에 대해 복수의 국소 최소값들을 추출하고, 추출된 복수의 국소 최소값들의 보간(interpolation)을 통해 상기 배경 온도 성분을 추정할 수 있다.According to an embodiment, the controller extracts a plurality of local minimum values for each of the pixels of the thermal image from which the atmospheric temperature change component is removed, and estimates the background temperature component through interpolation of the plurality of extracted local minimum values. can

실시 예에 따라, 상기 제어부는 상기 호기 영역에 대해, 상기 모니터링 대상자의 얼굴로부터의 거리에 따라 복수의 영역들을 설정하고, 상기 호기 기류 영상으로부터, 상기 복수의 영역들 각각의 호기량 벡터를 생성하고, 생성된 복수의 호기량 벡터를 포함하는 호흡 신호를 추출할 수 있다.According to an embodiment, the control unit sets a plurality of regions according to the distance from the face of the monitoring subject for the expiratory region, and generates an expiratory volume vector of each of the plurality of regions from the expiratory airflow image, It is possible to extract a respiratory signal including a plurality of generated expiratory volume vectors.

실시 예에 따라, 상기 제어부는 상기 복수의 영역들 중 제1 영역에 대해, 상기 제1 영역 내에 포함된 화소들 각각의 온도값을 시간별 또는 프레임별로 합산하고, 합산된 값들에 기초하여 상기 제1 영역에 대한 호기량 벡터를 생성할 수 있다.According to an embodiment, the controller sums the temperature values of each of the pixels included in the first area for each time or frame for a first area among the plurality of areas, and based on the summed values, the first You can create an expiratory volume vector for the region.

실시 예에 따라, 상기 호흡 패턴 분류기는 상기 호흡 신호에 대해, 기설정된 호흡 패턴들 중 어느 하나를 분류 결과로서 출력하고, 상기 호흡 패턴들은 정상 호흡과 이상 호흡을 포함하고, 상기 이상 호흡은 호흡 과도(hyperpnea), 호흡저하(hypopnea), 빈호흡(tachypnea), 완서호흡(bradypnea), 호흡 곤란(dyspnea), 및 기침(cough) 중 적어도 하나를 포함할 수 있다.According to an embodiment, the respiration pattern classifier outputs any one of preset respiration patterns as a classification result for the respiration signal, the respiration patterns include normal respiration and abnormal respiration, and the abnormal respiration is respiratory transient. It may include at least one of hyperpnea, hypopnea, tachypnea, bradypnea, dyspnea, and cough.

실시 예에 따라, 상기 호흡 패턴 분류기는 LSTM(long short-term memory), RNN(recurrent neural network), 및 GRU(gate recurrent unit) 중 어느 하나에 기반한 심층 기계학습에 따라 구현될 수 있다.According to an embodiment, the breathing pattern classifier may be implemented according to deep machine learning based on any one of a long short-term memory (LSTM), a recurrent neural network (RNN), and a gate recurrent unit (GRU).

실시 예에 따라, 상기 호흡 모니터링 장치는 상기 호흡 패턴의 분류 결과 또는 상기 분류 결과에 대응하는 알림을 출력하는 출력부를 더 포함할 수 있다.According to an embodiment, the respiration monitoring device may further include an output unit for outputting a classification result of the breathing pattern or a notification corresponding to the classification result.

본 개시의 실시 예에 따른 호흡 모니터링 방법은, 열화상 획득 장치로부터, 모니터링 대상자를 포함하는 열화상을 수신하는 단계; 수신된 열화상으로부터, 상기 모니터링 대상자의 호기 시 가스가 배출되는 호기 영역을 포함하는 호흡 관심 영역을 선택하는 단계; 상기 선택된 호흡 관심 영역에 대응하는 열화상을 처리하여 호기 기류 영상을 획득하는 단계; 상기 호기 기류 영상으로부터 호흡 신호를 추출하는 단계; 및 호흡 신호에 대응하는 호흡 패턴의 분류 결과를 제공하도록 학습된 호흡 패턴 분류기를 통해, 상기 추출된 호흡 신호에 대응하는 호흡 패턴의 분류 결과를 획득하는 단계를 포함한다.Respiratory monitoring method according to an embodiment of the present disclosure includes: receiving, from a thermal image acquisition device, a thermal image including a subject to be monitored; selecting, from the received thermal image, a breathing region of interest including an expiratory region in which gas is discharged during exhalation of the monitored subject; obtaining an expiratory airflow image by processing a thermal image corresponding to the selected respiration region of interest; extracting a respiration signal from the expiratory airflow image; And through the breathing pattern classifier learned to provide the classification result of the breathing pattern corresponding to the breathing signal, comprising the step of obtaining a classification result of the breathing pattern corresponding to the extracted breathing signal.

본 개시의 기술적 사상에 따르면, 호흡 모니터링 장치는 열화상으로부터 호기 기류에 의한 온도 변화를 보다 정확히 나타내는 호기 기류 영상을 획득함으로써, 인체와 접촉되지 않고도 모니터링 대상자의 호흡과 관련된 정보를 효과적으로 획득할 수 있다.According to the technical idea of the present disclosure, the respiration monitoring device obtains an expiratory airflow image that more accurately represents the temperature change due to the expiratory airflow from the thermal image, thereby effectively acquiring information related to the subject's respiration without contact with the human body. .

또한, 호흡 모니터링 장치는 호기 기류 영상에 기초하여 모니터링 대상자의 호기 영역을 복수의 영역들로 구분하여 다차원 벡터 형태의 호흡 신호를 추출함으로써, 호흡 패턴의 분류를 위한 데이터를 효과적으로 획득할 수 있다.In addition, the respiration monitoring apparatus divides the exhalation area of the monitored subject into a plurality of areas based on the expiratory airflow image and extracts a respiration signal in the form of a multidimensional vector, thereby effectively acquiring data for classification of a respiration pattern.

또한, 호흡 모니터링 장치는 딥러닝 기반의 신경망, 특히 LSTM 등의 시계열 데이터를 효과적으로 처리할 수 있는 형태의 신경망으로 구현되는 호흡 패턴 분류기를 이용하여, 다차원 벡터 형태의 호흡 신호로부터 호흡 패턴을 보다 정확히 분류하고 이상 호흡을 정확히 검출할 수 있다.In addition, the breathing monitoring device uses a deep learning-based neural network, in particular, a breathing pattern classifier implemented as a neural network capable of effectively processing time series data such as LSTM, to more accurately classify a breathing pattern from a multi-dimensional vector-type breathing signal. and abnormal breathing can be accurately detected.

본 개시의 기술적 사상에 따른 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.Effects according to the technical spirit of the present disclosure are not limited to the above-mentioned effects, and other effects not mentioned may be clearly understood by those of ordinary skill in the art to which the present invention belongs from the description below. There will be.

본 개시에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 개시의 예시적 실시예에 따른 호흡 모니터링 시스템의 개념도이다.
도 2는 본 개시의 예시적 실시예에 따른 호흡 모니터링 장치의 제어 구성을 간략히 나타낸 블록도이다.
도 3은 본 개시의 예시적 실시예에 따른 호흡 모니터링 장치의 호흡 상태 모니터링 및 이상 호흡 검출 동작을 설명하기 위한 플로우차트이다.
도 4는 본 개시의 예시적 실시예에 따른 호흡 모니터링 장치가 열화상으로부터 호흡 관심 영역을 선택하는 동작의 일례를 설명하기 위한 도면이다.
도 5는 열화상 획득 장치에 의해 획득되는 열화상에 포함되는 온도 성분들을 설명하기 위한 예시도이다.
도 6은 본 개시의 예시적 실시예에 따른 호흡 모니터링 장치가 열화상으로부터 호기 기류 영상을 획득하는 동작의 일례를 설명하기 위한 도면이다.
도 7은 본 개시의 예시적 실시예에 따른 호흡 모니터링 장치가 열화상으로부터 대기 온도 변화 성분을 추정하는 동작의 일례를 설명하기 위한 도면이다.
도 8a 내지 도 8c는, 도 6 내지 도 7의 실시예에 따라 열화상으로부터 대기 온도 변화 성분의 보상 및 배경 온도 성분의 보상을 통해 획득되는 호기 기류에 의한 온도 변화 성분을 보여주는 그래프의 예이다.
도 9는 정상 호흡 시 획득되는 열화상의 예들을 나타내고, 도 10은 이상 호흡 시 획득되는 열화상의 예들을 나타낸다.
도 11은 호흡 패턴의 분류를 위해 호기 영역에 정의되는 복수의 계층들의 예를 나타낸다.
도 12는 도 11에 따라 정의된 복수의 계층들에 기초하여 획득되는 다차원 벡터로 구성된 호흡 신호의 예를 나타낸다.
도 13은 본 개시의 예시적 실시예에 따른 호흡 모니터링 장치가, 호흡 패턴 분류기를 이용하여 호흡 신호로부터 호흡 패턴을 분류하는 동작을 설명하기 위한 도면이다.
도 14는 본 개시의 예시적 실시예에 따라 구현된 호흡 패턴 분류기를 이용하여 실험 데이터에 대한 호흡 패턴을 분류하였을 때 측정되는 분류 정확도를 나타낸 표이다.In order to more fully understand the drawings cited in this disclosure, a brief description of each drawing is provided.
1 is a conceptual diagram of a respiration monitoring system according to an exemplary embodiment of the present disclosure.
2 is a block diagram schematically illustrating a control configuration of a respiration monitoring device according to an exemplary embodiment of the present disclosure.
3 is a flowchart for explaining the respiratory state monitoring and abnormal respiration detection operation of the respiration monitoring device according to an exemplary embodiment of the present disclosure.
4 is a view for explaining an example of the operation of the respiratory monitoring device according to an exemplary embodiment of the present disclosure to select a respiration region of interest from a thermal image.
5 is an exemplary diagram for explaining temperature components included in a thermal image acquired by a thermal image acquisition device.
6 is a view for explaining an example of the operation of the respiratory monitoring device according to an exemplary embodiment of the present disclosure to obtain an image of the expiratory air flow from a thermal image.
7 is a view for explaining an example of the operation of the respiratory monitoring device according to an exemplary embodiment of the present disclosure for estimating an atmospheric temperature change component from a thermal image.
8A to 8C are examples of graphs showing the temperature change component due to the exhaled air flow obtained through compensation of the atmospheric temperature change component and the background temperature component compensation from the thermal image according to the embodiment of FIGS. 6 to 7 .
9 shows examples of thermal images acquired during normal breathing, and FIG. 10 shows examples of thermal images acquired during abnormal breathing.
11 shows an example of a plurality of layers defined in an exhalation region for classification of a breathing pattern.
12 shows an example of a respiration signal composed of a multidimensional vector obtained based on a plurality of layers defined according to FIG. 11 .
13 is a view for explaining the operation of the respiration monitoring apparatus according to an exemplary embodiment of the present disclosure to classify a respiration pattern from a respiration signal using a respiration pattern classifier.
14 is a table showing classification accuracy measured when a breathing pattern for experimental data is classified using a breathing pattern classifier implemented according to an exemplary embodiment of the present disclosure.

본 개시의 기술적 사상에 따른 예시적인 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 개시의 기술적 사상을 더욱 완전하게 설명하기 위하여 제공되는 것으로, 아래의 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 아래의 실시예들로 한정되는 것은 아니다. 오히려, 이들 실시예들은 본 개시를 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.Exemplary embodiments according to the technical spirit of the present disclosure are provided to more completely explain the technical spirit of the present disclosure to those of ordinary skill in the art, and the following embodiments are modified in various other forms may be, and the scope of the technical spirit of the present disclosure is not limited to the following embodiments. Rather, these embodiments are provided so as to more fully and complete the present disclosure, and to fully convey the technical spirit of the present invention to those skilled in the art.

본 개시에서 제1, 제2 등의 용어가 다양한 부재, 영역, 층들, 부위 및/또는 구성 요소들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들, 부위 및/또는 구성 요소들은 이들 용어에 의해 한정되어서는 안 됨은 자명하다. 이들 용어는 특정 순서나 상하, 또는 우열을 의미하지 않으며, 하나의 부재, 영역, 부위, 또는 구성 요소를 다른 부재, 영역, 부위 또는 구성 요소와 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1 부재, 영역, 부위 또는 구성 요소는 본 개시의 기술적 사상의 가르침으로부터 벗어나지 않고서도 제2 부재, 영역, 부위 또는 구성 요소를 지칭할 수 있다. 예를 들면, 본 개시의 권리 범위로부터 이탈되지 않은 채 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.Although the terms first, second, etc. are used in this disclosure to describe various members, regions, layers, regions, and/or components, these members, parts, regions, layers, regions, and/or components refer to these terms It is self-evident that it should not be limited by These terms do not imply a specific order, upper and lower, or superiority, and are used only to distinguish one member, region, region, or component from another member, region, region, or component. Accordingly, a first member, region, region, or component to be described below may refer to a second member, region, region, or component without departing from the teachings of the present disclosure. For example, without departing from the scope of the present disclosure, a first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

달리 정의되지 않는 한, 여기에 사용되는 모든 용어들은 기술 용어와 과학 용어를 포함하여 본 개시의 개념이 속하는 기술 분야에서 통상의 지식을 가진 자가 공통적으로 이해하고 있는 바와 동일한 의미를 지닌다. 또한, 통상적으로 사용되는, 사전에 정의된 바와 같은 용어들은 관련되는 기술의 맥락에서 이들이 의미하는 바와 일관되는 의미를 갖는 것으로 해석되어야 하며, 여기에 명시적으로 정의하지 않는 한 과도하게 형식적인 의미로 해석되어서는 아니 될 것이다.Unless defined otherwise, all terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the concepts of this disclosure belong, including technical and scientific terms. In addition, commonly used terms as defined in the dictionary should be construed as having a meaning consistent with their meaning in the context of the relevant technology, and unless explicitly defined herein, in an overly formal sense. shall not be interpreted.

어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들면, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 수행될 수도 있다.In cases where certain embodiments may be implemented otherwise, a specific process sequence may be performed different from the described sequence. For example, two processes described in succession may be performed substantially simultaneously, or may be performed in an order opposite to the described order.

첨부한 도면에 있어서, 예를 들면, 제조 기술 및/또는 공차에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 개시의 기술적 사상에 의한 실시예들은 본 개시에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면, 제조 과정에서 초래되는 형상의 변화를 포함하여야 한다. 도면 상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고, 이들에 대한 중복된 설명은 생략한다.In the accompanying drawings, variations of the illustrated shapes can be expected, for example depending on manufacturing technology and/or tolerances. Accordingly, embodiments according to the technical spirit of the present disclosure should not be construed as being limited to the specific shape of the region shown in the present disclosure, but should include, for example, a change in shape resulting from a manufacturing process. The same reference numerals are used for the same components in the drawings, and duplicate descriptions thereof are omitted.

여기에서 사용된 '및/또는' 용어는 언급된 부재들의 각각 및 하나 이상의 모든 조합을 포함한다.As used herein, the term 'and/or' includes each and every combination of one or more of the recited elements.

이하에서는 첨부한 도면들을 참조하여 본 개시의 기술적 사상에 의한 실시예들에 대해 상세히 설명한다.Hereinafter, embodiments according to the technical spirit of the present disclosure will be described in detail with reference to the accompanying drawings.

도 1은 본 개시의 예시적 실시예에 따른 호흡 모니터링 시스템의 개념도이다.1 is a conceptual diagram of a respiration monitoring system according to an exemplary embodiment of the present disclosure.

도 1을 참조하면, 본 개시에 따른 호흡 모니터링 시스템은 모니터링 대상자(10)의 신체와 접촉하지 않고, 열화상을 이용하여 모니터링 대상자(10)의 호흡 상태(예컨대 수면 중 호흡 상태 등)를 모니터링하도록 구현될 수 있다.Referring to FIG. 1 , the respiratory monitoring system according to the present disclosure is to monitor the respiratory state (eg, breathing state during sleep) of the monitored subject 10 using a thermal image without contact with the body of the monitored subject 10 . can be implemented.

이러한 호흡 모니터링 시스템은 열화상 획득 장치(20) 및 호흡 모니터링 장치(100)를 포함할 수 있다.The respiration monitoring system may include a thermal image acquisition device 20 and a respiration monitoring device 100 .

열화상 획득 장치(20)는, 모니터링 대상자(10)의 호흡 중, 특히 호기(날숨) 시 가스(이산화탄소 등)가 배출되는 영역(호기 영역)을 포함하는 열화상(TI)을 획득할 수 있다. 열화상(Thermogram Image)은 어떠한 표면에서 방사되는 적외선의 측정에 의해 얻어진 표면의 온도분포를 컬러 또는 흑백의 농담(짙고 옅음)으로 표시하는 화상을 의미할 수 있다. The thermal image acquisition device 20 may acquire a thermal image (TI) including a region (exhalation region) in which gas (carbon dioxide, etc.) is discharged during respiration of the monitored subject 10, particularly during exhalation (exhalation). . A thermal image may refer to an image in which a temperature distribution of a surface obtained by measurement of infrared rays emitted from a certain surface is displayed in color or in black and white tones (dark and light).

예컨대, 열화상 획득 장치(20)는 적외선 센서를 포함하는 적외선 카메라로 구현될 수 있다. 본 개시의 실시예에 따르면, 열화상 획득 장치(20)는 체온 및 호기 온도에 대응하는 파장과 근접한 파장 대역을 갖는 중파장 적외선(Mid-Wavelength Infrared, MWIR) 카메라로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 호흡 모니터링 시스템은 서로 다른 위치에서 모니터링 대상자(10)를 향하도록 배치되는 복수의 열화상 획득 장치(20)를 포함할 수도 있다. 이 경우, 호흡 모니터링 장치(100)는 복수의 열화상 획득 장치(20)로부터 획득되는 열화상들 중, 호기 영역과 모니터링 대상자(10)의 신체 영역(얼굴 영역 등)의 중첩 정도가 낮은 적어도 하나의 열화상을 이용하여 호흡 상태를 모니터링할 수 있다.For example, the thermal image acquisition apparatus 20 may be implemented as an infrared camera including an infrared sensor. According to an embodiment of the present disclosure, the thermal image acquisition device 20 may be implemented as a mid-wavelength infrared (MWIR) camera having a wavelength band close to a wavelength corresponding to body temperature and expiration temperature, but is limited thereto. it is not going to be In addition, the respiratory monitoring system may include a plurality of thermal image acquisition devices 20 arranged to face the monitoring target 10 at different positions. In this case, the respiration monitoring apparatus 100 may include at least one of the thermal images obtained from the plurality of thermal image acquisition apparatuses 20 having a low overlapping degree between the exhalation area and the body area (face area, etc.) of the subject 10 to be monitored. Respiratory status can be monitored using the thermal image of

호흡 모니터링 장치(100)는, 열화상 획득 장치(20)로부터 열화상(TI)을 획득하고, 획득된 열화상(TI)에 기초하여 모니터링 대상자(10)의 호흡 상태를 모니터링할 수 있다. 호흡 모니터링 장치(100)는 모니터링 결과에 기초하여 모니터링 대상자(10)의 수면 중 호흡 습관에 대한 정보를 제공하거나, 호흡 상태에 기초한 건강 상태 정보를 제공할 수 있다. 또한, 호흡 모니터링 장치(100)는 모니터링 중 이상 호흡, 특히 무호흡이 검출되는 경우 실시간 알림을 제공하여 관리자 등으로 하여금 적절한 조치를 취하도록 유도할 수 있다.The respiration monitoring apparatus 100 may acquire a thermal image TI from the thermal image acquisition apparatus 20 and monitor the respiration state of the subject 10 to be monitored based on the acquired thermal image TI. Respiratory monitoring device 100 may provide information on the breathing habit during sleep of the monitoring target 10 based on the monitoring result, or may provide health status information based on the breathing state. In addition, the respiration monitoring device 100 may induce an administrator or the like to take appropriate measures by providing a real-time notification when abnormal respiration, particularly apnea, is detected during monitoring.

이러한 호흡 모니터링 장치(100)는 PC, 노트북, 서버, 스마트폰, 태블릿 PC 등의 다양한 컴퓨팅 장치로 구현될 수 있다. 또한, 실시 예에 따라서는 열화상 획득 장치(20)와 호흡 모니터링 장치(100)가 일체의 디바이스로서 구현될 수도 있다.The respiration monitoring device 100 may be implemented in various computing devices such as a PC, a notebook computer, a server, a smart phone, and a tablet PC. In addition, according to an embodiment, the thermal image acquisition apparatus 20 and the respiration monitoring apparatus 100 may be implemented as an integrated device.

도 2는 본 개시의 예시적 실시예에 따른 호흡 모니터링 장치의 제어 구성을 간략히 나타낸 블록도이다.2 is a block diagram schematically illustrating a control configuration of a respiration monitoring device according to an exemplary embodiment of the present disclosure.

도 2를 참조하면, 호흡 모니터링 장치(100)는 통신 인터페이스(110), 제어부(120), 메모리(130), 및 출력부(140)를 포함할 수 있다. 다만 호흡 모니터링 장치(100)가 도 2에 도시된 제어 구성들만을 포함하도록 구현되는 것은 아니다. 따라서, 호흡 모니터링 장치(100)는 도 2에 도시된 제어 구성들보다 많거나 적은 구성들을 포함하도록 구현될 수도 있다.Referring to FIG. 2 , the respiration monitoring device 100 may include a communication interface 110 , a control unit 120 , a memory 130 , and an output unit 140 . However, the breathing monitoring device 100 is not implemented to include only the control components shown in FIG. Accordingly, the respiration monitoring device 100 may be implemented to include more or less configuration than the control configuration shown in FIG.

통신 인터페이스(110)는, 열화상 획득 장치(20)와 호흡 모니터링 장치(100) 간의 데이터 송수신을 가능하게 하는 적어도 하나의 통신 모듈을 포함할 수 있다. 예컨대 상기 적어도 하나의 통신 모듈은 기 공지된 다양한 유/무선 통신 방식을 지원하는 모듈을 포함할 수 있다. 호흡 모니터링 장치(100)는 상기 통신 인터페이스(110)를 통해, 열화상 획득 장치(20)로부터 열화상을 수신할 수 있다.The communication interface 110 may include at least one communication module that enables data transmission/reception between the thermal image acquisition device 20 and the respiration monitoring device 100 . For example, the at least one communication module may include a module supporting various known wired/wireless communication methods. The respiratory monitoring apparatus 100 may receive a thermal image from the thermal image acquisition device 20 through the communication interface 110 .

실시 예에 따라, 상기 통신 인터페이스(110)는 호흡 모니터링 장치(100)를 서버나 다른 단말기와 연결하기 위한 통신 모듈을 더 포함할 수도 있다. 이 경우, 호흡 모니터링 장치(100)는 모니터링 대상자(10)에 대해 검출된 호흡 패턴이나 이상 호흡에 대한 정보를 상기 통신 인터페이스(110)를 통해 서버나 다른 단말기로 전송할 수도 있다. According to an embodiment, the communication interface 110 may further include a communication module for connecting the respiration monitoring device 100 to a server or other terminal. In this case, the respiration monitoring device 100 may transmit information on a respiration pattern or abnormal respiration detected for the monitoring subject 10 to a server or other terminal through the communication interface 110 .

제어부(120)는, 호흡 모니터링 장치(100)의 전반적인 동작을 제어할 수 있다. 이러한 제어부(120)는 적어도 하나의 프로세서로 구현될 수 있고, 상기 적어도 하나의 프로세서는 CPU, AP(application processor), DSP(digital signal processor), 마이컴(또는 마이크로컴퓨터), ASIC(application specific integrated circuit) 등을 포함할 수 있다.The controller 120 may control the overall operation of the respiration monitoring apparatus 100 . The controller 120 may be implemented as at least one processor, and the at least one processor includes a CPU, an application processor (AP), a digital signal processor (DSP), a microcomputer (or microcomputer), and an application specific integrated circuit (ASIC). ) and the like.

본 개시의 실시예에 따른 제어부(120)는 열화상 획득 장치(20)로부터 수신한 열화상으로부터 호흡 신호를 추출하는 호흡 신호 추출부(122)와, 추출된 호흡 신호를 이용하여 모니터링 대상자(10)에 대한 호흡 패턴 및/또는 이상 호흡을 검출하는 이상호흡 검출부(124)를 포함할 수 있다. 상기 호흡 신호 추출부(122) 및 이상호흡 검출부(124)는 제어부(120) 내의 동일 또는 상이한 프로세서와 대응할 수 있다.The control unit 120 according to an embodiment of the present disclosure includes a respiration signal extraction unit 122 that extracts a respiration signal from the thermal image received from the thermal image acquisition device 20, and a monitoring target 10 using the extracted respiration signal. ) may include an abnormal breathing detection unit 124 for detecting a breathing pattern and / or abnormal breathing for. The respiration signal extraction unit 122 and abnormal respiration detection unit 124 may correspond to the same or different processors within the control unit 120 .

메모리(130)는, 호흡 모니터링 장치(100)의 각종 제어 동작을 위한 제어 데이터, 명령들, 및 알고리즘 등을 포함할 수 있다. 예컨대, 메모리(130)는 열화상으로부터 호흡 신호를 추출하기 위한 명령들 및/또는 알고리즘을 저장할 수 있고, 호흡 신호 추출부(122)는 상기 저장된 명령들 및/또는 알고리즘을 이용하여 상기 열화상으로부터 호흡 신호를 추출할 수 있다.The memory 130 may include control data, commands, and algorithms for various control operations of the respiration monitoring device 100 . For example, the memory 130 may store instructions and/or an algorithm for extracting a respiration signal from the thermal image, and the respiration signal extraction unit 122 uses the stored instructions and/or algorithm to extract the respiration signal from the thermal image. Respiratory signals can be extracted.

또한, 메모리(130)는 상기 추출된 호흡 신호를 이용하여 호흡 패턴 및/또는 이상 호흡을 검출하기 위한 명령들 및/또는 알고리즘을 저장할 수 있다. 특히, 본 개시의 실시예에 따르면, 메모리(130)는 인공지능 기반의 심층 학습 방법에 따라 구현된 호흡 패턴 분류기(132)를 저장할 수 있고, 이상호흡 검출부(124)는 호흡 패턴 분류기(132)를 이용하여 상기 호흡 패턴 및/또는 이상 호흡을 검출할 수 있다.Also, the memory 130 may store instructions and/or an algorithm for detecting a breathing pattern and/or abnormal breathing using the extracted breathing signal. In particular, according to an embodiment of the present disclosure, the memory 130 may store the breathing pattern classifier 132 implemented according to the artificial intelligence-based deep learning method, and the abnormal respiration detection unit 124 is the breathing pattern classifier 132 . can be used to detect the breathing pattern and/or abnormal breathing.

한편, 호흡 패턴 분류기(132)는 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 호흡 패턴 분류기(132)가 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현되는 경우, 메모리(130)는 호흡 패턴 분류기(132)의 적어도 일부를 저장할 수 있다. 반면, 호흡 패턴 분류기(132)가 하드웨어 또는 하드웨어와 소프트웨어의 조합으로 구현되는 경우, 이상호흡 검출부(124)는 호흡 패턴 분류기(132)의 적어도 일부를 포함할 수도 있다. 호흡 패턴 분류기(132)와 관련된 구체적인 예에 대해서는 추후 도 13을 통해 후술하기로 한다.Meanwhile, the breathing pattern classifier 132 may be implemented as hardware, software, or a combination thereof. When the breathing pattern classifier 132 is implemented as software or a combination of hardware and software, the memory 130 may store at least a portion of the breathing pattern classifier 132 . On the other hand, when the respiration pattern classifier 132 is implemented as hardware or a combination of hardware and software, the abnormal respiration detection unit 124 may include at least a portion of the respiration pattern classifier 132 . A specific example related to the breathing pattern classifier 132 will be described later with reference to FIG. 13 .

이러한 메모리(130)는 적어도 하나의 휘발성 메모리 및 비휘발성 메모리를 포함할 수 있다. 또한, 실시 예에 따라 메모리(130)는 열화상 획득 장치(20)로부터 획득된 열화상 및 상기 열화상에 기초하여 획득되는 호흡 신호가 저장되는 데이터베이스까지도 포함할 수 있다.The memory 130 may include at least one volatile memory and a non-volatile memory. In addition, according to an embodiment, the memory 130 may include a database in which a thermal image acquired from the thermal image acquisition device 20 and a respiration signal acquired based on the thermal image are stored.

출력부(140)는 호흡 모니터링 장치(100)의 동작과 관련된 정보를 출력할 수 있다. 예컨대, 출력부(140)는 열화상 획득 장치(20)로부터 수신한 열화상, 상기 열화상으로부터 추출된 호흡 신호, 및/또는 상기 호흡 신호에 기초하여 검출되는 호흡 패턴이나 이상 호흡에 대한 정보를 출력할 수 있다. 이러한 출력부(140)는 디스플레이, 스피커, 광원 등의 출력 수단을 포함할 수 있다.The output unit 140 may output information related to the operation of the respiration monitoring apparatus 100 . For example, the output unit 140 receives the thermal image received from the thermal image acquisition device 20, a respiration signal extracted from the thermal image, and/or information on a respiration pattern or abnormal respiration detected based on the respiration signal. can be printed out. The output unit 140 may include output means such as a display, a speaker, and a light source.

이하, 도 3 내지 도 14를 참조하여, 본 개시에 따른 호흡 모니터링 장치(100)의 동작을 상세히 설명하기로 한다.Hereinafter, with reference to FIGS. 3 to 14, the operation of the breathing monitoring apparatus 100 according to the present disclosure will be described in detail.

도 3은 본 개시의 예시적 실시예에 따른 호흡 모니터링 장치의 호흡 상태 모니터링 및 이상 호흡 검출 동작을 설명하기 위한 플로우차트이다. 도 4는 본 개시의 예시적 실시예에 따른 호흡 모니터링 장치가 열화상으로부터 호흡 관심 영역을 선택하는 동작의 일례를 설명하기 위한 도면이다.3 is a flowchart for explaining the respiratory state monitoring and abnormal respiration detection operation of the respiration monitoring device according to an exemplary embodiment of the present disclosure. 4 is a view for explaining an example of the operation of the respiratory monitoring device according to an exemplary embodiment of the present disclosure to select a respiration region of interest from a thermal image.

도 3을 참조하면, 호흡 모니터링 장치(100)는 열화상 획득 장치(20)로부터 열화상을 획득할 수 있다(S300).Referring to FIG. 3 , the respiration monitoring apparatus 100 may acquire a thermal image from the thermal image acquisition apparatus 20 ( S300 ).

도 1에서 상술한 바와 같이, 상기 열화상은 모니터링 대상자(10)의 호흡에 따른 호기 영역을 포함할 수 있다. 열화상 획득 장치(20)는 기설정된 시간 동안(예컨대 모니터링 대상자(10)의 수면 시간 등) 지속적으로 열화상을 획득할 수 있다. 호흡 모니터링 장치(100)는 통신 인터페이스(110)를 통해 상기 열화상을 수신(예컨대 실시간 수신)할 수 있다. 상기 열화상은 초당 복수 개의 프레임(예를 들어, 30 프레임 또는 60 프레임 등)을 갖는 동영상 형태로 제공될 수 있으나, 이에 한정되는 것은 아니다.As described above in FIG. 1 , the thermal image may include an expiratory area according to the respiration of the monitored subject 10 . The thermal image acquisition apparatus 20 may continuously acquire a thermal image for a preset time (eg, the sleeping time of the monitoring subject 10 ). Respiration monitoring device 100 may receive (eg, real-time reception) the thermal image through the communication interface (110). The thermal image may be provided in the form of a moving picture having a plurality of frames per second (eg, 30 frames or 60 frames, etc.), but is not limited thereto.

호흡 모니터링 장치(100)는, 획득된 열화상으로부터 호흡 관심 영역을 선택할 수 있다(S310). The respiration monitoring apparatus 100 may select a respiration region of interest from the obtained thermal image (S310).

상기 호흡 관심 영역은 모니터링 대상자(10)의 호기(날숨) 시 코와 입으로부터 가스(이산화탄소 등)가 배출되는 영역을 포함할 수 있다. 구체적으로, 상기 호흡 관심 영역은 모니터링 대상자(10)의 얼굴 영역과 관련되고, 얼굴 영역의 중심(centroid)에 대응하는 코와 입의 위치 및 방향과 관련될 수 있다.The breathing area of interest may include an area in which gases (such as carbon dioxide) are discharged from the nose and mouth during exhalation (exhalation) of the monitored subject 10 . Specifically, the breathing region of interest may be related to the face region of the subject 10 to be monitored, and may be related to the position and direction of the nose and mouth corresponding to the centroid of the face region.

이에 기초하여, 제어부(120)(호흡 신호 추출부(122))는 수신된 열화상으로부터 모니터링 대상자(10)의 얼굴 영역을 인식하고, 인식된 얼굴 영역의 중심(centroid)을 측정하여 상기 호흡 관심 영역을 선택할 수 있다.Based on this, the control unit 120 (respiratory signal extraction unit 122) recognizes the face region of the monitored subject 10 from the received thermal image, measures the centroid of the recognized face region, and the breathing interest You can select an area.

상기 호흡 관심 영역의 선택과 관련된 구체적인 일례에 대해 이하 도 4를 통해 설명한다.A specific example related to the selection of the breathing region of interest will be described below with reference to FIG. 4 .

도 4를 참조하면, 제어부(120)는 열화상 획득 장치(20)로부터 수신한 열화상(TI)으로부터 얼굴 영역(FR)을 검출할 수 있다(S410). Referring to FIG. 4 , the controller 120 may detect the face region FR from the thermal image TI received from the thermal image acquisition apparatus 20 ( S410 ).

일반적으로, 영상으로부터 얼굴 영역을 검출하는 방법으로는 얼굴 영역 내의 밝기 차를 이용하는 Viola-Jones 알고리즘이 널리 사용된다. Viola-Jones 알고리즘은 얼굴에 해당하는 영역에 대해 하-라이크 특징(Haar-like Feautre)을 구하고 이를 cascade 학습하여, 새로운 영상에서 같은 특징을 갖는 위치를 추적하는 방식이다.In general, as a method of detecting a face region from an image, the Viola-Jones algorithm using a difference in brightness within the face region is widely used. The Viola-Jones algorithm is a method of finding a Haar-like feature for an area corresponding to a face, learning it cascade, and tracking a location with the same feature in a new image.

그러나, 본 개시에 따른 열화상(TI)은 얼굴의 측면을 촬영하므로 상술한 하-라이크 특징은 적절하지 않을 수 있다. 또한, 열화상(TI)은 일반적인 영상과는 다른 정보(온도 정보)를 포함하는 바, 기존 학습된 얼굴 검출기를 이용하기 어려울 수 있다.However, since the thermal image TI according to the present disclosure captures a side surface of a face, the above-described lower-like feature may not be appropriate. In addition, since the thermal image TI includes information (temperature information) different from that of a general image, it may be difficult to use the previously learned face detector.

따라서, 본 개시에 따른 호흡 모니터링 장치(100)는 Viola-Jones 알고리즘에 기반하되, HOG(Histogram of Oriented Gradients) 특징을 사용하여 cascade 학습함으로써 얼굴 영역(FR)을 검출할 수 있다. 상기 HOG는 엣지의 실루엣 정보를 이용하는 특징을 가질 수 있다. 열화상(TI)의 경우 배경과 모니터링 대상자(10) 간의 구분이 일반 영상에 비해 명확하고, 사람의 옆모습은 대부분 유사한 특징을 가질 수 있다. 따라서, 제어부(120)는 열화상(TI)으로부터 얼굴의 옆모습의 윤곽(또는 실루엣) 정보에 대응하는 HOG 특징을 추출하고, 추출된 HOG 특징에 Viola-Jones 알고리즘을 적용하여 얼굴 영역(FR)을 검출할 수 있다.Therefore, the breathing monitoring apparatus 100 according to the present disclosure is based on the Viola-Jones algorithm, but can detect the face region (FR) by cascade learning using the Histogram of Oriented Gradients (HOG) feature. The HOG may have a feature of using edge silhouette information. In the case of a thermal image (TI), the distinction between the background and the subject 10 to be monitored is clearer than that of a general image, and most of the profile of a person may have similar characteristics. Accordingly, the controller 120 extracts HOG features corresponding to contour (or silhouette) information of the profile of the face from the thermal image TI, and applies the Viola-Jones algorithm to the extracted HOG features to determine the face region (FR). can be detected.

호흡 모니터링 장치(100)는 추출된 얼굴 영역(FR)에 기초하여 호흡 관심 영역(Breathing ROI(Region of Interest))을 선택할 수 있다(S420).The breathing monitoring apparatus 100 may select a breathing region of interest (ROI) based on the extracted face region FR (S420).

일례로, 제어부(120)는 열화상(TI) 또는 얼굴 영역(FR)에 대해 최대 온도와 최소 온도를 이용한 영상 정규화를 통해 흑백 영상(TI')을 구할 수 있다. 제어부(120)는 흑백 영상(TI')으로부터 얼굴 블롭을 추출할 수 있다. 예컨대, 제어부(120)는 Otsu 알고리즘을 이용하여 배경과 얼굴을 구분함으로써 얼굴 블롭을 추출할 수 있으나, 다른 공지된 다양한 알고리즘이 활용될 수도 있다.For example, the controller 120 may obtain the black-and-white image TI′ through image normalization using the maximum temperature and the minimum temperature for the thermal image TI or the face region FR. The controller 120 may extract a face blob from the black-and-white image TI'. For example, the controller 120 may extract the face blob by separating the background from the face using the Otsu algorithm, but various other well-known algorithms may be used.

제어부(120)는 추출된 얼굴 블롭에 기초하여 무게 중심(centroid)을 산출하고, 산출된 무게 중심의 위치를 기준점으로 하여 상기 얼굴 블롭이 추출된 열화상(TI'')으로부터 호흡 관심 영역(BRI)을 선택할 수 있다. The controller 120 calculates a centroid based on the extracted facial blob, and uses the calculated position of the center of gravity as a reference point to obtain a breathing region of interest (BRI) from the thermal image TI'' from which the facial blob is extracted. ) can be selected.

S310 단계는 연속적으로 수신되는 열화상(TI)의 기설정된 시간 주기(또는 프레임 주기)마다 수행되거나, 매 프레임마다 수행될 수 있다. 또는, S310 단계는 모니터링 대상자(10)의 움직임 크기가 기설정된 크기를 초과하는 경우마다 수행될 수 있다. S310 단계가 수행되지 않는 특정 프레임에 대해, 제어부(120)는 이전 선택된 호흡 관심 영역(BRI)에 대응하는 영역을 상기 특정 프레임의 호흡 관심 영역으로 선택할 수 있다.Step S310 may be performed every preset time period (or frame period) of the continuously received thermal images TI, or may be performed every frame. Alternatively, step S310 may be performed whenever the movement size of the monitoring target 10 exceeds a preset size. With respect to a specific frame in which step S310 is not performed, the controller 120 may select a region corresponding to the previously selected breathing region of interest (BRI) as the breathing region of interest of the specific frame.

상술한 실시예에 따르면, 호흡 모니터링 장치(100)는 사람의 옆모습이 촬영된 열화상으로부터, 호기 영역을 포함하는 호흡 관심 영역(BRI)의 영상을 보다 정확하게 선택할 수 있다.According to the above-described embodiment, the respiration monitoring apparatus 100 may more accurately select an image of a respiration region of interest (BRI) including an exhalation region from a thermal image in which a profile of a person is captured.

다시 도 3을 설명한다.Fig. 3 will be described again.

호흡 모니터링 장치(100)는 열화상 신호를 평탄화할 수 있다(S320).Respiration monitoring device 100 may flatten the thermal image signal (S320).

열화상 획득 장치(20)의 각 화소는 개별적인 온도센서로서 동작하는 바, 상호간의 측정 오차를 가질 수 있다. 또한, 각 화소의 민감도나 열화상 획득 장치(20)의 냉각기 떨림 등의 다양한 요소에 의해 열화상 신호에 노이즈 성분이 포함될 수 있다. 상기 측정 오차의 최소화 및 노이즈 성분의 제거를 위해, 호흡 모니터링 장치(100)는 열화상 신호(또는 호흡 관심 영역에 대응하는 열화상 신호)의 평탄화를 수행할 수 있다. 예컨대, 제어부(120)는 사비츠키-골레이(Savizky-Golay) 평탄화 필터링을 이용하여 상기 열화상 신호 또는 호흡 관심 영역의 열화상 신호를 평탄화할 수 있다. Each pixel of the thermal image acquisition device 20 operates as an individual temperature sensor, and thus may have a measurement error between them. Also, a noise component may be included in the thermal image signal due to various factors such as the sensitivity of each pixel or the vibration of the cooler of the thermal image acquisition apparatus 20 . In order to minimize the measurement error and remove the noise component, the respiration monitoring apparatus 100 may perform flattening of the thermal image signal (or the thermal image signal corresponding to the respiration region of interest). For example, the controller 120 may planarize the thermal image signal or the thermal image signal of the respiration ROI by using Savizky-Golay flattening filtering.

한편, S320 단계는 실시예에 따라 수행되지 않을 수도 있고, S300 단계와 S310 단계 사이의 시점에 수행될 수도 있다.Meanwhile, step S320 may not be performed according to an embodiment, or may be performed at a time point between steps S300 and S310.

호흡 모니터링 장치(100)는 호흡 관심 영역으로부터 호기 기류 영상을 획득할 수 있다(S330).The respiration monitoring apparatus 100 may acquire an expiratory airflow image from the respiration ROI (S330).

호흡 관심 영역(BRI)의 열화상 신호에는, 호기 기류에 의한 온도 성분뿐만 아니라 배경 온도(background temperature) 성분이나 대기 온도(air temperature) 변화 성분까지도 포함될 수 있어, 호기 기류의 정확한 추출이 용이하지 않다. 따라서, 제어부(120)는 호흡 관심 영역(BRI)의 열화상(열화상 신호)으로부터, 호기 기류에 의한 온도 성분 이외의 다른 성분을 제거한 호기 기류 영상(호기 기류 영상 신호)을 획득할 수 있다.The thermal image signal of the respiration region of interest (BRI) may include not only a temperature component due to the exhaled air flow, but also a background temperature component or a change component of the air temperature, so it is not easy to accurately extract the exhaled air flow . Accordingly, the controller 120 may obtain an expiratory airflow image (expiratory airflow image signal) in which components other than the temperature component due to the expiratory airflow are removed from the thermal image (thermal image signal) of the respiration region of interest (BRI).

S330 단계에 대해서는 추후 도 5 내지 도 8c를 통해 보다 상세히 설명하기로 한다.Step S330 will be described in more detail later with reference to FIGS. 5 to 8C .

호흡 모니터링 장치(100)는 획득된 호기 기류 영상으로부터 호흡 신호를 추출할 수 있다(S340).Respiration monitoring apparatus 100 may extract a respiration signal from the acquired image of the expiratory air flow (S340).

제어부(120)는 S330 단계에 따라 획득된 호기 기류 영상(호기 기류 영상 신호)으로부터, 모니터링 대상자(10)의 호흡 특성을 나타내는 호흡 신호를 추출할 수 있다.The control unit 120 may extract a respiration signal representing the respiratory characteristics of the monitored subject 10 from the expiratory airflow image (expiratory airflow image signal) obtained in step S330.

본 개시의 실시예에 따르면, 제어부(120)는 모니터링 대상자(10)의 얼굴로부터의 거리에 따라 복수의 영역들을 구분하고, 구분된 복수의 영역들 각각에 대한 온도 변화를 측정할 수 있다. 제어부(120)는 측정된 온도 변화에 기초한 각 영역별 호기량을 나타내는 호흡 신호를 추출할 수 있다. 상기 호흡 신호는 시간에 따라 변화하는 각 영역별 호기량 정보를 나타내는 다차원 벡터로 구성될 수 있다. S340 단계에 대해서는 추후 도 9 내지 도 12를 참조하여 보다 상세히 설명하기로 한다.According to an embodiment of the present disclosure, the controller 120 may classify a plurality of regions according to a distance from the face of the subject to be monitored 10 , and measure a change in temperature for each of the plurality of divided regions. The control unit 120 may extract a respiration signal indicating the expiratory volume for each area based on the measured temperature change. The respiration signal may be composed of a multidimensional vector representing information on the expiratory volume for each area that changes with time. Step S340 will be described in more detail later with reference to FIGS. 9 to 12 .

호흡 모니터링 장치(100)는, 추출된 호흡 신호에 기초하여 호흡 패턴을 분류하고, 이상 호흡을 검출할 수 있다(S350).The respiration monitoring apparatus 100 may classify a respiration pattern based on the extracted respiration signal and detect abnormal respiration (S350).

제어부(120)(이상호흡 검출부(124))는, 추출된 호흡 신호를 호흡 패턴 분류기(132)에 입력하여, 입력된 호흡 신호에 대응하는 호흡 패턴에 대한 분류 결과를 획득함으로써, 모니터링 대상자(10)의 호흡 상태를 모니터링할 수 있다. 예컨대 상기 호흡 패턴은 정상 호흡(eupnea), 호흡 과도(hyperpnea), 호흡저하(hypopnea), 빈호흡(tachypnea), 완서호흡(느린 호흡(bradypnea)), 호흡 곤란(dyspnea), 기침(cough) 등을 포함할 수 있다.The control unit 120 (abnormal respiration detection unit 124) inputs the extracted respiration signal to the respiration pattern classifier 132, and obtains a classification result for a respiration pattern corresponding to the input respiration signal, thereby monitoring the subject 10 ) can be monitored. For example, the breathing pattern may include normal breathing (eupnea), respiratory transient (hyperpnea), respiratory depression (hypopnea), tachypnea, slow breathing (slow breathing (bradypnea)), dyspnea, cough (cough), etc. may include

일례로, 호흡 패턴 분류기(132)는 심층 학습(deep learning)에 따라 구현될 수 있다. 특히, 상기 호흡 신호는 시간에 따라 변화하는 다차원 벡터이고, 호흡 패턴은 특정 시점만의 데이터만이 아니라 소정 시간 동안의 데이터 변화를 고려하여 분류될 수 있는 정보이다. 따라서, 본 개시의 실시예에 따른 호흡 패턴 분류기(132)는 기존의 피드포워드(feedforward) 방식의 신경망이 아닌, 순환신경망(Recurrent Neural Network, RNN), 장단기기억 신경망(Long Short-Term Memory, LSTM), 게이트 순환 유닛(Gate Recurrent Unit, GRU) 등에 기반한 심층 기계학습에 따라 구현될 수 있다.As an example, the breathing pattern classifier 132 may be implemented according to deep learning. In particular, the respiration signal is a multidimensional vector that changes with time, and the respiration pattern is information that can be classified in consideration of data change for a predetermined time as well as data only at a specific time. Therefore, the breathing pattern classifier 132 according to an embodiment of the present disclosure is not a conventional feedforward neural network, but a Recurrent Neural Network (RNN), a Long Short-Term Memory (LSTM) ), and can be implemented according to deep machine learning based on a gate recurrent unit (GRU).

제어부(120)는 호흡 패턴에 대한 분류 결과를 메모리(130)에 저장하거나, 출력부(140)를 통해 출력할 수 있다. 또는, 제어부(120)는 상기 분류 결과를 통신 인터페이스(110)를 통해 외부의 서버나 단말기로 전송할 수도 있다.The controller 120 may store the classification result for the breathing pattern in the memory 130 or output it through the output unit 140 . Alternatively, the controller 120 may transmit the classification result to an external server or terminal through the communication interface 110 .

또한, 제어부(120)는 호흡 패턴 분류기(132)로부터 이상 호흡이 검출되는 경우, 출력부(140)를 통해 알림을 출력하거나, 통신 인터페이스(110)를 통해 관리자의 단말기 등으로 알림을 전송함으로써, 관리자로 하여금 모니터링 대상자(10)에 대한 적절한 조치를 취하도록 유도할 수도 있다.In addition, when abnormal respiration is detected from the breathing pattern classifier 132, the control unit 120 outputs a notification through the output unit 140 or transmits a notification to the manager's terminal or the like through the communication interface 110, It may induce the manager to take appropriate action for the monitoring target 10 .

S350 단계와 관련된 구체적인 일례에 대해서는 추후 도 13을 통해 설명하기로 한다.A specific example related to step S350 will be described later with reference to FIG. 13 .

도 5는 열화상 획득 장치에 의해 획득되는 열화상에 포함되는 온도 성분들을 설명하기 위한 예시도이다. 도 6은 본 개시의 예시적 실시예에 따른 호흡 모니터링 장치가 호흡 관심 영역의 영상으로부터 호기 기류 영상을 획득하는 동작의 일례를 설명하기 위한 도면이다. 도 7은 본 개시의 예시적 실시예에 따른 호흡 모니터링 장치가 열화상으로부터 대기 온도 변화 성분을 추정하는 동작의 일례를 설명하기 위한 도면이다. 도 8a 내지 도 8c는, 도 6 내지 도 7의 실시예에 따라 열화상으로부터 대기 온도 변화 성분의 보상 및 배경 온도 성분의 보상을 통해 획득되는 호기 기류에 의한 온도 변화 성분을 보여주는 그래프의 예이다.5 is an exemplary diagram for explaining temperature components included in a thermal image acquired by a thermal image acquisition device. 6 is a view for explaining an example of an operation in which the respiratory monitoring device according to an exemplary embodiment of the present disclosure acquires an expiratory airflow image from an image of a respiration region of interest. 7 is a view for explaining an example of the operation of the respiratory monitoring device according to an exemplary embodiment of the present disclosure for estimating an atmospheric temperature change component from a thermal image. 8A to 8C are graphs showing the temperature change component due to the exhaled air flow obtained through compensation of the atmospheric temperature change component and the background temperature component compensation from the thermal image according to the embodiment of FIGS. 6 to 7 .

도 5를 참조하면, 이산화탄소는 높은 적외선 투과율을 가지므로, 열화상 획득 장치(20; 예컨대 적외선 카메라)에 의해 획득되는 열화상에는 호기 기류(이산화탄소)의 적외선, 및 호기 기류 후방의 배경의 적외선이 혼합될 수 있다. 또한, 상기 열화상에는 대기의 습도나 기압 등으로 인하여 발생하는 대기의 적외선까지도 혼합될 수 있다. 따라서, 상기 열화상으로부터 호기 기류로 인한 온도 변화만을 측정하는 것은 어려울 수 있다.Referring to FIG. 5 , since carbon dioxide has a high infrared transmittance, a thermal image acquired by the thermal image acquisition device 20 (eg, an infrared camera) includes infrared rays of an exhaled air stream (carbon dioxide) and infrared rays of a background behind the exhalation stream. can be In addition, even infrared rays of the atmosphere generated due to atmospheric humidity or atmospheric pressure may be mixed in the thermal image. Therefore, it can be difficult to measure only the temperature change due to the exhaled air flow from the thermal image.

도 6을 참조하면, 호흡 모니터링 장치(100)는 열화상(TI''), 특히 호흡 관심 영역(BRI)의 영상으로부터 배경 온도 변화 성분 및 대기 온도 변화 성분을 제거하여, 호기 기류로 인한 온도 변화 성분만을 갖는 호기 기류 영상(EFI)을 획득할 수 있다.Referring to FIG. 6 , the respiration monitoring device 100 removes the background temperature change component and the atmospheric temperature change component from the thermal image TI'', in particular, the image of the respiration region of interest (BRI), and the temperature change due to the exhaled airflow An expiratory airflow image (EFI) with only a component can be acquired.

구체적으로, 호흡 모니터링 장치(100)는 도 3의 S310 단계 및 S320 단계에서 상술한 바와 같이, 열화상으로부터 호흡 관심 영역(BRI)의 선택 및 평탄화를 수행할 수 있다(S610). Specifically, as described above in steps S310 and S320 of FIG. 3 , the respiration monitoring apparatus 100 may select and planarize the respiration region of interest (BRI) from the thermal image (S610).

호흡 모니터링 장치(100)는 선택된 영상(BRI')으로부터 대기 온도 변화 성분이 보상된 배경 영상(BRI'')을 추정할 수 있다(S620 및 S630).The respiration monitoring apparatus 100 may estimate the background image BRI'' in which the atmospheric temperature change component is compensated from the selected image BRI' (S620 and S630).

호흡 모니터링 장치(100)는 선택된 영상(BRI') 중 상기 추정된 배경 영상(BRI'')에 대응하는 성분을 제거함으로써, 호기 기류 영상(EFI)을 획득할 수 있다(S640).The respiratory monitoring apparatus 100 may obtain an expiratory airflow image EFI by removing a component corresponding to the estimated background image BRI'' from among the selected images BRI' (S640).

S620 단계 내지 S640 단계에 대해서는 도 7 내지 도 8을 통해 보다 상세히 설명한다. Steps S620 to S640 will be described in more detail with reference to FIGS. 7 to 8 .

도 7을 참조하면, 호흡 관심 영역에는 호기 기류에 의한 영향을 받지 않는 영역(이하 '호기 배제 영역'으로 정의함)이 존재할 수 있다. 상기 호기 배제 영역에 대응하는 화소에서 관찰되는 온도 변화는 배경 온도 변화 성분 및 대기 온도 변화 성분을 포함할 수 있다. 이 때, 배경의 경우 특별한 열 방출체가 주변에 존재하지 않는 이상, 온도 변화 속도가 대기에 비해 상대적으로 낮다고 가정할 수 있다. 따라서, 상기 호기 배제 영역의 온도 변화 중 상대적으로 급격한 온도 변화 성분은 대기 온도 변화 성분에 대응하는 것으로 판단할 수 있다.Referring to FIG. 7 , a region that is not affected by the expiratory airflow (hereinafter, defined as an 'exhalation exclusion region') may exist in the region of interest for respiration. The temperature change observed in the pixel corresponding to the exhalation exclusion region may include a background temperature change component and an atmospheric temperature change component. At this time, in the case of the background, unless a special heat emitter exists in the vicinity, it can be assumed that the rate of temperature change is relatively low compared to the atmosphere. Therefore, it can be determined that a relatively rapid temperature change component of the temperature change of the exhalation exclusion region corresponds to the atmospheric temperature change component.

예컨대 상기 호기 배제 영역은 얼굴 영역과 가장 멀리 이격된 영역 또는 소정 거리 이상 이격된 영역으로서, 호흡에 의한 영향을 받지 않는 영역에 해당할 수 있다. 또는, 상기 호기 배제 영역은 얼굴 영역과 소정 거리 이상 이격된 영역 중 온도 변화량이 기준량 미만인 영역에 해당할 수 있다. 그 밖에, 제어부(120)는 기설정된 다양한 방식에 따라 상기 호기 배제 영역을 선택할 수 있다.For example, the exhalation exclusion region may be a region spaced apart from the face region or a region more than a predetermined distance, and may correspond to a region not affected by respiration. Alternatively, the exhalation exclusion region may correspond to a region in which the temperature change amount is less than the reference amount among regions spaced apart from the face region by a predetermined distance or more. In addition, the control unit 120 may select the exhalation exclusion region according to various preset methods.

이에 기초하여, 호흡 모니터링 장치(100)는 열화상(TI'') 또는 상기 선택된 영상(BRI') 중, 상기 호기 배제 영역에 포함된 적어도 하나의 화소 각각의 온도 변화 정보를 획득할 수 있다(S710).Based on this, the respiration monitoring apparatus 100 may obtain temperature change information of each of at least one pixel included in the exhalation exclusion region among the thermal image TI'' or the selected image BRI' ( S710).

제어부(120)는 열화상(TI'') 또는 호흡 관심 영역(BRI')의 프레임들 각각에 대해, 상기 호기 배제 영역에 포함된 적어도 하나의 화소 각각의 온도값을 추출할 수 있다. 제어부(120)는 추출된 온도값에 기초하여, 상기 적어도 하나의 화소 각각에 대응하는 지점의 온도 변화 정보를 획득할 수 있다. 예컨대 상기 온도 변화 정보는 프레임 각각에 대한 온도값 변화를 나타내는 신호 형태를 가질 수 있으나, 실시 예에 따라 상기 온도 변화 정보는 상기 적어도 하나의 화소 각각의 프레임별 온도값(또는 전류값 등)을 나타내는 테이블이나 매트릭스 등의 형태를 가질 수도 있다.The controller 120 may extract a temperature value of each of at least one pixel included in the exhalation exclusion region from each of the frames of the thermal image TI″ or the respiration ROI BRI′. Based on the extracted temperature value, the controller 120 may obtain information on temperature change of a point corresponding to each of the at least one pixel. For example, the temperature change information may have a signal form indicating a temperature value change for each frame, but according to an embodiment, the temperature change information represents a temperature value (or current value, etc.) for each frame of each of the at least one pixel. It may have a form such as a table or a matrix.

호흡 모니터링 장치(100)는 상기 적어도 하나의 화소 각각의 온도 변화 정보를 이용하여, 열화상 내의 대기 온도 변화 성분을 추정할 수 있다.The respiration monitoring apparatus 100 may estimate the atmospheric temperature change component in the thermal image by using the temperature change information of each of the at least one pixel.

도 7의 실시예에 따르면, 제어부(120)는 상기 적어도 하나의 화소 각각의 온도 변화 정보(신호)에 대해 경험적 모드 분해(Empirical Mode Decomposition, EMD)를 활용하여, 적어도 하나의 온도 변화 정보(신호) 각각에 대한 복수 레벨의 내재 모드 함수들 및 잔차 데이터(TCDs)를 획득할 수 있다(S720).7 , the controller 120 utilizes Empirical Mode Decomposition (EMD) for the temperature change information (signal) of each of the at least one pixel, and at least one piece of temperature change information (signal) ), a plurality of levels of intrinsic mode functions and residual data (TCDs) for each may be obtained ( S720 ).

제어부(120)는 획득된 데이터(TCDs)에 포함된 내재 모드 함수들의 레벨별 평균을 산출한 평균 데이터(AVG_TCD)를 획득할 수 있다(S730). 제어부(120)는 상기 평균 데이터(AVG_TCD)에 포함된 레벨별 평균 내재 모드 함수들의 합산을 통해 상기 열화상 내의 대기 온도 변화 성분(또는 주변 온도 변화 경향성)을 추정할 수 있다. 예컨대 상기 대기 온도 변화 성분은 초기 프레임(또는 기준 프레임)의 온도를 기준으로 각 프레임에서의 대기 온도 변화량을 나타낼 수 있으나, 이에 한정되는 것은 아니다.The controller 120 may acquire average data AVG_TCD obtained by calculating the average for each level of intrinsic mode functions included in the acquired data TCDs (S730). The controller 120 may estimate the atmospheric temperature change component (or ambient temperature change tendency) in the thermal image by summing the average intrinsic mode functions for each level included in the average data AVG_TCD. For example, the atmospheric temperature change component may represent the atmospheric temperature change amount in each frame based on the temperature of the initial frame (or reference frame), but is not limited thereto.

도 8a의 그래프(810)를 함께 참조하면, 그래프(810) 내의 점선 신호는 상기 영상(BRI') 내의 임의의 화소에 대한 프레임별 온도값을 나타낼 수 있다. 제어부(120)는 상기 점선 신호에 대해 상기 추정된 대기 온도 변화 성분을 보상할 수 있다. 이에 따라, 상기 임의의 화소에 대한 프레임별 온도값은 실선 신호와 같이 그 값이 변경될 수 있다.Referring to the graph 810 of FIG. 8A together, a dotted line signal in the graph 810 may indicate a frame-by-frame temperature value of an arbitrary pixel in the image BRI'. The controller 120 may compensate for the estimated atmospheric temperature change component with respect to the dotted line signal. Accordingly, the frame-by-frame temperature value of the arbitrary pixel may be changed like a solid line signal.

도 8b의 그래프(820)를 참조하면, 호기 직전의 시점에는 모니터링 대상자(10)로부터 가스가 배출되지 않으므로, 해당 시점에 측정되는 온도는 배경 온도 성분 및 대기 온도 변화 성분만을 포함할 수 있다. 상술한 바에 따라 대기 온도 변화 성분이 보상된 경우, 해당 시점에 측정되는 온도는 배경 온도 성분만을 포함할 수 있다. 일반적으로 호기(날숨) 시 배출되는 가스(이산화탄소 등)의 온도는 대기 온도나 배경 온도보다 높으므로, 호기 직전의 시점에 측정되는 온도는 인접한 다른 시점에 측정되는 온도에 비해 낮을 수 있다.Referring to the graph 820 of FIG. 8B , since gas is not discharged from the monitored object 10 at the time point just before exhalation, the temperature measured at the time point may include only the background temperature component and the atmospheric temperature change component. When the atmospheric temperature change component is compensated for as described above, the temperature measured at the corresponding point in time may include only the background temperature component. In general, since the temperature of gases (such as carbon dioxide) discharged during exhalation (exhalation) is higher than the ambient temperature or background temperature, the temperature measured at the time immediately before exhalation may be lower than the temperature measured at other adjacent time points.

이에 기초하여, 제어부(120)는 상기 대기 온도 변화 성분이 보상된 영상의 각 화소에 대해, 기설정된 프레임 사이즈를 갖는 무빙 윈도우를 이용하여 최저 온도값들을 탐색할 수 있다. 제어부(120)는 탐색된 최저 온도값들 중 이상값(abnormal value)들을 제거하여 복수의 국소 최소값들을 추출할 수 있다. 제어부(120)는 조각별 3차 에르미트 보간 다항식(Piecewise Cubic Hermite Interpolation Polynomial) 등의 보간 방식에 따라 상기 국소 최소값들을 잇는 선분을 추정함으로써, 각 화소에 대한 배경 온도 성분을 추정할 수 있다. 제어부(120)는 각 화소에 대해 추정된 배경 온도 성분에 기초하여 배경 영상(BRI'')을 구성할 수 있다. Based on this, the controller 120 may search for the lowest temperature values for each pixel of the image for which the atmospheric temperature change component is compensated, using a moving window having a preset frame size. The controller 120 may extract a plurality of local minimum values by removing abnormal values from among the found minimum temperature values. The controller 120 may estimate a background temperature component for each pixel by estimating a line segment connecting the local minima according to an interpolation method such as a piecewise cubic Hermite interpolation polynomial. The controller 120 may configure the background image BRI″ based on the background temperature component estimated for each pixel.

도 8c의 그래프(830)를 참조하면, 제어부(120)는 상기 대기 온도 변화 성분이 보상된 영상의 각 화소에 대해, 추정된 배경 온도 성분을 제거할 수 있다. 상기 대기 온도 변화 성분 및 상기 배경 온도 성분이 제거됨에 따라, 각 화소의 프레임별 온도값은 호기 기류에 의한 온도 변화 성분만을 가질 수 있다. 제어부(120)는 각 화소에 대한 호기 기류에 의한 온도 변화 성분에 기초하여 호기 기류 영상(EFI)을 획득할 수 있다.Referring to the graph 830 of FIG. 8C , the controller 120 may remove the estimated background temperature component for each pixel of the image for which the atmospheric temperature change component is compensated. As the atmospheric temperature change component and the background temperature component are removed, the temperature value for each frame of each pixel may have only a temperature change component due to the exhaled air flow. The control unit 120 may acquire an expiratory airflow image EFI based on a temperature change component due to an expiratory airflow for each pixel.

도 8a의 점선 신호와 도 8c의 신호를 비교하면, 도 8c의 신호에서 상대적으로 규칙적인 온도 변화가 관찰될 수 있다. 즉 호흡 모니터링 장치(100)는 상술한 방법에 따라 대기 온도 변화 성분 및 배경 온도 성분이 제거된 열화상을 획득함으로써, 호기 기류에 의한 온도 변화를 보다 정확히 측정할 수 있다.Comparing the dotted line signal of FIG. 8A and the signal of FIG. 8C , a relatively regular temperature change can be observed in the signal of FIG. 8C . That is, the respiration monitoring device 100 may more accurately measure the temperature change due to the exhaled air flow by acquiring a thermal image from which the atmospheric temperature change component and the background temperature component are removed according to the above-described method.

도 9는 정상 호흡 시 획득되는 열화상의 예들을 나타내고, 도 10은 이상 호흡 시 획득되는 열화상의 예들을 나타낸다. 도 11은 호흡 패턴의 분류를 위해 호기 영역에 정의되는 복수의 계층들의 예를 나타낸다. 도 12는 도 11에 따라 정의된 복수의 계층들에 기초하여 획득되는 다차원 벡터로 구성된 호흡 신호의 예를 나타낸다.9 shows examples of thermal images acquired during normal breathing, and FIG. 10 shows examples of thermal images acquired during abnormal breathing. 11 shows an example of a plurality of layers defined in an exhalation region for classification of a breathing pattern. 12 shows an example of a respiration signal composed of a multidimensional vector obtained based on a plurality of layers defined according to FIG. 11 .

도 9의 (a)와 (b)에 도시된 정상 호흡 열화상들(900, 910)을 비교하면, 정상 호흡에 대해 다양한 형태의 호기 기류(902, 912)가 관찰됨을 알 수 있다. 또한, 도 10의 (a)와 (b)에 도시된 이상 호흡 열화상들(1000, 1010)을 비교하면, 이상 호흡에 대해서도 다양한 형태의 호기 기류(1002, 1012)가 관찰됨을 알 수 있다. 따라서, 다양한 형태의 호기 기류들에 대해 호흡 패턴을 보다 정확히 분류하기 위한 방법이 필요할 수 있다.Comparing the normal breathing thermal images 900 and 910 shown in FIGS. In addition, when comparing the abnormal respiration thermal images 1000 and 1010 shown in FIGS. Therefore, there may be a need for a method for more accurately classifying breathing patterns for various types of exhaled airflow.

도 11을 참조하면, 제어부(120)는 호흡 관심 영역의 열화상(예컨대 도 6의 BRI')을 이용하여, 모니터링 대상자(10)의 얼굴로부터의 거리에 따라 호기 영역 내에 복수의 영역들(R1 내지 R7)을 설정할 수 있다. 일례로, 제어부(120)는 상기 얼굴의 모양을 타원으로 근사하고, 얼굴로부터의 거리에 따라 타원 호 형태로 복수의 영역들(R1 내지 R7)을 설정할 수 있다. 상기 복수의 영역들(R1 내지 R7) 각각은 서로 동일한 간격을 갖도록 설정될 수 있다. 도 11에서는 7개의 영역들이 설정된 예가 도시되어 있으나, 영역들의 수나 간격 등은 다양하게 변형될 수 있다.Referring to FIG. 11 , the control unit 120 uses a thermal image (eg, BRI' in FIG. 6 ) of the breathing region of interest, to determine a plurality of regions R1 in the exhalation region according to the distance from the face of the monitored subject 10 . to R7) can be set. For example, the controller 120 may approximate the shape of the face as an ellipse, and set a plurality of regions R1 to R7 in the form of an elliptical arc according to a distance from the face. Each of the plurality of regions R1 to R7 may be set to have the same distance from each other. Although an example in which seven regions are set is illustrated in FIG. 11 , the number and spacing of the regions may be variously modified.

제어부(120)는 상기 설정된 복수의 영역들(R1 내지 R7)을 도 6에서 획득된 호기 기류 영상(EFI)에 적용하고, 복수의 영역들(R1 내지 R7) 각각의 호기량 벡터를 포함하는 호흡 신호를 생성할 수 있다. 예컨대, 제어부(120)는 소정 영역(예컨대 제1 영역(R1))에 포함된 화소들 각각의 온도값을 시간별로(또는 프레임별로) 합산할 수 있다. 상기 화소들 각각의 온도값을 합산한 값이 클수록, 해당 영역에 존재하는 호기 기류의 양(이하 '호기량'이라 정의함)이 많을 수 있다. 이에 기초하여, 제어부(120)는 합산된 값을 이용하여 상기 소정 영역(제1 영역(R1))에 대한 호기량 벡터를 생성할 수 있다. 따라서, 상기 호기량 벡터는 시간(또는 프레임)의 경과에 따른 호기량의 변화를 보여줄 수 있다. The control unit 120 applies the set plurality of regions (R1 to R7) to the expiratory airflow image (EFI) obtained in FIG. 6 , and a respiratory signal including an expiratory volume vector of each of the plurality of regions (R1 to R7) can create For example, the controller 120 may sum the temperature values of each of the pixels included in the predetermined region (eg, the first region R1 ) by time (or by frame). As the sum of the temperature values of each of the pixels increases, the amount of expiratory airflow (hereinafter, referred to as 'expiratory volume') existing in the corresponding area may be large. Based on this, the controller 120 may generate an expiratory volume vector for the predetermined region (the first region R1) by using the summed value. Accordingly, the expiratory volume vector can show the change in the expiratory volume over time (or frame).

도 12를 함께 참조하면, 제어부(120)는 복수의 영역들(R1 내지 R7) 각각의 호기량 벡터를 종합한 호흡 신호(1200)를 생성할 수 있다. 상기 호흡 신호(1200)는 복수의 영역들(R1 내지 R7) 각각의 호기량 변화를 나타내는 다차원 벡터로 구현될 수 있다. 도 12에 도시된 특징들(feature1 내지 feature7)은 영역들(R1 내지 R7)에 서로 대응하며, 각 시점에서의 호기량을 나타낼 수 있다. Referring to FIG. 12 together, the control unit 120 may generate a respiration signal 1200 by synthesizing the expiratory volume vectors of each of the plurality of regions R1 to R7. The respiration signal 1200 may be implemented as a multidimensional vector representing changes in the expiratory volume of each of the plurality of regions R1 to R7. The features (feature1 to feature7) shown in FIG. 12 correspond to each other in the regions (R1 to R7), and may indicate an expiratory volume at each time point.

복수의 영역들(R1 내지 R7)의 호기량 변화는 호흡 패턴에 따라 달라질 수 있다. 예컨대 기침(cough)의 경우 정상 호흡(eupnea)에 비해 호기량이 많고, 호기 기류의 속도가 빠를 수 있다. 이와 같이, 호흡 모니터링 장치(100)는 각 호흡 패턴에 대한 특성을 이용하여, 호흡 신호로부터 호흡 패턴을 분류할 수 있다.Changes in the expiratory volume of the plurality of regions R1 to R7 may vary depending on the breathing pattern. For example, in the case of a cough, the expiratory volume may be greater and the expiratory air flow rate may be faster than that of normal respiration (eupnea). As such, the respiration monitoring apparatus 100 may classify a respiration pattern from a respiration signal by using a characteristic for each respiration pattern.

도 13은 본 개시의 예시적 실시예에 따른 호흡 모니터링 장치가, 호흡 패턴 분류기를 이용하여 호흡 신호로부터 호흡 패턴을 분류하는 동작을 설명하기 위한 도면이다. 도 14는 본 개시의 예시적 실시예에 따라 구현된 호흡 패턴 분류기를 이용하여 실험 데이터에 대한 호흡 패턴을 분류하였을 때 측정되는 분류 정확도를 나타낸 표이다. 13 is a view for explaining the operation of the respiration monitoring apparatus according to an exemplary embodiment of the present disclosure to classify a respiration pattern from a respiration signal using a respiration pattern classifier. 14 is a table showing classification accuracy measured when a breathing pattern for experimental data is classified using a breathing pattern classifier implemented according to an exemplary embodiment of the present disclosure.

본 개시의 실시예에 따르면, 호흡 모니터링 장치(100)는 호흡 신호(1200)로부터 호흡 패턴을 분류하기 위한 호흡 패턴 분류기(132)를 포함할 수 있다. 도 2에서 상술한 바와 같이, 호흡 패턴 분류기(132)는 인공지능 기반의 심층 학습 방법(딥러닝)에 따라 구현될 수 있고, 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다.According to an embodiment of the present disclosure, the respiration monitoring device 100 may include a respiration pattern classifier 132 for classifying a respiration pattern from the respiration signal 1200 . As described above in FIG. 2 , the breathing pattern classifier 132 may be implemented according to an artificial intelligence-based deep learning method (deep learning), and may be implemented as hardware, software, or a combination thereof.

또한, 도 3에서 상술한 바와 같이 호흡 패턴 분류기(132)는 기존의 피드포워드(feedforward) 방식의 신경망이 아닌, RNN, LSTM, GRU 등에 기반한 심층 기계학습에 따라 구현될 수 있다. 이하 본 명세서에서는 호흡 패턴 분류기(132)가 LSTM에 따라 구현된 것으로 가정하여 설명한다.In addition, as described above in FIG. 3 , the breathing pattern classifier 132 may be implemented according to deep machine learning based on RNN, LSTM, GRU, etc., rather than a conventional feedforward neural network. Hereinafter, in the present specification, it is assumed that the breathing pattern classifier 132 is implemented according to the LSTM.

도 13을 참조하면, LSTM에 따라 구현된 호흡 패턴 분류기(132)는 호흡 신호(1200)가 입력되는 입력 계층(input layer), 입력된 신호(데이터)를 이용한 학습이 수행되는 LSTM 계층(LSTM layer), 입력된 호흡 신호(1200)로부터 각 호흡 패턴별 확률을 결정하는 fully connected 계층 및 softmax 계층, 및 결정된 확률에 기초하여 입력된 호흡 신호(1200)에 대한 호흡 패턴을 분류하는 분류 계층(classification layer)을 포함할 수 있다.Referring to FIG. 13 , the breathing pattern classifier 132 implemented according to the LSTM is an input layer to which the breathing signal 1200 is input, and an LSTM layer in which learning using the input signal (data) is performed (LSTM layer). ), a fully connected layer and a softmax layer that determine a probability for each breathing pattern from the input respiration signal 1200, and a classification layer that classifies a respiration pattern for the input respiration signal 1200 based on the determined probability ) may be included.

도 14를 참조하면, LSTM은 일반적인 RNN에 비해, 길이가 긴 시계열 데이터에 대해서도 효과적인 처리가 가능하다. 호흡 패턴의 검출과 관련하여, 호흡 신호(1200)는 소정 시간 동안 시계열적으로 획득된 다수의 열화상 프레임들로부터 추출되는 신호이다. 따라서, 본 개시의 실시예에 따른 호흡 패턴 분류기(132)는 LSTM 기반으로 구현되어 다수의 시계열 데이터를 갖는 호흡 신호(1200)로부터 높은 정확도의 호흡 패턴 분류 결과를 제공할 수 있다.Referring to FIG. 14 , compared to a general RNN, the LSTM can effectively process time-series data having a long length. In relation to the detection of the respiration pattern, the respiration signal 1200 is a signal extracted from a plurality of thermal image frames acquired time-sequentially for a predetermined time. Therefore, the breathing pattern classifier 132 according to an embodiment of the present disclosure is implemented based on LSTM to provide a high-accuracy breathing pattern classification result from the breathing signal 1200 having a plurality of time series data.

제어부(120)는 호흡 패턴 분류기(132)의 분류 결과에 기초한 다양한 동작을 수행할 수 있다. 예컨대, 제어부(120)는 모니터링 대상자(10)의 수면 시간 동안 획득되는 호흡 패턴의 데이터에 기초하여, 모니터링 대상자(10)의 건강과 관련된 정보를 출력부(140)를 통해 출력하거나, 통신 인터페이스(110)를 통해 서버 또는 다른 단말기로 전송할 수 있다.The controller 120 may perform various operations based on the classification result of the breathing pattern classifier 132 . For example, the control unit 120 outputs information related to the health of the monitored subject 10 through the output unit 140, or a communication interface ( 110) through the server or other terminal.

실시예에 따라, 제어부(120)는 호흡 패턴 분류기(132)의 분류 결과에 기초하여 특정 종류의 이상 호흡이 검출되거나(예컨대 호흡 곤란(dyspnea) 등), 이상 호흡이 기설정된 빈도 이상 반복되거나 지속되는 경우, 상기 이상 호흡이 검출되었음을 나타내는 알림을 출력부(140)를 통해 출력할 수 있다. 또는 제어부(120)는 상기 알림에 대응하는 신호 또는 정보를 통신 인터페이스(110)를 통해 서버 또는 다른 단말기로 전송할 수 있다. According to an embodiment, the controller 120 detects a specific type of abnormal respiration based on the classification result of the respiration pattern classifier 132 (eg, dyspnea, etc.), or the abnormal respiration is repeated or continued more than a preset frequency In this case, a notification indicating that the abnormal respiration has been detected may be output through the output unit 140 . Alternatively, the controller 120 may transmit a signal or information corresponding to the notification to a server or another terminal through the communication interface 110 .

도 11 내지 도 14의 실시예에 따르면, 호흡 모니터링 장치(100)는 모니터링 대상자(10)의 호기 영역을 복수의 영역들(R1 내지 R7)로 구분하여 다차원 벡터 형태의 호흡 신호를 추출함으로써, 호흡 패턴의 분류를 위한 데이터를 효과적으로 획득할 수 있다.According to the embodiment of Figures 11 to 14, the respiration monitoring device 100 by dividing the exhalation region of the monitored subject 10 into a plurality of regions (R1 to R7) and extracting a respiration signal in the form of a multidimensional vector, respiration Data for classification of patterns can be effectively acquired.

또한, 호흡 모니터링 장치(100)는 딥러닝 기반의 신경망, 특히 LSTM 등의 시계열 데이터를 효과적으로 처리할 수 있는 형태의 신경망으로 구현되는 호흡 패턴 분류기(132)를 포함함으로써, 비접촉 방식에 따라 획득된 호흡 신호로부터 호흡 패턴을 보다 정확히 분류할 수 있다.In addition, the breathing monitoring device 100 includes a deep learning-based neural network, in particular, a breathing pattern classifier 132 implemented as a neural network in a form that can effectively process time-series data such as LSTM, respiration acquired according to a non-contact method It is possible to more accurately classify breathing patterns from signals.

상기한 실시 예들의 설명은 본 개시의 더욱 철저한 이해를 위하여 도면을 참조로 예를 든 것들에 불과하므로, 본 개시의 기술적 사상을 한정하는 의미로 해석되어서는 안될 것이다. Since the descriptions of the above embodiments are merely those given with reference to the drawings for a more thorough understanding of the present disclosure, they should not be construed as limiting the technical spirit of the present disclosure.

또한, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 개시의 기본적 원리를 벗어나지 않는 범위 내에서 다양한 변화와 변경이 가능함은 명백하다 할 것이다.In addition, it will be apparent to those of ordinary skill in the art to which the present disclosure pertains that various changes and modifications can be made without departing from the basic principles of the present disclosure.

Claims

a communication interface connected to the thermal image acquisition device to receive a thermal image including a subject to be monitored;
From the thermal image, selecting a breathing area of interest including an expiratory area in which gas is discharged during exhalation of the monitored subject,
Obtaining an expiratory airflow image by processing a thermal image corresponding to the selected respiration region of interest;
a control unit for extracting a respiration signal from the acquired expiratory airflow image; and
When the respiration signal is input, comprising a respiration pattern classifier learned to provide a classification result of a respiration pattern corresponding to the respiration signal,
Respiratory monitoring device.

According to claim 1,
The control unit is
Recognizing the face region of the monitoring subject from the thermal image, and selecting the breathing region of interest based on the recognized face region,
Respiratory monitoring device.

3. The method of claim 2,
The control unit is
calculating the centroid of the recognized face region,
Selecting the breathing area of interest using the calculated position of the center of gravity as a reference point,
Respiratory monitoring device.

According to claim 1,
The control unit is
obtaining the expiratory airflow image by removing an atmospheric temperature change component and a background temperature component from the thermal image of the respiration region of interest,
Respiratory monitoring device.

5. The method of claim 4,
The control unit is
acquiring temperature change information of each of at least one pixel included in an exhalation exclusion region among the thermal images of the respiration region of interest;
estimating the atmospheric temperature change component from the obtained at least one temperature change information;
removing the estimated atmospheric temperature change component from the thermal image of the respiration region of interest,
Respiratory monitoring device.

6. The method of claim 5,
The control unit is
extracting a plurality of local minimum values for each of the pixels of the thermal image from which the atmospheric temperature change component has been removed,
estimating the background temperature component through interpolation of a plurality of extracted local minima;
Respiratory monitoring device.

According to claim 1,
The control unit is
For the exhalation area, set a plurality of areas according to the distance from the face of the monitored subject,
From the expiratory airflow image, generating an expiratory volume vector of each of the plurality of regions, and extracting a respiration signal including the generated plurality of expiratory volume vectors,
Respiratory monitoring device.

8. The method of claim 7,
The control unit is
For a first area among the plurality of areas, the temperature values of each of the pixels included in the first area are summed for each time or frame,
generating an expiratory volume vector for the first region based on the summed values;
Respiratory monitoring device.

According to claim 1,
The breathing pattern classifier,
For the respiration signal, output any one of the preset respiration patterns as a classification result,
The breathing patterns include normal breathing and abnormal breathing,
The abnormal breathing includes at least one of hyperpnea, hypopnea, tachypnea, bradypnea, dyspnea, and cough.
Respiratory monitoring device.

According to claim 1,
The breathing pattern classifier is implemented according to deep machine learning based on any one of a long short-term memory (LSTM), a recurrent neural network (RNN), and a gate recurrent unit (GRU),
Respiratory monitoring device.

According to claim 1,
Further comprising an output unit for outputting a classification result of the breathing pattern or a notification corresponding to the classification result,
Respiratory monitoring device.

receiving, from a thermal image acquisition device, a thermal image including a subject to be monitored;
selecting, from the received thermal image, a breathing region of interest including an expiratory region in which gas is discharged during exhalation of the monitored subject;
obtaining an expiratory airflow image by processing a thermal image corresponding to the selected respiration region of interest;
extracting a respiration signal from the expiratory airflow image; and
Through a breathing pattern classifier learned to provide a classification result of a breathing pattern corresponding to the breathing signal, comprising the step of obtaining a classification result of the breathing pattern corresponding to the extracted breathing signal,
Respiratory monitoring method.

13. The method of claim 12,
The step of selecting the region of interest for breathing comprises:
recognizing the face region of the monitored subject from the thermal image;
calculating a center of gravity of the recognized face region; and
Using the calculated position of the center of gravity as a reference point, comprising the step of selecting the breathing area of interest according to a predefined method,
Respiratory monitoring method.

13. The method of claim 12,
Acquiring the expiratory airflow image comprises:
obtaining the expiratory airflow image by removing an atmospheric temperature change component and a background temperature change component from the thermal image of the respiration region of interest,
Respiratory monitoring method.

13. The method of claim 12,
The step of extracting the respiration signal,
establishing a plurality of regions for the exhaled region;
summing the temperature values of each of the pixels included in each of the plurality of regions by time or by frame; and
Based on the summed values, generating an expiratory volume vector for each of the plurality of regions, comprising the step of extracting the respiration signal including the generated plurality of expiratory volume vectors,
Respiratory monitoring method.

13. The method of claim 12,
The breathing pattern classifier is implemented according to deep machine learning based on any one of a long short-term memory (LSTM), a recurrent neural network (RNN), and a gate recurrent unit (GRU),
Respiratory monitoring method.