KR20210054860A

KR20210054860A - Apparatus and method for detecting breathing

Info

Publication number: KR20210054860A
Application number: KR1020190141052A
Authority: KR
Inventors: 이의철; 김진만; 황현상
Original assignee: 상명대학교산학협력단
Priority date: 2019-11-06
Filing date: 2019-11-06
Publication date: 2021-05-14
Also published as: KR102261580B1

Abstract

The present invention relates to a technology for measuring respiration and, more particularly, to a technology for measuring respiration based on a video. According to an embodiment of the present invention, the respiration of a user can be measured through an image captured by a camera, and the respiration of the user can be measured without attaching a separate sensor to a body of the user. An apparatus for measuring respiration comprises an input part, a feature point extraction part, a motion vector calculation part, a cluster setting part, and a respiration measuring part.

Description

Breathing measuring device and method {APPARATUS AND METHOD FOR DETECTING BREATHING}

본 발명은 호흡 측정 기술에 관한 것으로, 보다 상세하게는 동영상 기반의 호흡 측정 기술에 관한 것이다. The present invention relates to a respiration measurement technology, and more particularly, to a video-based respiration measurement technology.

호흡수와 같은 생체신호는 인체의 건강상태를 가장 간편하게 진단할 수 있는 요소 중 하나이다. 주로 환자에게 호흡기를 부착하여 지속적으로 환자의 호흡을 측정하는 방식이 널리 사용되고 있다.Bio-signals such as respiration rate are one of the most convenient factors for diagnosing the health of the human body. Mainly, a method of continuously measuring the patient's breath by attaching a respirator to the patient is widely used.

하지만, 산소 마스크와 호흡 상태 모니터링 장치를 연결하는 많은 수의 연결 선으로 인해 의사 등의 사람의 동선에 제약을 주는 등의 불편한 점이 있어 호흡 측정을 위한 환경이 제약되는 점이 있다.However, due to the large number of connecting lines connecting the oxygen mask and the breathing condition monitoring device, there is an inconvenience, such as restricting the movement of people such as doctors, and thus the environment for breath measurement is limited.

본 발명의 배경기술은 대한민국 공개특허 제10-2016-0024887호에 개시되어 있다.The background technology of the present invention is disclosed in Korean Patent Application Publication No. 10-2016-0024887.

본 발명은 사용자의 신체에 별도의 센서를 부착하지 않고 사용자의 호흡을 측정하는 호흡 측정 장치 및 방법을 제공한다. The present invention provides a breathing measuring apparatus and method for measuring the user's breath without attaching a separate sensor to the user's body.

본 발명의 일 측면에 따르면, 호흡 측정 장치가 제공된다.According to an aspect of the present invention, a breathing measuring device is provided.

본 발명의 일 실시 예에 따른 호흡 측정 장치는 영상을 입력 받는 입력부, 상기 영상에서 특징점을 추출하는 특징점 추출부, 상기 특징점에 대한 모션 벡터 그룹을 산출하는 모션 벡터 산출부, 상기 모션 벡터 그룹에 대한 들숨 클러스터 및 날숨 클러스터를 설정하는 클러스터 설정부 및 상기 들숨 클러스터의 모션 벡터와 날숨 클러스터의 모션 벡터의 비율에 따라 호흡 측정 정보를 생성하는 호흡 측정부를 포함할 수 있다. The respiration measurement apparatus according to an embodiment of the present invention includes an input unit for receiving an image, a feature point extracting unit for extracting a feature point from the image, a motion vector calculation unit for calculating a motion vector group for the feature point, and the motion vector group. It may include a cluster setting unit for setting an inhalation cluster and an exhalation cluster, and a respiration measurement unit for generating respiration measurement information according to a ratio of the motion vector of the inhalation cluster and the motion vector of the exhalation cluster.

상기 호흡 측정 장치는 상기 모션 벡터 그룹에서 이상점 데이터를 제거하는 이상점 데이터 제거부를 더 포함할 수 있다.The respiration measurement device may further include an outlier data removal unit that removes outlier data from the motion vector group.

상기 이상점 데이터 제거부는 상기 모션 벡터 그룹의 전체 모션 벡터 중 크기가 작은 순서대로 미리 지정된 비율 이하의 크기를 가지는 모션 벡터를 상기 모션 벡터 그룹으로부터 제거할 수 있다.The outlier data removal unit may remove, from the motion vector group, motion vectors having a size equal to or less than a predetermined ratio in order of smallest size among all motion vectors of the motion vector group.

상기 들숨 클러스터는 방향이 상측 방향인 모션 벡터를 포함하는 클러스터이고, 상기 날숨 클러스터는 방향이 하측 방향인 모션 벡터를 포함하는 클러스터일 수 있다.The inhalation cluster may be a cluster including a motion vector in an upward direction, and the exhalation cluster may be a cluster including a motion vector in a downward direction.

본 발명의 다른 측면에 따르면, 호흡 측정 방법이 제공된다.According to another aspect of the present invention, a method for measuring respiration is provided.

본 발명의 일 실시 예에 따른 호흡 측정 방법은 영상을 입력 받는 단계, 상기 영상에서 특징점을 추출하는 단계, 상기 특징점에 대한 모션 벡터 그룹을 산출하는 단계, 상기 모션 벡터 그룹에 대한 들숨 클러스터 및 날숨 클러스터를 설정하는 단계 및 상기 들숨 클러스터의 모션 벡터와 날숨 클러스터의 모션 벡터의 비율에 따라 호흡 측정 정보를 생성하는 단계를 포함할 수 있다.Respiration measurement method according to an embodiment of the present invention includes receiving an image, extracting a feature point from the image, calculating a motion vector group for the feature point, an inhalation cluster and an exhalation cluster for the motion vector group. And generating respiration measurement information according to a ratio of the motion vector of the inhalation cluster and the motion vector of the exhalation cluster.

상기 호흡 측정 방법은 상기 모션 벡터 그룹에서 이상점 데이터를 제거하는 단계를 더 포함할 수 있다.The respiration measurement method may further include removing outlier data from the motion vector group.

상기 모션 벡터 그룹에서 이상점 데이터를 제거하는 단계는 상기 모션 벡터 그룹의 전체 모션 벡터 중 크기가 작은 순서대로 미리 지정된 비율 이하의 크기를 가지는 모션 벡터를 상기 모션 벡터 그룹으로부터 제거하는 단계일 수 있다.The step of removing outlier data from the motion vector group may be a step of removing motion vectors having a size equal to or less than a predetermined ratio among all motion vectors of the motion vector group in a small order from the motion vector group.

본 발명의 또 다른 측면에 따르면, 호흡 측정 방법을 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램이 제공된다.According to another aspect of the present invention, there is provided a computer program that executes a respiration measurement method and is recorded on a computer-readable recording medium.

본 발명의 일 실시 예에 따르면, 카메라로 촬영된 영상을 통해 사용자의 호흡을 측정할 수 있다.According to an embodiment of the present invention, a user's respiration may be measured through an image captured by a camera.

또한, 본 발명의 일 실시 예에 따르면, 사용자의 신체에 별도의 센서를 부착하지 않고 사용자의 호흡을 측정할 수 있다.In addition, according to an embodiment of the present invention, it is possible to measure the user's respiration without attaching a separate sensor to the user's body.

또한, 본 발명의 일 실시 예에 따르면, 영유아 등의 지속적인 센서의 부착이 어려운 사용자에 대해서도 호흡을 측정할 수 있다.In addition, according to an embodiment of the present invention, it is possible to measure respiration even for a user who is difficult to attach a continuous sensor, such as an infant.

또한, 본 발명의 일 실시 예에 따르면, 원거리에 설치된 카메라를 통해 사용자의 호흡을 측정하여 호흡 측정 장치의 설치에 대한 공간적인 제약을 줄일 수 있다.In addition, according to an embodiment of the present invention, it is possible to reduce a spatial restriction on the installation of the breathing measuring device by measuring the user's breath through a camera installed at a distance.

도 1은 본 발명의 일 실시 예에 따른 호흡 측정 장치를 예시한 도면.
도 2는 본 발명의 일 실시 예에 따른 호흡 측정 장치가 수신한 영상을 나타낸 도면.
도 3은 본 발명의 일 실시 예에 따른 호흡 측정 장치가 라플라시안 가우시안 필터를 적용한 이미지를 예시한 도면.
도 4는 본 발명의 일 실시 예에 따른 호흡 측정 장치가 추출한 특징점 및 그 특징점이 어떻게 이동했는지에 대한 모션 정보를 직선으로 표현한 도면.
도 5는 본 발명의 일 실시 예에 따른 호흡 측정 장치가 추출한 특징점의 모션을 방향 및 크기에 따라 나타낸 산포도.
도 6은 본 발명의 일 실시 예에 따른 호흡 측정 장치가 이용하는 클러스터링 방법을 예시한 도면.
도 7은 본 발명의 일 실시 예에 따른 호흡 측정 장치가 클러스터링한 결과를 예시한 산포도.
도 8은 본 발명의 일 실시 예에 따른 호흡 측정 장치가 산출한 들숨 클러스터와 날숨 클러스터의 비율을 예시한 그래프.
도 9는 본 발명의 일 실시 예에 따른 호흡 측정 장치가 호흡을 측정하는 방법을 예시한 순서도.1 is a view illustrating a respiration measurement device according to an embodiment of the present invention.
2 is a view showing an image received by the breathing measuring apparatus according to an embodiment of the present invention.
3 is a diagram illustrating an image to which a Laplacian Gaussian filter is applied by a respiration measuring apparatus according to an embodiment of the present invention.
4 is a view in which a feature point extracted by a respiration measuring apparatus according to an embodiment of the present invention and motion information on how the feature point has moved are expressed in a straight line.
5 is a scatter diagram showing motion of feature points extracted by the breathing measuring apparatus according to an embodiment of the present invention according to directions and sizes.
6 is a diagram illustrating a clustering method used by the breathing measuring apparatus according to an embodiment of the present invention.
7 is a scatter diagram illustrating a result of clustering of the respiratory measurement apparatus according to an embodiment of the present invention.
8 is a graph illustrating a ratio of an inhalation cluster and an exhalation cluster calculated by a respiration measuring apparatus according to an embodiment of the present invention.
9 is a flow chart illustrating a method of measuring respiration by the respiratory measurement device according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.In the present invention, various modifications may be made and various embodiments may be provided. Specific embodiments are illustrated in the drawings and will be described in detail through detailed description. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the present invention, when it is determined that a detailed description of a related known technology may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, the singular expressions used in the specification and claims are to be construed as meaning "one or more" in general, unless otherwise stated.

이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, and in the description with reference to the accompanying drawings, the same or corresponding components are assigned the same reference numbers, and redundant descriptions thereof will be omitted. It should be.

도 1내지 도 8은 본 발명의 일 실시 예에 따른 호흡 측정 장치를 설명하기 위한 도면들이다.1 to 8 are views for explaining a respiration measurement apparatus according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 호흡 측정 장치는 입력부(110), 특징점 추출부(120), 모션 벡터 산출부(130), 이상점 데이터 제거부(140), 클러스터 설정부(150) 및 호흡 측정부(160)를 포함한다.Referring to FIG. 1, the respiration measurement apparatus according to an embodiment of the present invention includes an input unit 110, a feature point extraction unit 120, a motion vector calculation unit 130, an outlier data removal unit 140, and a cluster setting unit. It includes (150) and a respiration measurement unit (160).

입력부(110)는 네트워크 또는 단자를 통해 사용자를 촬영한 영상을 입력 받는다. 이 때, 입력부(110)가 수신한 영상은 가시광선 카메라로 촬영된 영상일 수 있다. 예를 들어, 영상은 도 2의 210과 같이 날숨 때의 영상(210)과 들숨 때의 영상(220)을 포함할 수 있다. 입력부(110)는 영상을 특징점 추출부(120)로 전송한다.The input unit 110 receives an image of a user through a network or a terminal. In this case, the image received by the input unit 110 may be an image captured by a visible light camera. For example, the image may include an image 210 during exhalation and an image 220 during inhalation, as shown in 210 of FIG. 2. The input unit 110 transmits the image to the feature point extraction unit 120.

특징점 추출부(120)는 영상으로부터 특징점을 추출한다. 예를 들어, 특징점 추출부(120)는 영상의 이미지를 순차적으로 다운 샘플링(down sampling)한 이미지 피라미드(image pyramid)에 라플라시안 가우시안 필터(Laplacian of Gaussian filter, LoG filter)를 하기의 수학식 1과 같이 적용하여 특징점을 산출할 수 있다. The feature point extraction unit 120 extracts feature points from an image. For example, the feature point extraction unit 120 applies a Laplacian of Gaussian filter (LoG filter) to an image pyramid in which an image of an image is sequentially down-sampled, as shown in Equation 1 below. It can be applied together to calculate the feature point.

[수학식 1][Equation 1]

이 때, x, y는 이미지의 픽셀 위치,

는 표준 편차를 의미한다.In this case, x and y are the pixel positions of the image,

Means standard deviation.

즉, 특징점 추출부(120)는 도 3과 같이 라플라시안 가우시안 필터를 적용한 이미지에서 도 4와 같이 경계 영역에 해당하는 특징점을 산출할 수 있다. 특징점 추출부(120)는 특징점을 나타내는 특징점 정보를 모션 벡터 산출부(130)로 전송한다.That is, the feature point extracting unit 120 may calculate a feature point corresponding to the boundary region as shown in FIG. 4 from the image to which the Laplacian Gaussian filter is applied as shown in FIG. 3. The feature point extraction unit 120 transmits feature point information indicating the feature point to the motion vector calculation unit 130.

모션 벡터 산출부(130)는 특징점에 대한 모션 벡터 집합을 생성한다. 예를 들어, 모션 벡터 산출부(130)는 하기의 수학식 2에 따라 각 모션 벡터를 생성할 수 있다.The motion vector calculator 130 generates a set of motion vectors for feature points. For example, the motion vector calculator 130 may generate each motion vector according to Equation 2 below.

[수학식 2][Equation 2]

이 때, 이미지 I와 이미지 내의 임의의 특징점에 대해

는 x축에 대한 이미지 I의 변화량이고,

는 y축에 대한 이미지 I의 변화량이고,

는 y축에 대한 이미지 I의 변화량이고, q는 특징점으로부터 일정 영역 내의 주변 픽셀들이다.At this time, for image I and any feature point in the image

Is the amount of change in image I with respect to the x-axis,

Is the amount of change in image I with respect to the y-axis,

Is the amount of change in image I with respect to the y-axis, and q is the surrounding pixels within a certain area from the feature point.

모션 벡터 산출부(130)에서 생성한 모션 벡터 집합은 도 4의 경계 영역에 해당하는 특징점에 대한 모션 벡터로서, 들숨 및 날숨에 의한 상체의 움직임이 각각 일정한 방향을 나타내어 모션 벡터의 분석을 통해 들숨 및 날숨 여부를 판단할 수 있다. 모션 벡터 산출부(130)는 모션 벡터를 이상점 데이터 제거부(140)로 전송한다.The set of motion vectors generated by the motion vector calculation unit 130 is a motion vector for a feature point corresponding to the boundary area of FIG. 4, and the motion of the upper body by inhalation and exhalation indicates a constant direction, respectively, and inhalation through analysis of the motion vector. And it is possible to determine whether or not to exhale. The motion vector calculation unit 130 transmits the motion vector to the outlier data removal unit 140.

이상점 데이터 제거부(140)는 모션 벡터 산출부(130)가 생성한 전체 모션 벡터 집합 중 호흡 측정에 불필요한 이상점 데이터를 제거한다. 도 4와 같이 특징점 중 일부는 움직임이 거의 없는 배경 영역에 위치한다. 움직임이 거의 없는 특징점은 호흡 측정에 불필요한 요소이기 때문에 해당 특징점에 대응하는 모션 벡터는 제거될 필요가 있다. 이상점 데이터 제거부(140)는 모션 벡터의 크기가 모션 벡터 그룹에 포함된 전체 모션 벡터 중 크기가 작은 순서대로 미리 지정된 비율(예를 들어, 75%) 이하의 크기를 가지는 모션 벡터를 이상점 데이터로 판단하고, 이상점 데이터를 모션 벡터 집합에서 제거한다. 이상점 데이터 제거부(140)가 이상점 데이터를 제거한 모션 벡터 집합의 각 모션 벡터를 방향 및 크기에 따라 나타내면 도 5와 같이 나타낼 수 있다. 이상점 데이터 제거부(140)는 이상점 데이터가 제거된 모션 벡터 집합을 클러스터 설정부(150)로 전송한다.The outlier data removal unit 140 removes outlier data unnecessary for respiration measurement among the entire set of motion vectors generated by the motion vector calculation unit 130. As shown in FIG. 4, some of the feature points are located in a background area where there is little movement. Since a feature point with little motion is an unnecessary element for respiration measurement, the motion vector corresponding to the feature point needs to be removed. The outlier data removal unit 140 selects a motion vector having a size equal to or less than a predetermined ratio (eg, 75%) in the order of smallest size among all motion vectors included in the motion vector group. It is determined as data, and outlier data is removed from the motion vector set. If the outlier data removal unit 140 represents each motion vector of the motion vector set from which the outlier data has been removed according to a direction and a size, it may be represented as shown in FIG. 5. The outlier data removal unit 140 transmits the motion vector set from which the outlier data has been removed to the cluster setting unit 150.

클러스터 설정부(150)는 모션 벡터 집합에서 들숨 클러스터 및 날숨 클러스터를 설정한다. 예를 들어, 클러스터 설정부(150)는 Density-based spatial clustering of applications with noise(DBSCAN)과 같이 임의의 모션 벡터와 해당 모션 벡터로부터 일정 간격 내에 존재하는 다른 데이터를 하나의 클러스터로 정의하는 밀도 기반 클러스터링 방법을 통해 모션 벡터의 크기 및 방향을 기준으로 도 6과 같이 모션 벡터 집합에 대한 들숨 클러스터 및 날숨 클러스터를 설정할 수 있다. 이 때, 들숨 클러스터는 방향이 상측 방향인 모션 벡터를 포함하는 클러스터이고, 날숨 클러스터는 방향이 하측 방향인 모션 벡터를 포함하는 클러스터일 수 있다. 즉, 클러스터 설정부(150)는 도 5와 같은 모션 벡터 집합에 관해 클러스터링을 수행하여 도 7의 빨간 점과 파란 점으로 나타낸 들숨 클러스터 및 날숨 클러스터를 설정할 수 있다. 클러스터 설정부(150)는 설정된 들숨 클러스터 및 날숨 클러스터를 나타내는 클러스터 정보를 생성하여 호흡 측정부(160)로 전송한다.The cluster setting unit 150 sets an inhalation cluster and an exhalation cluster in a motion vector set. For example, the cluster setting unit 150 defines an arbitrary motion vector and other data within a certain interval from the motion vector as a single cluster, such as Density-based spatial clustering of applications with noise (DBSCAN). Through the clustering method, an inhalation cluster and an exhalation cluster for a motion vector set may be set as shown in FIG. 6 based on the size and direction of the motion vector. In this case, the inhalation cluster may be a cluster including a motion vector whose direction is an upward direction, and the exhalation cluster may be a cluster including a motion vector whose direction is a downward direction. That is, the cluster setting unit 150 may perform clustering on the motion vector set as shown in FIG. 5 to set the inhalation cluster and the exhalation cluster indicated by red dots and blue dots of FIG. 7. The cluster setting unit 150 generates cluster information representing the set inhalation cluster and the exhalation cluster and transmits the generated cluster information to the respiration measurement unit 160.

호흡 측정부(160)는 들숨 클러스터 및 날숨 클러스터에 포함된 모션 벡터의 비율에 따라 사용자의 현재 호흡 상태를 들숨 또는 날숨으로 판단하여 호흡 측정 정보를 생성한다. 예를 들어, 호흡 측정부(160)는 도 8과 같이 일반적인 정현파의 호흡 가이드라인과 유사한 형상을 보이는 들숨 클러스터 및 날숨 클러스터의 비율의 변화에 따른 호흡 측정 정보를 생성할 수 있다.The respiration measurement unit 160 determines the current breathing state of the user as inhalation or exhalation according to the ratio of the motion vector included in the inhalation cluster and the exhalation cluster to generate breath measurement information. For example, the respiration measurement unit 160 may generate respiration measurement information according to a change in the ratio of the inhalation cluster and the exhalation cluster showing a shape similar to the general sinusoidal breathing guideline as shown in FIG. 8.

도 9는 본 발명의 일 실시 예에 따른 호흡 측정 장치가 호흡을 측정하는 방법을 예시한 순서도이다. 9 is a flow chart illustrating a method of measuring respiration by a respiration measuring device according to an embodiment of the present invention.

이하 설명하는 각 단계는 호흡 측정 장치를 구성하는 각 기능부에 의해 수행되는 과정이나, 발명의 명확하고 간결한 설명을 위해 각 단계의 주체를 호흡 측정 장치로 통칭하도록 한다.Each step to be described below is a process performed by each functional unit constituting the respiration measuring device, or the subject of each step is collectively referred to as a respiration measuring device for a clear and concise description of the invention.

단계 S910에서 호흡 측정 장치는 영상을 입력 받는다. 이 때, 호흡 측정 장치가 수신한 영상은 가시광선 카메라로 촬영된 영상일 수 있다. In step S910, the breathing measuring device receives an image. In this case, the image received by the respiration measurement device may be an image captured by a visible light camera.

단계 S920에서 호흡 측정 장치는 영상에서 특징점을 추출한다. 예를 들어, 호흡 측정 장치는 영상의 이미지를 순차적으로 다운 샘플링한 이미지 피라미드에 라플라시안 가우시안 필터를 적용하여 특징점을 산출할 수 있다.In step S920, the respiration measurement device extracts feature points from the image. For example, the respiration measurement apparatus may calculate a feature point by applying a Laplacian Gaussian filter to an image pyramid obtained by sequentially down-sampling an image of an image.

단계 S930에서 호흡 측정 장치는 특징점에 대한 모션 벡터 집합을 생성한다.In step S930, the respiration measurement device generates a set of motion vectors for the feature points.

단계 S940에서 호흡 측정 장치는 전체 모션 벡터 집합 중 호흡 측정에 불필요한 이상점 데이터를 제거한다. 예를 들어, 호흡 측정 장치는 모션 벡터의 크기가 전체 모션 벡터 중 크기가 작은 순서대로 미리 지정된 비율인 임계 값(예를 들어, 75%) 이하인 모션 벡터를 이상점 데이터로 판단하고, 이상점 데이터를 모션 벡터 집합에서 제거한다. In step S940, the respiration measurement device removes outlier data unnecessary for respiration measurement among the entire motion vector set. For example, the respiration measurement device determines a motion vector whose size is less than or equal to a threshold (e.g., 75%), which is a predetermined ratio in the order of smallest size among all motion vectors, as outlier data, and Is removed from the set of motion vectors.

단계 S950에서 호흡 측정 장치는 모션 벡터 집합에서 들숨 클러스터 및 날숨 클러스터를 설정한다.In step S950, the respiration measurement device sets an inhalation cluster and an exhalation cluster in the motion vector set.

단계 S960에서 호흡 측정 장치는 들숨 클러스터 및 날숨 클러스터에 포함된 모션 벡터의 비율에 따라 사용자의 현재 호흡 상태를 들숨 또는 날숨으로 판단하여 호흡 측정 정보를 생성한다. 예를 들어, 호흡 측정 장치는 일반적인 정현파의 호흡 가이드라인과 유사한 형상을 보이는 들숨 클러스터 및 날숨 클러스터의 비율의 변화에 따른 호흡 측정 정보를 생성할 수 있다.In step S960, the breathing measuring apparatus determines the current breathing state of the user as inhalation or exhalation according to the ratio of the inhalation cluster and the motion vector included in the exhalation cluster to generate breath measurement information. For example, the respiration measurement device may generate respiration measurement information according to a change in a ratio of an inhalation cluster and an exhalation cluster having a shape similar to a general sinusoidal breathing guideline.

따라서, 본 발명의 일 실시 예에 따른 호흡 측정 장치는 사용자의 호흡을 가시광선 카메라로 생성한 영상의 특징점의 움직임을 분석하고, 해당 움직임에 따라 사용자의 호흡의 상태를 정확하게 파악할 수 있다.Accordingly, the respiration measurement apparatus according to an embodiment of the present invention can analyze the movement of the feature point of the image generated by the visible ray camera of the user's breath, and accurately determine the state of the user's breath according to the corresponding movement.

상술한 호흡 측정 방법은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.The above-described respiration measurement method may be implemented as a computer-readable code on a computer-readable medium. The computer-readable recording medium is, for example, a removable recording medium (CD, DVD, Blu-ray disk, USB storage device, removable hard disk) or a fixed recording medium (ROM, RAM, computer-equipped hard disk). I can. The computer program recorded on the computer-readable recording medium may be transmitted to another computing device through a network such as the Internet and installed in the other computing device, thereby being used in the other computing device.

이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.In the above, even if all the components constituting the embodiments of the present invention are described as being combined into one or operating in combination, the present invention is not necessarily limited to these embodiments. That is, as long as it is within the scope of the object of the present invention, one or more of the components may be selectively combined and operated.

도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시 예 들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.Although the operations are illustrated in a specific order in the drawings, it should not be understood that the operations must be executed in the specific order shown or in a sequential order, or all illustrated operations must be executed to obtain a desired result. In certain situations, multitasking and parallel processing may be advantageous. Moreover, the separation of various components in the above-described embodiments should not be understood as necessarily requiring such separation, and the described program components and systems are generally integrated together into a single software product or may be packaged into multiple software products. It should be understood that there is.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been looked at around the embodiments. Those of ordinary skill in the art to which the present invention pertains will be able to understand that the present invention may be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered from a descriptive point of view rather than a limiting point of view. The scope of the present invention is shown in the claims rather than the above description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

Claims

An input unit for receiving an image;
A feature point extracting unit for extracting feature points from the image;
A motion vector calculator that calculates a motion vector group for the feature point;
A cluster setting unit for setting an inhalation cluster and an exhalation cluster for the motion vector group; And
A respiration measurement unit that generates respiration measurement information according to a ratio of the motion vector of the inhalation cluster and the motion vector of the exhalation cluster;
Respiration measurement device comprising a.

The method of claim 1,
Respiration measurement device further comprising an outlier data removal unit for removing outlier data from the motion vector group.

The method of claim 2,
The outlier data removal unit removes, from the motion vector group, motion vectors having a size equal to or less than a predetermined ratio in order of small size among all motion vectors of the motion vector group.

The method of claim 1,
The inhalation cluster is a cluster including a motion vector whose direction is an upward direction, and the exhalation cluster is a cluster including a motion vector whose direction is a downward direction.

In the method for measuring respiration by the respiration measuring device,
Receiving an image;
Extracting feature points from the image;
Calculating a motion vector group for the feature point;
Setting an inhalation cluster and an exhalation cluster for the motion vector group; And
Generating respiration measurement information according to a ratio of the motion vector of the inhalation cluster and the motion vector of the exhalation cluster;
Respiration measurement method comprising a.

The method of claim 5,
Respiration measurement method further comprising the step of removing outlier data from the motion vector group.

The method of claim 6,
The step of removing outlier data from the motion vector group is a step of removing motion vectors having a size equal to or less than a predetermined ratio among all motion vectors of the motion vector group in a small order from the motion vector group. How to measure your breath.

The method of claim 5,
The inhalation cluster is a cluster including a motion vector whose direction is an upward direction, and the exhalation cluster is a cluster including a motion vector whose direction is a downward direction.

A computer program recorded in a computer-readable recording medium after executing any one of claims 5 to 8.