KR20200050109A - 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법 및 장치 - Google Patents

뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20200050109A
KR20200050109A KR1020180132670A KR20180132670A KR20200050109A KR 20200050109 A KR20200050109 A KR 20200050109A KR 1020180132670 A KR1020180132670 A KR 1020180132670A KR 20180132670 A KR20180132670 A KR 20180132670A KR 20200050109 A KR20200050109 A KR 20200050109A
Authority
KR
South Korea
Prior art keywords
person
respiratory
determining
volume
value
Prior art date
Application number
KR1020180132670A
Other languages
English (en)
Other versions
KR102534876B1 (ko
Inventor
심광현
박지영
정혁
김영희
김진서
노삼열
류문욱
박순찬
전우진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180132670A priority Critical patent/KR102534876B1/ko
Priority to US16/235,988 priority patent/US20200138336A1/en
Publication of KR20200050109A publication Critical patent/KR20200050109A/ko
Application granted granted Critical
Publication of KR102534876B1 publication Critical patent/KR102534876B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • A61B5/1135—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing by monitoring thoracic expansion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/091—Measuring volume of inspired or expired gases, e.g. to determine lung capacity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법 및 장치가 개시된다. 상기 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법은, 뎁스 카메라로 사람의 일 측면을 촬영한 깊이 맵(depth map)을 획득하는 단계, 획득된 깊이 맵에서 배경을 분리하여 상기 사람에 대한 영역을 추출하는 단계, 추출된 상기 사람에 대한 영역에서 호흡 영역을 추출하는 단계, 추출된 호흡 영역의 각 지점에 대한 깊이 값을 미리 설정된 시간 동안 획득하는 단계 및 획득된 깊이 값을 분석하여 상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계를 포함할 수 있다. 따라서, 비접촉식으로 사람의 호흡 상태를 정밀하게 판단할 수 있다.

Description

뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법 및 장치{METHOD AND APPARATUS FOR DETERMINING THE BREATHING STATUS OF A PERSON USING A DEPTH CAMERA}
본 발명은 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법 및 장치에 관한 것으로, 더욱 상세하게는 사람의 신체에 어떠한 웨어러블 장치도 부착하지 않고, 원거리에서 뎁스 카메라를 이용해 사람의 호흡 영역에 대한 깊이 값을 획득하고, 획득된 깊이 값을 사람의 척추 중심을 기준으로 변경하여 호흡수와 호흡량을 정확하게 산출하는 기술에 관한 것이다.
최근, 의학 기술의 발전으로 사람의 수명이 증가함에 따라 사람의 건강 상태를 확인하기 위한 노력이 활발히 이루어지고 있다. 사람의 건강 상태 중에서 가장 중요하고 기본적인 활력 징후들(Vital Signs)은 체온, 호흡, 맥박, 혈압 등이 있다.
여기서, 호흡은 나머지 활력 징후들처럼 사람의 의사와 관계없이 나타나는 것이 아니라 사람의 의지에 따라 인위적으로 제어될 수 있다. 따라서, 사람이 호흡을 측정하고 있다는 사실을 인지하고 있는 상태에서 호흡 측정이 이루어질 경우, 일반적으로 평소보다 호흡이 빨라지게 된다.
종래의 호흡 측정 방법은 대부분 사람에게 부착된 측정 장치를 이용하는 방식이다. 그런데, 이러한 방식은 사람이 호흡 측정 사실을 인지할 수 있기 때문에, 평소의 호흡 상태를 정확하게 측정하기 어렵다.
또한, 종래의 호흡 측정 방법은 사람이 평상시와 같이 활동하는 환경에서 호흡 측정이 이루어지는 것이 아니라, 특정한 자세를 유지하도록 강제하기 때문에 행동의 제약이 크고 피측정자에게 불편을 초래할 수 있다.
따라서, 사람이 평소와 같이 일상적인 활동을 하면서도, 호흡 상태를 정확하게 판단할 수 있는 방안이 필요한 실정이다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치를 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은, 사람 몸의 실제 체적 변화를 이용하여 사람의 호흡 상태를 판단하기 위한 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명은, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법을 제공한다.
상기 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법은, 뎁스 카메라로 사람의 일 측면을 촬영한 깊이 맵(depth map)을 획득하는 단계, 획득된 깊이 맵에서 배경을 분리하여 상기 사람에 대한 영역을 추출하는 단계, 추출된 상기 사람에 대한 영역에서 호흡 영역을 추출하는 단계, 추출된 호흡 영역의 각 지점에 대한 깊이 값을 미리 설정된 시간 동안 획득하는 단계 및 획득된 깊이 값을 분석하여 상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계를 포함할 수 있다.
상기 호흡 영역을 추출하는 단계는, 상기 사람에 대한 영역에서 복수의 관절점을 추출하는 단계, 추출된 복수의 관절점에서 척추 상에 위치한 두개 이상의 관절점을 서로 연결하여 상기 사람에 대한 중심축을 결정하는 단계 및 결정된 중심축을 z축으로 하는 3차원 공간 좌표계로 상기 사람에 대한 영역을 표현하는 단계를 포함할 수 있다.
상기 호흡 영역을 추출하는 단계는, 상기 사람에 대한 영역에서 배와 가슴에 해당하는 z축의 좌표 범위를 상기 호흡 영역으로 추출하는 단계를 포함할 수 있다.
상기 사람에 대한 중심축을 결정하는 단계는, 상기 사람의 일 측면에 대하여 촬영된 적어도 하나 이상의 뎁스 맵을 학습하여 상기 사람의 몸통 표면과 상기 사람에 대한 중심축 사이의 위치 관계를 결정하는 단계를 포함할 수 있다.
상기 깊이 값을 미리 설정된 시간 동안 획득하는 단계는, 상기 깊이 값을 이용하여 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 획득하는 단계를 포함할 수 있다.
상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계는, 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 평균 거리 값의 변화를 주파수 영역으로 표현하는 단계 및 상기 주파수 영역에 따른 크기가 최대가 되는 주파수를 상기 호흡수로 결정하는 단계를 포함할 수 있다.
상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계는, 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 이용하여 상기 호흡 영역에 대한 체적 변화를 산출하는 단계 및 산출된 상기 체적 변화를 통해 상기 호흡량을 결정하는 단계를 포함할 수 있다.
상기 체적 변화를 산출하는 단계는, 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값에 대한 최대값과 최소값을 산출하는 단계 및 상기 최대값을 이용하여 상기 3차원 공간 좌표계 상에서 산출한 상기 호흡 영역에 대한 최대 체적과 상기 최소값을 이용하여 산출한 상기 호흡 영역에 대한 최소 체적 사이의 차분값을 상기 호흡량으로 결정하는 단계를 포함할 수 있다.
상기 체적 변화를 산출하는 단계는, 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 상기 3차원 공간 좌표계 상의 z축에 대하여 적분함으로써 상기 호흡 영역에 대한 순간 체적을 산출하는 단계 및 상기 순간 체적의 최대값과 최소값 사이의 차분값을 상기 호흡량으로 결정하는 단계를 포함할 수 있다.
상기 순간 체적의 최대값과 최소값은, 상기 호흡수에 따른 1회 호흡에 상응하는 단위 시간에 대하여 산출될 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면은, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치를 제공한다.
상기 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치는, 적어도 하나의 프로세서(processor) 및 상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.
상기 적어도 하나의 단계는, 뎁스 카메라로 사람의 일 측면을 촬영한 깊이 맵(depth map)을 획득하는 단계, 획득된 깊이 맵에서 배경을 분리하여 상기 사람에 대한 영역을 추출하는 단계, 추출된 상기 사람에 대한 영역에서 호흡 영역을 추출하는 단계, 추출된 호흡 영역의 각 지점에 대한 깊이 값을 미리 설정된 시간 동안 획득하는 단계 및 획득된 깊이 값을 분석하여 상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계를 포함할 수 있다.
상기 호흡 영역을 추출하는 단계는, 상기 사람에 대한 영역에서 복수의 관절점을 추출하는 단계, 추출된 복수의 관절점에서 척추 상에 위치한 두개 이상의 관절점을 서로 연결하여 상기 사람에 대한 중심축을 결정하는 단계 및 결정된 중심축을 z축으로 하는 3차원 공간 좌표계로 상기 사람에 대한 영역을 표현하는 단계를 포함할 수 있다.
상기 호흡 영역을 추출하는 단계는, 상기 사람에 대한 영역에서 배와 가슴에 해당하는 z축의 좌표 범위를 상기 호흡 영역으로 추출하는 단계를 포함할 수 있다.
상기 사람에 대한 중심축을 결정하는 단계는, 상기 사람의 일 측면에 대하여 촬영된 적어도 하나 이상의 뎁스 맵을 학습하여 상기 사람의 몸통 표면과 상기 사람에 대한 중심축 사이의 위치 관계를 결정하는 단계를 포함할 수 있다.
상기 깊이 값을 미리 설정된 시간 동안 획득하는 단계는, 상기 깊이 값을 이용하여 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 획득하는 단계를 포함할 수 있다.
상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계는, 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 평균 거리 값의 변화를 주파수 영역으로 표현하는 단계 및 상기 주파수 영역에 따른 크기가 최대가 되는 주파수를 상기 호흡수로 결정하는 단계를 포함할 수 있다.
상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계는, 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 이용하여 상기 호흡 영역에 대한 체적 변화를 산출하는 단계 및 산출된 상기 체적 변화를 통해 상기 호흡량을 결정하는 단계를 포함할 수 있다.
상기 체적 변화를 산출하는 단계는, 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값에 대한 최대값과 최소값을 산출하는 단계 및 상기 최대값을 이용하여 상기 3차원 공간 좌표계 상에서 산출한 상기 호흡 영역에 대한 최대 체적과 상기 최소값을 이용하여 산출한 상기 호흡 영역에 대한 최소 체적 사이의 차분값을 상기 호흡량으로 결정하는 단계를 포함할 수 있다.
상기 체적 변화를 산출하는 단계는, 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 상기 3차원 공간 좌표계 상의 z축에 대하여 적분함으로써 상기 호흡 영역에 대한 순간 체적을 산출하는 단계 및 상기 순간 체적의 최대값과 최소값 사이의 차분값을 상기 호흡량으로 결정하는 단계를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면은, 사람 몸의 실제 체적 변화를 이용하여 사람의 호흡 상태를 판단하기 위한 방법을 제공한다.
상기 사람 몸의 실제 체적 변화를 이용하여 사람의 호흡 상태를 판단하기 위한 방법은, 뎁스 카메라로 사람의 일 측면을 촬영한 깊이 맵(depth map)을 획득하는 단계, 획득된 깊이 맵에서 배경을 분리하여 상기 사람에 대한 영역을 추출하는 단계, 추출된 상기 사람에 대한 영역에서 호흡 영역을 추출하는 단계, 추출된 호흡 영역의 각 지점에 대한 깊이 값을 미리 설정된 시간 동안 획득하는 단계, 미리 학습하여 결정된 상기 사람의 중심축과 상기 사람의 몸통 표면 사이의 거리값을 이용하여, 상기 깊이 값의 변화량을 상기 거리값의 변화량으로 표현하는 단계 및 상기 거리값의 변화량을 이용하여 상기 사람에 대한 호흡수 또는 호흡량을 산출하는 단계를 포함할 수 있다.
상기와 같은 본 발명에 따른 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법 및 장치를 이용할 경우에는 원거리에서 평소처럼 활동하는 상태의 사람에 대해 호흡을 측정하기 때문에 정확하게 사람의 호흡 상태를 판단할 수 있다.
또한, 별도의 측정 장치를 사람에게 부착하지 않기 때문에, 피측정자에게 불편을 주지 않고, 손쉽게 호흡 상태를 판단할 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 뎁스 카메라를 이용하여 사람의 정면을 촬영하는 예시도이다.
도 2는 본 발명의 일 실시예에 따른 뎁스 카메라를 이용하여 촬영된 영상을 원통 좌표계로 매칭시키는 방법에 대한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 뎁스 카메라를 이용하여 촬영된 영상에서 호흡 영역을 추출하는 방법에 대한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 뎁스 카메라를 이용하여 획득된 거리 정보에서 호흡 상태 판단을 위한 거리를 획득하기 위한 방법에 대한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 뎁스 카메라를 이용하여 획득된 거리 정보를 시간에 따라 도시한 그래프이다.
도 6은 도 5에 따른 거리 정보를 주파수 영역으로 변환하여 표시한 그래프이다.
도 7은 본 발명의 일 실시예에 따른 사람의 호흡 상태에서 호흡량을 판단하기 위한 방법을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법에 대한 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치에 대한 구성도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 뎁스 카메라를 이용하여 사람의 정면을 촬영하는 예시도이다.
본 발명의 일 실시예에 따르면, 사람의 호흡 상태를 판단하기 위하여 사람에 대한 뎁스 값(또는 거리)을 획득할 수 있는 3차원 뎁스 카메라(3D Depth Camera)를 사용한다. 여기서 뎁스 카메라는 촬영된 이미지상의 각 픽셀에 대한 깊이 값을 획득하는 카메라 장치일 수 있다. 이하에서 뎁스 카메라로 사람을 촬영한 영상을 뎁스 영상(Depth image) 또는 깊이맵(Depth map)으로 지칭한다. 이때, 뎁스 카메라의 방식으로는 스테레오 방식(Stereo-type), ToF(Time of Flight) 방식, Structed Pattern 방식으로 분류할 수 있다.
스테레오 방식은, 도 1에 도시된 것과 같이 한쌍의 카메라(10)를 사용하여 두 카메라 사이의 시점 차이(또는 디스패리티 정보, disparity information)를 이용한다. 예를 들면, 한쌍의 카메라(10)에 의해 나타나는 피사체의 각도 간격 및 한쌍의 카메라(10)가 갖는 시선의 중심 등을 이용하여 피사체의 각 픽셀에 대한 거리를 산출할 수 있다. 여기서, 도 1에 도시된 촬영 영상(11)을 참조하면, 사람의 정면을 뎁스 카메라를 이용하여 촬영한 결과를 확인할 수 있으며, 이때, 촬영된 각 픽셀에 대한 뎁스 값(깊이 값)은 색 온도(예를 들어, 가까울수록 붉은색 또는 밝은 영역이고 멀수록 푸른색 또는 어두운 영역)로서 표현할 수 있다.
ToF 방식은, 모든 픽셀에 대하여 변조된 광신호의 지연 또는 위상 천이를 측정함으로써, 광신호의 이동 시간 정보를 획득하고, 획득된 이동 시간 정보를 이용하여 피사체의 각 픽셀에 대한 거리를 산출할 수 있다.
Structured Pattern 방식은 구조화된 한 세트의 패턴을 피사체에 투사하고, 피사체에 투사된 패턴을 이미지 센서를 이용하여 캡쳐하며, 삼각 측량 알고리즘을 사용하여 피사체의 각 픽셀에 대한 거리를 산출할 수 있다.
여기서 설명한 방식들은 뎁스 값을 구하기 위한 여러 촬영 방식들 중 하나의 예시이며, 통상의 기술자는 여기서 기술된 방식에 한정되지 않고 기타 다양한 뎁스 카메라를 이용하여 사람에 대해 촬영된 깊이 맵을 얻을 수 있다.
이렇게 획득되는 깊이 맵은 주기적으로 입력되어 저장될 수 있는데, 이때 저장되는 시간 간격을 미리 설정함으로써, 일정한 시간 간격 내에서 획득된 깊이 맵을 사용할 수 있다. 또한, 획득된 깊이맵에서 배경을 분리함으로써, 사람에 대해 촬영된 영역을 깊이맵에서 추출할 수 있다. 구체적으로, 깊이 맵에서 사람은 배경보다 앞에 위치하여 배경보다 밝게 표현되는 특성이 있으므로 이러한 특성을 이용하여 픽셀 값 및 깊이 값을 분석함으로써, 배경을 깊이맵에서 분리할 수 있다.
도 2는 본 발명의 일 실시예에 따른 뎁스 카메라를 이용하여 촬영된 영상을 원통 좌표계로 매칭시키는 방법에 대한 예시도이다.
본 발명의 일 실시예에 따르면, 깊이 맵에서 추출된 사람 영역에 대해 주요 관절점을 확정하고, 확정된 주요 관절점 중에서 척추와 연결되는 두 개 이상의 관절점을 서로 이음으로써 몸의 중심축을 결정할 수 있다. 이때, 사람 영역에 대한 주요 관절점은 미리 학습 또는 입력된 사람의 골격(skeleton) 정보를 이용하여 확정할 수 있다. 예를 들어 사람의 주요 관절점으로는 머리, 목, 어깨, 팔, 척추, 다리가 있을 수 있으며, 팔 중에서도 손목, 손, 팔꿈치가 포함될 수 있다. 또한, 다리에서는 발, 발목, 무릎, 엉덩이 지점이 포함될 수 있다.
한편, 몸의 중심축이 결정되면, 결정된 몸의 중심축이 원통 좌표계의 z축이 되도록 일치시킴으로써, 사람에 대해 촬영된 깊이 맵을 원통 좌표계로 표현할 수 있다.
도 3은 본 발명의 일 실시예에 따른 뎁스 카메라를 이용하여 촬영된 영상에서 호흡 영역을 추출하는 방법에 대한 예시도이다.
도 3을 참조하면, 도 2에 따른 원통 좌표계로 표현된 깊이 맵에서 사람의 호흡 영역을 추출한 결과를 확인할 수 있다. 즉, 도 2에 따라 주어진 깊이 맵에서 주요 관절점에 의해 특정되는 사람의 배와 가슴 영역을 선정하고, 선정된 배와 가슴 영역을 포함하는 호흡 영역을 결정할 수 있다. 여기서 결정된 호흡 영역을 도 2에 따른 깊이 맵에서 추출하면 도 3과 같다. 이때, 사람이 배와 가슴 영역은 원통 좌표계에서 배와 가슴 영역에 따른 관절점의 z좌표들을 결정하고, 결정된 z좌표들 사이(Z_body)의 영역을 깊이 맵에서 추출함으로써 획득될 수 있다.
한편, 원통 좌표계에서의 x축과 y축에 해당하는 거리값(r)을 어떻게 결정할 것인지 문제되는데, 이하에서 설명한다.
도 4는 본 발명의 일 실시예에 따른 뎁스 카메라를 이용하여 획득된 거리 정보에서 호흡 상태 판단을 위한 거리를 획득하기 위한 방법에 대한 예시도이다.
도 4를 참조하면, 원통형 좌표계에서 사람 몸의 중심축(51) 및 뎁스 카메라로부터 뎁스 맵 상에서 확인되는 사람의 표면(픽셀)까지의 거리(또는 깊이값, rx)를 나타낸 것을 확인할 수 있다. 한편, 도 4에서 표현된 사람 몸의 중심축(51)은 원통 좌표계에서 z축상에 위치하는 반면, 뎁스 맵에 의한 깊이 값(rx)은 뎁스 카메라로부터 사람 몸통의 표면(50)까지의 거리에 해당한다. 이때, 뎁스 맵에 의한 깊이 값(rx)의 변화를 이용해 사람의 호흡 상태를 판단할 수도 있으나 이러한 방식은 정지해 있는 사람에 대해서만 가능하고 움직이는 사람에 대해서는 거의 불가능하다. 따라서, 몸의 중심축(51)에서 사람 몸통의 표면(50)까지의 거리(r) 변화를 관찰하는 것이 호흡수 및 호흡량을 산출하는데 유리할 수 있다.
여기서, 몸통의 표면(50)과 몸의 중심축(51)이 공간 상에서 서로 어떠한 위치를 갖는 지 결정하는 방법의 예시는 다음과 같다. 먼저, 사람을 여러 측면에서 촬영한 뎁스 맵을 획득하고, 획득된 뎁스 맵을 학습함으로써 사람의 정면 또는 일측면 뎁스 맵만으로도 몸통의 표면(50) 및 사람 몸의 중심축(51)이 갖는 위치를 결정할 수 있다. 즉, 뎁스 맵을 학습함으로써, 몸통의 표면(50)과 사람 몸의 중심축(51) 사이의 거리값(또는 거리값의 평균)을 확정할 수 있다.
한편, 사람이 호흡함에 따라 사람 몸통의 표면(50)에서 사람 몸의 중심축(51) 까지의 거리(r)는 변화할 수 있고 그에 따라 깊이 값(rx) 또한 변화할 수 있다. 이때, 사람 몸의 중심축(51)과 몸통의 표면(50)의 위치 및 깊이 값(rx) 사이의 관계를 이용하면, 몸통의 표면(50)에서 몸의 중심축(51)까지의 거리(r)를 실시간으로 산출할 수 있다.
도 5는 본 발명의 일 실시예에 따른 뎁스 카메라를 이용하여 획득된 거리 정보를 시간에 따라 도시한 그래프이다. 도 6은 도 5에 따른 거리 정보를 주파수 영역으로 변환하여 표시한 그래프이다.
도 5를 참조하면, 도 4에 따른 사람 몸통의 표면(50)에서 몸의 중심축(51)까지의 거리(r)를 산출하고, 실시간으로 산출된 거리값을 미리 설정된 시간 범위 내에서 평균하여 y 축으로 도시하고, 거리값이 획득된 시간을 x축으로 도시한 그래프이다.
따라서, 도 5에 따르면, 사람 몸통의 표면(50)에서 몸의 중심축(51)까지의 거리(r)가 변화하는 그래프를 통해 시간에 따른 사람 호흡 변화를 관찰할 수 있다. 도 5에 따른 호흡 변화 그래프에서, 최대점들 사이의 간격을 구하면 호흡 주기를 알 수 있다. 따라서, 또한, 도 5에 따른 그래프에서 주파수의 크기가 주기적으로 최대가 되는 복수의 최대점을 찾고 인접한 두 최대점 사이의 시간을 이용하여 호흡수를 결정할 수도 있다.도 6을 참조하면, 도 5에 따른 그래프를 (고속) 푸리에 변환(Fast Fourier Transform)을 이용하여 주파수 영역의 신호로 변환한 그래프를 확인할 수 있다. 이때, x축은 분당 주파수에 해당하며, y축은 주파수의 크기가 될 수 있다.
여기서, 사람의 호흡수는 주파수 영역에서 가장 많은 부분을 차지하기 때문에 주파수의 크기가 가장 큰 주파수가 사람의 호흡수가 될 수 있다. 따라서, 도 6에서는 그 크기가 가장 클 때의 주파수인 18.2 회/min 가 분당 호흡수에 해당할 수 있다.
도 7은 본 발명의 일 실시예에 따른 사람의 호흡 상태에서 호흡량을 판단하기 위한 방법을 설명하기 위한 예시도이다.
본 발명의 일 실시예에 따르면, 사람 몸의 중심축 위치를 학습을 통해 결정하고, 결정된 사람 몸의 중심축 위치와 사람 표면 사이의 거리 변화를 판단함으로써 3차원 공간 상에서 호흡을 관찰할 수 있다. 따라서, 뎁스 카메라로부터 사람의 배와 가슴 표면까지의 단순 거리(도 4에 따른 rx)를 측정하고, 측정된 거리 변화를 주파수로 환산한 경우보다 더 정확하고 직관적으로 사람의 호흡 상태를 판단할 수 있다.
즉 본 발명의 일 실시예에 따르면, 사람 몸의 실제 체적 변화를 이용하여 사람의 호흡 상태를 판단하기 위한 방법을 제공한다.
상기 사람 몸의 실제 체적 변화를 이용하여 사람의 호흡 상태를 판단하기 위한 방법은, 뎁스 카메라로 사람의 일 측면을 촬영한 깊이 맵(depth map)을 획득하는 단계, 획득된 깊이 맵에서 배경을 분리하여 상기 사람에 대한 영역을 추출하는 단계, 추출된 상기 사람에 대한 영역에서 호흡 영역을 추출하는 단계, 추출된 호흡 영역의 각 지점에 대한 깊이 값을 미리 설정된 시간 동안 획득하는 단계, 미리 학습하여 결정된 상기 사람의 중심축과 상기 사람의 몸통 표면 사이의 거리값을 이용하여, 상기 깊이 값의 변화량을 상기 거리값의 변화량으로 표현하는 단계 및 상기 거리값의 변화량을 이용하여 상기 사람에 대한 호흡수 또는 호흡량을 산출하는 단계를 포함할 수 있다.
특히, 본 발명의 일 실시예에 따를 경우, 몸의 중심축을 기준으로 하기 때문에, 호흡에 따른 호흡 영역의 체적 변화를 산출할 수 있다. 구체적으로 도 7을 참조하면, 원통 좌표계가 도시된 것을 확인할 수 있는데, 원통 좌표계에서 호흡 영역의 z축 길이(z_body) 및 몸의 중심축부터 사람의 표면 사이의 거리 변화량을 통해 구체적인 체적 변화를 산출할 수 있다. 예를 들면, 몸의 중심축과 사람의 표면 사이의 거리(r)에 대한 최대값(r_max) 및 최소값(r_min)을 미리 정해진 시간(예를 들어 분당 호흡수를 기준으로 1분) 간격 내에서 산출하고, 다음의 수학식 1을 통해 호흡량을 결정할 수 있다.
Figure pat00001
상기 수학식 1에 따른 호흡량이 1분 간격내에서 산출되었다고 가정하면, 앞서 도 6에 따른 설명에서 산출한 분당 호흡수로 나누면, 1회 호흡에 대한 호흡량을 산출할 수 있다. 여기서는 원통 좌표계를 기준으로 설명하였으나, 반드시 이에 한정되는 것은 아니고, 3차원 공간 좌표계로 표현하고, 표현된 3차원 공간 좌표계의 특성에 따른 부피 계산으로 호흡량을 산출할 수 있다.
또한, 수학식 1에서는 수식의 단순함을 위해서 일정한 시간 간격 내에서 몸의 중심축부터 사람의 표면 사이의 거리에 대한 최대값(r_max)과 최소값(r_min)을 산출하여 호흡량을 결정하였으나, 체적 변화를 실시간으로 계산함으로써 호흡량을 더 정밀하게 결정할 수 있다.
예를 들어, 호흡 영역에 대한 순간 체적은 다음의 수학식 2와 같다.
Figure pat00002
상기 수학식 2에서, zmax와 zmin은 호흡 영역의 높이에 대한 최대값과 최소값을 의미할 수 있고, r은 몸의 중심축에서 사람의 표면 사이의 거리값으로서 시간에 따라 변화하는 값이다. 수학식 2에 따른 순간 체적의 최대값과 최소값을 미리 설정된 시간에서 산출하고, 순간 체적의 최대값과 최소값 사이의 차이값을 산출하면, 이 차이값이 미리 설정된 시간에 대한 호흡량이 될 수 있다.
한편 상기 미리 설정된 시간은 1회 호흡을 기준으로 할 때, 다음의 수학식 3과 같이 결정할 수 있다.
Figure pat00003
즉, 수학식 3에 따른 시간 간격(sec)은 1회 호흡수에 대한 시간 간격이므로, 1회 호흡에서 순간 최적의 최대값은 들숨이 최대로 이루어진 순간이며, 순간 최적의 최소값은 날숨이 최대로 이루어진 순간이므로 앞서 설명한 호흡량이 산출될 수 있다.
도 8은 본 발명의 일 실시예에 따른 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법에 대한 흐름도이다.
도 8을 참조하면, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법은, 뎁스 카메라로 사람의 일 측면을 촬영한 깊이 맵(depth map)을 획득하는 단계(S100), 획득된 깊이 맵에서 배경을 분리하여 상기 사람에 대한 영역을 추출하는 단계(S110), 추출된 상기 사람에 대한 영역에서 호흡 영역을 추출하는 단계(S120), 추출된 호흡 영역의 각 지점에 대한 깊이 값을 미리 설정된 시간 동안 획득하는 단계(S130) 및 획득된 깊이 값을 분석하여 상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계(S140)를 포함할 수 있다.
상기 호흡 영역을 추출하는 단계(S120)는, 상기 사람에 대한 영역에서 복수의 관절점을 추출하는 단계, 추출된 복수의 관절점에서 척추 상에 위치한 두개 이상의 관절점을 서로 연결하여 상기 사람에 대한 중심축을 결정하는 단계 및 결정된 중심축을 z축으로 하는 3차원 공간 좌표계로 상기 사람에 대한 영역을 표현하는 단계를 포함할 수 있다.
상기 호흡 영역을 추출하는 단계(S120)는, 상기 사람에 대한 영역에서 배와 가슴에 해당하는 z축의 좌표 범위를 상기 호흡 영역으로 추출하는 단계를 포함할 수 있다.
상기 사람에 대한 중심축을 결정하는 단계는, 상기 사람의 일 측면에 대하여 촬영된 적어도 하나 이상의 뎁스 맵을 학습하여 상기 사람의 몸통 표면과 상기 사람에 대한 중심축 사이의 위치 관계를 결정하는 단계를 포함할 수 있다.
상기 깊이 값을 미리 설정된 시간 동안 획득하는 단계(S130)는, 상기 깊이 값을 이용하여 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 획득하는 단계를 포함할 수 있다.
상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계(S140)는, 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 평균 거리 값의 변화를 주파수 영역으로 표현하는 단계 및 상기 주파수 영역에 따른 크기가 최대가 되는 주파수를 상기 호흡수로 결정하는 단계를 포함할 수 있다.
상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계(S140)는, 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 이용하여 상기 호흡 영역에 대한 체적 변화를 산출하는 단계 및 산출된 상기 체적 변화를 통해 상기 호흡량을 결정하는 단계를 포함할 수 있다.
상기 체적 변화를 산출하는 단계는, 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값에 대한 최대값과 최소값을 산출하는 단계 및 상기 최대값을 이용하여 상기 3차원 공간 좌표계 상에서 산출한 상기 호흡 영역에 대한 최대 체적과 상기 최소값을 이용하여 산출한 상기 호흡 영역에 대한 최소 체적 사이의 차분값을 상기 호흡량으로 결정하는 단계를 포함할 수 있다.
상기 체적 변화를 산출하는 단계는, 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 상기 3차원 공간 좌표계 상의 z축에 대하여 적분함으로써 상기 호흡 영역에 대한 순간 체적을 산출하는 단계 및 상기 순간 체적의 최대값과 최소값 사이의 차분값을 상기 호흡량으로 결정하는 단계를 포함할 수 있다.
상기 순간 체적의 최대값과 최소값은, 상기 호흡수에 따른 1회 호흡에 상응하는 단위 시간에 대하여 산출될 수 있다.
도 9는 본 발명의 일 실시예에 따른 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치에 대한 구성도이다.
도 9을 참조하면, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치(100)는, 적어도 하나의 프로세서(processor, 110) 및 상기 적어도 하나의 프로세서(110)가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory, 120)를 포함할 수 있다.
상기 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중에서 적어도 하나로 구성될 수 있다.
또한, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치(100)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver, 130)를 포함할 수 있다. 또한, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 등을 더 포함할 수 있다. 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치(100)에 포함된 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다.
상기 적어도 하나의 단계는, 뎁스 카메라로 사람의 일 측면을 촬영한 깊이 맵(depth map)을 획득하는 단계, 획득된 깊이 맵에서 배경을 분리하여 상기 사람에 대한 영역을 추출하는 단계, 추출된 상기 사람에 대한 영역에서 호흡 영역을 추출하는 단계, 추출된 호흡 영역의 각 지점에 대한 깊이 값을 미리 설정된 시간 동안 획득하는 단계 및 획득된 깊이 값을 분석하여 상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계를 포함할 수 있다.
상기 호흡 영역을 추출하는 단계는, 상기 사람에 대한 영역에서 복수의 관절점을 추출하는 단계, 추출된 복수의 관절점에서 척추 상에 위치한 두개 이상의 관절점을 서로 연결하여 상기 사람에 대한 중심축을 결정하는 단계 및 결정된 중심축을 z축으로 하는 3차원 공간 좌표계로 상기 사람에 대한 영역을 표현하는 단계를 포함할 수 있다.
상기 호흡 영역을 추출하는 단계는, 상기 사람에 대한 영역에서 배와 가슴에 해당하는 z축의 좌표 범위를 상기 호흡 영역으로 추출하는 단계를 포함할 수 있다.
상기 사람에 대한 중심축을 결정하는 단계는, 상기 사람의 일 측면에 대하여 촬영된 적어도 하나 이상의 뎁스 맵을 학습하여 상기 사람의 몸통 표면과 상기 사람에 대한 중심축 사이의 위치 관계를 결정하는 단계를 포함할 수 있다.
상기 깊이 값을 미리 설정된 시간 동안 획득하는 단계는, 상기 깊이 값을 이용하여 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 획득하는 단계를 포함할 수 있다.
상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계는, 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 평균 거리 값의 변화를 주파수 영역으로 표현하는 단계 및 상기 주파수 영역에 따른 크기가 최대가 되는 주파수를 상기 호흡수로 결정하는 단계를 포함할 수 있다.
상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계는, 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 이용하여 상기 호흡 영역에 대한 체적 변화를 산출하는 단계 및 산출된 상기 체적 변화를 통해 상기 호흡량을 결정하는 단계를 포함할 수 있다.
상기 체적 변화를 산출하는 단계는, 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값에 대한 최대값과 최소값을 산출하는 단계 및 상기 최대값을 이용하여 상기 3차원 공간 좌표계 상에서 산출한 상기 호흡 영역에 대한 최대 체적과 상기 최소값을 이용하여 산출한 상기 호흡 영역에 대한 최소 체적 사이의 차분값을 상기 호흡량으로 결정하는 단계를 포함할 수 있다.
상기 체적 변화를 산출하는 단계는, 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 상기 3차원 공간 좌표계 상의 z축에 대하여 적분함으로써 상기 호흡 영역에 대한 순간 체적을 산출하는 단계 및 상기 순간 체적의 최대값과 최소값 사이의 차분값을 상기 호흡량으로 결정하는 단계를 포함할 수 있다.
뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치(100)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 뎁스 카메라로 사람의 일 측면을 촬영한 깊이 맵(depth map)을 획득하는 단계;
    획득된 깊이 맵에서 배경을 분리하여 상기 사람에 대한 영역을 추출하는 단계;
    추출된 상기 사람에 대한 영역에서 호흡 영역을 추출하는 단계;
    추출된 호흡 영역의 각 지점에 대한 깊이 값을 미리 설정된 시간 동안 획득하는 단계; 및
    획득된 깊이 값을 분석하여 상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법.
  2. 청구항 1에서,
    상기 호흡 영역을 추출하는 단계는,
    상기 사람에 대한 영역에서 복수의 관절점을 추출하는 단계;
    추출된 복수의 관절점에서 척추 상에 위치한 두개 이상의 관절점을 서로 연결하여 상기 사람에 대한 중심축을 결정하는 단계; 및
    결정된 중심축을 z축으로 하는 3차원 공간 좌표계로 상기 사람에 대한 영역을 표현하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법.
  3. 청구항 2에서,
    상기 호흡 영역을 추출하는 단계는,
    상기 사람에 대한 영역에서 배와 가슴에 해당하는 z축의 좌표 범위를 상기 호흡 영역으로 추출하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법.
  4. 청구항 2에서,
    상기 사람에 대한 중심축을 결정하는 단계는,
    상기 사람의 일 측면에 대하여 촬영된 적어도 하나 이상의 뎁스 맵을 학습하여 상기 사람의 몸통 표면과 상기 사람에 대한 중심축 사이의 위치 관계를 결정하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법.
  5. 청구항 4에서,
    상기 깊이 값을 미리 설정된 시간 동안 획득하는 단계는,
    상기 깊이 값을 이용하여 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 획득하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법.
  6. 청구항 5에서,
    상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계는,
    상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 평균 거리 값의 변화를 주파수 영역으로 표현하는 단계; 및
    상기 주파수 영역에 따른 크기가 최대가 되는 주파수를 상기 호흡수로 결정하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법.
  7. 청구항 5에서,
    상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계는,
    상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 이용하여 상기 호흡 영역에 대한 체적 변화를 산출하는 단계; 및
    산출된 상기 체적 변화를 통해 상기 호흡량을 결정하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법.
  8. 청구항 7에서,
    상기 체적 변화를 산출하는 단계는,
    상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값에 대한 최대값과 최소값을 산출하는 단계; 및
    상기 최대값을 이용하여 상기 3차원 공간 좌표계 상에서 산출한 상기 호흡 영역에 대한 최대 체적과 상기 최소값을 이용하여 산출한 상기 호흡 영역에 대한 최소 체적 사이의 차분값을 상기 호흡량으로 결정하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법.
  9. 청구항 7에서,
    상기 체적 변화를 산출하는 단계는,
    상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 상기 3차원 공간 좌표계 상의 z축에 대하여 적분함으로써 상기 호흡 영역에 대한 순간 체적을 산출하는 단계; 및
    상기 순간 체적의 최대값과 최소값 사이의 차분값을 상기 호흡량으로 결정하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법.
  10. 청구항 9에서,
    상기 순간 체적의 최대값과 최소값은,
    상기 호흡수에 따른 1회 호흡에 상응하는 단위 시간에 대하여 산출되는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법.
  11. 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치로,
    적어도 하나의 프로세서(processor); 및
    상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함하고,
    상기 적어도 하나의 단계는,
    뎁스 카메라로 사람의 일 측면을 촬영한 깊이 맵(depth map)을 획득하는 단계;
    획득된 깊이 맵에서 배경을 분리하여 상기 사람에 대한 영역을 추출하는 단계;
    추출된 상기 사람에 대한 영역에서 호흡 영역을 추출하는 단계;
    추출된 호흡 영역의 각 지점에 대한 깊이 값을 미리 설정된 시간 동안 획득하는 단계; 및
    획득된 깊이 값을 분석하여 상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치.
  12. 청구항 11에서,
    상기 호흡 영역을 추출하는 단계는,
    상기 사람에 대한 영역에서 복수의 관절점을 추출하는 단계;
    추출된 복수의 관절점에서 척추 상에 위치한 두개 이상의 관절점을 서로 연결하여 상기 사람에 대한 중심축을 결정하는 단계; 및
    결정된 중심축을 z축으로 하는 3차원 공간 좌표계로 상기 사람에 대한 영역을 표현하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치.
  13. 청구항 12에서,
    상기 호흡 영역을 추출하는 단계는,
    상기 사람에 대한 영역에서 배와 가슴에 해당하는 z축의 좌표 범위를 상기 호흡 영역으로 추출하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치.
  14. 청구항 12에서,
    상기 사람에 대한 중심축을 결정하는 단계는,
    상기 사람의 일 측면에 대하여 촬영된 적어도 하나 이상의 뎁스 맵을 학습하여 상기 사람의 몸통 표면과 상기 사람에 대한 중심축 사이의 위치 관계를 결정하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치.
  15. 청구항 14에서,
    상기 깊이 값을 미리 설정된 시간 동안 획득하는 단계는,
    상기 깊이 값을 이용하여 상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 획득하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치.
  16. 청구항 15에서,
    상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계는,
    상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 평균 거리 값의 변화를 주파수 영역으로 표현하는 단계; 및
    상기 주파수 영역에 따른 크기가 최대가 되는 주파수를 상기 호흡수로 결정하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치.
  17. 청구항 15에서,
    상기 사람의 호흡량과 호흡수를 포함하는 호흡 상태를 판단하는 단계는,
    상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 이용하여 상기 호흡 영역에 대한 체적 변화를 산출하는 단계; 및
    산출된 상기 체적 변화를 통해 상기 호흡량을 결정하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치.
  18. 청구항 17에서,
    상기 체적 변화를 산출하는 단계는,
    상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값에 대한 최대값과 최소값을 산출하는 단계; 및
    상기 최대값을 이용하여 상기 3차원 공간 좌표계 상에서 산출한 상기 호흡 영역에 대한 최대 체적과 상기 최소값을 이용하여 산출한 상기 호흡 영역에 대한 최소 체적 사이의 차분값을 상기 호흡량으로 결정하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치.
  19. 청구항 17에서,
    상기 체적 변화를 산출하는 단계는,
    상기 사람의 몸통 표면과 상기 사람의 중심축 사이의 거리 값을 상기 3차원 공간 좌표계 상의 z축에 대하여 적분함으로써 상기 호흡 영역에 대한 순간 체적을 산출하는 단계; 및
    상기 순간 체적의 최대값과 최소값 사이의 차분값을 상기 호흡량으로 결정하는 단계를 포함하는, 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 장치.
  20. 뎁스 카메라로 사람의 일 측면을 촬영한 깊이 맵(depth map)을 획득하는 단계;
    획득된 깊이 맵에서 배경을 분리하여 상기 사람에 대한 영역을 추출하는 단계;
    추출된 상기 사람에 대한 영역에서 호흡 영역을 추출하는 단계;
    추출된 호흡 영역의 각 지점에 대한 깊이 값을 미리 설정된 시간 동안 획득하는 단계;
    미리 학습하여 결정된 상기 사람의 중심축과 상기 사람의 몸통 표면 사이의 거리값을 이용하여, 상기 깊이 값의 변화량을 상기 거리값의 변화량으로 표현하는 단계; 및
    상기 거리값의 변화량을 이용하여 상기 사람에 대한 호흡수 또는 호흡량을 산출하는 단계를 포함하는, 사람 몸의 실제 체적 변화를 이용하여 사람의 호흡 상태를 판단하기 위한 방법.
KR1020180132670A 2018-11-01 2018-11-01 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법 및 장치 KR102534876B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180132670A KR102534876B1 (ko) 2018-11-01 2018-11-01 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법 및 장치
US16/235,988 US20200138336A1 (en) 2018-11-01 2018-12-28 Method and apparatus for determining breathing status of person using depth camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180132670A KR102534876B1 (ko) 2018-11-01 2018-11-01 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200050109A true KR20200050109A (ko) 2020-05-11
KR102534876B1 KR102534876B1 (ko) 2023-05-22

Family

ID=70459382

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180132670A KR102534876B1 (ko) 2018-11-01 2018-11-01 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법 및 장치

Country Status (2)

Country Link
US (1) US20200138336A1 (ko)
KR (1) KR102534876B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750108B (zh) * 2021-01-13 2023-03-28 深圳瀚维智能医疗科技有限公司 按摩仪控制方法、系统及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130324830A1 (en) * 2012-06-01 2013-12-05 Xerox Corporation Minute ventilation estimation based on depth maps
KR20160007512A (ko) 2014-06-03 2016-01-20 가부시키가이샤 이데아퀘스트 호흡 운동 측정 장치
KR20170028605A (ko) 2015-09-04 2017-03-14 한국전자통신연구원 Ｒｇｂ-ｄ 영상 기반 사람 영역 추출 장치 및 그 방법
JP2017217298A (ja) * 2016-06-09 2017-12-14 青木　広宙 非接触呼吸測定装置及び非接触呼吸測定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130324830A1 (en) * 2012-06-01 2013-12-05 Xerox Corporation Minute ventilation estimation based on depth maps
KR20160007512A (ko) 2014-06-03 2016-01-20 가부시키가이샤 이데아퀘스트 호흡 운동 측정 장치
KR20170028605A (ko) 2015-09-04 2017-03-14 한국전자통신연구원 Ｒｇｂ-ｄ 영상 기반 사람 영역 추출 장치 및 그 방법
JP2017217298A (ja) * 2016-06-09 2017-12-14 青木　広宙 非接触呼吸測定装置及び非接触呼吸測定方法

Also Published As

Publication number Publication date
US20200138336A1 (en) 2020-05-07
KR102534876B1 (ko) 2023-05-22

Similar Documents

Publication Publication Date Title
EP3373804B1 (en) Device, system and method for sensor position guidance
EP3057487B1 (en) Device and method for obtaining a vital sign of a subject
CN110349081B (zh) 图像的生成方法、装置、存储介质和电子设备
US11315275B2 (en) Edge handling methods for associated depth sensing camera devices, systems, and methods
US20140192164A1 (en) System and method for determining depth information in augmented reality scene
US20150265161A1 (en) Methods and Apparatus for Physiological Parameter Estimation
KR101738278B1 (ko) 영상을 이용한 감정 인식 방법
JP2015533519A5 (ko)
KR20170030633A (ko) 보행 해석 시스템 및 기록 매체에 기록된 컴퓨터 프로그램
WO2022237249A1 (zh) 三维重建方法、装置和系统、介质及计算机设备
KR20170027468A (ko) 영상을 이용한 산소포화도 측정 방법 및 영상을 이용한 산소포화도 측정 방법을 기록한 컴퓨터로 읽을 수 있는 기록 매체
CN109859857A (zh) 身份信息的标注方法、装置和计算机可读存储介质
Wang et al. VitaSi: A real-time contactless vital signs estimation system
CN110956571A (zh) 基于slam进行虚实融合的方法及电子设备
KR102534876B1 (ko) 뎁스 카메라를 이용하여 사람의 호흡 상태를 판단하기 위한 방법 및 장치
US11726320B2 (en) Information processing apparatus, information processing method, and program
Hwang et al. Motion data acquisition method for motion analysis in golf
WO2020149149A1 (en) Information processing apparatus, information processing method, and program
KR102495136B1 (ko) 사용자 추적 및 영상 분석을 이용한 메타버스 캐릭터 제작 시스템
JP2012079348A (ja) 人物特定装置、人物特定方法及び人物特定プログラム
KR101787255B1 (ko) 랜드마크의 거리의 비율에 기반한 표정 인식 방법
KR102556001B1 (ko) 보행데이터 기반 파킨슨 증후군 중증도 판별 시스템 및 방법
Nguyen et al. Vision-Based Global Localization of Points of Gaze in Sport Climbing
Malasinghe et al. Remote heart rate extraction using microsoft kinecttm V2. 0
KR102493097B1 (ko) 영상 데이터를 이용한 메타버스 캐릭터 제작 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant