KR20200013380A - 이미지 세그멘테이션에 기초하여 초음파를 이용한 호흡 측정 방법 및 이를 위한 장치 - Google Patents

이미지 세그멘테이션에 기초하여 초음파를 이용한 호흡 측정 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR20200013380A
KR20200013380A KR1020180088526A KR20180088526A KR20200013380A KR 20200013380 A KR20200013380 A KR 20200013380A KR 1020180088526 A KR1020180088526 A KR 1020180088526A KR 20180088526 A KR20180088526 A KR 20180088526A KR 20200013380 A KR20200013380 A KR 20200013380A
Authority
KR
South Korea
Prior art keywords
image segmentation
image
correlation
ultrasound
ultrasonic
Prior art date
Application number
KR1020180088526A
Other languages
English (en)
Other versions
KR102108630B1 (ko
Inventor
김승일
Original Assignee
주식회사 모두의연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 모두의연구소 filed Critical 주식회사 모두의연구소
Priority to KR1020180088526A priority Critical patent/KR102108630B1/ko
Publication of KR20200013380A publication Critical patent/KR20200013380A/ko
Application granted granted Critical
Publication of KR102108630B1 publication Critical patent/KR102108630B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pulmonology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 의하면, 초음파 신호를 송신하고, 사용자로부터 반사된 초음파 신호를 수신하도록 구성된 초음파 송수신기, 초음파 송수신기에서 송신된 초음파 신호와 반사되어 수신된 초음파 신호의 상관 관계(correlation)와 관련된 상관 관계 이미지를 획득하도록 구성된 이미지 획득부, 상관 관계 이미지를 이미지 세그멘테이션(image segmentation) 처리하도록 구성된 이미지 세그멘테이션 처리부, 및 이미지 세그멘테이션을 통해 얻은 내부 정보를 이용하여 호흡을 측정하도록 구성된 호흡 측정부를 포함하는 호흡 측정 장치가 제공될 수 있다.

Description

이미지 세그멘테이션에 기초하여 초음파를 이용한 호흡 측정 방법 및 이를 위한 장치{METHOD FOR RESPIRATION MEASUREMENT USING ULTRASONIC WAVE BASED ON IMAGE SEGMENTATION AND DEVICE FOR THE SAME}
본 발명은 이미지 세그멘테이션(image segmentation)에 기초하여 초음파를 이용한 호흡 측정 방법 및 이를 위한 장치에 관한 것이다. 보다 구체적으로, 딥러닝 기술 중 이미지 인식에 많이 사용되는 CNN(Convolutional Neural Network)을 이용하여 이미지 세그멘테이션 처리를 통해 호흡 속도(breathing rate 또는 respiration rate) 및 들숨 날숨을 판단하기 위한 기술에 관한 것이다.
모바일 헬스케어 시장은 2018년 약 80억 달러에 이를 것으로 예상되며, 이 중 사용자의 심장 박동, 호흡 및 수면 패턴 분석 시장은 매우 중요한 부분을 차지하고 있다. 또한, 모바일 기술이 발전함에 따라 유비쿼터스 기술이 적용된 유-헬스케어(U-Health Care) 시장도 성장하면서, 유비쿼터스 환경에 적합한, 일상에서 측정부담감 없이 손쉽게 측정할 수 있는 비침습적 또는 비접촉식 측정 시스템에 대한 연구도 매우 활발하게 이루어지고 있다.
현재 호흡 또는 맥박을 측정하는 방법으로 접촉식 방법이 널리 쓰이고 있다. 그 예로, 마스크 형태의 기기에서 공기 흐름을 측정하는 방법, 흉부에 센서를 부착하는 방법, 피부에서 심혈관 반응을 측정하는 PPG(photoplethysmogram) 센서의 데이터를 수집하고 분석하는 방법, 또는 스마트 시계(smart watch) 등에 모듈 형태로 내장된 광학 맥박 센서 등이 존재한다.
그러나, 접촉식 방법의 경우 흉부, 손가락 또는 다른 피부에 센서나 밴드를 착용해야 하는 측정 방식이 부담스럽고, 불편하다는 단점을 가지고 있다. 따라서, 현재 접촉식 방법에 비해 성능은 떨어지지만 사용 편의성에서 유리한 장점을 갖는 비접촉식 호흡 측정 방식들이 활발하게 연구되고 제안되고 있다.
대한민국 등록특허공보 10-1070389 대한민국 등록특허공보 10-1145646
본 발명은 이미지 세그멘테이션에 기초하여 초음파를 이용한 호흡 측정 방법 및 이를 위한 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 초음파 신호의 상관 관계 이미지와 CNN(Convolutional Neural Network)을 이용하여 이미지 세그멘테이션 처리를 통해 호흡 속도(respiration rate) 및 들숨 날숨을 판단 및 측정하는 것을 목적으로 한다.
또한, 본 발명은 유 넷(u net) 기반의 CNN을 이용하여 호흡 속도와 들숨 날숨과 관련된 특징들을 보다 효율적으로 측정할 수 있는 호흡 측정 장치를 제공하는 것을 목적으로 한다.
본 발명의 해결 과제들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에서, 초음파를 이용한 호흡 측정 장치에 있어서, 초음파 신호를 송신하고, 사용자로부터 반사된 초음파 신호를 수신하도록 구성된 초음파 송수신기; 상기 초음파 송수신기에서 송신된 초음파 신호와 반사되어 수신된 초음파 신호의 상관 관계(correlation)와 관련된 상관 관계 이미지를 획득하도록 구성된 이미지 획득부; 상기 상관 관계 이미지를 이미지 세그멘테이션(image segmentation) 처리하도록 구성된 이미지 세그멘테이션 처리부; 및 상기 이미지 세그멘테이션을 통해 얻은 내부 정보를 이용하여 호흡을 측정하도록 구성된 호흡 측정부를 포함하는 호흡 측정 장치를 제공할 수 있다.
여기서, 상기 이미지 세그멘테이션은 CNN(Convolutional Neural Network)을 이용할 수 있다.
또한, 상기 호흡 측정부는 상기 내부 정보 및 미리 알려진 예상 범위와 관련된 외부 정보를 이용하여 호흡 속도(respiration rate)를 측정하는 호흡 속도 측정부 및 들숨 날숨을 판단하기 위한 들숨 날숨 판단부를 포함할 수 있다.
또한, 상기 내부 정보는 상기 이미지 세그멘테이션에 의한 적어도 일부 세그먼트의 기울기 및 세기(intensity)를 포함할 수 있다.
또한, 상기 이미지 세그멘테이션 처리부는 손실 함수(loss function)의 값을 이용하여 학습되며, 상기 손실 함수는 이미지 세그멘테이션과 관련된 값 및 들숨 날숨 판단과 관련된 값에 기초할 수 있다.
본 발명의 다른 실시예에서, 초음파를 이용한 호흡 측정 방법에 있어서, 초음파 송수신기에서 사용자로부터 반사된 초음파 신호를 수신하는 단계; 이미지 획득부에 의해, 상기 초음파 송수신기에서 송신된 초음파 신호와 반사되어 수신된 초음파 신호의 상관 관계(correlation)와 관련된 상관 관계 이미지를 획득하는 단계; 이미지 세그멘테이션 처리부에 의해, 상기 상관 관계 이미지를 이미지 세그멘테이션(image segmentation) 처리하는 단계; 호흡 측정부에 의해, 상기 이미지 세그멘테이션을 통해 얻은 내부 정보를 이용하여 호흡을 측정하는 단계를 포함하는 호흡 측정 방법을 제공할 수 있다.
여기서, 상기 이미지 세그멘테이션은 CNN(Convolutional Neural Network)을 이용할 수 있다.
또한, 상기 호흡을 측정하는 단계는 상기 내부 정보 및 미리 알려진 예상 범위와 관련된 외부 정보를 이용하여 호흡 속도(respiration rate)를 측정하는 단계를 포함할 수 있다.
또한, 상기 내부 정보는 상기 이미지 세그멘테이션에 의한 적어도 일부 세그먼트의 기울기 및 세기(intensity)를 포함할 수 있다.
또한, 상기 이미지 세그멘테이션 처리부는 손실 함수(loss function)의 값을 이용하여 학습되며, 상기 손실 함수는 이미지 세그멘테이션과 관련된 값 및 들숨 날숨 판단과 관련된 값에 기초할 수 있다.
본 발명에 의하면, 이미지 세그멘테이션에 기초하여 초음파를 이용한 호흡 측정 방법 및 이를 위한 장치를 제공할 수 있다.
또한, 본 발명에 의하면, 초음파 신호의 상관 관계 이미지와 CNN(Convolutional Neural Network)을 이용하여 이미지 세그멘테이션 처리를 통해 호흡 속도(respiration rate) 및 들숨 날숨을 판단 및 측정할 수 있다.
또한, 본 발명에 의하면, 유 넷(u net) 기반의 CNN을 이용하여 호흡 속도와 들숨 날숨과 관련된 특징들을 보다 효율적으로 측정할 수 있는 호흡 측정 장치를 제공할 수 있다.
본 발명의 효과들은 이상에서 언급한 내용들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 초음파 송수신기의 초음파 송신 신호와 초음파 수신 신호의 상관 관계 이미지이다.
도 2는 본 발명의 일 실시예에 따른 초음파를 이용한 호흡 측정 장치의 구성을 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 초음파를 이용한 호흡 측정 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 초음파를 이용한 호흡 측정 방법을 설명하기 위한 흐름도이다.
도 5a는 유 넷(u net)의 아키텍쳐 및 동작을 설명하기 위한 개념도이며, 도 5b는 유 넷(u net)으로 세그멘테이션 처리한 의료 영상을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 이미지 세그멘테이션의 결과를 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
본 명세서에서 사용되는 "포함한다(comprises)", "포함하는(comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
또한, 본 발명에서 사용되는 제1, 제2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 이와 같은 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.
도 1은 초음파 송수신기의 초음파 송신 신호와 초음파 수신 신호의 상관 관계 이미지이다.
초음파 송수신기는 초음파 신호를 송신하기 위한 송신기(transmitter) 및 송신된 신호가 사용자 등으로부터 반사된 반사파를 수신하기 위한 수신기(receiver)를 포함할 수 있다. 이와 같이 송신기에서 송신된 초음파 신호 및 수신기에서 수신된 초음파 신호의 상관 관계(correlation)와 관련된 정보에 기초하여 도 1에서와 같은 상관 관계 이미지를 얻을 수 있다.
도 1에서 가로축은 시간(t)이며, 세로축은 송신 신호와 수신 신호 사이의 지연 시간(delay)(τ)을 의미한다. 도 1에서 도시된 상관 관계 이미지에서와 같이 송수신기에서 입출력된 초음파 신호의 값에 대한 상관 관계를 도시화할 수 있으며, 사용자의 호흡에 의한 상관 관계 패턴 이외 에도 다양한 잡음(noise)에 의한 상관 관계 패턴이 나타날 수 있기 때문에 사용자의 호흡에 의한 상관 관계 패턴을 찾기가 용이하지 않다.
따라서, 호흡 속도, 호흡 주기, 들숨 날숨의 호흡 패턴을 보다 효율적이고 정확하게 찾기 위해, 도 1에서와 같은 상관 관계 이미지에 이미지 세그멘테이션(image segmentation) 기법을 활용하여 몸의 움직임을 파악하고, 그로부터 호흡을 측정할 수 있을 것이다.
도 2는 본 발명의 일 실시예에 따른 초음파를 이용한 호흡 측정 장치의 구성을 설명하기 위한 개념도이다.
본 발명의 일 실시예에 따른 초음파를 이용한 호흡 측정 장치(100)는 초음파 송수신기(110), 이미지 획득부(120), 이미지 세그멘테이션 처리부(130) 및 호흡 측정부(140)을 포함할 수 있다.
초음파 송수신기(110)는 초음파 신호를 발생시켜 송신하고, 사용자 등으로부터 반사된 초음파 신호를 수신하도록 구성될 수 있다.
이미지 획득부(120)는 초음파 송수신기에서 송신된 초음파 신호와 반사되어 수신된 초음파 신호의 상관 관계(correlation)와 관련된 상관 관계 이미지를 획득하도록 구성될 수 있다. 이와 같이 이미지 획득부(120)에서 생성한 상관 관계 이미지는 도 1에서와 같이 시간축과 지연 시간(delay)에 기초하여 생성될 수 있으며, 이와 같은 상관 관계 이미지로부터 호흡 패턴을 구할 수 있다. 이는 사람의 호흡 시에 예컨대 들숨 시에 배가 나옴으로써 초음파 신호의 왕복 이동 거리가 짧아지고 날숨 시에 배가 들어감으로써 초음파 신호의 왕복 이동 거리가 길어짐으로써 송신된 시점으로부터 반사된 신호의 도달 시간까지의 지연 시간의 주기적인 패턴 변화가 발생하기 때문이다.
이미지 세그멘테이션 처리부(130)는 획득한 상관 관계 이미지를 이미지 세그멘테이션(image segmentation) 처리하도록 구성될 수 있다. 여기서, 이미지 세그멘테이션은 딥 러닝 기술 중 이미지 분석에 적용가능한 CNN(Convolutional Neural Network, 합성곱 신경망)을 이용할 수 있다. 또한, 예컨대 CNN 딥 러닝 알고리즘 중에서 의료 영상과 같은 복잡한 패턴을 가진 영상 분석에 적합한 유 넷(u net)을 이용할 수 있다. 유 넷(u net)의 구성 및 효과에 대한 보다 자세한 설명은 도 5를 참조하여 후술할 것이다.
이미지 세그멘테이션 처리부(130)의 이미지 세그멘테이션 처리를 통해서 호흡 패턴과 관련된 세그멘트(segment) 조각의 기울기 및 세기(intensity) 값이 측정될 수 있다. 이와 같이 상관 관계 이미지로부터 이미지 세그멘테이션 처리로 인해 얻은 세그멘트의 기울기 및 세기 정보를 내부 정보로 칭할 수 있다.
이미지 세그멘테이션 처리부(130)는 손실 함수(loss function)의 값을 가장 작게 하도록 학습되며, 손실 함수는 이미지 세그멘테이션과 관련되어 설정된 값에 기초할 수 있으며, 이를 통해 이미지 세그멘테이션을 학습할 수 있다.
호흡 측정부(140)는 이미지 세그멘테이션 처리부(130)에서 이미지 세그멘테이션을 통해 얻은 세그먼트의 기울기 및 세기 등의 내부 정보를 이용하여 호흡 속도(respiration rate)를 측정하고, 이를 통해 들숨 날숨의 호흡 패턴을 측정하도록 구성될 수 있다.
또한, 호흡 측정부(140)는 위의 내부 정보 및 미리 알려진 예상 범위, 예컨대 일반인의 호흡 속도 및 주기와 관련된 정보, 들숨 날숨의 패턴과 관련된 정보, 해당 사용자의 호흡 패턴과 관련된 정보 등과 관련된 외부 정보를 이용하여 보다 정확하고 효율적으로 호흡을 측정할 수 있다.
일 예로 호흡 측정부(140)는 내부 정보 및 외부 정도 등을 활용하여 호흡 속도를 측정하는 호흡 속도 측정부(141) 및 들숨 날숨을 판단하기 위한 들숨 날숨 판단부(142)를 포함할 수 있다.
다른 예로서, 이미지 세그멘테이션 처리부(130)에서 이미지 세그멘테이션 처리뿐만 아니라 이에 기초하여 들숨 날숨을 판단하도록 학습되어 엔트투엔드(end-to-end) 학습 방식을 활용할 수 있다. 이와 같은 경우 이미지 세그멘테이션 처리부(130)의 손실 함수(loss function)는 이미지 세그멘테이션과 관련된 값 및 들숨 날숨 판단과 관련된 값에 기초하여, 예컨대 이미지 세그멘테이션 판단의 손실(loss)과 관련된 값과 들숨 날숨 판단의 손실(loss)과 관련된 값의 합이 최소화되도록 학습할 수 있다.
본 발명의 일 실시예는 이와 같은 구성을 통해 초음파 신호의 상관 관계 이미지와 CNN(Convolutional Neural Network)을 이용하여 이미지 세그멘테이션 처리를 통해 호흡 속도(respiration rate) 및 들숨 날숨을 보다 효과적으로 자동화하여 판단 및 측정할 수 있다. 또한, 의료 영상 분석에 적합한 유 넷(u net) 기반의 CNN을 이용하여 호흡 속도와 들숨 날숨과 관련된 특징들을 보다 효율적으로 측정할 수 있는 호흡 측정 장치를 제공할 수 있다.
도 3은 본 발명의 일 실시예에 따른 초음파를 이용한 호흡 측정 방법을 설명하기 위한 흐름도이다.
본 발명의 일 실시예에 따른 초음파를 이용한 호흡 측정 방법은 초음파 송수신기(110)에서 사용자로부터 반사된 초음파 신호를 수신하는 단계를 포함한다.(S310)
다음으로, 이미지 획득부(120)에 의해, 초음파 송수신기에서 송신된 초음파 신호와 반사되어 수신된 초음파 신호의 상관 관계(correlation)와 관련된 상관 관계 이미지를 획득할 수 있다.(S320)
다음으로, 이미지 세그멘테이션 처리부(130)에 의해, 이미지 획득부(120)에 의해 획득한 상관 관계 이미지를 이미지 세그멘테이션(image segmentation) 처리할 수 있다.(S330) 여기서, 이미지 세그멘테이션은 CNN(Convolutional Neural Network) 중 복잡한 의료 영상 분석에 적합한 유 넷(u net) 등을 이용한 이미지 분석 기법을 활용할 수 있다.
다음으로 호흡 측정부(140)에 의해, 이미지 세그멘테이션을 통해 얻은 내부 정보 및 미리 알려진 외부 정보를 이용할 수 있으며(S340), 이를 통해 사용자의 호흡 속도 및 주기 등을 측정할 수 있다.(S350) 여기서, 내부 정보는 이미지 세그멘테이션에 의한 적어도 일부 세그먼트의 기울기 및 세기(intensity)를 포함하며, 외부 정보는 사용자의 호흡 속도 및 주기와 관련된 정보, 들숨 날숨의 패턴과 관련된 미리 알려진 정보 등을 포함할 수 있다.
또한, 사용자의 호흡과 관련하여 들숨 날숨 등을 판단하여 호흡 패턴을 측정할 수 있다.(S360)
도 4는 본 발명의 일 실시예에 따른 초음파를 이용한 호흡 측정 방법을 설명하기 위한 흐름도이다.
본 발명의 일 실시예에 따른 초음파를 이용한 호흡 측정 방법은 초음파 송수신기(110)에서 사용자로부터 반사된 초음파 신호를 수신하는 단계를 포함한다.(S410)
다음으로, 이미지 획득부(120)에 의해, 초음파 송수신기에서 송신된 초음파 신호와 반사되어 수신된 초음파 신호의 상관 관계(correlation)와 관련된 상관 관계 이미지를 획득할 수 있다.(S420)
다음으로, 이미지 세그멘테이션 처리부(130)에 의해, 이미지 획득부(120)에 의해 획득한 상관 관계 이미지를 이미지 세그멘테이션(image segmentation) 처리할 수 있다.(S430) 여기서, 이미지 세그멘테이션은 CNN(Convolutional Neural Network) 중 하나인 유 넷(u net) 등을 이용한 이미지 분석 기법을 활용할 수 있다.
또한, 이미지 세그멘테이션 처리부(130)는 이미지 세그멘테이션 처리뿐만 아니라 이에 기초하여 들숨 날숨을 판단하도록 학습되어 엔트투엔드(end-to-end) 학습 방식으로 훈련될 수 있다. 이와 같은 경우 이미지 세그멘테이션 처리부(130)의 손실 함수(loss function)는 이미지 세그멘테이션과 관련된 값 및 들숨 날숨 판단과 관련된 값에 기초하여, 예컨대 손실 함수의 값이 최소화되도록 학습될 수 있다.
이와 같은 학습 결과에 따라 사용자의 호흡과 관련하여 들숨 날숨 등을 판단하여 호흡 패턴을 측정할 수 있다.(S440)
도 5a는 유 넷(u net)의 아키텍쳐 및 동작을 설명하기 위한 개념도이다.
이미지 세그멘테이션 관련하여 다양한 방법이 있지만 복잡한 패턴을 가지는 의료 영상에 적합한 유 넷(u net)을 이용할 수 있다.
도 5a를 참조하면, 유 넷 아키텍쳐는 conv(convolution, 컨볼루션), 액티베이션(acrivation) 함수 중 하나인 ReLU(Rectified linear unit), max pool(max pooling, 맥스 풀링), up-conv(up convolution, 업 컨볼루션)로 구성되어 있으며, 이것을 조합을 해서 상세한 특징(feature)를 만들어 내는 인코더(encoder) 부분과 특징(feature)를 조합해서 이미지를 만들어 내는 디코더(decoder) 부분으로 구성될 수 있다.
도 5b는 유 넷(u net)으로 세그멘테이션 처리한 의료 영상을 나타내는 도면이다.
위와 같은 구조를 가진 유 넷은 의료 영상의 분석에서 많이 사용되며, 도 6b는 유 넷으로 세그멘테이션한 의료영상을 나타내며, 이와 같이 같이 복잡한 패턴을 가진 의료 영상들의 세그멘테이션 처리에 좋은 효과를 낼 수 있다.
도 6은 본 발명의 일 실시예에 따른 이미지 세그멘테이션의 결과를 나타내는 도면이다.
도 6을 참조하면 들숨(610)과 날숨(620)의 패턴이 명확히 구분되고 있으며, 예컨대 기울기가 발생하는 세그먼트(611)에서 세그멘트의 기울기 및 세기를 측정할 수 있다. 또한, 들숨 날숨 판단 학습에 의해 들숨 날숨을 판단하여 호흡 패턴을 자동으로 측정할 수 있다.
종래 기술에 의하면, 도 1에서와 같은 상관 관계 이미지에서 호흡 특징(feature)를 메뉴얼(manual)하게 수동으로 찾아야 한다. 그러나, 본 발명에서와 같이 CNN을 이용한 이미지 세그멘테이션 처리를 이용한다면 이와 같은 호흡 속도 및 패턴과 관련된 특징(feature)들을 자동으로 보다 빠르고 효과적으로 찾을 수 있다.
발명의 명세서에 개시된 실시예들은 예시에 불과한 것으로서, 본 발명은 이에 한정되지 않는 것이다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.
100: 초음파 호흡 측정기
110: 초음파 송수신기
120: 이미지 획득부
130: 이미지 세그멘테이션 처리부
140: 호흡 측정부
141: 호흡 속도 측정부
142: 들숨 날숨 판단부

Claims (10)

  1. 초음파를 이용한 호흡 측정 장치에 있어서,
    초음파 신호를 송신하고, 사용자로부터 반사된 초음파 신호를 수신하도록 구성된 초음파 송수신기;
    상기 초음파 송수신기에서 송신된 초음파 신호와 반사되어 수신된 초음파 신호의 상관 관계(correlation)와 관련된 상관 관계 이미지를 획득하도록 구성된 이미지 획득부;
    상기 상관 관계 이미지를 이미지 세그멘테이션(image segmentation) 처리하도록 구성된 이미지 세그멘테이션 처리부; 및
    상기 이미지 세그멘테이션을 통해 얻은 내부 정보를 이용하여 호흡을 측정하도록 구성된 호흡 측정부
    를 포함하는 호흡 측정 장치.
  2. 제1항에 있어서, 상기 이미지 세그멘테이션은 CNN(Convolutional Neural Network)을 이용하는 것인, 호흡 측정 장치.
  3. 제1항에 있어서, 상기 호흡 측정부는 상기 내부 정보 및 미리 알려진 예상 범위와 관련된 외부 정보를 이용하여 호흡 속도(respiration rate)를 측정하는 호흡 속도 측정부 및 들숨 날숨을 판단하기 위한 들숨 날숨 판단부를 포함하는 것인, 호흡 측정 장치.
  4. 제1항에 있어서, 상기 내부 정보는 상기 이미지 세그멘테이션에 의한 적어도 일부 세그먼트의 기울기 및 세기(intensity)를 포함하는 것인, 호흡 측정 장치.
  5. 제1항에 있어서, 상기 이미지 세그멘테이션 처리부는 손실 함수(loss function)의 값을 이용하여 학습되며, 상기 손실 함수는 이미지 세그멘테이션과 관련된 값 및 들숨 날숨 판단과 관련된 값에 기초하는 것인, 호흡 측정 장치.
  6. 초음파를 이용한 호흡 측정 방법에 있어서,
    초음파 송수신기에서 사용자로부터 반사된 초음파 신호를 수신하는 단계;
    이미지 획득부에 의해, 상기 초음파 송수신기에서 송신된 초음파 신호와 반사되어 수신된 초음파 신호의 상관 관계(correlation)와 관련된 상관 관계 이미지를 획득하는 단계;
    이미지 세그멘테이션 처리부에 의해, 상기 상관 관계 이미지를 이미지 세그멘테이션(image segmentation) 처리하는 단계;
    호흡 측정부에 의해, 상기 이미지 세그멘테이션을 통해 얻은 내부 정보를 이용하여 호흡을 측정하는 단계
    를 포함하는 호흡 측정 방법.
  7. 제6항에 있어서, 상기 이미지 세그멘테이션은 CNN(Convolutional Neural Network)을 이용하는 것인, 호흡 측정 방법.
  8. 제6항에 있어서, 상기 호흡을 측정하는 단계는 상기 내부 정보 및 미리 알려진 예상 범위와 관련된 외부 정보를 이용하여 호흡 속도(respiration rate)를 측정하는 단계를 포함하는 것인, 호흡 측정 방법.
  9. 제6항에 있어서, 상기 내부 정보는 상기 이미지 세그멘테이션에 의한 적어도 일부 세그먼트의 기울기 및 세기(intensity)를 포함하는 것인, 호흡 측정 방법.
  10. 제6항에 있어서, 상기 이미지 세그멘테이션 처리부는 손실 함수(loss function)의 값을 이용하여 학습되며, 상기 손실 함수는 이미지 세그멘테이션과 관련된 값 및 들숨 날숨 판단과 관련된 값에 기초하는 것인, 호흡 측정 방법.
KR1020180088526A 2018-07-30 2018-07-30 이미지 세그멘테이션에 기초하여 초음파를 이용한 호흡 측정 방법 및 이를 위한 장치 KR102108630B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180088526A KR102108630B1 (ko) 2018-07-30 2018-07-30 이미지 세그멘테이션에 기초하여 초음파를 이용한 호흡 측정 방법 및 이를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180088526A KR102108630B1 (ko) 2018-07-30 2018-07-30 이미지 세그멘테이션에 기초하여 초음파를 이용한 호흡 측정 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
KR20200013380A true KR20200013380A (ko) 2020-02-07
KR102108630B1 KR102108630B1 (ko) 2020-05-07

Family

ID=69570007

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180088526A KR102108630B1 (ko) 2018-07-30 2018-07-30 이미지 세그멘테이션에 기초하여 초음파를 이용한 호흡 측정 방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (1) KR102108630B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023275163A1 (en) * 2021-06-30 2023-01-05 Koninklijke Philips N.V. Breathing pattern extraction

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004174219A (ja) * 2002-10-01 2004-06-24 Japan Science & Technology Agency 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体
JP2010158517A (ja) * 2008-12-11 2010-07-22 Hokushin Electronics:Kk 超音波式生体監視装置
KR101070389B1 (ko) 2010-12-30 2011-10-06 김용중 환자 상태 모니터링 시스템
KR101145646B1 (ko) 2010-06-25 2012-05-24 한국생산기술연구원 비접촉식 생체 신호 측정 장치 및 그 장치에서의 비접촉식 생체 신호 측정 방법
US20150094606A1 (en) * 2013-10-02 2015-04-02 Xerox Corporation Breathing pattern identification for respiratory function assessment
KR20180009942A (ko) * 2016-07-20 2018-01-30 현대오트론 주식회사 공기압 저하 판단 장치 및 방법
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
KR20180066441A (ko) * 2016-12-09 2018-06-19 주식회사 모두의연구소 통합형 호흡 측정을 위한 장치 및 이를 위한 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004174219A (ja) * 2002-10-01 2004-06-24 Japan Science & Technology Agency 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体
JP2010158517A (ja) * 2008-12-11 2010-07-22 Hokushin Electronics:Kk 超音波式生体監視装置
KR101145646B1 (ko) 2010-06-25 2012-05-24 한국생산기술연구원 비접촉식 생체 신호 측정 장치 및 그 장치에서의 비접촉식 생체 신호 측정 방법
KR101070389B1 (ko) 2010-12-30 2011-10-06 김용중 환자 상태 모니터링 시스템
US20150094606A1 (en) * 2013-10-02 2015-04-02 Xerox Corporation Breathing pattern identification for respiratory function assessment
KR20180009942A (ko) * 2016-07-20 2018-01-30 현대오트론 주식회사 공기압 저하 판단 장치 및 방법
KR20180066441A (ko) * 2016-12-09 2018-06-19 주식회사 모두의연구소 통합형 호흡 측정을 위한 장치 및 이를 위한 방법
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023275163A1 (en) * 2021-06-30 2023-01-05 Koninklijke Philips N.V. Breathing pattern extraction

Also Published As

Publication number Publication date
KR102108630B1 (ko) 2020-05-07

Similar Documents

Publication Publication Date Title
CN104853670B (zh) 用于提取生理信息的设备和方法
US9385768B2 (en) Device and method for extracting physiological information
JP6386327B2 (ja) 心肺パラメータモニタ用装置および心肺パラメータモニタ用システム
US11779231B2 (en) Multiple source-detector pair photoplethysmography (PPG) sensor
EP2291111B1 (en) Contactless respiration monitoring of a patient and optical sensor for a photoplethysmography measurement
JP6108486B2 (ja) 生体の測定読み出しを得る及び処理するデバイス及び方法
US20160278645A1 (en) Apparatus and method for detecting biometric information of a living body
WO2017055218A1 (en) Device, system and method for extracting physiological information
EP3603507A1 (en) Bio-information measuring apparatus and bio-information measuring method
CN108289620A (zh) 用于传感器位置引导的设备、系统和方法
CN105792734A (zh) 用于获得远程光体积描记波形的改进的信号选择
CN107928674B (zh) 一种基于声波测距的非接触式呼吸检测方法
JP6279098B2 (ja) 光電式脈拍信号測定方法及び測定機器
EP3384843A1 (en) Determining breathing attributes by a detection device
CN113056228A (zh) 使用多模态传感器检测生理信息的系统和方法
CN113257415A (zh) 健康数据收集装置和系统
US9788737B2 (en) Vital signs measurement system, detecting method of the vital signs measurement system, and vital signs measurement earphone
KR102108630B1 (ko) 이미지 세그멘테이션에 기초하여 초음파를 이용한 호흡 측정 방법 및 이를 위한 장치
Adhikari et al. MmFlow: Facilitating at-home spirometry with 5G smart devices
Wang et al. MultiResp: robust respiration monitoring for multiple users using acoustic signal
CN111685760B (zh) 一种基于雷达测量的人体呼吸频率计算方法
Chara et al. Respiratory biofeedback using acoustic sensing with smartphones
US20210330207A1 (en) Multiple Source-Detector Pair Photoplethysmography (PPG) Sensor
CN108143404A (zh) 一种测量心率数据方法和系统
US20220323023A1 (en) Method for determining respiratory rate

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant