KR20200103061A - 흡입기 훈련 시스템 및 방법 - Google Patents

흡입기 훈련 시스템 및 방법 Download PDF

Info

Publication number
KR20200103061A
KR20200103061A KR1020207021283A KR20207021283A KR20200103061A KR 20200103061 A KR20200103061 A KR 20200103061A KR 1020207021283 A KR1020207021283 A KR 1020207021283A KR 20207021283 A KR20207021283 A KR 20207021283A KR 20200103061 A KR20200103061 A KR 20200103061A
Authority
KR
South Korea
Prior art keywords
computer
patient
inhaler
deviation
implemented method
Prior art date
Application number
KR1020207021283A
Other languages
English (en)
Inventor
사빈 호이제르만
알렉산드로스 시브리스
요나스 베네디크트 나트제르
Original Assignee
비전헬스 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 비전헬스 게엠베하 filed Critical 비전헬스 게엠베하
Publication of KR20200103061A publication Critical patent/KR20200103061A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/13—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M15/00—Inhalators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2209/00—Ancillary equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medicinal Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pathology (AREA)
  • Urology & Nephrology (AREA)
  • Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)

Abstract

본 개시는 흡입기와 함께 환자에게 제공되는 사용 지침에 따라 치료용 에어로졸을 흡입하기 위해 특정 유형의 흡입기를 사용하여 환자에게 피드백을 제공하는 방법 및 시스템에 관한 것이다. 이 방법은 흡입기를 사용하는 동안 환자로부터 방출된 일련의 디지털 오디오 신호 및 일련의 디지털 비디오 신호를 획득하는 단계, 비디오 신호를 처리함으로써 흡입기의 유형을 인식하는 단계, 오디오 및 비디오 신호를 처리함으로써 환자가 지침으로부터 벗어 났는지 여부를 인식하는 단계, 및 편차의 유형을 인식하는 단계, 그리고, 환자에게 하나 이상의 피드백 메시지를 제시하는 단계를 포함하며, 상기 하나 이상의 피드백 메시지는 편차가 인식되었는지 여부, 만약 그러하다면, 발생한 편차의 유형, 및 선택적으로, 편차없는 흡입 조작을 나타낸다.

Description

흡입기 훈련 시스템 및 방법
호흡기 환자는 흡입 장치를 통해 대부분의 약물을 받아들인다. 그렇게 하면 약물이 폐에 직접 도달하며, 폐는 치료받을 대상 지역이다. 알려진 문제는 흡입 장치 시장이 성장하고 있으며 따라서 다양하다는 것이다. 건조 분말 흡입기, 분무기, 계량식 흡입기(MDI: metered dose inhalers) 및 연무 흡입기 등, 폐로 의약품의 흡입을 지원하는 4 가지 범주의 장치가 있다. 이들은 모두 집에서 환자를 위한 약물의 자체 투여에 사용되도록 의도되었다.
약물을 정제로 투여할 때, 치료의 성공을 위해서는 순응성만이 중요하다. 흡입 약물의 경우 약물의 정기적인 사용뿐만 아니라 흡입 장치 및 흡입 조작의 올바른 취급이 중요한다. 흡입이 제대로 수행되지 않으면 폐로 투여되는 약물의 양이 치료 성공하기에 너무 낮다. 천식이나 COPD와 같은 만성 질환은 불안정할 가능성이 더 높으며, 환자는 불필요하게 더 많은 용량을 처방받거나 더 자주 병원에 입원한다. 따라서 환자는 흡입 시스템의 올바른 사용에 대한 지침이 필요하다.
예를 들어, MDIS에서, 약제의 방출은 흡입의 시작과 정렬되어야 하거나 건조 분말 흡입기를 이용한 흡입은 신속하고 강력해야 한다. 약물의 전체 양을 방출하려면 일부 장치를 똑바로 세우거나 또는 다른 지정된 각도로 보지해야 한다.
흡입 요법의 잘못된 사용은 문헌에 따르면 일반적이지만 환자의 적절한 반복 교육 및 훈련을 통해 피할 수 있다. 이러한 훈련 접근법은 환자에게 필름 및 다른 예시적인 매뉴얼의 제공뿐만 아니라, 흡입기 사용 동안 결과를 측정하는 추가 보조 장비 및 장치를 포함한다. 이 장치는, 예를 들어 환자 및 관련 컴퓨터 처리 피드백 메커니즘에 연결된 센서를 구비한, 특정한 구조를 구성한다.
예를 들어, US 2015/0339953 A1에서, 휴대용 컴퓨터 장치 및 카메라 장치를 사용하는 흡입기 시스템에 대한 안내를 제공하는 자가 학습 시스템이 제공된다. 이 시스템은 여러 단계의 실시간 학습 안내(예: 교육용 비디오와 환자의 실시간 비디오의 동시 시청)로 구성된다.
US 2013/0063579 A1에서, 환자에게 미리 정해진 흡입 시스템을 사용하도록 훈련시킬 수 있는 훈련 방법이 기술되어 있다. 이 시스템은 환자와 흡입기에 따라 특별히 조정된다. 보편적으로 적용 가능한 시스템이 더 효율적이다.
흡입 훈련을 위한 기존의 방법은 환자와의 개인적인 상호 작용이 부족하거나, 추가 장비의 요구 사항과 함께 다가오므로 휴대용이 아니다. 따라서, 흡입 장치를 사용하는 환자를 위한 개인화되고 편리한 훈련 방법이 필요하다.
제 1 양태에서, 본 발명은 흡입기를 위해, 또는 흡입기와 함께, 환자에게 제공된 사용 지침에 따라 치료용 에어로졸을 흡입하기 위한 특정 유형의 흡입기를 사용하여 환자에게 피드백을 제공하는, 컴퓨터로 구현되는 방법에 관한 것이다. 이 방법은(a) 흡입기를 사용하는 동안 환자로부터 방출된 일련의 디지털 오디오 신호 및 일련의 디지털 비디오 신호를 획득하는 단계;(b) 비디오 신호를 처리함으로써 흡입기의 유형을 인식하는 단계;(c) 오디오 및 비디오 신호를 처리함으로써 환자가 지침을 벗어 났는지 여부를 인식하는 단계; (d) 단계(c)에서 편차가 인식된 경우, 편차의 유형을 인식하는 단계; 및 (e) 환자에게(i) 편차가 인지되었는지 여부, (ii) 편차가 인식된 경우 편차 유형; 및 선택적으로(iii) 편차없는 흡입 조작을 나타내는 하나 이상의 피드백 메시지를 제시하는 단계를 포함한다. .
다른 양태에서, 본 발명은 본 명세서에 기술된 바와 같은 방법을 수행하도록 적응된 프로세서를 포함하는 데이터 처리 시스템을 제공한다.
또 다른 양태에서, 본 발명은 프로그램이 컴퓨터에 의해 실행될 때 컴퓨터로 하여금 본 명세서에 설명된 방법의 단계들을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램을 제공한다.
또 다른 양태에 따르면, 본 발명은 컴퓨터에 의해 실행될 때 컴퓨터로 하여금 본 발명의 방법의 단계를 수행하게 하는 명령어를 포함하는 컴퓨터 판독 가능 저장 매체를 제공한다.
도 1은 제 1 실시예에 따른 본 발명의 방법의 단계를 도시한 도면을 나타낸다.
도 2는 다른 선택적 실시예에 따른 본 발명의 방법의 단계들을 도시한 도면을 나타낸다.
제 1 양태에서, 본 발명은 청구항 1에 정의된 흡입기와 함께 환자에게 제공되는 사용 지침에 따라 치료용 에어로졸을 흡입하기 위해 특정 유형의 흡입기를 사용하여 환자에게 피드백을 제공하는 컴퓨터로 구현되는 방법을 제공한다.
일 구현예에서, 상기 방법은 다음의 단계를 포함한다.
(a) 흡입기를 사용하는 동안 환자로부터 방출된 일련의 디지털 오디오 신호 및 일련의 디지털 비디오 신호를 얻는 단계;
(b) 비디오 신호를 처리함으로써 흡입기의 유형을 인식하는 단계;
(c) 오디오 및 비디오 신호를 처리함으로써 환자가 지침을 벗어 났는지 여부를 인식하는 단계;
(d) 단계(c)에서 편차가 인식된 경우, 편차의 유형을 인식하는 단계; 및
(e) 다음을 표시하는 하나 이상의 피드백 메시지를 환자에게 제시하는 단계
(i) 편차가 인식되었는지 여부
(ii) 편차가 인식된 경우 편차 유형; 그리고 선택적으로
(iii) 편차없는 흡입 조작.
바람직하게는 단계 b) 및 c)는 흡입기 유형을 식별하고 편차를 식별하도록 훈련된 인공 신경망을 사용하여 비디오 및 오디오 신호를 분석함으로써, 또는 규칙적인 움직임을 검출하는 방법에 의해 수행되고;
상기 단계(a) 내지(e)는 다음을 포함하는, 핸드-헬드 사용을 위한 휴대용 피드백 장치에 의해 수행된다:
- 데이터 처리 시스템;
- 데이터 메모리;
- 카메라;
- 마이크;
- 디스플레이; 및
- 스피커.
바람직하게는, 단계 b) 및 c)는 흡입기 유형을 식별하고 편차를 식별하도록 훈련된 인공 신경망을 사용하여 비디오 및 오디오 신호의 분석을 수행하는 단계를 포함하고, 단계 c)는 또한 규칙적인 움직임을 검출하는 방법의 사용을 포함한다. .
본원에 사용된 흡입기는 사용자 또는 환자가 에어로졸을 흡입할 수 있도록 치료용 에어로졸을 방출할 수 있는 흡입 장치이다. 에어로졸은 연속 기체상에서 고체, 반고체 또는 액체상의 분산액으로서, 가령, 분말 에어로졸 - 의약학적으로 흡입용 분말로 알려짐 - 및 분무 에어로졸을 포함한다. 분말 에어로졸을 전달하기 위한 흡입 장치는 일반적으로 분말 흡입기로서 기술된다. 에어로졸화된 액체는 분무기, 가압 계량 투여 흡입기 및 연무 분무기를 포함한, 다양한 흡입 장치에 의해 투여된다. 일 구현예에서, 본 발명의 방법은 분말 흡입기, 분무기, 계량 용량 흡입기 또는 연무 분무기를 사용하여 환자에게 피드백을 제공한다.
본 발명에 따른 방법의 주요 장점은 핸드-헬드 장치에서 이 방법을 수행할 수 있다는 것이다. 적합한 핸드-헬드 장치는 스마트 폰일 수 있다. 이 방법은 일반적으로 모든 프로세서에서, 심지어 스마트 폰이나 라즈베리 파이와 같은 비교적 느린 프로세서에서도 수행할 수 있다. 본 방법은 실시간으로 수행될 수 있고 많은 계산 능력을 가진 서버에 대한 액세스를 요구하지 않으며, 즉 방법이 오프라인 방식으로 수행될 수 있다.
흡입기 유형은 특정 흡입기 모델 또는 모델 군을 나타낸다. 이와 관련하여, 모델 군은 특히 호흡 운동과 관련하여 본질적으로 동일한 방식으로 환자에 의해 사용되는 모델의 변형을 의미한다. 예를 들어, 특정 유형의 분무기의 예는 PARI eFlow 급속 분무기 시스템으로서, 진동 메시 기술을 통합한 전자 분무기이다. 특정 유형의 분말 흡입기의 예로는 GSK에서 판매하는 ADVAIR DISKUS®가 있다. 특정 유형의 연무 분무기의 예는 베링거 인겔하임(Boehringer Ingelheim)에서 판매하는 SPIRIVA RESPIMAT®가 있고; 특정 유형의 정량 복용 흡입기의 예는 GSK에서 판매하는 VENTOLIN® HFA이다.
각각의 흡입기는 사용 설명서와 함께 환자에게 제공되며, 이는 일반적으로 환자 전단지에 인쇄되지만, 인터넷을 통해 또는 의사, 약사 또는 간호사와 같은 건강 관리 제공자로부터 수신된 구두 및/또는 시각 정보를 통해 환자에게 제공될 수도 있다.
흡입기를 사용하는 환자는 흡입기를 통해 투여되는 치료용 에어로졸을 필요로하거나 이로부터 혜택을 받는 인간 대상체이다. 에어로졸이 잠재적으로 유익한 임의의 질병, 상태 또는 증상의 예방 또는 치료를 포함하여 임의의 의학적 목적으로 사용될 수 있다.
본 발명의 방법의 장점은 상기 방법이 흡입기 유형을 식별한다는 것이다. 예를 들어 US 2013/0063579 A1에 기술된 바와 같은 종래 기술의 방법은 환자를 훈련시키는 데 적합할 수 있지만, 사전에 특정 흡입기에 적응될 필요가 있다.
흡입기는 사전 훈련된 인공 신경망을 사용하여 식별될 수 있다. 이와 같이, 방법은 예를 들어 스마트폰과 같은, 연산 능력이 제한된 핸드-헬드 장치에서 수행될 수 있다.
본 발명의 방법은 컴퓨터로 구현된다. 데이터 처리 시스템, 데이터 메모리, 오디오 및 비디오 신호를 획득하기 위한 수단 및 오디오 및 비디오 피드백 메시지를 제시하기 위한 수단을 포함하는 임의의 적합한 컴퓨터 또는 다른 장치가, 예를 들어 상기 방법을 수행하기 위해 사용될 수 있고, 장치의 데이터 처리 시스템에 의해 실행될 때, 장치로 하여금 본 명세서에 기술된 방법 단계들을 수행하게 하는 소프트웨어를 설치함으로써, 구현된다. 바람직한 실시예 중 하나에서, 장치는 휴대용 피드백 장치이다. 적합한 장치의 예는 휴대용이며, 본 발명의 단계를 수행하기 위해 컴퓨터 프로그램을 이용하여 구성될 수 있으며, 스마트 폰일 수 있다.
이 방법은 흡입기를 사용하는 동안 환자로부터 방출된 일련의 디지털 오디오 신호 및 일련의 디지털 비디오 신호를 얻는 단계를 포함한다. 오디오 신호는 마이크로폰으로부터 획득될 수 있고, 비디오 신호는 카메라로부터 획득될 수 있으며; 마이크로폰 및 카메라는 휴대용 피드백 장치 내에 통합될 수 있다. 환자가 사용하는 동안 흡입기 자체에서 방출되는 신호를 포함하여 흡입기를 사용하는 동안 관련 신호가 환자에게서 방출된다.
일 실시예에서, 오디오 신호의 시퀀스는 환자가 흡입기를 사용하여 하나의 호흡 조작을 수행하는 시간을 커버하거나 그에 걸쳐 수집된다. 다른 실시예에서, 2 개 이상의 연속 호흡 조작으로부터의 오디오 신호가 획득 또는 수집된다. 본 명세서에 사용된 바와 같이, 호흡 조작(breathing manoeuver)은 환자가 흡입기로부터 방출된 에어로졸에서 들이쉬거나 이를 흡입하는 흡기 단계 및 환자가 내쉬거나 호기하는 호기 단계를 포함한다. 일부 경우에, 호흡 조작은 환자가 숨을 들이쉬거나 내쉼없이 숨을 멈추는 단계를 더 포함한다.
유사하게, 비디오 신호는 환자가 흡입기를 사용하여 하나의 호흡 조작을 수행하는 시간, 및 선택적으로 환자가 둘 이상의 연속 호흡 조작을 수행하는 시간을 커버하거나 이 시간 동안 수집될 수 있다. 바람직한 실시예 중 하나에서, 비디오 신호는 환자의 얼굴 및 흡입기로부터의 신호를 포함한다.
일 실시예에서, 오디오 신호 및 비디오 신호의 시퀀스는 동시에 획득된다.
이 방법은 흡입기의 유형을 인식하는 단계를 더 포함하며, 이 단계는 이전 단계에서 비디오 신호를 처리함으로써 수행된다. 이 단계는 사전 훈련된 신경망 기반 분류기에 대한 입력으로서 흡입기 A를 포착하는 것으로 의심되는 비디오 신호로부터의 프레임을 사용함으로써 수행될 수 있다. 분류기는 x가지의 상이한 값을 출력하는데, 여기서 각 값은 흡입기 Ai를 검출할 가능성에 대응하고, i는 흡입기 유형에 대응하는 1 내지 x의 수이다.
상기 방법은 환자가 지침으로부터 벗어 났는지 여부를 인식하는 단계를 더 포함하며, 이 단계는 이전 단계에서 획득된 오디오 및 비디오 신호를 처리함으로써 수행된다. 이와 관련하여, 편차는 오디오 및 비디오 신호가 얻어 지거나 수집되는 동안 환자가 치료용 에어로졸을 흡입하기 위해 흡입기를 사용하거나 사용한 방식에 관한 것이다. 이 단계는 흡입기의 유형을 인식하는 단계 후에 수행될 수 있다. 부분적으로는 흡입기 유형을 인식하는 동시에 수행될 수도 있다.
지침으로부터의 편차는 예를 들어 환자의 자세, 흡입기의 위치 또는 방향, 또는 환자의 호흡 조작과 관련될 수 있다. 호흡 조작과 관련하여, 지침으로부터의 편차는 예를 들어 너무 빠르거나 너무 느린 흡입, 너무 짧거나 너무 긴 흡기 단계, 호흡을 멈춘 단계의 존재 또는 부재, 흡입기의 부정확한 작동 타이밍, 부정확한 만료(예를 들어, 그렇지 않을 경우 지침이 제공하는 경우 흡입기의 마우스피스를 통해 또는 그 반대로), 등에 의해 표현될 수 있다.
추가 편차는 흡입기의 잘못된 준비일 수 있다. 일부 흡입기, 특히, 계량 흡입기 형태의 현탁액 에어로졸은 흡입될 최적화된 현탁액을 제공하기 위해 흔들어주어야 한다. 다른 흡입기 또는 흡입기와 약물 제품의 조합의 경우, (선택적으로 재구성 된) 활성 조성물의 느린 교반이 필요할 수 있다.
환자가 지침으로부터 벗어 났는지 여부를 인식하는 단계는 가령, 환자에 의해 수행된 호흡 조작이 환자가 수행한 호흡 조작이 각자의 흡입기에 적용가능한 지침에 따라 적절히 수행되는 호흡 조작에 들어맞는지(또는 아닌지)의 가능성을 계산하기 위해, 환자로부터 방출되는 오디오 및 비디오 신호를 처리함으로써 수행될 수 있다.
본 발명자들은 흡입기가 올바르게 준비되었는지를 식별하는 새로운 방법을 개발할 수 있었다. 종래 기술의 방법은 광 흐름 분석에 기초하며, 이는 상당한 연산 능력을 필요로하며 스마트 폰 또는 저전력 프로세서 상에서 실시간으로 수행될 수 없다. 본 발명자들은 예를 들어 전력이 제한된 프로세서, 가령, 스마트 폰 프로세서에서 실시간으로 흔들거나 교반하는, 규칙적 운동을 식별할 수 있는 새로운 방법을 개발했다. .
이 방법은 일반적으로 움직임 인식을 기반으로 한다. 선택된 장치에 적합한 임의의 방법이 이용될 수 있다. 특히, 이 방법은 아래에 정의된 규칙적인 움직임을 검출하는 방법이다.
편차가 인식되면, 방법은 발생한 편차의 유형을 인식하는 단계를 더 포함한다. 또한 이 단계는 이전 단계에서 얻은 오디오 및 비디오 신호의 처리를 포함한다.
추가 단계에서, 하나 이상의 피드백 메시지가 환자에게 제시되어, 편차가 인식되었는지 여부, 그리고 만약 그렇다면, 발생된 편차의 유형을 표시한다. 선택적으로, 피드백은 각각의 편차없는 흡입 조작에 대한 정보 및 환자에 의해 수행되어야 하는 방법을 포함한다.
본 발명에 따르면, 피드백 메시지는 예를 들어, 본 발명의 방법을 수행하도록 구성된 스마트 폰의 스피커 및 디스플레이와 같은 휴대용 피드백 장치의 일부일 수 있는 스피커 및/또는 디스플레이를 통해서, 오디오 및/또는 비디오 포맷으로 환자에게 제시될 수 있다. 일 실시예에서, 피드백 메시지 또는 여러 피드백 메시지 중 적어도 하나는 시청각 포맷으로 환자에게 제시된다. 햅틱 피드백과 같은 오디오 및/또는 비디오 포맷 외에 다른 포맷도 사용될 수 있다. 일 실시예에서, 상기 피드백 메시지는 증강 현실을 사용하여 제시된다.
예를 들어, 편차가 발생했다는 표시를 갖는 오디오 포맷의 피드백 메시지는 알람 소리와 같은 "부정적인" 내포를 갖는 특정 소리로 제시될 수 있고; 또는 음성 단어 메시지로 표시될 수 있다. 시각적 형식에서, 피드백은 편차의 존재를 나타내는 기호, 색상 또는 문자 메시지를 표시하는 것을 포함할 수 있다. 선택적으로 이 정보를 전달하기 위해 비디오 클립이 표시될 수 있다.
유사하게, 편차의 유형의 표시는 오디오 포맷, 비주얼 포맷 또는 결합된 오디오-비주얼 포맷의 피드백 메시지로서 제시될 수 있다. 바람직한 실시예들 중 하나에서, 이 표시의 보다 높은 복잡성으로 인해, 이 피드백의 포맷은 시청각이다.
흡입기의 올바른 사용 및 특히 각각의 지침에 따른 올바른 호흡 조작을 나타내는 선택적인 피드백은 또한 전술한 임의의 형식으로 제시될 수 있다. 바람직한 실시예에서, 포맷은 시청각이다. 특히 바람직한 실시예에서, 포맷은 증강 현실을 사용하는 시청각이다.
언급된 바와 같이, 방법의 단계(a) 내지 (e)는 핸드-헬드 사용을 위한 휴대용 피드백 장치에 의해 수행될 수 있다. 이러한 장치는 적어도 데이터 처리 시스템, 데이터 메모리, 카메라, 마이크로폰, 디스플레이 및 스피커를 포함한다. 본 발명의 맥락에서, "핸드-헬드 용도"와 조합된 "휴대용"은 방법이 수행되는 동안 피드백 장치가 환자의 손에 보지될 수 있음을 의미한다. 장치는 스마트 폰과 같은 일반 장치 또는 맞춤형일 수 있다. 그것이 본 발명에 따른 피드백 장치가 되려면, 장치상에서 실행되는 컴퓨터 프로그램에 의해, 즉 장치의 데이터 처리 시스템에 의해, 적응되는 방법 단계를 수행하도록 적응되어야 하며, 따라서, 프로그램이 실행될 때, 방법 단계(a) 내지 (e)가 수행된다.
컴퓨터 프로그램은 휴대용 피드백 장치의 데이터 메모리에 저장될 수 있다. 환자로부터 방출된 일련의 디지털 오디오 신호의 시퀀스는 단계(a)에서 마이크로폰에 의해 획득될 수 있고, 디지털 비디오 신호는 장치의 카메라에 의해 획득될 수 있다. 단계 (e)에 따라 환자에게 제시된 하나 이상의 피드백 메시지는 장치의 디스플레이 상에 표시되거나, 스피커를 통해 울리거나, 이들 출력 수단의 조합을 사용하여 표시될 수 있다.
단계(b)에 따른 흡입기 유형의 인식은 장치의 데이터 처리 시스템에 의해 수행될 수 있는 비디오 신호의 처리에 기초한다. 미리 정의된 흡입기 형상 파라미터(A1 내지 Ax)는 피드백 장치의 데이터 메모리의 데이터베이스에 저장될 수 있다. 대안적으로, 파라미터 A1 내지 Ax는 원격 메모리 또는 데이터 저장 장치(예를 들어, 클라우드 기반)에 저장된 데이터베이스에 저장될 수 있으며, 이는 데이터 처리 시스템에 의해 바람직하게는 무선 통신에 의해 액세스 가능하다. 따라서, 피드백 장치는, 선택적으로 인터넷을 통해, 이러한 외부 데이터 메모리 또는 데이터 저장 장치와 무선 통신하기 위한 수단을 포함하는 것이 바람직하다.
유사하게, 단계(c) 및(d)에 따라 흡입기를 사용하는 환자에 의한 지침으로부터의 편차의 존재 및 유형의 인식은 컴퓨터 프로그램이 실행되는 장치의 데이터 처리 시스템에 의해 수행될 수 있다. 또한, 데이터 처리 시스템이 환자의 호흡 조작에서의 편차를 인식함에 기초한 기존의 데이터는 피드백 장치의 데이터 메모리에 저장될 수 있고, 또는 바람직한 경우에, 외부 데이터 메모리 또는 데이터 저장 장치로부터 획득될 수 있으며, 이는 무선 통신에 의해 피드백 장치에 의해 액세스되는 것이 바람직하다.
전술한 바와 같이, 편차가 인식되었는지 여부와, 그러한 경우 발생된 편차의 유형을 나타내는 하나 이상의 피드백 메시지가 환자에게 제공된다. 선택적으로, 피드백은 각각의 편차없는 흡입 조작에 대한 정보 및 환자에 의해 수행되어야 하는 방법을 포함한다. 피드백 메시지는 예를 들어, 본 발명의 방법을 수행하도록 구성된 스마트 폰의 스피커 및 디스플레이와 같은, 휴대용 피드백 장치의 일부일 수 있는 스피커 및/또는 디스플레이를 통해서, 오디오 및/또는 비디오 포맷으로 환자에게 제시될 수 있다.
일 실시예에서, 상기 피드백 메시지는 증강 현실을 사용하여 제시된다.
선택적으로, 상기 방법은 비디오 신호에 기초하여 환자의 신원을 인식하는 추가 단계를 포함한다. 이 단계는 또한 카메라로부터 비디오 신호를 획득하고, 이들 신호를 처리하고, 특정 얼굴에 대응하는 저장된 데이터에 이들을 비교하도록 구성된 휴대용 피드백 장치의 데이터 처리 시스템에 의해 수행될 수 있다. 또한, 이러한 데이터가 저장되는 데이터베이스는, 휴대용 피드백 장치의 데이터 메모리에 위치될 수 있거나, 또는 바람직하게는 무선 통신에 의해 피드백 장치에 의해 액세스되는, 외부 데이터 메모리 또는 데이터 저장 장치에 위치될 수 있다.
이 단계의 타이밍은 다소 유연하다. 그 성능은 환자로부터 방출되는 일련의 디지털 비디오 신호의 가용성을 요구하지만 흡입기를 사용하는 동안 반드시 그런 것은 아니다. 따라서, 환자의 신원의 인식은 단계(a) 전 또는 단계(e) 후에도 수행될 수 있다. 그러나, 선택적으로, 단계(a)에 따라 제공된 바와 같이 흡입기를 사용하는 동안 환자로부터 방출된 일련의 디지털 비디오 신호를 처리함으로써 환자의 신원이 인식되고, 인식 자체는 적어도 부분적으로 단계(a)에 병렬로 또는 단계 (b), (c), 및/또는 (d)와 동시에, 수행될 수 있다.
환자의 신원이 인식되면, 방법은 환자가 인식 또는 식별되었다는 사실을 나타내는, 또는 인식된 환자의 신원을 나타내는, 피드백 메시지를 환자에게 제시하는 추가의 선택적 단계를 포함할 수 있다. 다른 피드백 메시지와 같이, 환자의 신원에 관한 이러한 메시지는 예를 들어, 본 발명의 방법을 수행하도록 구성된 스마트 폰의 스피커 및 디스플레이와 같은 휴대용 피드백 장치의 일부일 수 있는 스피커 및/또는 디스플레이를 통해서, 오디오 및/또는 비디오 형식으로 제시될 수 있다. 예를 들어, 환자의 이름이 수기로 표시되거나, 이름을 나타내는 음성 메시지가 스피커를 통해 울리거나, 환자의 얼굴의 이미지가 표시될 수 있고, 또는 이들의 임의의 조합도 가능하다.
일 실시예에서, 환자가 인식 또는 식별되었다는 사실을 나타내는, 또는, 피드백 메시지 또는 인식된 환자의 신원을 나타내는, 피드백 메시지는 편차가 인식되었는지 여부와, 편차의 유형(해당될 경우)을 나타내는 하나 이상의 피드백 메시지의 제시 전에 제시된다. 다른 실시예에서, 환자 신원에 관한 피드백 메시지는 단계(e)의 하나 이상의 다른 피드백 메시지와 적어도 부분적으로 병렬로(또는 동시에) 제시된다.
또한, 상기 방법은 오디오 신호 또는 비디오 신호의 품질에 악영향을 줄 수 있는 유해 조건이 존재하는지 여부를 식별하는 단계, 및 선택적으로, 그러한 유해한 조건의 특성 및 크기를 식별하는 단계를 선택적으로 포함할 수 있다. 본원에 사용된 바와 같이, 유해 조건은 환경적 조건 뿐만 아니라, 환자에 의한 휴대용 피드백 장치의 취급, 또는 이 둘의 조합을 포함하도록 폭넓게 해석되어야 한다.
일 구현예에서, 유해 조건은 환경 조건이다. 예를 들어, 이러한 환경 조건은 환자가 흡입기를 사용하려고 할 때 우세한, 특히 낮거나 높은 광도에 관련될 수 있다. 환자에 의해(예를 들어, 환자가 흡입기 및/또는 휴대용 피드백 장치를 보지하는 방식에 의해) 함께 영향받는 유해 환경 조건은 환자로부터 방출된 비디오 신호의 휘도 대비이다. 이것이 매우 높으면, 단계(b),(c) 및/또는 (d)의 성능뿐만 아니라 비디오 신호에 기초하여 환자의 신원을 인식하는 선택적인 단계가 어려울 수 있거나 극단적 인 경우 불가능할 수 있다.
유해한 환경 조건의 다른 예는 청각적 소음, 즉 환자의 흡입기 사용과 관련이 없는 원하지 않는 소리의 존재이다. 예를 들어, 평균 음향 배경 잡음은 바람직하게는 약 50dB 미만, 더욱 바람직하게는 약 40dB 미만, 또는 약 35dB 미만이어야 한다. 특히 바람직한 실시예 중 하나에서, 임계 값은 약 30dB이며, 그 이상에서는 유해 환경 조건의 존재가 인식된다.
환자에 의해 야기되는 유해한 상태의 예는 휴대용 피드백 장치의 흔들림이다. 약 1Hz 이상, 또는 약 2Hz 이상, 또는 특히 약 3Hz 이상의 진동 주파수는 단계 (b) 내지 (d)를 수행하거나 환자의 신원을 인식할 수 있는 충분한 고품질의 비디오 신호를 얻기 어렵게할 수 있다. 이들 진탕 주파수 각각은 임계 값으로 작용하여, 이러한 임계 값 이상에서는 유해한 조건의 존재가 인식된다.
오디오 신호 또는 비디오 신호의 품질에 악영향을 줄 수 있는 유해 상태가 식별되면, 이 방법은 바람직하게는 유해한 상태의 존재 및 선택적으로 그 특성을 나타내는 피드백 메시지를 환자에게 제시하는 추가 단계를 포함한다. 피드백 메시지, 그 형식 및 그것이 제시되는 수단에 관한 옵션 및 선호도와 관련하여, 유사하게 적용되어야 하는 다른 피드백 메시지의 제시를 설명하는 발명의 설명의 윗 부분을 참조할 수 있다. 예를 들어, "너무 어두워요", "너무 소음이 커요" 또는 "흔들지 말아주세요"와 같은 피드백 메시지가 디스플레이에 표시되거나 휴대용 피드백 장치의 스피커를 통해 울릴 수 있다.
본 발명의 방법은, 피드백 장치가 작동하고 있고 카메라 및 마이크로폰이 환자의 얼굴을 향하도록 유지되는 동안, 사용 설명서에 따라 흡입기를 사용하여 치료용 에어로졸을 흡입하도록 환자에게 지시하는 단계를 추가로 포함할 수 있다. 이 단계는 단계(a) 이전에 수행될 수 있고, 각각의 지시는 다양한 선택적인 형태로 환자에게 제시될 수 있다. 예를 들어, 지시는 장치가 주문형 장치인 경우 휴대용 피드백 장치와 함께, 또는 장치가 (스마트 폰과 같은) 범용 장치이고 소프트웨어를 통해 발명의 방법을 수행하도록 구성된 경우 컴퓨터 프로그램과 함께, 배포되는 안내 책자 또는 설명서에 인쇄될 수 있다. 대안적으로 또는 추가로, 지시는 상술한 바와 같은 피드백 메시지 중 하나와 동일한 방식으로 디스플레이 상에 디스플레이되거나 휴대용 피드백 장치의 스피커를 통해 울려 질 수 있다.
본 발명의 다른 양태에서, 본 명세서에 기술된 바와 같은 방법을 수행하도록 적응된 프로세서를 포함하는 데이터 처리 시스템이 제공된다. 언급된 바와 같이, 데이터 처리 시스템은 스마트 폰의 데이터 처리 시스템에 의해 로딩되고 실행되는 컴퓨터 프로그램에 의해 방법 단계를 수행하도록 적응 또는 구성되는 스마트 폰의 데이터 처리 시스템과 같은, 범용 속성을 가질 수 있다. 그러나, 데이터 처리 시스템이 통합된 장치가 일반적인 장치인지 또는 맞춤형인지에 관계없이, 장치는 휴대용이고 핸드-헬드 사용에 적합하며, 데이터 메모리, 카메라, 마이크로폰, 디스플레이 및 스피커를 더 포함한다.
또 다른 양태에서, 본 발명은 프로그램이 컴퓨터에 의해 실행될 때 컴퓨터로 하여금 본 명세서에 설명된 방법의 단계들을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램을 제공한다. 또한, 컴퓨터는 바람직하게는 상기 정의된 바와 같은 데이터 처리 시스템을 포함한다.
또 다른 양태에서, 본 발명은 컴퓨터에 의해 실행될 때 컴퓨터로 하여금 본 발명의 방법의 단계를 수행하게 하는 명령어를 포함하는 컴퓨터 판독 가능 저장 매체를 제공한다. 컴퓨터 판독 가능 저장 매체는 임의의 유형의 데이터 저장 매체, 즉 광학, 자기, 반도체 기반 또는 임의의 다른 종류의 매체일 수 있다. 플래시 메모리, 디지털 광 디스크, 하드 디스크 드라이브 또는 솔리드 스테이트 드라이브와 같은 비 휘발성 저장 매체인 것이 바람직하다.
다른 양태에서, 본 발명은 다음 단계를 포함하는 규칙적인 움직임을 검출 및/또는 분석하기 위한 컴퓨터 구현 방법에 관한 것이다:
(a) 상기 규칙적인 움직임으로부터 방출된 일련의 디지털 비디오 신호를 얻는 단계;
(b) 상기 비디오 신호에서, 상기 비디오 신호의 일련의 프레임에서 다음 과정들을 수행하는 단계:
(i) 상기 규칙적인 움직임이 통과하는 프레임의 일부를 선택하는 과정;
(ii) 상기 프레임의 상기 부분 내의 평균 밝기 값을 컴퓨팅하는 과정;
(iii) 상기 프레임의 상기 부분의 상기 평균 밝기 값을 버퍼에 저장하는 과정;
(c) 복수의 프레임을 포함하는 일련의 프레임에 대해 과정 (i) 내지 (iii)을 반복하는 단계 - 상기 프레임의 상기 부분은 각 프레임에서 동일하여, 상기 평균 밝기 값의 버퍼를 생성;
(d) 상기 밝기 값의 버퍼에 결정되고 저장된 모든 값의 평균 밝기의 평균을 계산하는 단계;
(e) 제로 센터링된 버퍼(zero centered buffer)를 생성하기 위해 상기 버퍼의 각 값으로부터 상기 결정된 평균 밝기의 평균을 감산하는 단계;
(f) 상기 제로 센터링 버퍼의 제로 크로싱 속도를 계산하는 단계.
본 발명자들에 의해 개발된 새로운 방법은 예를 들어, 더 느리고 덜 강력한 프로세서, 가령, 스마트 폰 프로세서 또는 라즈베리 파이 상에서도 실시간 분석을 허용하기 때문에 종래 기술의 방법보다 유리하다.
바람직하게는 상기 방법 단계(a) 내지 (f)는 적어도 다음을 포함하는 컴퓨팅 시스템에 의해 수행된다:
- 데이터 처리 시스템;
- 데이터 메모리.
일부 실시예에서 상기 장치는 카메라를 추가로 포함한다.
일부 실시 양태에서, 방법 단계(a) 내지 (f)는 다음을 포함하는 컴퓨팅 시스템에 의해 수행된다:
- 데이터 처리 시스템;
- 데이터 메모리;
- 카메라;
- 마이크;
- 디스플레이; 및
- 스피커.
보다 바람직한 실시예에서, 상기 컴퓨팅 시스템은 휴대용, 더욱 바람직하게는 휴대용 및 핸드-헬드 용이다. 일부 실시예에서, 특정 실시예에서 상기 컴퓨팅 시스템은 스마트 폰이다.
단계 (i) 내지 (iii)은 적어도 1 초의 모션을 커버하는 복수의 프레임에 걸쳐 수행되어야 한다. 바람직하게는, 상기 단계는 적어도 약 24 프레임 이상 동안, 또는 바람직하게는 약 48 프레임 이상 동안 반복된다.
이 방법은 프레임의 일부를 선택해야 한다. 상기 프레임은 모션의 일부를 커버해야 한다. 즉 모션이 장치를 통과하지만 프레임의 상기 부분 내부에서 완전히 수행되지는 않는다. 상기 프레임의 상기 부분은 움직임 분석을 위해 동일해야 한다. 바람직하게는, 프레임의 상기 부분은 분석된 각 프레임에서 동일하며, 바람직하게는 규칙적인 움직임의 위치에 대해 동일하다. 바람직하게는, 카메라 또는 비디오 캡쳐 장치가 예를 들어 핸드-헬드 장치인 경우, 프레임의 일부가 카메라 움직임에 대해 보정된다.
일부 실시예들에서, 프레임의 일부의 상기 선택은 비디오 캡처 장치의 움직임을 조정하고 수정하도록 구성된다.
이미 언급한 바와 같이, 이 방법은 스마트 폰과 같은 계산 능력이 제한된 컴퓨팅 시스템에 특히 적합하다. 방법의 성능을 향상시키기 위해, 방법에 대한 추가 조정이 이루어질 수 있다.
이 방법은 프레임의 상기 부분의 평균 밝기 값을 이용하고 저장한다. 바람직하게는, 상기 밝기 값은
본 발명의 일부 실시예에서, 평균 밝기 값을 저장하기 위한 버퍼는 원형 버퍼이다.
비디오 신호가 풀 컬러 대신 그레이 스케일로 변환되면 밝기 값을 더 쉽게 계산할 수 있다. 일부 실시 양태에서, 방법은 단계 (i) 이전에 단계 (b)에서 다음의 추가 단계를 포함한다:
(o) 상기 프레임의 컬러 정보를 그레이 스케일로 변환하는 단계.
이 방법은 규칙적 운동의 강도 또는 속도에 비례하는 제로 크로싱 속도를 제공한다. 이와 같이, 규칙적인 운동의 속도 또는 강도는 기준값과 비교하여 결정될 수 있다.
따라서, 일 구체예에서, 본 발명은 단계 (g)를 추가로 포함하는 상기 정의된 방법에 관한 것이다:
(g) 상기 규칙적인 운동의 속도 또는 강도에 대한 추정치를 얻기 위해 결정된 제로 크로싱 속도를 미리 결정된 기준값과 비교하는 단계를 포함한다.
추가의 실시예 및 선택적인 특징은 당업자에게 명백할 것이다.

Claims (20)

  1. 흡입기를 위해 또는 흡입기와 함께 환자에게 제공되는 사용 지침에 따라 치료용 에어로졸을 흡입하기 위해 특정 유형의 흡입기를 사용하여 환자에게 피드백을 제공하기 위한 컴퓨터로 구현되는 방법으로서, 상기 방법은,
    (a) 흡입기를 사용하는 동안 환자로부터 방출된 일련의 디지털 오디오 신호 및 일련의 디지털 비디오 신호를 획득하는 단계;
    (b) 비디오 신호를 처리함으로써 흡입기의 유형을 인식하는 단계;
    (c) 오디오 및 비디오 신호를 처리함으로써 환자가 지침을 벗어 났는지 여부를 인식하는 단계;
    (d) 단계(c)에서 편차가 인식된 경우, 편차의 유형을 인식하는 단계; 및
    (e) 하나 이상의 피드백 메시지를 환자에게 제시하는 단계를 포함하되,
    상기 하나 이상의 피드백 메시지는,
    (i) 편차가 인식되었는지 여부
    (ii) 편차가 인식된 경우 편차 유형; 그리고 선택적으로
    (iii) 편차없는 흡입 조작을 나타내며,
    단계 (b) 및 (c)는 흡입기 유형을 식별하고 편차를 식별하도록 훈련된 인공 신경망을 사용하여 비디오 및 오디오 신호를 분석함으로써, 또는 규칙적인 움직임을 검출하는 방법에 의해, 수행되고;
    단계 (a) 내지 (e)는 핸드-헬드 사용을 위한 휴대용 피드백 장치에 의해 수행되며, 상기 휴대용 피드백 장치는,
    - 데이터 처리 시스템;
    - 데이터 메모리;
    - 카메라;
    - 마이크;
    - 디스플레이; 및
    - 스피커를 포함하는, 컴퓨터로 구현되는 방법.
  2. 제 1 항에 있어서, 단계 (c)는 상기 휴대용 피드백 장치 상에서 실시간으로 수행되고, 단계 (e)에서의 상기 피드백 메시지는 즉시 제시되는, 컴퓨터로 구현되는 방법.
  3. 제 1 항 또는 제 2 항에 있어서, 단계 e)에서 상기 피드백 메시지는 증강 현실을 사용하여 제시되는, 컴퓨터로 구현되는 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 흡입기는 분말 흡입기, 분무기, 계량 용량 흡입기(metered-dose inhaler) 또는 연무 분무기인, 컴퓨터로 구현되는 방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 비디오 신호에 기초하여 환자의 신원을 인식하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 오디오 신호 또는 비디오 신호의 품질에 악영향을 줄 수 있는 유해 조건이 존재 하는지를 식별하는 단계를 더 포함하고,
    상기 유해 조건은 휘도 대비 또는 음향 잡음과 같은 환경 조건 또는 휴대용 피드백 장치의 흔들림과 같은 환자 활동인, 컴퓨터로 구현되는 방법.
  7. 제 6 항에 있어서, 유해 상태의 존재 및 속성을 나타내는 피드백 메시지를 환자에게 제시하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서, 피드백 장치가 작동하여 카메라 및 마이크로폰이 환자의 얼굴을 향하도록 유지되고 있는 동안 사용 지침에 따라 흡입기를 사용하여 환자에게 치료용 에어로졸을 흡입하도록 지시하는 단계를 추가로 포함하는, 컴퓨터로 구현되는 방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항의 방법을 수행하도록 구성된 프로세서를 포함하는 데이터 처리 시스템.
  10. 제 9 항에 있어서, 핸드-헬드 사용을 위한 휴대용 피드백 장치 내에 통합되어, 상기 피드백 장치는,
    - 데이터 메모리;
    - 카메라;
    - 마이크;
    - 디스플레이; 및
    - 스피커를 더 포함하는, 데이터 처리 시스템.
  11. 프로그램이 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금 제 1 항 내지 제 8 항 중 어느 한 항의 방법의 단계들을 수행하게 하는 명령어들을 포함하는, 컴퓨터 프로그램.
  12. 제 11 항에 있어서, 상기 컴퓨터는 제 8 항 또는 제 9 항의 데이터 처리 시스템을 포함하는, 컴퓨터 프로그램.
  13. 컴퓨터에 의해 실행될 때, 컴퓨터로 하여금 제 1 항 내지 제 8 항 중 어느 한 항의 방법의 단계들을 수행하게 하는 명령어들을 포함하는 컴퓨터 판독 가능 저장 매체.
  14. 제 13 항에 있어서, 상기 컴퓨터는 제 9 항 또는 제 10 항의 데이터 처리 시스템을 포함하는 컴퓨터 판독 가능 저장 매체.
  15. 규칙적인 움직임을 검출 및/또는 분석하기 위한 컴퓨터로 구현되는 방법으로서,
    (a) 상기 규칙적인 움직임으로부터 방출된 일련의 디지털 비디오 신호를 획득하는 단계;
    (b) 상기 비디오 신호에서, 상기 비디오 신호의 일련의 프레임에 대해 다음 과정을 수행하는 단계:
    (i) 상기 규칙적인 움직임이 통과하는 프레임의 일부를 선택하는 과정;
    (ii) 상기 프레임의 상기 부분 내의 평균 밝기 값을 컴퓨팅하는 과정;
    (iii) 상기 프레임의 상기 부분의 상기 평균 밝기 값을 버퍼에 저장하는 과정;
    (c) 복수의 프레임을 포함하는 일련의 프레임에 대해 과정 (i) 내지 (iii)을 반복하는 단계 - 상기 프레임의 상기 부분은 각각의 프레임에서 동일하여 밝기 값의 버퍼를 생성함;
    (d) 상기 밝기 값의 버퍼에 결정 및 저장된 모든 평균 밝기 값의 평균을 계산하는 단계;
    (e) 제로 센터링된 버퍼(zero centered buffer)를 생성하기 위해 상기 버퍼 내 각 값으로부터 상기 결정된 평균 밝기의 평균을 감산하는 단계;
    (f) 상기 제로 센터링된 버퍼의 제로 크로싱 속도를 컴퓨팅하는 단계를 포함하며,
    단계 (a) 내지 (f)는 적어도
    - 데이터 처리 시스템;
    - 데이터 메모리
    를 포함하는 컴퓨팅 장치에 의해 수행되는, 컴퓨터로 구현되는 방법.
  16. 제 15 항에 있어서, 단계 (i) 내지 (iii)은 48 프레임 이상 동안 반복되는, 컴퓨터로 구현되는 방법.
  17. 제 15 항 또는 제 16 항에 있어서, 상기 프레임의 일부의 상기 선택은 상기 비디오 캡처 장치의 움직임을 조정 및 보정하도록 구성되는, 컴퓨터로 구현되는 방법.
  18. 제 15 항 내지 제 17 항 중 어느 한 항에 있어서, 상기 버퍼는 원형 버퍼인, 컴퓨터로 구현되는 방법.
  19. 제 15 항 내지 제 18 항 중 어느 한 항에 있어서, 단계(i) 이전에 다음의 추가 단계를 단계(b)에서 포함하는 컴퓨터로 구현되는 방법:
    (o) 상기 프레임의 컬러 정보를 그레이 스케일로 변환하는 단계.
  20. 제 15 항 내지 제 19 항 중 어느 한 항에 있어서,
    (g) 상기 규칙적인 움직임의 속도 또는 강도에 대한 추정치를 얻기 위해 결정된 제로 크로싱 속도를 미리 결정된 기준값과 비교하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
KR1020207021283A 2017-12-21 2018-12-21 흡입기 훈련 시스템 및 방법 KR20200103061A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17209861 2017-12-21
EP17209861.8 2017-12-21
PCT/EP2018/086541 WO2019122315A1 (en) 2017-12-21 2018-12-21 Inhaler training system and method

Publications (1)

Publication Number Publication Date
KR20200103061A true KR20200103061A (ko) 2020-09-01

Family

ID=60813635

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207021283A KR20200103061A (ko) 2017-12-21 2018-12-21 흡입기 훈련 시스템 및 방법

Country Status (9)

Country Link
US (2) US11664104B2 (ko)
EP (1) EP3729452B1 (ko)
JP (1) JP2021508577A (ko)
KR (1) KR20200103061A (ko)
CN (1) CN111886654A (ko)
AU (1) AU2018386559A1 (ko)
CA (1) CA3086773A1 (ko)
SG (1) SG11202005467WA (ko)
WO (1) WO2019122315A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102462532B1 (ko) * 2022-04-12 2022-11-03 주식회사 티알 휴대용 네블라이저 시스템
WO2024090835A1 (ko) * 2022-10-25 2024-05-02 가톨릭대학교 산학협력단 가상 현실 기반의 정량식 흡입기 사용 훈련 서비스를 제공하기 위한 서버, 방법 및 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7353605B2 (ja) * 2019-10-08 2023-10-02 大日本印刷株式会社 吸入動作推定装置、コンピュータプログラム及び吸入動作推定方法
FR3121361A1 (fr) 2021-04-01 2022-10-07 Hephaï Détection de la synchronisation entre l’actionnement d’un inhalateur-doseur sous pression et l’inspiration d’un patient

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856324B2 (en) * 2001-03-27 2005-02-15 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with guiding graphics
US6909359B1 (en) * 2003-04-04 2005-06-21 Mcgovern Robert T. Real-time medical alerting system
US9681925B2 (en) * 2004-04-21 2017-06-20 Siemens Medical Solutions Usa, Inc. Method for augmented reality instrument placement using an image based navigation system
US10116903B2 (en) * 2010-05-06 2018-10-30 Aic Innovations Group, Inc. Apparatus and method for recognition of suspicious activities
US9883786B2 (en) 2010-05-06 2018-02-06 Aic Innovations Group, Inc. Method and apparatus for recognition of inhaler actuation
WO2014152828A1 (en) 2013-03-14 2014-09-25 AI Cure Technologies, Inc. Apparatus and method for recognition of suspicious activties
US20150339953A1 (en) * 2013-05-22 2015-11-26 Fenil Shah Guidance/self-learning process for using inhalers
WO2015145395A1 (en) * 2014-03-28 2015-10-01 Alma Mater Studiorum - Universita' Di Bologna Augmented reality glasses for medical applications and corresponding augmented reality system
GB201420039D0 (en) * 2014-11-11 2014-12-24 Teva Uk Ltd System for training a user in administering a medicament
JP2018503416A (ja) * 2014-11-18 2018-02-08 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ユーザガイダンスシステム及び方法、拡張現実デバイスの使用
CN104834946B (zh) 2015-04-09 2018-02-09 清华大学 一种非接触式睡眠监测方法及系统
US10398353B2 (en) 2016-02-19 2019-09-03 Covidien Lp Systems and methods for video-based monitoring of vital signs
US20180092595A1 (en) * 2016-10-04 2018-04-05 Mundipharma Laboratories Gmbh System and method for training and monitoring administration of inhaler medication

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102462532B1 (ko) * 2022-04-12 2022-11-03 주식회사 티알 휴대용 네블라이저 시스템
WO2024090835A1 (ko) * 2022-10-25 2024-05-02 가톨릭대학교 산학협력단 가상 현실 기반의 정량식 흡입기 사용 훈련 서비스를 제공하기 위한 서버, 방법 및 시스템

Also Published As

Publication number Publication date
WO2019122315A1 (en) 2019-06-27
CN111886654A (zh) 2020-11-03
US11664104B2 (en) 2023-05-30
JP2021508577A (ja) 2021-03-11
US20230253086A1 (en) 2023-08-10
EP3729452A1 (en) 2020-10-28
SG11202005467WA (en) 2020-07-29
CA3086773A1 (en) 2019-06-27
EP3729452C0 (en) 2024-05-15
EP3729452B1 (en) 2024-05-15
US20210110905A1 (en) 2021-04-15
AU2018386559A1 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
US20230253086A1 (en) Inhaler training system and method
US20160144142A1 (en) Metered dose respiratory training device and system
JP2018535735A5 (ko)
US20180240353A1 (en) Virtual and augmented reality based training of inhaler technique
KR101620992B1 (ko) 사용자 호흡 패턴 분석을 통한 호흡 훈련 시스템 및 이를 이용한 호흡 훈련 콘텐츠 제공 방법
JP2016128924A (ja) 対話、及び／又は、命令決定プロセスの操作データの変更
US20210146079A1 (en) Smart oscillating positive expiratory pressure device with feedback indicia
CN116964680A (zh) 用于情境敏感引导的复苏护理系统
DePietro et al. Inhalation device options for the management of chronic obstructive pulmonary disease
US20190192046A1 (en) Method and system for selecting an inhaler
US20190217031A1 (en) Multi-Sensual Immersive Device And Systems And Methods Of Using Same
KR20200113339A (ko) 천식흡입기 모니터링 장치 및 천식흡입기 사용정보를 기반으로 의료상담을 보조하는 방법
WO2020141999A1 (en) Breath monitoring devices, systems and methods
CN116549785A (zh) 雾化呼吸的控制方法及装置、电子设备和存储介质
WO2018097098A1 (ja) 全身麻酔導入支援システム、全身麻酔導入支援ゲーム装置、および、全身麻酔導入支援ゲーム装置用のプログラム
TWI671762B (zh) 隨選第三人視角或操作者視角的虛擬實境醫護處置評分方法、電腦可讀取記錄媒體、電腦程式產品、系統
JP7353605B2 (ja) 吸入動作推定装置、コンピュータプログラム及び吸入動作推定方法
US20230368686A1 (en) Method and system for guiding use of inhaler
JP6724254B2 (ja) 吸入器のための訓練装置、及び吸入器
KR20220109033A (ko) 흡입기의 사용법 안내 방법 및 사용자 단말
KR20170024947A (ko) 모바일기기를 이용한 심폐소생술 훈련 시스템 및 방법
JP2024086582A (ja) プログラム、コンピュータ装置及び方法
JP2015202120A (ja) 解析装置、解析方法及びプログラム
TW202006509A (zh) 自由切換視角方位以觀看包含操作者在內的虛擬實境方法、裝置、程式產品及電腦可讀取媒體
Sanjar The Importance of Device Selection, Education, and Training for Appropriate and Effective Inhalation Therapy in COPD

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application