KR20210086618A - 신체적 거동 이벤트의 자동화된 검출 및 약물 분배 시스템의 대응하는 조정 - Google Patents

신체적 거동 이벤트의 자동화된 검출 및 약물 분배 시스템의 대응하는 조정 Download PDF

Info

Publication number
KR20210086618A
KR20210086618A KR1020217011653A KR20217011653A KR20210086618A KR 20210086618 A KR20210086618 A KR 20210086618A KR 1020217011653 A KR1020217011653 A KR 1020217011653A KR 20217011653 A KR20217011653 A KR 20217011653A KR 20210086618 A KR20210086618 A KR 20210086618A
Authority
KR
South Korea
Prior art keywords
event
user
food intake
gesture
data
Prior art date
Application number
KR1020217011653A
Other languages
English (en)
Inventor
카텔린 블레겔스
Original Assignee
메드트로닉 미니메드 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 메드트로닉 미니메드 인코포레이티드 filed Critical 메드트로닉 미니메드 인코포레이티드
Publication of KR20210086618A publication Critical patent/KR20210086618A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/17—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered via infusion or injection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4836—Diagnosis combined with treatment in closed-loop systems or methods
    • A61B5/4839—Diagnosis combined with treatment in closed-loop systems or methods combined with drug delivery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M5/00—Devices for bringing media into the body in a subcutaneous, intra-vascular or intramuscular way; Accessories therefor, e.g. filling or cleaning devices, arm-rests
    • A61M5/14—Infusion devices, e.g. infusing by gravity; Blood infusion; Accessories therefor
    • A61M5/168—Means for controlling media flow to the body or for metering media to the body, e.g. drip meters, counters ; Monitoring media flow to the body
    • A61M5/172—Means for controlling media flow to the body or for metering media to the body, e.g. drip meters, counters ; Monitoring media flow to the body electrical or electronic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
    • G16H20/13—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients delivered from dispensers
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Social Psychology (AREA)
  • Nutrition Science (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Hematology (AREA)

Abstract

자동화된 약물 분배 시스템은 약물 투여 메시지가 전송될 추론된 이벤트가 검출되는 경우 약물 투여 메시지를 트리거하는 것을 제공한다. 이벤트는 센서 판독치들의 세트로부터 사용자의 제스처들로부터 이벤트 감지 모듈에 의해 검출된 섭식 이벤트의 시작, 개시 또는 시작의 예상일 수 있다. 메시지는 약물 분배 장치에 대한 신호 및/또는 사용자에 대한 리마인더 메시지, 보호자, 의료 종사자 또는 다른 사람에 대한 보조 메시지일 수 있다. 약물 투여 메시지는 인슐린 관리 시스템의 입력 또는 식사 인식 인공 췌장의 입력으로의 신호를 포함할 수 있다. 이벤트들은 또한 음용 이벤트, 흡연 이벤트, 개인 위생 이벤트, 및/또는 약물 관련 이벤트를 포함할 수 있다.

Description

신체적 거동 이벤트의 자동화된 검출 및 약물 분배 시스템의 대응하는 조정
관련 출원들의 상호 참조
본 출원은 2018년 10월 31일자로 출원된 미국 가특허 출원 제62/753,819호; 2019년 10월 29일자로 출원된 미국 특허 출원 제16/667,641호; 및 2019년 10월 29일자로 출원된 미국 특허 출원 제16/667,650호의 이익 및 그에 대한 우선권을 주장한다.
기술분야
본 발명은 일반적으로 약물 분배 또는 관리에 관한 것으로서, 보다 구체적으로는 환자 또는 보호자에게 약물 필요성에 대한 리마인더를 제공하고/하거나 약물 분배 디바이스에 약물을 분배하도록 신호하는 데 사용하기 위해 환자 활동을 추적하고 음식 섭취와 관련된 환자 활동을 도출하기 위한 센서들을 사용하기 위한 방법들 및 장치에 관한 것이다.
제1형 당뇨병과 같은 일부 의학적 상태에 대해, 인슐린과 같은 약물의 스케줄링 및 투약은 환자의 현재 혈당 레벨 및 환자가 섭식 중인지 음용 중인지의 여부, 및 섭취 중인 내용물과 같은 다양한 인자에 의존한다. 따라서, 누군가가 섭식 또는 음용하기 시작했거나, 이제 막 섭식 또는 음용하기 시작할 것이라는 것을 아는 것은 인슐린 요법 중인 당뇨병 환자의 치료와 관련이 있다. 섭식 또는 음용 활동을 추가로 정량화하는 다른 파라미터들, 예컨대 섭식 또는 음용의 지속시간 또는 페이스(pace)도 또한, 약물 요법이 지속시간 및/또는 페이스에 기초하여 달라질 수 있으므로 관련이 있을 수 있다.
수백만 명의 사람들이 제1형 당뇨병을 앓고 있으며, 이는 사람의 신체가 인슐린을 생성하지 않는 질환이다. 인체는 섭취된 탄수화물을 혈당으로 분해하며, 이를 에너지로 사용한다. 신체는 혈류의 혈당을 신체의 세포인 포도당으로 전환해야 하며 호르몬 인슐린을 사용하여 이를 수행한다. 제1형 당뇨병을 가진 사람은 혈당을 조절하기에 충분한 양만큼의 그 자신의 인슐린을 생성하지 않으며, 안전한 혈당 레벨을 유지하기 위해 인슐린 주사를 필요로 할 수 있다.
인슐린은 시간 경과에 따라 특정 양의 인슐린을 주입하는 마이크로미터링 시스템에 의해 제공될 수 있다. 예를 들어, 제1형 당뇨병 환자는 정기적으로 그들의 혈당 레벨을 확인하고 식사를 시작할 시에 그들의 몸이 식사의 결과로 혈류에 들어가는 포도당을 체세포에 저장되는 포도당으로 전환할 수 있도록 필요한 정확한 인슐린 투여량을 수동으로 주입해야 할 필요가 있을 수 있다. 과량 투여(overdosing) 및 과소 투여(underdosing) 둘 모두는 불리한 질환 및 장기간 합병증을 야기할 수 있다. 미세투여 시스템의 수동 관리 또는 인슐린 주입은 치료 요법이며, 종종 변할 수 있는 타이밍 및 투여를 필요로 한다. 이는 특히 환자가 더 어린 아이인 경우에, 질환을 관리하는 것을 곤란하게 할 수 있다.
한 가지 접근법은 연속적 혈당 판독치들, 또는 주기적인 거의 연속적 혈당 판독치들을 구하고, 환자가 섭식 또는 음용할 경우를 제외하고 그러한 판독치들에 기초하여 환자에게 자율적으로 미세투여하는 "하이브리드" 폐루프 투여 시스템이다. 후자의 경우를 다루기 위해, 하이브리드 시스템은 환자가 섭식 또는 음용을 시작할 때 환자 입력 신호를 수용한다. 이러한 추가 정보가 없다면, 투여 시스템은 포도당 판독치들과 인슐린 확산에 상당한 지연이 있기 때문에 응답하기에는 너무 느릴 것이다. 수동적인 식사 알림은 환자에게 상당한 부담을 유발하며, 불충분한 준수는 저하된 혈당 조절을 초래한다. 누락된 식전 인슐린 볼러스(pre-meal insulin bolus)는 제1형 당뇨병 환자들에서 불량한 혈당 조절로 이어지는 상당한 기여자이다.
자동화된 섭식 이벤트 또는 음용 이벤트 감지 및 투여 시스템에 대한 신호하기 및/또는 환자, 보호자, 및 의료 종사자에 대한 리마인더 메시징을 위한 개선된 방법들 및 장치들이 필요하다.
자동화된 약물 분배 시스템은 자동화된 약물 분배 시스템의 사용자와 관련된 움직임 및 다른 신체적 입력들을 검출하기 위한 센서들, 프로그램 코드를 실행하고, 센서 판독치들의 세트를 포함하는, 센서들로부터 수신된 데이터를 프로세싱하기 위한 프로세서 - 센서 판독치들의 세트 중 적어도 하나의 센서 판독치는 사용자의 신체 부분의 움직임을 측정함 -, 센서 판독치들의 세트로부터 사용자의 제스처를 결정하기위한 이벤트 감지 모듈, 음식 섭취 이벤트에 대해 초기화된, 이벤트-특정 파라미터들에 대한 저장소, 및 이벤트 상태 값에 대한 저장소를 포함할 수 있으며, 이벤트 상태 값은 이벤트-외(out-of-event) 상태 또는 이벤트-내(in-event) 상태 중 하나이고, 이벤트 상태 값은 이벤트-외 상태로 초기화된다. 프로그램 코드는 a) 센서 판독치들의 세트로부터, 제1 잠재적 제스처의 제스처 유형을 포함하는 사용자의 제1 잠재적 제스처를 결정하기 위한 프로그램 코드 - 제스처 유형들 중 일부는 제스처 유형들의 제1 세트의 구성원들임 -, b) 제1 잠재적 제스처와 관련된 신뢰도 레벨을 결정하기 위한 프로그램 코드 - 신뢰도 레벨은 제1 잠재적 제스처의 제스처 유형이 정확하게 결정되었다는 신뢰도의 레벨과 관련됨 -, c) 수정 및 기록하기 위한 프로그램 코드 - 신뢰도 레벨이 임계치를 초과하거나 임계치에 있고, 제스처 유형이 제스처 유형들의 제1 세트의 구성원인 경우, 이벤트 상태 값을 이벤트-외 상태로부터 이벤트-내 상태로 수정하고, 제1 잠재적 제스처를 음식 섭취 이벤트의 제1 제스처로서 기록함 -, d) 신뢰도 레벨 및/또는 이벤트 상태 값으로부터, 약물 투여 메시지가 전송될 추론된 이벤트를 결정하기 위한 프로그램 코드, 및 e) 약물 투여 필요성에 대해 약물 투여 메시지를 사용자에게 출력하기 위한 프로그램 코드를 포함할 수 있다.
자동화된 약물 분배 시스템은 약물 투여 필요성에 대해 사용자 이외의 추가의 목적지들로 2차 메시지를 출력할 수 있다. 추가의 목적지들은 사용자의 친구, 사용자의 의료 제공자, 및/또는 응급 의료요원의 통신 디바이스들을 포함할 수 있다. 자동화된 약물 분배 시스템은 추론된 이벤트, 인슐린 관리 시스템의 입력으로의 신호 및/또는 식사 인식 인공 췌장의 입력으로의 신호에 응답하여 약물 로그 및/또는 재고를 업데이트할 수 있다.
일부 실시 형태들에서, 이벤트 검출 시스템은 사용자와 관련된 움직임 및 다른 신체적 입력들을 검출하기 위한 센서들을 포함하며, 이벤트 검출 시스템은 이들을 프로세싱하여 사용자의 제스처들을 식별할 수 있고, 추가의 프로세싱 방법은:
음식 섭취 이벤트에 대해 초기화된 이벤트-특정 파라미터들에 대한 저장소를 제공하는 단계;
이벤트 상태 값에 대한 저장소를 제공하는 단계 - 이벤트 상태 값은 이벤트-외 상태 또는 이벤트-내 상태 중 하나이고, 이벤트 상태 값은 이벤트-외 상태로 초기화됨 -;
이벤트 검출 시스템 내의 프로세서를 사용하여, 센서 판독치들의 세트를 결정하는 단계 - 센서 판독치들의 세트의 적어도 하나의 센서 판독치는 사용자의 신체 부분의 움직임을 측정함 -;
센서 판독치들의 세트로부터, 제1 잠재적 제스처의 제스처 유형을 포함하는 사용자의 제1 잠재적 제스처를 결정하는 단계 - 제스처 유형들 중 일부는 제스처 유형들의 제1 세트의 구성원들임 -;
제1 잠재적 제스처와 관련된 신뢰도 레벨을 결정하는 단계 - 신뢰도 레벨은 제1 잠재적 제스처의 제스처 유형이 정확하게 결정되었다는 신뢰도의 레벨과 관련됨 -;
신뢰도 레벨이 임계치를 초과하거나 임계치에 있고, 제스처 유형이 제스처 유형들의 제1 세트의 구성원인 경우:
(a) 이벤트 상태 값을 이벤트-외 상태로부터 이벤트-내 상태로 수정하는 단계; 및
(b) 제1 잠재적 제스처를 음식 섭취 이벤트의 제1 제스처로서 기록하는 단계; 및
약물 투여 필요성에 대해 환자에게 메시지를 출력하는 단계를 포함한다.
방법은 음용 이벤트, 흡연 이벤트, 개인 위생 이벤트, 및/또는 약물 관련 이벤트를 포함하는 추가의 이벤트-특정 파라미터들에 대한 저장소를 제공하는 단계를 더 포함할 수 있다. 외부 트리거 시간은 음식 섭취 이벤트가 시작되었다고 추론되는 경우, 음식 섭취 이벤트가 진행 중인 것으로 추론되는 경우, 및/또는 음식 섭취 이벤트가 종료된 것으로 추론되는 경우로부터 결정될 수 있다. 음식 섭취 이벤트에 응답하는 컴퓨터 기반 액션은 (a) 음식 섭취 이벤트를 표현하는 데이터와 연관하여 메모리에 저장될 다른 정보를 획득하는 것, (2) 사용자와 상호작용하여 정보 또는 리마인더를 제공하는 것, (3) 사용자와 상호작용하여 사용자 입력을 촉구하는 것, (4) 원격 컴퓨터 시스템으로 메시지를 전송하는 것, 그리고/또는 (5) 다른 사람에게 메시지를 전송하는 것 중 하나 이상일 수 있다.
방법은 음식 로그에 음식 섭취 이벤트를 기록하는 단계, 및/또는 음식 섭취 이벤트에 응답하여 재고 데이터베이스를 업데이트하는 단계를 포함할 수 있다.
착용자 활동을 감지하기 위한 시스템은
착용자의 신체 부분의 움직임을 포함하는 착용자 활동 또는 그의 일부분들을 감지하기 위해 착용자에 의해 착용되는 전자 디바이스의 적어도 하나의 센서;
음식 섭취 이벤트에 대해 초기화된 이벤트-특정 파라미터들에 대한 저장소;
전자 디바이스 내부의, 이벤트 상태 값에 대한 저장소 - 이벤트 상태 값은 이벤트-외 상태 또는 이벤트-내 상태 중 하나이고, 이벤트 상태 값은 이벤트-외 상태로 초기화됨 -;
적어도 하나의 센서로부터 센서 판독치들의 세트를 결정하는 전자 디바이스 내의 프로세서; 및
전자 디바이스 내의 프로세서 또는 다른 프로세서에 의해 실행가능한, 전자 디바이스 내에 또는 전자 디바이스와 통신하는 시스템의 컴포넌트 내에 저장된 프로그램 코드를 포함할 수 있으며, 프로그램 코드는:
a) 센서 판독치들의 세트로부터, 제1 잠재적 제스처의 제스처 유형을 포함하는 착용자의 제1 잠재적 제스처를 결정하기 위한 프로그램 코드 - 제스처 유형들 중 일부는 제스처 유형들의 제1 세트의 구성원들임 -;
b) 제1 잠재적 제스처와 관련된 신뢰도 레벨을 결정하기 위한 프로그램 코드 - 신뢰도 레벨은 제1 잠재적 제스처의 제스처 유형이 정확하게 결정되었다는 신뢰도의 레벨과 관련됨 -;
c) 신뢰도 레벨이 임계치를 초과하거나 임계치에서 있는지와 제스처 유형이 제스처 유형들의 제1 세트의 구성원인지를 결정하고, 신뢰도 레벨이 임계치를 초과하거나 임계치에 있고 제스처 유형이 제스처 유형들의 제1 세트의 구성원인 경우, 이벤트 상태 값을 이벤트-외 상태로부터 이벤트-내 상태로 수정하고, 제1 잠재적 제스처를 음식 섭취 이벤트의 제1 제스처로서 기록하기 위한 프로그램 코드;
d) 추가의 센서 판독치들의 세트로부터, 각자의 제스처 유형을 각각 갖는 착용자의 추가의 제스처들을 결정하기 위한 프로그램 코드;
e) 이벤트 상태 값이 이벤트-내 상태인지를 결정하고, 이벤트 상태 값이 이벤트-내 상태인 경우, 제1 제스처 및 추가의 제스처들을 음식 섭취 이벤트의 제스처 시퀀스로 기록하고, 제스처 시퀀스의 적어도 일부 제스처들로부터 이벤트-특정 파라미터들을 도출하기 위한 프로그램 코드; 및
f) 약물 투여 필요성에 대해 환자에게 메시지를 출력하는 것을 포함한다.
시스템은 이벤트 상태 값이 이벤트-외 상태로부터 이벤트-내 상태로 변경되는 경우, 전자 디바이스를 더 높은 성능 상태로 변경하기 위한 제어들을 포함할 수 있으며, 더 높은 성능 상태는 센서들에 공급되는 추가의 전력, 통신 채널의 감소된 레이턴시, 및/또는 증가된 센서 샘플링 속도 중 하나 이상을 포함한다. 센서는 착용자의 팔의 움직임을 측정하는 하나 이상의 가속도계들 및 착용자의 팔의 회전을 측정하는 자이로스코프를 포함할 수 있다.
제스처 감지 기술을 사용하여, 이벤트 검출 시스템은 외부 디바이스가 추가 정보를 수집하도록 트리거할 수 있다. 특정 실시 형태에서, 외부 디바이스는 근거리 통신(NFC) 판독기이고, NFC 태그들을 갖는 다양한 객체들이 검출된다. 그러한 객체들이 음식/음료와 관련된 경우, 이벤트 검출 시스템은 제스처들이 관련된 것이 무엇인지 결정할 수 있다. 예를 들어, 음식/음료 용기들은 제품 패키징에 내장된 NFC 태그들을 가질 수 있고, 음식 섭취 모니터링 시스템은 제스처들이 섭식 이벤트와 연관된다고 자동으로 결정할 수 있고, 이어서, NFC 판독기에 턴 온하고 근처의 NFC 태그들을 판독하도록 신호할 수 있으며, 이에 의해 제스처들 및 이벤트가 특정 제품과 연관되도록, 섭취되고 있는 제품들 상의 NFC 태그들을 판독할 수 있다.
다른 변형예들에서, 다른 무선 기술이 사용될 수 있다. 일부 변형예들에서, 외부 디바이스는 이벤트 검출 시스템을 또한 하우징하는 하우징 내에 통합된 모듈이다.
이벤트 검출 시스템은 사용자와 관련된 움직임 및 다른 신체적 입력들을 검출하기 위한 센서들을 포함할 수 있고, 이벤트 검출 시스템은 이들을 프로세싱하여 사용자의 제스처들을 식별할 수 있으며, 또한 가능하게는, 이력 데이터를 사용하여 센서들에 의해 감지된 사용자와 관련된 추론된 이벤트를 도출하기 위한 기계 학습, 규칙 세트들, 또는 데이터를 프로세싱하기 위한 다른 기법들을 결정할 수 있다. 예를 들어, 센서들은 사용자의 입 근처의 오디오 신호들을 검출할 수 있으며, 이벤트 검출 시스템은 이 신호들을 사용하여 사용자의 섭식 또는 음용 활동들과 관련된 이벤트와 같은 이벤트를 추론할 수 있다. 손-센서들이 아닌 다른 센서들, 예컨대 모션 센서들, 온도 센서들, 오디오 센서들 등이 또한 사용될 수 있다.
예시적인 제스처들은 음식 섭취 제스처, 홀짝마시기(sip) 제스처, 또는 일부 다른 제스처일 수 있다. 추론된 이벤트는 섭식 이벤트, 흡연 이벤트, 개인 위생 이벤트, 약물 관련 이벤트, 또는 사용자가 관여할 것으로 추론되는 일부 다른 이벤트일 수 있다. 제스처는 비침습적이거나 최소한으로 침입하도록 손목 착용형 디바이스를 사용하여 검출될 수 있고 사용자 개입 없이 또는 최소한의 사용자 개입으로 동작할 수 있는 손 제스처들과 같은 사용자의 일부 움직임을 나타낼 수 있다.
이벤트가 시작되었고/되었거나, 진행 중이고/중이거나 종료된 것으로 추론되는 경우, 이벤트 검출 시스템은 이벤트를 표현하는 데이터와 연관하여 메모리에 저장될 다른 정보를 획득하는 것, 정보 또는 리마인더들을 제공하거나 사용자 입력을 촉구하도록 사용자와 상호작용하는 것, 원격 컴퓨터 시스템으로 메시지를 전송하는 것, 친구, 의료 제공자, 응급 의료요원과 같은 다른 사람에게 메시지를 전송하는 것 또는 다른 액션(들)과 같은, 이벤트와 관련된 액션들을 취할 수 있다. 특정 예에서, 일단 이벤트 검출 시스템이 이벤트가 시작되었음을 추론하면, 이벤트 검출 시스템은 보조 센서 시스템 또는 보조 프로세싱 시스템에게 더 많은 정보를 수집하는 것, 통신을 전송하는 것 또는 태스크를 프로세싱하는 것과 같은 액션을 취하도록 신호한다. 이벤트 검출 시스템은, 일단 새로운 이벤트가 검출되면 이벤트에 대한 데이터 기록을 생성하고, 이벤트 검출 시스템이 결정할 수 있는 이벤트의 상세사항들, 예컨대 그 이벤트에 수반되는 제스처들에 관한 상세사항들로 해당 데이터 기록을 채울 수 있다. 보조 센서 시스템 또는 보조 프로세싱 시스템은 그 데이터 기록을 이벤트에 관한 보조 데이터, 예컨대 본 명세서에 기술된 보조 데이터로 해당 데이터 기록을 채울 수 있다.
이벤트 검출 시스템 및 보조 센서 시스템 및/또는 보조 프로세싱 시스템은 하나 이상의 애플리케이션들, 예컨대 음식 로깅, 재고 추적/보충, 생산 라인 모니터링/QC 자동화, 복약 이행, 인슐린 요법, 식사 인식 인공 췌장 지원, 및 다른 애플리케이션들을 갖는 모니터링 시스템의 일부로서 사용될 수 있다.
감지 디바이스는 음식 섭취 이벤트들 및 세부사항들을 모니터링하고 추적한다. 적절하게 프로그래밍된 프로세서는 데이터를 캡처하고, 데이터를 저장하고, 데이터를 분석하고, 음식 섭취와 관련된 적합한 피드백을 제공하도록 감지 디바이스의 양태들을 제어한다. 보다 일반적으로, 방법들은 음식의 섭취와 관련하여, 섭식 습관들, 섭식 패턴들, 및/또는 음식 섭취 이벤트들, 섭식 습관들, 또는 섭식 패턴들에 대한 트리거들을 검출하는 단계, 식별하는 단계, 분석하는 단계, 정량화하는 단계, 추적하는 단계, 프로세싱하는 단계 및/또는 영향을 주는 단계를 포함할 수 있다. 피드백은 음식의 섭취, 섭식 습관들, 또는 섭식 패턴들, 및/또는 이들의 트리거들에 영향을 주기 위해 표적화될 수 있다. 피드백은 또한 사용자가 하나 이상의 액션들을 취하도록 리마인드하도록 표적화될 수 있다. 감지 디바이스는 또한 음식 관련 거동들 외의 피드백을 추적하고 제공하기 위해 사용될 수 있으며, 더 일반적으로는, 거동 이벤트들을 추적하고, 거동 이벤트 트리거들 및 거동 이벤트 패턴들을 검출하고 적합한 피드백을 제공하기 위해 사용될 수 있다. 이벤트 검출 시스템은 하드웨어 및/또는 소프트웨어로 구현될 수 있다.
첨부 도면들과 함께 하기의 상세한 설명은 본 발명의 본질 및 이점들에 대한 보다 양호한 이해를 제공할 것이다.
이러한 개요는 상세한 설명에서 추가로 후술되는 개념들의 선택을 단순화된 형태로 소개하기 위해 제공된다. 이러한 개요는 청구된 요지의 핵심 특징 또는 본질적인 특징을 확인하고자 하는 것이 아니며, 청구된 요지의 범주를 결정하는 데 도움을 주기 위해 사용되도록 의도되지도 않는다.
본 발명에 따른 다양한 실시 형태들이 도면을 참조하여 기술될 것이다.
도 1은 이벤트 모니터링 시스템을 도시한다.
도 2는 사용자 개입을 제공하는 프로세스를 도시한다.
도 3은 적어도 하나의 실시 형태에 따른 환경의 예시적인 예이다.
도 4는 적어도 하나의 실시 형태에 따른, 인터넷을 통한 적어도 하나의 추가의 디바이스와의 통신을 포함하는 환경의 예시적인 예이다.
도 5는 적어도 하나의 실시 형태에 따른, 음식 섭취 모니터링 및 추적 디바이스가 기지국 또는 액세스 포인트와 직접 통신하는 환경의 예시적인 예이다.
도 6은 적어도 하나의 실시 형태에 따른 모니터링 및 추적 디바이스의 고레벨 블록 다이어그램의 예시적인 예이다.
도 7은 적어도 하나의 실시 형태에 따른 모니터링 및 추적 디바이스의 블록 다이어그램의 예시적인 예이다.
도 8은 본 발명의 적어도 하나의 실시 형태에 따른 기계 분류 시스템의 예를 도시한다.
도 9는 본 발명의 적어도 하나의 실시 형태에 따른 기계 분류 훈련 서브시스템의 예를 도시한다.
도 10은 본 발명의 적어도 하나의 실시 형태에 따른 기계 분류 검출기 서브시스템의 예를 도시한다.
도 11은 다른 데이터 중에서 비-시간적 데이터를 사용하는 기계 분류 훈련 서브시스템의 예를 도시한다.
도 12는 다른 데이터 중에서 비-시간적 데이터를 사용하는 기계 분류 검출기 서브시스템의 예를 도시한다.
도 13은 본 발명의 적어도 하나의 실시 형태에 따른, 비지도(unsupervised) 분류 시스템을 위한 훈련 서브시스템의 예를 도시한다.
도 14는 본 발명의 적어도 하나의 실시 형태에 따른, 비지도 분류 시스템을 위한 검출기 서브시스템의 예를 도시한다.
도 15는 분류기 앙상블 시스템의 예를 도시한다.
도 16은 교차 상관 분석 서브시스템을 포함하는 기계 분류 시스템의 예를 도시한다.
도 17은 일 실시 형태에 따른, 도 1의 시스템과 유사한 변형예의 모니터링 시스템의 상위 레벨 기능 다이어그램을 도시한다.
도 18은 일 실시 형태에 따른, 사용자 개입을 요구하는 모니터링 시스템의 상위 레벨 기능 다이어그램을 도시한다.
도 19는 약물 분배 시스템의 상위 레벨 기능 다이어그램을 도시한다.
도 20은 본 발명에 기술된 다른 요소들과 함께 사용될 수 있는 기계 학습 시스템의 예시적인 예이다.
하기의 설명에서, 다양한 실시 형태들이 기술될 것이다. 설명을 목적으로, 구체적인 구성들 및 상세사항들이 실시 형태들의 완전한 이해를 제공하기 위해 설명된다. 그러나, 실시 형태들이 구체적인 상세사항들 없이 실시될 수 있다는 것이 당업자에게 또한 명백할 것이다. 추가로, 공지된 특징들은 설명되는 실시 형태를 모호하게 하지 않도록 생략되거나 단순화될 수 있다.
식이요법 정보 및 피드백을 제공하는 것과 같이, 음식 섭취, 섭취 프로세스 및 타이밍, 및 한 사람의 섭식, 음용 및 다양한 목적들을 위한 다른 섭취의 다른 관련 양태들에 관한 피드백을 모니터링, 추적, 분석 및 제공하기 위해 사람이 사용할 디바이스들의 다양한 예들이 본 명세서에 제공된다. 음식 섭취 프로세스와 관련된 데이터는, 섭식 프로세스의 타이밍, 섭식의 페이스, 마지막 음식 섭취 이벤트 이후의 시간, 섭식한 것, 섭식한 것의 내용물의 추정치들 등을 포함할 수 있다. 그러한 디바이스들은 약물 투여 시스템과 통합될 수 있다.
개요
본 명세서에 더 상세히 기술되는 바와 같이, 신규한 디지털 건강 앱 및 앱과 상호작용하는 착용가능한 감지 장치를 포함하는 환자 관리 시스템은 완전히 자율적인 인공 췌장 시스템을 제공할 수 있고, 제1형 당뇨병을 갖는 사람들의 삶의 질을 극적으로 개선할 수 있다. 그러한 환자 관리 시스템은 환자에게 약을 복용하거나 투여할 것을 리마인드시킬 수 있을 뿐만 아니라, 예를 들어, 인슐린 투약과 같은 약물 투약의 하이브리드 관리 또는 자율적 관리를 제공할 수 있다. 이러한 환자 관리 시스템은 주의깊은 섭식 및 적절한 수화를 촉진할 수 있다.
미세 운동 감지 및 인공 지능 기술의 결합을 통해, 환자 관리 시스템은 높은 충격 모멘트를 검출하고 개인이 자신의 건강을 더 잘 관리할 수 있게 하며, 이 모두는 그들의 손목 움직임과 기타 센서 입력들을 분석함으로써 자동으로 그리고 비간섭적으로 획득된 직관에 기반한다. 응답 액션들은 환자 및/또는 그들의 보호자에게 볼러스 리마인더들을 전송하는 것을 포함할 수 있다. 초기 식사 검출 능력은 자율 인공 췌장 시스템의 실현을 위한 중요한 구성요소인 섭식 거동에 대한 고유한 직관을 제공할 수 있다.
환자 관리 시스템은 개방 데이터 및 소프트웨어 아키텍처를 가질 수 있다. 이는 다른 회사, 연구원 및 개발자가 환자 관리 시스템과 생성된 데이터를 아마도 제3자 애플리케이션 및 플랫폼과 원활하게 통합될 수 있게 하는 API를 통해 사용할 수 있게 할 수 있다.
특정 사용에서, 환자 관리 시스템은 인슐린 투여를 시작해야 할 필요성에 대해 환자에게 메시지를 주는 식사 시간 약물 리마인더로서 기능한다. 환자 관리 시스템은 다중 레벨 메시징 능력을 가질 수 있다. 예를 들어, 환자가 액션을 취해야 한다는 필요성에 대한 메시지를 받고, 환자가 응답하지 않는 경우, 환자 관리 시스템은 보호자에게 메시지를 주어 환자가 섭식 이벤트의 시작을 검출하는 것에 응답하여 예상된 액션을 취했거나 취하지 않았거나, 또는 식사 시간 인슐린 투여를 위한 액션을 취하지 않았음을 나타낼 수 있다. 완전히 자율적인 폐쇄 루프 인공 췌장 시스템은, 신규한 제어 프로세스와 결합되어 환자 관리 시스템 및 환자의 섭식 거동의 자동 실시간 또는 근실시간(near real-time) 정보를 제공하는 그의 능력에 의해 부분적으로 가능해질 수 있으며, 따라서 잠재적으로 진정한 "설정 후 잊어버리기(set and forget)" 폐루프 인슐린 전달 시스템을 가능하게 할 수 있다.
환자 관리 시스템은 다른 이유로 그들의 식이요법에 관심이 있는 사람에게 유용할 수 있다. 제1형 당뇨병을 갖는 사람들은 보통 인슐린 요법을 진행중이며, 음식 섭취 및 다른 인자들에 기초하여, 이들은 적절한 인슐린 투여량을 투여한다. 제1형 당뇨병의 원인이 사람의 섭식 거동에 직접 상관되지 않을 수 있지만, 제1형 당뇨병을 가진 사람은 자신의 인슐린 요법을 관리하기 위해 자신의 음식 섭취를 주의 깊게 추적할 필요가 있다. 그러한 환자들도 또한 음식 섭취 추적을 위한 사용하기 더욱 용이하고 보다 신중한 방법들로부터 이익을 얻을 것이다. 환자 관리 시스템의 일부 실시 형태들에서, 감지 디바이스는 피드백-구동식 자동화된 인슐린 전달 요법 시스템의 일부이다. 그러한 시스템은 환자의 포도당 레벨의 연속 모니터링, 정밀 인슐린 전달 시스템, 및 더 빠른 흡수 속도를 갖는 인슐린의 사용을 포함할 수 있으며, 이는 탄수화물 및 당 섭취의 추적과 같은, 자동의 끊김없는 음식 섭취 추적으로부터 추출될 수 있는 정보로부터 추가로 혜택을 받을 것이다. 디바이스는 또한 웰니스(wellness) 프로그램들 등에 유용할 수 있다.
데이터 수집
데이터는 센서들 및 전자 장치를 갖는 일부 고정식 디바이스, 사람에 의해 쉽게 이동 및 운반되는 센서들 및 전자 장치를 갖는 일부 모바일 디바이스, 및/또는 사람이 그들의 사람 또는 의류에 부착하거나 사람의 의류의 일부인 센서들 및 전자 장치를 갖는 착용가능한 디바이스들로부터 획득될 수 있다. 일반적으로, 본 명세서에서 그러한 디바이스들은 감지 디바이스들로 지칭된다. 데이터는 데이터를 출력할 수 있는 센서들에 의해 제공되는 원시(raw) 센서 데이터일 수 있거나, 데이터는 센서들의 출력들로부터 도출되는 데이터가 되도록 어떤 방식으로 프로세싱되거나, 샘플링되거나, 조직화될 수 있다.
본 명세서에서, 이러한 디바이스를 가지고 있으며 자신의 섭취가 모니터링되고 있는 사람이 사용자로서 지칭되지만, 디바이스는, 섭취하는 사람, 모니터링하는 사람, 피드백을 평가하는 사람이 모두 같은 사람일 필요는 없는 상황에서 변경없이 사용될 수 있다는 것을 이해하여야 한다. 본 명세서에서, 섭취되는 것을 음식 섭취로 지칭하지만, 이들 디바이스들은 섭취 및 섭취 패턴들을 더 일반적으로 추적하기 위해 사용될 수 있다는 것이 명백할 것이다. 본 명세서에 기술된 바와 같은 거동 추적/피드백 시스템은 하나 이상의 착용가능한 디바이스들을 포함할 수 있고, 또한 착용되지 않은 하나 이상의 추가의 디바이스들을 포함할 수 있다. 이들 추가의 디바이스들은 착용가능한 디바이스들과 통신할 수 있도록 착용자에 의해 운반되거나 착용자 근처에 유지될 수 있다. 거동 추적/피드백 시스템은 또한 원격 클라우드 컴퓨팅 요소 및/또는 사용자 정보를 위한 원격 저장소와 같은 원격 요소들을 포함할 수 있다.
착용가능한 디바이스는 착용자의 신체(즉, 그들의 거동을 모니터링하는 사람) 상의 상이한 위치들에 착용될 수 있고, 착용가능한 디바이스는 그러한 차이뿐만 아니라 착용자마다의 차이를 고려하도록 프로그래밍되거나 구성될 수 있다. 예를 들어, 오른손잡이 사람은 디바이스를 자신의 오른쪽 손목 둘레에 착용할 수 있는 반면 왼손잡이 사람은 디바이스를 자신의 왼쪽 손목 둘레에 착용할 수 있다. 사용자들은 또한 배향에 대한 상이한 선호도들을 가질 수 있다. 예를 들어, 일부 사용자들은 일측 상의 제어 버튼들을 원할 수 있는 반면, 다른 사용자들은 반대측 상의 제어 버튼들을 선호할 수 있다. 일 실시 형태에서, 사용자는 수동으로 손목 선호도 및/또는 디바이스 배향을 입력할 수 있다.
다른 실시 형태에서, 손목 선호도 및/또는 디바이스 배향은, 사용자에게 하나 이상의 미리정의된 제스처들을 수행하도록 요청하고 미리정의된 제스처 또는 제스처들의 세트를 수행하는 사용자에 대응하는 착용가능한 디바이스로부터의 센서 데이터를 모니터링함으로써 결정될 수 있다. 예를 들어, 사용자는 그의 손을 그의 입을 향해 움직이도록 요청받을 수 있다. 이어서, 하나 이상의 축들에 걸친 가속도계 센서 판독치들에서의 변화는 손목 및 디바이스 배향을 결정하는 데 사용될 수 있다. 또 다른 예에서, 거동 추적/피드백 시스템은 사용자가 소정 지속시간 동안 디바이스를 착용하고 있는 동안 착용가능한 디바이스로부터의 센서 판독치들을 프로세싱할 수 있다. 선택적으로, 거동 추적/피드백 시스템은 센서 판독치들을 착용자에 관한 다른 데이터 또는 메타데이터와 추가로 조합하여, 손목 및 디바이스 배향을 추론할 수 있다. 예를 들어, 거동 추적/피드백 시스템은 하루 동안 사용자를 모니터링하고, 하나 이상의 축들에 걸친 가속도계 센서 판독치들을 기록할 수 있다.
아래팔의 움직임은 팔꿈치와 윗팔에 의해 제약되기 때문에, 손목 및 디바이스 배향에 기초하여 일부 가속도계 판독치들이 다른 것들보다 더 빈번할 것이다. 이어서, 가속도계들의 정보는 손목 및/또는 디바이스 배향을 결정하는 데 사용될 수 있다. 예를 들어, 가속도계 판독치들의 평균, 최소값, 최대값 및/또는 표준 편차가 손목 및/또는 디바이스 배향을 결정하는 데 사용될 수 있다.
일부 실시 형태들에서, 감지 디바이스들은, 사용자 상호작용을 요구함이 없이, 음식 섭취 이벤트의 시작/종료, 섭식의 페이스, 음용의 페이스, 베어먹기(bite)들의 횟수, 홀짝마시기들의 횟수, 수분 섭취의 추정, 및/또는 섭취 분량의 추정을 감지할 수 있다. 보다 적은 인간의 개입, 또는 전무한 인간의 개입, 또는 다른 사람들에게 드러나지 않는 개입만으로 동작하는 것은 디바이스들이 상이한 식사 시나리오들 및 상이한 사회적 상황들에 잘 조정되게 할 것이다. 감지는 음식이 섭취되기 전에 음식의 세부사항뿐만 아니라 섭식에 수반되는 것으로 알려진 사용자 액션들, 예컨대 윗팔의 반복적인 회전 또는 기타 손에서 입으로 가져가는 모션들을 캡처하는 것을 포함할 수 있다. 센서들은 가속도계, 자이로스코프, 카메라, 및 다른 센서들을 포함할 수 있다.
디바이스들을 사용하면 사람에게 적은 사용 마찰을 주면서 그 사람의 음식 섭취 내용물뿐만 아니라 그 사람의 음식 섭취 거동과 관련된 피드백을 검출하고, 정량화하며, 추적하고 제공할 수 있다. 그러한 방법들은 식이-관련 질병의 예방, 치료, 및 소정 경우들에서는 심지어 치료의 잠재력을 갖는다. 그러한 디바이스들은 효능, 정확도 및 순응도를 개선할 수 있고, 사용의 부담을 감소시키고 사회적 수용을 개선할 수 있다. 디바이스들은 전무하거나, 극히 적은 사람의 개입으로 자율적으로 동작할 수 있고, 사람의 정상적인 활동이나 사회적 상호 작용을 침해하거나 달리 심각하게 부정적인 방식으로 방해하지 않고 개인의 사생활을 침해하지 않는다. 디바이스들은 다양한 식사 시나리오들 및 만찬 설정들을 신중하면서도 사회적으로 허용가능한 방식으로 처리할 수 있고, 음식 섭취 내용물 및 수량뿐만 아니라 섭식 거동의 다른 양태들을 추정 및 추적할 수 있다. 디바이스들은 사람에게 그들의 섭식 거동, 습관들 및 패턴들에 대해 실시간 및 비실시간 피드백을 제공할 수 있다.
소정의 섭식 거동은 예를 들어, 굶주림, 스트레스, 수면, 중독, 질병, 신체적 위치, 사회적 압력, 및 운동과 같은 신체, 정신 또는 환경 조건에 상관되거나, 그에 의해 트리거되거나, 그렇지 않으면 영향을 받을 수 있다는 것이 일반적으로 공지되고 이해된다. 이러한 특성들은 디바이스들에 의해 또는 그들에 대해 수행되는 프로세싱에 대한 입력들을 형성할 수 있다.
음식 섭취 이벤트는 일반적으로 사람이 섭식하거나, 음용하거나, 또는 그렇지 않으면 식용 물질을 자신의 신체 내로 섭취하는(take into) 상황, 정황 또는 액션에 관한 것이다. 식용 물질들은 고형 음식, 액체, 수프, 음료, 간식, 투약물, 비타민, 약, 허브 보조제, 핑거 푸드, 조리 식품, 날 음식, 식사, 전채, 메인 앙트레, 디저트, 사탕, 아침 식사, 스포츠 음료 또는 에너지 음료를 포함할 수 있지만, 이들로 제한되지 않는다. 식용 물질들은 독소, 알레르겐, 바이러스, 박테리아 또는 사람에게 유해하거나, 집단 또는 집단의 서브세트에 유해할 수 있는 다른 성분을 함유할 수 있는 물질을 포함하지만, 이들로 제한되지 않는다. 본 명세서에서, 판독성을 위해, 음식이 식용 물질의 예로서 사용되지만, 달리 지시되지 않는 한 음식 대신에 다른 식용 물질이 사용될 수 있다는 것을 이해하여야 한다.
섭식 습관들 및 패턴들은 일반적으로 사람들이 음식물을 섭취하는 방식에 관한 것이다. 섭식 습관들 및 패턴들은 섭식 또는 음용의 페이스, 베어먹기들의 크기, 삼키기 전 씹기의 양, 씹기의 속도, 음식 섭취 이벤트들의 빈도, 음식 섭취 이벤트 동안 섭취되는 음식의 양, 음식 섭취 이벤트 동안의 신체의 위치, 음식 섭취 이벤트 동안의 신체 또는 특정 신체 부분들의 가능한 움직임들, 음식 섭취 이벤트 동안의 마음 또는 신체의 상태, 및 음식을 제시, 처리 또는 섭취하는 데 사용되는 식기 또는 다른 디바이스들을 포함할 수 있지만, 이들로 제한되지 않는다. 섭식 또는 음용의 페이스는 후속의 베어먹기들 또는 홀짝마시기들 사이의 시간에 반영될 수 있다.
트리거들은 일반적으로 음식 섭취 이벤트의 발생 이면의 이유, 섭취된 양 이면의 이유, 그리고 섭취되는 방식 이면의 이유에 관한 것이다. 음식 섭취 이벤트들에 대한 트리거 및 섭식 습관들 또는 섭식 패턴들에 대한 트리거는 굶주림, 스트레스, 사회적 압력, 피로, 중독, 불편함, 의학적 필요성, 신체적 위치, 사회적 컨텍스트 또는 정황들, 냄새들, 기억들 또는 신체 활동을 포함할 수 있지만, 이들로 제한되지 않는다. 트리거는 그것이 트리거가 되는 음식 섭취 이벤트와 일치할 수 있다. 대안적으로, 트리거는 음식 섭취 이벤트 윈도우 외에서 발생할 수 있고, 음식 섭취 이벤트의 시간과 직접적으로 관련될 수 있거나 관련되지 않을 수 있는 시간에 음식 섭취 이벤트 이전에 또는 그 후에 발생할 수 있다.
감지 디바이스 또는 시스템의 일부 실시 형태들에서, 본 발명에 제시된 특징들 및 기능 모두 보다 적은 것이 구현된다. 예를 들어, 일부 실시 형태들은 사용자가 자신의 음식 섭취를 수정하도록 유도하지 않고, 또는 섭식 습관들 또는 패턴들을 추적, 프로세싱 또는 유도하지 않고, 음식의 섭취의 검출 및/또는 프로세싱 및 추적에 전적으로 집중할 수 있다.
본 명세서의 많은 예들에서, 전자 디바이스가 사용자에게 제공되며, 사용자는 그 전자 디바이스를 단독으로 착용하거나, 전자 디바이스가 근처의 지원 디바이스 - 이는 착용되거나 착용되지 않을 수 있음 -, 예컨대 착용된 전자 디바이스가 오프로드하는 동작들을 수행하기 위한 스마트 폰과 통신하도록 착용하는 설정이다. 그러한 예들에서, 전자 디바이스를 착용한 사람이 있고, 그 사람은 그 예들에서 "착용자"로 지칭되고, 시스템은 착용된 디바이스를 포함하며, 착용되지 않고 근처에 있는 다른 컴포넌트들, 및 멀리 떨어져 있고 바람직하게는 착용된 디바이스와 통신할 수 있는 컴포넌트들을 포함할 수 있다. 따라서, 착용자는 전자 디바이스를 착용하고, 전자 디바이스는 착용자 주변의 환경을 감지하는 센서들을 포함한다. 그러한 감지는 주변 특성들, 신체 특성들, 움직임 및 본 명세서의 다른 곳에 기술된 바와 같은 다른 감지된 신호들의 감지일 수 있다.
많은 예들에서, 전자 디바이스의 기능은 하드웨어 회로부에 의해 구현될 수 있거나, 전자 디바이스 내의 프로세서에 의해 실행되도록 구성가능한 프로그램 코드 명령어들, 또는 조합에 의해 구현될 수 있다. 프로세서가 무엇을 수행하는 것으로 나타나는 경우, 프로세서는 명령어 메모리로부터 판독된 명령어들을 실행한 결과로서 그 작업을 수행하는 것일 수 있으며, 여기서 명령어들은 그 작업을 수행하도록 제공하는 것이다. 이와 관련하여, 프로그램 코드 명령어들은 프로세서(또는 호스트 디바이스)로 하여금 실행된 명령어들에 의해 정의된 바와 같은 소정 방법들, 프로세스들, 또는 기능들을 수행하게 하도록 구성가능하다. 다른 사람들이 관련될 수 있지만, 본 명세서에서의 일반적인 예는 전자 디바이스의 착용자가 그 전자 디바이스를 사용하여 제스처들과 같은 그들 자신의 액션들, 제스처들, 활동들의 시퀀스, 활동들, 또는 거동 이벤트들의 시작들, 활동들 또는 거동 이벤트들의 중단들 등을 포함하는 거동 이벤트들을 모니터링하는 경우이다. 프로세서가 특정 프로세스를 수행하는 것으로 기술되는 경우, 그 프로세스의 일부는 분산된 프로세싱 방식으로, 착용된 전자 디바이스와 별개로 행해지는 것일 수 있다. 따라서, 전자 디바이스의 프로세서에 의해 수행되는 프로세스의 설명은 착용된 전자 디바이스 내의 프로세서에 한정될 필요가 없으며, 어쩌면 착용된 전자 디바이스와 통신하는 지원 디바이스 내의 프로세서일 수 있다.
환자 관리 시스템
환자 관리 시스템은 스마트폰 또는 사람에 의해 착용되는 착용가능한 감지 장치와 통신할 수 있는 전용 디바이스와 같은 디바이스 상에서 실행되는 신규한 디지털 건강 앱을 포함할 수 있다. 착용가능한 감지 장치는 앱과 상호작용하여 인슐린 투여 및 리마인더들의 하이브리드 또는 자율 관리를 제공한다.
그러한 시스템의 사용의 일례에서, 사람 - 본 명세서에서 "환자"로 지칭됨 -은 환자에게 외부 인슐린을 제공해야 하는 제1형 당뇨병으로 진단되었다. 인슐린은 주사가능한 인슐린의 형태 또는 환자의 신체 내로 측정된 양의 인슐린을 도입하기 위해 환자의 신체에 부착되는 이식된 미세 투여 디바이스의 형태로 주어질 수 있다. 투약량 및 타이밍은 환자가 섭식하거나, 섭식하기 시작하거나, 이제 막 섭식할 것이거나, 섭식하는 중이었으며 계속해서 섭식할 경우의 함수일 수 있다. 움직임들 및 센서 데이터 출력들로부터 제스처들을 식별할 수 있는 착용가능한 디바이스는 가능하게는 특정의 환자 개입 없이, 섭식 이벤트가 시작되었거나 곧 시작될 것뿐만 아니라, 섭식 이벤트의 페이스, 지속시간 및 가능성 있는 결과를 결정할 수 있다. 그러한 결정으로부터, 착용가능한 디바이스(또는 전기능(full-function) 스마트폰과 같은, 착용가능한 디바이스와 통신하는 보조 디바이스)는 섭식/음용의 일부 상세 사항을 나타내는 신호를 이식된 미세 투여 디바이스로 전송할 것이고/것이거나, 환자, 보호자, 및/또는 의료 종사자에게 메시지를 전송할 것이다.
예를 들어, 착용가능한 디바이스는 환자가 섭식하기 시작했음을 결정할 수 있고, 섭식의 페이스 및 이벤트의 결정된 가능성 있는 지속시간을 결정할 수 있으며, 섭식 이벤트에 관한 일부 정보를 이식된 인슐린 미세 투여 및 전달 디바이스에 신호할 수 있으며, 전달 디바이스는 환자에게 인슐린의 전달을 시작하는 데 이를 사용할 수 있다. 추가적으로 또는 대신에, 착용가능한 디바이스는 섭식 이벤트에 관한 메시지 및 측정된 파라미터들을 전송할 수 있다. 예를 들어, 착용가능한 디바이스는 그 착용가능한 디바이스에 페어링되는 앱을 실행하는 근처의 스마트폰과 통신하고, 아마도, 셀룰러 전화 네트워크 텍스트 메시지(예컨대, SMS 메시지)와 같은 메시지를 환자에게 할당된 미리저장된 번호로 전송할 수 있으며, 메시지는 "음식 이벤트가 감지되었습니다. 이식된 인슐린 미세 투여 및 전달 디바이스를 활성화하여 인슐린을 투여하세요."와 같은 것을 말한다.
환자가 스마트폰의 조작자인 경우, 아마도 앱은 네트워크 문자 메시지를 전송할 필요 없이 환자에게 직접 메시지를 보낼 수 있다. 일부 경우들에서, 메시지의 수신자가 한 명보다 많은 것이 유용할 수 있다. 예를 들어, 환자가 연령으로 인해(어린 아이 또는 노인) 또는 다른 이유들로 인해 보호자의 보조를 필요로 하거나 이용할 경우, 착용가능한 디바이스 메시징은 또한 보호자에게 전송될 수 있다. 유용하거나 필요한 경우, 이러한 정보는 아마도 환자 요법 순응도를 모니터링하기 위해 건강 관리 전문가에 제공될 수 있다.
본 명세서에 사용되는 바와 같이, 이벤트는 가독성을 위해, 섭식 이벤트 및/또는 음용 이벤트 보다는 "섭식 이벤트"로서 기술될 수 있지만, 달리 지시되지 않는 한, 섭식 이벤트와 관련된 본 명세서의 교시 내용은 음용 이벤트에도 동일하게 적용될 수 있다는 것을 이해하여야 한다.
제스처 감지 기술은 사용자 촉구 또는 상호작용 없이 자동으로 제스처 이벤트를 검출하는 데 사용될 수 있으며, 예컨대 누군가가 섭식하고 있거나 음용하고 있을 때의 이벤트들을 나타내는 제스처들을, 손목 착용형 착용가능한 디바이스 또는 링(ring)에서의 모션 센서들(가속도계/자이로스코프)을 사용하여 그들의 손 제스처들로부터 검출하는 데 사용될 수 있다. 그러한 검출은 예를 들어, 섭취 이벤트의 시작 시간, 섭취 이벤트의 종료 시간, 섭취 방법, 섭취의 페이스와 연관된 메트릭들, 섭취된 양과 연관된 메트릭들, 및 섭취 빈도와 연관된 메트릭들, 섭취 위치, 등과 같은 섭취 활동에 대한 주요 직관을 도출하도록 실시간으로 발생할 수 있다. 제스처 감지 기술은 흡연, 치과 위생, 손 위생 등과 같은 다른 활동들 및 거동들에 사용될 수 있다.
제스처 감지 기술은 자동으로(즉, 사용자 개입을 요구하지 않고) 누군가가 섭식 또는 음용하고 있는 때를 손목 착용형 착용가능한 디바이스 또는 링에서의 모션 센서들(가속도계/자이로스코프)을 사용하여 그들의 손 제스처들로부터 검출할 수 있다. 이러한 검출은 실시간으로 발생할 수 있다. 착용된 디바이스는 휴대용 통신 디바이스에서 발견될 수 있는 바와 같이, 오프-디바이스 프로세싱 및 통신 기능과 조합될 수 있다. 그러한 오프-디바이스 프로세싱은, 예를 들어, 시작 시간, 종료 시간, 섭취 방법, 섭취의 페이스와 연관된 메트릭들, 섭취된 양과 연관된 메트릭들, 섭취의 빈도와 연관된 메트릭들, 섭취의 위치 등과 같은 섭취 활동에 대한 직관을 도출하는 것과 같은 더 복잡한 프로세싱 작업에 사용될 수 있다.
각각의 식사의 시작은 제1형 당뇨병을 앓고 있는 환자에게 중요한 순간일 수 있다. 질병 관리의 예에서, 각각의 식사의 시작 시에, 환자(또는 보호자 등)는 인슐린을 주입할지 여부와 어느 정도 주입할지를 결정해야 하며 그 결정에 따라 액션(예컨대, 인슐린을 주입하는 액션)이 취해져야 한다.
환자 관리 시스템은 조기 식사 검출 능력들을 제공하고, 환자 및/또는 인슐린 투여 디바이스에 의사 결정 및 액션을 취하기 위해 정보를 주어 도울 수 있는 강력한 "상기시킴(nudge)"을 제공할 수 있다. 예를 들어, 환자 관리 시스템은 식사 시작시 인슐린을 투여하기 위한 실시간 리마인더들을 전송할 수 있다. 볼러스를 잊는 것은 특히 청소년들 중에서 불량한 혈당 조절에 대한 주된 이유들 중 하나이다. 환자 관리 시스템은 환자들에게 식사의 시작 및/또는 종료시 그들의 혈당 레벨을 검사하도록 촉구할 수 있고, 용이한 로깅(logging)을 지원할 수 있다. 로깅은 시스템의 착용가능한 컴포넌트에서 처리될 수 있으며, 이는 환자가 요청된 액션(예컨대, 인슐린 투여 또는 혈당 레벨 검사)이 수행되었음을 알리기 위한 손목 제스처 또는 데이터 입력 액션들로서 기능할 수 있는 다른 움직임들을 수행하는 것과 같이 별개일 수 있다.
의료 제공자들은 그들의 환자들을 "해당 순간에(in-the-moment)" 조사하여, 더 정확하고 조치가능한 직관들(예컨대, 탄수화물, 감정, 도움에 대한 필요성 추정의 어려움을 평가)을 산출할 수 있다.
환자 관리 시스템은 보다 일반적으로 초-단위 정확도로 섭식 및 음용 활동들을 추적할 수 있어서, 예를 들어, 혈당 레벨 및 볼러싱(bolusing)(인슐린 투여) 액션들을 다시 정확한 섭식 시간들에 상관시키는 것을 가능하게 한다. 이는 개인맞춤형 영양 연구 및 개인맞춤형 영양 계획의 개발에 사용될 수 있다. 이러한 정보는 개인맞춤형 당뇨 관리 경로에 있어 필수적인 부분일 수 있다.
환자 관리 시스템은 복약 이행 및 혈당 제어에 대한 실시간 볼러스 리마인더들의 영향의 연구에 사용될 수 있다. 데이터 공유는 실시간으로 일어날 수 있거나 실시간으로 일어나지 않을 수 있다. 데이터 공유는 보호자들, 의료 전문가들과 이루어질 수 있거나, 또는 적절한 개인 정보 보호 장치와 함께 연구자들 및 의료 기기 개발자들에게 더 큰 데이터 세트의 일부로 제공될 수 있다.
환자 관리 시스템의 한 부분은 환자에 의해 사용될 사용자 인터페이스를 제공할 수 있는 앱이다. 이러한 앱은 실시간 볼러스 리마인더들을 환자에게 전송하는 능력, 및 원거리에 있는 보호자들 및 다른 사람들에 대한 하나 이상의 목적지들(예컨대, 전화 번호들, 이메일 주소들, URL들 등)로 실시간 경보들(통지들 또는 텍스트)이 전송될 수 있게 하는 모니터링 서비스를 제공할 수 있다. 이는, 예를 들어, 부모가 그들의 나이 어린 제1형 당뇨병 자식의 섭식 활동들 및 메시지들 또는 경보들에 대한 응답들을 원격으로 모니터링할 수 있게 한다.
일부 접근법들에서, 환자는 자신이 섭식하거나 이제 막 섭식하기 시작할 때 인슐린 전달 시스템에게 수동으로 통지한다. 이어서, 이러한 입력에 기초하여, 인슐린 전달 시스템은 1회 또는 여러회 투여량들로 인슐린 전달을 시작할 것이다. 이는 이상적이지 않은데, 그 이유는 사용자가 인슐린 전달 시스템에게 통지하는 액션을 취할 필요가 있기 때문이다. 사용자에 의한 어떠한 액션도 요구되지 않는다면 더 좋을 것이다. 대안적으로, 인슐린 전달 시스템은 환자의 혈당 레벨들의 변화를 모니터링하는 것으로부터 음식 섭취 이벤트의 발생을 추론할 수 있다. 직접적인 혈당 레벨 측정은 비실용적일 수 있다. 간질 포도당 레벨은 연속 포도당 모니터링 디바이스를 사용하여 자동으로 그리고 주기적으로 측정될 수 있고, 그러한 레벨들은 혈당 레벨들을 위한 대용물로서 종종 사용된다. 그러나, 간질 포도당 레벨 측정치들은 20분 이상 지연될 수 있다. 이는 양호한 혈당 조절을 달성하기에는 너무 늦고, 따라서 간질액 측정치들은 인슐린 전달 시스템에 통지하기에는 이상적이지 않을 수 있다.
인슐린 전달 시스템에 통지하고 인슐린 전달 시스템이 사람의 개입없이 또는 감소된 사람의 개입으로 작동할 수 있게 하는 음식 섭취 이벤트의 자동 감지가 필요하다. 환자 관리 시스템은 일반적으로 약물 리마인더 시스템으로서 사용될 수 있거나, 또는 보다 구체적으로는 인슐린 요법 시스템으로서 사용될 수 있다.
이제 환자 관리 시스템의 일례가 기술될 것이다.
음식 섭취 이벤트의 실제의 또는 임박한 시작의 검출 시에, 메시지/경보가 환자에게 전송되어 자신의 약물을 복용하도록 환자에게 리마인드할 수 있다. 약물은 인슐린 또는 다른 약물, 예컨대, 식사 전, 식사 중, 또는 식사 후에 복용할 필요가 있는 약물일 수 있다. 소정 경우들에서, 음식 섭취 이벤트의 실제의 또는 임박한 시작의 검출과 경보가 전송되는 시간 사이에 지연을 두는 것이 바람직할 수 있으며, 이는 필요에 따라 조정될 수 있다. 예를 들어, 음식 섭취 이벤트의 시작 시에 경보를 전송하는 대신에, 시스템이 5회, 10회 또는 일부 다른 소정 횟수의 베어먹기들 또는 홀짝마시기들이 섭취되었음을 검출한 후에 경보가 전송될 수 있다. 다른 예에서, 경보는 시스템이 음식 섭취 이벤트의 실제의 또는 임박한 시작을 검출하고 1분, 5분, 또는 일부 다른 소정의 고정된 시간 후에 전송될 수 있다. 경보의 타이밍은 또한 적어도 부분적으로, 음식 섭취 이벤트의 실제의 또는 임박한 시작이 발생했음에 대한 환자 관리 시스템의 신뢰도 레벨에 의존할 수 있다. 경보는 환자 관리 시스템이 이력적으로 섭식 이벤트에 선행하는 상태들을 발견했을 때 또는 그로부터 얼마 후에 전송될 수 있다. 환자의 과거 섭식 이벤트들로부터 환자 관리 시스템에 의해 기록된 이력 데이터에 기초하여, 환자 관리 시스템은 식사 10분 전에, 식사의 시작 시에, 또는 식사 동안 통지 또는 리마인더가 필요하다고 결정하는 것이 가능할 수 있다. 환자 관리 시스템은 또한 "스누즈" 이벤트들을 처리하도록 프로그래밍될 수 있는데, 환자는 경보를 통지받고, 환자는 환자 관리 시스템이 가까운 미래의 정의된 시간에, 예컨대, 초기 경보 또는 리마인더가 있고 나서 정의된 기간 후에, 또는 초기 경보 또는 리마인더가 있고 나서 정의된 수의 베어먹기들 후에 리마인더를 재전송해야 한다고 나타낸다.
환자 관리 시스템이 메시지/경보를 환자에게 전송할 때, 한명 이상의 사람 또는 하나 이상의 시스템들이 또한 보조 메시징을 통해 통지받을 수 있다. 다른 사람(들) 또는 시스템(들)은 음식 섭취 이벤트의 실제의, 거의 확실한(probable), 또는 임박한 시작을 통지받을 수 있다. 환자에 대한 메시지/경보가 환자가 응답하기 위한 메커니즘을 포함한다면, 다른 사람(들) 또는 시스템(들)에 환자의 응답이 통지될 수 있다. 환자가 응답하지 않은 경우에도 또한 다른 사람(들) 또는 시스템(들)에 통지될 수 있다. 이는 환자를 돌보는 부모들 및/또는 보호자들의 경우들에서 도움이 될 수 있다.
일부 경우들에서, 환자 관리 시스템은 환자로부터 상이한 입력들을 수용하도록 프로그래밍될 수 있다. 예를 들어, 환자 관리 시스템은 식사가 마무리되었다는 것, 식사에 탄수화물이 없거나, 많거나, 어느 정도 있을 것이라는 표시를 환자로부터 수신하기 위한 사용자 인터페이스를 가질 수 있다.
환자 메시징과 마찬가지로, 이러한 보조 메시징에 대해, 음식 섭취 이벤트의 실제의 또는 임박한 시작의 검출과 경보가 전송되는 시간 사이에 지연이 있을 수 있다. 음식 섭취 이벤트의 시작시에 경보를 전송하는 대신에, 시스템이 소정 횟수의 베어먹기들 또는 홀짝마시기들이 섭취되었음을 검출한 후에 경보가 전송될 수 있다. 환자에게 경보를 전송하는 것과 다른 사람(들) 또는 시스템(들)에 통지하는 것 사이에 지연이 있을 수 있다. 환자에 대한 메시지/경보가 환자가 응답하기 위한 메커니즘을 포함하는 경우, 환자가 메시지/경보에 응답하는 것과 다른 사람(들) 또는 시스템(들)이 그 사람의 응답 또는 응답 실패를 통보받는 것 사이에 지연이 있을 수 있다.
한명 이상의 다른 사람들이 셀룰러 네트워크를 통해 전송되는 메시지를 통해 통지받을 수 있다. 예를 들어, 그 또는 그녀의 전화 또는 다른 모바일 또는 착용가능한 디바이스 상의 텍스트 메시지이다.
이제 인슐린 요법 시스템이 기술될 것이다.
본 명세서에 기술된 바와 같은 음식 섭취 이벤트의 실제의, 거의 확실한, 또는 임박한 시작의 검출은 인슐린 전달 시스템에 통지하는 데 사용될 수 있다. 음식 섭취 이벤트의 실제의, 거의 확실한, 또는 임박한 시작을 나타내는 신호를 수신하면, 인슐린 전달 시스템은 투여될 인슐린의 적절한 투여량 및 인슐린의 전달을 위한 스케줄을 계산 또는 추정할 수 있다.
인슐린 전달 시스템은 투여 및 빈도를 계산 또는 추정하는 데 있어서 다른 파라미터들 및 입력들을 사용할 수 있다. 예를 들어, 인슐린 전달 시스템은 현재 또는 이전의 포도당 레벨 판독치들, 포도당 레벨 판독치들에서의 변동, 포도당 레벨 판독치들로부터 도출된 파라미터들 또는 인슐린-온-보드(insulin-on-board)(즉, 이전의 시간에 투여되었지만 여전히 환자의 신체에서 활성인 인슐린)를 사용할 수 있다. 포도당 레벨 판독치들로부터 도출된 파라미터들의 예들은 포도당 레벨 판독치의 현재 기울기, 현재 음식 섭취 이벤트 이전의 소정 시간 윈도우에서의 포도당 레벨 판독치들의 최대값, 평균값, 최소값 등일 수 있다.
인슐린 전달 시스템은 또한 식사 활동 자체와 관련된 파라미터들, 예컨대 식사의 지속시간, 섭식의 페이스, 섭취량을 포함할 수 있다. 인슐린 전달 시스템은 또한 심박수, 혈압, 체온, 수화 레벨, 피로 레벨 등과 같은 다른 센서 입력들을 사용할 수 있고, 그 자신의 센서들로부터 이들을 획득하거나 그 중 일부는 환자가 이를 위해 또는 다른 목적을 위해 사용하고 있을 수 있는 다른 디바이스들로부터 획득할 수 있다.
인슐린 전달 시스템은 또한 현재 또는 과거의 신체 활동 레벨들, 현재 또는 과거의 수면 레벨들, 및 현재 또는 과거의 스트레스 레벨들과 같은 다른 입력들을 포함할 수 있다. 인슐린 전달 시스템은 또한 성별, 연령, 높이, 체중 등과 같은 특정 개인 정보를 포함할 수 있다. 인슐린 전달 시스템은 또한 환자의 인슐린 필요성과 관련된 정보를 포함할 수 있다. 이는 환자에 의해, 보호자에 의해, 또는 건강 기록 또는 건강관리 유지 시스템에 의해 입력되거나 구성된 정보일 수 있다. 환자의 인슐린 필요성과 관련된 정보는 또한 인슐린 전달 시스템에 의해 수집 및 저장된 이력 데이터로부터 도출될 수 있다. 예를 들어, 현재 음식 섭취 이벤트 이전의 기간 동안 인슐린 전달 시스템에 의해 전달된 인슐린의 양들이 있다.
다른 실시 형태에서, 인슐린 전달 시스템은 동일한 시간이나 그 즈음해서, 그리고/또는 동일한 요일이나 그 즈음해서, 또는 현재 시간 즈음의 특정된 시간 윈도우 내에서 발생한 하나 이상의 이전 음식 섭취 이벤트들과 연관된 인슐린의 양들 및 전달 스케줄을 고려할 수 있다. 인슐린 전달 시스템은 또한 환자의 현재 위치를 고려할 수 있다.
음식 섭취 이벤트와 관련된 추가의 파라미터들이 또한 인슐린 전달 시스템에게 통지하는 데 사용될 수 있다. 인슐린 전달 시스템은 전달될 인슐린의 적절한 투여량 및/또는 인슐린 전달에 대한 스케줄을 계산 또는 추정하기 위해 그러한 파라미터를 사용할 수 있다. 그러한 파라미터들은 섭식 또는 음용의 지속시간, 섭취된 음식 또는 음료들의 양들, 섭식의 페이스, 섭취된 탄수화물의 양, 사용된 섭식 방법 또는 식기들 또는 용기들의 유형을 포함할 수 있지만, 이들로 제한되지 않는다. 이러한 추가의 파라미터들 중 일부(예컨대, 지속시간 또는 페이스)는 임의의 사용자 개입을 요구하지 않으면서 음식 섭취 추적 및 피드백 시스템에 의해 계산될 수 있다. 다른 경우들에서, 사용자에 의한 사용자 개입, 입력 또는 확인이 필요할 수 있다.
인슐린 전달 시스템은 또한 적절한 인슐린 투여량 및 인슐린 전달 스케줄을 계산 또는 추정하기 위해 과거의 음식 섭취 이벤트들과 관련된 파라미터들을 사용할 수 있다. 예를 들어, 인슐린 전달 시스템은 하나 이상의 과거의 음식 섭취 이벤트들의 지속시간 및/또는 하나 이상의 과거의 음식 섭취 이벤트들에 대한 섭식의 평균 페이스를 고려할 수 있다. 소정 실시 형태들에서, 인슐린 전달 시스템은 단지 현재 음식 섭취 이벤트 이전의 특정 시간 윈도우 내에서 발생한 과거의 음식 섭취 이벤트들과 관련된 파라미터들만을 고려할 수 있다. 소정 실시 형태들에서, 인슐린 전달 시스템은 현재 음식 섭취 이벤트와 동일한 시간이나 그 즈음해서, 그리고/또는 동일한 요일이나 그 즈음해서 발생한 과거의 음식 섭취 이벤트들로부터의 파라미터들만을 고려할 수 있다. 소정 실시 형태들에서, 인슐린 전달 시스템은 현재 음식 섭취 이벤트와 동일한 위치에서 또는 그 근처에서 발생하는 하나 이상의 과거의 음식 섭취 이벤트들로부터의 파라미터들만을 고려할 수 있다.
소정 실시 형태들에서, 인슐린 전달 시스템은, 인슐린 투여량을 계산 또는 추정하고 현재 음식 섭취 이벤트의 전달 스케줄을 결정하기 위해, 혈당 판독치들에 대한, 또는 예를 들어, 간질 포도당 판독치들과 같은 혈당 판독치들을 위한 프록시로서 사용되는 다른 센서 출력들에 대한 과거의 인슐린 투여량들 및 전달 스케줄들의 영향을 볼 수 있다.
인슐린 전달 시스템은 전술된 파라미터들 중 하나 이상에 기초하여 그의 로직을 연속적으로 또는 주기적으로 프로세싱하고 그에 따라 인슐린 투여 및/또는 인슐린 전달 스케줄링을 위한 로직을 업데이트할 수 있다.
환자 관리 시스템은 인슐린을 넘어서 음식 섭취 이벤트와 함께 투여될 필요가 있는 약물 또는 물질의 투여로 일반화될 수 있는데, 특히 약물 또는 다른 물질의 양이 음식 섭취 이벤트와 연관된 파라미터들과 관련되는 경우가 그렇다.
식사가 적격의/적용가능한 식사 카테고리의 일부인지를 결정하기 위해 필터가 적용될 수 있다.
환자 관리 시스템은 식사 중에 연속적이거나 주기적이고 빈번한 평가를 수행하고 혈당 레벨 판독치들(또는 간질 포도당 레벨 판독치들과 같은 그의 프록시들)에서의 관찰된 변화들에 기초하여, 스케줄 또는 인슐린 양들을 상향 또는 하향으로 조정하도록 프로그래밍될 수 있다. 하나의 특정 실시 형태에서, 인슐린 전달은 포도당 레벨 판독치가 소정 임계치 미만인 경우, 또는 환자 관리 시스템에 의해 실행되는 실행가능한 프로그램 코드에 구현된 예측 알고리즘이 현재의 양들과 스케줄이 실행되는 경우 미래의 시간에 포도당 판독치가 소정 레벨 미만이 될 것이라는 예측을 출력하는 경우 중단될 수 있다.
이러한 방식으로, 환자 관리 시스템은 섭식의 시작, 섭식의 페이스, 예상되는 섭식의 종료, 섭식의 지속시간 및 다른 인자들을 고려하면서, 통지들을 전송하고 신호들을 인슐린 전달 디바이스로 전송할 수 있다. 예를 들어, 환자 관리 시스템은, 조정들을 행하기 위해 심박수, 섭식 속도, 체온 등과 같은 다양한 입력들을 사용하여 섭식의 시작시 그리고 섭식 중에 인슐린을 전달하도록 인슐린 전달 디바이스에 지시할 수 있다. 이러한 방식으로, 환자 관리 시스템은 식사 인식형(meal-aware)의 자율 또는 반자율 인공 췌장의 일부일 수 있다.
도면의 간단한 설명
도 1은 일 실시 형태에 따른 식이요법 추적 및 피드백 시스템의 상위 레벨 기능 다이어그램을 도시한다. 식이요법 추적 및 피드백을 위한 시스템은, 부분적으로, 음식 섭취 이벤트 검출 서브시스템(101), 하나 이상의 센서들(102), 추적 및 프로세싱 서브시스템(103), 피드백 서브시스템(106), 하나 이상의 데이터 저장 유닛들(104), 및 비-실시간 분석을 수행할 수 있는 학습 서브시스템(105) 중 하나 이상을 포함할 수 있다. 일부 실시 형태들에서, 도 1에 도시된 요소들은 전자 하드웨어로 구현되는 반면, 다른 실시 형태들에서, 일부 요소들은 소프트웨어로 구현되고 프로세서에 의해 실행된다. 일부 기능들은 하드웨어 및 프로세서/메모리 리소스들을 공유할 수 있고, 일부 기능들은 분산될 수 있다. 기능은 손목 착용형 착용가능한 디바이스와 같은 센서 디바이스에서 완전히 구현될 수 있거나, 또는 기능은 센서 디바이스, 센서 디바이스가 통신하는 스마트폰과 같은 프로세싱 시스템, 및/또는 센서 디바이스로부터 원격에 있는 일부 기능을 처리하는 서버 시스템에 걸쳐 구현될 수 있다.
예를 들어, 착용가능한 센서 디바이스는 측정치들을 얻고 이들을 모바일 디바이스에 통신할 수 있으며, 모바일 디바이스는 착용가능한 센서 디바이스로부터 수신된 데이터를 프로세싱하고 가능하게는 다른 데이터 입력들과 조합된 그 정보를 사용하여 추적 및 프로세싱 서브시스템(103)을 활성화할 수 있다. 추적 및 프로세싱 서브시스템(103)은 모바일 디바이스 상에서, 착용가능한 센서 디바이스 상에서, 또는 다른 전자 디바이스 상에서 구현될 수 있다. 추적 및 프로세싱 서브시스템(103)은 또한 예를 들어, 모바일 디바이스 및 착용가능한 센서 디바이스와 같은 다수의 디바이스들에 걸쳐 분산될 수 있다. 통신은 데이터를 추가로 프로세싱하는 서버에 대해 인터넷을 통해 이루어질 수 있다. 데이터 또는 다른 정보가 적합한 포맷으로 저장될 수 있으며, 다수의 위치들에 걸쳐 분산되거나, 중앙에 저장될 수 있고, 기록된 형태로 저장되거나, 일부 레벨의 프로세싱 후에 저장될 수 있다. 데이터는 일시적으로 또는 영구적으로 저장될 수 있다.
도 1에 도시된 시스템의 제1 컴포넌트는 음식 섭취 이벤트 검출 서브시스템(101)이다. 음식 섭취 이벤트 검출 서브시스템(101)의 역할은 음식 섭취 이벤트의 시작 및/또는 종료를 식별하고, 이벤트의 실제의, 거의 확실한 또는 임박한 발생을 통신하는 것이다. 예를 들어, 이벤트는 특정 활동 또는 거동과 관련된 이벤트일 수 있다. 이벤트 검출 서브시스템(101)에 의해 검출될 수 있는 이벤트의 다른 예들은 특정 작업을 수행하거나 특정 절차를 실행하는 생산 라인 또는 다른 곳에 있는 운영자일 수 있다. 또 다른 예는 특정 작업을 수행하거나 생산 암(arm) 또는 다른 곳에서 특정 절차를 실행하는 로봇 또는 로봇 암일 수 있다.
일반적으로, 디바이스는 음식 섭취 이벤트의 시작 또는 음식 섭취 이벤트의 거의 확실한 시작일 수 있는 것을 검출하지만, 디바이스는 디바이스가 그러한 시작/거의 확실한 시작을 합리적으로 결정하는 한 그의 목적들에 맞게 충분히 작동한다. 명료함을 위해, 그러한 검출은 음식 섭취 이벤트의 "시작 간주(deemed start)"로 지칭되며, 다양한 프로세스들, 동작들 및 요소들이 음식 섭취 이벤트의 시작과 관련하여 일부 액션 또는 거동을 수행하고자 할 때, 때때로 시작 간주가 실제로 음식 섭취 이벤트의 시작이 아니더라도 이러한 다양한 프로세스들, 동작들 및 요소들이 시작 간주를 시작으로서 취하는 것이 허용가능할 것이다.
일 실시 형태에서, 음식 섭취 이벤트의 시작 간주의 발생의 검출 및/또는 신호하기는 음식 섭취 이벤트의 시작 간주와 일치한다. 다른 실시 형태에서, 그것은 음식 섭취 이벤트의 시작 간주 후 어느 시점에 발생할 수 있다. 또 다른 실시 형태에서, 그것은 음식 섭취 이벤트의 시작 간주 전 어느 시점에 발생할 수 있다. 신호하기는 음식 섭취 이벤트의 시작 간주에 근접하는 것이 보통 바람직하다. 본 발명의 일부 실시 형태들에서, 음식 섭취 이벤트의 시작 간주의 검출 및/또는 신호하기는 상기 음식 섭취 이벤트의 시작에 앞서 발생하는 것이 유리할 수 있다. 이는, 예를 들어, 메시지 또는 신호가 사용자의 음식 섭취 결정들 또는 섭식 습관들을 조정하는 것을 돕기 위한 코칭 메커니즘으로서 음식 섭취 이벤트의 시작에 앞서 사용자, 의료 제공자 또는 보호자에게 전송된다면 유용할 수 있다.
이벤트 검출을 위한 방법들은 신체의, 또는 신체의 특정 부분들의 움직임 또는 위치의 모니터링, 팔 움직임, 위치 또는 제스처들의 모니터링, 손 움직임, 위치 또는 제스처들의 모니터링, 손가락 움직임, 위치 또는 제스처들의 모니터링, 삼킴 패턴들의 모니터링, 입과 입술 움직임의 모니터링, 타액의 모니터링, 뺨 또는 턱의 움직임 모니터링, 베어 물기 또는 치아 갈기의 모니터링, 입, 목 및 소화 기관의 신호들의 모니터링에 기초한 감지를 포함할 수 있지만, 이로 제한되지 않는다. 검출을 위한 방법들은 사람 및/또는 그 또는 그녀의 주변의 시각적, 청각적 또는 임의의 다른 유형의 감각 모니터링을 포함할 수 있다.
모니터링된 신호들은 식이요법 추적 및 피드백 시스템에 의해 생성될 수 있다. 대안적으로, 이들은 별도의 시스템에 의해 생성될 수 있지만, 인터페이스를 통해 식이요법 추적 및 피드백 시스템에게 액세스가능할 수 있다. 모니터링되고 있는 입력 신호들로부터 음식 섭취 이벤트의 시작 또는 거의 확실한 시작을 검출하기 위해 기계 학습 및 다른 데이터 분석 기법들이 적용될 수 있다.
일례에서, 음식 섭취 검출 시스템(101)은 가능한 베어먹기 제스처 또는 가능한 홀짝마시기 제스처를 검출하기 위해 가속도계 및/또는 자이로스코프 센서들의 출력들을 모니터링할 수 있다. 그러한 제스처들은 센서 판독치들로부터 제스처들을 추출하기 위해 기계 학습을 사용하는 제스처 프로세서에 의해 결정될 수 있다. 제스처 프로세서는 착용된 디바이스의 프로세서의 일부일 수 있거나, 또는 시스템의 다른 부분일 수 있다.
본 명세서의 다른 곳에 기술된 바와 같은 제스처 검출 기계 학습 기법들은 베어먹기 제스처 또는 홀짝마시기 제스처를 검출하는 데 사용될 수 있지만, 다른 기법들이 또한 가능하다. 음식 섭취 검출 시스템(101)은 검출된 베어먹기 제스처 또는 홀짝마시기 제스처에 신뢰도 레벨을 추가로 할당할 수 있다. 신뢰도 레벨은 검출된 제스처가 실제로 베어먹기 또는 홀짝마시기 제스처일 가능성에 대응한다. 음식 섭취 검출 시스템은 임의의 추가의 입력들 없이 제스처의 검출 및 그의 신뢰도 레벨에 기초하여 음식 섭취 이벤트의 시작이 발생했음을 결정할 수 있다. 예를 들어, 음식 섭취 이벤트 검출 시스템(101)은 베어먹기 또는 홀짝마시기 제스처의 신뢰도 레벨이 미리구성된 임계치를 초과할 때 음식 섭취 이벤트의 시작이 발생했음을 결정할 수 있다.
대안적으로, 가능한 베어먹기 또는 홀짝마시기 제스처가 검출되었을 때, 음식 섭취 이벤트 검출 시스템(101)은 음식 섭취 이벤트의 시작 또는 거의 확실한 시작이 발생했음을 결정하기 위해 추가의 입력들을 사용할 수 있다. 일례에서, 음식 섭취 이벤트 검출 시스템(101)은 음식 섭취 이벤트의 시작이 발생했는지 여부를 결정하기 위해 시간적으로 근접한 다른 제스처들을 모니터링할 수 있다. 예를 들어, 가능한 베어먹기 제스처의 검출 시에, 음식 섭취 이벤트 검출 시스템(101)은 음식 섭취 이벤트의 시작이 발생했음을 결정하기 전에, 제1 제스처의 검출 이후의 소정 시간 윈도우 내에서 그리고/또는 소정의 신뢰도 레벨을 갖는 다른 베어먹기 제스처의 검출을 기다릴 수 있다.
그러한 검출 시에, 음식 섭취 검출 시스템(101)은 제스처 검출의 정확도를 추가로 개선하기 위해 하나 이상의 회로들 또는 컴포넌트들을 보다 높은 성능 모드에 놓을 수 있다. 다른 예에서, 음식 섭취 이벤트 검출 시스템(101)은 음식 섭취 이벤트의 시작 또는 거의 확실한 시작이 발생했는지 여부를 결정하기 위해 시간, 또는 사용자의 위치를 고려할 수 있다. 음식 섭취 이벤트 검출 시스템은 기계 학습 또는 다른 데이터 분석 기법들을 사용하여 그의 검출 능력들의 정확도 및 신뢰성을 개선할 수 있다. 예를 들어, 이전 시간에 사용자로부터 그리고/또는 다른 사용자들로부터 획득된 훈련 데이터가 분류기를 훈련하는 데 사용될 수 있다. 훈련 데이터는 가능한 베어먹기 또는 홀짝마시기 제스처가 검출되었을 때 사용자 확인을 요청하는 것에 의해 획득될 수 있다. 이어서, 라벨링된 데이터 기록이 제스처와 관련된 특징들을 포함하는 제스처 프로세서에 의해 생성되고 판독가능한 메모리에 시간 또는 위치와 같은 다른 컨텍스트 특징들과 함께 저장될 수 있다. 이어서, 분류기는 라벨링된 데이터 기록들의 다수의 라벨링된 데이터 기록들 세트로 구성된 라벨링된 데이터세트 상에서 훈련될 수 있고, 이어서, 훈련된 분류기 모델은 음식 섭취 이벤트의 시작을 보다 정확하게 검출하기 위해 음식 섭취 이벤트 검출 시스템에서 사용될 수 있다.
다른 실시 형태에서, 음식 섭취 검출 서브시스템은 음식 섭취 이벤트의 거의 확실한 시작을 자율적으로 예측하기 위해 트리거들을 사용할 수 있다. 트리거들에 기초하여 음식 섭취 이벤트의 거의 확실한 시작의 자율 검출을 위한 방법들은 사람의 수면 패턴들의 모니터링, 사람의 스트레스 레벨의 모니터링, 사람의 활동 레벨의 모니터링, 사람의 위치의 모니터링, 사람의 주변 사람들의 모니터링, 사람의 활력 징후의 모니터링, 사람의 수화 레벨의 모니터링, 사람의 피로 레벨의 모니터링을 포함할 수 있지만, 이들로 제한되지 않는다. 일부 경우들에서, 음식 섭취 검출 서브시스템은 더 긴 기간에 걸쳐 하나 이상의 특정 트리거 신호들 또는 트리거 이벤트들을 모니터링할 수 있고, 비-실시간 분석 및 학습 서브시스템(105)과 조합하여, 기계 학습 또는 다른 데이터 분석 기법들을 적용하여 음식 섭취 이벤트의 시작의 거의 확실한 발생을 예측할 수 있다.
예를 들어, 임의의 추가의 정보 없이, 사용자가 조식을 먹을 때를 예측하는 것은 매우 어려울 수 있다. 그러나, 시스템이 다수의 날들에 걸쳐 사용자의 기상 시간 및 요일의 기록을 갖는 경우, 시스템은 사용자가 조식을 먹을 가능성이 있는 시간을 결정할 때 그 이력 패턴을 사용할 수 있다. 그러한 기록들은 시스템에 의해, 가능하게는 그들의 정확도에 관한 사용자로부터의 피드백에 의해 결정될 수 있거나, 또는 그러한 기록들은 사용자에 의해 결정되고 시스템의 사용자 인터페이스를 통해 입력될 수 있다. 사용자 인터페이스는 착용형 디바이스 자체이거나, 또는 예를 들어 스마트폰 앱일 수 있다. 그 결과, 시스템은 현재 요일 및 사용자가 기상할 시간이 언제인지에 기초하여 사용자가 조식을 먹을 가능성이 가장 큰 시간 또는 시간 윈도우를 예측하기 위해 이력 데이터에서의 상관관계를 프로세싱할 수 있다. 사용자가 조식을 먹을 시간을 예측하기 위해 다른 트리거 신호들 또는 트리거 이벤트들이 또한 비-실시간 분석 및 학습 서브시스템(105)에 의해 사용될 수 있다.
다른 예에서, 비-실시간 분석 및 학습 시스템(105)은 소정 기간에 걸쳐 사용자의 스트레스 레벨을 기록할 수 있다. 예를 들어, 스트레스 레벨은 사용자의 심박수 또는 사용자의 심박수와 관련된 소정 파라미터들을 모니터링 및 분석함으로써 결정될 수 있다. 스트레스 레벨은 또한 사용자의 음성을 분석함으로써 결정될 수 있다. 스트레스 레벨은 또한 사용자의 메시지들 또는 전자 통신의 내용을 분석함으로써 결정될 수 있다. 스트레스 레벨을 결정하기 위한 다른 방법들이 또한 가능하다. 또한, 비-실시간 분석 및 학습 시스템(105)은 동일한 기간에 걸쳐 음식 섭취 이벤트들의 발생 및 음식 섭취 이벤트들의 소정 특성들, 예컨대 섭식의 페이스, 섭취된 음식의 양, 음식 섭취 이벤트들 사이의 시간 간격 등을 기록할 수 있다. 이어서, 스트레스 레벨들의 이력 데이터, 음식 섭취 이벤트들의 발생 및 음식 섭취 이벤트 특성들을 분석하고, 스트레스 레벨들의 이력 데이터, 음식 섭취 이벤트들의 발생 및 음식 섭취 이벤트 특성들의 상관관계들을 검색함으로써, 현재 스트레스 레벨에 기초하여 사용자가 미래의 소정 시간 윈도우 내에 음식 섭취 이벤트를 시작할 가능성을 예측하거나, 사용자가 음식 섭취 이벤트를 시작할 가능성이 가장 높은 미래의 시간 윈도우가 언제인지를 예측하는 것이 가능할 수 있다. 예를 들어, 섭식의 페이스 또는 섭취량과 같은 상기의 음식 섭취 이벤트의 특성들을 예측하는 것이 또한 가능할 수 있다.
특정 실시 형태들에서, 비-실시간 분석 및 학습 서브시스템(105)은 상이한 사용자들로부터의 이력 데이터, 또는 다른 사용자들로부터의 그리고 착용자로부터의 데이터의 조합을 사용할 수 있고, 착용자에 의한 음식 섭취 이벤트의 거의 확실한 시작을 예측하기 위해 연령, 성별, 의학적 상태 등과 같은 하나 이상의 상이한 사용자들과 착용자 사이의 유사성을 사용할 수 있다.
또 다른 예들에서, 비-실시간 분석 및 학습 서브시스템(105)은 사용자가 폭식 에피소드에서 재발할 가능성이 가장 높거나, 또는 간편 간식을 시작할 가능성이 가장 높을 때를 예측하기 위해 본 명세서에 기술된 방법들과 유사한 방법들을 사용할 수 있다.
다양한 센서들이 그러한 모니터링을 위해 사용될 수 있다. 모니터링된 신호들은 식이요법 추적 및 피드백 시스템에 의해 생성될 수 있다. 대안적으로, 이들은 별개의 시스템에 의해 생성될 수 있지만, 트리거 신호로서의 프로세싱 및/또는 사용을 위해 식이요법 추적 및 피드백 시스템에게 액세스가능할 수 있다. 기계 학습 및 다른 데이터 분석 기법들이 또한 거의 확실한 섭취 이벤트의 일부 다른 특성들, 예컨대 섭취될 가능성이 있는 음식물의 유형 및/또는 양, 사람이 섭식할 가능성이 있는 페이스, 사람이 음식 섭취로부터 가질 수 있는 만족도의 레벨 등을 예측하기 위해 적용될 수 있다.
제스처 인식의 일부로서 수행되는 기계 학습 프로세스는 외부 데이터를 사용하여 그의 결정들을 더 조정할 수 있다. 이는 비실시간 분석 및 학습 서브시스템 프로세스에 의해 수행될 수 있다. 예를 들어, 데이터 분석 프로세스는 제스처 감지 기반 음식 섭취 검출 시스템 및 제스처 감지 기반 추적 및 프로세싱 시스템에 의해 검출된 음식 섭취 이벤트들을 고려하여, 기계 학습의 제2 층을 형성할 수 있다. 예를 들어, 소정 기간에 걸쳐, 음식 섭취 이벤트들 및 그러한 음식 섭취 이벤트들에 관련된 특성들, 예컨대 섭식 페이스, 음식 섭취량, 음식 내용물 등이 기록되는 한편, 또한 음식 섭취 이벤트에 직접적으로 상관되지 않거나, 또는 아마도 명백히 상관되지 않는 다른 파라미터들을 추적한다. 이는 예를 들어, 위치 정보, 사람이 기상하는 시간, 스트레스 레벨, 사람의 수면 거동에서의 소정 패턴들, 시간, 이벤트 위치 및 참석자 목록들을 포함하는 캘린더 이벤트 세부사항들, 시간, 지속시간, 전화 번호 등을 포함하는 전화 통화 정보, 시간, 지속시간, 전송자 등과 같은 이메일 메타-데이터 등일 수 있다. 이어서, 데이터 분석 프로세스는 패턴들 및 상관관계들을 식별한다. 예를 들어, 그것은 낮 동안의 캘린더 이벤트들의 수와 저녁에 음식 섭취 이벤트(들)의 특성들 사이의 상관관계를 결정할 수 있다. 이는 사용자가 집에 도착할 때 간식을 시작할 가능성이 더 높거나, 또는 그 날에 대한 캘린더 이벤트(들)의 수가 소정 임계치를 초과할 때 저녁식사가 더 많고/많거나 더 급하게 하는 것에 기인할 수 있다. 서브시스템(105)에 의해, 음식 섭취에 명백히 상관되지 않는 다른 신호들 및 이벤트들로부터 음식 섭취 이벤트들 및 특성들을 예측하는 것이 가능하게 된다. 위치, 캘린더 정보, 요일 또는 시간과 같은 추가의 컨텍스트 메타데이터가 그러한 결정 또는 예측을 하기 위해 프로세싱 및 분석 서브시스템에 의해 사용될 수 있다.
선택적으로 기계 학습 또는 다른 데이터 분석 기법들을 사용하여 더 긴 기간들 동안의 하나 이상의 센서 입력들, 및/또는 하나 이상의 이미지들을 프로세싱 및 분석하는 것은 또한 음식 섭취 이벤트의 지속시간을 추정하는 데 사용될 수 있거나, 음식 섭취 이벤트의 종료가 거의 확실하거나 또는 임박하다는 것을 예측하는 데 사용될 수 있다.
다른 실시 형태에서, 일부 사용자 입력(108)은 음식 섭취 이벤트의 시작 및/또는 종료를 적절하게 또는 보다 정확하게 검출하는 데 필요하거나 바람직할 수 있다. 그러한 사용자 입력은 외부 입력들 및 센서들(102)로부터 수신된 입력들에 추가하여 제공될 수 있다. 대안적으로, 하나 이상의 사용자 입력들이 임의의 센서 입력들 대신에 사용될 수 있다. 사용자 입력들은 디바이스를 활성화하는 것, 버튼을 누르는 것, 디바이스 또는 디바이스의 특정 부분을 터치하거나 이동시키는 것, 사진을 촬영하는 것, 음성 커맨드를 발행하는 것, 스크린 상에서 선택하거나, 키보드, 터치스크린 또는 음성 인식 기술을 포함할 수 있지만 이들로 제한되지 않는 하드웨어 및/또는 소프트웨어를 사용하여 정보를 입력하는 것을 포함할 수 있지만, 이들로 제한되지 않는다. 하나 이상의 사용자 입력들이 요구되는 경우, 사용자의 정상적 활동들 또는 사회적 상호작용들에 대한 부정적인 영향을 최소화하는 방식으로 사용자 상호작용이 구상되고 구현되는 것이 중요하다.
음식 섭취 이벤트 검출 서브시스템(101)은 다수의 방법들을 조합하여 음식 섭취 이벤트의 실제의, 거의 확실한 또는 임박한 시작 및/또는 종료를 자율적으로 검출 또는 예측할 수 있다.
시스템의 다른 컴포넌트는 추적 및 프로세싱 서브시스템(103)이다. 본 발명의 바람직한 실시 형태에서, 이러한 서브시스템은 음식 섭취 이벤트 검출 서브시스템(101)과 인터페이싱하고(109), 음식 섭취 이벤트 검출 서브시스템(101)으로부터, 이벤트의 실제의, 거의 확실한 또는 임박한 시작이 검출되었다는 신호를 수신할 때 활성화되고, 음식 섭취 이벤트 검출 서브시스템(101)으로부터, 이벤트의 실제의, 거의 확실한 또는 임박한 종료가 검출되었다는 신호를 수신한 때 또는 그 후의 어느 시점에서 디스에이블된다. 음식 섭취 이벤트의 시작의 검출 시에, 디바이스는 음식 섭취 추적 시스템의 다른 센서들 또는 컴포넌트들의 활성화를 트리거할 수 있고, 또한 음식 섭취 이벤트의 종료의 검출 시에 그것들의 비활성화를 트리거할 수 있다.
애플리케이션: 음식 로깅
기존의 음식 일지기록 방법들에서, 사용자가 입력하기를 잊어버리거나 다른 이유로(의도적으로 또는 의도하지 않게) 입력하지 않은 경우, 섭식 이벤트의 기록 또는 이력이 없다. 이로 인해 음식 다이어리가 불완전하고 부정확하며 치료 목적에 상당히 유용하지 않다. 더욱이, 기존의 음식 로깅 방법들에서 기록되는 내용은 전형적으로 내용물 및 양들에 대한 자가-보고(self-reporting)로 제한된다. 음식이 어떻게 섭취되었는지의 중요한 특성들(예컨대, 식사의 페이스, 지속시간)에 관한 정보는 없다.
도 1에 도시된 모니터링 시스템은 음식 로깅을 자동화하거나 그의 마찰을 감소시키기 위해 사용될 수 있다. 본 발명의 일 실시 형태에서, 이벤트 검출 서브시스템(101)은 가속도계 또는 자이로스코프와 같은 모션 센서들로부터 도출된 정보를 사용하여, 대상의 손 제스처들로부터 섭식 이벤트 또는 음용 이벤트를 검출하고 모니터링한다. 다른 실시 형태들에서, 상이한 센서 입력들이 섭식 이벤트 또는 음용 이벤트를 도출하는 데 사용될 수 있다. 다른 센서들은 심박수 센서들, 압력 센서들, 근접 센서들, 포도당 센서들, 광 센서들, 이미지 센서들, 카메라들, 광 미터들, 온도계들, ECG 센서들 및 마이크로폰들을 포함할 수 있지만, 이들로 제한되지 않는다.
대상의 섭식 이벤트 또는 음용 이벤트의 발생을 나타내는 이벤트 검출 서브시스템(101)의 출력들이 기록된다. 이벤트 검출 서브시스템(101)은 시작 시간, 종료 시간, 대상의 섭식 또는 음용의 페이스를 나타내는 메트릭들, 섭취된 양들을 나타내는 메트릭들과 같은, 이벤트에 관한 추가의 관련 정보를 획득하기 위해 추가의 프로세싱을 행할 수 있다. 이러한 추가의 정보가 또한 기록될 수 있다.
섭식 이벤트 또는 음용 이벤트의 발생의 검출은 음식 일지에서의 입력으로서 기록될 수 있다. 이벤트 검출 서브시스템으로부터 획득될 수 있는 섭식 이벤트 또는 음용 이벤트와 연관된 추가의 정보는 또한 음식 일지에서의 섭취 이벤트 입력의 일부로서 기록될 수 있다. 이는 각각의 섭식 이벤트를 수동으로 입력하는 것을 대신할 수 있다.
기록되고 있는 섭식 이벤트 또는 음용 이벤트에 관한 정보는 이벤트의 시간, 이벤트의 지속시간, 이벤트의 위치, 섭취의 페이스와 관련된 메트릭들, 섭취된 양들과 관련된 메트릭들, 섭식 방법(들), 사용된 식기들 등을 포함할 수 있다.
애플리케이션: 복약 이행
이벤트 시스템은 이벤트들 및 제스처들을 모니터링하고 섭취를 결정할 수 있기 때문에, 이는 언제 약물을 복용해야 하는지와 어떤 음식 또는 다른 액션들과 함께 복용해야 하는지를 정의하는 약물 투여 프로토콜을 자동으로 모니터링하는 데 사용할 수 있다. 이는 소정 시간들에서 아침 식사 등과 같은 특정 식사 카테고리에 해당될 수 있다. 약물 투여 프로토콜은 환자가 약과 함께 섭식하거나 음용해야 하는지를 특정할 수 있다. 선택적으로, 약물 투여 프로토콜은 또한 환자가 얼마나 많은 음식 또는 액체를 섭취해야 하는지를 특정할 수 있다.
예를 들어, 약물이 소정 시간에 복용될 필요가 있을 때, 복약 이행 시스템은 시간을 모니터링할 수 있고, 약물을 복용할 시간일 때, 경보를 발행할 수 있다. 이어서, 그것은 또한 이벤트 검출 서브시스템을 활성화할 수 있고(아직 이미 활성이지 않은 경우) 이벤트 검출 서브시스템의 출력들을 모니터링하기를 시작할 수 있다. 그것은 사용자가 약물을 복용했다는 사용자로부터의 통지 확인을 기다린다.
확인이 수신되고 약물 투여 프로토콜이 약물이 음식 또는 액체와 함께 복용될 필요가 있음을 처방하는 경우, 복약 이행 시스템은 섭식/음용 이벤트 검출 서브시스템으로부터의 출력들을 모니터링하고 약물 투여 프로토콜에 의해 특정된 규칙들이 충족되는지 결정한다. 이는 약물의 섭취와 함께 또는 약물의 섭취 직후에 섭식 이벤트 또는 음용 이벤트가 발생했음을 확인하는 것과 같이 단순할 수 있다. 약물 투여 프로토콜이 최소량의 음식 또는 수분이 섭취될 필요가 있음을 특정하는 경우에, 복약 이행 시스템은 이 조건이 충족됨을 확인하기 위해 이벤트 검출 서브시스템의 추가의 출력들(섭취된 양들과 관련된 메트릭들)을 모니터링할 수 있다. 약물 투여 프로토콜이 충족되었는지를 결정하기 위한 상이한 규칙들/로직이 또한 가능하다.
확인이 수신되지 않은 경우, 복약 이행 서브시스템은 제2 통지를 발행할 수 있다. 추가의 통지들이 또한 가능하다. 미리구성된 수의 통지들이 있은 후에, 복약 이행 서브시스템은 경보를 발행할 수 있다. 경보들은 사용자에게 텍스트 메시지로서 발행될 수 있거나, 인터넷을 통해 또는 셀룰러 접속을 통해 (예컨대, 병원, 보호자에게) 원격 서버로 전송될 수 있다.
약물이 특정 식사 카테고리와 함께 복용될 필요가 있는 경우, 복약 이행 시스템은 섭식 검출 서브시스템의 출력들을 모니터링할 수 있다. 섭식 이벤트가 검출될 때, 그것은 적용가능한 식사 카테고리를 결정하기 위해 로직을 사용할 것이다. 식사 카테고리가 약물 투여 프로토콜에 의해 기술된 카테고리와 매칭되는 경우, 그것은 사용자에게 자신의 약물을 복용하도록 리마인드하기 위해 통지를 발행할 것이다. 약물 투여 프로토콜이 음식 또는 액체가 약물과 함께 섭취되어야 함을 특정하면, 위에 설명된 모니터링 로직은 약물 투여 프로토콜이 이행되었다고 결정하도록 구현될 수 있다.
복약 이행 시스템은 섭식 이벤트 검출 서브시스템의 출력들을 모니터링하여, 섭식 이벤트의 시작이 발생했는지 여부를 결정하고, 섭식 이벤트가 적용가능한 식사 카테고리의 것인지를 결정할 수 있다. 섭식 이벤트가 검출되고 식사 카테고리가 약물 투여 프로토콜에 의해 기술된 카테고리와 매칭될 때, 소정 액션이 취해질 수 있으며, 예컨대 사용자가 상호작용하고 있는 객체들에 관한 더 많은 정보를 수집하기 위해 객체 정보 검색 시스템(예컨대, NFC 태그들, 영상화)을 활성화할 수 있다. 이러한 방식으로, 그것은 알약 박스 또는 약물 용기에 부착된 NFC 태그로부터 약물에 관한 정보를 획득할 수 있다. 다른 사용에서, 그것은 약물이 약물 투여 프로토콜에 의해 처방된 약물과 일치하는지 확인하고/하거나 사용자가 자신의 약을 복용할 것을 리마인드하기 위한 통지를 발행할 수 있다. 약물 투여 프로토콜이 음식 또는 액체가 약물과 함께 섭취되어야 함을 특정하면, 위에 설명된 모니터링 로직은 약물 투여 프로토콜이 이행되었다고 결정하도록 구현될 수 있다.
시스템은 또한 객체 정보 수집 시스템으로부터, 또는 통지에서의 상이한 방법을 통해 획득된 약물에 관한 상세사항들을 통합하고, 사용자가 약물을 복용했다는 사용자로부터의 통지에 응답하여 확인을 기록할 수 있고, 사용자에게 약물에 대한 추가 정보를 요청하고/하거나, 추가 입력들을 얻기 위해 사용자가 약물을 복용한 후의 미리구성된 시간에 후속 질문을 사용자에게 전송할 수 있다. (예컨대, 사용자의 상태가 어떤지에 관한 질의, 통증 레벨들에 관한 질의, 혈당 레벨을 측정하기 위한 촉구).
추가의 실시 형태들
본 발명의 다른 실시 형태에서, 추적 및 프로세싱 서브시스템은 음식 섭취 검출 서브시스템으로부터의 임의의 신호와는 독립적으로 활성화 및/또는 비활성화될 수 있다. 소정 파라미터들이 음식 섭취 검출 서브시스템으로부터의 임의의 신호들과 독립적으로 추적되고/되거나 프로세싱될 수 있는 반면, 다른 파라미터들의 추적 및/또는 프로세싱은 음식 섭취 이벤트 검출 서브시스템으로부터 신호를 수신할 때에만 개시될 수 있다는 것이 또한 가능하다.
센서 입력들은 음식 섭취 이벤트 검출 서브시스템으로 전송된 입력들과 동일하거나 유사할 수 있다. 대안적으로, 상이한 및/또는 추가의 센서 입력들이 수집될 수 있다. 센서들은 가속도계들, 자이로스코프들, 자력계들, 이미지 센서들, 카메라들, 광학 센서들, 근접 센서들, 압력 센서들, 냄새 센서들, 가스 센서들, GPS(Global Positioning Systems) 회로, 마이크로폰들, 갈바닉 피부 반응 센서들, 온도계들, 주변광 센서들, UV 센서들, 근전도(electromyographic)("EMG") 전위 검출을 위한 전극들, 생체 임피던스 센서들, 분광계들, 포도당 센서들, 터치스크린 또는 용량성 센서들을 포함할 수 있지만, 이들로 제한되지 않는다. 센서 데이터의 예들에는 센서 유형에 따라 모션 데이터, 온도, 심박수, 펄스, 갈바닉 피부 응답, 혈액 또는 신체 화학, 오디오 또는 비디오 기록 및 다른 센서 데이터가 포함된다. 센서 입력들은 무선으로 또는 유선으로, 아날로그 또는 디지털 형태로, 게이팅 및/또는 클럭킹 회로들에 의해 매개되거나 직접 제공되어 프로세서에 통신될 수 있다.
추적 및 프로세싱 서브시스템에 의해 사용되는 프로세싱 방법들은 데이터 조작, 대수 계산, 지오-태깅(geo-tagging), 통계 컴퓨팅, 기계 학습, 컴퓨터 비전, 음성 인식, 패턴 인식, 압축 및 필터링을 포함할 수 있지만, 이들로 제한되지 않는다.
수집된 데이터는 선택적으로 데이터 저장 유닛에 일시적으로 또는 영구적으로 저장될 수 있다. 추적 및 프로세싱 서브시스템은 데이터 저장 유닛에 대한 인터페이스를 사용하여 데이터 저장 유닛에 데이터 또는 다른 정보를 배치하고 데이터 저장 유닛으로부터 데이터 또는 다른 정보를 검색할 수 있다.
본 발명의 바람직한 실시 형태에서, 데이터의 수집, 프로세싱 및 추적은 자율적으로 일어나며 임의의 특별한 사용자 개입을 요구하지 않는다. 추적된 파라미터들은 위치, 주변의 온도, 주변광, 주변 소리, 생체측정 정보, 활동 레벨들, 음식의 이미지 캡처들, 음식 명칭들 및 설명들, 섭취 분량들, 수분 섭취, 칼로리 및 영양소 정보, 한 입(mouthful)들의 횟수들, 베어먹기들의 횟수들, 홀짝마시기들의 횟수들, 연속적인 베어먹기들 또는 홀짝마시기들 사이의 지속시간, 및 음식 섭취 이벤트들의 지속시간을 포함할 수 있지만, 이들로 제한되지 않는다. 추적된 파라미터들은 또한, 각각의 베어먹기 또는 홀짝마시기에 대해, 사용자의 손, 팔 및/또는 식기가 사용자의 입에 가까이 있는 지속시간, 삼키기 전에 베어먹기 또는 홀짝마시기의 내용물이 사용자의 입 안에 머무르는 지속시간을 포함할 수 있다. 방법들은 어떤 센서 데이터가 이용가능한지에 기초하여 달라질 수 있다.
본 발명의 다른 실시 형태들에서, 예를 들어 더 높은 정확도를 달성하거나 추가 세부사항을 입력하기 위해 일부 사용자 개입이 필요하거나 바람직할 수 있다. 사용자 개입들은, 디바이스 또는 디바이스의 특정 기능을 활성화하는 것, 디바이스를 제위치에 유지시키는 것, 사진들을 촬영하는 것, 음성 주석(annotation)들을 추가하는 것, 비디오를 녹화하는 것, 교정들 또는 조정들을 행하는 것, 피드백을 제공하는 것, 데이터 입력을 행하는 것, 음식에 대해 또는 음식 샘플들에 대해 측정치들을 취하는 것을 포함할 수 있지만, 이들로 제한되지 않는다. 측정치들은 예를 들어, 음식 항목들의 하나 이상의 분광 사진들을 획득하는 것과 같은 비파괴 기법, 또는 음식으로부터 채취된 샘플을 필요로 할 수 있는 화학 방법들을 포함할 수 있지만, 이들로 제한되지 않는다.
추적 및 프로세싱 서브시스템(103)에 의한 센서 데이터 및 사용자 입력들의 프로세싱은 보통 실시간 또는 근실시간으로 일어난다. 예를 들어, 전력을 절약하거나 소정 하드웨어 제한들을 해결하기 위해 일부 지연들이 있을 수 있지만, 일부 실시 형태들에서, 프로세싱은 음식 섭취 이벤트 동안 발생하거나, 또는 음식 섭취 이벤트 외에서 추적하는 경우라면, 센서 또는 사용자 입력들이 수신된 시간 즈음해서 발생한다.
소정 구현예들에서 또는 소정 상황들 하에서, 프로세싱의 일부 또는 전부를 수행하는 데 필요한 프로세싱 유닛으로의 실시간 또는 근실시간 액세스가 없을 수 있다. 예를 들어, 이는 전력 소비 또는 접속성 제약들에 기인할 수 있다. 다른 동기들 또는 이유들이 또한 가능하다. 그런 경우에, 입력들 및/또는 부분적으로 프로세싱된 데이터는 나중에 프로세싱 유닛으로의 액세스가 이용가능하게 될 때까지 로컬로 저장될 수 있다.
본 발명의 하나의 특정 실시 형태에서, 사람의 팔, 손 또는 손목의 움직임을 추적하는 센서 신호들이 추적 및 프로세싱 서브시스템(103)으로 전송될 수 있다. 추적 및 프로세싱 서브시스템(103)은 그러한 신호들을 프로세싱하고 분석하여 음식의 베어먹기 또는 액체의 홀짝마시기가 상기 사람에 의해 섭취되었거나 또는 섭취되었을 가능성이 있다고 식별할 수 있다. 추적 및 프로세싱 서브시스템(103)은 또한 그러한 신호들을 프로세싱하고 분석하여 예를 들어, 베어먹기들 또는 홀짝마시기들 사이의 시간 간격, 손에서 입으로의 움직임 속도 등과 같은 섭식 거동의 다른 양태들을 식별하고/하거나 정량화할 수 있다. 추적 및 프로세싱 서브시스템(103)은 또한 그러한 신호들을 프로세싱하고 분석하여 예를 들어, 사람이 포크 또는 스푼으로 섭식하고 있는지, 유리잔 또는 캔으로부터 음용하고 있는지, 또는 임의의 식기들을 사용하지 않고 음식을 섭취하고 있는지 여부와 같은 섭식 방법의 소정 양태들을 식별할 수 있다.
특정 예에서, 착용자가 베어먹기를 행할 때 섭식 식기 또는 손을 입에 가져올 때 그 또는 그녀의 손목을 하나의 방향으로 회전시키지만, 액체를 홀짝마시기할 때 다른 방향으로 회전시키는 것일 수 있다. 착용자가 자신의 손목을 입으로 이동시키거나 또는 입으로부터 멀리 이동시킬 때 착용자의 손목의 회전량, 및 손목을 더 높은 회전 각도로 유지하는 지속시간은 또한 음용 제스처 대 섭식 제스처에 대해 상이할 수 있다. 다른 메트릭들이 음용 제스처들로부터 섭식 제스처들을 구별하거나 섭식 방법들에서의 차이들을 구별하는 데 사용될 수 있다. 다수의 메트릭들의 조합이 또한 사용될 수 있다. 음용 제스처들로부터 섭식 제스처들을 구별하거나 섭식 방법들에서의 차이들을 구별하는 데 사용될 수 있는 메트릭들의 다른 예들은, 제스처의 시작 또는 대략적인 시작으로부터 손이 입에 도달하는 시간 또는 대략적인 시간까지의 롤(roll)의 각도의 변화, 손이 입에 가까이 있는 시간 또는 대략적인 시간으로부터 제스처의 종료 또는 대략적인 종료까지의 롤의 각도의 변화, 손이 입에 가까이 있는 때의 지속시간 동안, 또는 손이 입에 가까이 있는 때를 중심으로 하는 지속시간 동안, 또는 손이 입에 가까이 있는 때를 중심으로 하는 것은 아닐 수 있지만 손이 입에 가장 가까이 있는 시간을 포함하는 지속시간 동안의 하나 이상의 축들에 걸친 가속도계 또는 자이로스코프 판독치의 변동, 손이 입에 가까이 있는 때의 지속시간 동안, 또는 손이 입에 가장 가까이 있는 때를 중심으로 하는 지속시간 동안, 또는 손이 입에 가장 가까이 있는 때를 중심으로 하는 것은 아닐 수 있지만 손이 입에 가장 가까이 있는 시간을 포함하는 지속시간 동안의 가속도계 판독치들의 크기의 변동, 손이 입에 가까이 있는 때의 지속시간 동안, 또는 손이 입에 가장 가까이 있는 때를 중심으로 하는 지속시간 동안, 또는 손이 입에 가장 가까이 있는 때를 중심으로 하는 것은 아닐 수 있지만 손이 입에 가장 가까이 있는 시간을 포함하는 지속시간 동안의 가속도계 판독치들의 크기의 최대값을 포함하지만, 이들로 제한되지 않는다. 가속도계 판독치의 크기는 각각의 직교 방향에서의 가속도의 제곱근으로서 정의될 수 있다(예컨대, x, y, 및 z 방향들에서의 가속도를 감지하고, SQRT(ax2+ay2+az2)를 계산한다).
예를 들어, 입에 대한 손의 위치는 피치 또는 착용된 디바이스를 모니터링하고 그곳으로부터 착용자의 팔의 피치를 모니터링함으로써 결정될 수 있다. 피치의 피크에 대응하는 시간은 손이 입에 가장 가까이 있는 시간의 순간으로서 사용될 수 있다. 예를 들어, 피치가 상승하기 시작하는 시간은 제스처의 시작 시간으로서 사용될 수 있다. 예를 들어, 피치가 하강하기를 멈추는 시간은 제스처의 종료 시간으로서 사용될 수 있다.
가장 가까운 입 위치, 움직임의 시작 및 움직임의 종료에 대한 다른 정의들이 또한 가능하다. 예를 들어, 팔 또는 손이 입에 가장 가까이 있는 시간을 결정하기 위해 롤이 방향을 변화하는 시간이 대신 사용될 수 있다. 입을 향한 움직임의 시작 시간을 결정하기 위해 롤이 소정 방향에서 또는 소정 속도에서 변화하는 것을 멈추는 시간이 대신 사용될 수 있다.
추적 및 프로세싱 서브시스템은 또한 그러한 신호들을 프로세싱하고 분석하여 다른 센서들을 활성화하기에 적절한 또는 바람직한 시간들을 결정할 수 있다. 하나의 특정 예에서, 추적 및 프로세싱 서브시스템은 그러한 신호들을 프로세싱하고 분석하여 음식의 하나 이상의 정지 이미지들 또는 움직이는 이미지들을 촬영하도록 하나 이상의 카메라들을 활성화하기에 적절한 또는 바람직한 시간을 결정할 수 있다. 카메라를 활성화하고/하거나 이미지 캡처 프로세스를 자동화하기 위해, 팔, 손, 손가락 또는 손목 움직임 및/또는 카메라의 배향 및 위치를 추적하는 센서들을 레버리징함으로써, 이미지 캡처 및 이미지 분석 시스템의 복잡성, 능력들 및 전력 소모가 크게 감소될 수 있으며, 소정 경우들에서 더 양호한 정확도가 달성될 수 있다. 이는 또한 이미지 캡처의 타이밍을 보다 정밀하게 제어하고 음식에 포커싱되는 카메라들에 그것을 일치시키는 것이 이제 가능해짐에 따라, 임의의 프라이버시 침입 문제들을 상당히 감소시킨다.
예를 들어, 프로세서는 가속도계, 자이로스코프, 자력계 등으로부터의 모션 센서 입력들을 분석하여, 아마도 카메라의 뷰 영역이 촬영될 음식을 에워싸는 것으로 프로세서가 결정하는 때에 기초하여 카메라를 활성화하고 사진을 캡처할 최적의 시간을 식별하고 그 시간에 카메라를 트리거할 수 있다. 일례에서, 프로세서는 섭식 이벤트의 시작을 결정하고, 착용자에게 섭식되고 있는 음식의 이미지를 캡처하도록 신호하며, 또한 섭식 이벤트의 종료를 결정하고 다시 착용자에게 음식 또는 접시에 남은 음식 등의 이미지를 캡처하도록 신호한다. 그러한 이미지들은 섭취량들을 결정하도록 그리고/또는 프로세서에 의해 이미 결정된 섭취량들을 확인하도록 프로세싱될 수 있다. 일부 실시 형태들에서, 이미지 프로세싱은 프로세서가 사용하는 기계 학습을 훈련시키기 위한 피드백의 일부로서 사용될 수 있다.
일부 실시 형태들에서, 시스템은 착용자의 팔 또는 손의 움직임을 추적하는 센서들을 사용할 수 있고, 시스템이 움직임 감지로부터 팔 또는 손이 입에 가까이 있음을 결정하는 경우에만 카메라를 활성화할 수 있다. 다른 예에서, 시스템은 입을 향한 움직임의 시작과 팔 또는 손이 입에 가장 가까이 있는 시간 사이의 어느 시점에서 카메라를 활성화할 수 있다. 또 다른 예에서, 시스템은 팔 또는 손이 입에 가장 가까이 있는 시간과 입으로부터 멀어지는 움직임의 종료 사이의 어느 시점에서 카메라를 활성화할 수 있다.
전술된 바와 같이, 입에 대한 손의 위치는 피치, 및 입을 향한 움직임의 시작 시간을 나타내는 상승 피치 및 종료 시간을 나타내는 하강 피치를 모니터링함으로써 결정될 수 있다. 가장 가까운 입 위치, 움직임의 시작 및 움직임의 종료에 대한 다른 정의들이 또한 가능하다.
예를 들어, 입에 대한 손의 위치는 피치 또는 착용된 디바이스를 모니터링하고 그곳으로부터 착용자의 팔의 피치를 모니터링함으로써 결정될 수 있다. 피치의 피크에 대응하는 시간은 손이 입에 가장 가까이 있는 시간의 순간으로서 사용될 수 있다. 예를 들어, 피치가 상승하기 시작하는 시간은 제스처의 시작 시간으로서 사용될 수 있다. 예를 들어, 피치가 하강하기를 멈추는 시간은 제스처의 종료 시간으로서 사용될 수 있다.
사용자의 팔, 손 또는 손목의 움직임을 추적하는 센서 신호들의 프로세싱 및 분석은, 중복을 구축하고 식이요법 추적 및 피드백 시스템의 강건성을 개선하기 위해 제안된 바와 같이 음식이 입에 들어갈 때의 그의 이미지 캡처와 같은 다른 방법들과 조합될 수 있다. 예를 들어, 사용자의 팔, 손 또는 손목 움직임의 프로세싱 및 분석에 의해, 베어먹기 횟수 및 베어먹기 패턴들과 관련된 정보는, 카메라가 가려지거나 조작되는 경우에도 여전히 보존될 것이다.
센서 입력들 중 하나 이상은 하나 이상의 카메라 모듈들로부터 획득되는 정지 이미지 또는 스트리밍 이미지일 수 있다. 그러한 이미지들은 일부 레벨의 프로세싱 및 분석을 필요로 할 수 있다. 프로세싱 및 분석 방법들은, 다른 방법들 중에서도, 예를 들어, 특정 음식들 또는 요리들과 같은 객체들, 또는 예를 들어, 섭취 분량들과 같은 특징들을 식별하기 위한 압축, 삭제, 크기 조정, 필터링, 이미지 편집, 및 컴퓨터 비전 기법들 중 하나 이상의 방법들을 포함할 수 있다.
베어먹기 횟수들과 홀짝마시기 횟수들을 측정하는 것에 추가하여, 프로세서는 베어먹기 및 홀짝마시기 크기들을 결정하기 위해, 카덴스(cadence) 및 지속시간과 같은 세부사항들을 분석할 수 있다. 착용자의 손, 식기 또는 액체 용기가 그의 입에 가까이 있던 시간을 측정하는 것은 "입 근처(near-mouth)" 지속시간을 도출하는 데 사용될 수 있으며, 이는 이어서 베어먹기 또는 홀짝마시기의 추정 크기를 생성하기 위한 입력으로서 사용된다. 홀짝마시기할 때의 손목의 회전량은 수화 추적에 유용할 수 있다.
제스처의 시작과 종료 내에 있는 하나 이상의 시간 세그먼트들에서의 손목의 회전량을 측정하는 것은 또한 베어먹기 또는 홀짝마시기의 크기를 추정하는 데 사용될 수 있다. 예를 들어, 시스템은 제스처의 시작 후 일정 시간으로부터 팔 또는 손이 입에 가장 가까이 있는 시간까지의 손목의 회전량을 측정할 수 있다. 피치의 피크에 대응하는 시간은 손이 입에 가장 가까이 있는 시간의 순간으로서 사용될 수 있다. 예를 들어, 피치가 상승하기 시작하는 시간은 입을 향한 움직임의 시작 시간으로서 사용될 수 있다. 예를 들어, 피치가 하강하기를 멈추는 시간은 입으로부터 멀어지는 움직임의 종료 시간으로서 사용될 수 있다. 가장 가까운 입 위치, 움직임의 시작 및 움직임의 종료에 대한 다른 정의들이 또한 가능하다. 예를 들어, 롤이 방향을 변화하는 시간이 팔 또는 손이 입에 가장 가까이 있는 시간으로서 대신 사용될 수 있다. 롤이 소정 방향에서 또는 소정 속도에서 변화하는 것을 멈추는 시간이 입을 향한 움직임의 시작 시간으로서 사용될 수 있다. 하나 이상의 정지 이미지들 또는 스트리밍 이미지들은, 음식 항목들의 식별, 음식 내용물의 식별, 영양학적 정보의 식별 또는 도출, 섭취 분량들의 추정, 및 소정의 섭식 거동들 및 섭식 패턴들의 추론을 포함하지만 이들로 제한되지 않는 하나 또는 다수의 목적들을 위해 추적 및 프로세싱 서브시스템에 의해 분석되고/되거나 비교될 수 있다.
일례로서, 다른 이미지 조작 기법들과 선택적으로 조합된 컴퓨터 비전 기법들은 음식 카테고리들, 특정 음식 항목들을 식별하고/하거나 섭취 분량들을 추정하는 데 사용될 수 있다. 대안적으로, 이미지들은 메커니컬 터크(Mechanical Turk) 프로세스 또는 다른 크라우드소싱(crowdsourcing) 방법들을 사용하여 수동으로 분석될 수 있다. 일단 음식 카테고리들 및/또는 특정 음식 항목들이 식별되면, 이러한 정보는 하나 이상의 음식/영양 데이터베이스들로부터 영양학적 정보를 검색하는 데 사용될 수 있다.
다른 예로서, 사용자의 섭식 또는 음용의 페이스에 관한 정보가 음식 섭취 이벤트의 과정 동안 상이한 시간들에 캡처된 다수의 이미지들을 분석 및 비교하는 것으로부터 추론될 수 있다. 또 다른 예로서, 선택적으로 다른 센서 입력들과 조합된 이미지들이 핑거 푸드들 또는 간식들로부터 정식으로 하는 식사(sit-down meal)를 구별하는 데 사용될 수 있다. 또 다른 예로서, 음식 섭취 이벤트의 시작 시에 촬영된 하나의 이미지 및 음식 섭취 이벤트의 종료 시에 촬영된 다른 이미지의 분석은 실제로 섭취된 음식의 양에 대한 정보를 제공할 수 있다.
일반적인 경우에, 센서 데이터는, 가능하게는 센서 데이터가 감지되고 있는 사람에 관한 이전의 기록된 데이터 및/또는 메타데이터와 함께, 그 센서 데이터를 분석하는 프로세서에 의해 수용된다. 프로세서는 감지된 제스처들의 시퀀스를 도출하기 위해, 본 명세서에 기술된 것들과 같은 계산들을 수행한다. 감지된 제스처는 감지된 제스처의 발생 시간과 같은, 감지된 제스처에 관한 적절한 데이터와 함께, 본 명세서의 다른 곳에 기술된 제스처들 중 하나일 수 있다. 프로세서는 감지된 제스처들의 시퀀스를 분석하여 섭식 이벤트의 시작과 같은 거동 이벤트의 시작을 결정한다.
섭식 이벤트의 시작의 결정은 감지된 제스처들의 시퀀스에 기초할 수 있지만, 그것은 또한 (아마도 제스처 기반 컨텍스트가 아닌 경우) 단일 이벤트의 검출에 기초할 수 있다. 예를 들어, 시스템이 합리적으로 높은 신뢰도 레벨을 갖고 베어먹기 제스처를 검출하는 경우, 프로세서는 그 개별 제스처의 검출을 섭식 이벤트의 시작으로 간주할 수 있다. 프로세서는 또한 감지된 제스처들의 시퀀스를 분석하여 거동 이벤트의 종료를 결정할 수 있다. 섭식 이벤트의 종료의 결정은 또한 검출된 이벤트들의 부재에 기초할 수 있다. 예를 들어, 주어진 기간 내에 검출되는 베어먹기 제스처들이 없는 경우, 프로세서는 섭식 이벤트가 종료된 것으로 가정할 수 있다.
거동 이벤트의 시작 및 종료를 아는 것은 프로세서가 제스처들을 보다 정확하게 결정할 수 있게 하는데, 그 이유는 본 명세서의 다른 곳에서 기술된 예들과 같이, 그것들이 컨텍스트에서 취해지고/지거나 프로세서가 추가의 센서들을 인에이블하거나, 또는 하나 이상의 센서들 또는 다른 컴포넌트들을 더 높은 성능 상태에 놓을 수 있기 때문이다. 거동 이벤트의 시작 및 종료를 아는 것은 또한, 일부 경우들에서, 소정 거동 이벤트들 외에서는 착용된 디바이스를 더 낮은 전력 모드에 놓는 것이 가능할 수 있기 때문에, 전력 절감을 허용한다. 또한, 가능하게는 과거의 동일한 사용자로부터의 또는 다른 사용자들로부터의 유사한 거동 이벤트들에 관한 이전에 기록된 데이터와 조합된, 이벤트들 내로의 개별 제스처들의 집합은, 프로세서가 거동 이벤트에 관한 의미있는 특성들을 도출할 수 있게 한다. 예를 들어, 아침, 점심, 저녁 식사 동안의 섭식의 페이스가 이러한 방식으로 결정될 수 있다. 다른 예로서, 프로세서가 현재의 거동에 대한 상태를 갖고 그러한 현재 거동이 칫솔질인 경우, 섭식 또는 음용하는 제스처로 보일 수 있는 제스처들은 섭식 또는 음용하는 제스처들로 해석되지 않을 것이고, 따라서, 칫솔질하는 동안의 홀짝마시기를 액체의 섭취인 것으로 해석하지 않을 것이다. 거동 이벤트들은 일반적인 이벤트들(섭식하는 것, 걷는 것, 칫솔질하는 것 등)이거나 또는 더 특이적일 수 있다(스푼으로 섭식하고, 포크로 섭식하고, 유리잔으로 마시고, 캔으로 마시는 것 등)일 수 있다.
포인팅 제스처를 검출하고 이어서, 감지된 사람이 가리키는 객체를 결정하는 것과 같은 간접 제스처를 디코딩하는 것이 가능할 수 있지만, 관심 대상은 그 자체가 검출되는 이벤트의 직접적인 부분이 되는 제스처들이다. 일부 제스처들은 디바이스를 작동시키는 것과 연관된 제스처들과 같은 부수적인 제스처들이며, 이 경우에 부수적인 제스처들은 고려 사항에서 제외될 수 있다.
특정 예에서, 시스템은 일부 신뢰도 레벨을 갖는 섭식 이벤트의 시작을 결정하기 위해 센서들의 일부 세트를 사용하고, 신뢰도 레벨이 임계치보다 높은 경우, 시스템은 추가의 센서들을 활성화한다. 따라서, 가속도계 센서는 높은 신뢰도 레벨을 갖는 섭식 이벤트의 시작을 결정하는 데 사용될 수 있지만, 자이로스코프는 배터리 수명을 절약하기 위해 저전력 모드에 놓인다. 가속도계 단독으로도 거의 확실한 베어먹기 또는 홀짝마시기를 나타내는 제스처(예컨대, 상향 팔 또는 손 움직임 또는 일반적으로 입을 향한 손 또는 팔 움직임), 또는 일반적으로 섭식 이벤트의 시작을 나타내는 제스처를 검출할 수 있다. 일반적으로 섭식 이벤트의 가능한 시작을 나타내는 제1 제스처의 검출 시, 추가의 센서들(예컨대, 자이로스코프 등)이 인에이블될 수 있다. 후속의 베어먹기 또는 홀짝마시기 제스처가 검출되는 경우, 프로세서는 섭식 이벤트의 시작이 발생했으며 더 높은 신뢰도 레벨을 갖는다고 결정한다.
이벤트 검출
거동 이벤트의 시작/종료를 아는 것은 프로세서가 거동 이벤트의 지속시간 동안 하나 이상의 센서 또는 다른 컴포넌트들을 더 높은 성능 상태에 놓게 한다. 예를 들어, 거동 이벤트의 시작이 결정되었을 때, 프로세서는 제스처들을 검출하는 데 사용되는 가속도계 및/또는 자이로스코프 센서들의 샘플링 속도를 증가시킬 수 있다. 다른 예로서, 거동 이벤트의 시작이 결정되었을 때, 프로세서는 레이턴시를 감소시키기 위해 추가 프로세싱을 위해 센서 데이터가 전자 디바이스(219)로 전송되는 업데이트 속도를 증가시킬 수 있다.
도 1을 다시 참조하면, 추적 및 프로세싱 서브시스템에 추가로, 도 1의 시스템은 또한 비-실시간 분석 및 학습 서브시스템(105)을 포함할 수 있다. 비-실시간 분석 및 학습 서브시스템(105)은 다수의 음식 섭취 이벤트들에 걸친 이력 데이터 및/또는 더 큰 모집단으로부터의 데이터와 같은, 수집하는 데 더 오랜 시간이 걸리는 더 큰 데이터 세트들에 대한 분석을 수행할 수 있다. 비-실시간 분석 및 학습 서브시스템(105)에 의해 사용되는 방법들은 데이터 조작, 대수 계산, 지오-태깅, 통계 컴퓨팅, 기계 학습 및 데이터 분석, 컴퓨터 비전, 음성 인식, 패턴 인식, 압축 및 필터링을 포함할 수 있지만, 이들로 제한되지 않는다.
비-실시간 분석 및 학습 서브시스템(105)에 의해 사용되는 방법들은, 특히 더 긴 기간에 걸쳐 수집된 데이터의 더 큰 세트들에 대한 데이터 분석을 포함할 수 있다. 일례로서, 하나 이상의 데이터 입력들이 기계 학습 모델을 훈련시키기 위해 더 긴 기간에 걸쳐 그리고 다수의 음식 섭취 이벤트들에 걸쳐 캡처될 수 있다. 그러한 데이터 입력들은 이하 훈련 데이터 세트들로 지칭된다. 훈련 데이터 세트가 수집되는 기간 - 이후로 훈련 기간으로 지칭됨 -은 수집된 데이터가 사람의 전형적인 음식 섭취를 나타내도록 충분히 긴 것이 보통 바람직하다.
훈련 데이터 세트는, 특히, 하기의 음식 섭취 관련 정보 즉, 음식 섭취 이벤트당 베어먹기들의 수, 총 베어먹기 횟수, 음식 섭취 이벤트의 지속시간, 음식 섭취의 페이스 또는 후속 횟수들 사이의 시간, 액체로부터 고형 음식을 구분하거나 간식이나 핑거 푸드로부터 정식으로 하는 식사들을 구분하는 것과 같은 음식 섭취 내용물의 분류 중 하나 이상을 포함할 수 있다. 이러한 정보는 하나 이상의 센서 입력들로부터 도출될 수 있다.
훈련 데이터 세트는 또한 훈련 기간 내의 음식 섭취 이벤트들 각각의 동안 섭취되었던 각각의 또는 대부분의 아이템들의 이미지들을 포함할 수 있다. 이미지들은 컴퓨터 비전 및/또는 다른 방법들을 사용하여 프로세싱되어, 음식 카테고리들, 특정 음식 항목들을 식별하고 섭취 분량들을 추정할 수 있다. 이어서, 그러한 정보는 탄수화물, 지방, 단백질 등의 양들과 같은 음식 항목들의 칼로리의 수치 및/또는 다량-영양소 함량을 정량화하는 데 사용될 수 있다.
음식이 그 전체가 섭취되지 않은 경우, 음식 섭취 이벤트의 시작 시에 음식 항목의 하나의 사진을 촬영하고 음식 섭취 이벤트의 종료 시에 하나의 사진을 촬영하여 음식의 실제로 섭취된 부분을 도출하는 것이 바람직할 수 있다. 수동 사용자 입력을 포함하지만 이들로 제한되지 않는 다른 방법들이 훈련 데이터 세트 내의 데이터에 섭취 분량 정보를 추가하는 데 사용될 수 있다.
훈련 데이터 세트는 또한 음식 섭취 및/또는 섭식 거동 및 패턴들을 직접 정량화하지는 않지만, 간접적으로 정보를 제공할 수 있고, 음식 섭취 이벤트들 및/또는 섭식 거동과 상관될 수 있고/있거나 음식 섭취 이벤트의 발생을 위해 트리거될 수 있거나, 또는 섭식 습관, 패턴들 및 거동에 영향을 미칠 수 있는 메타-데이터를 포함할 수 있다. 그러한 메타-데이터는, 특히, 성별, 연령, 체중, 사회-경제적 상태, 날짜, 시간, 요일과 같은 음식 섭취 이벤트에 관한 시간 정보, 음식 섭취 이벤트의 위치에 관한 정보, 생명 징후 정보, 수화 레벨 정보, 및 예를 들어, 굶주림, 스트레스, 수면, 피로 레벨, 중독, 질병, 사회적 압력, 및 운동과 같은 다른 신체적, 정신적 또는 환경 조건들 중 하나 이상을 포함할 수 있다.
하나 이상의 훈련 데이터 세트들은 하나 이상의 기계 학습 모델들을 훈련시키는 데 사용될 수 있고, 이들은 이어서 음식 섭취 이벤트 및 섭식 패턴 및 거동의 소정 양태를 예측하기 위해 식이요법 추적 및 피드백 시스템의 하나 이상의 컴포넌트들에 의해 사용될 수 있다.
일례에서, 모델은 음식 섭취 이벤트의 발생에 영향을 미칠 수 있는 하나 이상의 메타-데이터의 추적에 기초하여 음식 섭취 이벤트의 발생을 예측하도록 훈련될 수 있다. 섭취될 가능성이 있는 음식물의 유형 및/또는 양, 사람이 섭식할 가능성이 있는 페이스, 음식 섭취 이벤트의 지속시간, 및/또는 사람이 음식을 섭취하는 것으로부터 가질 만족도의 레벨과 같은, 거의 확실한 음식 섭취 이벤트와 관련된 다른 특성들이 또한 예측될 수 있다. 메타-데이터는, 특히, 성별, 연령, 체중, 사회-경제적 상태, 날짜, 시간, 요일과 같은 음식 섭취 이벤트에 관한 시간 정보, 음식 섭취 이벤트의 위치에 관한 정보, 생명 징후 정보, 수화 레벨 정보, 및 예를 들어, 굶주림, 스트레스, 수면, 피로 레벨, 중독, 질병, 사회적 압력, 및 운동과 같은 다른 신체적, 정신적 또는 환경 조건들 중 하나 이상을 포함할 수 있다.
다른 예에서, 단지 제한된 음식 섭취 센서 입력들 또는 이미지들이 이용가능하거나 이용가능하지 않은 경우에도, 기계 학습 및 데이터 분석이 칼로리 또는 다른 다량-영양소 섭취를 추정하기 위해 훈련 기간 외에 사용될 수 있는 메트릭들을 도출하기 위해 적용될 수 있다. 메타-데이터는 추가의 컨텍스트 정보에 기초하여 그러한 메트릭들의 값을 추가로 맞추기 위해 사용될 수 있다. 메타-데이터는, 특히, 성별, 연령, 체중, 사회-경제적 상태, 날짜, 시간, 요일과 같은 음식 섭취 이벤트에 관한 시간 정보, 음식 섭취 이벤트의 위치에 관한 정보, 일반 음식 카테고리에 관한 정보, 생명 징후 정보, 수화 레벨 정보, 캘린더 이벤트 정보, 전화 통화 로그들, 이메일 로그들, 및 예를 들어, 굶주림, 스트레스, 수면, 피로 레벨, 중독, 질병, 사회적 압력, 및 운동과 같은 다른 신체적, 정신적 또는 환경 조건들 중 하나 이상을 포함할 수 있다.
그러한 메트릭의 일례는 "베어먹기 당 칼로리"일 것이다. 베어먹기 횟수를 이미지 프로세싱 및 분석으로부터 획득된 칼로리 정보와 조합함으로써, "베어먹기 당 칼로리" 메트릭이 하나 이상의 훈련 데이터 세트들로부터 확립될 수 있다. 이어서, 이러한 메트릭은, 이미지들이 이용가능하지 않거나 단지 제한된 이미지들만이 이용가능하더라도, 베어먹기 횟수에만 기초하여 칼로리 섭취를 추정하기 위해 훈련 기간 외에 사용될 수 있다.
다른 메트릭은 "전형적 베어먹기 크기"일 수 있다. 베어먹기 횟수를 이미지 프로세싱 및 분석으로부터 획득된 섭취 분량 정보와 조합함으로써, "전형적 베어먹기 크기" 메트릭이 하나 이상의 훈련 데이터 세트들로부터 확립될 수 있다. 이어서, 이러한 메트릭은, 이미지들이 이용가능하지 않거나 단지 제한된 이미지들만이 이용가능하더라도, 베어먹기 횟수에만 기초하여 섭취 분량를 추정하기 위해 훈련 기간 외에 사용될 수 있다. 이는 또한 베어먹기 횟수 및 전형적 베어먹기 크기에 기초하여 보고된 음식 섭취와 측정된 음식 섭취 사이의 불일치를 식별하는 데 사용될 수 있다. 불일치는 사용자가 자신이 섭취하고 있는 모든 음식 항목들을 보고하지 않는다는 것을 나타낼 수 있다. 또는, 대안적으로, 그것은 사용자가 자신이 보고한 모든 음식을 섭취하지 않았음을 나타낼 수 있다.
베어먹기 액션들은 가속도계 및 자이로스코프 센서들을 판독하는 프로세서에 의해, 또는 더 일반적으로 착용자의 신체 부분들의 움직임을 감지하는 모션 센서들을 판독함으로써 결정될 수 있다. 이어서, 베어먹기들을 계수함으로써, 베어먹기들의 총 횟수가 추론될 수 있다. 또한, 베어먹기들의 시간 시퀀스는 프로세서가 섭식 패턴을 추론하는 데 사용될 수 있다.
비-실시간 분석 및 학습 서브시스템(105)은 또한 이력 데이터의 더 큰 세트들을 추적하고, 분석하며 시각화하도록 돕고, 특정의 고정된 또는 구성되는 목표들에 대한 진행 상황을 추적하고, 그러한 목표들을 확립하는 데 도움을 주도록 사용될 수 있다. 그것은 또한 기록들, 스트릭(streak)들을 식별하고 추적하고, 성과를 친구 또는 더 큰, 선택적으로 익명의 모집단들의 성과와 비교하는 데 사용될 수 있다.
또한, 소정 실시 형태들에서, 비-실시간 분석 및 학습 서브시스템(105)은, 다른 데이터 조작 및 프로세싱 기법 중에서도, 소정의 건강 문제들, 질병들 및 다른 의학적 상태들이 임박했거나 그로 발전될 가능성을 예측하기 위해 기계 학습 및 데이터 분석 기법을 적용할 수 있다. 이 경우에, 훈련은 전형적으로 더 긴 기간에 걸쳐 그리고 더 큰 모집단에 걸쳐 캡처된 이력 음식 섭취 및/또는 섭식 거동 데이터를 필요로 한다. 또한, 훈련 데이터 세트들은 연령, 체중, 성별, 지리적 정보, 사회-경제적 상태, 생명 징후, 의료 기록 정보, 캘린더 정보, 전화 통화 로그들, 이메일 로그들 및/또는 다른 정보와 같은 추가의 메타-데이터를 포함하는 것이 바람직하다. 결과적으로 예측은 건강 결과를 조정하고/하거나 예를 들어 당뇨병과 같은 소정 질병들의 발병을 예방 또는 지연시키도록 돕는 데 사용될 수 있다.
비-실시간 및 학습 서브시스템(105)은 또한 사용자의 식이요법 및 음식 선호도, 사용자의 식사 선호도, 사용자의 식당 선호도, 사용자의 식당 선호도, 및 사용자의 음식 섭취 중 하나 이상을 포함하지만 이들로 제한되지 않는 다른 양태들에 관한 더 많은 정보를 학습 및 추출하는 데 사용될 수 있다. 그러한 정보는 음식 섭취 추적 및 피드백 시스템에 의해 사용자에게 특정 추천들을 주기 위해 사용될 수 있다. 본 명세서에 기술된 음식 섭취 추적 및 피드백 시스템은 또한 식당 예약 시스템들, 온라인 음식 또는 식사 주문 시스템들 등과 같은 다른 시스템들에 인터페이스하거나 그와 통합되어 음식 또는 식사 주문 또는 예약들의 프로세스를 용이하게 하거나, 간소화하거나 또는 자동화할 수 있다.
비-실시간 및 학습 서브시스템(105)은 또한 더 긴 기간들 동안 음식 섭취를 모니터링하고 음식 섭취 활동이 없는 임의의 비정상적으로 긴 에피소드들을 검출하는 데 사용될 수 있다. 그러한 에피소드들은, 특히, 사용자가 디바이스 사용을 중단했다는 것, 의도적이거나 의도하지 않은 디바이스 조작, 디바이스의 기능적 결함, 또는 예를 들어, 사용자의 낙상 또는 사망 또는 의식 불명과 같은 의료 상황을 나타낼 수 있다. 음식 섭취 활동이 없는 비정상적으로 긴 에피소드들의 검출은 사용자, 그의 보호자들 중 하나 이상, 모니터링 시스템, 응급 대응 시스템, 또는 그러한 에피소드들의 발생에 대해 통지되는데 직간접적으로 이해관계가 있을 수 있는 제3자에게 통지 또는 경보를 전송하는 데 사용될 수 있다.
도 1에 도시된 시스템의 다른 컴포넌트는 피드백 서브시스템(106)이다. 피드백 서브시스템(106)은 하나 이상의 피드백 신호를 사용자에게 또는 그러한 피드백 정보가 관련될 수 있는 임의의 다른 사람에게 제공한다. 피드백 서브시스템(106)은 특정 음식 섭취 이벤트와 관련된 실시간 또는 근실시간 피드백을 제공할 수 있다. 실시간 또는 근실시간 피드백은 일반적으로 음식 섭취 이벤트의 시간 즈음해서 주어진 피드백을 지칭한다. 이는 음식 섭취 이벤트 동안 주어진 피드백, 음식 섭취 이벤트의 시작 앞에 주어진 피드백, 및 음식 섭취 이벤트의 종료 후 어느 시점에 주어진 피드백을 포함할 수 있다. 대안적으로 또는 추가적으로, 피드백 서브시스템은 특정 음식 섭취 이벤트에 직접 상관되지 않는 피드백을 사용자에게 제공할 수 있다.
피드백 서브시스템에 의해 사용되는 피드백 방법은 사용자에게 힘들, 진동들 및/또는 모션을 인가하는 햅틱 인터페이스가 사용되는 햅틱 피드백, 스피커 또는 임의의 다른 오디오 인터페이스들이 사용될 수 있는 오디오 피드백, 또는 디스플레이, 하나 이상의 LED들 및/또는 투영된 광 패턴들이 사용될 수 있는 시각적 피드백을 포함할 수 있지만, 이들로 제한되지 않는다. 피드백 서브시스템은 단지 하나의 피드백 방법 또는 하나 초과의 피드백 방법의 조합을 사용할 수 있다.
피드백 서브시스템은 하드웨어로, 소프트웨어로, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 피드백 서브시스템은 음식 섭취 이벤트 검출 서브시스템(101) 및/또는 추적 및 프로세싱 서브시스템(103)과 동일한 디바이스 상에서 구현될 수 있다. 대안적으로, 피드백 서브시스템은 음식 섭취 이벤트 검출 서브시스템(101) 및/또는 추적 및 프로세싱 서브시스템(103)과는 별개인 디바이스에서 구현될 수 있다. 피드백 서브시스템(106)은 또한 다수의 디바이스들에 걸쳐 분산될 수 있는데, 이들 디바이스들 중 일부는 선택적으로 도 1에 도시된 다른 서브시스템들 중 일부의 부분들을 수용할 수 있다.
일 실시 형태에서, 피드백 서브시스템(106)은 사용자에 피드백을 제공하여 음식 섭취 이벤트의 실제의, 거의 확실한 또는 임박한 시작을 신호할 수 있다. 피드백 서브시스템(106)은 또한 해당 순간의 자각을 개선하고/하거나 주의깊은 섭식을 권장하기 위해, 음식 섭취 이벤트가 일어나고 있다는 사실을 사용자에게 리마인드하기 위해 음식 섭취 이벤트 동안 사용자에게 피드백을 제공할 수 있다. 피드백 서브시스템은 또한 권장되는 섭취 분량들 및/또는 음식 내용물에 대한 안내를 제공할 수 있거나, 섭식하는 것에 대한 대안적인 제안들을 제공할 수 있다. 대안적인 제안들은 디폴트 제안들일 수 있거나, 상이한 시간에 사용자에 의해 프로그래밍되었거나 구성된 맞춤형 제안들일 수 있다.
피드백 신호들은 착용가능한 디바이스 상의 주기적인 햅틱 피드백 신호들, 사운드 알람, 디스플레이 메시지들, 또는 그 또는 그녀의 모바일 폰 디스플레이로 푸시되는 하나 이상의 통지들을 포함할 수 있지만, 이들로 제한되지 않는다.
음식 섭취 이벤트의 시작을 나타내는 신호를 수신할 때, 또는 그 후의 어느 시점에, 사용자는 음식 섭취 이벤트가 실제로 일어나고 있음을 확인할 수 있다. 확인은, 예를 들어, 이벤트의 로깅을 트리거하기 위해 사용될 수 있거나, 시스템으로 하여금 추가의 정보를 사용자에게 촉구하게 할 수 있다.
본 발명의 다른 실시 형태에서, 피드백 서브시스템은 추적되는 파라미터들 중 하나 이상의 파라미터들의 소정 임계치에 도달한 경우에만 음식 섭취 이벤트 동안 피드백을 개시한다. 일례로서, 후속의 베어먹기들 또는 홀짝마시기들 사이의 시간이 추적되고 있는 경우, 가능하게는 다수의 베어먹기들 또는 홀짝마시기들에 걸쳐 평균화된 시간이 고정된 또는 프로그래밍된 값보다 짧은 경우 사용자가 속도를 늦추도록 권장하기 위해 사용자로의 피드백이 개시될 수 있다. 유사하게, 고정된 또는 프로그래밍된 베어먹기들 또는 홀짝마시기들 횟수가 초과되는 경우에 피드백이 개시될 수 있다.
피드백이 음식 섭취 이벤트 동안에 제공되는 피드백 서브시스템들에서, 피드백 서브시스템에 의해 제공되는 피드백은 통상적으로 그 특정 음식 섭취 이벤트의 세부사항들과 관련된다. 그러나, 이전 음식 섭취 이벤트들, 생체측정 정보, 정신 건강 정보, 활동 또는 피트니스 레벨 정보, 및 환경 정보와 관련된 정보를 포함하지만 이들로 제한되지 않는 다른 정보가 또한 피드백 서브시스템에 의해 제공될 수 있다.
본 발명의 또 다른 실시 형태에서, 피드백 서브시스템(106)은 특정 음식 섭취 이벤트 외에서 하나 이상의 피드백 신호들을 전송할 수 있다. 그러한 실시 형태의 일례에서, 주위 온도 및/또는 수화 요건들에 영향을 미칠 수 있거나 달리 수화 레벨들을 직접적으로 또는 간접적으로 측정할 수 있는 다른 파라미터들이 추적될 수 있다. 그러한 추적은 연속적으로 또는 주기적으로, 또는 그렇지 않으면 특정 음식 섭취 이벤트와 무관하게 일어날 수 있다. 하나 이상의 그러한 파라미터들이 고정된 또는 프로그래밍된 임계치를 초과하는 경우, 예를 들어, 그/그녀에게 수화를 개선하기 위한 조치들을 취하도록 권장하기 위해 피드백 신호가 전송될 수 있다. 피드백 서브시스템(106)은 그의 입력들을 평가할 수 있고, 피드백을 전송하기 위한 바람직한 시간이 음식 섭취 이벤트 동안이 아니라 음식 섭취 이벤트가 종료된 후라고 결정할 수 있다. 피드백 서브시스템(106)에 대한 입력들 중 일부는 음식 섭취 이벤트로부터의 것일 수 있지만, 일부는 음식 섭취 이벤트의 결과로서 직접 측정되지 않는 다른 모니터링으로부터의 것일 수 있다.
피드백 신호를 전송하기 위한 결정은 이전 단락에 기술된 실시 형태에서와 같이 임의의 음식 섭취 추적과는 독립적일 수 있다. 대안적으로, 그러한 결정은 하나 또는 다수의 음식 섭취 이벤트들에 걸쳐 음식 섭취 추적에 상관될 수 있다. 예를 들어, 본 발명의 일 실시 형태에서, 전술된 시스템은 또한 사람의 수분의 섭취를 직접적으로 또는 간접적으로 추적하도록 변경될 수 있다. 상이한 주위 온도 범위들에 대해, 상기 실시 형태는 미리 프로그래밍된 수분 섭취 요건 임계치들을 가질 수 있다. 측정된 주위 온도에 대해, 가능하게는 소정 기간에 걸쳐 추적되고 축적되는 사람의 수분의 섭취가 상기 주위 온도에 대한 임계치를 충족시키지 않는 경우, 시스템은 상기 사람에게 자신의 수분 섭취의 레벨을 증가시키도록 권고하기 위해 피드백 신호를 발행할 수 있다.
유사하게, 음식 섭취와 관련된 피드백 신호들 또는 추천들은 다른 파라미터들 중에서도 활동 레벨들, 수면 레벨들, 사회적 맥락 또는 상황들, 건강 또는 질환 진단들, 및 건강 또는 질병 모니터링의 추적에 상관될 수 있다.
본 발명의 또 다른 실시 형태에서, 피드백 서브시스템(106)은, 그것이 음식 섭취 이벤트가 시작되었거나, 임박하거나, 가능성 있는 것으로 검출했을 때 피드백 신호를 개시할 수 있다. 그러한 실시 형태에서, 예를 들어, 피드백은 사용자에게 음식 섭취 이벤트 또는 자동으로 추적될 수 없는 음식 섭취 이벤트의 소정 양태들을 로깅하도록 리마인드하거나, 사람의 음식 섭취 거동 및/또는 소비되는 음식의 양이나 내용물에 영향을 미치거나 조정하기 위한 큐(cue)로 사용될 수 있다.
피드백 서브시스템(106)에 의해 제공되는 정보는 섭식 패턴들 또는 습관들과 관련된 정보, 특정 섭식가능한 물질들과 관련된 정보, 예컨대, 예를 들어 음식 항목들 또는 요리들의 명칭, 설명, 영양소 함량, 리뷰들, 등급들 및/또는 이미지들, 음식 섭취에 대한 트리거들과 관련된 정보, 섭식 패턴들 또는 습관들에 대한 트리거들과 관련된 정보, 생체측정 또는 환경 정보, 또는 사람의 일반적인 음식 섭취 거동, 건강 및/또는 웰니스에 직접적으로 또는 간접적으로 관련될 수 있는 다른 정보를 포함할 수 있지만, 이들로 제한되지 않는다.
피드백 서브시스템(106)은 섭취되었거나 섭취될 수 있는 음식 항목들 또는 요리들의 이미지들의 디스플레이를 포함할 수 있다. 또한, 피드백 서브시스템(106)은 상기 음식 항목들 또는 요리들에 대한 추가의 정보, 예컨대, 예를 들어 그들이 얼마나 건강한지, 영양소 함량, 뒷이야기들 또는 준비 상세사항들, 등급들, 개인맞춤형 피드백 또는 다른 개인맞춤형 정보의 표시를 포함할 수 있다.
본 발명의 소정 실시 형태들에서, 피드백 서브시스템(106)에 의해 제공되는 정보는 비-실시간 정보를 포함할 수 있다. 피드백 서브시스템(106)은 예를 들어, 이력 데이터의 프로세싱 및 분석 및/또는 더 큰 사용자들의 모집단에 걸쳐 축적된 데이터의 프로세싱 및 분석에 기초하는 피드백을 포함할 수 있다. 피드백 서브시스템(106)은 임의의 특정 파라미터들의 추적에 독립적인 피드백을 추가로 제공할 수 있다. 일례로서, 피드백 서브시스템(106)은 일반 음식, 영양 또는 건강 정보 또는 안내를 제공할 수 있다.
본 발명의 소정 실시 형태들에서, 사용자는 피드백 서브시스템(106)과 상호작용하고 입력들(116)을 제공할 수 있다. 예를 들어, 사용자는 소정 또는 모든 피드백 신호들을 억제 또는 커스터마이징할 수 있다.
비-실시간 피드백은, 특히, 이력 데이터, 경향의 개요, 개인 기록들, 스트릭들, 목표에 대비한 성과 또는 친구들 또는 다른 사람들 또는 사람들의 그룹들에 대비한 성과, 걱정스러운 경향에 대한 통지들, 친구들, 소셜 네트워크들 및 소셜 미디어, 보호자들, 영양사들, 의사들 등으로부터의 피드백, 코칭 조언 및 안내를 포함할 수 있다.
데이터 또는 다른 정보가 데이터 저장 유닛(104)에 저장될 수 있다. 그것은 원시 포맷으로 저장될 수 있다. 대안적으로, 그것은 일부 레벨의 프로세싱을 겪은 후에 저장될 수 있다. 데이터는 일시적으로 또는 영구적으로 저장될 수 있다. 데이터 또는 다른 정보는, 프로세서 또는 다른 시스템 리소스들이 이용가능하게 되기를 기다리는 동안의 일시적인 저장, 추후 시간까지 이용가능하지 않을 수 있는 다른 데이터와 함께 조합될 일시적인 저장, 피드백 서브시스템(106)을 통해 원시 포맷 또는 프로세싱된 포맷으로 사용자에게 피드백될 저장, 추후 상담 또는 검토를 위한 저장, 식이요법 및/또는 웰니스 코칭 목적을 위한 분석을 위한 저장, 더 큰 모집단에 걸친 또는 더 큰 데이터세트들에 대한 통계적 분석을 위한 저장, 더 큰 데이터세트들에 대한 패턴 인식 방법들 또는 기계 학습 기법들을 수행하는 저장을 포함하지만 이들로 제한되지 않는 다양한 이유들로 저장될 수 있다.
저장된 데이터 및 정보 또는 그의 부분들은 시스템의 사용자에게 액세스가능할 수 있다. 저장된 데이터 및 정보 또는 그의 부분들이 제3자와 공유될 수 있거나 그에 의해 액세스될 수 있는 것이 또한 가능하다. 제3자들은 친구들, 가족 구성원들, 보호자들, 의료 제공자들, 영양사들, 웰니스 코치들, 다른 사용자들, 식이요법 추적 및 코칭을 위한 시스템들을 개발 및/또는 판매하는 회사들, 식이요법 추적 및 코칭을 위한 시스템들에 대한 컴포넌트들 또는 서브시스템들을 개발 및/또는 판매하는 회사들, 및 보험 회사들을 포함할 수 있지만, 이들로 제한되지 않는다. 소정 상황들에서, 데이터가 제3자에게 이용가능하게 하기 전에 익명으로 만들어지는 것이 바람직할 수 있다.
도 2는 본 발명의 일 실시 형태에 따른, 식이요법 추적 및 코칭을 위해 사용되는 전자 시스템 내에 배치된 컴포넌트들 중 일부를 도시한다. 전자 시스템은 제1 전자 디바이스(218), 제2 전자 디바이스(219)(모바일 디바이스일 수 있음), 및 중앙 프로세싱 및 저장 유닛(220)을 포함한다. 전형적인 시스템은 센서 및 프로세서 교정을 허용하기 위해 교정 기능을 가질 수 있다.
도 2에 도시된 시스템의 변형예들이 또한 가능하며, 본 발명의 범위에 포함된다. 예를 들어, 일 변형예에서, 전자 디바이스(218) 및 전자 디바이스(219)는 단일 전자 디바이스로 조합될 수 있다. 다른 변형예에서, 전자 디바이스(218)의 기능은 다수의 디바이스들에 걸쳐 분산될 수 있다. 일부 변형예들에서, 전자 디바이스(218)의 일부인 것으로 도 2에 도시된 기능의 일부분이 대신에 전자 디바이스(219)에 포함될 수 있다. 일부 다른 변형예들에서, 전자 디바이스(219)의 일부인 것으로 도 2에 도시된 기능의 일부분이 대신에 전자 디바이스(218) 및/또는 중앙 프로세싱 및 저장 유닛(220)에 포함될 수 있다. 또 다른 변형예에서, 중앙 프로세싱 및 저장 유닛(220)은 존재하지 않을 수 있고, 모든 프로세싱 및 저장은 전자 디바이스(218) 및/또는 전자 디바이스(219) 상에서 로컬로 행해질 수 있다. 다른 변형예들이 또한 가능하다.
도 2의 전자 시스템의 예가 도 3에 도시된다. 전자 디바이스(218)는 예를 들어, 손목, 팔 또는 손가락 둘레에 착용되는 착용가능한 디바이스(321)일 수 있다. 전자 디바이스(218)는 또한 신체에 부착될 수 있거나 의류에 내장될 수 있는 착용가능한 패치로서 구현될 수 있다. 전자 디바이스(218)는 또한 예를 들어, 다른 착용가능한 디바이스에, 보석에, 또는 의복에 부착될 수 있는 모듈 또는 애드-온(add-on) 디바이스일 수 있다. 전자 디바이스(219)는 예를 들어, 모바일 폰, 태블릿 또는 스마트 워치와 같은 모바일 디바이스(322)일 수 있다. 전자 디바이스(219) 및 전자 디바이스(218)의 다른 실시 형태들이 또한 가능하다. 중앙 프로세싱 및 저장 유닛(220)은 보통 하나 이상의 컴퓨터 시스템들 또는 서버들 및 하나 이상의 저장 시스템들을 포함한다. 중앙 프로세싱 및 저장 유닛(220)은 예를 들어, 인터넷 접속(325)을 사용하여 인터넷을 통해 액세스가능한 원격 데이터센터(324)일 수 있다. 중앙 프로세싱 및 저장 유닛(220)은 종종 다수의 사용자들 사이에서 공유되고/되거나 그들에 의해 액세스된다.
착용가능한 디바이스(321)는 무선 네트워크를 통해 모바일 디바이스(322)와 통신할 수 있다. 착용가능한 디바이스(321)와 모바일 디바이스(322) 사이의 무선 네트워크를 통한 통신에 사용되는 무선 프로토콜들은 블루투스, 블루투스 스마트(일명, 블루투스 로우 에너지(Bluetooth Low Energy)), 블루투스 메시(Bluetooth Mesh), 지그비, Wi-Fi, Wi-Fi 다이렉트, NFC, 셀룰러 및 스레드(Thread)를 포함할 수 있지만, 이들로 제한되지 않는다. 독점(proprietary) 프로토콜 또는 무선 프로토콜, 표준화된 무선 프로토콜 또는 다른 표준화된 무선 프로토콜들의 변형들이 또한 사용될 수 있다. 본 발명의 다른 실시 형태에서, 착용가능한 디바이스(321)와 모바일 디바이스(322)는 유선 네트워크를 통해 통신할 수 있다.
모바일 디바이스(322)는 기지국 또는 인터넷 접속(325)을 통해 인터넷에 연결된 액세스 포인트("AP")(323)와 무선으로 통신할 수 있다. 인터넷 접속(325)을 통해, 모바일 디바이스(322)는 데이터 및 정보를, 착용가능한 디바이스(321)로부터 예를 들어, 원격 데이터 센터와 같은 원격 위치에 존재하는 하나 이상의 중앙 프로세싱 및 저장 유닛(220)으로 전달할 수 있다. 인터넷 접속(325)을 통해, 모바일 디바이스(322)는 또한 데이터 및 정보를, 원격 위치에 있는 하나 이상의 중앙 프로세싱 및 저장 유닛(220)으로부터 착용가능한 디바이스(321)로 전달할 수 있다. 다른 예들이 또한 가능하다. 일부 실시 형태들에서, 중앙 프로세싱 및 저장 유닛(220)은 원격 위치에 있지 않을 수 있지만, 착용가능한 디바이스(321) 및/또는 모바일 디바이스(322)와 동일한 위치에 또는 그에 근접하게 존재할 수 있다. 모바일 디바이스(322)와 기지국 또는 액세스 포인트(323) 사이의 통신에 사용되는 무선 프로토콜들은 모바일 디바이스와 착용가능한 디바이스 사이의 그것들과 동일할 수 있다. 독점 프로토콜 또는 무선 프로토콜, 표준화된 무선 프로토콜 또는 다른 표준화된 무선 프로토콜들의 변형들이 또한 사용될 수 있다.
도 2의 전자 시스템은 또한 데이터, 정보, 통지들 및/또는 명령어들을 인터넷에 연결된 추가의 디바이스들로 전송하거나, 그로부터 데이터, 정보, 통지들 및/또는 명령어들을 수신할 수 있다. 그러한 디바이스들은 예를 들어, 하나 이상의 보호자들, 의사의 사무실의 구성원들, 코치들, 가족 구성원들, 친구들, 사용자가 소셜 미디어에서 연결되어 있는 사람들, 또는 사용자가 정보 공유 권한을 부여한 다른 사람들의 태블릿, 모바일 폰, 랩톱 또는 컴퓨터일 수 있다. 그러한 시스템의 한 예가 도 4에 도시된다. 도 4에 도시된 예에서, 전자 디바이스(441)는 기지국 또는 인터넷 접속(442)을 통해 인터넷에 접속되는 액세스 포인트(440)에 무선으로 접속된다. 전자 디바이스(441)의 예들은 태블릿, 모바일 폰, 랩톱, 컴퓨터, 또는 스마트 워치를 포함할 수 있지만, 이들로 제한되지 않는다. 인터넷 접속(442)을 통해, 전자 디바이스(441)는 로컬에 존재하거나, 예를 들어, 원격 데이터 센터와 같은 원격 위치에 존재할 수 있는 하나 이상의 중앙 프로세싱 및 저장 유닛들로부터 데이터, 명령어들, 통지들 또는 다른 정보를 수신할 수 있다. 통신 능력은 인터넷 접속(442) 또는 다른 통신 채널들을 포함할 수 있다. 전자 디바이스(441)는 또한 정보, 명령어들 또는 통지들을 하나 이상의 컴퓨터 서버들 또는 저장 유닛들(439)에 전송할 수 있다. 중앙 프로세싱 및 저장 유닛(439)은 이러한 정보, 명령어들 또는 통지들을 인터넷(438) 및 기지국 또는 액세스 포인트("AP")(437)를 통해 모바일 디바이스(436)에 포워딩할 수 있다.
다른 예들이 또한 가능하다. 일부 실시 형태들에서, 중앙 프로세싱 및 저장 유닛(439)은 원격 위치에 있지 않을 수 있지만, 착용가능한 디바이스(435) 및/또는 모바일 디바이스(436)와 동일한 위치에 또는 그에 근접하게 존재할 수 있다. 도 4는 기지국 또는 액세스 포인트에 무선으로 접속된 전자 디바이스(441)를 도시한다. 전자 디바이스(441)와 인터넷 접속(442)을 통해 인터넷에 연결되는 라우터 사이의 유선 접속이 또한 가능하다.
도 5는 본 발명의 다른 실시 형태를 도시한다. 도 5에서, 착용가능한 디바이스(543)는 모바일 디바이스(545)를 통과할 필요 없이 기지국 또는 액세스 포인트(544) 및 인터넷을 통해 중앙 프로세싱 및 저장 시스템(546)과 직접 데이터 또는 다른 정보를 교환할 수 있다. 모바일 디바이스(545)는 중앙 프로세싱 및 저장 시스템(546)을 통해, 또는 로컬 무선 또는 유선 네트워크를 통해 착용가능한 디바이스(543)와 데이터 또는 다른 정보를 교환할 수 있다. 중앙 프로세싱 및 저장 시스템(546)은 하나 이상의 추가의 전자 디바이스들(550)과 정보를 교환할 수 있다.
도 6은 일 실시 형태에 따른, 전자 디바이스(218) 내에 배치된 컴포넌트들 중 일부를 도시한다. 전형적으로 전자 디바이스(218)는 부분적으로 하나 이상의 센서 유닛들(627), 프로세싱 유닛(628), 메모리(629), 클록 또는 수정(crystal)(630), 무선 회로부(634), 및 전력 관리 유닛("PMU")(631)을 포함한다. 전자 디바이스(218)는 또한 하나 이상의 카메라 모듈들(626), 하나 이상의 자극 유닛들(633) 및 하나 이상의 사용자 인터페이스들(632)을 포함할 수 있다. 도시되지 않았지만, 커패시터들, 저항기들, 인덕터들과 같은 다른 컴포넌트들이 또한 상기 전자 디바이스(218)에 포함될 수 있다. 전력 관리 유닛(631)은, 특히, 배터리, 충전 회로부, 레귤레이터들, 하나 이상의 컴포넌트들로의 전력을 디스에이블하는 하드웨어, 전원 플러그 중 하나 이상을 포함할 수 있다.
많은 실시 형태들에서, 전자 디바이스(218)는 간단하고 제한된 사용자 인터페이스를 갖는 크기 제약된, 전력-민감성 배터리 작동형 디바이스이다. 전력이 제한되는 경우, 전자 디바이스(218)는 거동 이벤트들 외에서 전력을 절약하도록 프로그래밍될 수 있다. 예를 들어, 전자 디바이스(218) 내의 프로세서는 섭식 이벤트와 같은 거동 이벤트의 시작을 결정하고, 이어서, 추가의 센서들에 전력을 공급하고, 소정 센서들을 더 높은 성능 모드에 놓고/놓거나 프로세서가 거동 이벤트의 종료를 결정할 때까지 추가의 계산들을 수행하도록 프로그래밍될 수 있으며, 프로세서가 거동 이벤트의 종료를 결정하는 시점에서 프로세서는 추가의 센서들을 턴 오프할 수 있고, 소정 센서들을 더 낮은 성능 모드로 되돌리고, 추가의 계산들을 생략할 수 있다.
예를 들어, 프로세서는 가속도계를 제외하고, 모든 모션-검출 관련 회로부를 디스에이블하도록 프로그래밍될 수 있다. 이어서, 프로세서는 가속도계 센서 데이터를 모니터링할 수 있고, 그러한 데이터가 베어먹기 또는 홀짝마시기 제스처와 같은 실제의 또는 현저한 음식 섭취 활동을 나타내는 경우, 프로세서는 데이터 기록 메커니즘과 같은 추가의 회로부를 활성화할 수 있다. 프로세서는 가속도계 센서 데이터를 사용하여 착용자의 팔의 피치를 모니터링할 수 있다.
예를 들어, 프로세서는 피치가 소정 임계치를 초과할 때까지 - 아마도 착용자의 입을 향한 손 또는 팔 움직임을 나타낼 것임 - 착용자의 팔의 피치를 측정할 수 있다. 일단 이것이 검출되면, 프로세서는 상태를 변경할 수 있고(예컨대, 이러한 상태를 위해 확보된 메모리 위치를 "비활성" 또는 "이벤트 외"에서 "액션 중" 또는 "이벤트 내"로 변경함에 의함), 추가의 회로부를 활성화하거나 특정 회로부 또는 컴포넌트들의 더 높은 성능 모드를 활성화할 수 있다. 다른 실시 형태에서, 가속도의 제1 적분(속도) 또는 가속도의 제2 적분(이동된 거리)과 같은 다른 가속도계 센서 데이터 특성들, 또는 가속도의 제1 적분 및/또는 제2 적분과 관련되거나 그로부터 도출된 특성들이, 하나 이상의 가속도계 축으로부터 결정되는 바와 같이 사용될 수 있다. 기계 학습 프로세스가 특정 움직임들을 검출하고 그것들을 제스처들로 변환하는 데 사용될 수 있다.
음식 섭취 이벤트의 종료는, 최종 베어먹기 또는 홀짝마시기 모션 이후 소정 시간이 만료되었는지 여부 또는 다른 데이터(착용자에 관한 메타데이터, 모션-검출 센서 데이터, 및/또는 착용자의 이력 데이터, 또는 이들의 조합)를 고려함으로써 프로세서에 의해 검출될 수 있다. 이들에 기초하여, 프로세서는 음식 섭취 이벤트가 가능성이 없다는 결정을 내리고, 이어서, 전자 디바이스의 상태를 비활성 모니터링 상태, 가능하게는 더 낮은 전력 모드로 변경한다.
더 낮은 전력 모드는 프로세서가 가속도계 및/또는 자이로스코프의 샘플링 속도를 감소시키고, 자이로스코프에 전력을 차단하고, 센서 데이터가 전자 디바이스(예컨대, 전자 디바이스(218))로부터 지원 디바이스(예컨대, 전자 디바이스(219))로 전달되는 업데이트 속도를 감소시키고, 감지 전자 디바이스로부터 지원 전자 디바이스로 데이터를 전달하기 전에 데이터를 압축하는 것에 의해 구현될 수 있다.
본 발명의 일부 실시 형태들에서, 별개의 컴포넌트들로서 도 5에 도시된 컴포넌트들 중 일부가 조합될 수 있다. 일례로서, 프로세싱 유닛, 메모리, 무선 회로부 및 PMU 기능은 전적으로 또는 부분적으로 단일 무선 마이크로제어기 유닛("MCU")으로 조합될 수 있다. 다른 조합들이 또한 가능하다. 유사하게, 도 5에 단일 컴포넌트로서 도시된 컴포넌트들은 다수의 컴포넌트들로서 구현될 수 있다. 일례로서, 프로세싱 기능은 다수의 프로세서들에 걸쳐 분산될 수 있다. 마찬가지로, 데이터 저장 기능은 다수의 메모리 컴포넌트들에 걸쳐 분산될 수 있다. 분산된 구현예들의 다른 예들이 또한 가능하다.
본 발명의 다른 실시 형태에서, 무선 회로부는 존재하지 않을 수 있고, 대신에 (예를 들어, USB 인터페이스 및 케이블과 같은) 상이한 인터페이스가 전자 디바이스(218)로 그리고/또는 그로부터 데이터 또는 정보를 전달하는 데 사용될 수 있다.
자극 유닛(633)은 전자 디바이스의 사용자에게 피드백을 제공할 수 있다. 자극 유닛(633)은 사용자에게 힘들, 진동들 또는 모션들을 인가하는 햅틱 인터페이스, 사용자에게 사운드들을 제공하는 스피커 또는 헤드폰 인터페이스, 및 사용자에게 시각적 피드백을 제공하는 디스플레이를 포함할 수 있지만, 이들로 제한되지 않는다.
소정 실시 형태들에서, 전자 디바이스(218)에 내장된 센서들로부터의 신호들의 프로세싱 및 분석은, 전자 디바이스가 디스에이블되었거나, 조작되거나, 신체로부터 제거되었거나, 사용중이 아닌 때를 검출할 수 있다. 이는 전력을 절약하거나, 또는 전자 디바이스(218)가 적절하게 사용되고 있지 않은 경우, 사용자, 친구 또는 직접적으로 또는 간접적으로 통지받는데 이해관계가 있을 수 있는 다른 사람에게 통지를 전송하기 위해 사용될 수 있다.
음식 섭취 이벤트의 시작/종료의 검출/예측에 대한 설명
바람직한 실시 형태에서, 전자 디바이스(218)는 손목, 팔 또는 손가락 둘레에 착용되고, 음식 섭취 이벤트의 시작 및/또는 종료를 검출하는 데 필요한 데이터를 생성하는 하나 이상의 센서들을 갖는다. 전자 디바이스(218)는 또한 사람의 팔 또는 손목에 부착될 수 있는 패치 내에 통합될 수 있다. 전자 디바이스(218)는 또한 손목, 팔 또는 손가락 주위에 착용되는 다른 디바이스에 부착될 수 있는 모듈 또는 애드-온 디바이스일 수 있다. 음식 섭취 이벤트의 시작 및/또는 종료를 검출하는 데 사용되는 센서들은, 다른 센서들 중에서도, 본 명세서에 기술된 센서들 중 하나 이상을 포함할 수 있다.
원시 센서 출력들은 메모리(629)에 로컬로 저장될 수 있고, 프로세싱 유닛(628) 상에서 로컬로 프로세싱되어 음식 섭취 이벤트의 시작 또는 종료가 발생했는지 검출할 수 있다. 대안적으로, 하나 이상의 센서 출력들은 추가 프로세싱을 위해, 그리고 음식 섭취 이벤트의 시작 또는 종료가 발생했는지 여부를 검출하기 위해, 원시 포맷 또는 프로세싱된 포맷으로 전자 디바이스(219) 및/또는 중앙 프로세싱 및 저장 유닛(220)에 전송될 수 있다. 음식 섭취 검출을 위한 프로세싱이 발생하는 곳에 상관없이, 원시 포맷 또는 프로세싱된 포맷의 센서 출력들은 전자 디바이스(218) 내부에, 전자 디바이스(219) 내부에, 그리고/또는 중앙 프로세싱 및 저장 유닛(220) 내부에 저장될 수 있다.
음식 섭취 이벤트의 시작 및/또는 종료의 검출에 필요한 데이터를 생성하는 센서 또는 센서들은 전자 디바이스(218) 내부에 있을 수 있다. 대안적으로, 음식 섭취 이벤트의 시작의 검출을 담당하는 센서들 중 하나 이상은 전자 디바이스(218) 외부에 있을 수 있지만, 전자 디바이스(218)와의 직접 무선 또는 유선 통신을 통해 직접적으로, 또는 다른 디바이스를 통해 간접적으로 관련 정보를 전자 디바이스(218)에 중계할 수 있다. 전자 디바이스(218) 및 외부 센서 또는 센서들이 전자 디바이스(219)에 정보를 중계할 수 있지만, 정보를 서로 직접 중계할 수 없는 것도 가능하다.
모바일 폰 또는 다른 휴대용 또는 고정 디바이스와 같은 다른 디바이스를 통한 간접 통신의 경우에, 그러한 제3 디바이스는 하나 이상의 외부 센서 유닛들로부터 데이터 또는 정보를 수신할 수 있고, 선택적으로 그러한 데이터 또는 정보를 프로세싱하고, 원시 데이터 또는 프로세싱된 데이터 또는 정보를 전자 디바이스(218)에 포워딩한다. 전자 디바이스(218)로의 통신 및 그로부터의 통신은 유선 또는 무선, 또는 둘의 조합일 수 있다.
전자 디바이스(218) 외부에 있을 수 있는 센서들의 예들은 목 주위에 착용되는 목걸이 또는 펜던트에 내장된 하나 이상의 센서들, 신체 상의 상이한 위치에 부착되는 패치들에 내장된 하나 이상의 센서들, 다른 팔 또는 손목 둘레에, 또는 다른 손의 손가락 상에 착용되는 보조 제2 착용가능한 디바이스에 내장된 하나 이상의 센서들, 또는 치아 내에 통합된 하나 이상의 센서들일 수 있다. 일부 실시 형태들에서, 전자 디바이스는 한 손 또는 팔 상에 착용되지만, 다른 손 또는 팔의 움직임을 검출한다. 일부 실시 형태들에서, 전자 디바이스들은 각각의 손 상에 착용된다.
비-실시간 분석 및 학습 서브시스템(105)으로부터 획득된 정보는 또한, 선택적으로 하나 이상의 센서들(627)로부터의 정보와 조합하여 사용되어 음식 섭취 이벤트의 거의 확실한 또는 임박한 또는 실제의 시작/종료를 예측하거나 그의 검출을 용이하게 할 수 있다.
음식 섭취 이벤트의 시작 및/또는 종료의 검출 및/또는 예측은 사용자 개입을 요구하지 않으면서 자율적으로 일어나는 것이 종종 바람직하다. 예를 들어, 음식 섭취 이벤트의 실제의, 거의 확실한 또는 임박한 시작이 자율적으로 예측 또는 검출되는 경우, 이러한 정보는 음식 섭취 이벤트 동안에만 필요한 특정 컴포넌트들 또는 회로들을 활성화하거나 전력을 공급하는 트리거로서 사용될 수 있다. 이는 전력을 절약하고 전자 디바이스(218)의 배터리 수명을 연장시키는 것을 도울 수 있다. 음식 섭취 이벤트의 실제의, 거의 확실한 또는 임박한 시작의 예측 또는 검출은 또한 사용자에게 큐 또는 리마인더를 발행하는 데 사용될 수 있다. 예를 들어, 큐는 음식 섭취 이벤트의 로깅 또는 음식의 사진을 촬영하는 것을 포함하지만 이들로 제한되지 않는 추가 액션들을 취하도록 사용자에게 리마인드하기 위해 그/그녀에게 전송될 수 있다. 음식 섭취 이벤트의 시작의 검출 시에, 하나 이상의 큐들은 가능하게는 음식 섭취 이벤트의 지속시간에 걸쳐 분산되어 사용자에게 음식 섭취 이벤트가 일어나고 있음을 리마인드하고 해당 순간의 자각을 개선하고/하거나 주의깊은 섭식을 권장한다. 큐들 또는 리마인더들은 예를 들어, 하나 이상의 자극 유닛들(633)을 사용하여 별개의 햅틱 피드백을 통해 전송될 수 있다. 예를 들어, 하나 이상의 LED들, 디스플레이 메시지, 또는 오디오 신호와 같은 하나 이상의 사용자 인터페이스들(632)을 사용하는 다른 방법들이 또한 가능하다. 대안적으로, 모바일 디바이스는 큐들, 리마인더들 또는 예를 들어, 섭취 분량 추천들 또는 섭식에 대한 대안적인 제안들과 같은 다른 정보를 사용자에게 통신하는 데 사용될 수 있다.
음식 섭취 이벤트의 거의 확실한 또는 임박한 종료가 자율적으로 예측 또는 검출되는 경우, 이러한 정보는 음식 섭취 이벤트 동안에만 필요한 전자 디바이스의 하나 이상의 회로들 또는 컴포넌트들에 전력을 차단하거나 적어도 더 낮은 전력 모드에 놓기 위한 트리거로서 사용될 수 있다. 이는 전력을 절약하고 전자 디바이스의 배터리 수명을 연장시키는 것을 도울 수 있다. 음식 섭취 이벤트의 실제의, 거의 확실한 또는 임박한 종료의 검출은 또한 하나 이상의 자극 유닛들(633)에 의해, 사용자 인터페이스들(632) 중 하나 이상에 의해, 그리고/또는 모바일 디바이스에 의해 사용자에게 제공되는 피드백을 수정하거나 보류하는 데 사용될 수 있다.
본 발명의 일부 실시 형태들에서, 음식 섭취 이벤트의 실제의, 거의 확실한 또는 임박한 시작 및/또는 종료의 검출 또는 예측은 전체적으로 자율적이지는 않을 수 있다. 예를 들어, 사용자가 음식 섭취 이벤트의 실제의, 거의 확실한 또는 임박한 시작 및/또는 종료를 전자 디바이스에 신호하기 위해 특정 팔, 손목, 손 또는 손가락 제스처를 취하도록 요구될 수 있다. 이어서, 팔, 손목, 손 또는 손가락 제스처는 전자 디바이스 내부의 하나 이상의 센서들에 의해 검출된다. 음식 섭취 이벤트의 시작 및/또는 종료를 나타내기 위해 요구되는 팔, 손목, 손 또는 손가락 제스처 또는 제스처들은 은근하고 별개의 방식으로 수행될 수 있는 것이 보통 바람직하다. 다른 방법들이 또한 사용될 수 있다. 예를 들어, 사용자는 음식 섭취 이벤트의 시작 및/또는 종료를 나타내기 위해 전자 디바이스 상의 버튼을 누르도록 요청받을 수 있다. 전자 디바이스에 내장된 마이크로폰을 사용하는 음성 활성화 커맨드들이 또한 사용될 수 있다. 다른 방법들이 또한 가능하다.
섭식 거동들 및 패턴들의 추적에 대한 설명
특정 실시 형태에서, 전자 디바이스는 손목, 팔 또는 손가락 둘레에 착용되고, 섭식 거동들, 패턴들 및 습관들의 측정 및 분석을 용이하게 하는 데이터를 생성하는 하나 이상의 센서들을 갖는다. 소정의 섭식 거동들 및 패턴들을 측정 및 분석하는 데 사용되는 센서들은 본 명세서에 기술된 센서들 중 하나 이상을 포함할 수 있다.
섭식 거동들 및 섭식 패턴들을 정량화하고 추적하는 데 사용될 수 있는 관련 메트릭들은 후속의 베어먹기들 또는 홀짝마시기들 사이의 시간, 접시와 사용자의 입 사이의 거리, 사용자의 입을 향한 그리고/또는 그로부터 멀어지는 팔 움직임의 속도, 및 베어먹기 또는 홀짝마시기에 대응하는 팔 움직임들의 총 횟수로부터 도출되는 단일 음식 섭취 이벤트 동안의 베어먹기들 또는 홀짝마시기들의 횟수, 특정 씹기 거동 및 특성들, 베어먹기와 삼키기 사이의 시간, 삼키기 전 씹는 양을 포함할 수 있지만, 이들로 제한되지 않는다.
도 6은 그러한 전자 디바이스의 컴포넌트들의 예들을 도시한다. 도시된 바와 같이, 원시 센서 출력들은 메모리(629)에 로컬로 저장될 수 있고 프로세싱 유닛(628) 상에서 로컬로 프로세싱될 수 있다. 대안적으로, 하나 이상의 센서 출력들이 추가 프로세싱 및 분석을 위해, 원시 포맷 또는 프로세싱된 포맷으로, 전자 디바이스 및/또는 프로세싱 유닛(628)으로 전송될 수 있다. 섭식 거동들 및 패턴들의 프로세싱 및 분석이 발생하는 곳에 상관없이, 원시 포맷 또는 프로세싱된 포맷의 센서 출력들이 전자 디바이스 내부에, 모바일 폰과 같은 보조 전자 디바이스 내부에, 그리고/또는 프로세싱 유닛(628) 내부에 저장될 수 있다.
일부 실시 형태들에서, 섭식 거동들, 패턴들 및 습관들의 측정 및 분석을 용이하게 하는 데이터의 생성, 수집 및/또는 프로세싱은 연속적으로, 주기적으로, 또는 그렇지 않으면 음식 섭취 이벤트의 시작 및/또는 종료와 독립적으로 이루어질 수 있다. 대안적으로, 섭식 거동 및 패턴들의 측정 및 분석을 용이하게 하는 데이터의 생성, 수집 및/또는 프로세싱은 음식 섭취 이벤트 동안에만 발생할 수 있거나, 그렇지 않으면 특정 음식 섭취 이벤트에 상관될 수 있다. 일부 센서 데이터는 연속적으로, 주기적으로 또는 그렇지 않으면 음식 섭취 이벤트의 시작 및/또는 종료와 독립적으로 생성, 수집 및/또는 프로세싱되는 반면, 다른 센서 데이터는 음식 섭취 이벤트 동안에 취해지거나 그렇지 않으면 음식 섭취 이벤트에 상관되는 것이 가능하다.
섭식 거동들 및 섭식 패턴들을 측정 및 분석하는 데 필요한 데이터를 생성하는 센서 또는 센서들은 전자 디바이스 내부에 있을 수 있다. 대안적으로, 섭식 거동들 및 섭식 패턴들을 측정 및 분석하는 데 필요한 데이터를 생성하는 센서들 중 하나 이상은 전자 디바이스의 외부에 있을 수 있지만, 전자 디바이스와의 직접 무선 또는 유선 통신을 통해 직접적으로, 또는 다른 디바이스를 통해 간접적으로 관련 정보를 전자 디바이스에 중계할 수 있다.
모바일 폰 또는 다른 휴대용 또는 고정 디바이스와 같은 다른 디바이스를 통한 간접 통신의 경우에, 그러한 제3 디바이스는 하나 이상의 외부 센서 유닛으로부터 데이터 또는 정보를 수신할 수 있고, 선택적으로 그러한 데이터 또는 정보를 프로세싱하고, 원시 데이터 또는 프로세싱된 데이터 또는 정보를 추적 디바이스에 포워딩한다. 전자 디바이스로의 통신 및 그로부터의 통신은 유선 또는 무선, 또는 둘의 조합일 수 있다.
전자 디바이스 외부에 있을 수 있는 센서들의 예들은 목 주위에 착용되는 목걸이 또는 펜던트에 내장된 하나 이상의 센서들, 신체 상의 상이한 위치에 부착되는 패치들에 내장된 하나 이상의 센서들, 다른 팔 또는 손목 둘레에, 또는 다른 손의 손가락 상에 착용되는 보조 제2 착용가능한 디바이스에 내장된 하나 이상의 센서들, 또는 치아 내에 통합된 하나 이상의 센서들일 수 있다.
카메라 모듈 및 이미지 캡처의 사용에 대한 설명
음식의 이미지들을 캡처하기 위한 카메라의 사용이 종래 기술에서 제안되었지만, 그것들은 전형적으로 사용자가 자신의 모바일 폰 또는 태블릿으로 사진들을 촬영하는 것에 의존한다. 불행하게도, 모바일 폰 또는 태블릿을 이용한 이미지 캡처는 상당한 사용 마찰을 부과할 수 있거나, 소정의 식사 상황들에서 사회적으로 허용가능하지 않을 수 있거나, 진정성 있는 식사 경험을 방해할 수 있다. 종종, 사용자가 자신의 모바일 폰을 꺼내고, 스크린을 잠금해제하고, 모바일 앱을 열고 모바일 폰에 내장된 카메라를 사용하여 사진을 촬영해야 하는 것은 바람직하지 않거나 부적절하다.
사용자 개입이 필요한 경우, 사용자 개입은 은근하고 별개의 방식으로 그리고 가능한 한 적은 마찰로 수행될 수 있는 것이 일반적으로 바람직하다. 사용 마찰을 최소화하기 위하여, 이미지 캡처가 전자 디바이스로부터 직접 개시될 수 있는 것이 종종 바람직하다.
본 명세서에 제공된 예들이 예들로서 음식 및 식사 시나리오들의 이미지 캡처를 사용하지만, 본 발명을 읽을 때, 본 명세서에 기술된 방법들 및 장치가 음식들 및 식사 시나리오들 이외의 객체들 및 장면들의 이미지 캡처에 적용될 수 있다는 것이 명백할 것이다. 예를 들어, 뷰파인더가 없는(viewfinder-less) 카메라는 음식 이벤트 캡처 도메인 외의 애플리케이션을 가질 수 있다.
일부 실시 형태들에서, 전자 디바이스는 손목, 팔 또는 손가락 둘레에 착용되고, 하나 이상의 카메라 모듈들(626)을 포함한다. 하나 이상의 카메라 모듈들(626)은, 본 발명의 일 실시 형태에 따르면 정지 이미지들의 캡처를 위해 사용될 수 있고, 본 발명의 다른 실시 형태에 따르면 하나 이상의 비디오 스트림들의 캡처를 위해 사용될 수 있다. 본 발명의 또 다른 실시 형태에서, 정지 이미지 및 스트리밍 이미지의 조합이 또한 가능하다.
하나 이상의 카메라 모듈이 또한 몸체 둘레의 상이한 위치에 착용되는 디바이스, 예컨대, 목 둘레에 착용되는 목걸이 또는 펜던트, 또는 사용자의 의류에 부착되거나 그와 통합되는 디바이스에 포함될 수 있으며, 카메라 또는 카메라 모듈은 바람직하게는 전면을 향해 지향되어 섭취되는 음식과의 시선(line of sight) 내에 있을 수 있게 한다.
일부 실시 형태들에서, 카메라 모듈의 활성화 및/또는 카메라 모듈에 의한 이미지 캡처는 일부 레벨의 사용자 개입을 요구할 수 있다. 사용자 개입은, 특히, 버튼을 누르는 것, 전자 디바이스 또는 모바일 디바이스에 내장된 마이크로폰 내로 음성 커맨드을 발행하는 것, 전자 디바이스 또는 모바일 디바이스에 통합된 디스플레이를 사용하여 선택을 내리는 것, 특정 팔, 손목, 손 또는 손가락 제스처를 발행하는 것, 관심 객체가 카메라의 시야 내에 있도록 카메라를 지향시키는 것, 카메라와 관심 객체 사이의 시선 내에 있을 수 있는 장애물들을 제거하는 것, 그리고/또는 관심 객체의 위치를 조정하여 그것이 카메라의 뷰 내에 있도록 하는 것을 포함할 수 있다. 다른 사용자 개입 방법들, 또는 다수의 사용자 개입 방법들의 조합이 또한 가능하다.
본 발명의 일 실시 형태에서, 카메라 모듈은 뷰파인더를 갖지 않을 수 있거나, 카메라의 시야 내에 있는 영역에 관한 피드백을 사용자에게 제공할 수 있는 디스플레이를 갖지 않을 수 있는, 착용가능한 디바이스와 같은 전자 디바이스에 내장된다. 이 경우에, 전자 디바이스는 가시광의 패턴을 표면 상으로 또는 객체 상으로 투사하여 카메라의 시야 내에 있는 영역을 사용자에게 나타내는 광원을 포함할 수 있다. 하나 이상의 발광 다이오드(LED)들이 광원으로서 사용될 수 있다. 레이저, 할로겐 또는 백열 광원들을 포함하지만 이들로 제한되지 않는 다른 광원들이 또한 가능하다. 가시광의 패턴은, 특히, 카메라의 위치를 조정하고, 관심 객체의 위치를 조정하고/하거나 관심 객체와 카메라 사이의 시선을 방해하고 있는 임의의 객체들을 제거하기 위해 사용자에 의해 사용될 수 있다.
광원은 또한 다른 정보를 사용자에게 통신하는 데 사용될 수 있다. 일례로서, 전자 디바이스는 하나 이상의 근접 센서들로부터의 입력들을 사용할 수 있고, 카메라가 관심 객체로부터 적절한 거리 범위 내에 있는지 여부를 결정하기 위해 그러한 입력들을 프로세싱할 수 있고, 카메라가 적절한 거리 범위 내에 있다는 것, 사용자가 카메라와 관심 객체 사이의 거리를 증가시킬 필요가 있다는 것, 또는 사용자가 카메라와 관심 객체 사이의 거리를 감소시킬 필요가 있다는 것을 사용자에게 통신하기 위해 하나 이상의 광원들을 사용할 수 있다.
광원은 또한 주변광이 적절한 품질 이미지 캡처에 대해 불충분하거나 너무 강한 경우 사용자에게 통신하기 위해 주변광 센서와 조합하여 사용될 수 있다.
광원은 또한 낮은 배터리 상황 또는 기능적 결함을 포함하지만 이로 제한되지 않는 정보를 통신하는 데 사용될 수 있다.
광원은 또한 식이요법 코칭 정보를 통신하는 데 사용될 수 있다. 일례로서, 광원은, 특히, 이전 음식 섭취 이벤트 이후로 충분하지 않거나 너무 많은 시간이 지났는지를 나타낼 수 있거나, 또는 사용자에게 그/그녀가 특정 식이요법 목표들에 비해 어떻게 진행하고 있는지 통신할 수 있다.
하나 이상의 광원들을 사용하여 특정 메시지들을 전달하기 위한 시그널링 메커니즘들은 특정 광 세기들 또는 광 세기 패턴들, 특정 광 색상들 또는 광 색상 패턴들, 특정 공간적 또는 시간적 광 패턴들 중 하나 이상을 포함할 수 있지만, 이들로 제한되지 않는다. 다수의 메커니즘들이 또한 조합되어 하나의 특정 메시지를 신호할 수 있다.
본 발명의 다른 실시 형태에서, 카메라 모듈은 뷰파인더를 갖지 않거나, 카메라의 시야 내에 있는 영역에 관한 피드백을 사용자에게 제공할 수 있는 디스플레이를 갖지 않는, 착용가능한 디바이스와 같은 전자 디바이스에 내장될 수 있다. 광원을 사용하는 대신에 또는 그에 더하여, 카메라 모듈에 의해 캡처된 하나 이상의 이미지들이, 가능하게는 전자 디바이스에 내장된 다른 센서들로부터의 입력들과 조합되어, 분석을 위해 그리고 관심 객체가 카메라의 적절한 뷰 및/또는 적절한 초점 범위 내에 있는지를 결정하기 위해, 전자 디바이스 내부의 프로세싱 유닛, 모바일 디바이스 내부의 프로세싱 유닛, 및/또는 프로세싱 유닛(628)으로 전송될 수 있다. 분석의 결과는 햅틱 피드백, 하나 이상의 LED들 또는 디스플레이를 사용하는 시각적 피드백, 및/또는 오디오 피드백을 포함하지만 이들로 제한되지 않는, 전자 디바이스에서 이용가능한 피드백 메커니즘들 중 하나를 사용하여 사용자에게 통신될 수 있다.
본 발명의 일부 다른 실시 형태들에서, 전자 디바이스는 임의의 사용자 개입 없이 하나 이상의 이미지들을 캡처할 수 있다. 전자 디바이스는 연속적으로, 주기적으로 또는 그렇지 않으면 임의의 음식 섭취 이벤트와 독립적으로 정지 이미지 또는 스트리밍 이미지를 캡처할 수 있다. 대안적으로, 전자 디바이스는 단지 음식 섭취 이벤트의 시간 즈음해서 또는 그 동안에 그의 카메라 모듈들 중 하나 이상을 활성화할 수 있다. 일례로서, 전자 디바이스는 단지 음식 섭취 이벤트의 시작이 검출되고 난 후에, 그리고 음식 섭취 이벤트의 종료가 검출되기 전에 그의 카메라 모듈들 중 하나 이상을 활성화하고 하나 이상의 이미지들을 캡처할 수 있다. 그것은 그의 카메라 모듈들 중 하나 이상을 사용하여, 하나 이상의 음식 항목들 또는 요리들의 전체로서의 하나 이상의 이미지들, 또는 하나 이상의 음식 항목들 또는 요리들의 일부분의 하나 이상의 이미지들을 캡처할 수 있다.
일부 실시 형태들에서, 하나의 카메라가 접시, 테이블 또는 다른 고정 표면 상에 있는 음식 항목들의 하나 이상의 이미지들을 캡처하는 데 사용될 수 있고, 제2 카메라는, 예를 들어, 핑거 푸드 또는 음료와 같은, 사용자에 의해 들려 있는 음식 항목들의 하나 이상의 이미지들을 캡처하는 데 사용될 수 있다. 하나 초과의 카메라의 사용은 사용자 개입이 바람직하지 않고 단일 카메라의 위치, 시야 또는 초점 범위가 모든 가능한 식사 시나리오들을 캡처하는 데 적합하지 않은 상황에서 바람직할 수 있다.
하나의 예시적인 실시 형태에서, 카메라의 위치, 배향 및 시야각은 임의의 사용자 개입 없이 이미지 또는 비디오 캡처가 가능하도록 하는 것이다. 그러한 실시 형태에서, 착용가능한 디바이스는 음식 또는 섭취 중인 음식의 일부분을 캡처할 수 있도록 이미지 또는 비디오 스트림 캡처의 적절한 타이밍을 결정하기 위해 다양한 기법들을 사용할 수 있다. 그것은 또한 이러한 목적을 위해 다수의 이미지들 또는 비디오 스트림들을 캡처하는 것을 선택할 수 있다. 적절한 타이밍을 결정하기 위한 기법들은 근접성의 감지, 가속도 또는 모션의 감지(또는 그의 부재), 위치 정보를 포함할 수 있지만, 이들로 제한되지 않는다. 그러한 센서 정보는 이미지 또는 비디오 캡처에 대한 최상의 타이밍을 예측하기 위해 그 자체로, 또는 패턴 인식 또는 데이터 분석 기법들(또는 둘 모두의 조합)과 조합하여 사용될 수 있다. 기법들은 기계 학습에 기초한 모델의 훈련을 포함할 수 있지만, 이들로 제한되지 않는다.
캡처된 정지 이미지 및/또는 스트리밍 이미지는 보통 일부 레벨의 프로세싱을 필요로 한다. 프로세싱은 특정 음식들 또는 요리들과 같은 객체들, 또는 예를 들어, 섭취 분량들과 같은 특징들을 식별하기 위한 압축, 삭제, 크기 조정, 필터링, 이미지 편집, 및 컴퓨터 비전 기법들을 포함할 수 있지만, 이들로 제한되지 않는다. 카메라 모듈 또는 모듈들이 전자 디바이스 내부에 있는지 여부에 관계없이, 카메라 모듈 또는 모듈들로부터의 정지 이미지 또는 스트리밍 이미지를 프로세싱하는 데 사용될 수 있는 프로세싱 유닛들은, 전자 디바이스 내부의 프로세싱 유닛, 모바일 디바이스 내부의 프로세싱 유닛 및/또는 전자 디바이스가 사용되고 있는 곳과 동일한 위치에 존재할 수 있거나 대안적으로 원격 위치에(예컨대, 클라우드 서버에) 존재할 수 있는 - 이 경우에 인터넷을 통해 액세스될 수 있음 -프로세싱 유닛(628)을 포함하지만, 이들로 제한되지 않는다. 이미지 프로세싱은 또한 전술한 프로세싱 유닛들의 조합 사이로 분산될 수 있다.
로컬 프로세싱의 예들은, 다수의 이미지들 또는 하나 이상의 비디오 스트림들로부터 하나 이상의 정지 이미지들의 선택, 이미지들 또는 비디오 스트림의 압축, 하나 이상의 이미지들 또는 비디오 스트림들 상의 컴퓨터 비전 알고리즘들의 애플리케이션을 포함할 수 있지만, 이들로 제한되지 않는다.
로컬 프로세싱은 압축을 포함할 수 있다. 압축의 경우에, 압축된 이미지는 시간 제약적 트랜잭션의 일부로서 송신될 수 있는 반면, 그의 비-압축된 버전은 나중의 송신을 위해 저장될 수 있다.
하나 이상의 정지 이미지 또는 스트리밍 이미지는 음식 섭취 이벤트의 시작 및/또는 종료의 검출, 음식 항목들의 식별, 음식 내용물의 식별, 영양학적 정보의 식별 또는 도출, 섭취 분량들의 추정, 및 소정의 섭식 거동 및 섭식 패턴의 추론을 포함하지만 이들로 제한되지 않는 하나 또는 다수의 목적들에 대해 분석되고/되거나 비교될 수 있다.
일례로서, 컴퓨터 비전 기법들은 다른 이미지 조작 기법들과 선택적으로 조합되어 음식 카테고리들, 특정 음식 항목들을 식별하고/하거나 섭취 분량들을 추정하는 데 사용될 수 있다. 대안적으로, 이미지들은 메커니컬 터크 프로세싱 또는 다른 크라우드소싱 방법들을 사용하여 수동으로 분석될 수 있다. 일단 음식 카테고리들 및/또는 특정 음식 항목들이 식별되면, 이러한 정보는 하나 이상의 음식/영양 데이터베이스들로부터 영양학적 정보를 검색하는 데 사용될 수 있다.
다른 예로서, 사용자의 섭식 또는 음용의 페이스에 관한 정보가 음식 섭취 이벤트의 과정 동안 상이한 시간들에 캡처된 다수의 이미지들을 분석 및 비교하는 것으로부터 추론될 수 있다. 또 다른 예로서, 선택적으로 다른 센서 정보와 조합된 이미지들이 핑거 푸드들 또는 간식들로부터 정식으로 하는 식사를 구별하는 데 사용될 수 있다. 또 다른 예로서, 음식 섭취 이벤트의 시작 시에 촬영된 하나의 이미지 및 음식 섭취 이벤트의 종료 시에 촬영된 다른 이미지의 분석은 실제로 섭취된 음식의 양에 대한 정보를 제공할 수 있다.
사용자 피드백에 대한 설명
본 발명의 바람직한 실시 형태에서, 전자 디바이스(218)는 손목, 팔 또는 손가락 둘레에 착용되고, 사용자 또는 전자 디바이스의 착용자로의 피드백을 허용하는 하나 이상의 자극 유닛들 및/또는 사용자 인터페이스들을 갖는다. 본 발명의 상이한 실시 형태에서, 전자 디바이스(218)는 신체에 부착될 수 있거나 의류에 내장될 수 있는 착용가능한 패치로서 구현될 수 있다.
피드백은 통상적으로 음식 관련 또는 음식 섭취 관련 피드백을 포함한다. 피드백 방법들은 햅틱 피드백, LED들을 사용하는 시각적 피드백, 또는 디스플레이 또는 오디오 피드백을 포함할 수 있지만, 이들로 제한되지 않는다. 하나의 그러한 실시 형태에서, 전자 디바이스(218)는 음식 섭취 이벤트의 시작 및/또는 종료가 검출될 때 1회 또는 다수 회 진동하는 햅틱 인터페이스를 가질 수 있다. 다른 실시 형태에서, 전자 디바이스(218)는, 추적 및 프로세싱 서브시스템이 디바이스의 착용자가 음식을 섭취하고 있으며 예를 들어, 너무 빨리, 너무 느리게 또는 너무 많이 섭식하는 것과 같이 소정 프로그래밍된 임계치들을 초과하는 섭식 거동을 보이고 있음을 식별한 경우 1회 또는 다수 회 진동하는 햅틱 인터페이스를 가질 수 있다. 대안적으로, 햅틱 인터페이스는 예를 들어, 음식 섭취 이벤트가 일어나고 있다는 사실을 사용자에게 리마인드하기 위해, 그리고/또는 해당 순간의 자각을 개선하고 주의깊은 섭식을 권장하기 위해 임의의 특정 섭식 거동과 관계없이 음식 섭취 이벤트 동안 1회 이상 진동할 수 있다. 다른 피드백 방법들이 또한 가능하며, 상이한 메트릭들 또는 기준들이 그러한 피드백 방법들의 활성화를 트리거하는 데 사용될 수 있다.
본 발명의 상이한 실시 형태에서, 전자 디바이스(218)와는 별개인 디바이스를 통해 피드백이 사용자에게 제공된다. 사용자에게 피드백을 제공하는 데 필요한 하나 이상의 자극 유닛들 및/또는 사용자 인터페이스들은 전자 디바이스(218)의 외부에 있을 수 있다. 일례로서, 하나 이상의 자극 유닛들 및/또는 사용자 인터페이스들은 전자 디바이스(219) 내부에 있을 수 있고, 전자 디바이스(219) 내부의 상기 자극 유닛들 및/또는 사용자 인터페이스들 중 하나 이상은 전자 디바이스(218)에 의해 제공되는 피드백 대신에 또는 그에 더하여 피드백을 제공하는 데 사용될 수 있다. 예들은 전자 디바이스(219)의 디스플레이 상에 보여지는 메시지들, 또는 전자 디바이스(219)에 내장된 오디오 서브시스템에 의해 발행되는 사운드 알람들을 포함할 수 있지만, 이들로 제한되지 않는다.
대안적으로, 피드백은 전자 디바이스(218)와 전자 디바이스(219) 둘 모두와는 별개이지만, 최소한 그들 디바이스들 중 적어도 하나로부터 데이터를 직접적으로 또는 간접적으로 수신하는 것이 가능한 디바이스를 통해 제공될 수 있다.
음식 섭취 이벤트에 즈음해서 또는 그 동안에 제공되는 피드백에 더하여 또는 그 대신에, 도 2 또는 도 3의 시스템은 또한 다수의 음식 섭취 이벤트들에 걸쳐 있을 수 있거나 특정 음식 섭취 이벤트 또는 음식 섭취 이벤트들의 세트에 상관되지 않을 수 있는 피드백을 제공할 수 있다. 그러한 피드백의 예들은, 음식 내용물 및 영양학적 정보, 이력 데이터 요약들, 장기간에 걸친 하나 이상의 추적된 파라미터들의 개관들, 하나 이상의 추적된 파라미터들의 진행, 개인화된 식이요법 코칭 및 조언, 유사한 프로파일을 갖는 동료들 또는 다른 사용자들에 비한 하나 이상의 추적된 파라미터들의 벤치마킹을 포함할 수 있지만, 이들로 제한되지 않는다.
발명을 실시하기 위한 구체적인 내용
본 발명의 하나의 특정 실시 형태에서, 전자 디바이스(218)는 사용자의 우세손(dominant hand)의 손목 또는 팔 둘레에 착용되는 팔찌 또는 손목밴드의 폼 팩터(form factor)의 착용가능한 디바이스이다. 전자 디바이스(219)는 모바일 폰이고, 중앙 프로세싱 및 저장 유닛(220)은 원격 위치에 위치되는 하나 이상의 컴퓨터 서버들 및 데이터 저장소이다.
본 발명의 양태들에 따른 착용가능한 팔찌 또는 손목밴드의 하나의 가능한 구현예가 도 7에 도시된다. 착용가능한 디바이스(770)는 선택적으로 모듈형 설계를 사용하여 구현될 수 있으며, 개별 모듈들은 컴포넌트들의 하나 이상의 서브세트들 및 전체 기능을 포함한다. 사용자는 그의 개인 선호도 및 요건들에 기초하여 특정 모듈들을 추가하도록 선택할 수 있다.
착용가능한 디바이스(770)는, 선택적으로 사용자들이 착용가능한 디바이스(770)의 기능의 서브세트를 커스터마이징할 수 있도록, 프로세서, 프로그램 코드 메모리 및 프로그램 코드 메모리에 저장되고/저장되거나 전자 디바이스(219) 내부에 저장되는 프로그램 코드(소프트웨어)를 포함할 수 있다.
착용가능한 디바이스(770)는 배터리(769) 및 전력 관리 유닛(Power Management Unit, "PMU")(760)에 의존하여 적절한 공급 전압 레벨들에서 전력을 모든 전자 회로들 및 컴포넌트들에 전달한다. 전력 관리 유닛(760)은 또한 배터리-재충전 회로부를 포함할 수 있다. 전력 관리 유닛(760)은 또한 사용 중이 아닐 때 특정 전자회로 회로들 및 컴포넌트들로의 전력이 차단되게 하는 스위치들과 같은 하드웨어를 포함할 수 있다.
진행 중인 거동 이벤트가 없을 때, 착용가능한 디바이스(770) 내의 대부분의 회로부 및 컴포넌트들은 전력을 절약하기 위해 스위치 오프된다. 거동 이벤트의 시작을 검출하기 위해 또는 예측하도록 돕기 위해 요구되는 회로부 및 컴포넌트들만이 인에이블된 채로 유지될 수 있다. 예를 들어, 어떠한 모션도 검출되지 않는 경우, 가속도계를 제외한 모든 센서 회로들은 스위치 오프될 수 있고 가속도계는 저전력 웨이크-온-모션(wake-on-motion) 모드에 또는 그의 고성능 활성 모드보다 더 적은 전력을 소모하는 다른 더 낮은 전력 모드에 놓일 수 있다. 프로세싱 유닛은 또한 전력을 절약하기 위해 저전력 모드에 놓일 수 있다. 모션 또는 소정 모션 패턴이 검출되는 경우, 가속도계 및/또는 프로세싱 유닛은 더 높은 전력 모드로 스위칭할 수 있고, 예를 들어, 자이로스코프 및/또는 근접 센서와 같은 추가의 센서들이 또한 인에이블될 수 있다. 이벤트의 잠재적 시작이 검출되는 경우, 제스처 유형들, 제스처 지속시간 등과 같은 이벤트-특정 파라미터들을 저장하기 위한 메모리 변수들이 초기화될 수 있다.
다른 예에서, 모션의 검출 시에, 가속도계는 더 높은 전력 모드로 스위칭되지만, 다른 센서들은 가속도계로부터의 데이터가 거동 이벤트의 시작이 발생할 가능성이 있음을 나타낼 때까지 스위치 오프된 상태로 유지된다. 그 시점에서, 자이로스코프 및 근접 센서와 같은 추가의 센서들이 인에이블될 수 있다.
다른 예에서, 진행 중인 거동 이벤트가 없을 경우, 가속도계 및 자이로스코프 둘 모두가 인에이블되지만, 가속도계 또는 자이로스코프 중 적어도 하나는 그들의 정규 전력 모드에 비해 더 낮은 전력 모드에 놓인다. 예를 들어, 샘플링 속도는 전력을 절약하기 위해 감소될 수 있다. 유사하게, 전자 디바이스(218)로부터 전자 디바이스(219)로 데이터를 전달하는 데 필요한 회로부는 더 낮은 전력 모드에 놓일 수 있다. 예를 들어, 무선 회로부(764)는 완전히 디스에이블될 수 있다. 유사하게, 전자 디바이스(218)로부터 전자 디바이스(219)로 데이터를 전달하는 데 필요한 회로부는 더 낮은 전력 모드에 놓일 수 있다. 예를 들어, 그것은 거동 이벤트의 가능한 또는 가능성있는 시작이 결정될 때까지 완전히 디스에이블될 수 있다. 대안적으로, 그것은 센서 데이터를 전달하지 않고 전자 디바이스(218)와 전자 디바이스(219) 사이의 연결을 유지하기 위해 다만 저 전력 상태에서 인에이블된 채로 유지될 수 있다.
또 다른 예에서, 가속도계를 포함하는 모든 모션-검출 관련 회로부는, 소정 메타-데이터에 기초하여, 음식 섭취 이벤트와 같은 특정 거동 이벤트의 발생이 거의 가능성이 없는 것으로 결정될 경우 스위치 오프될 수 있다. 이는 예를 들어, 전력을 추가로 절약하기 위해 바람직할 수 있다. 이러한 결정을 하기 위해 사용되는 메타-데이터는, 특히, 하루 중 시간, 위치, 주변광 레벨들, 근접성 감지, 및 착용가능한 디바이스(770)가 손목 또는 손으로부터 제거되었다는 검출, 착용가능한 디바이스(770)가 충전되고 있다는 검출 중 하나 이상을 포함할 수 있다. 메타-데이터는 착용가능한 디바이스(770) 내부에 생성 및 수집될 수 있다. 대안적으로, 메타-데이터는 모바일 폰 내부에 수집될 수 있거나, 착용가능한 디바이스(770)와 모바일 폰의 외부에 있고 모바일 폰 및/또는 착용가능한 디바이스(770)와 정보를 직접적으로 또는 간접적으로 교환할 수 있는 다른 디바이스 내부에 수집될 수 있다. 메타-데이터 중 일부는 착용가능한 디바이스(770) 내부에 생성 및 수집되는 반면 다른 메타-데이터는 착용가능한 디바이스(770) 외부에 있는 디바이스에 생성 및 수집되는 것이 가능하다. 메타-데이터의 일부 또는 전부가 착용가능한 디바이스(770)의 외부에 생성 및 수집되는 경우, 착용가능한 디바이스(770)는 주기적으로 또는 이따금 그의 무선 회로부(764)에 전력을 공급하여 모바일 폰 또는 다른 외부 디바이스로부터 메타-데이터 관련 정보를 검색할 수 있다.
본 발명의 또 다른 실시 형태에서, 소정 메타-데이터가, 예를 들어, 음식 섭취 이벤트와 같은 특정 거동 이벤트의 발생이 가능함을 나타내는 경우, 센서들 중 일부 또는 전부가 켜지거나 더 높은 전력 모드에 놓일 수 있다. 이러한 결정을 내리는 데 사용되는 메타-데이터는, 특히, 하루 중 시간, 위치, 주변광 레벨들 및 근접성 감지 중 하나 이상을 포함할 수 있다. 메타-데이터의 일부 또는 전부는 모바일 폰 내부에 수집될 수 있거나, 착용가능한 디바이스(770)와 모바일 폰의 외부에 있고 모바일 폰 및/또는 착용가능한 디바이스(770)와 정보를 직접적으로 또는 간접적으로 교환할 수 있는 다른 디바이스 내부에 수집될 수 있다. 메타-데이터의 일부 또는 전부가 착용가능한 디바이스(770)의 외부에 생성 및 수집되는 경우, 착용가능한 디바이스(770)는 주기적으로 또는 이따금 그의 무선 회로부(764)에 전력을 공급하여 모바일 폰 또는 다른 외부 디바이스로부터 메타-데이터 관련 정보를 검색할 수 있다.
예를 들어, 음식 섭취 이벤트와 같은 거동 이벤트의 시작의 검출은 착용가능한 디바이스(770) 상의, 또는 착용가능한 디바이스(770)가 연결된 모바일 폰 상의 이용가능한 사용자 인터페이스들 중 하나를 통해 사용자에게 신호될 수 있다. 일례로서, 착용가능한 디바이스(770) 내부의 햅틱 인터페이스(761)가 이러한 목적을 위해 사용될 수 있다. 다른 신호 방법들이 또한 가능하다.
예를 들어, 음식 섭취 이벤트와 같은 거동 이벤트의 시작의 검출은, 음식 섭취 이벤트의 일부분 동안 또는 전체 동안 사용자의 섭식 거동의 소정 양태들을 추적하기 위해 고전력 모드 또는 활성 모드에 놓이거나 유지될 센서들의 일부 또는 전부를 트리거할 수 있다. 하나 이상의 센서들은 거동 이벤트의 실제의 또는 거의 확실한 종료(거동 이벤트의 종료 간주(deemed end))가 검출될 때 또는 그 후의 어느 시점에 더 낮은 전력 모드에 놓일 수 있다. 대안적으로, 고정된 또는 프로그래밍가능한 기간 후에 하나 이상의 센서들이 전력 차단되거나 더 낮은 전력 모드에 놓이는 것이 또한 가능하다.
예를 들어, 사용자의 섭식 거동과 같은 사용자의 거동의 소정 양태들을 추적하는 데 사용되는 센서 데이터는 착용가능한 디바이스(770)의 메모리(766) 내부에 로컬로 저장될 수 있고, 착용가능한 디바이스(770) 내부의 프로세싱 유닛(767)을 사용하여 로컬로 프로세싱될 수 있다. 센서 데이터는 또한 추가 프로세싱 및 분석을 위해 무선 회로부(764)를 사용하여 모바일 폰 또는 원격 계산 서버로 전달될 수 있다. 프로세싱 및 분석 중 일부가 착용가능한 디바이스(770) 내부에서 로컬로 수행되고 다른 프로세싱 및 분석이 모바일 폰 상에서 또는 원격 계산 서버 상에서 수행되는 것이 또한 가능하다.
예를 들어, 음식 섭취 이벤트의 시작과 같은 거동 이벤트의 시작의 검출은 예를 들어, 카메라 모듈(751)과 같은 추가의 센서들 및 회로부의 전력 공급 및/또는 활성화를 트리거할 수 있다. 추가의 센서들 및 회로부의 전력 공급 및/또는 활성화는 음식 섭취 이벤트의 시작의 검출 또는 이후 어느 시점에 발생할 수 있다. 특정 센서들 및 회로부는 필요할 때 음식 섭취 이벤트 동안 특정 시간들에서만 턴 온될 수 있고, 그렇지 않으면 전력을 절약하기 위해 스위치 오프될 수 있다.
예를 들어, 카메라 모듈(751)은 다만 버튼(759)을 누르고 유지하는 것과 같은 명시적 사용자 개입 시에만 전력이 공급되거나 활성화되는 것이 또한 가능하다. 버튼(759)을 해제하는 것은 전력을 절약하기 위해 다시 카메라 모듈(751)을 턴 오프할 수 있다.
카메라 모듈(751)에 전력이 공급될 때, 투영식 광원(752)은 또한 카메라의 시야 내에 있는 영역에 대해 사용자에게 시각적 피드백을 제공하도록 인에이블될 수 있다. 대안적으로, 투영식 광원(752)은 단지 카메라 모듈이 활성화된 후의 어느 시점에서만 활성화될 수 있다. 소정 경우들에서, 투영식 광원(752)이 활성화되기 전에 추가의 조건들이 충족될 필요가 있을 수 있다. 그러한 조건들은, 특히, 투영식 광원(752)이 관심 객체의 방향으로 겨누고 있을 가능성이 있다는 결정, 또는 착용가능한 디바이스(752)가 과도하게 이동하고 있지 않다는 결정을 포함할 수 있다.
하나의 특정 구현예에서, 착용가능한 디바이스(770) 상의 버튼(759)을 부분적으로 누르는 것은 카메라 모듈(751) 및 투영식 광원(752)에 전력을 공급할 수 있다. 버튼(759)을 추가로 누르는 것은 카메라 모듈(751)이 하나 이상의 정지 이미지들 또는 하나 이상의 스트리밍 이미지들을 촬영하도록 트리거할 수 있다. 소정 경우들에서, 버튼(759)을 추가로 누르는 것은 이미지 캡처 전에 또는 그와 일치하여, 투영식 광원(752)의 비활성화, 수정된 휘도, 수정된 색상, 또는 수정된 패턴을 트리거할 수 있다. 버튼(759)의 해제는 투영식 광원(752) 및/또는 카메라 모듈(751)의 비활성화 및/또는 전력 차단을 트리거할 수 있다.
예를 들어, 이미지들은 카메라 초점 정보, 근접 센서(756)로부터의 근접성 정보, 주변광 센서(757)로부터의 주변광 레벨 정보, 타이밍 정보 등과 같은 추가의 정보 또는 메타-데이터로 태깅될 수 있다. 그러한 추가의 정보 또는 메타-데이터는 음식 섭취 데이터의 프로세싱 및 분석 동안 사용될 수 있다.
다양한 광 패턴들이 가능하고 다양한 방식들로 형성될 수 있다. 예를 들어, 그것은 투영식 광원(752)을 반사시키기 위한 미러 또는 메커니즘을 포함할 수 있어, 투영식 광원(752)이 하나 이상의 빛의 라인들을 생성하고, 십자형, L-형상, 원형, 직사각형, 다수의 점(dot)들 또는 선들과 같이 중심의 윤곽을 나타내거나 특정 영역의 테두리를 둘러, 시야를 테를 둘러 나타내거나 그렇지 않으면 시야에 대한 시각적 피드백을 사용자에게 제공한다.
하나 이상의 발광 다이오드(LED)들이 프로젝트 광원(752)으로서 사용될 수 있다. 가시광의 패턴은, 특히, 카메라의 위치를 조정하고, 관심 객체의 위치를 조정하고/하거나 관심 객체와 카메라 사이의 시선을 방해하고 있는 임의의 객체들을 제거하기 위해 사용자에 의해 사용될 수 있다.
투영식 광원(752)은 또한 다른 정보를 사용자에게 통신하는 데 사용될 수 있다. 일례로서, 전자 디바이스는 하나 이상의 근접 센서들로부터의 입력들을 사용할 수 있고, 카메라가 관심 객체로부터 적절한 거리 범위 내에 있는지 여부를 결정하기 위해 그러한 입력들을 프로세싱할 수 있고, 카메라가 적절한 거리 범위 내에 있다는 것, 사용자가 카메라와 관심 객체 사이의 거리를 증가시킬 필요가 있다는 것, 또는 사용자가 카메라와 관심 객체 사이의 거리를 감소시킬 필요가 있다는 것을 사용자에게 통신하기 위해 하나 이상의 광원들을 사용할 수 있다.
광원은 또한 주변광이 적절한 품질 이미지 캡처에 대해 불충분하거나 너무 강한 경우 사용자에게 통신하기 위해 주변광 센서와 조합하여 사용될 수 있다.
광원은 또한 낮은 배터리 상황 또는 기능적 결함을 포함하지만 이로 제한되지 않는 정보를 통신하는 데 사용될 수 있다.
광원은 또한 식이요법 코칭 정보를 통신하는 데 사용될 수 있다. 일례로서, 광원은, 특히, 이전 음식 섭취 이벤트 이후로 충분하지 않거나 너무 많은 시간이 지났는지를 나타낼 수 있거나, 또는 사용자에게 그/그녀가 특정 식이요법 목표들에 비해 어떻게 진행하고 있는지 통신할 수 있다.
하나 이상의 투영식 광원들을 사용하여 특정 메시지들을 전달하기 위한 시그널링 메커니즘들은 특정 광 세기들 또는 광 세기 패턴들, 특정 광 색상들 또는 광 색상 패턴들, 특정 공간적 또는 시간적 광 패턴들 중 하나 이상을 포함할 수 있지만, 이들로 제한되지 않는다. 다수의 메커니즘들이 또한 조합되어 하나의 특정 메시지를 신호할 수 있다.
마이크로폰(758)은 사용자에 의해 특정 또는 맞춤형 라벨들 또는 메시지들을 음식 섭취 이벤트 및/또는 이미지에 추가하는 데 사용될 수 있다. 오디오 스니펫(snippet)들은 음성 인식 엔진에 의해 프로세싱될 수 있다.
소정 실시 형태들에서, 가능하게는 다른 센서들과 조합된 가속도계는 음식 섭취 및/또는 섭식 거동에 직접 관련되는 적어도 하나의 파라미터를 추적하는 것에 더하여, 음식 섭취에 직접적으로 관련되지 않는 하나 이상의 파라미터들을 추적하기 위해 또한 사용될 수 있다. 그러한 파라미터들은, 특히, 활동, 수면 또는 스트레스를 포함할 수 있다.
내장형 카메라가 없는 특정 실시 형태들
상이한 실시 형태에서, 전자 디바이스(218)는 임의의 내장형 임의의 이미지 캡처 능력들을 가질 필요가 없다. 전자 디바이스(218)는 팔 또는 손목 둘레에 착용되는 팔찌 또는 손목밴드, 또는 손가락 둘레에 착용되는 링과 같은 착용가능한 디바이스일 수 있다. 전자 디바이스(219)는 모바일 폰일 수 있고, 중앙 프로세싱 및 저장 유닛(220)은 원격 위치에 위치되는 하나 이상의 계산 서버들 및 데이터 저장소일 수 있다.
그러한 실시 형태들에서, 음식 섭취 추적 및 피드백 시스템은 음식 섭취 및/또는 섭식 거동에 관한 정보를 추출하기 위해 이미지들을 사용하지 않을 수 있다. 대안적으로, 음식 섭취 추적 및 피드백 시스템은, 예를 들어, 전자 디바이스(219) 또는 그렇지 않으면 전자 디바이스(218) 외부에 있는 전자 디바이스와 같은 다른 디바이스들 내에서 이용가능한 이미지 캡처 능력들을 레버리지할 수 있다.
음식 섭취 이벤트의 시작의 검출 또는 예측 시에, 전자 디바이스(218)는 전자 디바이스(219)에, 또는 그렇지 않으면 이미지 캡처 능력들을 하우징하는 전자 디바이스에 음식 섭취 이벤트의 실제의, 거의 확실한 또는 임박한 시작이 발생했음을 나타내는 신호를 전송할 수 있다. 이는 전자 디바이스(219), 또는 그렇지 않으면 이미지 캡처 능력들을 하우징하는 전자 디바이스가 사용자로 하여금 그의 디폴트 모드 또는 대기 모드에 비해 적어도 하나의 더 적은 사용자 단계를 이용해 이미지를 캡처할 수 있게 하는 모드에 진입하도록 트리거할 수 있다.
일례로서, 이미지 캡처 능력들이 전자 디바이스(219) 내에 하우징되고 전자 디바이스(219)가 모바일 폰, 태블릿 또는 유사한 모바일 디바이스인 경우, 전자 디바이스(218)는 음식 섭취 이벤트의 실제의, 거의 확실한 또는 임박한 시작을 나타내기 위한 하나 이상의 신호들을 전자 디바이스(219) 상에 설치된 소프트웨어에 전송할 수 있다. 그러한 신호 또는 신호들을 수신할 때, 전자 디바이스(219) 상의 소프트웨어는, 특히, 하기 액션들 즉, 전자 디바이스(219)의 스크린을 잠금해제하고, 음식 섭취 및 피드백 서브시스템과 관련된 모바일 애플리케이션을 열고, 전자 디바이스(219)의 카메라 모드를 활성화하고, 사용자의 이미지 캡처를 돕기 위해 전자 디바이스(219)의 디스플레이에 통지를 푸시하고, 경보를 보내고, 리마인드하고/하거나 사용자의 이미지 캡처를 돕기 위해 전자 디바이스(218)에 메시지를 전송하는 것 중 하나 이상을 취할 수 있다.
전자 디바이스(219), 또는 그렇지 않으면 이미지 캡처 능력들을 하우징하고 있는 전자 디바이스에 의한 이미지 캡처 후에, 전자 디바이스(219), 또는 그렇지 않으면 이미지 캡처 능력들을 하우징하고 있는 전자 디바이스는 사용자에게 시각적 피드백을 제공할 수 있다. 시각적 피드백의 예들은 추천된 섭취 분량들을 보여주는 패턴, 형상 또는 오버레이(overlay), 또는 음식이 건강한 정도를 나타내기 위한 하나 이상의 색상들, 및/또는 하나 이상의 밝기 레벨들의 패턴, 형상 또는 오버레이 색조(shade)를 포함할 수 있다. 다른 예들이 또한 가능하다.
인슐린 요법 시스템과의 통합
본 발명에 제시된 음식 섭취 추적 및 피드백 시스템의 하나 이상의 컴포넌트들은 인슐린 요법 시스템에 인터페이스하거나 그와 통합될 수 있다. 하나의 특정 예에서, 음식 섭취 이벤트의 시작의 검출 시에, 착용자에게 피드백이 전송되어 그 또는 그녀가 포도당 레벨 측정을 취하고/하거나 적절한 투여량의 인슐린을 투여하도록 리마인드할 수 있다. 하나 이상의 추가의 리마인더들이 음식 섭취 이벤트의 과정에 걸쳐 전송될 수 있다.
본 발명에 기술된 음식 섭취 추적 및 피드백 시스템, 또는 그의 컴포넌트들은 또한 I형 당뇨병 또는 II형 당뇨병으로 진단된 환자들에 의해 사용될 수 있다. 예를 들어, 본 발명에 기술된 컴포넌트들은 사람이 섭식 또는 음용을 시작할 때를 자동으로 검출하기 위해 사용될 수 있다. 음식 섭취 이벤트의 시작의 검출은 음식 섭취 이벤트의 시작 시에 또는 그 즈음해서 메시지를 착용자에게 전송하여 그 또는 그녀에게 포도당 레벨 측정을 취하고/하거나 인슐린의 적절한 투여량을 투여하도록 리마인드할 수 있다. 메시징은 자동적이고 독립적일 수 있다. 대안적으로, 시스템은 웰니스 시스템 또는 건강관리 유지 및 리마인더 시스템과 통합될 수 있다. 웰니스 시스템 또는 건강관리 유지 및 리마인더 시스템은 음식 섭취 이벤트의 시작이 검출되었음을 통지받을 때, 메시지를 착용자에게 전송할 수 있다. 웰니스 시스템 또는 건강관리 유지 및 리마인더 시스템은 음식 섭취 이벤트에 관한 추가의 정보, 예컨대, 베어먹기들 또는 홀짝마시기들의 횟수, 섭취된 음식의 추정량, 식사의 지속시간, 섭식의 페이스 등을 수신할 수 있다. 웰니스 시스템 또는 건강관리 유지 및 리마인더 시스템은 추가의 정보에 기초하여 음식 섭취 이벤트 동안 또는 그 후에 착용자에게 추가의 메시지들을 전송할 수 있다.
다른 예에서, 음식 섭취의 내용물에 관한 특정 정보는 투여될 인슐린의 적절한 투여량을 계산하기 위해, 가능하게는 하나 이상의 다른 입력들과 조합되어 입력으로서 사용될 수 있다. 음식 섭취 내용물에 관한 정보는, 특히, 탄수화물의 양, 당의 양, 지방의 양, 섭취 분량, 및 고체 또는 액체와 같은 분자 식품 카테고리 중 하나 이상을 포함할 수 있다. 음식 섭취 및 섭식 패턴들 및 거동들과 관련된 실시간, 근실시간, 및 이력 정보는 인슐린 투여량의 계산을 위한 입력들 또는 파라미터들로서 포함될 수 있다.
인슐린 투여량들을 계산하기 위해 사용되는 알고리즘들에 대한 입력들 또는 파라미터들로서 사용될 수 있는 다른 입력들은, 특히, 연령, 성별, 체중, 이력 및 실시간 혈당 레벨들, 이력 및 실시간 활동, 수면 및 스트레스 레벨들, 생명 징후 정보 또는 개인의 신체적 또는 감정적 건강을 나타내는 다른 정보 중 하나 이상을 포함할 수 있다.
인슐린 투여량들의 계산은 사용자에 의해 완전히 수동으로 수행될 수 있거나, 폐쇄 루프 인슐린 요법 시스템에 의해 완전히 자율적으로 수행될 수 있거나, 또는 계산의 일부 또는 전체가 인슐린 요법 시스템에 의해 수행되지만 일부 사용자 개입이 여전히 요구되는 식으로 반자율적으로 행해질 수 있다. 사용자 개입은, 특히, 인슐린 요법 계산 유닛의 활성화, 투여량의 확인, 사용자가 이상을 검출 또는 식별하는 경우에 인슐린 전달을 중재하거나 중단시키는 것을 포함할 수 있다.
하나의 특정 실시 형태에서, 본 명세서에 기술된 음식 섭취 추적 및 피드백 시스템은, 음식 섭취 이벤트의 실제의, 거의 확실한 또는 임박한 시작의 검출 시에, 사용자에게 통지를 전송하는 것 외에도 또는 그 대신에, 사용자의 하나 이상의 보호자들에게 하나 이상의 통지들을 전송할 수 있다.
음식 섭취 이벤트의 시작 시에, 사용자는 선택적으로 시스템으로부터 또는 보호자로부터의 통지 또는 신호에 의해, 음식 또는 식사의 하나 이상의 이미지들을 하나 이상의 보호자에게 보내도록 촉구될 수 있다. 보호자는 이미지들을 분석하고 음식의 내용물에 관한 정보를 다시 사용자에게 전송할 수 있다. 정보는, 특히, 예를 들어, 탄수화물, 당 또는 지방과 같은 소정의 다량-영양소 함량, 칼로리 값의 추정, 섭취 분량에 대한 조언을 포함할 수 있다.
사용자가 인슐린 요법 중인 경우, 예를 들어, 혈당 레벨 판독치들과 같은 추가의 정보가 또한 보호자에게 전송될 수 있고, 보호자에 의해 사용자에게 다시 제공되는 정보는 투여될 인슐린 투여량, 및 그러한 인슐린 투여량 또는 투여량들이 투여되어야 할 타이밍에 대한 조언을 포함할 수 있다. 소정 구현예들에서, 보호자는 사람이 아닐 수 있고, 인공 지능형 시스템일 수 있다.
제스처 인식
본 명세서에 기술된 다양한 시스템들에서, 제스처 정보의 정확한 결정이 중요할 수 있다. 예를 들어, 대화와 연결된 제스처 대 섭식 이벤트 기간의 시작을 신호하는 제스처 사이를 구별하는 것이 유용할 것이다. 걷는 동안 팔을 흔드는 제스처이고, 그에 따라 걸음들의 페이스 및 횟수를 측정하는 것과 같은 일부 제스처들은 검출하기 쉬울 수 있지만, 사용자가 음식을 베어물기하고, 음료를 마시고, 그들의 손발톱을 깨무는 것 등을 하는 때를 결정하는 것과 같은 다른 제스처들은 더 어려울 수 있다. 후자는 전조 거동들을 평가하는 데 유용할 수 있다. 예를 들어, 건강 유지 및 리마인더 시스템이 손톱 깨물기 제스처들의 패턴을 검출하고, 이어서, 5분 내지 10분 후에 스트레스 섭식과 연관된 제스처들을 검출한다고 가정한다. 사용자는 손톱 깨물기가 있고 2분 후에 그들에게 신호하도록 그들의 건강 유지 및 리마인더 시스템을 프로그래밍할 수 있어, 사용자가 그렇지 않으면 인지되지 않고 지나갔을 그들의 거동을 자각하고 보다 더 조화를 이루도록 한다. 이와 같이 진행되려면, 제스처 검출은 정확하고 신뢰성있어야 한다. 이는, 말하자면, 착용가능한 팔찌에서의 가속도계의 움직임과 스트레스 섭식 사이의 단순한 상관관계가 없는 경우에서 문제가 될 수 있다. 이에 대한 이유의 일부는 건강 유지 및 리마인더 시스템의 관심대상이 되는 제스처들이 단순한 센서 판독치로부터 쉽게 도출되지 않기 때문이다.
사용자가 음식을 베어먹기하고 있거나 음료를 홀짝마시기하고 있는지 여부를 결정할 수 있고, 홀짝마시기로부터 베어먹기를 구별할 수 있는 것은 적절한 체중 관리 안내를 제공하는 데 유용할 수 있다. 예를 들어, 체중 관리 모니터링 및 리마인더 시스템은 제스처들로부터 사용자의 음식 섭취 이벤트들을 모니터링할 수 있다. 체중 관리 모니터링 및 리마인더 시스템은 또한 제스처들로부터 사용자의 수분 섭취 이벤트들을 모니터링할 수 있다. 연구에 의하면, 식사 시작 시에 또는 식사의 시작에 즈음하여 충분한 물을 마시고 식사 전체에 걸쳐 추가로 충분히 음용하는 것이 음식 섭취를 감소시키고 체중 감량에 도움이 된다는 것을 보여주었다. 사용자, 사용자의 코치, 사용자의 의료 제공자, 또는 체중 관리 모니터링 및 리마인더 시스템의 제공자는 사용자가 음용하지 않고 섭식하기 시작하거나 사용자가 식사 전체에 걸쳐 충분히 음용하지 않음을 검출할 경우 리마인더를 전송하도록 시스템을 프로그래밍할 수 있다. 시스템은 또한 하루 종일 사용자의 수분 섭취를 모니터링할 수 있고, 수분 섭취의 레벨이 특정 시간에 대해 미리구성된 레벨을 충족시키지 않으면 리마인더들을 전송하도록 프로그래밍될 수 있다. 이와 같이 진행되려면, 제스처 검출은 신뢰성 있고 정확해야 한다. 예를 들어, 이는 음용 제스처로부터 섭식 제스처를 구별하는 것과 같이, 유사성이 많은 제스처들을 구별하는 것이 필요한 경우에서 문제가 될 수 있다.
본 명세서에 기술된 다양한 실시 형태들에서, 프로세싱 시스템(프로그램 코드, 로직, 하드웨어, 및/또는 소프트웨어 등을 포함함)은 사용자의 활동들에 기초하여 전자 디바이스들 또는 다른 요소들에 의해 생성된 센서 데이터를 취한다. 센서 데이터는 특정 시간에서의 판독치의 스냅샷을 나타낼 수 있거나, 또는 소정 시간 범위에 걸친 판독치들을 나타낼 수 있다. 센서들은 가속도계들, 자이로스코프들, 자력계들, 온도계들, 광 계측기들 등일 수 있다. 센서 데이터로부터, 프로세싱 시스템은 저장된 규칙들 및 내부 데이터(예컨대, 어떤 센서들이 사용되는지와 과거 사용 히스토리에 관한 정보)를 사용하여 거동 이벤트들을 식별하며, 거동 이벤트는 제스처들의 시퀀스이고 제스처들은 시작 시간, 센서 판독치들, 및 종료 시간을 갖는 센서 데이터의 논리적 배열, 및 외부 데이터로부터 결정된다. 거동 이벤트는 식사를 섭식하는 것 등과 같은 상위 레벨 이벤트일 수 있다.
제스처들의 경계들, 즉 그들의 시작 시간 및 종료 시간의 결정은 본 명세서에 기술된 방법들을 사용하여 결정될 수 있다. 함께, 시작 시간, 센서 판독치들, 및 종료 시간의 데이터는 본 명세서에서 제스처 엔벨로프(envelope)로 지칭된다. 제스처 엔벨로프는 또한, 그 제스처 엔벨로프와 연관된 단일 시간을 정의하는 데이터 요소인 앵커(anchor) 시간을 포함할 수 있다. 앵커 시간은 시작 시간과 종료 시간 사이의 중간점일 수 있지만, 제스처 엔벨로프의 센서 데이터에 기초한 일부 기준에 기초할 수 있다. 앵커 시간은 시작 시간으로부터 종료 시간까지의 시간 범위 밖에 있을 수 있다. 제스처당 다수의 앵커 시간들이 또한 가능하다.
기계 분류기는 프로세싱 시스템의 일부로서(그러나, 또한 별개의 컴퓨터 시스템일 수 있고, 가능하게는 일부 종류의 네트워크에 의해 분리될 수 있음), 제스처 엔벨로프로부터, 어떤 제스처의 부류가 그러한 제스처 엔벨로프의 센서 데이터 및 제스처의 세부사항들을 생성했을지를 결정한다. 예를 들어, 기계 분류기는 센서 데이터가 센서들을 포함하는 팔찌를 착용한 사람이 걷고 있거나, 섭식을 위해 베어먹기하고 있거나, 또는 어떤 것을 가리키고 있음을 나타내거나 시사한다고 출력할 수 있다.
그러한 시스템에 의해, 제스처들이 정확하게 분별될 수 있다면, 건강 유지 및 리마인더 시스템(또는 제스처 정보를 사용하는 다른 시스템)은 행해진 제스처들에 정확하게 응답할 수 있다. 하기에 기술되는 예에서, 기계 분류 시스템을 훈련시키는 것으로부터 도출된 규칙들 및 저장된 데이터를 고려하여, 센서 판독치들로부터 제스처 데이터를 출력하는 기계 분류 시스템에 결합된, 센서들의 세트, 또는 적어도 센서들의 세트로부터의 입력들이 있다. 훈련 서브시스템이 기계 분류 시스템을 훈련시켜 그에 의해 훈련으로부터 도출된 저장된 데이터를 형성하는 데 사용될 수 있다. 이들 컴포넌트들 각각은 별개의 하드웨어, 또는 공유 하드웨어를 사용할 수 있고, 로컬화되고/되거나 원격일 수 있다. 일반적으로, 제스처가 검출되는 경우, 시스템은 그 제스처를 분석하고, 아마도 실제의, 거의 확실한 또는 임박한 활동들을 결정할 수 있고, 그러한 활동들에 대해 사용자 피드백을 제공할 수 있다. 예를 들어, 사용자가 이전에 시스템을 45분 초과의 반연속적 기간 동안 음용하고 있으면 사용자에게 경보를 주도록 설정했거나, 또는 사용자가 한 세션에서 행해질 걷기의 양에 대해 그들의 목표에 도달했음을 나타내기 위한 피드백 신호로서의 진동이 있다.
도 8은 전형적인 기계 분류 시스템의 예시적인 예이다. 도 8의 기계 분류 시스템은 훈련 서브시스템(801) 및 검출기 서브시스템(802)을 포함한다. 본 발명의 일부 실시 형태들에서, 기계 분류 시스템은 추가의 서브시스템들 또는 도 8에 도시된 서브시스템들의 수정된 버전들을 포함할 수 있다. 훈련 서브시스템(801)은 훈련된 분류기 모델(805)을 훈련시키기 위해 훈련 데이터 입력들(803) 및 라벨들(804)을 사용한다. 라벨들(804)은 사람에 의해 수동으로 할당되었을 수 있거나, 자동으로 또는 반자동으로 생성되었을 수 있다. 이어서, 훈련된 분류기 모델(805)이 검출기 서브시스템(802)에 사용되어, 새로운 라벨링되지 않은(unlabeled) 데이터 입력에 대응하는 분류 출력(806)을 생성한다.
저장된 센서 데이터는 시간적 컴포넌트들을 포함한다. 원시 센서 판독치들은 그들의 판독 시간으로 태깅된다. 원시 센서 데이터는 가속도계들, 자이로스코프들, 자력계들, 온도계들, 기압계들, 습도 센서들, ECG 센서들 등으로부터 도출될 수 있고, 시간적 데이터는 다른 소스들로부터 올 수 있다. 시간적 소스들의 다른 예들은 오디오, 음성 또는 비디오 기록들일 수 있다.
본 발명의 적어도 하나의 실시 형태에 따른 훈련 서브시스템(801) 및 검출기 서브시스템(802)의 예시적인 예들이 도 9 및 도 10에 각각 도시되어 있다. 시간적 훈련 데이터(907) 및 라벨들(912)은 도 8의 분류기 훈련 서브시스템에 공급된다.
본 명세서의 예들에서 설명되는 바와 같이, 원시 센서 데이터는 매크로 서명 이벤트들을 식별하기 위해 프로세싱된다. 매크로 시그니처 이벤트들은 일정 기간 동안의 센서 데이터를 포함하는 제스처들을 한정할 수 있다. 검출기 서브시스템 또는 다른 시스템은 시작 시간, 종료 시간, 하나 이상의 앵커 시간들, 시작 시간으로부터 종료 시간까지 그 제스처의 시간 엔벨로프 내에서 발생된 메타데이터 및 센서 데이터를 포함하는 제스처 엔벨로프 데이터세트를 생성할 수 있다.
예를 들어, 제스처 인식 문제의 경우에, 제스처 엔벨로프 검출기는 가능한 제스처를 나타내는 원시 시간 데이터 내의 특정 시간 세그먼트들을 식별할 수 있다. 제스처 엔벨로프 검출기는 또한 제스처 내의 관련 시간들 또는 시간의 세그먼트들을 특정하는 시간 엔벨로프를 생성한다. 시간 엔벨로프에 포함된 정보는, 특히, 제스처의 시작 시간, 제스처의 종료 시간, 관련 제스처 서브-세그먼트들을 특정하는 제스처 내의 시간 또는 시간들, 관련 제스처 앵커 시간들(포인트들)을 특정하는 제스처 내의 시간 또는 시간들 및 가능하게는 다른 메타데이터, 및 제스처의 시간 엔벨로프 내로부터의 원시 센서 데이터를 포함할 수 있다.
다른 메타데이터의 예로서, 이력 패턴들이 착용자가 특정 전화 번호로부터의 전화 통화에 이어서 섭식 세션을 가질 것임을 시사한다고 가정한다. 전자 디바이스는 이러한 상태에 대해 착용자에게 신호하여, 패턴의 의식적 자각을 제공할 수 있으며, 이는 착용자가 그렇게 결정할 경우 거동을 변경하도록 도울 수 있다.
시간적 훈련 데이터(907)는 제스처 엔벨로프 검출기(908) 내로 공급된다. 제스처 엔벨로프 검출기(908)는 시간적 훈련 데이터(907)를 프로세싱하고, 시간적 훈련 데이터(907)로부터 제스처들(909)의 가능한 인스턴스들 및 대응하는 제스처 시간 엔벨로프를 식별한다. 시간적 훈련 데이터(907)는 모션 센서 데이터를 포함할 수 있고, 제스처 엔벨로프 검출기(908)는 모션 센서 데이터를 프로세싱하고 피치각의 변화에 기초하여 제스처들(909)을 식별할 수 있다. 일 실시 형태에서, 제스처 엔벨로프 검출기(908)는 특정된 값 위로의 피치각의 상승의 검출에 기초하여 제스처의 시작을 검출할 수 있고, 특정된 값 아래로 떨어지는 피치각에 기초하여 이벤트의 종료를 검출할 수 있다. 다른 시작 및 종료 기준들이 또한 가능하다. 제스처 엔벨로프 검출기(908)에 의해 검출되고 제스처 시간 엔벨로프에 의해 특정될 수 있는 앵커 포인트들의 예는 피치각이 최대치에 도달할 때의 제스처 세그먼트 내의 시간일 것이다. 앵커 포인트들의 다른 예들이 또한 가능하다.
제스처 엔벨로프 검출기(908)는 세그먼트를 유효 제스처로서 추가로 검증하기 위한 추가의 기준들을 추가할 수 있다. 예를 들어, 임계치가 세그먼트 내의 피크 피치각 또는 평균 피치각에 대해 특정될 수 있다. 다른 예에서, 최소 한계 및/또는 최대 한계가 전체 세그먼트 지속시간 동안 또는 전체 세그먼트 내의 서브-세그먼트들의 지속시간 동안 특정될 수 있다. 다른 기준들이 또한 가능하다. 히스테리시스가 잡음 지터들에 대한 민감도를 감소시키기 위해 채용될 수 있다.
본 발명의 다른 실시 형태들에서, 제스처 엔벨로프 검출기(908)는 시간적 훈련 데이터(907)를 제공하는 입력으로부터 도출된 다른 메트릭들을 모니터링하고 그러한 메트릭들을 사용하여 제스처들을 검출할 수 있다. 다른 메트릭들의 예들은 롤 각, 요(yaw), 1차 또는 더 높은 차수의 도함수, 또는 모션 센서 데이터의 1차 또는 더 높은 차수의 적분을 포함하지만 이들로 제한되지 않는다. 시간적 데이터는 모션 센서 데이터 이외의 데이터일 수 있거나 이를 포함할 수 있다. 본 발명의 일부 실시 형태들에서, 제스처 엔벨로프 검출기(908)는 제스처들을 검출하기 위해 또는 제스처 시간 엔벨로프를 특정하기 위해 다수의 메트릭들을 모니터링하고 사용할 수 있다.
시간적 훈련 데이터(907)와 조합된 제스처 시간 엔벨로프 정보와 함께 제스처들(909)이 특징 생성기 모듈(910) 내로 공급된다. 특징 생성기 모듈(910)은 시간적 훈련 데이터(907)로부터의 정보, 제스처 시간 엔벨로프, 또는 시간적 훈련 데이터(907)로부터의 정보와 제스처 시간 엔벨로프의 조합을 사용하여 하나 이상의 제스처 특징들을 계산한다. 본 발명의 일부 실시 형태들에서, 특징 생성기 모듈(910)은 제스처 시간 엔벨로프 내에 속하는 시간 세그먼트 내의 또는 그 동안의 시간적 훈련 데이터(907)로부터 하나 이상의 제스처 특징들을 계산한다. 또한, 특징 생성기 모듈(910)이 제스처 시간 엔벨로프 내에 속하지 않거나 제스처 시간 엔벨로프 내에 단지 부분적으로 속하지만 여전히 제스처 시간 엔벨로프에 관련되는 시간 세그먼트 내의 또는 그 동안의 시간적 훈련 데이터(907)로부터 하나 이상의 제스처 특징들을 계산하는 것이 또한 가능하다. 일례는 제스처 시간 엔벨로프의 시작 직전의 시간 기간에 걸치거나, 또는 제스처 시간 엔벨로프의 종료 직후의 시간 기간에 걸친 시간적 훈련 데이터(907)로부터 계산되는 제스처 특징일 것이다.
일부 실시 형태들에서, 특징 생성기 모듈(910)은 시간적 훈련 데이터(907)를 사용하지 않고 직접적으로 제스처 시간 엔벨로프 정보에 기초하여 하나 이상의 특징들을 생성할 수 있다. 그러한 특징들의 예들은 제스처 시간 엔벨로프의 총 지속시간, 최종의 이전 제스처 이후의 경과 시간, 다음 제스처까지의 시간, 또는 전체 제스처 시간 엔벨로프 또는 이벤트 시간 엔벨로프 내의 특정 서브-세그먼트들의 지속시간들을 포함할 수 있지만, 이들로 제한되지 않는다.
일 실시 형태에서, 시간적 훈련 데이터(907)는 모션 센서 데이터일 수 있고, 특징들은 제스처 시간 엔벨로프의 내부 또는 주위에 있는 하나 이상의 서브-세그먼트들 내에서, 또는 그 동안 계산된 피치, 롤 및/또는 요의 판독을 포함할 수 있다. 특징들은 또한 최소, 최대, 평균, 분산, 1차 또는 더 높은 차수의 도함수, 제스처 시간 엔벨로프의 내부 또는 주위에 있는 하나 이상의 서브-세그먼트들 내에서 또는 그 동안 계산된 다양한 모션 센서 데이터 입력들의 1차 또는 더 높은 차수의 적분들을 포함할 수 있다. 특징들은 또한 제스처 시간 엔벨로프의 내부 또는 주위에 있는 하나 이상의 서브-세그먼트들 내에서 또는 그 동안 계산된, 특정 센서 축을 따라 또는 특정 방향으로 이동된 거리를 포함할 수 있다.
시간적 훈련 데이터(907)는 본 명세서에 기술된 센서들 중 하나 이상으로부터의 센서 신호들과 같은, 모션 센서 데이터 이외의 데이터일 수 있거나 이를 포함할 수 있다. 특징 생성기 모듈(910)이 그 내에서 또는 그 동안 특징들을 계산하는 서브-세그먼트들은 제스처 시간 엔벨로프에 의해 특정된 시점들 또는 시간 세그먼트들에 기초하여 선택될 수 있다. 서브-세그먼트들은 또한, 예를 들어, 인접한 제스처들 또는 인접하지 않을 수 있지만 그렇지 않으면 매우 근접해 있는 제스처들과 같은, 다수의 제스처 엔벨로프들로부터의 시점들 또는 시간 세그먼트들에 기초하여 선택될 수 있다.
일부 실시 형태들은 복수의 제스처 엔벨로프 검출기들을 병렬로 또는 다른 방식으로 사용할 수 있다. 병렬 제스처 엔벨로프 검출기들은 센서 데이터의 상이한 서브세트 상에서 동작할 수 있고, 제스처들 등을 검증하기 위해 상이한 임계치들 또는 기준들을 사용할 수 있다. 예를 들어, 모션 센서 데이터 입력들에 기초한 제스처 인식의 경우에, 하나의 제스처 엔벨로프 검출기가 피치각을 사용할 수 있는 반면, 제2의 병행 제스처 엔벨로프 검출기는 롤 각을 사용할 수 있다. 제스처 엔벨로프 검출기들 중 하나는 일차 제스처 엔벨로프 검출기일 수 있는 반면, 하나 이상의 추가의 제스처 엔벨로프 검출기들은 이차 제스처 엔벨로프 검출기로서의 역할을 할 수 있다. 특징 생성 로직은 일차 제스처 엔벨로프 검출기에 의해 생성된 제스처들을 프로세싱할 수 있지만, 하나 이상의 이차의 병렬 엔벨로프 검출기들로부터 획득된 (시간적으로) 근접한 제스처들의 제스처 시간 엔벨로프들로부터의 정보를 사용하여 도출된 특징들을 통지할 수 있다.
훈련 데이터는, 수동으로, 시험 환경에서, 또는 일부 다른 방식으로 제공되는, 제스처를 표현하는 연관 라벨(예컨대, 제스처 라벨들의 목록으로부터의 선택)을 각각 갖는 복수의 제스처 엔벨로프 데이터세트를 포함할 수 있다. 연관 라벨들을 갖는 이러한 훈련 데이터는 기계 분류기를 훈련시키는 데 사용될 수 있어서, 이후에 미지의 제스처의 제스처 엔벨로프를 프로세싱하고 그 제스처 엔벨로프와 가장 적절하게 매칭되는 제스처 라벨을 결정할 수 있다. 사용되는 분류 방법에 따라, 훈련 세트는 정제될 수 있지만, 그렇지 않으면 원시 데이터일 수 있거나(비지도 분류), 또는 정제된, 그러나 그렇지 않으면 원시 데이터로부터 도출된 특징들의 세트일 수 있다(지도(supervised) 분류).
분류 방법에 관계 없이, 각각의 라벨에 대한 적절한 데이터 경계들을 정의하는 것은 분류기의 성능에 중요하다. 적절한 데이터 경계들을 정의하는 것은 시간적 문제들, 즉 데이터 입력들 중 적어도 하나가 그와 연관된 시간 차원을 갖는 문제들의 경우에 어려울 수 있다. 이는 특히 시간 차원이 가변적이거나 동적이고 가변 시간 엔벨로프의 특정 세그먼트들에 상관되거나 전체 가변 시간 엔벨로프에 상관된 특징들이 분류기의 성능에 실질적으로 기여하는 경우 특히 그러하다.
그러한 시간적 문제의 일례는, 예를 들어, 원시 모션 센서 데이터로부터의 섭식 또는 음용 제스처의 검출과 같은 제스처 인식이다. 베어먹기 또는 홀짝마시기의 지속시간은 사람마다 다를 수 있고, 식사 시나리오 또는 섭취 중인 음식들의 세부사항들에 의존할 수 있다.
특징 생성기 모듈(910)의 출력은 대응하는 시간 엔벨로프 및 특징들을 갖는 제스처들(911)의 세트이다. 제스처들(911)이 분류기 훈련 모듈(915) 내로 공급될 수 있기 전에, 훈련 데이터세트로부터의 라벨들(912)이 그들의 대응하는 제스처로 맵핑될 필요가 있다. 이러한 맵핑 동작은 라벨 맵핑 모듈(913)에 의해 수행된다.
일부 실시 형태들에서, 라벨들(912)과 연관된 타임스탬프들은 항상 그들의 대응하는 제스처의 시간 엔벨로프 내에 속한다. 그 경우에, 라벨 맵핑 모듈(913)의 로직은 룩업(look up)으로서, 각각의 라벨의 타임스탬프가 각각의 제스처 시간 엔벨로프의 시작 시간 및 종료 시간과 비교되고, 각각의 라벨이 라벨의 타임스탬프가 각자의 제스처 시간 엔벨로프의 시작 시간보다 크고 각자의 제스처 시간 엔벨로프의 종료 시간보다 작은 제스처에 맵핑된다. 대응하는 라벨이 없는 제스처들은 "네거티브"로 라벨링될 수 있는데, 이는 그것이 임의의 관심 라벨들에 대응하지 않음을 나타낸다.
그러나, 본 발명의 다른 실시 형태들에서, 라벨들(912)의 타임스탬프가 항상 제스처 시간 엔벨로프 내에 속하는 것은 아닐 수 있다. 이는 라벨링 프로세싱 동안 이어지는 절차들의 상세사항들, 라벨링 프로세스와 연관된 타이밍 불확실성, 실제 원시 데이터 입력에서의 예측 불가능성 또는 가변성, 또는 제스처 엔벨로프 검출기 로직의 아티팩트에 기인할 수 있다. 그러한 경우들에서, 라벨 맵퍼는 제스처 엔벨로프들의 경계들을 조정하도록 수정될 수 있다.
이어서, 특징들 및 라벨에 의해 특징지어지는 제스처들(914)이 분류기 훈련 모듈(915) 내로 공급되어 검출기 서브시스템에 의해 사용될 수 있는 훈련된 통계 모델을 생성할 수 있다. 분류기 훈련 모듈(915)은 결정 트리 모델, K-최근접 이웃 모델, 지지 벡터 기계 모델, 신경망 모델, 로지스틱 회귀 모델 또는 기계 분류에 적합한 다른 모델과 같은 통계적 모델을 사용할 수 있다. 다른 변형예들에서, 도 9에서와 같이, 사용된 데이터의 테이블들 및 데이터 포맷들의 구조들은 다양할 수 있고 도 9에 도시된 것과 상이할 수 있다.
도 10은 검출기 서브시스템(802)의 예시적인 예를 도시한다. 거기에 도시된 바와 같이, 라벨링되지 않은 시간적 데이터(1017)가 도 10의 검출기 서브시스템 내로 공급된다. 검출기 서브시스템은 제스처 엔벨로프 검출기 로직(1018) 및 특징 생성기 로직(1020)을 포함한다. 기능적으로, 검출기 서브시스템에 의해 사용되는 제스처 엔벨로프 검출기 로직(1018)은 그의 대응하는 훈련 서브시스템에 의해 사용되는 제스처 엔벨로프 검출기 로직과 유사하다. 마찬가지로, 검출기 서브시스템의 특징 생성기 로직(1020)은 그의 대응하는 훈련 서브시스템의 특징 생성기 모듈(910)과 기능적으로 유사하다. 일부 실시 형태들에서, 제스처 엔벨로프 검출기 로직(1018)은 제스처들을 검출하기 위해, 또는 제스처 시간 엔벨로프를 특정하기 위해 다수의 메트릭들을 모니터링하고 사용할 수 있다.
그러나, 제스처 엔벨로프 검출기 로직(1018) 및 특징 생성기 로직(1020)의 구현예는 훈련 서브시스템 및 그의 대응하는 검출기 서브시스템에서 상이할 수 있다. 예를 들어, 검출기 서브시스템은 더 전력-제약된 하드웨어로 구현될 수 있으며, 이 경우에 제스처 엔벨로프 검출기 로직(1018)은 대응하는 훈련 서브시스템에 사용되는 그의 대응부에 비해 더 낮은 전력 동작을 위해 최적화될 필요가 있을 수 있다. 검출기 서브시스템은 또한 훈련 시스템과 비교하여 더 엄격한 레이턴시 요건을 가질 수 있다. 이러한 경우인 경우, 검출기 서브시스템에 사용되는 제스처 엔벨로프 검출기 로직(1018)은 대응하는 훈련 서브시스템에 사용되는 그의 대응부에 비해 더 낮은 레이턴시를 위해 설계 및 구현될 필요가 있을 수 있다.
특징 생성기 로직(1020)의 출력이 검출기 로직(1022) 내로 공급되고, 이는 훈련된 분류기 모듈에 기초하여 제스처를 그의 대응하는 훈련 서브시스템으로부터 분류한다. 분류 출력은 하나 이상의 라벨들을 포함할 수 있다. 선택적으로, 검출기(1022)는 또한 각각의 라벨에 신뢰도 레벨을 할당할 수 있다.
시간적 및 비-시간적 데이터 입력들의 조합에 대한 분류
다른 실시 형태에서, 분류 시스템 내로의 입력들은 시간적 데이터와 비-시간적 데이터의 조합을 포함할 수 있다. 도 11은 데이터 입력들 중 적어도 일부가 시간적이고 데이터 입력들 중 적어도 일부가 비-시간적인, 본 발명의 적어도 하나의 실시 형태에 따른 훈련 서브시스템의 예시적인 예이다. 다른 구현예들이 또한 가능하다.
비-시간적 훈련 데이터(1129)는 제스처 엔벨로프 검출기(1125) 및 특징 생성기 로직(1127)에 의해 프로세싱될 필요가 없다. 비-시간적 훈련 데이터(1129)는 라벨들(1131)과 함께 라벨 맵퍼 로직(1132) 내로 직접 공급될 수 있다. 일부 실시 형태들에서, 비-시간적 훈련 데이터는 별개의 특징 생성기 모듈, 비-시간적 특징 생성기 모듈(1130)에 의해 프로세싱되어, 관심 대상의 특정 비-시간적 특징들을 추출할 수 있으며, 이들은 이어서 라벨 맵퍼 로직(1132) 내로 공급된다. 라벨 맵퍼 로직(1132)은 본 명세서에 기술된 라벨들을 제스처들에 맵핑하기 위한 방법들과 유사한 방법들을 사용하여, 라벨(1131)들을 라벨에 부착되는 비-시간적 특징들(1136)과 함께 제스처들에 할당할 수 있다.
도 12는 데이터 입력들 중 적어도 일부가 시간적이고 데이터 입력들 중 적어도 일부가 비-시간적인, 본 발명의 적어도 하나의 실시 형태에 따른 분류 검출기 서브시스템의 예시적인 예이다.
시간적 데이터 입력들의 비지도 분류
본 발명의 또 다른 실시 형태에서, 딥 러닝 알고리즘들이 기계 분류를 위해 사용될 수 있다. 딥 러닝 알고리즘들을 사용하는 분류는 때때로 비지도 분류로 지칭된다. 비지도 분류에 의해, 통계적 딥 러닝 알고리즘들은 직접적으로 데이터의 프로세싱에 기초하여 분류 작업을 수행하며, 그에 의해 특징 생성 단계에 대한 필요성을 없앤다.
도 13은 분류기 훈련 모듈이 비지도 분류를 위한 통계적 딥 러닝 알고리즘들에 기초하는, 본 발명의 적어도 하나의 실시 형태에 따른 분류기 훈련 서브시스템의 예시적인 예를 도시한다.
제스처 엔벨로프 검출기(1349)는 시간적 훈련 데이터(1348)로부터 대응하는 제스처 시간 엔벨로프들을 갖는 제스처들(1350)을 계산한다. 데이터 분할기(1351)는 제스처 시간 엔벨로프에서의 정보에 기초하여 각각의 제스처에 적절한 데이터 세그먼트 또는 데이터 세그먼트들을 할당한다. 일례로서, 데이터 분할기(1351)는 제스처 시간 엔벨로프에서 시작 및 종료 시간 정보를 검색할 수 있고, 전체 제스처 지속시간에 대응하는 하나 이상의 데이터 세그먼트들을 할당할 수 있다. 이는 단지 일례이다. 데이터 세그먼트들은 제스처 시간 엔벨로프에 의해 정의되는 상이한 세그먼트들 또는 서브-세그먼트들에 기초하여 선택될 수 있다. 데이터 세그먼트들은 또한 제스처 시간 엔벨로프의 외부에 있지만 제스처 시간 엔벨로프와 직접적으로 또는 간접적으로 관련되는 시간 세그먼트들에 기초하여 선택될 수 있다. 일례는 제스처 시간 엔벨로프의 시작 직전의 기간에 대응하는 데이터 세그먼트들의 선택, 또는 제스처 시간 엔벨로프의 종료 직후의 기간에 대응하는 데이터 세그먼트들의 선택일 수 있다. 제스처 시간 엔벨로프 외부에 있지만 제스처 시간 엔벨로프와 직접적으로 또는 간접적으로 관련되는 시간 세그먼트들의 다른 예들이 또한 가능하다.
데이터 세그먼트들, 제스처 시간 엔벨로프 정보 및 라벨들을 포함하는 제스처들이 분류기 훈련 모듈(1356) 내로 공급된다. 본 발명의 일부 실시 형태들에서, 제스처 시간 엔벨로프 정보의 서브세트만이 분류기 훈련 모듈(1356) 내로 공급될 수 있다. 본 발명의 일부 실시 형태들에서, 제스처 시간 엔벨로프 정보는 분류기 훈련 모듈(1356)에 적용되기 전에 프로세싱될 수 있다. 일례는 원래의 시간적 훈련 데이터 스트림의 시간 베이스와 정렬하기보다는, 데이터 세그먼트의 시작과 정렬하는 제스처 시간 엔벨로프의 시간 참조를 행하는 것일 수 있다. 다른 예들이 또한 가능하다. 데이터 세그먼트들을 추가로 특성화하는 시간 엔벨로프 정보를 추가함으로써, 분류기 훈련 모듈의 성능이 개선될 수 있다.
예를 들어, 모션 센서 데이터 입력들에 기초한 섭식 제스처들의 제스처 인식의 경우에, 피치각, 롤 또는 요가 최대 또는 최소값에 도달하는 시간과 같은 추가의 앵커 시간 정보를 분류기 훈련 모듈 내로 공급하는 것은 훈련된 분류기(1357)가 훈련 데이터를 분석하고 구체적으로 상기 앵커 시간들 주위의 특징들 및 상관관계들을 볼 수 있기 때문에 훈련된 분류기(1357)의 성능을 개선할 수 있다. 분류기 훈련 모듈 내로 공급될 수 있는 시간 엔벨로프 정보의 다른 예들이 또한 가능하다.
도 14는 도 13의 분류 훈련 서브시스템과 조합하여 사용될 수 있는, 본 발명의 적어도 하나의 실시 형태에 따른 분류 검출기 서브시스템의 예시적인 예를 도시한다.
분류기 앙상블
일부 실시 형태들에서, 제스처 엔벨로프 검출에 기초한 다수의 병렬 분류 시스템들이 사용될 수 있다. 다수의 병렬 분류기들을 갖는 시스템의 예가 도 15에 도시되어 있다. 병렬 분류 시스템들의 수는 다양할 수 있다. 각각의 분류 시스템(1510, 1512, 1514)은 그 자신의 훈련 및 검출기 서브시스템을 가지며, 제스처들을 검출하기 위해 훈련 데이터(1502) 및 라벨들(1504) 입력들의 상이한 서브세트 상에서 제스처 엔벨로프 검출을 수행하거나, 또는 제스처들을 검증하기 위해 상이한 임계치들 또는 기준들을 사용할 수 있다. 결과적으로, 각각의 개별 제스처 엔벨로프 검출기는 상이한 제스처 시간 엔벨로프들을 각각 갖는 제스처들의 독립적인 세트를 생성할 것이다. 각각의 분류 시스템의 특징 생성기 로직은 그의 대응하는 제스처 엔벨로프 검출기 로직에 의해 생성된 제스처들에 대한 특징들을 생성한다. 특징들은 각각의 분류 시스템에 대해 상이할 수 있다. 병렬 분류기들 각각에 의해 사용되는 분류기 모델은 동일하거나 상이할 수 있거나, 일부는 동일할 수 있고 다른 것들은 상이할 수 있다. 각각의 분류기 모델의 훈련에 사용되는 제스처 시간 엔벨로프들 및 특징들이 상이하기 때문에, 병렬 분류 시스템들은 상이한 분류 출력들(1516, 1518, 1520)을 생성할 것이다.
각각의 분류 시스템의 분류 출력(1516, 1518, 1520)은 분류기 조합기 서브시스템(1522) 내로 공급될 수 있다. 분류기 조합기 서브시스템(1522)은 개별 분류 시스템들(1510, 1512, 1514)의 분류 출력들(1516, 1518, 1520)을 조합하고 가중치를 부여하여 단일의 전체 분류 결과인 조합된 분류 출력(1524)을 생성할 수 있다. 가중치 부여는 정적 또는 동적일 수 있다. 예를 들어, 제스처 인식의 경우, 소정 분류기들은 한 그룹의 사람들의 제스처들을 정확하게 예측하는 데 더 잘 기능할 수 있는 반면, 다른 분류기들은 다른 그룹의 사람들의 제스처들을 정확하게 예측하는 데 더 잘 기능할 수 있다. 분류기 조합기 서브시스템(1522)은 상이한 사용자들에 대해 또는 상이한 컨텍스트 조건들에 대해 상이한 가중치들을 사용하여 전체 분류기 앙상블의 성능을 개선할 수 있다. 이어서, 훈련된 시스템은 라벨링되지 않은 데이터(1506)를 프로세싱하는 데 사용될 수 있다.
시간적 문제들의 다른 예들은 자율 구동, 운전자 경보 시스템들(위험한 교통 조건들이 검출될 때 운전자에 경보함), 운전자 각성도 검출, 음성 인식, 비디오 분류(보안 카메라 모니터링 등) 및 날씨 패턴 식별을 포함할 수 있지만, 이들로 제한되지 않는다.
데이터 입력들의 시간적 성질뿐만 아니라 데이터 입력들의 시간 엔벨로프에 상관되는 임의의 특징들을 무시하는 것은 분류기의 성능을 제한하고, 신뢰성 있는 검출이 가변 시간 엔벨로프의 세그먼트들에 또는 전체 가변 시간 엔벨로프에 고유하게 상관된 특징들에 의존하는 분류 태스크들에 대해 부적합하게 할 수 있다. 적절한 기간이 신뢰성있게 결정될 수 없는 경우, 또는 기간이 제스처마다, 사람마다 등으로 달라지는 경우, 성능 및 사용성이 매우 나빠질 수 있다.
본 명세서에 기술된 바와 같이, 개선된 방법들은, 전체 가변 시간 엔벨로프에 또는 그의 세그먼트에 결속된 정보가 추출되어 분류기를 훈련시키는 데 사용되는 특징 세트에 포함될 수 있도록, 시간적 문제들을 가변 시간 엔벨로프로 한정한다. 제안된 개선된 방법들은 성능을 향상시키고 필요한 훈련 데이터의 양을 감소시키는데, 그 이유는 특징들이 가변 시간 엔벨로프의 시간 범위에 대해 정의될 수 있으므로 시간 및 사용자 변동들에 대한 민감도들을 감소시킬 수 있기 때문이다.
제스처들에 대한 시간 엔벨로프들을 찾는 것에 더하여, 시스템은 이벤트 시간 엔벨로프들을 또한 찾을 수 있다. 그러한 접근법에서, 시스템은 제스처 및 제스처 엔벨로프를 결정할 수 있지만, 이어서, 추가의 제스처들에 대해서도 그렇게 하고, 이어서, 이벤트 엔벨로프, 예컨대 섭식 이벤트의 시작 및 종료를 정의할 수 있다.
전체 정확도를 개선하기 위한 컨텍스트
도 16은 교차 상관 분석 서브시스템을 포함하는 기계 분류 시스템의 예를 도시한다. 분류 출력(1602)은 교차 상관 분석 서브시스템(1604) 내로 공급될 수 있다. 교차 상관 분석 서브시스템(1604)은 정확도를 개선하기 위해 하나 이상의 컨텍스트 단서들에 기초하여 조정을 행할 수 있다. 제스처 인식의 예에서, 컨텍스트 단서의 일례는 다른 예측된 제스처들에 대한 시간적 근접성일 수 있다. 예를 들어, 섭식 제스처들은 식사 또는 간식과 같은 섭식 활동의 일부로서 시간적으로 함께 그룹화되는 경향이 있다. 일례로서, 교차 상관 분석 서브시스템(1604)은 근처의 예측들의 신뢰도 레벨 및 근접성의 정도에 기초하여, 예측된 제스처가 섭식 제스처인 신뢰도 레벨을 증가시킬 수 있다.
다른 실시 형태에서, 교차 상관 분석 서브시스템(1604)은 개별 예측된 제스처들(1614)을 분류 출력(1602)으로부터 입력들로서 취할 수 있고, 개별 예측된 제스처들을 예측된 활동들(1608)로 클러스터링할 수 있다. 예를 들어, 교차 상관 분석 서브시스템(1604)은 다수의 베어먹기 제스처들을 간식 또는 식사와 같은 섭식 활동에 맵핑할 수 있다. 마찬가지로, 교차 상관 분석 서브시스템(1604)은 다수의 홀짝마시기 제스처들을 음용 액티비티에 맵핑할 수 있다. 제스처 클러스터링에 기초한 활동 예측의 다른 예들이 또한 가능하다. 교차 상관 분석 서브시스템(1604)은 예측된 활동들의 시간적 간격 및 시퀀스에 기초하여 예측 제스처의 신뢰도 레벨을 수정할 수 있다. 일례로서, 교차 상관 분석 서브시스템(1604)은 예측된 제스처가 "칫솔질하기" 활동 직후에 또는 그 중에 검출되는 경우, 예측 제스처가 섭식 제스처인 신뢰도 레벨을 감소시킬 수 있다. 다른 예에서, 교차 상관 분석 서브시스템(1604)은 예측된 제스처가 칫솔질하기 활동 동안 또는 칫솔질하기 활동 직후 검출되는 경우, 예측된 제스처가 음용 제스처인 신뢰도 레벨을 감소시킬 수 있다. 이러한 경우에, 교차 상관 분석 서브시스템(1604)은 제스처가 헹굼 제스처인 신뢰도 레벨을 증가시키기로 결정할 수 있다.
교차 상관 분석 서브시스템(1604)은 이력 정보(1612) 또는 다른 비-제스처 메타-데이터(1610) 정보, 예컨대, 위치, 날짜 및 시간, 다른 생체측정 입력들, 캘린더 또는 전화 통화 활동 정보에 기초하여 예측된 제스처의 분류 출력을 조정할 수 있다. 예를 들어, 교차 상관 분석 서브시스템(1604)은 GPS 좌표가 사람이 레스토랑에 있음을 나타내는 경우, 예측된 제스처가 섭식 제스처이거나 예측된 활동이 섭식 활동인 신뢰도 레벨을 증가시킬 수 있다. 다른 예에서, 교차 상관 분석 서브시스템(1604)은, 예측된 제스처 또는 예측된 활동이 소정 시간에 발생하며, 그 시간에 대해 과거 거동이 사용자가 전형적으로 그 시간에 섭식에 관여한다고 나타내는 경우, 예측된 제스처가 섭식 제스처이거나 예측된 활동이 섭식 활동인 신뢰도 레벨을 증가시킬 수 있다. 본 발명의 또 다른 예에서, 교차 상관 분석 서브시스템(1604)은, 예측된 제스처 또는 예측된 활동이 캘린더 이벤트 또는 전화 통화 대화 전후에 있을 경우, 과거 거동이 사용자가 일반적으로 유사한 캘린더 이벤트들(예컨대, 동일한 참석자(들), 특정 위치, 특정 회의 안건 등) 또는 (예컨대, 특정 전화 번호로부터의) 전화 통화 대화 전후로 섭식한다고 나타내는 경우, 예측된 제스처가 섭식 제스처인 신뢰도 레벨 또는 예측된 활동이 섭식 활동인 신뢰도 레벨을 증가시킬 수 있다. 예들이 섭식을 참조로 하지만, 이는 또한 섭식하는 것 이외의 제스처들에 적용될 수 있다는 것이 당업자에게 명백할 것이다. 일반적인 경우에, 교차 상관 분석 서브시스템을 갖는 기계 분류기는 정확도를 개선하기 위해 컨텍스트 단서들, 이력 정보 및 시간적 근접성 감지로부터의 직관들을 사용하며, 특정 컨텍스트 단서들, 이력 정보 및 시간적 근접성 감지로부터의 직관들과 그들이 적용되는 방법은 본 명세서에 개시되거나 제안되는 방법들에 의해 결정된다.
본 발명의 일부 실시 형태들에서, 분류 출력(1602)은 추가의 특징들 또는 제스처 시간 엔벨로프 정보를 포함할 수 있다. 교차 상관 분석 서브시스템(1604)은 그러한 추가의 특징들 또는 제스처 시간 엔벨로프 정보를 프로세싱하여 제스처 또는 활동의 추가의 특성들을 결정하거나 추출할 수 있다. 일례로서, 본 발명의 일 실시 형태에서, 교차 상관 분석 서브시스템(1604)은 제스처 시간 엔벨로프로부터 음용 제스처의 추정된 지속시간을 도출하며, 이러한 정보는 교차 상관 분석 서브시스템(1604)에 의해 사용될 수 있거나, 또는 기계 분류기 시스템의 외부에 있는 하나 이상의 시스템들에 의해, 음용 제스처와 연관된 수분 섭취를 추정하기 위해 사용될 수 있다.
다른 실시 형태에서, 교차 상관 분석 서브시스템(1604)은 제스처 시간 엔벨로프로부터 섭식 제스처의 추정된 지속시간을 도출할 수 있으며, 이러한 정보는 교차 상관 분석 서브시스템(1604)에 의해 사용될 수 있거나, 또는 기계 분류기 시스템의 외부에 있는 하나 이상의 시스템들에 의해, 섭식 제스처와 연관된 베어먹기의 크기를 추정하기 위해 사용될 수 있다. 교차 상관 분석 서브시스템(1604)은 예측된 음용 제스처들을 다른 센서 데이터와 조합하여, 누군가가 알코올을 함유하는 음료를 섭취하고 있는 경우 더 정확하게 예측하고 섭취된 알코올의 양을 추정할 수 있다. 다른 센서 데이터의 예들은 손 진동, 심박수, 음성 분석, 피부 온도, 혈액 측정, 호흡 화학 또는 신체 화학을 측정하는 것을 포함할 수 있으나 이들로 제한되지 않는다.
검출기 서브시스템(1600)은 특정 섭식 또는 음용 방법을 예측할 수 있고, 교차 상관 분석 서브시스템(1604)은 섭식 또는 음용방법의 세부사항들에 대해 검출기 서브시스템(1600)으로부터 획득된 정보를 추가의 메타-데이터와 조합하여 내용물, 음식의 건강성 또는 칼로리 섭취를 추정할 수 있다. 섭식/음용 방법들의 예들은 포크를 이용한 섭식, 나이프를 이용한 섭식, 스푼을 이용한 섭식, 손가락들을 이용한 섭식, 유리잔으로의 음용, 컵으로의 음용, 빨대로의 음용 등)을 포함할 수 있지만, 이들로 제한되지 않는다. 메타-데이터의 예들은 시간, 위치, 환경 또는 사회적 인자들을 포함할 수 있지만, 이들로 제한되지 않는다.
다른 예시적인 실시 형태
도 17은 일 실시 형태에 따른, 도 1의 시스템과 유사한 변형예의 모니터링 시스템의 상위 레벨 기능 다이어그램을 도시한다. 도 17에 도시된 바와 같이, 센서 유닛(1700)은 이벤트 검출 시스템(1701)과 상호 작용하고, 이는 이어서 객체 정보 검색 시스템(1702)과 상호 작용하며, 이것이 프로세싱 및 분석 시스템에 입력들을 제공하며, 그 결과들은 데이터 저장 유닛(1704)에 저장될 수 있다.
일부 실시 형태들에서, 도 17에 도시된 요소들은 전자 하드웨어로 구현되는 반면, 다른 실시 형태들에서, 일부 요소들은 소프트웨어로 구현되고 프로세서에 의해 실행된다. 일부 기능들은 하드웨어 및 프로세서/메모리 리소스들을 공유할 수 있고, 일부 기능들은 분산될 수 있다. 기능은 손목 착용형 착용가능한 디바이스와 같은 센서 디바이스에서 완전히 구현될 수 있거나, 또는 기능은 센서 디바이스, 센서 디바이스가 통신하는 스마트폰과 같은 프로세싱 시스템, 및/또는 센서 디바이스로부터 원격에 있는 일부 기능을 처리하는 서버 시스템에 걸쳐 구현될 수 있다. 예를 들어, 착용가능한 센서 디바이스는 측정치들을 얻고 이들을 모바일 디바이스에 통신할 수 있으며, 모바일 디바이스는 착용가능한 센서 디바이스로부터 수신된 데이터를 프로세싱하고 가능하게는 다른 데이터 입력들과 조합된 그 정보를 사용하여 객체 정보 검색 서브시스템(1702)을 활성화할 수 있다. 객체 정보 검색 서브시스템(1702)은 모바일 디바이스 상에서, 착용가능한 센서 디바이스 상에서, 또는 다른 전자 디바이스 상에서 구현될 수 있다. 객체 정보 검색 서브시스템(1702)은 또한 예를 들어, 모바일 디바이스 및 착용가능한 센서 디바이스에 걸쳐 다수의 디바이스들에 걸쳐 분산될 수 있다. 데이터 또는 다른 정보가 적합한 포맷으로 저장될 수 있으며, 다수의 위치들에 걸쳐 분산되거나, 중앙에 저장될 수 있고, 기록된 형태로 저장되거나, 일부 레벨의 프로세싱 후에 저장될 수 있다. 데이터는 일시적으로 또는 영구적으로 저장될 수 있다. 데이터는 착용가능한 센서 디바이스 상에, 모바일 디바이스 상에 로컬로 저장될 수 있거나, 인터넷을 통해 서버로 업로드될 수 있다.
도 17에 도시된 시스템의 제1 컴포넌트는 이벤트 검출 서브시스템(1701)이다. 이벤트 검출 서브시스템(1701)의 하나의 역할은 이벤트의 실제의, 거의 확실한 또는 임박한 발생을 식별하는 것이다. 예를 들어, 이벤트는 특정 활동 또는 거동과 관련된 이벤트일 수 있다. 특정 활동들 또는 거동들은 섭식, 음용, 흡연, 약물 복용, 칫솔질하기, 치간, 손세척, 립스틱 또는 마스카라 화장하기, 면도, 커피 끓이기, 조리, 소변 보기, 욕실 사용하기, 운전, 운동 또는 특정 스포츠 활동에 관여하기를 포함할 수 있지만, 이들로 제한되지 않는다. 이벤트 검출 서브시스템(1701)에 의해 검출될 수 있는 이벤트의 다른 예들은 특정 작업을 수행하거나 특정 절차를 실행하는 생산 라인 또는 다른 곳에 있는 운영자일 수 있다. 또 다른 예는 특정 작업을 수행하거나 생산 암 또는 다른 곳에서 특정 절차를 실행하는 로봇 또는 로봇 암일 수 있다.
이벤트 검출 서브시스템은 하나 이상의 센서 유닛들(1700)로부터의 입력들, 다른 사용자 입력들(1705), 또는 센서 유닛(1700)으로부터의 하나 이상의 센서 입력들과 하나 이상의 다른 사용자 입력들(1705)의 조합을 사용하여, 이벤트의 실제의, 거의 확실한 또는 임박한 발생을 결정 또는 추론할 수 있다. 이벤트 검출 서브시스템(1701)은 이벤트의 실제의, 거의 확실한 또는 임박한 발생을 결정하기 위해 센서 및/또는 사용자 입력들에 대한 추가의 프로세싱을 행할 수 있다. 일반적으로, 이벤트 검출 시스템은 추론된 이벤트를 기록하고/하거나 이에 반응하는데, 이는 이벤트 검출 시스템이 입력들 및/또는 데이터를 가지며, 이로부터 이벤트가 실제로 시작되고 있거나, 시작될 가능성이 있거나, 또는 임박하다고 결정할 때 발생한다. 일부 경우들에서, 이벤트 검출 시스템은 이벤트가 실제로 발생하지 않았는데 이벤트를 추론하고 이를 이벤트로서 프로세싱할 수 있지만, 이는 드물게 발생할 수 있다.
이벤트 검출 서브시스템(1701)은 또한 이벤트에 관한 추가의 정보를 결정하기 위해 센서 및/또는 사용자 입력들에 대한 추가의 프로세싱을 행할 수 있다. 그러한 정보는 이벤트의 지속시간, 이벤트 시작 시간, 이벤트 종료 시간, 대상이 이벤트에 관여하고 있는 속력 또는 페이스와 연관된 메트릭들을 포함할 수 있지만, 이들로 제한되지 않는다. 다른 이벤트 데이터 요소들이 또한 가능하다. 예를 들어, 이벤트가 섭식 이벤트인 경우, 이벤트 데이터 요소는 베어먹기들의 횟수 또는 섭취된 음식의 양일 수 있다. 유사하게, 이벤트가 음용 이벤트인 경우, 이벤트 데이터 요소는 홀짝마시기들의 횟수 또는 수분 섭취의 양일 수 있다. 이러한 이벤트 데이터 요소들은 추론된 이벤트들에 관한 데이터 요소들을 유지하는 데이터베이스에 저장될 수 있다.
제스처 감지 기술을 사용하여, 이벤트 검출 시스템은 외부 디바이스가 추가 정보를 수집하도록 트리거할 수 있다.
특정 실시 형태에서, 객체 정보 검색 서브시스템(1702) 또는 객체 정보 검색 서브시스템(1702)의 일부분을 하우징하는 전자 디바이스는 근거리 통신(NFC) 기술을 포함하고, 객체 정보 검색 서브시스템(1702)은 무선 NFC 링크를 통한 송신을 통해, 대상이 적어도 부분적으로 상호작용하고 있을 수 있는 객체(들) 또는 대상(들)에 관한 정보를 획득한다.
특정 실시 형태에서, 외부 디바이스는 NFC 판독기이고, NFC 태그들을 갖는 다양한 객체들이 검출된다. NFC 판독기는 제스처 감지 기술과 통합될 수 있거나 제스처 감지 기술의 일부 컴포넌트들과 통합될 수 있다.
그러한 객체들이 관련된 음식/음료와 관련된 경우, 이벤트 검출 시스템은 제스처들이 관련된 것이 무엇인지 결정할 수 있다. 예를 들어, 음식/음료 용기들은 제품 패키징에 내장된 NFC 태그들을 가질 수 있고, 음식 섭취 모니터링 시스템은 제스처들이 섭식 이벤트와 연관된다고 자동으로 결정할 수 있고, 이어서, NFC 판독기에 턴 온하고 근처의 NFC 태그들을 판독하도록 신호할 수 있으며, 이에 의해 제스처들 및 이벤트가 특정 제품과 연관되도록, 섭취되고 있는 제품들 상의 NFC 태그들을 판독할 수 있다.
일례에서, 모니터링 시스템은 제스처들을 결정하는 착용가능한 디바이스를 가질 수 있고, 그러한 제스처들에 기초하여, 섭식 이벤트 또는 음용 이벤트를 식별한다. 음용 이벤트가 검출되고 검출된 센서 입력들 및 제스처들에 기초하여, 모니터링 시스템은, 예를 들어, 홀짝마시기들을 계수하고 각각의 홀짝마시기의 크기를 추정 또는 계산하는 것과 같이, 사용자가 소다 한 캔의 4분의 3을 마셨다고 결정한다고 가정한다. 제스처들은 그것이 다이어트 소다이거나 일반 소다인지 여부에 상관없이 동일할 가능성이 있다. NFC 판독기를 사용하여, 소다의 특정 브랜드 및 유형도 검출될 수 있다.
센서들은 착용가능한 디바이스 내에 있을 수 있으며, 이때 제스처 결정 로직 또는 프로세싱은 모바일 폰과 같은 착용가능한 디바이스에 통신가능하게 결합된 외부 디바이스에서 발생할 수 있거나, 또는 제스처 결정은 착용가능한 디바이스 상에서 부분적으로 일어나고 착용가능한 디바이스에 통신가능하게 결합되는 외부 디바이스 상에서 부분적으로 일어날 수 있다.
NFC 판독기는 센서들을 하우징하는 착용가능한 디바이스 내에 있을 수 있거나, 착용가능한 디바이스에 통신가능하게 결합되고 제스처 결정의 적어도 일부를 수행하는 외부 디바이스 내에 있을 수 있거나, 착용가능한 디바이스에, 제스처 결정의 적어도 일부를 수행하는 외부 디바이스에 또는 둘 모두에 통신가능하게 결합되는 다른 외부 디바이스 내에 있을 수 있다.
일반적인 경우에, 이벤트의 발생의 검출은 이벤트에 의해 표현되는 활동 또는 거동을 수행하는 사람이 상호작용하고 있는 객체들/항목들 또는 다른 대상들에 관한 정보를 수집하기 위해 프로세스/시스템/회로부/디바이스를 개시하는 데 사용될 수 있다. 이러한 정보는 데이터 요소들의 형태로 기록될 수 있다. 객체 데이터 요소들은 데이터베이스에 저장될 수 있다. 동일한 이벤트의 하나 이상의 객체 데이터 요소들 및 하나 이상의 이벤트 데이터 요소들이 데이터베이스 내의 단일 엔트리로서 기록될 수 있다. 객체 데이터 요소들 및 이벤트 데이터 요소들은 또한 데이터베이스 내의 별개의 엔트리들로서 기록될 수 있다. 본 명세서의 교시와 일치하는 다른 데이터 구조들이 또한 사용되거나 대신에 사용될 수 있다.
NFC 판독기 시스템이 활성화되면, 그것은 하나 이상의 NFC 판독 커맨드들을 개시하고, 관련 객체들로부터의 추가의 정보는 NFC 링크를 통해 무선으로 획득된다. 다운스트림 프로세싱을 단순화하기 위해 NFC 데이터를 필터링하는 것과 같은 추가의 프로세싱이 적용될 수 있다.
다른 변형예들에서, 다른 무선 링크들이 NFC 대신에 또는 NFC와 함께 사용된다. 다른 무선 기술들의 예들은 블루투스, 블루투스 로우 에너지, Wi-Fi, Wi-Fi 파생 상품들, 및 독점적인 무선 기술들을 포함하지만, 이들로 제한되지 않는다.
이벤트 신호의 발생의 검출은 이벤트의 일부인 관심 대상의 활동/거동과 관련된 특정 관련 객체들에 관한 정보를 필터링하는 데 사용될 수 있다.
객체 검출 프로세스가 자동적일 수 있지만, 그것은 또한 객체 정보 검색 시스템을 활성화하는 데 사용자 개입을 필요로 할 수 있다. 예를 들어, 그것은 사용자에게 카메라를 켜라고 요청하거나, 검출 프로세스를 계속할 지 여부를 결정하고 그 결정에 대한 사용자의 입력을 받는 것과 같이 간단할 수 있다. 다른 예로서, 사용자는 NFC 판독기를 관심 대상의 NFC 태그에 더 가깝게 이동시키도록 촉구될 수 있다. 다른 예에서, 사용자는 NFC 판독기 회로부, 또는 NFC 판독기 회로부의 부분들을 활성화하도록 촉구되거나, 또는 NFC 판독기 회로부가 판독 커맨드를 발행하게 하는 하나 이상의 액션을 취하도록 촉구될 수 있다.
NFC 판독기에 더하여, 카메라가 활성화될 수 있고 관련 객체들로부터의 추가의 정보가 관련 객체들의 이미지들 또는 비디오 녹화를 분석함으로써 획득가능하다. 카메라는 NFC 판독기와 함께 소정 유닛으로 조합될 수 있다. 일부 실시 형태들에서, 카메라만이 사용되거나, 또는 다른 보조 센서들이 이벤트에 관한 추가의 정보를 획득하는 데 사용된다.
이벤트 검출 서브시스템으로부터 획득된, 이벤트의 일부인 활동 또는 액션에 관한 정보는, 사용자가 상호작용하고 있는 객체(들) 또는 대상(들)에 관한 정보와 조합될 수 있고, 데이터 소스들 중 단지 하나를 단독으로 검색하는 것으로부터 획득될 수 없는 활동/거동에 관한 추가의 정보 또는 직관들을 획득하기 위해 조합된 데이터세트에 대한 추가의 프로세싱/분석이 수행될 수 있다.
본 발명의 많은 예들이 이벤트의 실제의, 가능성 있는 또는 임박한 발생을 검출하기 위해 제스처들을 분석하는 이벤트 검출 시스템을 언급하지만, 다른 센서 입력들이 또한 가능하다. 예를 들어, 입, 목구멍 또는 흉부 내의 또는 그 근처의 오디오 신호들이 사용자의 섭취에 관한 정보를 검출 및 획득하는 데 사용될 수 있다. 이를 달성하기 위해, 이벤트 검출 서브시스템(1701)은 하나 이상의 센서 유닛들(1700)으로부터의 입력들(1706)을 사용할 수 있다. 센서들은 가속도계, 자이로스코프들, 자력계들, 자기 각속도 및 중력(MARG) 센서들, 이미지 센서들, 카메라들, 광학 센서들, 근접 센서들, 압력 센서들, 냄새 센서들, 가스 센서들, 포도당 센서들, 심박수 센서들, ECG 센서들, 온도계들, 광 계측기들, GPS(Global Positioning Systems)들, 및 마이크로폰들을 포함할 수 있지만, 이들로 제한되지 않는다.
이벤트의 실제의, 거의 확실한 또는 임박한 발생의 검출 시에, 이벤트 검출 서브시스템은 객체 정보 검색 서브시스템(1702)을 활성화할 수 있다. 대안적으로, 이벤트 검출 서브시스템(1701)은 객체 정보 검색 서브시스템(1702)을 활성화할지 여부를 결정하기 위해 추가의 프로세싱을 행할 수 있다. 이벤트 검출 서브시스템(1701)은 객체 정보 검색 서브시스템(1702)을 즉시 활성화하거나, 객체 정보 검색 서브시스템(1702)을 활성화하기 전에 소정 시간 동안 대기할 수 있다.
객체 정보 검색 서브시스템(1702)의 역할은, 이벤트 검출 서브시스템(1701)이 실제의, 거의 확실한 또는 임박한 이벤트의 발생을 검출한 때, 또는 그 후의 어느 시점에 대상이 상호작용하는 객체들 또는 다른 대상들에 관한 정보를 수집하는 것이다.
하나의 그러한 실시 형태에서, 이벤트 검출 서브시스템(1701)으로부터 활성화 입력 신호(1707)를 수신할 때, 또는 활성화 입력 신호(1707)를 수신한 후의 일정 시점에, 객체 정보 검색 서브시스템(1702)은 객체 정보 검색 서브시스템(1702)을 하우징하는 디바이스의 NFC 범위 내에 있는 하나 이상의 객체들에 부착되거나, 그 내부에 하우징되거나, 그렇지 않으면 그와 연관된 NFC 태그를 판독하기 위해 NFC 판독 액션을 개시한다. 객체 정보 검색 서브시스템(1702)은 하나 이상의 객체들로부터 수신된 데이터를 프로세싱 및 분석 서브시스템(1703)으로 전송한다. 객체 정보 검색 서브시스템(1702)은 데이터를 프로세싱 및 분석 서브시스템(1703)으로 전송하기 전에 데이터에 대한 추가의 프로세싱을 행할 수 있다. 다른 실시 형태들에서, 카메라 또는 다른 전자 디바이스와 같은 추가의 보조 센서들 또는 센서 시스템들이 사용될 수 있다.
프로세싱은 필터링, 특정 데이터 요소들을 추출하는 것, 데이터 또는 데이터 요소들을 수정하는 것, 다수의 객체들로부터 획득된 데이터 또는 데이터 요소들을 조합하는 것, 데이터 또는 데이터 요소들을 NFC를 통해 수집되지 않은 다른 소스들로부터 획득된 데이터와 조합하는 것을 포함할 수 있지만, 이들로 제한되지 않는다. 필터링의 예들은, 수신된 NFC 신호들의 신호 강도에 기초하여, 데이터가 객체들로부터 수신되는 순서에 기초하여, 데이터 또는 특정 데이터 요소들에서의 정보에 기초하여, 객체 또는 객체들과 객체 정보 검색 서브시스템 사이의 거리 또는 추정된 거리에 기초한 필터링을 포함할 수 있지만, 이들로 제한되지 않는다. 필터링에 사용되는 다른 필터링 메커니즘들 또는 기준들이 또한 가능하다. 객체 정보 검색 서브시스템(1702)은 고정된 시간 후에, 구성가능한 시간 후에, 고정된 또는 구성가능한 수의 태그들을 판독한 후에, NFC 태그들을 판독하는 것을 중지할 수 있다. 다른 기준들이 또한 사용될 수 있다.
객체 정보 검색 서브시스템이 이벤트 검출 서브시스템과 독립적으로, 대상이 상호작용하고 있는 객체들 또는 다른 대상들에 관한 정보를 수집하는 것이 또한 가능하다. 그러한 실시 형태에서, 프로세싱 및 분석 서브시스템(1703)은, 대상이 활동 동안 또는 소정 거동을 나타낼 때 상호작용하고 있을 수 있는 객체들 또는 다른 대상들에 관한 관련 정보를 도출하기 위해, 이벤트 검출 서브시스템(1701)으로부터 수신된 신호들(1708)을 객체 정보 검색 서브시스템(1702)로부터 수신된 데이터 신호들(1709)과 함께 사용할 수 있다.
본 발명의 특정 실시 형태에서, 객체 정보 검색 서브시스템(1702)은 연속적으로, 주기적으로 또는 그렇지 않으면 이벤트 검출 서브시스템(1701)으로부터의 입력들과 독립적으로, 객체 정보 검색 서브시스템(1702)을 전체적으로 또는 부분적으로 하우징하는 전자 디바이스의 범위 내에 있는 객체로부터 NFC 태그들을 판독한다. 활동/거동 신호의 발생의 검출은 관심 대상의 활동/거동과 관련된 특정 관련 객체들에 관한 정보를 필터링하는 데 사용될 수 있다. 객체들이 이벤트와 연관되는 경우, 특정 객체들의 표시들, 또는 그들에 대한 참조들이 이벤트의 기록의 일부로서 기록될 수 있어서, 정보가 나중에 필터링 또는 다른 프로세싱에 사용될 수 있다.
특정 실시 형태에서, 객체 정보 검색 서브시스템(1702)은 이벤트 검출 서브시스템으로부터 수신하는 입력들과 독립적으로 데이터를 수집하지만, 단지 이벤트 검출 서브시스템(1701)으로부터 활성화 신호(1707)를 수신할 때 또는 그 후의 어느 시점에만 데이터를 프로세싱 및 분석 서브시스템(1703)으로 전송한다. 객체 정보 검색 서브시스템(1702)은 단지 그것이 NFC 링크를 통해 객체들로부터 수신한 데이터의 서브세트만을 전송할 수 있다. 예를 들어, 그것은 단지 그것이 활성화 신호(1707)를 수신하는 시간과 관련된 고정된 또는 구성가능한 시간 윈도우에서 수신하는 데이터만을 전송할 수 있다. 예를 들어, 그것은 단지 활성화 신호(1707) 직전의 그리고/또는 그 직후에만 데이터를 전송할 수 있다. 다른 시간 윈도우들이 또한 가능하다. 객체 정보 검색 서브시스템(1702)은 데이터를 프로세싱 및 분석 서브시스템(1703)으로 전송하기 전에 데이터에 대한 추가의 프로세싱을 행할 수 있다.
본 발명의 일 실시 형태에서, 객체 정보 검색 서브시스템(1702)은 카메라를 포함하고, 객체 또는 객체들에 관한 정보는 이미지 또는 비디오 녹화의 분석으로부터 도출될 수 있다.
본 발명의 바람직한 실시 형태에서, 객체 정보 검색 서브시스템(1702)은 대상으로부터의 임의의 개입 또는 입력 없이 객체들로부터 데이터를 수집한다. 본 발명의 다른 실시 형태에서, 일부 사용자 입력 또는 개입이 요구된다. 예를 들어, 사용자는 NFC 판독기를 관심 대상의 NFC 태그에 더 가깝게 이동시키도록 촉구될 수 있다. 다른 예에서, 사용자는 NFC 판독기 회로부, 또는 NFC 판독기 회로부의 부분들을 활성화하도록 촉구되거나, 또는 NFC 판독기 회로부가 판독 커맨드를 발행하게 하는 하나 이상의 액션을 취하도록 촉구될 수 있다.
도 18은 일 실시 형태에 따른, 사용자 개입을 요구하는 모니터링 시스템의 상위 레벨 기능 다이어그램을 도시한다. 도 18에 도시된 바와 같이, 하나 이상의 센서 유닛들(1800)은 이벤트 검출 서브시스템(1801)과 상호작용하고 센서 데이터를 이벤트 검출 서브시스템(1801)으로 전송한다. 이벤트의 실제의, 거의 확실한 또는 임박한 검출 또는 추론 시에, 이벤트 검출 서브시스템은 사용자 상호작용 유닛(1802)에 하나 이상의 통지들을 전송하여 NFC 스캔 액션의 활성화를 요청한다. 통지들은 디스플레이된 텍스트 메시지로서, 디스플레이된 이미지로서, 오디오 메시지로서, LED 신호로서, 진동 등으로서, 사용자에게 렌더링될 수 있다. 사용자 인터페이스들의 조합이 또한 사용될 수 있다. 다른 사용자 인터페이스가 또한 사용될 수 있다. 사용자는 사용자 상호작용 유닛(1802)의 하나 이상의 사용자 인터페이스들을 사용하여 통지(들)에 응답할 수 있다. 사용자 응답은 사용자 상호작용 유닛(1802)이 스캔 커맨드(1810)를 객체 정보 검색 서브시스템(1803)에 전송하도록 트리거할 수 있다. 스캔 커맨드(1810)를 수신한 때에, 또는 스캔 커맨드(1810)를 수신한 후의 어느 시점에, 객체 정보 검색 서브시스템(1803)은 NFC 판독기(1806)를 활성화하고 NFC 판독기(1806)와 NFC 태그(1807) 사이의 무선 통신 링크(1811)를 통해 객체(1804)에 관한 정보를 획득할 수 있다. 무선 링크(1811)를 통해 획득된 정보는 객체(1804)의 브랜드, 유형, 내용물, 만료일, 로트(lot) 번호 등에 관한 정보를 포함할 수 있다. 객체에 관한 다른 정보가 또한 검색될 수 있다. 이벤트 검출 서브시스템(1801)으로부터의 이벤트 데이터 요소들(1814) 및 무선 링크(1811)를 통해 하나 이상의 객체들로부터 객체 정보 검색 서브시스템(1803)에 의해 검색된 객체 데이터 요소들(1813)은 프로세싱 및 분석 서브시스템(1805)으로 전송될 수 있다. 추가의 프로세싱이 수행될 수 있고, 이벤트 및 객체 데이터 요소들은 하나 이상의 데이터 저장 유닛들(1815) 상의 데이터베이스에 저장될 수 있다.
다른 예에서, 이벤트 검출 시스템은 자동으로 NFC 태그들에 대해 스캔하지만, 물체로부터 데이터를 수신할 때, 객체 정보 검색 서브시스템은 대상에게 메시지를 전송하고, 대상은 프로세서 또는 분석 서브시스템에 전송을 인가하거나, 인가하지 않거나, 또는 대상은 정보를 직접 확인한다. 이 메시지는 또한 프로세싱 및 분석 서브시스템에 의해 전송될 수 있다.
프로세싱 및 분석 서브시스템(1803)에 의한 프로세싱은 필터링, 특정 데이터 요소들을 추출하는 것, 데이터 또는 데이터 요소들을 수정하는 것, 다수의 객체들로부터 획득된 데이터 또는 데이터 요소들을 조합하는 것, 데이터 또는 데이터 요소들을 NFC를 통해 수집되지 않은 다른 소스들로부터 획득된 데이터와 조합하는 것을 포함할 수 있지만, 이들로 제한되지 않는다. 필터링의 예들은, 수신된 NFC 신호들의 신호 강도에 기초하여, 데이터가 객체들로부터 수신되는 순서에 기초하여, 데이터 또는 특정 데이터 요소들에서의 정보에 기초하여, 객체 또는 객체들과 객체 정보 검색 서브시스템 사이의 거리 또는 추정된 거리에 기초한 필터링을 포함할 수 있지만, 이들로 제한되지 않는다. 필터링에 사용되는 다른 필터링 메커니즘들 또는 기준들이 또한 가능하다. 객체 정보 검색 서브시스템(1802)은 고정된 시간 후에, 구성가능한 시간 후에, 고정된 또는 구성가능한 수의 태그들을 판독한 후에 데이터를 전송하는 것을 중지할 수 있다. 다른 기준들이 또한 사용될 수 있다. 객체 정보 검색 서브시스템(1802)은 단지 단일 객체로부터, 객체들의 서브세트로부터 또는 그것이 특정 시간 윈도우 내에서 데이터를 수신하는 모든 객체들로부터 데이터를 전송할 수 있다.
본 발명의 상이한 실시 형태에서, 객체 정보 검색 서브시스템(1802)은 연속적으로, 주기적으로 또는 그렇지 않으면 이벤트 검출 서브시스템(1801)으로부터의 입력들과 독립적으로, 객체 정보 검색 서브시스템(1802)을 전체적으로 또는 부분적으로 하우징하는 전자 디바이스의 범위 내에 있는 객체로부터 NFC 태그들을 판독하고, 그러한 데이터를 이벤트 검출 서브시스템으로부터의 임의의 신호들과는 독립적으로 프로세싱 및 분석 서브시스템(1803)으로 전송한다.
프로세싱 및 분석 서브시스템(1803)은 이벤트 검출 서브시스템(1801) 및 객체 정보 검색 서브시스템(1802)으로부터 데이터 입력들을 수신한다. 프로세싱 및 분석 서브시스템(1803)이 단지 객체 정보 검색 서브시스템(1802)으로부터의 입력만을 수신하는 것이 또한 가능하다. 프로세싱 및 분석 서브시스템(1803)은 데이터에 대한 추가의 프로세싱을 행하고 데이터를 분석하여 그것이 수신하는 데이터로부터 객체(들) 또는 대상(들)에 관한 정보를 추출할 수 있다. 프로세싱은 필터링, 특정 데이터 요소들을 추출하는 것, 데이터 또는 데이터 요소들을 수정하는 것, 다수의 객체들로부터 획득된 데이터 또는 데이터 요소들을 조합하는 것을 포함할 수 있지만, 이들로 제한되지 않는다. 분석은 또한 특정 데이터 요소들을 룩업 테이블 또는 데이터베이스에 저장된 데이터와 비교하는 것, 데이터 요소들을 이전 시간에 그리고/또는 상이한 대상들로부터 획득된 데이터 요소들에 상관시키는 것을 포함할 수 있다. 다른 프로세싱 및 분석 단계들이 또한 가능하다. 프로세싱 및 분석 서브시스템(1803)은 데이터 저장 유닛(들)(1804)에 원시 데이터 또는 프로세싱된 데이터를 저장할 수 있다. 저장소는 일시적이거나 영구적일 수 있다.
일부 실시 형태들에서, 프로세싱 및 분석 서브시스템(1803)으로부터의 출력들은 이벤트 동안 또는 이벤트 직후에 실시간으로 이용가능할 수 있다. 다른 실시 형태들에서, 출력들은 나중에 이용가능할 수 있다.
프로세싱 및 분석 서브시스템(1803)은 모바일 디바이스 상에서, 착용가능한 센서 디바이스 상에서, 또는 다른 전자 디바이스 상에서 구현될 수 있다. 프로세싱 및 분석 서브시스템(1803)은 또한 예를 들어, 모바일 디바이스 및 착용가능한 센서 디바이스에 걸쳐와 같이 다수의 디바이스들에 걸쳐 분산될 수 있다. 다른 예에서, 프로세싱 및 분석 서브시스템(1803)은 모바일 디바이스 및 로컬 또는 원격 서버에 걸쳐 분산될 수 있다. 프로세싱 및 분석 서브시스템(1803)은 또한 모두 로컬 또는 원격 서버 상에서 구현될 수 있다. 정보는 적합한 포맷으로 저장될 수 있으며, 다수의 위치들에 걸쳐 분산되거나, 중앙에 저장될 수 있고, 기록된 형태로 저장되거나, 일부 레벨의 프로세싱 후에 저장될 수 있다. 데이터는 일시적으로 또는 영구적으로 저장될 수 있다. 데이터는 착용가능한 센서 디바이스 상에, 모바일 디바이스 상에 로컬로 저장될 수 있거나, 인터넷을 통해 서버로 업로드될 수 있다.
객체 정보 검색 서브시스템은 전체적으로 또는 부분적으로 배터리 작동형 전자 디바이스에 하우징될 수 있고, 객체 정보 검색 서브시스템의 전력 소모를 최소화하는 것이 바람직할 수 있다. 이벤트가 검출되지 않는 경우, 무선 회로부(예컨대, NFC 판독기 회로부)는 저전력 상태에 놓일 수 있다. 이벤트의 실제의, 거의 확실한 또는 임박한 발생의 검출 또는 추론 시에, 객체 정보 검색 서브시스템은 더 높은 전력 상태에 놓일 수 있다. 객체 정보 검색 서브시스템 내부의 하나 이상의 추가의 회로부는 객체 정보 검색 서브시스템의 범위 또는 성능 등을 개선하기 위해 객체 정보 검색 서브시스템을 활성화하도록 전력 공급될 수 있다. 하나의 특정 예에서, NFC 판독기는 어떠한 이벤트도 검출되지 않을 때 디스에이블되거나 저전력 대기 또는 슬립 모드에 놓인다. 이벤트의 검출 또는 추론 시에, NFC 판독기는 그것이 이웃 객체들의 NFC 태그들과 통신할 수 있는 더 높은 전력 상태에 놓인다. 미리구성된 수의 NFC 태그들을 판독한 후에, 미리구성된 시간 후에 또는 이벤트의 종료 또는 완료의 검출 시에, NFC 판독기는 다시 디스에이블될 수 있거나, 저전력 대기 또는 슬립 모드에 다시 놓일 수 있다.
약물 분배 시스템 예들
본 명세서에 기술된 원리 및 상세 사항에 따른 시스템은, 인슐린 요법 및/또는 식사 인식 인공 췌장의 형태로서의 인슐린의 미세 투여량의 투여를 시작하기 위해 섭식/음용의 개시를 검출하는 데 사용될 수 있다. 인슐린 투여량 계산기는 섭식 시작시의 포도당 레벨, 섭식 시작시의 포도당 레벨의 기울기를 고려하여 인슐린 전달의 투여량 및 타이밍을 결정할 수 있다. 인슐린은 일시에 전달되거나 또는 다수의 미세 투여량들로 전달될 수 있다. 음식에 관한 추가의 정보가 객체 정보 검색 서브시스템으로부터 획득되는 경우(예컨대, 일반 소다 한 캔 대 다이어트 소다 한 캔 음용), 이러한 정보는 인슐린 투여량 계산기에 의해 고려될 수 있다. 예를 들어, 높은 당 함량을 갖는 음식 항목이 섭취되는 경우, 인슐린 투여량 계산기는 미세 투여 이벤트 당 투여되는 투여량을 증가시킬 수 있거나 주어진 기간 내에 전달되는 미세 투여의 횟수를 증가시킬 수 있다.
도 19는 본 발명에 의해 커버되는 약물 분배 시스템의 상위 레벨 기능 다이어그램을 도시한다. 약물 분배 시스템은 부분적으로: 식이요법 추적 및 피드백 시스템(1902), 하나 이상의 센서 유닛들(1900), 측정 센서 프로세싱 유닛(1909), 약물 투여량 계산 유닛(1906), 하나 이상의 측정 센서 유닛들(1904) 및 약물 분배 유닛(1908) 중 하나 이상을 포함할 수 있다.
본 발명의 일 실시 형태에서, 투여될 약물는 인슐린이고, 측정 센서 유닛(1904)은 간질 포도당 레벨들을 측정하는 연속적 포도당 모니터 센서이고, 약물 분배 유닛(1908)은 인슐린 펌프이고, 약물 투여량 계산 유닛(1906)은 자동화된 인슐린 전달 시스템(일명 인공 췌장)의 인슐린 투여량 계산 유닛이다.
도 19에 도시된 요소들 각각은 적합한 구조에 의해 구현될 수 있다. 예를 들어, 이들은 개별 하드웨어 요소들일 수 있거나 착용가능한 디바이스 내의 소프트웨어 구조들, 착용가능한 디바이스와 통신하는 보조 디바이스, 또는 네트워크를 통해 보조 디바이스 및/또는 착용가능한 디바이스에 결합된 서버로서 구현될 수 있다. 일부 요소들은 전적으로 소프트웨어일 수 있고, 소프트웨어를 실행하는 프로세서로 메시지들을 전송하고/하거나 그로부터 메시지들을 수신할 수 있는 다른 요소들에 결합될 수 있다. 예를 들어, 약물 분배 유닛(1908)은 소프트웨어 시스템에 의해 주어진 명령어들에 응답하여 약물의 미세투여량들을 주입하는 내장된 하드웨어 시스템일 수 있으며, 따라서 단지 온-보드의 최소 프로세싱만을 필요로 할 것이다.
식이요법 추적 및 피드백 시스템(1902)은 본 명세서의 다른 곳에 기술된 바와 같이 구현될 수 있고, 하나 이상의 센서 유닛(들)의 출력들을 모니터링하여, 음식 섭취 이벤트의 실제의, 거의 확실한 또는 임박한 시작을 결정할 수 있다. 음식 섭취 이벤트의 실제의, 거의 확실한, 또는 임박한 시작의 검출 시, 또는 그 후의 어느 시점에, 그것은 음식 섭취 이벤트의 실제의, 거의 확실한 또는 임박한 시작이 검출되었음을 약물 투여량 계산 유닛(1906)에 통지하기 위해 약물 투여량 계산 유닛(1906)에 신호(1903)를 전송할 수 있다. 약물 투여량 계산 유닛(1906)은 이러한 정보를 사용하여 그의 상태를 "식사 진행 중(meal-in-progress)" 상태로 변경할 수 있다.
식사 진행 중 상태에 들어갈 때 또는 그 후의 어느 시점에, 약물 투여량 계산 유닛(1906)은 투여될 초기 식사 약물 투여량을 계산하고 하나 이상의 메시지들을 약물 분배 유닛(1908)에 전송할 수 있다. 대안적으로, 음식 섭취 이벤트의 시작과 관련하여 투여되는 약물 투여량은 음식 섭취 이벤트의 발생에 앞서 미리구성되거나 계산되었을 수 있다. 이들 메시지(1907)를 수신할 때, 약물 분배 유닛(1908)은 약물의 전달을 개시할 수 있다.
약물 분배 유닛은 약물을 일시에 또는 전달 스케줄에 따라 전달할 수 있다. 전달 스케줄은 약물 투여량 계산 유닛에 의해 결정되고 인슐린 전달 시스템으로 통신될 수 있다. 전달 스케줄은 식사 진행 중 상태에 들어갈 때 또는 그 후의 어느 시점에 결정될 수 있다. 전달 스케줄은 또한 음식 섭취 이벤트의 발생에 앞서 미리구성될 수 있다.
초기 식사 약물 투여량 및/또는 전달 스케줄은 음식 섭취 이벤트에 대한 예측된 약물 투여량 전체를 커버할 수 있다. 대안적으로, 초기 식사 약물 투여량 및/또는 전달 스케줄은 음식 섭취 사건에 대한 전체 예상 약물 투여량의 일부만을 커버할 수 있고, 음식 섭취 이벤트 동안 또는 그 후 나중에 추가의 약물 투여량이 예상된다.
약물 투여량 계산 유닛(1906)은 초기 약물 투여량 및/또는 초기 전달 스케줄을 계산할 때 추가의 입력들을 고려할 수 있다. 일부 입력들은 현재 또는 최근 측정치들, 현재 또는 최근 사용자 활동들 및 거동들, 또는 사용자의 현재 또는 최근 상태 또는 조건에 대응하는 다른 정보에 관련될 수 있다. 다른 입력들은 사용자의 과거 상태 또는 조건에 대응하는 이력 측정치들, 이력 사용자 활동들 및 거동들 또는 다른 정보에 관련될 수 있다.
추가 입력들의 예들
약물 투여량 계산 유닛(1906)은 측정 센서 프로세싱 유닛(1909)으로부터의 하나 이상의 출력들(1910)을 고려할 수 있다. 약물 투여량 계산 유닛(1906)은 출력들(1910)에 대한 추가의 프로세싱 단계들을 수행할 수 있다. 예를 들어, 측정 센서 유닛(1904)은 연속 포도당 모니터("CGM")일 수 있고, 측정 센서 프로세싱 유닛(1909)의 출력들(1910)은 간질 포도당 레벨 판독치들일 수 있다. 예를 들어, 출력들(1910)은 매 몇 분마다 업데이트될 수 있다. 다른 업데이트 빈도들이 또한 가능하다. 출력들(1910)은 또한 연속적으로 업데이트될 수 있다. 약물 투여량 계산 유닛(1906)은 하나 이상의 간질 포도당 레벨 판독치들을 고려할 수 있다. 예를 들어, 약물 투여량 계산 유닛(1906)은 가장 최근의 판독치를 고려할 수 있다. 약물 투여량 계산 유닛(1906)은 간질 포도당 레벨 판독치들의 변화들을 나타내는 소정 파라미터들을 계산할 수 있다. 예를 들어, 약물 투여량 계산 유닛(1906)은 하나 이상의 시간 윈도우들에 걸친 간질 포도당 레벨 판독치들의 최소값, 평균, 최대값, 표준 편차, 기울기 또는 2차 미분을 계산할 수 있다. 시간 윈도우는, 식사 진행 중 상태로의 전이 이전의 기간에 걸쳐 이어질 수 있거나, 식사 진행 중 상태로의 전이를 포함하는 기간에 걸쳐 이어질 수 있거나, 또는 식사 진행 중 상태로의 전이 후의 어느 시점의 기간에 걸쳐 이어질 수 있다. 심박수, 혈압, 체온, 수화 레벨, 피로 레벨과 같은 다른 또는 추가의 측정 센서 유닛들이 또한 가능하다. 인슐린 전달 시스템은 또한 사용자의 현재 위치를 고려할 수 있다.
약물 투여량 계산 유닛(1906)은 또한 사용자의 현재 또는 최근 신체 활동, 수면, 스트레스 등과 관련된 정보와 같은 다른 입력들을 고려할 수 있다. 약물 투여량 계산 유닛(1906)은 또한 성별, 연령, 키, 체중 등과 같은 개인 정보를 고려할 수 있다.
약물 투여량 계산 유닛(1906)은 또한 예를 들어, 사용자의 인슐린 기저 속도, 사용자의 인슐린-탄수화물 비, 및 사용자의 인슐린 교정 인자와 같은, 사용자의 약물 투여 필요성과 관련된 정보를 고려할 수 있다. 이러한 정보는 사용자에 의해, 보호자에 의해, 또는 건강 기록 또는 건강관리 유지 시스템에 의해 입력되거나 구성될 수 있다. 사용자의 약물 투여 필요성과 관련된 정보는 또한 약물 분배 시스템에 의해 수집 및 저장된 이력 데이터로부터 도출될 수 있다. 예를 들어, 현재 음식 섭취 이벤트 이전의 기간 동안 약물 분배 유닛에 의해 전달된 약물(예컨대, 인슐린)의 투여량. 약물 투여량 계산 유닛(1906)은 동일한 시간 및/또는 동일한 요일에 또는 그 즈음하여(예컨대, 특정 시간 윈도우 내에서) 과거에 발생한 하나 이상의 이전 음식 섭취 이벤트들과 관련하여 전달된 약물 투여량들을 고려할 수 있다.
약물 투여량 계산 유닛(1906)은 또한, 예를 들어, 인슐린-온-보드와 같은 이전의 약물 분배 이벤트들로부터 여전히 활성인 약물을 고려할 수 있다.
약물 투여량 계산 유닛(1906)은 또한 동일한 시간, 및/또는 동일한 요일에 또는 그 즈음하여(예컨대, 특정 시간 윈도우 내에서), 및/또는 동일한 위치에서 과거에 발생된 음식 섭취 이벤트들과 관련된 파라미터들을 포함할 수 있다. 예를 들어, 약물 투여 시스템(1906)은 과거의 음식 섭취 이벤트들의 지속시간, 과거의 음식 섭취 이벤트들 동안 섭취된 추정량들, 과거의 음식 섭취 이벤트들 동안의 섭식의 평균 페이스, 과거의 음식 섭취 이벤트들의 섭식 방법들, 과거의 음식 섭취 이벤트들 동안 사용된 식기들 또는 용기들의 유형, 또는 과거의 음식 섭취 이벤트들 동안 섭취된 탄수화물의 양들을 검색할 수 있다. 다른 파라미터들이 또한 가능하다. 이러한 추가의 파라미터들 중 일부(예컨대, 지속시간 또는 페이스)는 임의의 사용자 개입을 요구하지 않으면서 음식 섭취 추적 및 피드백 시스템에 의해 계산될 수 있다. 다른 경우들에서, 사용자에 의한 사용자 개입, 입력 또는 확인이 필요할 수 있다.
약물 분배 스케줄
약물 투여량 계산 유닛(1906)은 약물 분배 유닛이 초기 약물 투여량을 일시에 투여하도록 지시할 수 있거나, 약물을 투여하기 위한 전달 스케줄을 특정할 수 있다. 본 발명의 일 실시 형태에서, 약물 투여량 계산 유닛(1906)은 약물 투여량뿐만 아니라 약물의 전달을 위한 스케줄을 계산한다. 일례로서, 약물 투여량 계산 유닛(1906)은 5단위의 인슐린이 전달될 필요가 있음을 결정할 수 있고, 전달 스케줄을 다음과 같이 특정할 수 있다: 즉시 2단위를 투여하고, 2분 후 1단위, 5분 후 1단위, 그리고 7분 후 1단위로 함. 이는 단지 일례이며, 다른 시간 프로파일 구조들이 물론 가능하다.
약물 투여량 계산 유닛(1906)은 약물 투여량 및 스케줄을 약물 분배 유닛(1908)에 통신할 수 있다. 대안적으로, 약물 투여량 계산 유닛(1906)은 스케줄을 관리하고 약물이 투여될 필요가 있을 때마다 투여될 약물의 투여량과 함께 하나 이상의 메시지들을 약물 분배 유닛(1908)에 전송할 수 있다.
본 발명의 바람직한 실시 형태에서, 약물 투여량 계산 유닛(1906)은 식사 진행 중 상태에 들어갈 때에 또는 그 후의 어느 시점에, 약물 분배 유닛(1908)이 약물의 전달을 개시하도록 지시할 수 있다(1907). 예를 들어, 그것은 약물 분배 유닛(1908)이 약물의 하나 이상의 작은 미세 투여량들을 전달하도록 지시할 수 있다.
추가의 투여량들 및 투여량 조정들
음식 섭취 이벤트 동안 그리고/또는 음식 섭취 이벤트 후의 어느 시점에, 약물 투여량 계산 유닛(1906)은 주기적으로(예컨대, 몇 분마다) 또는 연속적으로 측정 센서 프로세싱 유닛(들)(1909)으로부터의 하나 이상의 입력들(1905), 및/또는 식이요법 추적 및 피드백 시스템(1902)으로부터의 하나 이상의 입력들(1903)을 부분적으로 모니터링하여 추가의 약물이 투여되어야 하는지와 얼마나 많이 투여되어야 하는지, 또는 스케줄링된 약물 분배가 조정되어야 하는지 여부를 결정할 수 있다. 본 발명의 이전 섹션들에 기술된 입력들과 같은 다른 입력들이 또한 고려될 수 있다.
약물 투여량 또는 약물 투여량 조정을 계산할 때, 약물 투여량 계산 유닛(1906)은 음식 섭취 이벤트가 진행 중인지 여부를 고려할 수 있다. 음식 섭취 이벤트가 진행 중이지 않거나 더 이상 진행되지 않는 경우, 약물 투여량 계산 유닛(1906)은 예를 들어, 최종 음식 섭취 이벤트의 종료 이후의 시간을 고려할 수 있다. 음식 섭취 이벤트가 진행 중인 경우, 약물 투여량 계산 유닛(1906)은 예를 들어, 현재 음식 섭취 이벤트의 시작 이후 경과된 시간, 현재 음식 섭취 이벤트의 시작 이후 섭식의 평균 또는 중간 페이스, 현재 음식 섭취 이벤트의 시작 이후 섭취된 추정 총량을 고려할 수 있다. 다른 예들이 또한 가능하다.
약물 투여량 계산 유닛(1906)은 또한 측정 센서 프로세싱 유닛(1909)으로부터의 하나 이상의 최근 입력들을 고려할 수 있다. 예를 들어, 약물 투여량 계산 유닛(1906)이 자동화된 인슐린 전달 시스템에서의 인슐린 투여 유닛이고(일명 인공 췌장), 측정 센서 유닛(1909)이 CGM인 경우, 약물 투여량 계산 유닛(1906)은 가장 최근의 간질 포도당 레벨 판독치의 값 및/또는 현재 시간 직전의 또는 그 즈음의 시간 윈도우에 걸친 간질 포도당 레벨 판독치들의 변화를 고려할 수 있다. 가장 최근의 간질 포도당 레벨 판독치가 특정된 임계치 미만이고/이거나 간질 포도당 레벨 판독치들의 변화가 특정된 음의(negative) 임계치를 초과하는 경우, 약물 투여량 계산 유닛(1906)은 인슐린 투여량을 하향 조정하거나, 간질 포도당 레벨 판독치들이 제2 특정 임계치에 도달하고/하거나, 간질 포도당 레벨 판독치들의 변화가 더 이상 제2 특정된 음의 임계치를 초과하지 않거나, 양(positive)이 되었거나, 또는 특정된 양의 임계치를 초과할 때까지 인슐린 전달을 보류하도록 결정할 수 있다.
본 발명의 일부 실시 형태들에서, 관련된 측정 센서 프로세싱 유닛 출력의 검출 시, 약물 투여량 계산 유닛(1906)은 사용자, 그의 보호자들 중 한 명 이상, 의료 제공자, 모니터링 시스템 또는 응급 대응 시스템, 또는 그러한 에피소드들의 발생에 대해 통지되는데 직간접적으로 이해관계가 있을 수 있는 제3자에게 경보를 전송할 수 있다.
마찬가지로, 가장 최근의 간질 포도당 레벨 판독치가 특정 임계치를 초과하고/하거나 간질 포도당 레벨 판독치들의 변화가 특정된 양의 임계치를 초과하는 경우, 약물 투여량 계산 유닛(1906)은 추가의 약물 투여량이 투여되어야 한다거나, 이미 스케줄링된 약물 투여량이 더 큰 투여량으로 조정되거나 현재 스케줄링된 시간보다 더 빠른 시간에 전달될 필요가 있다고 결정할 수 있다. 약물 투여량 계산 유닛(1906)은 선택적으로 추가의 약물 투여량 또는 약물 투여량 조정을 계산하기 위해 식이요법 추적 및 피드백 시스템(1902)으로부터의 추가의 입력들을 고려할 수 있다. 약물 투여량 계산 유닛(1906)은 하나 이상의 메시지들(1907)을 약물 분배 유닛(1908)에 전송하여 약물 분배 유닛(1908)에게 추가의 또는 조정된 약물 투여 요건들에 대해 통지할 수 있다.
음식 섭취 이벤트의 실제의 또는 임박한 종료의 검출 시, 또는 그 후의 어느 시점에, 식이요법 추적 및 피드백 서브시스템(1902)은 약물 투여량 계산 유닛(1906)에 신호(1903)를 전송하여, 약물 투여량 계산 유닛(1906)에 음식 섭취 이벤트의 실제의 또는 임박한 종료가 검출되었음을 통지할 수 있다. 약물 투여량 계산 유닛(1906)은 이러한 정보를 사용하여 그의 상태를 "비-식사 진행 중" 상태로 변경할 수 있다. 특정 실시 형태들에서, 약물 투여량 계산 유닛은, 비-식사 진행 중 상태에 있을 때, 주기적으로 또는 연속적으로, 측정 센서 프로세싱 유닛(들)(1909)으로부터의 하나 이상의 입력들(1905), 및/또는 식이요법 추적 및 피드백 시스템(1902)으로부터의 하나 이상의 입력들(1903)을 부분적으로 모니터링하여 추가의 약물이 투여되어야 하는지와 얼마나 많이 투여되어야 하는지, 또는 스케줄링된 약물 분배가 조정되어야 하는지 여부를 결정할 수 있다. 본 발명의 이전 섹션들에 기술된 입력들과 같은 다른 입력들이 또한 고려될 수 있다. 비-식사 진행 중 상태에 있을 때, 약물 투여량을 모니터링 및/또는 업데이트/조정하는 빈도는 "식사 진행 중" 상태에 있을 때 약물 투여량을 모니터링 및/또는 업데이트/조정하는 빈도와는 상이할 수 있다. 약물 투여량 또는 약물 투여량 조정을 결정하는 데 사용되는 알고리즘들은 또한 "식사 진행 중" 상태와 "비-식사 진행 중" 상태 사이에서 상이할 수 있다.
약물 투여 학습 시스템에 대한 설명
본 발명의 일부 실시 형태들에서, 약물 투여량 계산 유닛(1906)은 음식 섭취 이벤트들에 관한 데이터 및 정보를 수집하고 저장할 수 있다. 일부 실시 형태들에서, 약물 투여량 계산 유닛(1906)은 저장 전에 수집된 데이터 및 정보에 대해 추가의 프로세싱 단계들을 수행할 수 있다. 프로세싱 단계들은 필터링, 평균화, 산술 연산들을 적용하는 것, 및 통계 연산들을 적용하는 것일 수 있다. 다른 프로세싱 단계들이 또한 가능하다.
음식 섭취 이벤트들에 관한 데이터 및 정보는 음식 섭취 이벤트들에 관한 데이터 기록들을 유지하는 데이터베이스 내의 데이터 요소들로서 저장될 수 있다.
데이터 요소들은 이벤트 데이터 요소들일 수 있고, 음식 섭취 이벤트를 특징짓는 정보 또는 파라미터들을 포함할 수 있다. 그러한 정보는 이벤트 시작 시간, 이벤트가 발생한 요일, 이벤트의 날짜, 이벤트의 지속시간, 이벤트 종료 시간, 대상이 섭식 또는 음용 중인 속도 또는 페이스와 연관된 메트릭들, 이벤트 동안 섭취된 음식 또는 액체의 양들과 연관된 메트릭들을 포함할 수 있지만, 이들로 제한되지 않는다.
데이터 요소들은 또한 측정 데이터 요소들일 수 있고, 하나 이상의 측정 센서 유닛들(1904)에 의해 측정되고 하나 이상의 측정 센서 프로세싱 유닛들(1909)에 의해 프로세싱된 하나 이상의 신호들을 특징짓는 정보 또는 파라미터들을 포함할 수 있다. 그러한 정보는 음식 섭취 이벤트와 관련하여 특정 시간들에 대응하는 센서 판독 레벨들, 또는 음식 섭취 이벤트와 관련하여 특정 시간 윈도우들에 대응하는 평균, 최소, 또는 최대 센서 판독 레벨들을 포함할 수 있지만, 이들로 제한되지 않는다. 예를 들어, 특정 시간들은 음식 섭취 이벤트의 시작, 음식 섭취 이벤트 동안의 주기적 또는 미리정의된 시간 지점들, 음식 섭취 이벤트의 종료, 또는 음식 섭취 이벤트 이후의 주기적 또는 미리정의된 시간들일 수 있다. 다른 시간들이 또한 가능하다. 예를 들어, 특정 시간 윈도우들은 음식 섭취 이벤트의 시작 직전의 시간의 지속시간, 음식 섭취 이벤트의 시작 이전의 지속시간, 음식 섭취 이벤트의 지속시간, 음식 섭취 이벤트 내의 특정 지속시간 시간, 음식 섭취 이벤트의 종료 직후의 지속시간 또는 음식 섭취 이벤트의 종료 후 어느 시점에서의 지속시간일 수 있다.
하나의 특정 실시 형태에서, 약물 투여량 계산 유닛은 자동화된 인슐린 전달 시스템이고, 센서 판독 레벨들은 연속 포도당 모니터링 센서로부터 획득된 간질 포도당 판독 레벨들이다.
데이터 요소들은 또한 투여량 데이터 요소들일 수 있고, 음식 섭취 이벤트와 관련하여 약물 투여량 및 전달 스케줄을 특징짓는 정보 또는 파라미터들을 포함할 수 있다.
다른 데이터 요소들이 또한 가능하다. 동일한 음식 섭취 이벤트의 하나 이상의 이벤트 데이터 요소들, 하나 이상의 측정 데이터 요소들 및/또는 하나 이상의 투여량 데이터 요소들은 데이터베이스 내의 단일 기록 엔트리로서 기록될 수 있다. 이벤트 데이터 요소들, 측정 데이터 요소들 및/또는 투여량 데이터 요소들은 또한 데이터베이스 내의 별개의 기록들로서 기록될 수 있다. 본 명세서의 교시와 일치하는 다른 데이터 구조들이 또한 사용되거나 대신에 사용될 수 있다.
약물 투여량 계산 유닛(1906)은 프로세싱 및 분석 서브시스템을 포함할 수 있다.
프로세싱 및 분석 서브시스템은 적절한 약물 투여량 및/또는 전달 스케줄을 추천하는 모델을 구축하기 위해 데이터베이스 내의 엔트리에 통계, 기계 학습 또는 인공 지능 기법을 사용할 수 있다. 프로세싱 및 분석 서브시스템은 초기 약물 투여량을 추천하고/하거나 추가의 약물 투여량(들) 또는 투여량 조정(들)을 추천하는 데 사용될 수 있다.
도 20은 본 발명에 기술된 다른 요소들과 함께 사용될 수 있는 기계 학습 시스템의 예시적인 예이다. 도 20의 기계 학습 시스템은 투여량 훈련 서브시스템(2020) 및 투여량 예측기 서브시스템(2021)을 포함한다. 본 발명의 일부 실시 형태들에서, 기계 학습 시스템은 추가의 서브시스템들 또는 도 2에 도시된 서브시스템들의 수정된 버전들을 포함할 수 있다. 투여량 훈련 서브시스템(2020)은 이벤트 데이터 요소들(2022), 측정 데이터 요소들(2023) 및 투여량 데이터 요소들(2024)을 입력들로서 사용할 수 있다. 투여량 훈련 서브시스템은 적절한 약물 투여량 및/또는 약물 분배 스케줄을 추천하는 모델을 구축하기 위해 기계 학습 기법들을 적용한다. 그것은 모델을 훈련시키기 위해 데이터베이스로부터의 하나 이상의 엔트리들에 대한 지도 학습 기법들을 사용할 수 있다. 이벤트 데이터 요소(들)(2022) 및/또는 측정 데이터 요소(들)(2023)가 모델을 위한 특징들로서 사용될 수 있다. 하나 이상의 투여량 데이터 요소들(2024)이 라벨들로서 사용될 수 있다. 이어서, 훈련된 모델(들)(2025 및/또는 2029)이 투여량 예측기 서브시스템(2021)에 사용되어, 새로운 라벨링되지 않은 데이터 입력(2026)에 대응하는 약물 투여량 추천 및/또는 약물 분배 추천을 생성한다.
약물 투여량 계산 유닛(1906)은 프로세싱 유닛을 포함할 수 있고, 데이터 요소들에 대한 추가의 프로세싱을 수행할 수 있고, 데이터를 분석하여 사용자의 섭식 및 음용 활동들 및 거동들, 센서 측정들(예컨대, 혈당 제어) 및/또는 약물 요법에 관한 정보를 추출할 수 있다. 프로세싱은 필터링, 특정 데이터 요소들을 추출하는 것, 데이터 또는 데이터 요소들을 수정하는 것, 데이터 또는 데이터 요소들을 조합하는 것을 포함할 수 있지만, 이들로 제한되지 않는다. 분석은 또한 특정 데이터 요소들을 룩업 테이블 또는 데이터베이스에 저장된 데이터와 비교하는 것, 데이터 요소들을 이전 시간에 그리고/또는 상이한 대상들로부터 획득된 데이터 요소들에 상관시키는 것을 포함할 수 있다. 약물 투여량 계산 유닛(1906)은 하나 이상의 데이터 저장 유닛(들)에 원시 데이터 또는 프로세싱된 데이터를 저장할 수 있다. 저장소는 일시적이거나 영구적일 수 있다.
일부 변형예들에서, 데이터베이스 내의 기록들은 그룹들로 세분화될 수 있고(예컨대, 식사 유형 - 조식, 점식, 저녁, 간식에 기초함), 상이한 모델이 각각의 하위 그룹에 대해 사용될 수 있다. 대안적으로, 동일한 모델이 사용될 수 있지만, 그것은 단지 하나 또는 하위 그룹들의 선택적 세트로부터의 데이터를 사용하여 훈련될 수 있다. 다른 변형예들에서, 지도 기계 학습 접근법(즉, 특징들이 수동으로 특정됨) 대신에, 비지도 학습이 대신 사용될 수 있다. 비지도 학습에 의해, 분류기는 제공된 원시 데이터세트로부터 특징들을 자율적으로 생성할 것이다.
약물 투여량 계산 유닛(1906)은 다른 사용자 활동들에 관한 데이터 및 정보를 수집하고 저장할 수 있다. 예를 들어, 약물 투여량 계산 유닛(1906)은 사용자의 신체 활동, 수면 활동, 성적 활동에 관한 정보 또는 데이터를 수집할 수 있다. 약물 투여량 계산 유닛(1906)은 또한 사용자의 스트레스, 심박수, 혈압 등에 관한 정보를 수집 및 저장할 수 있다. 일부 실시 형태들에서, 약물 투여량 계산 유닛(1906)은 저장 전에 수집된 데이터 및 정보에 대해 추가의 프로세싱 단계들을 수행할 수 있다. 프로세싱 단계들은 필터링, 평균화, 산술 연산들을 적용하는 것, 및 통계 연산들을 적용하는 것일 수 있다. 다른 프로세싱 단계들이 또한 가능하다. 약물 투여량 계산 유닛(1906)은 이러한 데이터 및 정보를 하나 이상의 음식 섭취 이벤트들에 상관시킬 수 있다. 음식 섭취 이벤트들에 관한 데이터 및 정보는 음식 섭취 이벤트들에 관한 데이터 기록들을 유지하는 데이터베이스 내의 데이터 요소들로서 저장될 수 있다. 이들 데이터 요소들은 또한 약물 투여량 계산 유닛(1906)의 프로세싱 및 분석 서브시스템에 대한 입력들로서 사용될 수 있다. 예를 들어, 이들 데이터 요소들은 투여량 훈련 서브시스템(1920)에 대한 추가의 또는 대안적인 이벤트 데이터 입력들로서 사용될 수 있다. 예를 들어, 이들 데이터 요소들은 모델에 대한 특징들일 수 있다.
약물 투여 시스템(1906)은 또한 사용자의 신체 활동, 수면, 스트레스 등과 관련된 정보와 같은 입력들을 수집할 수 있다. 약물 투여 시스템(1906)은, 예를 들어, 사용자의 현재 또는 최근의 신체 활동을 과거의 신체 활동과 비교하고, 그러한 비교의 출력을 약물 투여량의 계산에 사용할 수 있다.
도 20에 상세히 도시되지 않지만, 기계 학습 시스템, 투여량 훈련 서브시스템(2020), 및 투여량 예측기 서브시스템(2021)은 다양한 구조적 요소들을 사용하여 구현될 수 있다. 예를 들어, 투여량 예측은 프로세서와 같은 컴퓨터 하드웨어, 프로그램 코드 메모리 및 프로그램 코드 메모리에 저장된 프로그램 코드를 사용하여 구현될 수 있다. 이는 별개의 내장형 유닛일 수 있거나, 또는 다른 기능들 및 태스크들뿐만 아니라 투여량 예측을 위해 사용되는 메모리를 갖는 프로세서 상에서 구현될 수 있다. 이러한 프로세서 및 메모리는 착용가능한 디바이스, 착용가능한 디바이스와 통신하는 모바일 디바이스, 착용가능한 디바이스 또는 센서들과 직접적으로 또는 간접적으로 통신하는 서버, 또는 상기의 일부 조합에 내장될 수 있다. 다른 요소들이 유사하게 구현될 수 있으며, 예컨대 이벤트 데이터 요소들(2022)을 위한 저장소, 측정 데이터 요소들(2023)을 위한 저장소, 및 투여량 데이터 요소들(2024)을 위한 저장소, 적절한 약물 투여량 및/또는 약물 분배 스케줄을 추천하는 모델을 구축하기 위해 기계 학습 기법들을 구현하는 프로그램 코드, 모델을 위한 저장소, 모델을 훈련시키기 위한 데이터베이스를 위한 저장소, 및 약물 투여량 추천 메시지, 약물 분배 추천 메시지, 또는 약물을 분배하는 하드웨어 디바이스에 대한 신호와 같은 메시지들을 통신하는 데 필요한 하드웨어 회로부이다.
소정 실시 형태들에서, 도 19의 약물 분배 시스템은 임의의 수동 개입 없이 작동하거나, 적어도 임의의 수동 개입을 필요로 하지 않을 수 있다. 다른 실시 형태들에서, 도 19의 약물 분배 시스템은 일부 수동 개입을 필요로 할 수 있다. 일례에서, 약물 투여량 계산 유닛(1906)은 약물 투여 및/또는 약물 전달 스케줄을 계산할 수 있지만, 약물 분배 유닛(1908)이 약물의 전달을 개시하거나 스케줄링하도록 지시하는 대신에, 그것은 제안된 약물 투여량 및/또는 약물 전달 스케줄을 확인하도록 환자, 환자의 하나 이상의 보호자들, 의료 전문가, 모니터링 시스템 등에 메시지를 전송할 수 있다. 메시지는 문자 메시지, 푸시 통지, 음성 메시지 등일 수 있지만, 다른 메시지 포맷들이 또한 가능하다.
일부 실시 형태들에서, 환자, 보호자 등은 제안된 약물 투여량 및/또는 약물 전달 스케줄을 변경하는 옵션을 가질 수 있다. 환자, 보호자 등으로부터의 확인을 수신할 때, 약물 투여량 계산 유닛(1906)은 약물의 전달을 개시하거나 스케줄링하기 위해 하나 이상의 명령어들을 약물 분배 유닛(1908)에 전송할 수 있다. 명령어(들)는 또한 약물 투여량 계산 유닛(1906) 외의 디바이스 또는 유닛에 의해 전송될 수 있다. 일례로서, 명령어(들)는 환자, 보호자 등이 메시지를 수신한 디바이스로부터 직접 약물 분배 유닛(1908)에 전송되어, 약물 투여량 및/또는 약물 전달 스케줄을 확인할 수 있다. 메시지를 미래의 미리결정된 시간으로 이동시키는 "스누즈" 기능을 허용하는 것과 같은 다른 사용자 개입들이 또한 가능하다.
실시예
실시예 1: 자동화된 약물 투여 및 분배 시스템으로서, 자동화된 약물 투여 및 분배 시스템의 사용자와 관련된 움직임 및 다른 신체적 입력들을 검출하기 위한 센서들; 프로그램 코드 명령어들을 포함하는 컴퓨터 판독가능 저장 매체; 및 프로세서를 포함하며, 프로그램 코드 명령어들은 프로세서로 하여금: 센서들로부터 획득된 센서 판독치들로부터, 사용자의 제스처 기반 신체적 거동 이벤트의 발생을 결정하는 단계; 및 결정하는 단계에 응답하여, 약물 투여량, 약물 분배 파라미터들, 또는 약물 투여량 및 약물 분배 파라미터들 둘 모두를 조정하는 단계를 포함하는 방법을 수행하게 하도록 구성가능한, 자동화된 약물 투여 및 분배 시스템.
실시예 2: 실시예 1에 있어서, 센서 판독치들 중 적어도 하나는 사용자의 신체 부분의 움직임을 측정하는, 자동화된 약물 투여 및 분배 시스템.
실시예 3: 실시예 1에 있어서, 센서 판독치들로부터 사용자의 제스처들을 결정하기 위한 이벤트 검출 모듈을 더 포함하는, 자동화된 약물 투여 및 분배 시스템.
실시예 4: 실시예 1에 있어서, 방법은 사용자에게 메시지를 전송하는 단계를 더 포함하며, 메시지는 조정하는 단계와 관련되는, 자동화된 약물 투여 및 분배 시스템.
실시예 5: 실시예 1에 있어서, 제스처 기반 신체적 거동 이벤트는 음식 섭취 이벤트와 관련되지 않은 사용자 활동에 대응하는, 자동화된 약물 투여 및 분배 시스템.
실시예 6: 실시예 5에 있어서, 음식 섭취 이벤트와 관련되지 않은 사용자 활동은 흡연 이벤트, 개인 위생 이벤트, 및/또는 약물 관련 이벤트를 포함하는, 자동화된 약물 투여 및 분배 시스템.
실시예 7: 실시예 1에 있어서, 제스처 기반 신체적 거동 이벤트는 음식 섭취 이벤트에 대응하는, 자동화된 약물 투여 및 분배 시스템.
실시예 8: 실시예 1에 있어서, 조정하는 단계는 제스처 기반 신체적 거동 이벤트의 실제의, 거의 확실한, 또는 임박한 시작의 검출 시에 수행되는, 자동화된 약물 투여 및 분배 시스템.
실시예 9: 실시예 1에 있어서, 조정하는 단계는 제스처 기반 신체적 거동 이벤트의 특성들에 기초하는, 자동화된 약물 투여 및 분배 시스템.
실시예 10: 실시예 9에 있어서, 제스처 기반 신체적 거동 이벤트는 음식 섭취 이벤트에 대응하고; 조정하는 단계는 음식 섭취 이벤트의 하기의 특징들, 즉 지속시간; 페이스; 시작 시간; 종료 시간; 베어먹기들의 횟수; 홀짝마시기들의 횟수; 섭식 방법; 사용된 식기들의 유형; 사용된 용기들의 유형; 삼키기 전 씹기의 양; 씹기 속도; 섭취된 음식의 양; 섭취된 탄수화물의 양, 베어먹기들 사이의 시간; 홀짝마시기들 사이의 시간; 섭취된 음식의 내용물 중 적어도 하나에 기초하는, 자동화된 약물 투여 및 분배 시스템.
실시예 11: 실시예 1에 있어서, 시스템에 의해 관리되는 약물은 인슐린이고; 조정하는 단계는 투여될 인슐린의 투여량을 계산하고 계산된 인슐린 투여량의 전달을 위한 스케줄을 계산하는, 자동화된 약물 투여 및 분배 시스템.
실시예 12: 실시예 1에 있어서, 센서들은 사용자의 팔의 움직임을 측정하는 가속도계 및 사용자의 팔의 회전을 측정하는 자이로스코프를 포함하는, 자동화된 약물 투여 및 분배 시스템.
실시예 13: 사용자와 관련된 움직임 및 다른 신체적 입력들을 검출하기 위한 센서들을 갖는 자동화된 약물 투여 및 분배 시스템을 작동시키는 방법으로서, 자동화된 약물 투여 및 분배 시스템의 프로세서를 사용하여, 센서 판독치들의 세트를 획득하는 단계 - 센서 판독치들의 세트 중 적어도 하나의 센서 판독치는 사용자의 신체 부분의 움직임을 측정함 -; 센서 판독치들의 세트로부터, 사용자의 제스처 기반 신체적 거동 이벤트의 발생을 결정하는 단계; 및 결정하는 단계에 응답하여, 약물 투여량, 약물 분배 파라미터들, 또는 약물 투여량 및 약물 분배 파라미터들 둘 모두를 조정하는 단계를 포함하는, 방법.
실시예 14: 실시예 13에 있어서, 결정하는 단계에 응답하여 컴퓨터 기반 액션을 수행하는 단계를 더 포함하며, 컴퓨터 기반 액션은: 제스처 기반 신체적 거동 이벤트를 표현하는 데이터와 연관하여 메모리에 저장될 다른 정보를 획득하는 것; 사용자와 상호작용하여 정보 또는 리마인더를 제공하는 것; 사용자와 상호작용하여 사용자 입력을 촉구하는 것; 원격 컴퓨터 시스템으로 메시지를 전송하는 것; 다른 사람에게 메시지를 전송하는 것; 사용자에게 메시지를 전송하는 것 중 하나 이상인, 방법.
실시예 15: 실시예 13에 있어서, 제스처 기반 신체적 거동 이벤트는 음식 섭취 이벤트와 관련되지 않은 사용자 활동에 대응하는, 방법.
실시예 16: 실시예 15에 있어서, 음식 섭취 이벤트와 관련되지 않은 사용자 활동은 흡연 이벤트, 개인 위생 이벤트, 및/또는 약물 관련 이벤트를 포함하는, 방법.
실시예 17: 실시예 13에 있어서, 제스처 기반 신체적 거동 이벤트는 음식 섭취 이벤트에 대응하는, 방법.
실시예 18: 실시예 13에 있어서, 조정하는 단계는 제스처 기반 신체적 거동 이벤트의 실제의, 거의 확실한, 또는 임박한 시작의 검출 시에 수행되는, 방법.
실시예 19: 실시예 13에 있어서, 조정하는 단계는 제스처 기반 신체적 거동 이벤트의 특성들에 기초하는, 방법.
실시예 20: 실시예 19에 있어서, 제스처 기반 신체적 거동 이벤트는 음식 섭취 이벤트에 대응하고; 조정하는 단계는 음식 섭취 이벤트의 하기의 특징들, 즉 지속시간; 페이스; 시작 시간; 종료 시간; 베어먹기들의 횟수; 홀짝마시기들의 횟수; 섭식 방법; 사용된 식기들의 유형; 사용된 용기들의 유형; 삼키기 전 씹기의 양; 씹기 속도; 섭취된 음식의 양; 베어먹기들 사이의 시간; 홀짝마시기들 사이의 시간; 섭취된 음식의 내용물 중 적어도 하나에 기초하는, 방법.
실시예 21: 자동화된 약물 투여 및 분배 시스템으로서, 자동화된 약물 투여 및 분배 시스템의 사용자와 관련된 움직임을 검출하기 위한 센서들; 프로그램 코드 명령어들을 포함하는 컴퓨터 판독가능 저장 매체; 및 프로세서를 포함하며, 프로그램 코드 명령어들은 프로세서로 하여금: 센서들로부터 획득된 센서 판독치들로부터, 사용자의 현재 음식 섭취 이벤트의 시작 또는 예상되는 시작을 결정하는 단계; 사용자의 이전에 기록된 음식 섭취 이벤트들에 대해 수집된 이력 데이터를 검토하는 단계; 현재 음식 섭취 이벤트와 다수의 이전에 기록된 음식 섭취 이벤트들 사이의 상관관계를 식별하는 단계; 및 식별된 상관관계에 기초하여, 약물 투여량, 약물 분배 파라미터들, 또는 약물 투여량 및 약물 분배 파라미터들 둘 모두를 조정하는 단계를 포함하는 방법을 수행하게 하도록 구성가능한, 자동화된 약물 투여 및 분배 시스템.
실시예 22: 실시예 21에 있어서, 센서 판독치들 중 적어도 하나는 사용자의 신체 부분의 움직임을 측정하는, 자동화된 약물 투여 및 분배 시스템.
실시예 23: 실시예 21에 있어서, 센서 판독치들로부터 사용자의 신체적 거동 이벤트를 결정하기 위한 이벤트 검출 모듈을 더 포함하는, 자동화된 약물 투여 및 분배 시스템.
실시예 24: 실시예 23에 있어서, 이벤트 검출 모듈은 현재 음식 섭취 이벤트를 특성화하는 사용자의 제스처들을 결정하는, 자동화된 약물 투여 및 분배 시스템.
실시예 25: 실시예 21에 있어서, 조정하는 단계는 음식 섭취 이벤트의 하기의 특징들, 즉 지속시간; 페이스; 시작 시간; 종료 시간; 베어먹기들의 횟수; 홀짝마시기들의 횟수; 섭식 방법; 사용된 식기들의 유형; 사용된 용기들의 유형; 삼키기 전 씹기의 양; 씹기 속도; 섭취된 음식의 양; 베어먹기들 사이의 시간; 홀짝마시기들 사이의 시간; 섭취된 음식의 내용물 중 적어도 하나에 기초하는, 자동화된 약물 투여 및 분배 시스템.
실시예 26: 실시예 21에 있어서, 시스템에 의해 관리되는 약물은 인슐린이고; 조정하는 단계는 투여될 인슐린의 투여량을 계산하고 계산된 인슐린 투여량의 전달을 위한 스케줄을 계산하는, 자동화된 약물 투여 및 분배 시스템.
실시예 27: 실시예 21에 있어서, 센서들은 사용자의 팔의 움직임을 측정하는 가속도계 및 사용자의 팔의 회전을 측정하는 자이로스코프를 포함하는, 자동화된 약물 투여 및 분배 시스템.
실시예 28: 실시예 21에 있어서, 이력 데이터는 음식 섭취 이벤트에 직접적으로 상관되지 않는 파라미터들을 포함하는, 자동화된 약물 투여 및 분배 시스템.
실시예 29: 실시예 28에 있어서, 파라미터들은: 위치 정보; 사용자가 기상하는 시간; 스트레스 레벨; 수면 거동 패턴들; 캘린더 이벤트 세부사항들; 전화 통화 정보; 이메일 메타-데이터 중 적어도 하나를 포함하는, 자동화된 약물 투여 및 분배 시스템.
실시예 30: 사용자와 관련된 움직임을 검출하기 위한 센서들을 갖는 자동화된 약물 투여 및 분배 시스템을 작동시키는 방법으로서, 센서들로부터 획득된 센서 판독치들로부터, 사용자의 현재 음식 섭취 이벤트의 시작 또는 예상되는 시작을 결정하는 단계; 사용자의 이전에 기록된 음식 섭취 이벤트들에 대해 수집된 이력 데이터를 검토하는 단계; 현재 음식 섭취 이벤트와 다수의 이전에 기록된 음식 섭취 이벤트들 사이의 상관관계를 식별하는 단계; 및 식별된 상관관계에 기초하여, 약물 투여량, 약물 분배 파라미터들, 또는 약물 투여량 및 약물 분배 파라미터들 둘 모두를 조정하는 단계를 포함하는, 방법.
실시예 31: 실시예 30에 있어서, 센서 판독치들 중 적어도 하나는 사용자의 신체 부분의 움직임을 측정하는, 방법.
실시예 32: 실시예 30에 있어서, 센서 판독치들로부터 사용자의 신체적 거동 이벤트들을 결정하는 단계를 더 포함하는, 방법.
실시예 33: 실시예 32에 있어서, 센서 판독치들로부터 결정된 신체적 거동 이벤트들은 현재 음식 섭취 이벤트를 특성화하는 사용자의 제스처들을 포함하는, 방법.
실시예 34: 실시예 30에 있어서, 조정하는 단계는 음식 섭취 이벤트의 하기의 특징들, 즉 지속시간; 페이스; 시작 시간; 종료 시간; 베어먹기들의 횟수; 홀짝마시기들의 횟수; 섭식 방법; 사용된 식기들의 유형; 사용된 용기들의 유형; 삼키기 전 씹기의 양; 씹기 속도; 섭취된 음식의 양; 베어먹기들 사이의 시간; 홀짝마시기들 사이의 시간; 섭취된 음식의 내용물 중 적어도 하나에 기초하는, 방법.
실시예 35: 실시예 30에 있어서, 시스템에 의해 관리되는 약물은 인슐린이고; 조정하는 단계는 투여될 인슐린의 투여량을 계산하고 계산된 인슐린 투여량의 전달을 위한 스케줄을 계산하는, 방법.
실시예 36: 실시예 30에 있어서, 센서들은 사용자의 팔의 움직임을 측정하는 가속도계 및 사용자의 팔의 회전을 측정하는 자이로스코프를 포함하는, 방법.
실시예 37: 실시예 30에 있어서, 이력 데이터는 음식 섭취 이벤트에 직접적으로 상관되지 않는 파라미터들을 포함하는, 방법.
실시예 38: 실시예 37에 있어서, 파라미터들은: 위치 정보; 사용자가 기상하는 시간; 스트레스 레벨; 수면 거동 패턴들; 캘린더 이벤트 세부사항들; 전화 통화 정보; 이메일 메타-데이터 중 적어도 하나를 포함하는, 방법.
실시예 39: 실시예 30에 있어서, 조정하는 단계는 현재 음식 섭취 이벤트의 실제의 또는 임박한 시작의 검출 시에 수행되는, 방법.
실시예 40: 실시예 30에 있어서, 조정하는 단계는 현재 제스처 기반 신체적 거동 이벤트의 특성들에 기초하는, 방법.
결론
전술된 바와 같이, 본 명세서에 제공된 약물 분배 요법 및 대안의 일부로서 사용될 수 있는 다양한 방법들 및 장치들이 있다. "A, B, 및 C 중 적어도 하나" 또는 "A, B 및 C 중 적어도 하나" 형태의 문구와 같은 논리곱 표현(conjunctive language)은, 구체적으로 달리 언급되지 않는 한, 또는 문맥에 의해 달리 명확하게 모순되지 않는 한, 항목, 항, 등이 A 또는 B 또는 C 중 어느 하나, 또는 A 및 B 및 C의 세트의 임의의 비어 있지 않은 서브세트를 제시하기 위해 일반적으로 사용되는 바와 같이 문맥 내에서 달리 이해된다. 예를 들어, 3개의 구성원을 갖는 세트의 예시적인 예에서, 논리곱 표현 "A, B, 및 C 중 적어도 하나" 및 "A, B 및 C 중 적어도 하나"는 다음의 세트들 중 임의의 것을 지칭한다: {A}, {B}, {C}, {A, B}, {A, C}, {B, C}, {A, B, C}. 따라서, 그러한 논리곱 표현은 일반적으로 소정 실시 형태가 A 중 적어도 하나, B 중 적어도 하나, 그리고 C 중 적어도 하나가 각각 존재할 것을 요구한다는 것을 암시하는 것으로 의도되지 않는다.
본 명세서에 기술된 프로세스들의 동작들은, 본 명세서에 달리 지시되지 않거나 문맥에 의해 달리 명확하게 모순되지 않는 한, 임의의 적합한 순서로 수행될 수 있다. 본 명세서에 기술된 프로세스들(또는 변형예들 및/또는 이들의 조합들)은 실행가능한 명령어들로 구성된 하나 이상의 컴퓨터 시스템들의 제어 하에서 수행될 수 있고, 하나 이상의 프로세서들 상에서, 하드웨어 또는 이들의 조합들에 의해 집합적으로 실행되는 코드(실행가능한 명령어들, 하나 이상의 컴퓨터 프로그램들 또는 하나 이상의 애플리케이션들)로서 구현될 수 있다. 예를 들어, 코드는 하나 이상의 프로세서들에 의해 실행가능한 복수의 명령어들을 포함하는 컴퓨터 프로그램의 형태로 컴퓨터 판독가능 저장 매체 상에 저장될 수 있다. 컴퓨터 판독가능 저장 매체는 비일시적일 수 있다.
본 명세서에 제공된 임의의 예 및 모든 예들, 또는 예시 표현(language)(예컨대, "~와 같은")의 사용은 단지 본 발명의 실시 형태들을 보다 명확히 하도록 의도되며, 달리 청구되지 않는 한 본 발명의 범주에 대한 제한을 부과하지 않는다. 명세서에서의 어떠한 표현도 임의의 비-청구된 요소를 본 발명의 실시에 필수적인 것으로 나타내는 것으로 해석되어서는 안 된다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 개시내용을 읽은 후에 추가의 실시 형태들을 예상할 수 있다. 다른 실시 형태들에서, 상기에 개시된 발명의 조합들 또는 하위 조합들이 유리하게 제조될 수 있다. 컴포넌트의 예시적인 배열이 예시의 목적을 위해 도시되었으며, 조합, 부가, 재-배열 등이 본 발명의 대안적인 실시 형태들에서 고려된다는 것을 이해하여야 한다. 따라서, 본 발명이 예시적인 실시 형태들에 대해 기술되었지만, 당업자는 많은 수정들이 가능하다는 것을 인식할 것이다.
예를 들어, 본 명세서에 기술된 프로세스들은 하드웨어 컴포넌트들, 소프트웨어 컴포넌트들, 및/또는 이들의 임의의 조합을 사용하여 구현될 수 있다. 따라서, 명세서 및 도면은 제한적인 의미보다는 예시적인 의미로 간주되어야 한다. 그러나, 청구범위에 기재된 바와 같은 본 발명의 더 넓은 사상 및 범주로부터 벗어남이 없이 다양한 수정 및 변경이 이루어질 수 있으며, 본 발명은 하기의 특허청구범위의 범주 내의 모든 변형 및 등가물을 포함하도록 의도된다는 것이 명백할 것이다.
본 명세서에 인용된, 간행물들, 특허 출원들, 및 특허들을 포함한, 모든 참고문헌들은 이로써 각각의 참고문헌이 개별적으로 그리고 구체적으로 참고로 포함되는 것으로 지시되고 본 명세서에 그 전체가 기재된 경우와 동일한 정도로 참고로 포함된다.

Claims (40)

  1. 자동화된 약물 투여 및 분배 시스템으로서,
    상기 자동화된 약물 투여 및 분배 시스템의 사용자와 관련된 움직임 및 다른 신체적 입력들을 검출하기 위한 센서들;
    프로그램 코드 명령어들을 포함하는 컴퓨터 판독가능 저장 매체; 및
    프로세서를 포함하며, 상기 프로그램 코드 명령어들은 상기 프로세서로 하여금:
    상기 센서들로부터 획득된 센서 판독치들로부터, 상기 사용자의 제스처 기반 신체적 거동 이벤트의 발생을 결정하는 단계; 및
    상기 결정하는 단계에 응답하여, 약물 투여량, 약물 분배 파라미터들, 또는 약물 투여량 및 약물 분배 파라미터들 둘 모두를 조정하는 단계를 포함하는 방법을 수행하게 하도록 구성가능한, 자동화된 약물 투여 및 분배 시스템.
  2. 제1항에 있어서, 상기 센서 판독치들 중 적어도 하나는 상기 사용자의 신체 부분의 움직임을 측정하는, 자동화된 약물 투여 및 분배 시스템.
  3. 제1항에 있어서, 상기 센서 판독치들로부터 상기 사용자의 제스처들을 결정하기 위한 이벤트 검출 모듈을 더 포함하는, 자동화된 약물 투여 및 분배 시스템.
  4. 제1항에 있어서, 상기 방법은 상기 사용자에게 메시지를 전송하는 단계를 더 포함하며, 상기 메시지는 상기 조정하는 단계와 관련되는, 자동화된 약물 투여 및 분배 시스템.
  5. 제1항에 있어서, 상기 제스처 기반 신체적 거동 이벤트는 음식 섭취 이벤트와 관련되지 않은 사용자 활동에 대응하는, 자동화된 약물 투여 및 분배 시스템.
  6. 제5항에 있어서, 상기 음식 섭취 이벤트와 관련되지 않은 상기 사용자 활동은 흡연 이벤트, 개인 위생 이벤트, 및/또는 약물 관련 이벤트를 포함하는, 자동화된 약물 투여 및 분배 시스템.
  7. 제1항에 있어서, 상기 제스처 기반 신체적 거동 이벤트는 음식 섭취 이벤트에 대응하는, 자동화된 약물 투여 및 분배 시스템.
  8. 제1항에 있어서, 상기 조정하는 단계는 상기 제스처 기반 신체적 거동 이벤트의 실제의, 거의 확실한(probable), 또는 임박한 시작의 검출 시에 수행되는, 자동화된 약물 투여 및 분배 시스템.
  9. 제1항에 있어서, 상기 조정하는 단계는 상기 제스처 기반 신체적 거동 이벤트의 특성들에 기초하는, 자동화된 약물 투여 및 분배 시스템.
  10. 제9항에 있어서,
    상기 제스처 기반 신체적 거동 이벤트는 음식 섭취 이벤트에 대응하고;
    상기 조정하는 단계는 상기 음식 섭취 이벤트의 하기의 특징들, 즉 지속시간; 페이스(pace); 시작 시간; 종료 시간; 베어먹기(bite)들의 횟수; 홀짝마시기(sip)들의 횟수; 섭식 방법; 사용된 식기(utensil)들의 유형; 사용된 용기들의 유형; 삼키기(swallowing) 전 씹기(chewing)의 양; 씹기 속도; 섭취된 음식의 양; 섭취된 탄수화물의 양, 베어먹기들 사이의 시간; 홀짝마시기들 사이의 시간; 섭취된 음식의 내용물 중 적어도 하나에 기초하는, 자동화된 약물 투여 및 분배 시스템
  11. 제1항에 있어서,
    상기 시스템에 의해 관리되는 상기 약물은 인슐린이고;
    상기 조정하는 단계는 투여될 인슐린의 투여량을 계산하고 상기 계산된 인슐린 투여량의 전달을 위한 스케줄을 계산하는, 자동화된 약물 투여 및 분배 시스템.
  12. 제1항에 있어서, 상기 센서들은 상기 사용자의 팔의 움직임을 측정하는 가속도계 및 상기 사용자의 상기 팔의 회전을 측정하는 자이로스코프를 포함하는, 자동화된 약물 투여 및 분배 시스템.
  13. 사용자와 관련된 움직임 및 다른 신체적 입력들을 검출하기 위한 센서들을 갖는 자동화된 약물 투여 및 분배 시스템을 작동시키는 방법으로서,
    상기 자동화된 약물 투여 및 분배 시스템의 프로세서를 사용하여, 센서 판독치들의 세트를 획득하는 단계 - 상기 센서 판독치들의 세트 중 적어도 하나의 센서 판독치는 사용자의 신체 부분의 움직임을 측정함 -;
    상기 센서 판독치들의 세트로부터, 상기 사용자의 제스처 기반 신체적 거동 이벤트의 발생을 결정하는 단계; 및
    상기 결정하는 단계에 응답하여, 약물 투여량, 약물 분배 파라미터들, 또는 약물 투여량 및 약물 분배 파라미터들 둘 모두를 조정하는 단계를 포함하는, 방법.
  14. 제13항에 있어서, 상기 결정하는 단계에 응답하여 컴퓨터 기반 액션을 수행하는 단계를 더 포함하며, 상기 컴퓨터 기반 액션은:
    상기 제스처 기반 신체적 거동 이벤트를 표현하는 데이터와 연관하여 메모리에 저장될 다른 정보를 획득하는 것;
    상기 사용자와 상호작용하여 정보 또는 리마인더를 제공하는 것;
    상기 사용자와 상호작용하여 사용자 입력을 촉구하는 것;
    원격 컴퓨터 시스템으로 메시지를 전송하는 것;
    다른 사람에게 메시지를 전송하는 것;
    상기 사용자에게 메시지를 전송하는 것 중 하나 이상인, 방법.
  15. 제13항에 있어서, 상기 제스처 기반 신체적 거동 이벤트는 음식 섭취 이벤트와 관련되지 않은 사용자 활동에 대응하는, 방법.
  16. 제15항에 있어서, 상기 음식 섭취 이벤트와 관련되지 않은 상기 사용자 활동은 흡연 이벤트, 개인 위생 이벤트, 및/또는 약물 관련 이벤트를 포함하는, 방법.
  17. 제13항에 있어서, 상기 제스처 기반 신체적 거동 이벤트는 음식 섭취 이벤트에 대응하는, 방법.
  18. 제13항에 있어서, 상기 조정하는 단계는 상기 제스처 기반 신체적 거동 이벤트의 실제의, 거의 확실한, 또는 임박한 시작의 검출 시에 수행되는, 방법.
  19. 제13항에 있어서, 상기 조정하는 단계는 상기 제스처 기반 신체적 거동 이벤트의 특성들에 기초하는, 방법.
  20. 제19항에 있어서,
    상기 제스처 기반 신체적 거동 이벤트는 음식 섭취 이벤트에 대응하고;
    상기 조정하는 단계는 상기 음식 섭취 이벤트의 하기의 특징들, 즉 지속시간; 페이스; 시작 시간; 종료 시간; 베어먹기들의 횟수; 홀짝마시기들의 횟수; 섭식 방법; 사용된 식기들의 유형; 사용된 용기들의 유형; 삼키기 전 씹기의 양; 씹기 속도; 섭취된 음식의 양; 베어먹기들 사이의 시간; 홀짝마시기들 사이의 시간; 섭취된 음식의 내용물 중 적어도 하나에 기초하는, 방법.
  21. 자동화된 약물 투여 및 분배 시스템으로서,
    상기 자동화된 약물 투여 및 분배 시스템의 사용자와 관련된 움직임을 검출하기 위한 센서들;
    프로그램 코드 명령어들을 포함하는 컴퓨터 판독가능 저장 매체; 및
    프로세서를 포함하며, 상기 프로그램 코드 명령어들은 상기 프로세서로 하여금:
    상기 센서들로부터 획득된 센서 판독치들로부터, 상기 사용자의 현재 음식 섭취 이벤트의 시작 또는 예상되는 시작을 결정하는 단계;
    상기 사용자의 이전에 기록된 음식 섭취 이벤트들에 대해 수집된 이력 데이터를 검토하는 단계;
    상기 현재 음식 섭취 이벤트와 다수의 상기 이전에 기록된 음식 섭취 이벤트들 사이의 상관관계를 식별하는 단계; 및
    상기 식별된 상관관계에 기초하여, 약물 투여량, 약물 분배 파라미터들, 또는 약물 투여량 및 약물 분배 파라미터들 둘 모두를 조정하는 단계를 포함하는 방법을 수행하게 하도록 구성가능한, 자동화된 약물 투여 및 분배 시스템.
  22. 제21항에 있어서, 상기 센서 판독치들 중 적어도 하나는 상기 사용자의 신체 부분의 움직임을 측정하는, 자동화된 약물 투여 및 분배 시스템.
  23. 제21항에 있어서, 상기 센서 판독치들로부터 상기 사용자의 신체적 거동 이벤트를 결정하기 위한 이벤트 검출 모듈을 더 포함하는, 자동화된 약물 투여 및 분배 시스템.
  24. 제23항에 있어서, 상기 이벤트 검출 모듈은 상기 현재 음식 섭취 이벤트를 특성화하는 상기 사용자의 제스처들을 결정하는, 자동화된 약물 투여 및 분배 시스템.
  25. 제21항에 있어서, 상기 조정하는 단계는 상기 음식 섭취 이벤트의 하기의 특징들, 즉 지속시간; 페이스; 시작 시간; 종료 시간; 베어먹기들의 횟수; 홀짝마시기들의 횟수; 섭식 방법; 사용된 식기들의 유형; 사용된 용기들의 유형; 삼키기 전 씹기의 양; 씹기 속도; 섭취된 음식의 양; 베어먹기들 사이의 시간; 홀짝마시기들 사이의 시간; 섭취된 음식의 내용물 중 적어도 하나에 기초하는, 자동화된 약물 투여 및 분배 시스템.
  26. 제21항에 있어서,
    상기 시스템에 의해 관리되는 상기 약물은 인슐린이고;
    상기 조정하는 단계는 투여될 인슐린의 투여량을 계산하고 상기 계산된 인슐린 투여량의 전달을 위한 스케줄을 계산하는, 자동화된 약물 투여 및 분배 시스템.
  27. 제21항에 있어서, 상기 센서들은 상기 사용자의 팔의 움직임을 측정하는 가속도계 및 상기 사용자의 상기 팔의 회전을 측정하는 자이로스코프를 포함하는, 자동화된 약물 투여 및 분배 시스템.
  28. 제21항에 있어서, 상기 이력 데이터는 상기 음식 섭취 이벤트에 직접적으로 상관되지 않는 파라미터들을 포함하는, 자동화된 약물 투여 및 분배 시스템.
  29. 제28항에 있어서, 상기 파라미터들은: 위치 정보; 상기 사용자가 기상하는 시간; 스트레스 레벨; 수면 거동 패턴들; 캘린더 이벤트 세부사항들; 전화 통화 정보; 이메일 메타-데이터 중 적어도 하나를 포함하는, 자동화된 약물 투여 및 분배 시스템.
  30. 사용자와 관련된 움직임을 검출하기 위한 센서들을 갖는 자동화된 약물 투여 및 분배 시스템을 작동시키는 방법으로서,
    상기 센서들로부터 획득된 센서 판독치들로부터, 상기 사용자의 현재 음식 섭취 이벤트의 시작 또는 예상되는 시작을 결정하는 단계;
    상기 사용자의 이전에 기록된 음식 섭취 이벤트들에 대해 수집된 이력 데이터를 검토하는 단계;
    상기 현재 음식 섭취 이벤트와 다수의 상기 이전에 기록된 음식 섭취 이벤트들 사이의 상관관계를 식별하는 단계; 및
    상기 식별된 상관관계에 기초하여, 약물 투여량, 약물 분배 파라미터들, 또는 약물 투여량 및 약물 분배 파라미터들 둘 모두를 조정하는 단계를 포함하는, 방법.
  31. 제30항에 있어서, 상기 센서 판독치들 중 적어도 하나는 상기 사용자의 신체 부분의 움직임을 측정하는, 방법.
  32. 제30항에 있어서, 상기 센서 판독치들로부터 상기 사용자의 신체적 거동 이벤트들을 결정하는 단계를 더 포함하는, 방법.
  33. 제32항에 있어서, 상기 센서 판독치들로부터 결정된 상기 신체적 거동 이벤트들은 상기 현재 음식 섭취 이벤트를 특성화하는 상기 사용자의 제스처들을 포함하는, 방법.
  34. 제30항에 있어서, 상기 조정하는 단계는 상기 음식 섭취 이벤트의 하기의 특징들, 즉 지속시간; 페이스; 시작 시간; 종료 시간; 베어먹기들의 횟수; 홀짝마시기들의 횟수; 섭식 방법; 사용된 식기들의 유형; 사용된 용기들의 유형; 삼키기 전 씹기의 양; 씹기 속도; 섭취된 음식의 양; 베어먹기들 사이의 시간; 홀짝마시기들 사이의 시간; 섭취된 음식의 내용물 중 적어도 하나에 기초하는, 방법.
  35. 제30항에 있어서,
    상기 시스템에 의해 관리되는 상기 약물은 인슐린이고;
    상기 조정하는 단계는 투여될 인슐린의 투여량을 계산하고 상기 계산된 인슐린 투여량의 전달을 위한 스케줄을 계산하는, 방법.
  36. 제30항에 있어서, 상기 센서들은 상기 사용자의 팔의 움직임을 측정하는 가속도계 및 상기 사용자의 상기 팔의 회전을 측정하는 자이로스코프를 포함하는, 방법.
  37. 제30항에 있어서, 상기 이력 데이터는 상기 음식 섭취 이벤트에 직접적으로 상관되지 않는 파라미터들을 포함하는, 방법.
  38. 제37항에 있어서, 상기 파라미터들은: 위치 정보; 상기 사용자가 기상하는 시간; 스트레스 레벨; 수면 거동 패턴들; 캘린더 이벤트 세부사항들; 전화 통화 정보; 이메일 메타-데이터 중 적어도 하나를 포함하는, 방법.
  39. 제30항에 있어서, 상기 조정하는 단계는 상기 현재 음식 섭취 이벤트의 실제의 또는 임박한 시작의 검출 시에 수행되는, 방법.
  40. 제30항에 있어서, 상기 조정하는 단계는 상기 현재 제스처 기반 신체적 거동 이벤트의 특성들에 기초하는, 방법.
KR1020217011653A 2018-10-31 2019-10-30 신체적 거동 이벤트의 자동화된 검출 및 약물 분배 시스템의 대응하는 조정 KR20210086618A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862753819P 2018-10-31 2018-10-31
US62/753,819 2018-10-31
US16/667,650 2019-10-29
US16/667,650 US20200135320A1 (en) 2018-10-31 2019-10-29 Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system based on historical events
US16/667,641 2019-10-29
US16/667,641 US11367516B2 (en) 2018-10-31 2019-10-29 Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system
PCT/US2019/058874 WO2020092573A1 (en) 2018-10-31 2019-10-30 Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system

Publications (1)

Publication Number Publication Date
KR20210086618A true KR20210086618A (ko) 2021-07-08

Family

ID=70327253

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217011653A KR20210086618A (ko) 2018-10-31 2019-10-30 신체적 거동 이벤트의 자동화된 검출 및 약물 분배 시스템의 대응하는 조정

Country Status (8)

Country Link
US (3) US11367516B2 (ko)
EP (1) EP3874516A1 (ko)
JP (1) JP7446295B2 (ko)
KR (1) KR20210086618A (ko)
CN (1) CN112889114A (ko)
AU (1) AU2019370301A1 (ko)
CA (1) CA3117825A1 (ko)
WO (1) WO2020092573A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102354172B1 (ko) * 2021-10-07 2022-02-08 주식회사 바이오커넥트 학습 모델 기반의 인슐린 투여량을 결정하는 방법, 장치 및 컴퓨터 프로그램 제품

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017132690A1 (en) 2016-01-28 2017-08-03 Savor Labs, Inc. Method and apparatus for tracking of food intake and other behaviors and providing relevant feedback
US20200289373A1 (en) 2018-10-31 2020-09-17 Medtronic Minimed, Inc. Automated detection of a physical behavior event and corresponding adjustment of a physiological characteristic sensor device
US11367516B2 (en) 2018-10-31 2022-06-21 Medtronic Minimed, Inc. Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system
US11031116B2 (en) * 2019-03-04 2021-06-08 Roche Diabetes Care, Inc. Autonomous management of a diabetic condition based on mealtime and activity detection
US20210065894A1 (en) 2019-08-29 2021-03-04 Medtronic Minimed, Inc. Adjusting diabetes alerts and therapy based on gesture-based detection of vehicle operation
US20210060249A1 (en) 2019-08-29 2021-03-04 Medtronic Minimed, Inc. Controlling medical infusion device operation and features based on detected patient sleeping status
KR20210052874A (ko) * 2019-11-01 2021-05-11 삼성전자주식회사 복수의 센서 신호를 이용하여 사용자의 제스처를 인식하는 전자 장치
US20210178067A1 (en) 2019-12-13 2021-06-17 Medtronic Minimed, Inc. Translating therapy parameters of an insulin therapy system to translated therapy parameters for use at a different insulin therapy system
US11488700B2 (en) 2019-12-13 2022-11-01 Medtronic Minimed, Inc. Medical device configuration procedure guidance responsive to detected gestures
EP4191600A1 (en) 2019-12-13 2023-06-07 Medtronic MiniMed, Inc. Method and system for training a mathematical model of a user based on data received from a discrete insulin therapy system
US11938301B2 (en) 2019-12-13 2024-03-26 Medtronic Minimed, Inc. Controlling medication delivery system operation and features based on automatically detected muscular movements
US11786655B2 (en) 2019-12-13 2023-10-17 Medtronic Minimed, Inc. Context-sensitive predictive operation of a medication delivery system in response to gesture-indicated activity changes
US20210260289A1 (en) * 2020-02-20 2021-08-26 Dexcom, Inc. Machine learning in an artificial pancreas
US20210304895A1 (en) * 2020-03-27 2021-09-30 TapRoot Interventions & Solutions, Inc. System and method for generating curated interventions in response to patient behavior
KR20230071135A (ko) * 2020-09-24 2023-05-23 퀄컴 인코포레이티드 베이스라인 캘리브레이션을 사용한 수분섭취 추적
WO2022071962A1 (en) 2020-10-02 2022-04-07 Medtronic Minimed, Inc. Automatic disabling of alerts for diabetic conditions and automated projection mode switching for glucose levels
US20220133999A1 (en) * 2020-10-30 2022-05-05 Medtronic, Inc. Monitoring of physiological parameters with impedance measurement
US20220143314A1 (en) * 2020-11-06 2022-05-12 Medtronic Minimed, Inc. Diabetes therapy based on determination of food item
EP4256571A1 (en) 2020-12-01 2023-10-11 Medtronic MiniMed, Inc. Systems and methods for optimizing medicament dosing
US20220230718A1 (en) * 2021-01-21 2022-07-21 International Business Machines Corporation Healthcare application insight velocity aid
US11904138B2 (en) 2021-01-29 2024-02-20 Medtronic Minimed, Inc. Glucose level management without carbohydrate counting
US20220265926A1 (en) 2021-02-19 2022-08-25 Medtronic Minimed, Inc. Glucose level management based on fat content of meals
US20220265177A1 (en) 2021-02-19 2022-08-25 Medtronic Minimed, Inc. Glucose level management based on protein content of meals
CN113689931B (zh) * 2021-08-25 2024-01-26 首都医科大学宣武医院 一种服药辅助系统及方法
GB202203045D0 (en) * 2022-03-04 2022-04-20 Prevayl Innovations Ltd Electronics module and method
WO2023239615A1 (en) * 2022-06-05 2023-12-14 Apple Inc. User interfaces to track medications
WO2024030622A1 (en) * 2022-08-05 2024-02-08 Becton, Dickinson And Company System and method for fluid delivery using multiple fluid delivery devices

Family Cites Families (155)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5338157B1 (en) 1992-09-09 1999-11-02 Sims Deltec Inc Systems and methods for communicating with ambulat
US4685903A (en) 1984-01-06 1987-08-11 Pacesetter Infusion, Ltd. External infusion pump apparatus
US4562751A (en) 1984-01-06 1986-01-07 Nason Clyde K Solenoid drive apparatus for an external infusion pump
US4755173A (en) 1986-02-25 1988-07-05 Pacesetter Infusion, Ltd. Soft cannula subcutaneous injection set
US5080653A (en) 1990-04-16 1992-01-14 Pacesetter Infusion, Ltd. Infusion pump with dual position syringe locator
US5097122A (en) 1990-04-16 1992-03-17 Pacesetter Infusion, Ltd. Medication infusion system having optical motion sensor to detect drive mechanism malfunction
US5956501A (en) 1997-01-10 1999-09-21 Health Hero Network, Inc. Disease simulation system and method
US5307263A (en) 1992-11-17 1994-04-26 Raya Systems, Inc. Modular microprocessor-based health monitoring system
US5832448A (en) 1996-10-16 1998-11-03 Health Hero Network Multiple patient monitoring system for proactive health management
US5545143A (en) 1993-01-21 1996-08-13 T. S. I. Medical Device for subcutaneous medication delivery
DK25793A (da) 1993-03-09 1994-09-10 Pharma Plast Int As Infusionssæt til intermitterende eller kontinuerlig indgivelse af et terapeutisk middel
US5536249A (en) 1994-03-09 1996-07-16 Visionary Medical Products, Inc. Pen-type injector with a microprocessor and blood characteristic monitor
US5391250A (en) 1994-03-15 1995-02-21 Minimed Inc. Method of fabricating thin film sensors
US5505709A (en) 1994-09-15 1996-04-09 Minimed, Inc., A Delaware Corporation Mated infusion pump and syringe
IE72524B1 (en) 1994-11-04 1997-04-23 Elan Med Tech Analyte-controlled liquid delivery device and analyte monitor
US5665065A (en) 1995-05-26 1997-09-09 Minimed Inc. Medication infusion device with blood glucose data input
EP0862648B1 (en) 1995-11-22 2004-10-06 Medtronic MiniMed, Inc. Detection of biological molecules using chemical amplification and optical sensors
US6766183B2 (en) 1995-11-22 2004-07-20 Medtronic Minimed, Inc. Long wave fluorophore sensor compounds and other fluorescent sensor compounds in polymers
US6607509B2 (en) 1997-12-31 2003-08-19 Medtronic Minimed, Inc. Insertion device for an insertion set and method of using the same
US8391104B2 (en) * 1997-03-28 2013-03-05 Carlos De La Huerga Interactive medication container labeling
DE19717107B4 (de) 1997-04-23 2005-06-23 Disetronic Licensing Ag System aus Behältnis und Antriebsvorrichtung für einen Kolben, der in dem ein Medikamentfluid enthaltenden Behältnis gehalten ist
US6186982B1 (en) 1998-05-05 2001-02-13 Elan Corporation, Plc Subcutaneous drug delivery device with improved filling system
US6558351B1 (en) 1999-06-03 2003-05-06 Medtronic Minimed, Inc. Closed loop system for controlling insulin infusion
US5954643A (en) 1997-06-09 1999-09-21 Minimid Inc. Insertion set for a transcutaneous sensor
US7647237B2 (en) 1998-04-29 2010-01-12 Minimed, Inc. Communication station and software for interfacing with an infusion pump, analyte monitor, analyte meter, or the like
US6175752B1 (en) 1998-04-30 2001-01-16 Therasense, Inc. Analyte monitoring device and methods of use
US6736797B1 (en) 1998-06-19 2004-05-18 Unomedical A/S Subcutaneous infusion set
US6355021B1 (en) 1998-07-14 2002-03-12 Maersk Medical A/S Medical puncturing device
US6554798B1 (en) 1998-08-18 2003-04-29 Medtronic Minimed, Inc. External infusion device with remote programming, bolus estimator and/or vibration alarm capabilities
US6558320B1 (en) 2000-01-20 2003-05-06 Medtronic Minimed, Inc. Handheld personal data assistant (PDA) with a medical device and method of using the same
US6248067B1 (en) 1999-02-05 2001-06-19 Minimed Inc. Analyte sensor and holter-type monitor system and method of using the same
JP4469504B2 (ja) 1998-10-08 2010-05-26 メドトロニック ミニメド インコーポレイテッド 遠隔形質モニタシステム
US7621893B2 (en) 1998-10-29 2009-11-24 Medtronic Minimed, Inc. Methods and apparatuses for detecting occlusions in an ambulatory infusion pump
US6817990B2 (en) 1998-10-29 2004-11-16 Medtronic Minimed, Inc. Fluid reservoir piston
US7193521B2 (en) 1998-10-29 2007-03-20 Medtronic Minimed, Inc. Method and apparatus for detecting errors, fluid pressure, and occlusions in an ambulatory infusion pump
DK1716884T3 (en) 1998-10-29 2014-03-10 Medtronic Minimed Inc reservoir Connection
US6248093B1 (en) 1998-10-29 2001-06-19 Minimed Inc. Compact pump drive system
US7806886B2 (en) 1999-06-03 2010-10-05 Medtronic Minimed, Inc. Apparatus and method for controlling insulin infusion with state variable feedback
US6752787B1 (en) 1999-06-08 2004-06-22 Medtronic Minimed, Inc., Cost-sensitive application infusion device
US6453956B2 (en) 1999-11-05 2002-09-24 Medtronic Minimed, Inc. Needle safe transfer guard
US7003336B2 (en) 2000-02-10 2006-02-21 Medtronic Minimed, Inc. Analyte sensor method of making the same
US6895263B2 (en) 2000-02-23 2005-05-17 Medtronic Minimed, Inc. Real time self-adjusting calibration algorithm
US7890295B2 (en) 2000-02-23 2011-02-15 Medtronic Minimed, Inc. Real time self-adjusting calibration algorithm
US20010041869A1 (en) 2000-03-23 2001-11-15 Causey James D. Control tabs for infusion devices and methods of using the same
US6485465B2 (en) 2000-03-29 2002-11-26 Medtronic Minimed, Inc. Methods, apparatuses, and uses for infusion pump fluid pressure and force detection
IL137759A (en) 2000-08-08 2007-07-16 Eddie Karnieli Method for monitoring food intake
US6740059B2 (en) 2000-09-08 2004-05-25 Insulet Corporation Devices, systems and methods for patient infusion
US6749587B2 (en) 2001-02-22 2004-06-15 Insulet Corporation Modular infusion device and method
EP1383560B2 (de) 2001-04-06 2023-04-26 F. Hoffmann-La Roche AG Infusionsset
US20020071225A1 (en) 2001-04-19 2002-06-13 Minimed Inc. Direct current motor safety circuits for fluid delivery systems
US6544212B2 (en) 2001-07-31 2003-04-08 Roche Diagnostics Corporation Diabetes management system
US7399277B2 (en) 2001-12-27 2008-07-15 Medtronic Minimed, Inc. System for monitoring physiological characteristics
US8010174B2 (en) 2003-08-22 2011-08-30 Dexcom, Inc. Systems and methods for replacing signal artifacts in a glucose sensor data stream
US7041082B2 (en) 2002-02-28 2006-05-09 Smiths Medical Md, Inc. Syringe pump control systems and methods
US6960192B1 (en) 2002-04-23 2005-11-01 Insulet Corporation Transcutaneous fluid delivery system
JP2004024699A (ja) 2002-06-27 2004-01-29 Asahi Medical Co Ltd 血糖管理システム、血糖管理プログラム、装着システムおよび血糖管理方法
US7278983B2 (en) 2002-07-24 2007-10-09 Medtronic Minimed, Inc. Physiological monitoring device for controlling a medication infusion device
US20040068230A1 (en) 2002-07-24 2004-04-08 Medtronic Minimed, Inc. System for providing blood glucose measurements to an infusion device
US6932584B2 (en) 2002-12-26 2005-08-23 Medtronic Minimed, Inc. Infusion device and driving mechanism and process for same with actuator for multiple infusion uses
US7488601B2 (en) 2003-06-20 2009-02-10 Roche Diagnostic Operations, Inc. System and method for determining an abused sensor during analyte measurement
US8275437B2 (en) 2003-08-01 2012-09-25 Dexcom, Inc. Transcutaneous analyte sensor
US7699807B2 (en) 2003-11-10 2010-04-20 Smiths Medical Asd, Inc. Device and method for insertion of a cannula of an infusion device
EP1711791B1 (en) 2003-12-09 2014-10-15 DexCom, Inc. Signal processing for continuous analyte sensor
GB0329161D0 (en) 2003-12-16 2004-01-21 Precisense As Reagant for detecting an analyte
GB0329849D0 (en) 2003-12-23 2004-01-28 Precisense As Fluorometers
US7344500B2 (en) 2004-07-27 2008-03-18 Medtronic Minimed, Inc. Sensing system with auxiliary display
US8313433B2 (en) 2004-08-06 2012-11-20 Medtronic Minimed, Inc. Medical data management system and process
US7468033B2 (en) 2004-09-08 2008-12-23 Medtronic Minimed, Inc. Blood contacting sensor
BRPI0609511A2 (pt) 2005-03-21 2010-04-13 Abbott Diabetes Care Inc sistema incluindo um dispositivo de infusão e uma unidade de monitoramento de analito, método para integrar monitoramento de analito e infusão de fluido, aparelho incluindo um sensor de analito e um canal de suprimento de fluido, e, método de suprimento de fluido e monitoramento de analito
EP1877116A1 (en) 2005-04-13 2008-01-16 Novo Nordisk A/S Medical skin mountable device and system
US8277415B2 (en) 2006-08-23 2012-10-02 Medtronic Minimed, Inc. Infusion medium delivery device and method with drive device for driving plunger in reservoir
US7641649B2 (en) 2005-05-06 2010-01-05 Medtronic Minimed, Inc. Reservoir support and method for infusion device
US20080097291A1 (en) 2006-08-23 2008-04-24 Hanson Ian B Infusion pumps and methods and delivery devices and methods with same
US8137314B2 (en) 2006-08-23 2012-03-20 Medtronic Minimed, Inc. Infusion medium delivery device and method with compressible or curved reservoir or conduit
US7713240B2 (en) 2005-09-13 2010-05-11 Medtronic Minimed, Inc. Modular external infusion device
DK1951340T4 (en) 2005-11-08 2017-05-22 Bigfoot Biomedical Inc infusion pump
US9268910B2 (en) 2005-12-15 2016-02-23 Koninklijke Philips N.V. Modifying a person's eating and activity habits
US8114268B2 (en) 2005-12-30 2012-02-14 Medtronic Minimed, Inc. Method and system for remedying sensor malfunctions detected by electrochemical impedance spectroscopy
US8114269B2 (en) 2005-12-30 2012-02-14 Medtronic Minimed, Inc. System and method for determining the point of hydration and proper time to apply potential to a glucose sensor
US7985330B2 (en) 2005-12-30 2011-07-26 Medtronic Minimed, Inc. Method and system for detecting age, hydration, and functional states of sensors using electrochemical impedance spectroscopy
US20070255125A1 (en) 2006-04-28 2007-11-01 Moberg Sheldon B Monitor devices for networked fluid infusion systems
US8688219B2 (en) 2006-07-28 2014-04-01 Medronic, Inc. Dynamic sampling
US7455663B2 (en) 2006-08-23 2008-11-25 Medtronic Minimed, Inc. Infusion medium delivery system, device and method with needle inserter and needle inserter device and method
US7828764B2 (en) 2006-08-23 2010-11-09 Medtronic Minimed, Inc. Systems and methods allowing for reservoir filling and infusion medium delivery
US20080125700A1 (en) 2006-11-29 2008-05-29 Moberg Sheldon B Methods and apparatuses for detecting medical device acceleration, temperature, and humidity conditions
US7946985B2 (en) 2006-12-29 2011-05-24 Medtronic Minimed, Inc. Method and system for providing sensor redundancy
US20080269714A1 (en) 2007-04-25 2008-10-30 Medtronic Minimed, Inc. Closed loop/semi-closed loop therapy modification system
US7963954B2 (en) 2007-04-30 2011-06-21 Medtronic Minimed, Inc. Automated filling systems and methods
US8323250B2 (en) 2007-04-30 2012-12-04 Medtronic Minimed, Inc. Adhesive patch systems and methods
US9198621B2 (en) 2007-06-18 2015-12-01 University of Pittsburgh—of the Commonwealth System of Higher Education Method, apparatus and system for food intake and physical activity assessment
CN101801438B (zh) 2007-07-20 2013-08-07 梅丁格有限公司 可手动操作的便携式输注设备
US8207859B2 (en) 2008-04-28 2012-06-26 Medtronic Minimed, Inc. Automobile physiological monitoring system and method for using the same
KR100872577B1 (ko) * 2008-05-02 2008-12-08 박두환 자동 약 공급 및 투약시각 알림장치
US8447704B2 (en) 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
CN102281817B (zh) 2008-12-12 2015-03-25 内测公司 检测食物或饮料消耗以便控制疗法或提供诊断
US8181849B2 (en) 2008-12-30 2012-05-22 Medtronic Minimed, Inc. Color detection system for detecting reservoir presence and content in device
WO2010083196A1 (en) 2009-01-13 2010-07-22 Clemson University Weight control device
US8704767B2 (en) 2009-01-29 2014-04-22 Microsoft Corporation Environmental gesture recognition
US20110053122A1 (en) 2009-05-29 2011-03-03 Wellness Foundations, LLC Nutritional analysis system and method
US8308679B2 (en) 2009-12-30 2012-11-13 Medtronic Minimed, Inc. Alignment systems and methods
US8771251B2 (en) 2009-12-17 2014-07-08 Hospira, Inc. Systems and methods for managing and delivering patient therapy through electronic drug delivery systems
WO2012006052A2 (en) * 2010-06-29 2012-01-12 Contant Olivier M Dynamic scale and accurate food measuring
US9165398B2 (en) 2011-02-25 2015-10-20 Lg Electronics Inc. Analysis of food items captured in digital images
JP2012235869A (ja) 2011-05-11 2012-12-06 Sony Corp 情報処理装置及び方法
US9110510B2 (en) 2011-06-03 2015-08-18 Apple Inc. Motion pattern classification and gesture recognition
US9448636B2 (en) 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
US20160232811A9 (en) 2012-06-14 2016-08-11 Robert A. Connor Eyewear System for Monitoring and Modifying Nutritional Intake
US9442100B2 (en) 2013-12-18 2016-09-13 Medibotics Llc Caloric intake measuring system using spectroscopic and 3D imaging analysis
US9042596B2 (en) 2012-06-14 2015-05-26 Medibotics Llc Willpower watch (TM)—a wearable food consumption monitor
US9536449B2 (en) 2013-05-23 2017-01-03 Medibotics Llc Smart watch and food utensil for monitoring food consumption
US9254099B2 (en) 2013-05-23 2016-02-09 Medibotics Llc Smart watch and food-imaging member for monitoring food consumption
US20150379238A1 (en) 2012-06-14 2015-12-31 Medibotics Llc Wearable Imaging Device for Monitoring Food Consumption Using Gesture Recognition
WO2014159749A1 (en) 2013-03-13 2014-10-02 The Regents Of The University Of California Non-invasive nutrition monitor
ES2799305T3 (es) * 2013-03-15 2020-12-16 Becton Dickinson Co Adaptador inteligente para dispositivos de infusión
US9317916B1 (en) 2013-04-12 2016-04-19 Aic Innovations Group, Inc. Apparatus and method for recognition of medication administration indicator
US10517516B2 (en) 2013-05-02 2019-12-31 Atonarp Inc. Monitor and system for monitoring an organism
US9529385B2 (en) 2013-05-23 2016-12-27 Medibotics Llc Smart watch and human-to-computer interface for monitoring food consumption
EP3017423A1 (en) 2013-07-02 2016-05-11 Roche Diagnostics GmbH Estimation of food volume and carbs
US9375537B2 (en) 2013-10-14 2016-06-28 Medtronic Minimed, Inc. Therapeutic agent injection device
EP3077982A4 (en) 2013-12-06 2017-05-17 Samsung Electronics Co., Ltd. Method and system for capturing food consumption information of a user
US9171280B2 (en) 2013-12-08 2015-10-27 Kit Check, Inc. Medication tracking
US20150199484A1 (en) 2014-01-15 2015-07-16 Microsoft Corporation Using sensors and demographic data to automatically adjust medication doses
US9730647B2 (en) 2014-04-15 2017-08-15 Vivint, Inc. Systems and methods for measuring calorie intake
US9672328B2 (en) 2014-07-10 2017-06-06 Companion Medical, Inc. Medicine administering system including injection pen and companion device
US20160073953A1 (en) 2014-09-11 2016-03-17 Board Of Trustees Of The University Of Alabama Food intake monitor
US20160132642A1 (en) 2014-11-06 2016-05-12 Raz Carmi Device and method for monitoring food intake
JP2018506773A (ja) 2014-12-16 2018-03-08 ソマティクス， インコーポレイテッド ジェスチャベースの行動を監視し、それに影響を与える方法およびシステム
US9396369B1 (en) 2015-02-03 2016-07-19 Apple Inc. Electronic tag transmissions corresponding to physical disturbance of tag
US10078780B2 (en) 2015-03-27 2018-09-18 Intel Corporation Gesture recognition mechanism
EP3332322A4 (en) * 2015-08-06 2018-08-22 Avishai Abrahami Cognitive state alteration system integrating multiple feedback technologies
EP3380061A4 (en) 2015-11-24 2019-07-24 Insulet Corporation AUTOMATED WEARABLE DRUG DELIVERY SYSTEM
US20170213014A1 (en) 2016-01-22 2017-07-27 Covidien Lp System and method for detecting smoking behavior
US10790054B1 (en) 2016-12-07 2020-09-29 Medtronic Minimed, Inc. Method and apparatus for tracking of food intake and other behaviors and providing relevant feedback
WO2017132690A1 (en) 2016-01-28 2017-08-03 Savor Labs, Inc. Method and apparatus for tracking of food intake and other behaviors and providing relevant feedback
US20230368046A9 (en) 2016-01-28 2023-11-16 Medtronic Minimed, Inc. Activation of Ancillary Sensor Systems Based on Triggers from a Wearable Gesture Sensing Device
EP3407940A4 (en) * 2016-01-29 2019-09-04 Companion Medical, Inc. PURPOSES OF AUTOMATIC DRUG DISPOSAL
US20170216518A1 (en) * 2016-02-01 2017-08-03 Dexcom, Inc. System and method for decision support using lifestyle factors
US10032009B2 (en) 2016-08-03 2018-07-24 International Business Machines Corporation Motion information filtering
US10950052B1 (en) 2016-10-14 2021-03-16 Purity LLC Computer implemented display system responsive to a detected mood of a person
US20180144104A1 (en) 2016-11-22 2018-05-24 FitNow, Inc. Computer-implemented methods and systems for determining the nutritional content of nutrition items
US10854322B2 (en) 2016-12-21 2020-12-01 Medtronic Minimed, Inc. Infusion systems and methods for patient activity adjustments
US10736566B2 (en) 2017-02-13 2020-08-11 The Board Of Trustees Of The University Of Alabama Food intake monitor
US10551935B2 (en) * 2017-04-07 2020-02-04 University Of South Carolina Wearable computing device featuring machine-learning-based smoking detection
EP3635591A4 (en) 2017-06-09 2021-03-24 Companion Medical, Inc. SMART DRUG DELIVERY SYSTEMS AND PROCESSES
US10747851B2 (en) 2017-06-09 2020-08-18 Nxp B.V. Segmented platform for items
US10463971B2 (en) 2017-12-06 2019-11-05 Activision Publishing, Inc. System and method for validating video gaming data
US20200357503A1 (en) * 2017-12-13 2020-11-12 Sony Corporation Information processing apparatus, information processing method, and program
US11615876B2 (en) * 2018-10-16 2023-03-28 International Business Machines Corporation Predictive model for substance monitoring and impact prediction
US11363986B2 (en) 2018-10-31 2022-06-21 Medtronic Minimed, Inc. Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system
US11367516B2 (en) 2018-10-31 2022-06-21 Medtronic Minimed, Inc. Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system
US11367517B2 (en) 2018-10-31 2022-06-21 Medtronic Minimed, Inc. Gesture-based detection of a physical behavior event based on gesture sensor data and supplemental information from at least one external source
US20200289373A1 (en) 2018-10-31 2020-09-17 Medtronic Minimed, Inc. Automated detection of a physical behavior event and corresponding adjustment of a physiological characteristic sensor device
US11948671B2 (en) 2019-04-11 2024-04-02 Medtronic Minimed, Inc. Intelligent accessories for medicine dispensing device
EP4052263A1 (en) 2019-10-29 2022-09-07 Medtronic MiniMed, Inc. Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system
US20210178067A1 (en) 2019-12-13 2021-06-17 Medtronic Minimed, Inc. Translating therapy parameters of an insulin therapy system to translated therapy parameters for use at a different insulin therapy system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102354172B1 (ko) * 2021-10-07 2022-02-08 주식회사 바이오커넥트 학습 모델 기반의 인슐린 투여량을 결정하는 방법, 장치 및 컴퓨터 프로그램 제품

Also Published As

Publication number Publication date
US20200135320A1 (en) 2020-04-30
WO2020092573A1 (en) 2020-05-07
CN112889114A (zh) 2021-06-01
US20220301679A1 (en) 2022-09-22
JP7446295B2 (ja) 2024-03-08
EP3874516A1 (en) 2021-09-08
US11367516B2 (en) 2022-06-21
CA3117825A1 (en) 2020-05-07
US11942200B2 (en) 2024-03-26
AU2019370301A1 (en) 2021-06-03
JP2022506115A (ja) 2022-01-17
US20200135319A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
US11942200B2 (en) Adjustment of medication dosages based on detection of physical behavior events
US11929167B2 (en) Method and apparatus for tracking of food intake and other behaviors and providing relevant feedback
US11759399B2 (en) Performance mode adjustment based on activity detection
US11728024B2 (en) Method and apparatus for tracking of food intake and other behaviors and providing relevant feedback
US11367517B2 (en) Gesture-based detection of a physical behavior event based on gesture sensor data and supplemental information from at least one external source
US20230297858A1 (en) Nutritional Content Determination Based on Gesture Detection Data
US11363986B2 (en) Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system
US20210229199A1 (en) Method and tool for reconditioning a damaged thread
JP2019505897A (ja) ロバストなヘルストラッキングサービス
WO2021086741A1 (en) Automated detection of a physical behavior event and corresponding adjustment of a medication dispensing system
US20230162833A1 (en) Early meal detection and calorie intake detection