KR20230118964A - 호흡 분석을 위한 헤드 웨어러블 장치 - Google Patents

호흡 분석을 위한 헤드 웨어러블 장치 Download PDF

Info

Publication number
KR20230118964A
KR20230118964A KR1020237023851A KR20237023851A KR20230118964A KR 20230118964 A KR20230118964 A KR 20230118964A KR 1020237023851 A KR1020237023851 A KR 1020237023851A KR 20237023851 A KR20237023851 A KR 20237023851A KR 20230118964 A KR20230118964 A KR 20230118964A
Authority
KR
South Korea
Prior art keywords
respiration
breathing
observed
user
related parameters
Prior art date
Application number
KR1020237023851A
Other languages
English (en)
Inventor
아쉬와니 아리아
테자스 바훌카르
Original Assignee
스냅 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/456,096 external-priority patent/US20220192622A1/en
Application filed by 스냅 인코포레이티드 filed Critical 스냅 인코포레이티드
Publication of KR20230118964A publication Critical patent/KR20230118964A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/003—Detecting lung or respiration noise
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816—Measuring devices for examining respiratory frequency
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/405—Non-uniform arrays of transducers or a plurality of uniform arrays with different transducer spacing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/23—Direction finding using a sum-delay beam-former

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Pulmonology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Physiology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

복수의 마이크로폰으로부터 복수의 오디오 신호를 수신하고 복수의 오디오 신호를 빔포밍된 오디오 신호가 되도록 빔포밍하는 것을 포함하는, 사용자의 호흡을 모니터링하는 것이 개시된다. 관찰된 호흡 관련 파라미터들은 빔포밍된 오디오 신호로부터 도출되고, 관찰된 호흡 관련 파라미터들의 출력 또는 이로부터 도출된 출력이 클라이언트 디바이스의 사용자에게 제공된다. 호흡 메트릭들은 관찰된 호흡 관련 파라미터들을 기준 호흡 관련 파라미터들과 비교함으로써 결정될 수 있으며, 호흡 점수는 호흡 메트릭들로부터 도출될 수 있다. 호흡 점수는 사용자의 관찰된 호흡이 프롬프팅된 또는 요망된 호흡률과 얼마나 가깝게 일치하는지와, 사용자의 관찰된 호흡률이 프롬프팅된 또는 요망된 호흡률의 임계값 내에 있는 관찰된 시간량의 조합에 기초할 수 있다.

Description

호흡 분석을 위한 헤드 웨어러블 장치
[우선권 주장]
본 출원은 2020년 12월 18일자로 출원된 미국 가출원 제63/127,855호 및 2021년 11월 22일자로 출원된 미국 특허 출원 제17/456,096호에 대한 우선권의 이익을 주장하며, 이들 각각은 그 전체가 본 명세서에 참고로 포함된다.
현재, 사용자는 모바일 디바이스 상의 내장 카메라(들)를 사용하여 사용자의 생활에서 발생하는 이벤트 또는 순간을 신속하게 캡처할 수 있다. 다수의 헤드 착용 디바이스가 오디오 및/또는 시각적 콘텐츠를 캡처하도록 적응된다. 예를 들어, 소위 스마트 안경은 사용자가 자신의 모바일 디바이스를 꺼낼 필요 없이 오디오 및/또는 시각적(A/V) 콘텐츠를 캡처할 수 있다. 이러한 방식으로 캡처된 A/V 콘텐츠는 메시징 애플리케이션 또는 소셜 네트워킹 애플리케이션들을 통해 다른 사람들과 공유될 수 있다.
스마트 인경은 또한 사용자에게 추가적인 기능성을 제공할 수 있다. 예를 들어, AR(augmented reality) 스마트 안경은 사용자의 실세계 경험을 보완하기 위해 시각적 또는 오디오 정보를 제공할 수 있다.
반드시 축척대로 그려진 것은 아닌 도면들에서, 유사한 번호들은 상이한 도면들에서 유사한 컴포넌트들을 기술할 수 있다. 임의의 특정 요소 또는 동작의 논의를 쉽게 식별하기 위해, 참조 번호의 최상위 숫자 또는 숫자들은 그 요소가 처음 도입되는 도면 번호를 가리킨다. 일부 비제한적인 예들이 첨부 도면들의 그림들에 예시되어 있다.
도 1은 일 예에 따른 헤드 웨어러블 장치의 사시도를 도시한다.
도 2는 일 예에 따른, 도 1의 헤드 웨어러블 장치의 저면도를 도시한다.
도 3은 일부 예들에 따른, 본 개시내용이 배치될 수 있는 네트워킹된 환경의 도식적 표현이다.
도 4는 일 예에 따른 도 1의 헤드 웨어러블 장치와 함께 사용하기 위한 오디오 프로세서의 블록도이다.
도 5는 일 예에 따른, 도 4의 빔포머(beamformer)의 블록도를 도시한다.
도 6은 도 4의 호흡 신호 분석 모듈에 의해 수신된 신호의 일 예의 그래프이다.
도 7a는 숨을 들이마심(inhale)의 오디오 주파수 분포의 예를 도시하는 그래프이다.
도 7b는 대응하는 숨을 내쉼(exhale)의 오디오 주파수 분포의 예를 도시한다.
도 8은 일 예에 따른 도 1의 헤드 웨어러블 장치를 이용하는 호흡 모니터링 프로세스의 흐름도이다.
도 9는 일 실시예에 따른 주제의 양태를 도시한다.
도 10은 일 실시예에 따른 주제의 양태를 도시한다.
도 11은 일 예에 따른 도 1의 헤드 웨어러블 장치와 함께 사용하기 위한 오디오 프로세서의 블록도이다.
도 12는 일 예에 따른 도 1의 헤드 웨어러블 장치를 이용하는 호흡 모니터링 프로세스의 흐름도이다.
도 13은 일부 예들에 따른, 머신으로 하여금 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하게 야기하기 위해 명령어들의 세트가 실행될 수 있는 컴퓨터 시스템 형태의 머신의 도식적 표현이다.
도 14는 예들이 구현될 수 있는 소프트웨어 아키텍처를 도시하는 블록도이다.
이하의 설명은 본 개시내용의 예시적인 예들을 구체화하는 시스템들, 방법들, 기법들, 명령어 시퀀스들, 및 컴퓨팅 머신 프로그램 제품들을 포함한다. 이하의 설명에서, 설명의 목적상, 발명 주제의 다양한 예들의 이해를 제공하기 위해서 수많은 구체적인 상세사항들이 제시된다. 그러나, 본 기술분야의 통상의 기술자들에게는, 발명 주제의 예들이 이들 특정한 상세사항 없이도 실시될 수 있다는 것이 명백할 것이다. 일반적으로, 널리 공지된 명령어 인스턴스들, 프로토콜들, 구조들, 및 기법들이 꼭 상세히 보여지지는 않는다.
호흡 운동들 또는 주의깊은 호흡 기법들은 예를 들어, 스트레스 감소, 더 낮은 혈압 등을 포함하여 다수의 물리적 및 정신적 이익들을 제공할 수 있다. 이와 관련하여, 호흡 운동을 하고 있는 사람에게 모니터링 및 피드백을 제공하는 것이 유익할 수 있다.
일 예에서, 헤드 웨어러블 장치가 하나 이상의 이격된 마이크로폰을 포함하는 한 쌍의 안경을 포함한다. 안경은 예를 들어 소위 스마트 안경일 수 있고, 마이크로폰들은 그렇지 않으면 음성 통화들을 위해 또는 안경에 포함된 하나 이상의 카메라에 의해 캡처된 비디오를 동반하는 주변 오디오를 캡처하기 위해 사용될 수 있다. 마이크로폰들로부터의 신호는 호흡 사운드들을 더 잘 검출하기 위해 빔포밍될 수 있다. 그 후, 호흡 운동을 하는 사람에게 피드백을 제공하기 위해 빔포밍된 신호로부터 다양한 호흡 관련 파라미터들이 결정될 수 있다.
또한, 복수의 마이크로폰으로부터 복수의 오디오 신호를 수신하는 단계, 복수의 오디오 신호를 빔포밍된 오디오 신호가 되도록 빔포밍하는 단계, 빔포밍된 오디오 신호로부터 관찰된 호흡 관련 파라미터들을 결정하는 단계, 및 관찰된 호흡 관련 파라미터들의 또는 이들로부터 도출된 출력을 제공하는 단계를 포함하는, 사용자의 호흡을 모니터링하는 예시적인 방법이 개시된다.
방법은 관찰된 호흡 관련 파라미터들로부터 호흡 메트릭들을 결정하는 단계를 추가로 포함할 수 있으며, 출력은 호흡 메트릭들을 포함한다. 호흡 메트릭들은 관찰된 호흡 관련 파라미터들을 기준 호흡 관련 파라미터들과 비교함으로써 결정될 수 있으며, 기준 호흡 관련 파라미터들은 사용자에 대한 이력 호흡 관련 파라미터들일 수 있다. 관찰된 호흡 관련 파라미터들은 숨을 들이마심(inhale) 또는 숨을 내쉼(exhale)의 주파수 특성들을 포함할 수 있다.
호흡 점수는 호흡 메트릭들로부터 도출될 수 있다. 호흡 점수는 사용자의 관찰된 호흡이 프롬프팅된 또는 요망된 호흡률(respiration rate)과 얼마나 가깝게 일치하는지에 기초한 정확도 점수일 수 있다. 호흡 점수는 사용자의 관찰된 호흡률이 프롬프팅된 또는 요망된 호흡률과 얼마나 가깝게 일치하는지 및 관찰된 시간량의 조합에 기초한 정확도 점수일 수 있다. 관찰된 시간량은 관찰된 호흡률이 프롬프팅된 또는 요망된 호흡률의 임계값 내에 있는 시간량이다.
사용자는 호흡 점수가 하나 이상의 수신자와 공유될 것을 표시하는 입력을 제공할 수 있고, 이에 응답하여 호흡 점수를 포함하는 메시지가 네트워크를 통해 송신될 수 있다.
또한, 머신의 하나 이상의 프로세서에 의해 실행될 때, 머신으로 하여금, 복수의 마이크로폰으로부터 복수의 오디오 신호를 수신하는 것, 복수의 오디오 신호를 빔포밍된 오디오 신호가 되도록 빔포밍하는 것, 빔포밍된 오디오 신호로부터 관찰된 호흡 관련 파라미터들을 결정하는 것, 및 관찰된 호흡 관련 파라미터들의 또는 이들로부터 도출된 출력을 제공하는 것을 포함하는, 사용자의 호흡을 모니터링하기 위한 동작들을 수행하게 야기하는 명령어들을 포함하는 예시적인 비일시적 머신 판독가능 저장 매체가 개시된다.
동작들은 관찰된 호흡 관련 파라미터들로부터 호흡 메트릭들을 결정하는 동작을 추가로 포함할 수 있으며, 출력은 호흡 메트릭들을 포함한다. 호흡 메트릭들은 관찰된 호흡 관련 파라미터들을 기준 호흡 관련 파라미터들과 비교함으로써 결정될 수 있다.
동작들은 호흡 메트릭들로부터 호흡 점수를 도출하는 단계를 추가로 포함할 수 있고, 여기서 호흡 점수는 사용자의 관찰된 호흡률이 프롬프팅된 또는 요망된 호흡률과 얼마나 가깝게 일치하는지에 기초한 정확도 점수이다. 호흡 점수는 관찰된 호흡률이 프롬프팅된 또는 요망된 호흡률의 임계값 내에 있는 관찰된 시간량에 더 기초한 것일 수 있다.
또한, 하나 이상의 프로세서, 및 하나 이상의 프로세서에 의해 실행될 때, 시스템으로 하여금 본 명세서에 기술된 바와 같이 사용자의 호흡을 모니터링하기 위한 동작들을 수행하게 야기하는 명령어들을 저장하는 하나 이상의 머신 판독가능 매체를 포함하는 예시적인 시스템이 개시된다. 동작들은 복수의 마이크로폰으로부터 복수의 오디오 신호를 수신하는 동작, 복수의 오디오 신호를 빔포밍된 오디오 신호가 되도록 빔포밍하는 동작, 빔포밍된 오디오 신호로부터 관찰된 호흡 관련 파라미터들을 결정하는 동작, 및 관찰된 호흡 관련 파라미터들의 또는 이들로부터 도출된 출력을 제공하는 동작을 포함할 수 있다.
동작들은 관찰된 호흡 관련 파라미터들을 기준 호흡 관련 파라미터들과 비교함으로써 관찰된 호흡 관련 파라미터들로부터 호흡 메트릭들을 결정하는 동작을 추가로 포함할 수 있으며, 출력은 호흡 메트릭들을 포함한다. 관찰된 호흡 관련 파라미터들은 숨을 들이마심(inhale) 또는 숨을 내쉼(exhale)의 주파수 특성들을 포함할 수 있다.
동작들은 호흡 메트릭들로부터 호흡 점수를 도출하는 동작을 추가로 포함할 수 있고, 호흡 점수는 사용자의 관찰된 호흡이 프롬프팅된 또는 요망된 호흡률과 얼마나 가깝게 일치하는지와 관찰된 호흡률이 프롬프팅된 또는 요망된 호흡률의 임계값 내에 있는 관찰된 시간량의 조합에 기초한다.
동작들은 또한 호흡 점수가 하나 이상의 수신자와 공유될 것을 표시하는 사용자 입력을 수신하는 동작, 및 네트워크를 통해 호흡 점수를 포함하는 메시지를 송신하는 동작을 추가로 포함할 수 있다.
도 1은 일 예에 따른 호흡을 모니터링하기 위한 헤드 웨어러블 장치(100)의 사시도를 도시한다. 도 2는 일 예에 따른, 도 1의 헤드 웨어러블 장치(100)의 저면도를 도시한다. 도 1 및 도 2에서, 헤드 웨어러블 장치(100)는 안경이다. 일부 예들에서, 헤드 웨어러블 장치(100)는 선글라스 또는 고글일 수 있다. 일부 예들은 헤드 웨어러블 장치(100) 또는 클라이언트 디바이스와 통합되거나, 그와 통신 상태에 있거나, 그에 결합되는 통합된 카메라를 갖는 펜던트와 같은 하나 이상의 웨어러블 디바이스를 포함할 수 있다. 시계, 헤드셋, 손목밴드, 이어폰들, 의복(예컨대 전자장치들이 통합된 모자 또는 재킷), 클립-온(clip-on) 전자 디바이스, 또는 임의의 다른 웨어러블 디바이스들과 같은 임의의 요망된 웨어러블 디바이스가 본 개시내용의 예들과 연계하여 사용될 수 있다. 도시되지는 않았지만, 헤드 웨어러블 장치에 포함된 시스템의 하나 이상의 부분이 헤드 웨어러블 장치(100)와 연계하여 이용될 수 있는 클라이언트 디바이스[예를 들어, 도 13의 머신(1300)]에 포함될 수 있음이 이해된다. 예를 들어, 도 4 및 도 5에 도시된 바와 같은 하나 이상의 요소가 헤드 웨어러블 장치(100) 및/또는 클라이언트 디바이스에 포함될 수 있다.
본 명세서에서 사용될 때, 용어 "클라이언트 디바이스"는 하나 이상의 서버 시스템 또는 다른 클라이언트 디바이스로부터 자원들을 획득하기 위해 통신 네트워크와 인터페이스하는 임의의 머신을 지칭할 수 있다. 클라이언트 디바이스는, 모바일 폰, 데스크톱 컴퓨터, 랩톱, PDA들(portable digital assistants), 스마트폰들, 태블릿들, 울트라 북들, 넷북들, 랩톱들, 멀티-프로세서 시스템들, 마이크로프로세서-기반 또는 프로그램가능 가전 제품들, 게임 콘솔들, 셋톱 박스들, 또는 사용자가 네트워크에 액세스하기 위해 사용할 수 있는 임의의 다른 통신 디바이스일 수 있지만, 이에 제한되는 것은 아니다.
도 1 및 도 2에서, 헤드 웨어러블 장치(100)는 힌지들 및/또는 엔드 피스들을 통해 2개의 스템(stem)(또는 안경다리(temple))에 제각기 결합되는 눈 와이어들(또는 림(rim)들)을 포함하는 프레임(103)을 포함하는 안경이다. 프레임(103)의 눈 와이어들은 한 쌍의 렌즈들(104_1, 104_2)을 운반하거나 붙잡는다. 프레임(103)은 제1 스템에 결합되는 제1(예컨대, 우측) 측 및 제2 스템에 결합되는 제2(예컨대, 좌측) 측을 포함한다. 제1 측은 프레임(103)의 제2 측에 대향한다.
장치(100)는 카메라 렌즈들(102_1, 102_2) 및 적어도 하나의 이미지 센서를 포함하는 카메라 모듈을 추가로 포함한다. 카메라 렌즈는 원근 카메라 렌즈(perspective camera lens) 또는 비원근 카메라 렌즈일 수 있다. 비원근 카메라 렌즈는, 예를 들어, 어안 렌즈, 광각 렌즈, 전방향 렌즈 등일 수 있다. 이미지 센서는 카메라 렌즈를 통해 디지털 비디오를 캡처한다. 이미지들은 또한 정지 이미지 프레임 또는 복수의 정지 이미지 프레임을 포함하는 비디오일 수 있다. 카메라 모듈은 프레임(103)에 결합될 수 있다. 도 1 및 도 2에 도시된 바와 같이, 프레임(103)은 카메라 렌즈들이 전방을 향하도록 카메라 렌즈들(102_1, 102_2)에 결합된다. 카메라 렌즈들(102_1, 102_2)은 렌즈들(104_1, 104_2)에 수직일 수 있다. 카메라 모듈은 프레임(103)의 폭 또는 장치(100)의 사용자의 머리의 폭에 의해 분리되는 이중 전면 대향 카메라(dual-front facing camera)들을 포함할 수 있다.
도 1 및 도 2에서, 2개의 스템(또는 안경다리)은 제각기 마이크로폰 하우징들(101_1, 101_2)에 결합된다. 제1 스템과 제2 스템은 헤드 웨어러블 장치(100)의 프레임(103)의 대향 측들에 결합된다. 제1 스템은 제1 마이크로폰 하우징(101_1)에 결합되고 제2 스템은 제2 마이크로폰 하우징(101_2)에 결합된다. 마이크로폰 하우징들(101_1, 101_2)은 프레임(103)의 로케이션들과 템플 팁들 사이의 스템들에 결합될 수 있다. 마이크로폰 하우징들(101_1, 101_2)은 사용자가 장치(100)를 착용하고 있을 때 사용자의 관자놀이들의 양측에 위치될 수 있다.
도 2에 도시된 예에서, 제1 마이크로폰 하우징(101_1)은 마이크로폰들(110_3 및 110_4)을 감싸고 제2 마이크로폰 하우징(101_2)은 마이크로폰들(110_1 및 110_2)을 감싼다. 마이크로폰 하우징들(101_1, 101_2) 각각은 전방 포트 및 후방 포트를 포함한다. 제1 마이크로폰 하우징(101_1)의 전방 포트는 마이크로폰(110_3)(예를 들어, 제1 전방 마이크로폰)에 결합되고 제1 마이크로폰 하우징(101_1)의 후방 포트는 마이크로폰(110_4)(예를 들어, 제1 후방 마이크로폰)에 결합된다. 제2 마이크로폰 하우징(101_2)의 전방 포트는 마이크로폰(110_1)(예를 들어, 제2 전방 마이크로폰)에 결합되고 제2 마이크로폰 하우징(101_2)의 후방 포트는 마이크로폰(110_2)(예를 들어, 제2 후방 마이크로폰)에 결합된다.
또한, 코걸이(nosepiece)(114) 위의 안경의 브리지(108)에 위치된 마이크로폰(101_5)이 도 2에 도시된 예에 포함된다. 마이크로폰(101_5)은 사용자의 호흡 사운드들 또는 보컬들에 대응하는 추가적인 신호를 제공하기 위해 마이크로폰들(101_1 내지 101_4)에 더하여 제공될 수 있다.
마이크로폰들(110_1 내지 110_N)은 디지털 또는 아날로그 MEMS(micro electro-mechanical systems) 마이크로폰들일 수 있다.
추가적으로, 헤드 웨어러블 장치(100)는 하나 이상의 가속도계를 포함할 수 있다. 가속도계들은 호흡 모니터링에 사용하기 위한 특수 목적 가속도계들일 수 있거나, 또는 이들은 도 13을 참조하여 기술된 모션 컴포넌트들(1332)과 같은 IMU(inertial measurement unit)의 일부일 수 있다.
예를 들어, 도 2는 헤드 웨어러블 장치(100)의 코걸이(114)에 장착된 가속도계(112)를 도시한다. 코걸이(114) 위의 안경의 브리지(108)를 포함하여, 하나 이상의 가속도계에 대한 다른 적합한 로케이션들이 선택될 수 있다는 것이 이해될 것이다. 추가적으로, IMU는 또한 코걸이(114) 또는 브리지(108) 내에 또는 그 주위에 위치될 수 있다. 그러한 경우에, 헤드 웨어러블 장치(100)의 구성은, 예를 들어, 통합된 브리지 및 코걸이를 포함하도록, 또는 필요에 따라 다른 방식으로 수정될 수 있다.
도 3은 네트워크를 통해 데이터(예를 들어, 메시지들 및 연관된 콘텐츠)를 교환하기 위한 예시적인 메시징 시스템(300)을 도시하는 블록도이다. 메시징 시스템(300)은 클라이언트 디바이스(302)의 다수의 인스턴스를 포함하며, 이들 각각은 메시징 클라이언트(304) 및 다른 애플리케이션들(306)을 포함하는 소정 수의 애플리케이션을 호스팅한다. 각각의 메시징 클라이언트(304)는 네트워크(310)(예를 들어, 인터넷)를 통해 메시징 클라이언트(304)의 다른 인스턴스들(예를 들어, 제각기 다른 클라이언트 디바이스들(302) 상에서 호스팅됨) 및 메시징 서버 시스템(308)에 통신가능하게 결합된다. 메시징 클라이언트(304)는 또한 API(Applications Program Interface)들을 이용하여 국소적으로 호스팅된 애플리케이션(306)과 통신할 수 있다.
알 수 있는 바와 같이, 헤드 웨어러블 장치(100)는 헤드 웨어러블 장치(100)를 클라이언트 디바이스(302)에 결합하는 데이터 링크(328)에 의해 도 3의 네트워킹된 컴퓨팅 환경에 포함될 수 있다. 일 예에서, 데이터 링크(328)는 블루투스와 같은 단거리 프로토콜 상에서 동작하는 무선 데이터 링크이다. 데이터 링크는 헤드 웨어러블 장치(100)와 클라이언트 디바이스(302) 사이에서 데이터(예를 들어, 오디오 및 비디오 데이터) 및 커맨드들 또는 사용자 입력들의 교환을 제공하도록 동작가능하다.
메시징 클라이언트(304)는 네트워크(310)를 통해 다른 메시징 클라이언트들(304)과 그리고 메시징 서버 시스템(308)과 통신하고 데이터를 교환할 수 있다. 메시징 클라이언트들(304) 사이에 그리고 메시징 클라이언트(304)와 메시징 서버 시스템(308) 사이에 교환되는 데이터는, 기능들(예를 들어, 기능들을 기동하는 커맨드들)뿐만 아니라, 페이로드 데이터(예를 들어, 텍스트, 오디오, 비디오 또는 다른 멀티미디어 데이터)를 포함한다.
메시징 서버 시스템(308)은 네트워크(310)를 통해 특정 메시징 클라이언트(304)에 서버측 기능성을 제공한다. 메시징 시스템(300)의 특정 기능들이 메시징 클라이언트(304)에 의해 또는 메시징 서버 시스템(308)에 의해 수행되는 것으로 본 명세서에 설명되지만, 메시징 클라이언트(304) 또는 메시징 서버 시스템(308) 내에서의 특정 기능성의 로케이션은 설계 선택사항일 수 있다. 예를 들어, 처음에는 특정 기술 및 기능성을 메시징 서버 시스템(308) 내에 배치하지만 나중에 클라이언트 디바이스(302)가 충분한 처리 용량을 갖는 경우 이 기술 및 기능성을 메시징 클라이언트(304)로 이주시키는 것이 기술적으로 바람직할 수 있다.
메시징 서버 시스템(308)은 메시징 클라이언트(304)에 제공되는 다양한 서비스들 및 동작들을 지원한다. 그러한 동작들은 메시징 클라이언트(304)에 데이터를 송신하고, 그로부터 데이터를 수신하고, 그에 의해 생성된 데이터를 처리하는 것을 포함한다. 이 데이터는, 예로서, 메시지 콘텐츠, 클라이언트 디바이스 정보, 지오로케이션 정보, 미디어 증강 및 오버레이, 메시지 콘텐츠 지속 조건, 소셜 네트워크 정보, 및 라이브 이벤트 정보를 포함할 수 있다. 메시징 시스템(300) 내에서의 데이터 교환들은 메시징 클라이언트(304)의 사용자 인터페이스들(UI들)을 통해 이용가능한 기능들을 통해 기동되고 제어된다.
이제 구체적으로 메시징 서버 시스템(308)을 참조하면, API(Application Program Interface) 서버(314)가 애플리케이션 서버들(312)에 결합되어 프로그램 방식의 인터페이스를 제공한다. 애플리케이션 서버들(312)은 데이터베이스 서버(318)에 통신가능하게 결합되고, 이는 애플리케이션 서버들(312)에 의해 처리되는 메시지들과 연관된 데이터를 저장하는 데이터베이스(324)에 대한 액세스를 용이하게 한다. 유사하게, 웹 서버(326)는 애플리케이션 서버들(312)에 결합되고, 웹 기반 인터페이스들을 애플리케이션 서버들(312)에 제공한다. 이를 위해, 웹 서버(326)는 HTTP(Hypertext Transfer Protocol) 및 여러 다른 관련 프로토콜을 통해 착신 네트워크 요청들을 처리한다.
API(Application Program Interface) 서버(314)는 클라이언트 디바이스(302)와 애플리케이션 서버들(312) 사이에서 메시지 데이터(예를 들어, 커맨드들 및 메시지 페이로드들)를 수신하고 송신한다. 구체적으로, API(Application Program Interface) 서버(314)는 애플리케이션 서버들(312)의 기능성을 기동하기 위해 메시징 클라이언트(304)에 의해 호출되거나 질의될 수 있는 인터페이스들(예를 들어, 루틴들 및 프로토콜들)의 세트를 제공한다. API(Application Program Interface) 서버(314)는, 계정 등록, 로그인 기능성, 특정한 메시징 클라이언트(304)로부터 또 다른 메시징 클라이언트(304)로의, 애플리케이션 서버들(312)을 통한 메시지의 전송, 메시징 클라이언트(304)로부터 메시징 서버(316)로의 미디어 파일(예를 들어, 이미지 또는 비디오)의 전송, 및 또 다른 메시징 클라이언트(304)에 의한 가능한 액세스를 위해, 미디어 데이터의 컬렉션(예를 들어, 스토리)의 설정, 클라이언트 디바이스(302)의 사용자의 친구들의 리스트의 검색, 이러한 컬렉션의 검색, 메시지 및 콘텐츠의 검색, 엔티티 그래프(예를 들어, 소셜 그래프)로의 엔티티(예를 들어, 친구)의 추가 및 삭제, 소셜 그래프 내에서의 친구의 로케이션, 및 (예를 들어, 메시징 클라이언트(304)에 관련된) 애플리케이션 이벤트를 오픈하는 것을 포함한, 애플리케이션 서버들(312)에 의해 지원되는 다양한 기능을 노출시킨다.
애플리케이션 서버들(312)은 예를 들어, 메시징 서버(316), 이미지 처리 서버(320), 및 소셜 네트워크 서버(322)를 포함하는 소정 수의 서버 애플리케이션 및 서브시스템을 호스팅한다. 메시징 서버(316)는, 특히 메시징 클라이언트(304)의 다수의 인스턴스로부터 수신된 메시지들에 포함된 콘텐츠(예를 들어, 텍스트 및 멀티미디어 콘텐츠)의 애그리게이션 및 다른 처리에 관련된, 소정 수의 메시지 처리 기술들 및 기능들을 구현한다. 더 상세히 설명되는 바와 같이, 다수의 소스로부터의 텍스트 및 미디어 콘텐츠는 콘텐츠의 컬렉션들(예를 들어, 스토리 또는 갤러리라고 불림)이 되도록 애그리게이션될 수 있다. 이 컬렉션들은 그 후 메시징 클라이언트(304)에게 이용가능하게 된다. 다른 프로세서 및 메모리 집약적인 데이터의 처리는 또한, 이러한 처리를 위한 하드웨어 요건을 고려하여, 메시징 서버(316)에 의해 서버측에서 수행될 수 있다.
애플리케이션 서버들(312)은, 전형적으로 메시징 서버(316)로부터 전송되거나 메시징 서버(316)에서 수신된 메시지의 페이로드 내의 이미지들 또는 비디오에 관하여, 다양한 이미지 처리 동작들을 수행하는 데 전용되는 이미지 처리 서버(320)를 또한 포함한다.
소셜 네트워크 서버(322)는 다양한 소셜 네트워킹 기능들 및 서비스들을 지원하고, 이러한 기능들 및 서비스들을 메시징 서버(316)에 이용가능하게 만든다. 소셜 네트워크 서버(322)에 의해 지원되는 기능들 및 서비스들의 예들은, 특정 사용자가 관계를 가지거나 "팔로우하는" 메시징 시스템(300)의 다른 사용자들의 식별, 및 또한 특정 사용자의 다른 엔티티들 및 관심사항들의 식별을 포함한다.
메시징 클라이언트(304)로 돌아가서, 외부 자원(예를 들어, 애플리케이션(306) 또는 애플릿)의 특징들 및 기능들은 메시징 클라이언트(304)의 인터페이스를 통해 사용자에게 이용 가능하게 된다. 이러한 맥락에서, "외부"는 애플리케이션(306) 또는 애플릿이 메시징 클라이언트(304) 외부에 있다는 사실을 지칭한다. 외부 자원은 종종 제3자에 의해 제공되지만, 메시징 클라이언트(304)의 생성자 또는 제공자에 의해 또한 제공될 수 있다. 메시징 클라이언트(304)는 그러한 외부 자원의 특징들을 론칭하거나 액세스하기 위한 옵션의 사용자 선택을 수신한다. 외부 자원은 클라이언트 디바이스(302) 상에 설치된 애플리케이션(306)(예를 들어, "네이티브 앱"), 또는 클라이언트 디바이스(302) 상에서 또는 클라이언트 디바이스(302)로부터 원격에서(예를 들어, 제3자 서버 상에서) 호스팅되는 애플리케이션의 소규모 버전(예를 들어, "애플릿")일 수 있다. 애플리케이션의 소규모 버전은 애플리케이션(예를 들어, 애플리케이션의 대규모 네이티브 버전)의 특징들 및 기능들의 서브세트를 포함하고, 마크업 언어 문서를 이용하여 구현된다. 일 예에서, 애플리케이션의 소규모 버전(예를 들어, "애플릿")은 애플리케이션의 웹 기반 마크업 언어 버전이고, 메시징 클라이언트(304)에 내장된다. 마크업 언어 문서들(예를 들어, .*ml 파일)을 사용하는 것에 더하여, 애플릿은 스크립팅 언어(예를 들어, .*js 파일 또는 .json 파일) 및 스타일 시트(예를 들어, .*ss 파일)를 통합할 수 있다.
외부 자원의 특징들을 론칭하거나 액세스하기 위한 옵션의 사용자 선택을 수신한 것에 응답하여, 메시징 클라이언트(304)는 선택된 외부 자원이 웹 기반 외부 자원인지 또는 국소적으로 설치된 애플리케이션(306)인지를 결정한다. 일부 예들에서, 클라이언트 디바이스(302) 상에 국소적으로 설치된 애플리케이션들(306)은, 클라이언트 디바이스(302)의 홈 스크린 상에서 애플리케이션(306)에 대응하는 아이콘을 선택함으로써 그런 것처럼, 메시징 클라이언트(304)와 독립적으로 그리고 그와 별개로 론칭될 수 있다. 이러한 애플리케이션들의 소규모 버전들은 메시징 클라이언트(304)를 통해 론칭되거나 액세스될 수 있고, 일부 예들에서, 소규모 애플리케이션의 어떠한 부분도 메시징 클라이언트(304)의 외부에서 액세스될 수 없거나 제한된 부분들이 액세스될 수 있다. 소규모 애플리케이션은, 예를 들어, 제3자 서버로부터, 소규모 애플리케이션과 연관된 마크업 언어 문서를 수신하고 그러한 문서를 처리하는 메시징 클라이언트(304)에 의해 론칭될 수 있다.
외부 자원이 국소적으로 설치된 애플리케이션(306)이라고 결정한 것에 응답하여, 메시징 클라이언트(304)는 외부 자원에 대응하는 국소적으로 저장된 코드를 실행함으로써 외부 자원을 론칭하도록 클라이언트 디바이스(302)에게 지시한다. 외부 자원이 웹 기반 자원이라고 결정한 것에 응답하여, 메시징 클라이언트(304)는 (예를 들어) 제3자 서버들과 통신하여 선택된 외부 자원에 대응하는 마크업 언어 문서를 획득한다. 그 후, 메시징 클라이언트(304)는 획득된 마크업 언어 문서를 처리하여, 메시징 클라이언트(304)의 사용자 인터페이스 내에 웹 기반 외부 자원을 제시한다.
메시징 클라이언트(304)는 클라이언트 디바이스(302)의 사용자, 또는 그러한 사용자와 관련된 다른 사용자들(예를 들어, "친구들")에게 하나 이상의 외부 자원에서 발생하는 활동을 통지할 수 있다. 예를 들어, 메시징 클라이언트(304)는 메시징 클라이언트(304) 내의 대화(예를 들어, 채팅 세션)의 참가자들에게 사용자들의 그룹 중 하나 이상의 멤버에 의한 외부 자원의 현재 또는 최근 사용에 관련한 통지들을 제공할 수 있다. 하나 이상의 사용자는 활성 외부 자원에 참여하도록 또는 최근에 사용되었지만 (친구들의 그룹에서) 현재 비활성인 외부 자원을 론칭하도록 초청받을 수 있다. 외부 자원은, 각각이 각자의 메시징 클라이언트들(304)을 사용하는, 대화의 참가자에게, 채팅 세션에 있는 사용자 그룹 중 하나 이상의 멤버와 외부 자원에서의 아이템, 상태(status), 상태(state), 또는 로케이션을 공유할 수 있는 능력을 제공할 수 있다. 공유된 아이템은 대화형 채팅 카드일 수 있고, 이 대화형 채팅 카드와 채팅의 멤버들은, 예를 들어, 대응하는 외부 자원을 론칭하거나, 외부 자원 내의 특정한 정보를 보거나, 채팅의 멤버를 외부 자원 내의 특정한 로케이션 또는 상태로 가져가기 위해 상호작용할 수 있다. 주어진 외부 자원 내에서, 응답 메시지들이 메시징 클라이언트(304) 상의 사용자들에게 전송될 수 있다. 외부 자원은 외부 자원의 현재 컨텍스트에 기초하여, 상이한 미디어 아이템들을 응답들 내에 선택적으로 포함시킬 수 있다.
메시징 클라이언트(304)는 주어진 외부 자원을 론칭하거나 액세스하기 위해 이용가능한 외부 자원들(예를 들어, 애플리케이션들(306) 또는 애플릿들)의 리스트를 사용자에게 제시할 수 있다. 이 리스트는 컨텍스트 감지 메뉴에 제시될 수 있다. 예를 들어, 애플리케이션(306)(또는 애플릿들) 중 상이한 것들을 표현하는 아이콘들은 (예를 들어, 대화 인터페이스로부터 또는 비대화 인터페이스로부터) 사용자에 의해 메뉴가 어떻게 론칭되는지에 기초하여 달라질 수 있다.
도 4는 일 예에 따른 헤드 웨어러블 장치(100)와 함께 사용하기 위한 오디오 프로세서(400)의 블록도를 도시한다. 오디오 프로세서(400)는 헤드 웨어러블 장치(100)에서 또는 클라이언트 디바이스(302)와 같은 연관된 컴퓨팅 디바이스에서 구현될 수 있다. 클라이언트 디바이스(302)의 일 실시예는 도 13을 참조하여 아래에 더 상세히 논의되는 머신(1300)이다. 오디오 프로세서(400)는 일 예에서 빔포머(402), 모노럴(monaural) 오디오 프로세서(404), 바이노럴(binaural) 오디오 프로세서(408), 잡음 억제기(406), 및 호흡 신호 분석 모듈(410)을 포함한다. 모노럴 오디오 프로세서(404), 바이노럴 오디오 프로세서(408), 호흡 신호 분석 모듈(410)의 출력들은 이러한 요소들 중 하나 이상이 클라이언트 디바이스(302) 자체에 구체화되지 않는 경우 클라이언트 디바이스(302)에 제공된다.
빔포머(402)는 마이크로폰들(110_1 내지 110_N)로부터 오디오 신호들을 수신하고, 관심 대상 로케이션들에서의 음향 신호들이 보강 간섭을 경험하는 한편 다른 것들은 상쇄 간섭을 경험하는 방식으로 이들을 조합한다. 이는 빔포머(402)로부터의 결과적인 오디오 출력 신호의 향상을 허용한다. 도 4의 예에서의 빔포머(402)는, 예를 들어, 바이노럴 오디오 신호(예를 들어, 비디오 캡처용) 대 모노럴 오디오 신호(예를 들어, 전화 통화용 또는 호흡 분석용)를 생성하기 위해 사용될 때, 오디오 프로세서(400)의 동작 모드에 좌우되어 상이한 모드들을 갖는다. 빔포머(402)는 도 5에서 더 상세히 도시된다.
모노럴 오디오 프로세서(404)는, 일 예에서, 원격 디바이스와의 스피치 통신에 사용하기 위해, 또는 메시징 애플리케이션에 대한 스피치 대 텍스트 변환을 위해 그런 것처럼 다른 목적들을 위해 사용자의 스피치를 캡처하기 위해, 또는 오디오 메모를 로컬 또는 원격 저장소에 저장할 때 사용자의 스피치에 대응하는 출력을 제공하도록 구성된다. 모노럴 오디오 프로세서(404)는 본 기술분야에 공지된 바와 같이 종래의 스피치 오디오 처리를 제공한다.
바이노럴 오디오 프로세서(408)는, 일 예에서, 예를 들어, 사용자가 헤드 웨어러블 장치(100)를 이용하여 비디오를 캡처하고 있을 때, 헤드 웨어러블 장치(100) 부근에서의 환경 사운드에 대응하는 바이노럴 출력을 제공하도록 구성된다. 바이노럴 오디오 프로세서는 일반적으로 캡처되고 있는 비디오에 관련된 헤드 웨어러블 장치(100) 앞에서의 오디오에 대응하는 신호를 생성한다. 일 예에서, 바이노럴 오디오 프로세서는, 그 내용이 본 명세서에 포함되는 미국 특허 제10,567,898호에 설명된 처리를 제공하지만, 본 기술분야에 공지된 다른 바이노럴 처리 기술도 역시 이용될 수 있다는 것을 이해할 것이다.
잡음 억제기(406) 및 호흡 신호 분석 모듈(410)은 호흡 동안 헤드 웨어러블 장치(100)의 사용자에 의해 생성되는 호흡 사운드들에 대응하는 데이터를 생성하도록 구성된다. 잡음 억제기(406)는 본 기술분야에 공지된 하나 이상의 능동 또는 수동 잡음 저감 기술을 이용한다. 호흡 신호 분석 모듈(410)은 잡음 억제기(406)로부터의 출력 신호를 처리하여, 아래에 더 상세히 설명되는 바와 같이 사용자의 호흡 사운드들로부터 데이터를 추출한다.
오디오 프로세서(400)는 컨텍스트에 좌우되어, 사용자 입력에 의존하여 또는 사용자 디바이스에 의해 자동으로 상이한 모드들 사이에서 스위칭할 수 있다. 예를 들어, 클라이언트 디바이스(302) 상에서 통화가 수신되거나 개시되거나, 또는 사용자 디바이스 상에서 음성 인식 모드가 활성화되는 경우, 빔포머(402)의 파라미터들은 모노럴 오디오 프로세서(404)에 의한 이러한 처리를 위해 적절한 출력 신호들을 제공하도록 설정될 수 있는 한편, 헤드 웨어러블 장치(100)에 대해 비디오 캡처가 인에이블되는 경우, 빔포머(402)는 바이노럴 오디오 프로세서(408)에 의한 이러한 처리를 위해 적절한 출력 신호들을 제공하도록 설정될 수 있다. 유사하게, 호흡 모니터링에 대응하는 사용자 입력이 검출되거나, 또는 호흡 모니터링이 클라이언트 디바이스(302) 상에서 다른 방식으로 인에이블되는 경우, 빔포머(402)는 호흡 신호 분석 모듈(410)에 의한 처리를 위해 적절한 출력 신호들을 제공하도록 설정될 수 있다.
도 4에는 마이크로폰들로부터의 오디오를 처리하기 위한 3개의 신호 경로가 도시되지만, 오디오 프로세서(400)는 또한 필요한 처리를 제공하기 위해 단일 적응적 오디오 경로로서 구현될 수 있다는 것도 알 것이다. 덧붙여, 바이노럴 구현에서 그런 것처럼, 하나보다 많은 공간적 로케이션에서 신호들의 향상을 제공하기 위해, 하나보다 많은 빔포머(402)가 오디오 프로세서(400)에 포함될 수 있다.
가속도계 입력 신호가 예를 들어, 가속도계(112)로부터 또는 모션 컴포넌트들(1332)로부터 제공되는 경우에, 가속도계 입력 신호는 먼저 가속도계 신호 프로세서(412)에서 증폭되고 필터링된다. 증폭 및 필터링은 잡음 억제기(406)로부터 호흡 신호 분석 모듈(410)에 의해 수신된 오디오 신호에 필적하는 가속도계 신호 프로세서(412)로부터의 출력을 제공하도록 선택된다. 이 출력은 그 후 호흡 신호 분석 모듈(410)에 제공된다. 가속도계 신호 프로세서(412)로부터의 출력은 도 7a 및 도 7b를 참조하여 아래에 더 상세히 논의되는 바와 같이 잡음 억제기(406)로부터의 출력과 동일한 방식으로 호흡 신호 분석 모듈(410)에 의해 처리될 수 있다. 가속도계 신호로부터 도출된 파라미터들 및 메트릭들은 오디오 신호가 약한 경우에 이용될 수 있고, 또한 마이크로폰(들) 상의 마찰 사운드(rubbing sound)들로부터 생기는 잡음이 있는 경우에 교차 검증을 행하기 위해 이용될 수 있다. 일 실시예에서, 호흡 파라미터들 및 메트릭들은 오로지 가속도계 출력으로부터 도출될 수 있다.
모노럴 오디오 프로세서(404), 호흡 신호 분석 모듈(410), 바이노럴 오디오 프로세서(408)의 출력들은 메시징 클라이언트(304) 또는 애플리케이션(306)으로의 제공을 위해 데이터 링크(328)를 통해 (오디오 프로세서(400)가 클라이언트 디바이스(302)에서 구체화되지 않는 경우) 클라이언트 디바이스(302)에 제공되거나, 또는 오디오 프로세서(400)가 클라이언트 디바이스(302)에서 구체화되는 경우 메시징 클라이언트(304) 또는 애플리케이션(306)에 제공된다. 또한, 오디오 프로세서(400)의 다양한 기능들 또는 모듈들이 헤드 웨어러블 장치(100)와 클라이언트 디바이스(302) 사이에 분산될 수 있음을 알 것이다.
도 5는 일 예에 따른, 도 4의 빔포머(402)의 블록도를 도시한다.
빔포머(402)는 복수의 지연(504a 내지 404e), 복수의 이득(506a 내지 406e), 및 합산부(508)를 포함한다. 빔포머(402)는 마이크로폰들(110_1 내지 110_5)에 제각기 대응하는 마이크로폰들(502a 내지 402e)에 결합된다. 각각의 지연(예를 들어, 지연(504a))은 대응하는 마이크로폰(예를 들어, 마이크로폰(502a))으로부터 입력 신호를 수신하고 입력 신호에 시간 지연을 적용한다. 시간 지연은, 본 기술 분야에 공지된 바와 같이 빔포머(402)를 조종하기 위해 (예를 들어, 클라이언트 디바이스(302)의 지시 하에서) 오디오 프로세서(400)에 의해 설정 가능하다. 일부 경우들에서, 예를 들어, (502e)(마이크로폰(110_5)에 대응함)에 대한 시간 지연은 제로로 설정될 수 있는데, 그 이유는 이 마이크로폰이 대칭 평면 상에 위치되는 소스들(사용자의 입 및 코)로부터 오디오(호흡 사운드들)를 캡처하기 위해 사용되고 있는 어레이 내의 중앙 마이크로폰일 것이기 때문이다.
각각의 지연(예를 들어, 지연(504a))은 대응하는 이득(예를 들어, 이득(506a))에 출력 신호를 제공하고, 대응하는 이득은 각각의 출력 신호에 가변 이득을 적용한다. 각각의 이득(예를 들어, 이득(506a))에 의해 적용되는 이득 값은 본 기술분야에 공지된 바와 같이 마이크로폰들(502a 내지 402e)로부터의 신호들을 정규화하기 위해 (예를 들어, 클라이언트 디바이스(302)의 지시 하에서) 오디오 프로세서(400)에 의해 설정 가능하다. 일부 경우들에서, 예를 들어, (502e)(마이크로폰(110_5)에 대응함)에 대한 이득은, 오디오 프로세서(400)가 모드, 예를 들어, (502e)가 사용되지 않는 바이노럴 모드에서 동작하고 있는 경우 제로로 설정될 수 있다.
이득들 각각의 출력들은 합산부(508)에 제공되고, 여기서 이것들은 모노럴 오디오 프로세서(404), 잡음 억제기(406), 또는 바이노럴 오디오 프로세서(408)에 제공되는 출력 신호가 되도록 조합된다.
도 6은 잡음 억제기(406) 또는 가속도계 신호 프로세서(412)로부터 오디오 프로세서(400)가 호흡 분석 모드에서 동작하고 있을 때 호흡 신호 분석 모듈(410)에 의해 수신되는 신호(602)의 예의 그래프(600)이다. 예시된 신호(602)는 3개의 저속 호흡 및 그에 이어지는 3개의 고속 호흡을 보여준다. 각각의 호흡은 숨을 들이마심 동안 생성된 사운드로부터 귀결되는 초기 진폭 피크(604)와, 그에 이어지는 숨을 내쉼 동안 생성된 사운드로부터 귀결되는 제2 진폭 피크(606)를 포함하는 것으로 보일 수 있다.
도 7a는 숨을 들이마심의 예시적인 오디오 주파수 분포를 도시하는 그래프인 한편, 도 7b는 대응하는 숨을 내쉼의 오디오 주파수 분포를 도시한다. 도 7a로부터 알 수 있는 바와 같이, 숨을 들이마심에 대해 100Hz 내지 1kHz 범위의 비교적 동일한 주파수 분포가 있는 반면, 도 7b로부터 알 수 있는 바와 같이, 숨을 내쉼에 대해 100Hz 내지 1kHz의 주파수 분포에 급격한 감소가 있다. 덧붙여, 숨을 들이마심에 대해서는 80과 100Hz 사이에 강한 피크가 존재하며, 이는 숨을 들이마심에 대해서 30과 60kHz 사이의 피크보다 훨씬 크다. 이러한 차이들을 이용하여, 호흡 신호 분석 모듈(410)은 2개의 주파수 분포를 비교함으로써 또는 숨을 들이마심과 숨을 내쉼 사이의 피크 크기들을 비교함으로써 숨을 들이마심과 숨을 내쉼을 구별할 수 있다.
신호 처리 기법들을 사용하여, 호흡 신호 분석 모듈(410)은, 호흡들 사이의 지속시간(즉, 기간), 호흡 심도, 주파수 특성들, 과호흡, 천식 호흡, 및 스트레스성 호흡을 포함하여, 빔포머(402) 및/또는 잡음 억제기(406)로부터 수신된 오디오 신호로부터 다양한 파라미터들 및 메트릭들을 결정한다.
예를 들어, 호흡 신호 분석 모듈(410)은 오디오 신호 샘플들의 진폭의 시간 윈도우 평균을 행함으로써 호흡들 사이의 기간(및 따라서 그 역수, 호흡수(respiratory rate)라고도 알려진 호흡 주파수)을 결정할 수 있다. 신호값의 평균이 피크를 이룰 때, 이는 숨을 내쉬는 것으로부터 숨을 들이마시는 것으로의 천이에 대응하는 호흡 사이클에서의 반복가능한 위치의 신뢰성 있는 지표인 것으로 간주될 수 있다. 덧붙여, 숨을 들이마심과 숨을 내쉼 사이의 피크는 숨을 내쉼과 숨을 들이마심 사이의 천이에서의 피크와 구별될 수 있는데, 그 이유는 전자가 후자보다 낮을 것이기 때문이다. 또한, 앞서 논의된 바와 같이, 숨을 들이마심은 또한 둘 사이의 주파수 구성의 차이에 기초하여 숨을 들이마심과 구별될 수 있다.
호흡수(전형적으로 분당 호흡수로서 표현됨) 또는 호흡들 간의 기간뿐만 아니라, 숨을 들이마심과 숨을 내쉼의 주파수 특성들을 관찰함으로써, 호흡 신호 분석 모듈(410)은 소정 수의 결정을 내릴 수 있다. 예를 들어, 사용자의 호흡이 느리고 꾸준하다는 것을 관찰함으로써, 예를 들어, 8초 이상의 호흡 기간을 가지는 연속적인 호흡 기간에서의 변동이 거의 없음을 관찰함으로써, 사용자가 심층 호흡하고 있다고 결정될 수 있다.
유사하게, 사람이 변하는 호흡 기간을 가지고 빠르게 호흡하고 있는 경우, 호흡 신호 분석 모듈(410)은 사람이 과호흡하고 있다고 결정할 수 있다. 덧붙여, 오디오 주파수 분포가 더 강한 고주파수 성분들을 포함하는 경우, 호흡 신호 분석 모듈(410)은 천식 호흡이 발생하고 있다고 결정할 수 있다.
호흡 신호 분석 모듈(410)에 의해 이루어지는 결정들은 연령 및 성별과 같은 인구통계 특성들에 의해 선택적으로 필터링된 평균/기준 호흡수들 및 주파수 프로필들을 관찰된 호흡수들 및 주파수 프로필들과 비교함으로써 행해질 수 있다. 호흡 신호 분석 모듈(410)에 의해 이루어지는 결정들은 또한 특정 사용자에 대한 이전에 관찰된 호흡 데이터에 기초하여, 그 특정 사용자에 대한 이력 호흡수들 및 주파수 프로필들을 비교함으로써 행해질 수 있다. 그로부터 도출된 이 데이터 또는 특성들은 특정 사용자의 계정과 연관된 애플리케이션 서버들(312) 상에 저장될 수 있다.
도 8은 본 개시내용의 다양한 양태들에 따른 도 1의 헤드 웨어러블 장치(100)를 이용하는 호흡 모니터링 프로세스(800)의 예시적인 흐름도이다. 흐름도가 동작들을 순차적 프로세스로서 기술할 수 있지만, 동작들 중 다수가 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수 있다. 프로세스는 그것의 동작들이 완료될 때 종료된다. 프로세스는 방법, 절차 등에 대응할 수 있다. 방법의 단계들은 전체적으로 또는 부분적으로 수행될 수도 있고, 다른 방법들에서의 단계들의 일부 또는 전부와 연계하여 수행될 수도 있고, 본 명세서에서 설명된 시스템들 중의 임의의 것과 같은 임의의 수의 상이한 시스템들에 의해 수행될 수도 있다. 프로세스(800)은 또한 도 1의 헤드 웨어러블 장치(100)에 포함된 프로세서에 의해 또는 클라이언트 디바이스(302)에 포함된 프로세서에 의해 수행될 수 있다.
프로세스(800)은 동작(802)에서 시작하여, 헤드 웨어러블 장치(100) 또는 클라이언트 디바이스(302)가 호흡 모니터링 및 분석 모드에서 동작을 시작하라는 사용자 입력을 수신한다. 사용자 입력은, 예를 들어, 헤드 웨어러블 장치(100) 또는 클라이언트 디바이스(302) 상의 버튼 누름들 또는 터치 입력, 음성 커맨드들, 및 등등에 의해 제공될 수 있다. 일 실시예에서, 호흡 모니터링 모드는 메시징 클라이언트(304) 또는 클라이언트 디바이스(302)에서 실행 중인 애플리케이션(306)에서 선택사항으로서 제공된다. 단지 명료성을 위해, 프로세스(800)은 헤드 웨어러블 장치(100)와 연계하여 클라이언트 디바이스(302) 상의 메시징 클라이언트(304)에서 구현되는 호흡 모니터링 및 분석과 관련하여 설명될 것이다.
사용자 입력의 수신 시에, 동작(804)에서, 메시징 클라이언트(304)는 오디오 프로세서(400)를 인에이블시키고(아직 인에이블되지 않은 경우), 도 4의 호흡 신호 분석 모듈(410)을 포함하는 경로로의 오디오 프로세서(400)에서의 오디오 처리 경로를 선택한다. 빔포머(402)는 마이크로폰들(502a 내지 502e)에 의해 캡처된 신호들에 대한 이득들 및 지연들이 헤드 웨어러블 장치(100)의 착용자의 코 및 입을 향하는 오디오 빔포밍을 제공하도록 설정된다. 메시징 클라이언트는 또한, 마이크로폰(502e/110_5)과 같은, 모노럴 또는 바이노럴 모드들과 비교해 추가적인 또는 상이한 마이크로폰들을 선택하거나 인에이블할 수 있다.
그 후, 동작(806)에서, 오디오 신호들이 마이크로폰들(502a 내지 502e)로부터 수신되고 빔포머(402)에 의해 처리되어, 사용자의 입 및 코로부터 발산되는 사운드들이 강화되는 출력 신호를 생성하게 된다. 그 후 오디오 프로세서(400)에 의해 제공되는 임의의 잡음 억제가 잡음 억제기(406)에 의해 신호에 대해 수행되고, 결과적인 신호는 호흡 신호 분석 모듈(410)에 전달된다.
그 후, 동작(808)에서, 동작(806)에서 빔포머(402)로부터 수신된 빔포밍된 오디오 신호에 대해 잡음(존재할 경우) 억제가 잡음 억제기(406)에 의해 수행된다.
그 후 호흡 신호 분석 모듈(410)은 동작(810)에서 결과적인 신호로부터 호흡 파라미터들 또는 특성들을 결정하거나 생성한다. 앞서 논의된 바와 같이, 호흡 파라미터들은 사용자의 호흡을 특징짓고, 호흡률 또는 기간, 숨을 내쉼 대 숨을 들이마심을 식별하기 위한 피크 진폭 값들, 숨을 들이마심 대 숨을 내쉼의 주파수 특성들, 호흡률 또는 기간의 변동 등을 포함할 수 있다. 호흡 파라미터들은 또한 가속도계 신호 프로세서(412)로부터 수신된 신호로부터 도출될 수 있다.
동작(812)에서, 동작(810)에서 결정된 호흡 파라미터들은 다양한 메트릭들과 비교된다. 메트릭들은, 예를 들어, 요망된 호흡률, 바람직하지 않은 호흡률들(예를 들어, 호흡률이 특정 임계값을 초과), 주파수 특성들(예를 들어, 쌕쌕거림(wheezing)을 나타내는 고주파수 성분의 존재), 또는 상술한 특성들 중 임의의 것일 수 있다. 비교는 연령, 성별, 및 등등에 의해 리파인(refine)되거나 리파인되지 않을 수 있는 표준/평균/기준 메트릭들에 대한 것일 수 있다.
덧붙여, 비교는 특정 사용자에 대해 캡처된 이력 정보에 대한 것일 수 있고, 이것은 비교를 위한 베이스라인을 제공하는데 유익할 수 있다. 예를 들어, 사용자의 호흡의 주파수 특성들이 그 이력 주파수 특성들로부터 변경되었다면, 이는 사용자의 주의를 끌어야 하는 문제의 표시일 수 있다.
동작(814)에서, 메시징 클라이언트(304)는 클라이언트 디바이스(302)에게 호흡 관련 출력을 제공한다. 이것은, 예를 들어, 호흡률와 같은 하나 이상의 기본 파라미터, 또는 그로부터 또는 동작(814)에서 수행된 임의의 비교들의 결과로서 도출된 파라미터들 또는 통지들일 수 있다. 예를 들어, 사용자의 호흡의 주파수 특성들이 일반적인 또는 이력 메트릭과 상이한 경우, 메시징 클라이언트는 청각적 프롬프트 또는 다른 방법을 통해, 예를 들어, 클라이언트 디바이스(302)의 디스플레이 스크린 상에, 적절한 통지를 제공할 수 있다. 또 다른 예에서, 메시징 클라이언트(304)는 사용자의 호흡에 관련한 청각적 또는 시각적 프롬프트들을 제공할 수 있다. 예를 들어, 호흡 신호 분석 모듈(410) 또는 메시징 클라이언트(304)가 사람이 빠르게 호흡하고 있다고 결정한 경우, 더 느리고 깊게 호흡하기 위한 시각적 또는 청각적 프롬프트가 제공될 수 있다. 호흡 신호 분석 모듈(410) 또는 메시징 클라이언트(304)가 사람이 적절하게 느리고 깊게 호흡하고 있다고 결정하는 경우, 사용자에게 긍정적인 피드백을 제공하도록 장려 프롬프트들이 제공될 수 있다.
메시징 클라이언트(304)에 의해 사용자에게 제공되는 출력은 또한 요망된 호흡률에서 변하는 시각적 또는 청각적 출력을 포함할 수 있다. 예를 들어, 확장 및 수축 시각화가 제공될 수 있거나 또는 변하는 오디오 출력이 제공될 수 있다. 대안적으로, 구두 호흡 지시들이 요망된 억양(cadence)에서 제공될 수 있다.
메시징 클라이언트(304)는 또한 동작(816)에서 세션 전체를 통해 호흡 파라미터들 및 이들의 변동으로부터 호흡 점수들을 생성할 수 있다. 예를 들어, 동적 정확도 점수는 사용자의 호흡이 프롬프팅된 또는 요망된 호흡률과 얼마나 가깝게 일치하는지에 기초하여 결정될 수 있다. 누적 점수는 동적 정확도 점수와 메시징 클라이언트(304)가 사용자가 호흡 운동을 하는 데 소비했거나 또는 특정 레벨 또는 목표를 달성했다고 결정하는 총 시간량의 조합에 기초하여 생성될 수 있다. 예를 들어, 메시징 클라이언트는 요망된 또는 프롬프팅된 호흡률 사이의 임계값 차이를 가질 수 있고, 사용자의 호흡률과 프롬프팅된 또는 요망된 호흡률 사이의 차이의 크기가 임계값 미만일 때 메시징 클라이언트(304)는 완화된 호흡 기간으로서 임계값 아래에서 소비된 시간량을 결정할 수 있고 그에 기초하여 호흡 점수를 생성할 수 있다. 한편, 사용자가 임계값을 초과하여 소비하는 시간량은 스트레스 호흡 기간으로서 기록될 수 있다. 그러한 구역들에서 사용자에 의해 소비된 시간량은 매일, 매주, 매월, 매년 총계에 기초하여 메시징 클라이언트(304)에 의해 사용자에게 보고될 수 있다.
동작(818)에서, 메시징 클라이언트(304)는 동적 정확도 점수 및 매일, 매주, 매월, 매년 총계, 및 등등을 포함하여, 호흡 점수 출력들을 클라이언트 디바이스(302)의 디스플레이 상에서 사용자에게 제공할 수 있다. 이는 메시징 클라이언트(304)가 메시징 클라이언트(304)의 사용자 인터페이스에서 "점수 보기" 옵션의 사용자 선택을 수신한 것에 응답한 것일 수 있고, 호흡 점수들은 클라이언트 디바이스(302)의 디스플레이 상에서 텍스트 또는 그래픽 포맷들로 디스플레이될 수 있다.
호흡 점수들의 디스플레이는, 동작(820)에서 사용자에 의해 선택될 때, 공유를 위해 사용자에 의해 선택된 호흡 점수들 중 하나 이상과 함께, 메시징 클라이언트(304)의 사용자 인터페이스에서 기존의 또는 새로운 대화(예를 들어, 채팅 세션)에서 메시지를 생성하는 "점수 공유" 옵션을 포함할 수 있다. 대화는 클라이언트 디바이스(302)의 사용자의 친구들의 리스트로부터 선택된 수신자 또는 수신자들의 그룹과 이뤄질 수 있다. 일부 경우들에서, 친구들의 그룹은 메시징 클라이언트(304) 또는 외부 자원에 의해 포함되거나 이를 통해 액세스되는 호흡 모니터링 기능성을 또한 사용하는 사용자의 친구들이다.
수신자들의 선택 시에, 메시징 클라이언트(304)(또는 외부 자원)는 동작(822)에서 네트워크(310)를 통해 송신되는 메시지에서 선택된 수신자들에게 호흡 점수들을 송신한다. 메시지는 호흡 점수들 중 임의의 것, 예를 들어, 편안한 또는 스트레스를 받은 호흡 기간들의 일일 점수를 포함할 수 있다.
도 8에 예시된 프로세스(800)이, 도시된 동작들 중 다수에 대해, 연속적인 프로세스라는 것을 알 것이다. 예를 들어, 사용자가 호흡 모니터링 방법을 종료하기 위한 입력을 제공하거나 또는 오디오의 경로가 착신 통화로 인해 클라이언트 디바이스(302)에 의해 모노럴 오디오 프로세서(404)로 전환되거나 또는 예를 들어 비디오 캡처를 위한 오디오를 제공하기 위해 바이노럴 오디오 프로세서(408)로 전환되지 않는 한, 동작(806) 내지 동작(814)이 계속될 것이다. 그 후, 추가 동작들이 자동으로 또는 사용자 입력 시에 발생할 수 있다.
도 9는 일부 예들에 따른, 호흡 분석에 사용하기 위한 머신 러닝 모델들의 생성을 예시하는 도식적 표현이다. 아래에 더 상세히 기술될 바와 같이, 일부 예들에서, 머신 러닝 모델이 전술한 호흡 신호 분석 모듈(410) 대신에 또는 이것에 더하여 사용될 수 있다.
하나 이상의 실시예에서, 머신 러닝 모델들(906)은 (예를 들어, 메시징 서버 시스템(110) 상에서 실행되는) 하나 이상의 소프트웨어 모듈에 의해 구현된다. 또 다른 예에서, 머신 러닝 모델들(906)은 커스텀 하드웨어(예를 들어, 하나 이상의 코프로세서)에 의해 구현되는 하나 이상의 소프트웨어 모듈에 의해 구현된다. 그러나, 묘사된 컴포넌트들 모두가 모든 구현들에서 사용될 수 있는 것은 아니며, 하나 이상의 실시예는 도면에 도시된 것들 이외의 추가적인 또는 상이한 컴포넌트들을 포함할 수 있다. 컴포넌트들의 배열 및 타입의 변동들이 본 명세서에서 제시되는 바와 같은 청구항들의 사상 또는 범위로부터 벗어나지 않고서 이루어질 수 있다. 추가적인 컴포넌트들, 상이한 컴포넌트들, 또는 더 적은 컴포넌트들이 제공될 수 있다.
도 9에 도시된 바와 같이, 머신 러닝 모델 생성기(904)는 입력으로서 호흡 분석 훈련 데이터(902)를 수신한다. 훈련 데이터(902)는, 예를 들어, 호흡들 사이의 지속시간(즉, 기간), 호흡 깊이, 주파수 특성들, 및 등등을 포함할 수 있는, 호흡 신호 분석 모듈(410)에 의해 생성된 것과 같은 호흡 관련 데이터의 상이한 세트들을 포함할 것이다. 호흡 훈련 데이터는 또한 호흡의 성질 및 임의의 연관된 감정적 또는 물리적 상태에 관한 정보, 예를 들어, 사람이 과호흡 중이고, 천식적으로 호흡 중이고, 스트레스를 받거나 분노한 것 등인지를 포함할 것이다. 사람의 나이, 성별, 신체 유형, 호흡과 관련된 급성 또는 만성 의학적 문제들의 존재, 피트니스 레벨(fitness level) 등과 같은 인구통계 정보가 또한 전형적으로 포함될 것이다. 훈련 데이터에 기초하여, 머신 러닝 모델 생성기(904)는 호흡 신호(602)가 그로부터 캡처되고 있는 헤드 웨어러블 장치(100)의 사용자의 호흡 특성들 및 인구통계 정보에 기초하여 호흡의 성질 및 임의의 연관된 감정적 상태들을 인식하기 위해 머신 러닝 모델들(906)을 생성하고 훈련시킨다.
머신 러닝 모델 생성기(904)는 훈련 데이터(902)를 입력으로서 사용하여 머신 러닝 모델들(906)을 생성하도록 구성된다. 예를 들어, 머신 러닝 모델 생성기(904)는 훈련 데이터(902)에 포함된 호흡 데이터 세트들에 기초하여 머신 러닝 모델들(906)을 훈련, 테스트 및/또는 다른 방식으로 튜닝하도록 구성된다. 머신 러닝 모델 생성기(904)에 의해 이용될 수 있거나 또는 머신 러닝 모델 생성기(904)를 훈련 및/또는 테스트할 수 있는 알고리즘들의 예들은 선형 회귀, 부스팅된 트리들, 다층 퍼셉트론(multi-layer perceptron), 및/또는 랜덤 포레스트 알고리즘(random forest algorithm)들을 포함하지만, 이에 제한되지는 않는다.
도 10은 호흡 분석을 수행하기 위해, 도 9에 기술된 바와 같이 생성된 머신 러닝 모델들의 사용을 예시하는 도식적 표현이다. 도 10에서, 캡처된 호흡 및 사용자 데이터(1004)는 머신 러닝 모델들(906) 중 하나 이상을 포함하는 M-L 기반 호흡 분석 모듈(1002)에 대한 입력으로서 제공된다. 전술한 바와 같이, 일부 예들에서 캡처된 데이터는 호흡 신호 분석 모듈(410)에 의해 생성된 데이터를 포함하며, 이것은 호흡들 간의 지속시간(즉, 기간), 호흡 깊이, 주파수 특성, 및 등등을 포함할 수 있다. 사람의 나이, 성별, 신체 유형, 호흡에 관련된 급성 또는 만성 의학적 문제들의 존재, 피트니스 레벨 등과 같은 사용자에 관한 인구통계 정보를 포함하는 사용자 데이터는 헤드 웨어러블 장치(100), 클라이언트 디바이스(302)에서 또는 메시징 서버 시스템(308)에서 유지되는 사용자 프로필로부터 제공된다. 호흡 및 사용자 데이터(1004)에 기초하여, 호흡 신호 M-L 기반 호흡 분석 모듈(1002)은 사람의 호흡의 성질뿐만 아니라 임의의 연관된 감정적 상태를 나타내는 결과들(1006)을 제공한다.
이전과 같이, 메시징 클라이언트(304)는 사람의 호흡은 물론이고 임의의 연관된 감정적 상태의 평가뿐만 아니라 호흡률과 같은 더 기본적인 파라미터들, 또는 그로부터 도출된 파라미터들 또는 통지들을 포함하거나 또는 현재 및 이전 데이터 간에 수행된 임의의 비교들의 결과로서의 호흡 관련 분석 결과들(1006)을 클라이언트 디바이스(302) 상의 또는 그에 의한 통지를 통해 사용자에게 제공할 수 있다. 메시징 클라이언트(304)에 의해 제공되는 통지는 사용자로부터 피드백을 요구할 수 있다. 메시징 클라이언트(304) 또는 메시징 서버 시스템(308)은, 머신 러닝 모델들(906)의 연속적/업데이트된 훈련을 위해, 사용자의 피드백 및 호흡 데이터를 긍정 및/또는 부정 피드백으로서 머신 러닝 모델 생성기(904)에 제공할 수 있다. 하나 이상의 실시예에서, 머신 러닝 모델 머신 러닝 모델들(906)이 크라우드-소싱된 방식으로 연속적으로 훈련되도록, 긍정 및/또는 부정 피드백이 메시징 서버 시스템(110)의 다수의 사용자에 걸쳐 제공될 수 있다. 사용자의 수정 및 긍정/부정 피드백은 사용자 프라이버시를 보존하기 위해 익명의 암호화된 방식으로 메시징 서버 시스템(110)에 제공된다.
도 11은 일부 예들에 따른 헤드 웨어러블 장치(100)와 함께 사용하기 위한 오디오 프로세서(1100)의 블록도를 도시한다. 오디오 프로세서(1100)는 헤드 웨어러블 장치(100)에서 또는 클라이언트 디바이스(302)와 같은 연관된 컴퓨팅 디바이스에서 구현될 수 있다. 클라이언트 디바이스(302)의 일 실시예는 도 13을 참조하여 아래에 더 상세히 논의되는 머신(1300)이다. 도 4의 오디오 프로세서(400)에서와 같이, 오디오 프로세서(1100)는 일 예에서 빔포머(402), 모노럴 오디오 프로세서(404), 바이노럴 오디오 프로세서(408), 및 잡음 억제기(406)를 포함하고, 이들은 도 4를 참조하여 전술한 바와 같이 기능한다.
오디오 프로세서(1100)는 도 10을 참조하여 전술한 바와 같이 기능하는 M-L 기반 호흡 분석 모듈(1002)을 포함한다. M-L 기반 호흡 분석 모듈(1002)은, 호흡들 간의 지속시간(즉, 기간), 호흡 깊이, 주파수 특성들 등을 포함할 수 있는, 호흡 신호 분석 모듈(410)에 의해 생성된 데이터를 수신한다. 사람의 나이, 성별, 신체 유형, 호흡에 관련된 급성 또는 만성 의학적 문제들의 존재, 피트니스 레벨 등과 같은 사용자에 관한 인구통계 정보를 포함하는 사용자 데이터(1102)는 헤드 웨어러블 장치(100), 클라이언트 디바이스(302)에서 또는 메시징 서버 시스템(308)에서 유지되는 사용자 프로필로부터 제공된다.
오디오 프로세서(400)에서와 같이, 오디오 프로세서(1100)는 컨텍스트에 좌우되어 사용자 입력에 의존하여 또는 사용자 디바이스에 의해 자동으로 상이한 모드들 사이에서 스위칭할 수 있다. 마이크로폰들로부터의 오디오를 처리하기 위한 3개의 신호 경로가 도 11에 도시되어 있지만, 오디오 프로세서(1100)는 또한 요구된 처리를 제공하기 위해 단일 적응적 오디오 경로로서 구현될 수 있다는 것이 또한 이해될 것이다. 덧붙여, 바이노럴 구현에서와 같이, 하나를 초과하는 공간적 로케이션에서 신호들의 향상을 제공하기 위해, 하나를 초과하는 빔포머(402)가 오디오 프로세서(1100)에 포함될 수 있다.
모노럴 오디오 프로세서(404), M-L 기반 호흡 분석 모듈(1002), 및 바이노럴 오디오 프로세서(408)의 출력들은 메시징 클라이언트(304) 또는 애플리케이션(306)으로의 제공을 위해 데이터 링크(328)를 통해 (오디오 프로세서(1100)가 클라이언트 디바이스(302)에서 구체화되지 않는 경우) 클라이언트 디바이스(302)에 제공되거나, 또는 오디오 프로세서(1100)가 클라이언트 디바이스(302)에서 구체화되는 경우 메시징 클라이언트(304) 또는 애플리케이션(306)에 제공된다. 또한, 오디오 프로세서(1100)의 다양한 기능들 또는 모듈들이 헤드 웨어러블 장치(100)와 클라이언트 디바이스(302) 사이에 분산될 수 있음을 알 것이다. 메시징 클라이언트(304) 또는 메시징 서버 시스템(308)은 또한 전술한 바와 같이 머신 러닝 모델들(906)의 연속/업데이트된 훈련을 위해, 사용자의 피드백 및 호흡 데이터를 긍정 및/또는 부정 피드백으로서 머신 러닝 모델 생성기(904)에 제공할 수 있다.
도 12는 본 개시내용의 다양한 양태들에 따른 도 1의 헤드 웨어러블 장치(100)를 이용하는 호흡 모니터링 프로세스(1200)의 예시적인 흐름도이다. 흐름도가 동작들을 순차적 프로세스로서 기술할 수 있지만, 동작들 중 다수가 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수 있다. 프로세스는 그것의 동작들이 완료될 때 종료된다. 프로세스는 방법, 절차 등에 대응할 수 있다. 방법의 단계들은 전체적으로 또는 부분적으로 수행될 수도 있고, 다른 방법들에서의 단계들의 일부 또는 전부와 연계하여 수행될 수도 있고, 본 명세서에서 설명된 시스템들 중의 임의의 것과 같은 임의의 수의 상이한 시스템들에 의해 수행될 수도 있다. 프로세스(1200)는 또한 도 1의 헤드 웨어러블 장치(100)에 포함된 프로세서에 의해 또는 클라이언트 디바이스(302)에 포함된 프로세서에 의해 수행될 수 있다.
프로세스(1200)는 동작(1202)에서 헤드 웨어러블 장치(100) 또는 클라이언트 디바이스(302)가 호흡 모니터링 및 분석 모드에서 동작을 시작하라는 사용자 입력을 수신하는 것으로 시작한다. 사용자 입력은, 예를 들어, 헤드 웨어러블 장치(100) 또는 클라이언트 디바이스(302) 상의 버튼 누름들 또는 터치 입력, 음성 커맨드들, 및 등등에 의해 제공될 수 있다. 일 실시예에서, 호흡 모니터링 모드는 메시징 클라이언트(304) 또는 클라이언트 디바이스(302)에서 실행 중인 애플리케이션(306)에서 선택사항으로서 제공된다. 단지 명료성을 위해, 프로세스(1200)은 헤드 웨어러블 장치(100)와 연계하여 클라이언트 디바이스(302) 상의 메시징 클라이언트(304)에서 구현되는 호흡 모니터링 및 분석과 관련하여 설명될 것이다.
사용자 입력의 수신 시에, 동작(1204)에서, 메시징 클라이언트(304)는 오디오 프로세서(1100)를 인에이블시키고(아직 인에이블되지 않은 경우), 도 11의 호흡 신호 분석 모듈(410)을 포함하는 경로로의 오디오 프로세서(400)에서의 오디오 처리 경로를 선택한다. 빔포머(402)는 마이크로폰들(502a 내지 502e)에 의해 캡처된 신호들에 대한 이득들 및 지연들이 헤드 웨어러블 장치(100)의 착용자의 코 및 입을 향하는 오디오 빔포밍을 제공하도록 설정된다. 메시징 클라이언트는 또한, 마이크로폰(502e/110_5)과 같은, 모노럴 또는 바이노럴 모드들과 비교해 추가적인 또는 상이한 마이크로폰들을 선택하거나 인에이블할 수 있다.
그 후, 오디오 신호들이 마이크로폰들(502a 내지 502e)로부터 수신되고 동작(1206)에서 빔포머(402)에 의해 처리되어 사용자의 입과 코로부터 발산되는 사운드들이 강화되는 출력 신호를 생성한다. 그 후 오디오 프로세서(400)에 의해 제공되는 임의의 잡음 억제가 잡음 억제기(406)에 의해 신호에 대해 수행되고, 결과적인 신호는 호흡 신호 분석 모듈(410)에 전달된다.
그 후, 동작(1208)에서, 동작(1206)에서 빔포머(402)로부터 수신된 빔포밍된 오디오 신호에 대해 잡음(존재할 경우) 억제가 잡음 억제기(406)에 의해 수행된다.
그 후 호흡 신호 분석 모듈(410)은 동작(1210)에서 결과적인 신호로부터 호흡 파라미터들 또는 특성들을 결정하거나 생성한다. 앞서 논의된 바와 같이, 호흡 파라미터들은 사용자의 호흡을 특징짓고, 호흡률 또는 기간, 숨을 내쉼 대 숨을 들이마심을 식별하기 위한 피크 진폭 값들, 숨을 들이마심 대 숨을 내쉼의 주파수 특성들, 호흡률 또는 기간의 변동 등을 포함할 수 있다. 호흡 파라미터들은 또한 가속도계 신호 프로세서(412)로부터 수신된 신호로부터 도출될 수 있다.
동작(1212)에서, 동작(1210)에서 결정된 호흡 파라미터들은, 인구통계 정보와 같은 사용자 데이터(1102)와 함께, 머신 러닝 모델들(906)을 사용하여 M-L 기반 호흡 분석 모듈(1002)에 의해 처리되어, 예를 들어, 사람이 과호흡 중이고, 천식적으로 호흡 중이고, 스트레스를 받거나 분노한 것 등의 경우, 호흡의 성질 및 임의의 연관된 감정적 또는 물리적 상태의 평가를 결정한다.
도 8의 프로세스(800)에 대해서는, 다양한 호흡 메트릭들이 또한 (1212)에서 결정될 수 있다. 메트릭들은, 예를 들어, 요망된 호흡률, 바람직하지 않은 호흡률들(예를 들어, 호흡률이 특정 임계값을 초과), 주파수 특성들(예를 들어, 쌕쌕거림(wheezing)을 나타내는 고주파수 성분의 존재), 또는 상술한 특성들 중 임의의 것일 수 있다. 실제 호흡 메트릭과 요망된 호흡 메트릭 간의 비교는 연령, 성별 등에 의해 리파인되거나 리파인되지 않을 수 있는 표준/평균/기준 메트릭들에 대한 것일 수 있다. 또한, 비교는 특정 사용자에 대해 캡처된 이력 정보에 대한 것일 수 있으며, 이것은 비교를 위한 베이스라인을 제공하는 데 유리할 수 있다. 예를 들어, 사용자의 호흡의 주파수 특성들이 그 이력 주파수 특성들로부터 변경되었다면, 이는 사용자의 주의를 끌어야 하는 문제의 표시일 수 있다.
동작(1214)에서, 메시징 클라이언트(304)는 클라이언트 디바이스(302)에 호흡 관련 출력을 제공한다. 이것은 예를 들어, 호흡의 성질 및 M-L 기반 호흡 분석 모듈(1002)에 의해 결정되는 임의의 연관된 감정적 또는 물리적 상태일 수 있다. 덧붙여, 도 8을 참조하여 전술한 바와 같이, 호흡률와 같은 하나 이상의 기본 파라미터, 또는 그로부터 또는 동작(1212)에서 수행된 임의의 비교의 결과로서 도출된 파라미터들 또는 통지들이 머신 러닝 도출된 출력과 함께 제공될 수 있다. 더욱이, 이력 정보가 또한 제공될 수 있다.
동작(1216)에서, 메시징 클라이언트(304)는, 특히 머신 러닝 모델들(906)을 사용하여 M-L 기반 호흡 분석 모듈(1002)에 의해 결정된 바와 같은 호흡의 성질 및 임의의 연관된 감정적 또는 물리적 상태에 대한 사용자 피드백을 수신한다. 예를 들어, 메시징 클라이언트는 "당신이 [감정적 상태]에 있는 것처럼 보인다. 옳은가요?"라는 프롬프트를 디스플레이할 수 있다. 메시징 클라이언트가 긍정 응답을 수신하는 경우, 호흡 운동 또는 다른 팁(tip)이 감정적 상태를 돕기 위해 제공될 수 있다. 응답이 부정적인 경우, 메시징 클라이언트(304)는 사용자로부터 그들의 호흡의 성질, 그들의 감정적 상태 또는 그들의 물리적 상태에 대한 피드백을 유도하기 위한 프롬프트들을 제공한다. 예를 들어, "당신이 가지고 있거나 당신이 그런 상태에 있다(다음 중 하나 이상을 선택하세요): 공황 발작, 천식 발작, 분노, 전복, 흥분..." 및 등등.
동작(1218)에서, 사용자의 피드백 및 호흡 데이터는 머신 러닝 모델들(906)의 연속/업데이트된 훈련을 위해, 긍정 및/또는 부정 피드백으로서 머신 러닝 모델 생성기(904)에 제공된다.
도 12에 예시된 프로세스(1200)가, 도시된 동작들 중 다수에 대해, 연속적인 프로세스라는 것을 알 것이다. 예를 들어, 사용자가 호흡 모니터링 방법을 종료하기 위한 입력을 제공하거나 또는 오디오의 경로가 착신 통화로 인해 클라이언트 디바이스(302)에 의해 모노럴 오디오 프로세서(404)로 전환되거나 또는 예를 들어 비디오 캡처를 위한 오디오를 제공하기 위해 바이노럴 오디오 프로세서(408)로 전환되지 않는 한, 동작(1206) 내지 동작(1214)이 계속될 것이다. 그 후, 추가 동작들이 자동으로 또는 사용자 입력 시에 발생할 수 있다.
도 13은 머신(1300)으로 하여금 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하게 야기하기 위한 명령어들(1310)(예를 들어, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱, 또는 다른 실행가능 코드)이 실행될 수 있는 머신(1300)의 도식적 표현이다. 예를 들어, 명령어들(1310)은 머신(1300)으로 하여금 본 명세서에서 설명된 방법들 중 임의의 하나 이상을 실행하게 야기할 수 있다. 명령어들(1310)은, 일반적인 비프로그래밍된 머신(1300)을, 설명되고 예시된 기능들을 설명된 방식으로 완수하도록 프로그래밍된 특정한 머신(1300)으로 변환한다. 머신(1300)은 독립형 디바이스로서 동작할 수 있거나 다른 머신들에 결합(예를 들어, 네트워킹)될 수 있다. 네트워킹된 배치에서, 머신(1300)은 서버-클라이언트 네트워크 환경에서 서버 머신 또는 클라이언트 머신의 자격으로, 또는 피어-투-피어(또는 분산형) 네트워크 환경에서 피어 머신으로서 동작할 수 있다. 머신(1300)은, 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(PC), 태블릿 컴퓨터, 랩톱 컴퓨터, 넷북, 셋탑 박스(STB), PDA(personal digital assistant), 엔터테인먼트 미디어 시스템, 셀룰러 전화, 스마트폰, 모바일 디바이스, 웨어러블 디바이스(예를 들어, 스마트 시계), 스마트 홈 디바이스(예를 들어, 스마트 어플라이언스), 기타 스마트 디바이스, 웹 어플라이언스, 네트워크 라우터, 네트워크 스위치, 네트워크 브릿지, 또는 머신(1300)에 의해 취해질 동작들을 특정하는 명령어(1310)들을 순차적으로 또는 기타의 방식으로 실행할 수 있는 임의의 머신을 포함할 수 있지만, 이것으로만 제한되는 것은 아니다. 또한, 단일 머신(1300)만이 예시되어 있지만, "머신"이라는 용어는 또한 본 명세서에서 논의된 방법론들 중 임의의 하나 이상을 수행하기 위해 명령어들(1310)을 개별적으로 또는 공동으로 실행하는 머신들의 컬렉션을 포함하는 것으로 간주되어야 한다. 머신(1300)은, 예를 들어, 클라이언트 디바이스(302) 또는 메시징 서버 시스템(308)의 일부를 형성하는 소정 수의 서버 디바이스 중 임의의 하나를 포함할 수 있다. 일부 예들에서, 머신(1300)은 또한 클라이언트 및 서버 시스템들 둘 다를 포함할 수 있는데, 특정 방법 또는 알고리즘의 특정 동작들은 서버 측에서 수행되고 특정 방법 또는 알고리즘의 특정 동작들은 클라이언트 측에서 수행된다.
머신(1300)은 버스(1340)를 통해 서로 통신하도록 구성될 수 있는 프로세서들(1304), 메모리(1306), 및 입력/출력 I/O 컴포넌트들(1302)을 포함할 수 있다. 예에서, 프로세서(1304)(예를 들어, CPU(Central Processing Unit), RISC(Reduced Instruction Set Computing) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, GPU(Graphics Processing Unit), DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit), RFIC(Radio-Frequency Integrated Circuit), 또 다른 프로세서, 또는 이들의 임의의 적절한 조합)는, 예를 들어, 명령어들(1310)을 실행하는 프로세서(1308) 및 프로세서(1312)를 포함할 수 있다. "프로세서"라는 용어는, 명령어들을 동시에 실행할 수 있는 2개 이상의 독립적 프로세서(때때로 "코어들"로서 지칭됨)를 포함할 수 있는 멀티-코어 프로세서를 포함하도록 의도된다. 도 13은 다수의 프로세서(1304)를 도시하지만, 머신(1300)은 단일 코어를 갖는 단일 프로세서, 다수 코어를 갖는 단일 프로세서(예를 들어, 멀티-코어 프로세서), 단일 코어를 갖는 다수 프로세서, 다수 코어를 갖는 다수 프로세서, 또는 이들의 임의의 조합을 포함할 수 있다.
메모리(1306)는 메인 메모리(1314), 정적 메모리(1316), 및 저장 유닛(1318)을 포함하며, 이들은 버스(1340)를 통해 프로세서들(1304)에 액세스 가능하다. 메인 메모리(1306), 정적 메모리(1316), 및 저장 유닛(1318)은 본 명세서에 설명된 방법론들 또는 기능들 중 임의의 하나 이상을 구체화하는 명령어들(1310)을 저장한다. 명령어들(1310)은 또한, 머신(1300)에 의한 그 실행 동안에, 완전히 또는 부분적으로, 메인 메모리(1314) 내에, 정적 메모리(1316) 내에, 저장 유닛(1318) 내의 머신 판독가능 매체(1320) 내에, 프로세서들(1304) 중 적어도 하나 내에(예를 들어, 프로세서의 캐시 메모리 내에), 또는 이들의 임의의 적절한 조합으로 존재할 수 있다.
I/O 컴포넌트들(1302)은 입력을 수신하고, 출력을 제공하고, 출력을 산출하고, 정보를 송신하고, 정보를 교환하고, 측정들을 캡처하는 등을 위한 매우 다양한 컴포넌트들을 포함할 수 있다. 특정 머신에 포함되는 특정 I/O 컴포넌트들(1302)은 머신의 유형에 의존할 것이다. 예를 들어, 모바일 전화와 같은 휴대용 머신은 터치 입력 디바이스 또는 기타의 이러한 입력 메커니즘을 포함할 수 있는 반면, 헤드리스 서버 머신(headless server machine)은 이러한 터치 입력 디바이스를 포함하지 않을 가능성이 높을 것이다. I/O 컴포넌트들(1302)은 도 13에 도시되지 않은 많은 다른 컴포넌트들을 포함할 수 있다는 것을 알 것이다. 다양한 예들에서, I/O 컴포넌트들(1302)은 사용자 출력 컴포넌트들(1326) 및 사용자 입력 컴포넌트들(1328)을 포함할 수 있다. 사용자 출력 컴포넌트들(1326)은, 시각적 컴포넌트들(예를 들어, 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이, 액정 디스플레이(LCD), 프로젝터, 또는 CRT(cathode ray tube)와 같은 디스플레이), 음향 컴포넌트들(예를 들어, 스피커들), 햅틱 컴포넌트들(예를 들어, 진동 모터, 저항 메커니즘들), 기타의 신호 생성기, 및 등등을 포함할 수 있다. 사용자 입력 컴포넌트들(1328)은 영숫자 입력 컴포넌트들(예를 들어, 키보드, 영숫자 입력을 수신하도록 구성된 터치 스크린, 포토-광학 키보드, 또는 다른 영숫자 입력 컴포넌트들), 포인트 기반 입력 컴포넌트들(예를 들어, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서, 또는 또 다른 포인팅 기구), 촉각 입력 컴포넌트들(예를 들어, 물리적 버튼, 터치들 또는 터치 제스처들의 로케이션 및 힘을 제공하는 터치 스크린, 또는 다른 촉각 입력 컴포넌트들), 오디오 입력 컴포넌트들(예를 들어, 마이크로폰), 및 그와 유사한 것을 포함할 수 있다.
추가 예들에서, I/O 컴포넌트들(1302)은, 매우 다양한 다른 컴포넌트들 중에서도, 바이오메트릭 컴포넌트들(1330), 모션 컴포넌트들(1332), 환경 컴포넌트들(1334), 또는 위치 컴포넌트들(1336)을 포함할 수 있다. 예를 들어, 바이오메트릭 컴포넌트(1330)는, 표현(예를 들어, 손 표현, 얼굴 표정, 음성 표현, 신체 제스처, 또는 시선 추적)을 검출하고, 생체신호(예를 들어, 혈압, 심박수, 체온, 땀 또는 뇌파)를 측정하고, 사람을 식별(예를 들어, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파계-기반 식별)하고, 및 그와 유사한 것을 하는 컴포넌트들을 포함한다. 모션 컴포넌트들(1332)은 가속도 센서 컴포넌트들(예를 들어, 가속도계), 중력 센서 컴포넌트들, 회전 센서 컴포넌트들(예를 들어, 자이로스코프)을 포함한다.
환경 컴포넌트(1334)는, 예를 들어, (정지 화상/사진 및 비디오 능력을 갖춘) 하나 이상의 카메라, 조명 센서 컴포넌트(예를 들어, 광도계), 온도 센서 컴포넌트(예를 들어, 주변 온도를 검출하는 하나 이상의 온도계), 습도 센서 컴포넌트, 압력 센서 컴포넌트(예를 들어, 기압계), 음향 센서 컴포넌트(예를 들어, 배경 잡음을 검출하는 하나 이상의 마이크로폰), 근접 센서 컴포넌트(예를 들어, 근처의 물체를 검출하는 적외선 센서), 가스 센서(예를 들어, 안전을 위해 유해성 가스의 농도를 검출하거나 대기 중의 오염 물질을 측정하는 가스 검출 센서), 또는 주변의 물리적 환경에 대응하는 표시, 측정치, 또는 신호를 제공할 수 있는 기타의 컴포넌트들을 포함한다.
카메라들과 관련하여, 클라이언트 디바이스(302)는, 예를 들어, 클라이언트 디바이스(302)의 전방 표면 상의 전방 카메라들 및 클라이언트 디바이스(302)의 후방 표면 상의 후방 카메라들을 포함하는 카메라 시스템을 가질 수 있다. 전방 카메라들은, 예를 들어, 클라이언트 디바이스(302)의 사용자의 정지 이미지들 및 비디오(예를 들어, "셀피들")를 캡처하기 위해 사용될 수 있는데, 이것은 이후 전술된 증강 데이터(예를 들어, 필터들)로 증강될 수 있다. 후방 카메라들은, 예를 들어, 더욱 전통적인 카메라 모드에서 정지 이미지들 및 비디오들을 캡처하기 위하여 이용될 수 있는데, 이 이미지들은 증강 데이터에 의해 유사하게 증강될 수 있다. 전방 및 후방 카메라들에 더하여, 클라이언트 디바이스(302)는 또한 360° 사진들 및 비디오들을 캡처하기 위한 360° 카메라를 포함할 수 있다.
또한, 클라이언트 디바이스(302)의 카메라 시스템은 클라이언트 디바이스(302)의 전면 및 후면 상에 이중 후방 카메라들(예를 들어, 주 카메라뿐만 아니라 깊이 감지 카메라), 또는 심지어 삼중, 사중 또는 오중 후방 카메라 구성들을 포함할 수 있다. 이러한 다수의 카메라 시스템은 예를 들어, 와이드 카메라, 울트라 와이드 카메라, 텔레포토 카메라, 매크로 카메라 및 깊이 센서를 포함할 수 있다.
위치 컴포넌트(1336)는, 로케이션 센서 컴포넌트(예를 들어, GPS 수신기 컴포넌트), 고도 센서 컴포넌트(고도가 그로부터 도출될 수 있는 기압을 검출하는 고도계 또는 기압계), 오리엔테이션 센서 컴포넌트(예를 들어, 자력계), 및 그와 유사한 것을 포함한다.
통신은 매우 다양한 기술들을 사용하여 구현될 수 있다. I/O 컴포넌트(1302)는, 머신(1300)을 각자의 결합 또는 접속을 통해 네트워크(1322) 또는 디바이스(1324)에 결합하도록 동작가능한 통신 컴포넌트(1338)를 추가로 포함한다. 예를 들어, 통신 컴포넌트들(1338)은 네트워크 인터페이스 컴포넌트 또는 네트워크(1322)와 인터페이스하기 위한 또 다른 적합한 디바이스를 포함할 수 있다. 추가 예들에서, 통신 컴포넌트들(1338)은 유선 통신 컴포넌트들, 무선 통신 컴포넌트들, 셀룰러 통신 컴포넌트들, NFC(Near Field Communication) 컴포넌트들, 블루투스® 컴포넌트들(예를 들어, 블루투스® 로우 에너지), Wi-Fi® 컴포넌트들, 및 다른 양상들을 통해 통신을 제공하는 다른 통신 컴포넌트들을 포함할 수 있다. 디바이스들(1324)은 또 다른 머신 또는 임의의 매우 다양한 주변 디바이스들(예를 들어, USB를 통해 결합된 주변 디바이스)일 수 있다.
더욱이, 통신 컴포넌트들(1338)은 식별자들을 검출할 수 있거나 또는 식별자들을 검출하도록 동작가능한 컴포넌트들을 포함할 수 있다. 예를 들어, 통신 컴포넌트들(1338)은 RFID(Radio Frequency Identification) 태그 판독기 컴포넌트들, NFC 스마트 태그 검출 컴포넌트들, 광학 판독기 컴포넌트들(예를 들어, UPC(Universal Product Code) 바 코드와 같은 1차원 바 코드들, QR(Quick Response) 코드, Aztec 코드, Data Matrix, Dataglyph, MaxiCode, PDF417, Ultra Code, UCC RSS-2D 바 코드와 같은 다차원 바 코드들, 및 다른 광학 코드들을 검출하는 광학 센서), 또는 음향 검출 컴포넌트들(예를 들어, 태깅된 오디오 신호들을 식별하는 마이크로폰들)을 포함할 수 있다. 또한, 인터넷 프로토콜(IP) 지오로케이션을 통한 로케이션, Wi-Fi® 신호 삼각측량을 통한 로케이션, 특정한 로케이션을 나타낼 수 있는 NFC 비컨 신호 검출을 통한 로케이션 등의 다양한 정보가 통신 컴포넌트들(1338)을 통해 도출될 수 있다.
다양한 메모리들(예를 들어, 메인 메모리(1314), 정적 메모리(1316), 및 프로세서들(1304)의 메모리) 및 저장 유닛(1318)은 본 명세서에 설명된 방법론들 또는 기능들 중 임의의 하나 이상을 구체화하거나 그에 의해 사용되는 명령어들 및 데이터 구조들(예를 들어, 소프트웨어)의 하나 이상의 세트를 저장할 수 있다. 이 명령어들(예컨대, 명령어들(1310))은, 프로세서들(1304)에 의해 실행될 때, 다양한 동작들로 하여금 개시된 예들을 구현하게 야기한다.
명령어들(1310)은, 네트워크 인터페이스 디바이스(예를 들어, 통신 컴포넌트들(1338)에 포함된 네트워크 인터페이스 컴포넌트)를 통해, 및 수 개의 널리 공지된 전송 프로토콜들 중 임의의 하나(예를 들어, HTTP(hypertext transfer protocol))를 이용하여, 전송 매체를 이용하여, 네트워크(1322)를 통해 송신되거나 수신될 수 있다. 유사하게, 명령어들(1310)은 디바이스들(1324)에 대한 결합(예를 들어, 피어-투-피어 결합)을 통해 송신 매체를 사용하여 송신 또는 수신될 수 있다.
도 14는 본 명세서에 설명된 디바이스들 중 임의의 하나 이상에 설치될 수 있는 소프트웨어 아키텍처(1404)를 예시하는 블록도(1400)이다. 소프트웨어 아키텍처(1404)는 프로세서들(1420), 메모리(1426), 및 I/O 컴포넌트들(1438)을 포함하는 머신(1402)과 같은 하드웨어에 의해 지원된다. 이 예에서, 소프트웨어 아키텍처(1404)는 각각의 계층이 특정 기능성을 제공하는 계층들의 스택으로서 개념화될 수 있다. 소프트웨어 아키텍처(1404)는 운영 체제(1412), 라이브러리들(1410), 프레임워크들(1408), 및 애플리케이션들(1406)과 같은 계층들을 포함한다. 동작상, 애플리케이션(1406)은 소프트웨어 스택을 통해 API 호출(1450)을 기동하고 API 호출(1450)에 응답하여 메시지(1452)를 수신한다.
운영 체제(1412)는 하드웨어 자원들을 관리하고 공통 서비스들을 제공한다. 운영 체제(1412)는, 예를 들어, 커널(1414), 서비스들(1416), 및 드라이버들(1422)을 포함한다. 커널(1414)은 하드웨어와 다른 소프트웨어 계층들 사이의 추상화 계층으로서 작용한다. 예를 들어, 커널(1414)은, 다른 기능성 중에서도, 메모리 관리, 프로세서 관리(예를 들어, 스케줄링), 컴포넌트 관리, 네트워킹, 및 보안 설정을 제공한다. 서비스들(1416)은 다른 소프트웨어 계층들에 대한 다른 공통 서비스들을 제공할 수 있다. 드라이버들(1422)은 그 아래에 있는 하드웨어를 제어하거나 그와 인터페이스하는 것을 담당한다. 예를 들어, 드라이버(1422)는, 디스플레이 드라이버, 카메라 드라이버, 블루투스® 또는 블루투스® 로우 에너지 드라이버, 플래시 메모리 드라이버, 직렬 통신 드라이버(예를 들어, USB 드라이버), WI-FI® 드라이버, 오디오 드라이버, 전력 관리 드라이버 등을 포함할 수 있다.
라이브러리들(1410)은 애플리케이션들(1406)에 의해 사용되는 공통 로우 레벨 인프라스트럭처를 제공한다. 라이브러리들(1410)은, 메모리 할당 기능, 스트링 조작 기능, 수학 기능, 및 그와 유사한 것과 같은 기능들을 제공하는 시스템 라이브러리들(1418)(예를 들어, C 표준 라이브러리)을 포함할 수 있다. 또한, 라이브러리(1410)는, 미디어 라이브러리(예를 들어, MPEG4(Moving Picture Experts Group-4), H.264 또는 AVC(Advanced Video Coding), MP3(Moving Picture Experts Group Layer-3), AAC(Advanced Audio Coding), AMR(Adaptive Multi-Rate) 오디오 코덱, JPEG 또는 JPG(Joint Photographic Experts Group), PNG(Portable Network Graphics) 등의 다양한 미디어 포맷의 프레젠테이션과 조작을 지원하는 라이브러리), 그래픽 라이브러리(예를 들어, 그래픽 콘텐츠를 디스플레이 상에서 2차원(2D) 및 3차원(3D)으로 렌더링하는데 이용되는 OpenGL 프레임워크), 데이터베이스 라이브러리(예를 들어, 다양한 관계형 데이터베이스 기능을 제공하는 SQLite), 웹 라이브러리(예를 들어, 웹 브라우징 기능성을 제공하는 WebKit), 및 그와 유사한 것과 같은 API 라이브러리(1424)를 포함할 수 있다. 라이브러리(1410)는 또한, 많은 다른 API를 애플리케이션(1406)에 제공하는 다양한 다른 라이브러리(1428)를 포함할 수 있다.
프레임워크(1408)는 애플리케이션(1406)에 의해 사용되는 공통 하이 레벨 인프라스트럭처를 제공한다. 예를 들어, 프레임워크(1408)는, 다양한 GUI(graphical user interface) 기능, 하이 레벨 자원 관리, 및 하이 레벨 로케이션 서비스를 제공한다. 프레임워크(1408)는 애플리케이션(1406)에 의해 이용될 수 있는 광범위한 스펙트럼의 다른 API들을 제공할 수 있고, 그 중 일부는 특정한 운영 체제 또는 플랫폼에 특유할 수 있다.
예에서, 애플리케이션들(1406)은 홈 애플리케이션(1436), 연락처 애플리케이션(1430), 브라우저 애플리케이션(1432), 북 리더 애플리케이션(1434), 로케이션 애플리케이션(1442), 미디어 애플리케이션(1444), 메시징 애플리케이션(1446), 게임 애플리케이션(1448), 및 제3자 애플리케이션(1440)과 같은 광범위한 다른 애플리케이션들을 포함할 수 있다. 애플리케이션들(1406)은 프로그램들에서 정의된 기능들을 실행하는 프로그램들이다. 객체 지향형 프로그래밍 언어(예를 들어, Objective-C, Java, 또는 C++) 또는 절차형 프로그래밍 언어(예를 들어, C 또는 어셈블리 언어)와 같은, 다양한 방식으로 구조화된 다양한 프로그래밍 언어가 애플리케이션들(1406) 중 하나 이상을 생성하기 위해 이용될 수 있다. 특정 예에서, 제3자 애플리케이션(1440)(예를 들어, 특정 플랫폼의 벤더 이외의 엔티티에 의한 ANDROID™ 또는 IOS™ SDK(software development kit)를 이용하여 개발된 애플리케이션)은 IOS™, ANDROID™, WINDOWS® Phone, 또는 또 다른 모바일 운영 체제와 같은 모바일 운영 체제 상에서 실행되는 모바일 소프트웨어일 수 있다. 이 예에서, 제3자 애플리케이션(1440)은 본 명세서에 설명된 기능성을 용이하게 하기 위해 운영 체제(1412)에 의해 제공되는 API 호출들(1450)을 기동할 수 있다.
"A, B, 또는 C 중 적어도 하나", "A, B, 및 C 중 적어도 하나", "하나 이상의 A, B, 또는 C", 또는 "A, B, 및 C 중 하나 이상"과 유사한 문구가 사용되는 경우, 이 문구는 실시예에서 A만이 존재할 수 있다는 것, 실시예에서 B만이 존재할 수 있다는 것, 실시예에서 C만이 존재할 수 있다는 것, 또는 단일 실시예에서 요소들 A, B, 및 C의 임의의 조합이 존재할 수 있다는 것; 예를 들어, A와 B, A와 C, B와 C, 또는 A와 B와 C을 의미하는 것으로 해석되도록 의도된다.
본 개시내용의 범위를 벗어나지 않고서 개시된 실시예들에 대한 변경들 및 수정들이 이루어질 수 있다. 이들 및 다른 변경들 또는 수정들은 다음의 청구항들에 표현된 바와 같이, 본 개시내용의 범위 내에 포함되는 것으로 의도된다.
용어집
"캐리어 신호"는 머신에 의한 실행을 위한 명령어들을 저장, 인코딩 또는 운반할 수 있는 임의의 무형 매체를 지칭하며, 디지털 또는 아날로그 통신 신호들 또는 그러한 명령어들의 통신을 용이하게 하기 위한 다른 무형 매체를 포함한다. 명령어들은 네트워크 인터페이스 디바이스를 통해 송신 매체를 사용하여 네트워크를 통해 송신 또는 수신될 수 있다.
"클라이언트 디바이스"는 하나 이상의 서버 시스템 또는 다른 클라이언트 디바이스로부터 자원들을 획득하기 위해 통신 네트워크에 인터페이스하는 임의의 머신을 지칭한다. 클라이언트 디바이스는, 모바일 폰, 데스크톱 컴퓨터, 랩톱, PDA들(portable digital assistants), 스마트폰들, 태블릿들, 울트라북들, 넷북들, 랩톱들, 멀티-프로세서 시스템들, 마이크로프로세서-기반 또는 프로그램가능 가전 제품들, 게임 콘솔들, 셋톱 박스들, 또는 사용자가 네트워크에 액세스하기 위해 사용할 수 있는 임의의 다른 통신 디바이스일 수 있지만, 이것들에만 제한되는 것은 아니다.
"통신 네트워크"는 애드혹 네트워크, 인트라넷, 엑스트라넷, VPN(virtual private network), LAN(local area network), 무선 LAN(WLAN), WAN(wide area network), 무선 WAN(WWAN), MAN(metropolitan area network), 인터넷, 인터넷의 일부, PSTN(Public Switched Telephone Network)의 일부, POTS(plain old telephone service) 네트워크, 셀룰러 전화 네트워크, 무선 네트워크, Wi-Fi® 네트워크, 또 다른 유형의 네트워크, 또는 2개 이상의 이러한 네트워크들의 조합일 수 있는 네트워크의 하나 이상의 부분을 지칭한다. 예를 들어, 네트워크 또는 네트워크의 일부는 무선 또는 셀룰러 네트워크를 포함할 수 있고, 결합은 CDMA(Code Division Multiple Access) 접속, GSM(Global System for Mobile communications) 접속, 또는 다른 유형들의 셀룰러 또는 무선 결합을 포함할 수 있다. 이 예에서, 결합은 1xRTT(Single Carrier Radio Transmission Technology), EVDO(Evolution-Data Optimized) 기술, GPRS(General Packet Radio Service) 기술, EDGE(Enhanced Data rates for GSM Evolution) 기술, 3G를 포함하는 3GPP(third Generation Partnership Project), 4G(fourth generation wireless) 네트워크들, UMTS(Universal Mobile Telecommunications System), HSPA(High Speed Packet Access), WiMAX(Worldwide Interoperability for Microwave Access), LTE(Long Term Evolution) 표준, 다양한 표준 설정 조직들에 의해 정의된 다른 것들, 다른 장거리 프로토콜들, 또는 다른 데이터 전송 기술과 같은, 다양한 유형의 데이터 전송 기술들 중 임의의 것을 구현할 수 있다.
"컴포넌트"는 함수 또는 서브루틴 호출들, 분기 포인트들, API들, 또는 특정 처리 또는 제어 기능들의 파티셔닝 또는 모듈화를 제공하는 다른 기술들에 의해 정의된 경계들을 갖는 디바이스, 물리적 엔티티, 또는 로직을 지칭한다. 컴포넌트들은 그들의 인터페이스들을 통해 다른 컴포넌트들과 결합되어 머신 프로세스를 완수할 수 있다. 컴포넌트는 다른 컴포넌트들 및 보통은 관련 기능들 중 특정 기능을 수행하는 프로그램의 일부와 함께 사용하도록 설계된 패키징된 기능 하드웨어 유닛일 수 있다. 컴포넌트들은 소프트웨어 컴포넌트들(예컨대, 머신 판독가능 매체 상에 구체화된 코드) 또는 하드웨어 컴포넌트들 중 어느 하나를 구성할 수 있다. "하드웨어 컴포넌트"는 특정 동작들을 수행할 수 있는 유형(tangible)의 유닛이고, 특정 물리적 방식으로 구성되거나 배열될 수 있다. 다양한 예들에서, 하나 이상의 컴퓨터 시스템(예를 들어, 독립형 컴퓨터 시스템, 클라이언트 컴퓨터 시스템, 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 컴포넌트(예를 들어, 프로세서 또는 프로세서들의 그룹)는 본 명세서에 설명된 바와 같은 특정 동작들을 수행하도록 동작하는 하드웨어 컴포넌트로서 소프트웨어(예를 들어, 애플리케이션 또는 애플리케이션 부분)에 의해 구성될 수 있다. 하드웨어 컴포넌트는 또한, 기계적으로, 전자적으로, 또는 이들의 임의의 적절한 조합으로 구현될 수 있다. 예를 들어, 하드웨어 컴포넌트는 특정 동작들을 수행하도록 영구적으로 구성되는 전용 회로 또는 로직을 포함할 수 있다. 하드웨어 컴포넌트는 FPGA(field-programmable gate array) 또는 ASIC(application specific integrated circuit)과 같은 특수 목적 프로세서일 수 있다. 하드웨어 컴포넌트는 또한 특정 동작들을 수행하기 위해 소프트웨어에 의해 일시적으로 구성되는 프로그램가능 로직 또는 회로를 포함할 수 있다. 예를 들어, 하드웨어 컴포넌트는 범용 프로세서 또는 다른 프로그램가능 프로세서에 의해 실행되는 소프트웨어를 포함할 수 있다. 일단 이러한 소프트웨어에 의해 구성되면, 하드웨어 컴포넌트들은 구성된 기능들을 수행하도록 고유하게 맞춤화된 특정 머신들(또는 머신의 특정 컴포넌트들)이 되고 더 이상 범용 프로세서들이 아니다. 하드웨어 컴포넌트를 기계적으로, 전용의 영구적으로 구성된 회로에, 또는 일시적으로 구성된 회로(예컨대, 소프트웨어에 의해 구성됨)에 구현하기로 하는 결정이 비용 및 시간 고려사항들에 의해 주도될 수 있다는 것을 알 것이다. 따라서, "하드웨어 컴포넌트"(또는 "하드웨어-구현된 컴포넌트")라는 구문은, 특정 방식으로 동작하거나 본 명세서에서 설명된 특정 동작들을 수행하도록 물리적으로 구성되거나, 영구적으로 구성되거나(예를 들어, 하드와이어드), 또는 일시적으로 구성된(예를 들어, 프로그래밍된) 유형 엔티티를 포괄하는 것으로 이해되어야 한다. 하드웨어 컴포넌트들이 일시적으로 구성되는(예를 들어, 프로그래밍되는) 예들을 고려하면, 하드웨어 컴포넌트들 각각은 임의의 하나의 시간 인스턴스에서 구성되거나 인스턴스화될 필요는 없다. 예를 들어, 하드웨어 컴포넌트가 특수 목적 프로세서가 되도록 소프트웨어에 의해 구성된 범용 프로세서를 포함하는 경우, 범용 프로세서는 상이한 시간들에서 (예를 들어, 상이한 하드웨어 컴포넌트들을 포함하는) 각자 상이한 특수 목적 프로세서들로서 구성될 수 있다. 소프트웨어는 그에 따라, 예를 들어, 하나의 시간 인스턴스에서는 특정 하드웨어 컴포넌트를 구성하고 상이한 시간 인스턴스에서는 상이한 하드웨어 컴포넌트를 구성하도록 특정의 프로세서 또는 프로세서들을 구성한다. 하드웨어 컴포넌트들은 다른 하드웨어 컴포넌트들에 정보를 제공하고, 그로부터 정보를 수신할 수 있다. 따라서, 설명된 하드웨어 컴포넌트들은 통신가능하게 결합되는 것으로 간주될 수 있다. 다수의 하드웨어 컴포넌트가 동시에 존재하는 경우, 하드웨어 컴포넌트들 중 2개 이상 사이의 또는 그들 중의 (예를 들어, 적절한 회로들 및 버스들을 통한) 신호 송신을 통해 통신이 달성될 수 있다. 다수의 하드웨어 컴포넌트가 상이한 시간들에서 구성되거나 인스턴스화되는 예들에서, 이러한 하드웨어 컴포넌트들 사이의 통신은, 예를 들어, 다수의 하드웨어 컴포넌트가 액세스할 수 있는 메모리 구조들에서의 정보의 저장 및 검색을 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 컴포넌트는 동작을 수행하고 그 동작의 출력을 이것이 통신가능하게 결합되는 메모리 디바이스에 저장할 수 있다. 그 후, 추가의 하드웨어 컴포넌트는, 나중에, 메모리 디바이스에 액세스하여 저장된 출력을 검색 및 처리할 수 있다. 하드웨어 컴포넌트들은 또한 입력 또는 출력 디바이스들과의 통신을 개시할 수 있고, 자원(예컨대, 정보의 컬렉션)에 대해 동작할 수 있다. 본 명세서에 설명된 예시적인 방법들의 다양한 동작들은, 관련 동작들을 수행하도록 (예를 들어, 소프트웨어에 의해) 일시적으로 구성되거나 또는 영구적으로 구성되는 하나 이상의 프로세서에 의해 적어도 부분적으로 수행될 수 있다. 일시적으로 구성되든 영구적으로 구성되든 간에, 이러한 프로세서들은 본 명세서에 설명된 하나 이상의 동작 또는 기능을 수행하도록 동작하는 프로세서 구현 컴포넌트들을 구성할 수 있다. 본 명세서에서 사용될 때, "프로세서 구현 컴포넌트"는 하나 이상의 프로세서를 이용하여 구현된 하드웨어 컴포넌트를 지칭한다. 유사하게, 본 명세서에 설명된 방법들은, 특정 프로세서 또는 프로세서들이 하드웨어의 예가 되면서, 적어도 부분적으로 프로세서 구현될 수 있다. 예를 들어, 방법의 동작들 중 적어도 일부는 하나 이상의 프로세서(1304) 또는 프로세서 구현 컴포넌트에 의해 수행될 수 있다. 더욱이, 하나 이상의 프로세서는 또한 "클라우드 컴퓨팅" 환경에서 또는 "SaaS(software as a service)"로서 관련 동작들의 수행을 지원하도록 동작할 수 있다. 예를 들어, 동작들 중 적어도 일부는, (프로세서들을 포함하는 머신의 예로서의) 컴퓨터들의 그룹에 의해 수행될 수 있고, 이들 동작들은 네트워크(예를 들어, 인터넷)를 통해 및 하나 이상의 적절한 인터페이스(예를 들어, API)를 통해 액세스가능하다. 동작들 중 특정 동작의 수행은 단일 머신 내에 상주할 뿐만 아니라 소정 수의 머신에 걸쳐 배치되는 프로세서들 사이에 분산될 수 있다. 일부 예들에서, 프로세서들 또는 프로세서 구현 컴포넌트들은 단일의 지리적 로케이션에(예컨대, 가정 환경, 사무실 환경, 또는 서버 팜 내에) 위치될 수 있다. 다른 예들에서, 프로세서들 또는 프로세서 구현 컴포넌트들은 소정 수의 지리적 로케이션에 걸쳐 분산될 수 있다.
"컴퓨터 판독가능 저장 매체"는 머신 저장 매체 및 송신 매체 둘 다를 지칭한다. 따라서, 용어들은 저장 디바이스들/매체들 및 반송파들/변조된 데이터 신호들 둘 다를 포함한다. 용어들 "머신 판독가능 매체", "컴퓨터 판독가능 매체" 및 "디바이스 판독가능 매체"는 동일한 것을 의미하고 본 개시내용에서 상호교환가능하게 사용될 수 있다.
"단기적 메시지(ephemeral message)"는 시간 제한된 지속시간 동안 액세스 가능한 메시지를 지칭한다. 단기적 메시지는 텍스트, 이미지, 비디오, 및 그와 유사한 것일 수 있다. 단기적 메시지에 대한 액세스 시간은 메시지 전송자에 의해 설정될 수 있다. 대안적으로, 액세스 시간은 디폴트 설정 또는 수신자에 의해 지정된 설정일 수 있다. 설정 기술에 관계없이, 메시지는 일시적이다.
"머신 저장 매체"는, 실행가능한 명령어, 루틴 및 데이터를 저장하는 단일의 또는 다수의 저장 디바이스 및 매체(예를 들어, 중앙집중형 또는 분산형 데이터베이스, 및 연관된 캐시 및 서버)를 지칭한다. 따라서, 용어는 고체-상태 메모리, 및 프로세서 내부 또는 외부의 메모리를 포함한 광학 및 자기 매체를 포함하지만 이것으로 제한되지 않는 것으로 간주되어야 한다. 머신 저장 매체들, 컴퓨터 저장 매체들, 및 디바이스 저장 매체들의 특정 예들은 예로서, 반도체 메모리 디바이스들, 예컨대, EPROM(erasable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory), FPGA, 및 플래시 메모리 디바이스들을 포함하는 비휘발성 메모리; 내부 하드 디스크 및 이동식 디스크와 같은 자기 디스크; 자기-광학 디스크들; 및 CD-ROM 및 DVD-ROM 디스크들을 포함한다. 용어들 "머신 저장 매체", "디바이스 저장 매체", "컴퓨터 저장 매체"는 동일한 것을 의미하고 본 개시내용에서 상호교환가능하게 사용될 수 있다. 용어들 "머신 저장 매체들", "컴퓨터 저장 매체들", 및 "디바이스 저장 매체들"은 반송파들, 변조된 데이터 신호들, 및 다른 이러한 매체들을 구체적으로 배제한다 - 이들 중 적어도 일부는 용어 "신호 매체" 하에서 커버됨 -.
"비일시적 컴퓨터 판독가능 저장 매체"는 머신에 의한 실행을 위한 명령어들을 저장, 인코딩, 또는 운반할 수 있는 유형의 매체를 지칭한다.
"신호 매체(signal medium)"는 머신에 의한 실행을 위한 명령어들을 저장, 인코딩, 또는 운반할 수 있는 임의의 무형 매체를 지칭하고, 디지털 또는 아날로그 통신 신호들 또는 소프트웨어 또는 데이터의 통신을 용이하게 하는 다른 무형 매체를 포함한다. "신호 매체"라는 용어는 임의의 형태의 변조된 데이터 신호, 반송파 등을 포함하는 것으로 간주되어야 한다. 용어 "변조된 데이터 신호"는 신호 내의 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상이 설정 또는 변경된 신호를 의미한다. 용어들 "송신 매체" 및 "신호 매체"는 동일한 것을 의미하고 본 개시내용에서 상호교환가능하게 사용될 수 있다.

Claims (20)

  1. 사용자의 호흡을 모니터링하는 방법으로서:
    복수의 마이크로폰으로부터 복수의 오디오 신호를 수신하는 단계;
    상기 복수의 오디오 신호를 빔포밍된 오디오 신호가 되도록 빔포밍하는 단계;
    상기 빔포밍된 오디오 신호로부터 관찰된 호흡 관련 파라미터들을 결정하는 단계; 및
    상기 관찰된 호흡 관련 파라미터들의 출력 또는 상기 관찰된 호흡 관련 파라미터들로부터 도출된 출력을 제공하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 관찰된 호흡 관련 파라미터들로부터 호흡 메트릭들을 결정하는 단계 - 상기 출력은 상기 호흡 메트릭들을 포함함 - 를 추가로 포함하는 방법.
  3. 제2항에 있어서, 상기 호흡 메트릭들은 상기 관찰된 호흡 관련 파라미터들을 기준 호흡 관련 파라미터들과 비교함으로써 결정되는 방법.
  4. 제3항에 있어서, 상기 기준 호흡 관련 파라미터들은 상기 사용자에 대한 이력 호흡 관련 파라미터들인 방법.
  5. 제3항에 있어서, 상기 관찰된 호흡 관련 파라미터들은 숨을 들이마심 또는 숨을 내쉼의 주파수 특성들을 포함하는 방법.
  6. 제3항에 있어서,
    상기 호흡 메트릭들로부터 호흡 점수를 도출하는 단계를 추가로 포함하는 방법.
  7. 제6항에 있어서, 상기 호흡 점수는 상기 사용자의 관찰된 호흡이 프롬프팅된 또는 요망된 호흡률과 얼마나 가깝게 일치하는지에 기초한 정확도 점수인 방법.
  8. 제6항에 있어서, 상기 호흡 점수는 상기 사용자의 관찰된 호흡률이 프롬프팅된 또는 요망된 호흡률과 얼마나 가깝게 일치하는지와 관찰된 시간량의 조합에 기초한 정확도 점수인 방법.
  9. 제1항에 있어서, 상기 호흡 관련 파라미터들을 결정하는 단계는 머신 러닝 모델을 사용하여 상기 호흡의 성질 또는 상기 사용자의 상태를 결정하는 단계를 포함하는 방법.
  10. 제9항에 있어서,
    상기 호흡의 성질 또는 상기 사용자의 상태에 대한 사용자 피드백을 수신하는 단계; 및
    상기 호흡 관련 파라미터들 및 상기 사용자 피드백을 이용하여 상기 머신 러닝 모델을 업데이트하는 단계를 추가로 포함하는 방법.
  11. 머신의 하나 이상의 프로세서에 의해 실행될 때, 상기 머신으로 하여금 사용자의 호흡을 모니터링하기 위한 동작들을 수행하게 야기하는 명령어들을 포함하는 비일시적 머신 판독가능 저장 매체로서, 상기 동작들은:
    복수의 마이크로폰으로부터 복수의 오디오 신호를 수신하는 동작;
    상기 복수의 오디오 신호를 빔포밍된 오디오 신호가 되도록 빔포밍하는 동작;
    상기 빔포밍된 오디오 신호로부터 관찰된 호흡 관련 파라미터들을 결정하는 동작; 및
    상기 관찰된 호흡 관련 파라미터들의 출력 또는 상기 관찰된 호흡 관련 파라미터들로부터 도출된 출력을 제공하는 동작을 포함하는 비일시적 머신 판독가능 저장 매체.
  12. 제11항에 있어서, 상기 동작들은:
    상기 관찰된 호흡 관련 파라미터들로부터 호흡 메트릭들을 결정하는 동작 - 상기 출력은 상기 호흡 메트릭들을 포함함 - 을 추가로 포함하는 비일시적 머신 판독가능 저장 매체.
  13. 제12항에 있어서, 상기 호흡 메트릭들은 상기 관찰된 호흡 관련 파라미터들을 기준 호흡 관련 파라미터들과 비교함으로써 결정되는 비일시적 머신 판독가능 저장 매체.
  14. 제13항에 있어서, 상기 동작들은:
    상기 호흡 메트릭들로부터 호흡 점수를 도출하는 동작 - 상기 호흡 점수는 상기 사용자의 관찰된 호흡률이 프롬프팅된 또는 요망된 호흡률과 얼마나 가깝게 일치하는지에 기초한 정확도 점수임 - 을 추가로 포함하는 비일시적 머신 판독가능 저장 매체.
  15. 제14항에 있어서, 상기 호흡 점수는 상기 관찰된 호흡률이 상기 프롬프팅된 또는 요망된 호흡률의 임계값 내에 있는 관찰된 시간량에 추가로 기초하는 비일시적 머신 판독가능 저장 매체.
  16. 시스템으로서:
    하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행될 때, 상기 시스템으로 하여금 사용자의 호흡을 모니터링하기 위한 동작들을 수행하게 야기하는 명령어들을 저장하는 하나 이상의 머신 판독가능 매체를 포함하고, 상기 동작들은:
    복수의 마이크로폰으로부터 복수의 오디오 신호를 수신하는 동작;
    상기 복수의 오디오 신호를 빔포밍된 오디오 신호가 되도록 빔포밍하는 동작;
    상기 빔포밍된 오디오 신호로부터 관찰된 호흡 관련 파라미터들을 결정하는 동작; 및
    상기 관찰된 호흡 관련 파라미터들의 출력 또는 상기 관찰된 호흡 관련 파라미터들로부터 도출된 출력을 제공하는 동작을 포함하는 시스템.
  17. 제16항에 있어서, 상기 동작들은:
    상기 관찰된 호흡 관련 파라미터들을 기준 호흡 관련 파라미터들과 비교함으로써 상기 관찰된 호흡 관련 파라미터들로부터 호흡 메트릭들을 결정하는 동작 - 상기 출력은 상기 호흡 메트릭들을 포함함 - 을 추가로 포함하는 시스템.
  18. 제17항에 있어서, 상기 관찰된 호흡 관련 파라미터들은 숨을 들이마심 또는 숨을 내쉼의 주파수 특성들을 포함하는 시스템.
  19. 제17항에 있어서, 상기 동작들은:
    상기 호흡 메트릭들로부터 호흡 점수를 도출하는 동작 - 상기 호흡 점수는 상기 사용자의 관찰된 호흡이 프롬프팅된 또는 요망된 호흡률과 얼마나 가깝게 일치하는지와 상기 관찰된 호흡률이 상기 프롬프팅된 또는 요망된 호흡률의 임계값 내에 있는 관찰된 시간량의 조합에 기초함 - 을 추가로 포함하는 시스템.
  20. 제19항에 있어서, 상기 호흡 관련 파라미터들을 결정하는 동작은 머신 러닝 모델을 사용하여 상기 호흡의 성질 또는 상기 사용자의 상태를 결정하는 동작을 포함하고, 상기 동작들은:
    상기 호흡의 성질 또는 상기 사용자의 상태에 대한 사용자 피드백을 수신하는 동작; 및
    상기 호흡 관련 파라미터들 및 상기 사용자 피드백을 이용하여 상기 머신 러닝 모델을 업데이트하는 동작을 추가로 포함하는 시스템.
KR1020237023851A 2020-12-18 2021-12-10 호흡 분석을 위한 헤드 웨어러블 장치 KR20230118964A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063127855P 2020-12-18 2020-12-18
US63/127,855 2020-12-18
US17/456,096 2021-11-22
US17/456,096 US20220192622A1 (en) 2020-12-18 2021-11-22 Head-wearable apparatus for breathing analysis
PCT/US2021/072861 WO2022133410A1 (en) 2020-12-18 2021-12-10 Head-wearable apparatus for breathing analysis

Publications (1)

Publication Number Publication Date
KR20230118964A true KR20230118964A (ko) 2023-08-14

Family

ID=80225489

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237023851A KR20230118964A (ko) 2020-12-18 2021-12-10 호흡 분석을 위한 헤드 웨어러블 장치

Country Status (3)

Country Link
EP (1) EP4262562A1 (ko)
KR (1) KR20230118964A (ko)
WO (1) WO2022133410A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567898B1 (en) 2019-03-29 2020-02-18 Snap Inc. Head-wearable apparatus to generate binaural audio

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017135899A1 (en) * 2016-02-03 2017-08-10 Nanyang Technological University Methods for detecting a sleep disorder and sleep disorder detection devices
US10567898B1 (en) 2019-03-29 2020-02-18 Snap Inc. Head-wearable apparatus to generate binaural audio
US11857311B2 (en) * 2020-03-17 2024-01-02 Prime Dragon Limited Multi-purpose video monitoring camera
CN115697194A (zh) * 2020-03-31 2023-02-03 瑞思迈传感器技术有限公司 用于绘制气道阻塞的系统和方法
CN111696575B (zh) * 2020-06-19 2023-01-03 杭州电子科技大学 基于混合神经网络模型的低通气和呼吸暂停检测识别系统

Also Published As

Publication number Publication date
EP4262562A1 (en) 2023-10-25
WO2022133410A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
US11354843B2 (en) Animated chat presence
KR101938507B1 (ko) 웨어러블 디바이스의 관계 코디네이팅 기법
CN110945459A (zh) 基于情绪的体验反馈
KR20230124083A (ko) 햅틱 피드백 응답을 갖는 통신 인터페이스
KR20230118687A (ko) 안경류 디바이스 상의 ar/vr 콘텐츠를 리센터링함
US20220317773A1 (en) Real-time communication interface with haptic and audio feedback response
US11531400B2 (en) Electronic communication interface with haptic feedback response
US20220317775A1 (en) Virtual reality communication interface with haptic feedback response
KR20230161516A (ko) 햅틱 피드백 응답을 갖는 가상 현실 인터페이스
US20220192622A1 (en) Head-wearable apparatus for breathing analysis
WO2022212174A1 (en) Interface with haptic and audio feedback response
CN117120959A (zh) 具有触觉反馈响应和音频反馈响应的界面
CN117157609A (zh) 具有触觉反馈响应的虚拟现实界面
CN117120960A (zh) 具有触觉反馈响应和音频反馈响应的界面
KR20230128063A (ko) 햅틱 피드백을 갖는 실시간 비디오 통신 인터페이스
KR20230118964A (ko) 호흡 분석을 위한 헤드 웨어러블 장치
KR20230124081A (ko) 햅틱 피드백 응답을 갖는 통신 인터페이스
US20220318303A1 (en) Transmitting metadata via inaudible frequencies
US20220319061A1 (en) Transmitting metadata via invisible light
KR20230157494A (ko) 실시간에서의 실제 크기 안경류
CN116685263A (zh) 头戴式呼吸分析装置
US20240078762A1 (en) Selecting a tilt angle of an ar display
US11922587B2 (en) Dynamic augmented reality experience
US11922096B1 (en) Voice controlled UIs for AR wearable devices
US11997422B2 (en) Real-time video communication interface with haptic feedback response