KR20140024271A - 데이터 획득 디바이스들의 모집단을 이용하는 정보 프로세싱 - Google Patents

데이터 획득 디바이스들의 모집단을 이용하는 정보 프로세싱 Download PDF

Info

Publication number
KR20140024271A
KR20140024271A KR1020137020252A KR20137020252A KR20140024271A KR 20140024271 A KR20140024271 A KR 20140024271A KR 1020137020252 A KR1020137020252 A KR 1020137020252A KR 20137020252 A KR20137020252 A KR 20137020252A KR 20140024271 A KR20140024271 A KR 20140024271A
Authority
KR
South Korea
Prior art keywords
devices
environment
information
distributed
sensor
Prior art date
Application number
KR1020137020252A
Other languages
English (en)
Inventor
스티븐 더블유. 골든스테인
Original Assignee
암비엔즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46383554&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20140024271(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 암비엔즈 filed Critical 암비엔즈
Publication of KR20140024271A publication Critical patent/KR20140024271A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3013—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is an embedded system, i.e. a combination of hardware and software dedicated to perform a certain function in mobile devices, printers, automotive or aircraft systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

복수의 디바이스들로부터 정보를 프로세싱하기 위한 분배된 시스템들, 제어기들 및 방법들이 제공된다. 분배된 시스템은 환경에서 분배된 복수의 디바이스들을 포함한다. 각 디바이스는 상기 디바이스들의 다른 디바이스들과 및/또는 통신 시스템과 정보를 교환하기 위해 적어도 통신 능력을 갖는다. 디바이스들 중 적어도 일부의 각각은 상기 디바이스에 근접한 상기 환경에 관련된 센서 데이터를 획득하기 위한 하나 또는 둘 이상의 센서들을 갖는다. 통신 시스템 또는 하나 또는 둘 이상의 디바이스들 중 적어도 하나는: 복수의 디바이스들 중에서 디바이스들의 서브세트를 선택하도록, 선택된 서브세트의 획득된 센서 데이터에 기초하여 정보를 수신하도록, 및 디바이스들 중 하나 또는 둘 이상에 근접한 환경의 특성을 결정하기 위해 선택된 서브세트로부터 수신된 정보를 조합하도록 구성되는 제어기로서 구성된다.

Description

데이터 획득 디바이스들의 모집단을 이용하는 정보 프로세싱{INFORMATION PROCESSING USING A POPULATION OF DATA ACQUISITION DEVICES}
[0001] 본 출원은 2011년 1월 11일에 출원된 "INFORMATION PROCESSING USING A POPULATION OF DATA ACQUISITION DEVICES"란 명칭의 미국 가 출원번호 제 61/431,507호의 이익에 관련되며 상기 이익을 주장하고 2010년 12월 30일에 출원된 "INFORMATION PROCESSING USING A POPULATION OF DATA AQUISITION DEVICES"란 명칭의 미국 가 출원번호 제 61/428,369호의 이익을 주장하며, 그 내용들은 인용에 의해 본원에 포함된다.
[0002] 본 발명은 데이터 획득 디바이스들의 모집단으로부터의 정보의 프로세싱에 관한 것이고, 일부 예들에서 퍼스널 무선 디바이스들의 적응적으로 선택가능한 모집단으로부터 획득되는 오디오 또는 멀티미디어 데이터의 프로세싱에 관한 것이다.
[0003] 그들의 로컬 환경으로부터 오디오 또는 멀티미디어 정보를 획득할 수 있고, 일부 경우들에서 로컬로 프로세싱할 수 있는 디바이스들은 과거 수년에 걸쳐 유비쿼터스화되어 왔으며, 그와 같은 트렌드가 계속되지 않을 이유가 없다. 예를 들어, "스마트" 셀룰러 전화들(예를 들어, 애플 아이폰®, 안드로이드™-운영 시스템 기반 전화들)은 오디오 및 비디오 획득 디바이스들 뿐 아니라 상당한 로컬 프로세싱 능력들을 갖는다.
[0004] 본 발명의 일 양상에서, 일반적으로, 디바이스들의 세트의 오디오 및 멀티미디어 획득 능력들은 예를 들어, 오디오 현장 분석을 위해, 획득된 컨텐츠를 어그리게이팅(aggregate)하고 그 컨텐츠에서의 정보를 융합하도록 활용될 수 있다. 일부 예시적인 실시예들에서, 대규모 모집단으로부터의 디바이스들은 디바이스들에서 또는 네트워크에 의해 검출된 트리거링 이벤트들에 따라 적응적으로 선택될 수 있고 및/또는 구성될 수 있다. 오디오 현장과 관련하여, 사용자들의 요건들 및 사용자들의 과거 정보 소비 행동의 모델들과 같은 팩터들에 기초하여, 사용자들에 대해 음향 및 다른 정보를 완화하거나, 증폭시키거나 통과시키기 위해 하나 또는 둘 이상의 디바이스들로부터 센싱되고 획득된 정보가 프로세싱될 수 있고, 소비자들에게 커스토마이징될 수 있으며 개인화될 수 있다. 따라서 본 발명의 예시적인 시스템은 주변 및 명시적으로 공급된 정보, 특히 오디오 정보를 중재할 수 있으며, 사용자에 대한 정보의 중재자로서 동작할 수 있다. 시스템 동작들 중 일부는 하나의 디바이스로부터의 정보에 기초할 수 있는 한편, 다른 동작들은 다수의 디바이스들로부터의 정보에 기초할 수 있다. 사용자들에게 필터링된 정보는 공유된 관심들과 공통 정보에 기초하여 가상 커뮤니티들을 형성하기 위해, 그리고 경보들, 마케팅 정보 및 뉴스를 포함하는 관련 정보가 이들 커뮤니티들에 도달하는 것을 보증하기 위해 이용될 수 있다.
[0005] 본 발명의 다른 양상에 따르면, 일반적으로, 분배된 시스템은 복수의 분배된 디바이스들을 포함할 수 있고, 이때 복수의 분배된 디바이스들 중 하나 또는 둘 이상 또는 통신 시스템 중 적어도 하나는 제어기로서 구성된다. 각 디바이스는 적어도 디바이스들 중 다른 디바이스와 및/또는 통신 시스템과 정보를 교환하기 위한 통신 능력을 갖는다. 디바이스들 중 적어도 하나는 디바이스의 환경에 관련된 센서 데이터를 획득하기 위한 하나 또는 둘 이상의 센서들을 포함할 수 있다. 제어기는 디바이스들 중 적어도 일부의 위치들을 결정하는 것, 복수의 디바이스들 중에서 디바이스들을 선택하고 선택된 디바이스들에서 획득된 센서 데이터에 기초하여 정보를 수신하는 것, 및 디바이스들 중 하나 또는 둘 이상의 환경의 하나 또는 둘 이상의 특성들을 결정하기 위해 선택된 디바이스들 중 다수로부터 수신된 정보를 조합하는 것을 포함하는 기능들을 수행하도록 구성된다.
[0006] 본 발명의 다른 양상들에서, 분배된 시스템은 정보를 완화하거나 증폭하거나 통과시키기 위해 디바이스에서 센싱된 모든 오디오 정보를 중재하는 디바이스들을 포함할 수 있다. 일부 예들에서, 그와 같은 정보는 트렌드-관련된 정보를 결정하기 위해 임의선택적으로 로깅되며 분석된다.
[0007] 본 발명의 다른 특징들 및 장점들은 다음의 설명 및 청구범위로부터 명백해진다.
[0008] 본 발명은 첨부 도면과 관련하여 숙독될 때 다음의 상세한 설명으로부터 이해될 수 있다. 공통 실시에 따라, 도면들의 다양한 특징들은 축척으로 그려지지 않을 수 있음이 강조된다. 반대로, 다양한 특징들의 치수들은 명확성을 위해 임의로 확대되거나 감소될 수 있다. 더욱이, 도면에서, 유사한 특징들을 나타내기 위해 공통 수치 참조들이 이용된다. 다음의 도면들이 포함된다.
[0009] 도 1은 본 발명의 예시적인 실시예에 따른 정보 프로세싱 시스템의 기능적 블록도이다.
[0010] 도 2a는 본 발명의 예시적인 실시예에 따른 도 1에 도시된 시스템의 분배된 디바이스의 기능적 블록도이다.
[0011] 도 2b는 본 발명의 예시적인 실시예에 따른 도 1에 도시된 시스템의 제어기의 기능적 블록도이다.
[0012] 도 3은 본 발명의 예시적인 실시예에 따른 복수의 분배된 디바이스들로부터의 정보를 프로세싱하기 위한 예시적인 방법의 흐름도이다.
시스템 개관
[0013] 퍼스널 무선 디바이스들 뿐 아니라, 다른 타입들의 컴퓨팅 또는 통신 디바이스들은 현재의 환경에서 유비쿼터스로 되어왔다. 일반적으로, 그와 같은 디바이스들은 예를 들어, 마이크로폰들, 카메라들, 가속도계들을 포함할 수 있으며, 일부 경우들에서 심지어 심박동수와 같은 생체 정보를 위한 센서들을 가질 수 있는 다수의 센서들을 갖는다. 그와 같은 디바이스들은 또한 일반적으로 예를 들어, 셀룰러 전화 라디오 시스템(예를 들어, 코드 분할 다중 액세스(CDMA) 또는 이동 통신을 위한 범용 시스템(GSM)), 무선 로컬 영역 네트워크 시스템(예를 들어, Wi-Fi, IEEE 802.11), 유선 컴퓨터 네트워크 접속들(예를 들어, USB 크래들들(cradles), 가능하게는 데스크톱 컴퓨터 애플리케이션들을 거친 데이터 네트워크 접속들) 및 일부 경우들에서 라디오 주파수(예를 들어, 블루투스®) 또는 광학(예를 들어, 적외선) 전송에 기초한 다른 시스템들인 하나 또는 둘 이상의 통신 시스템들을 포함한다. 마지막으로, 그와 같은 디바이스들은 일반적으로 "위치 인식"하며 및/또는그 디바이스들이 동작하는 인프라구조에 의해 위치탐색가능(locatable)하다. 예를 들어, 그와 같은 디바이스들은 위성 위치 확인 시스템(GPS) 수신기들, (셀룰러 전화 인프라구조와 함께 동작하는) 강화된 GPS, 및/또는 (디바이스를 위치시키기 위해 Wi-Fi 액세스 포인트들의 맵을 이용하는) Wi-Fi 기반된 맵들을 가질 수 있다. 셀룰러 인프라구조는 예를 들어, 셀룰러 신호 강도 및/또는 삼각측량 방식들에 기초하여 디바이스를 위치시킬 수 있다.
[0014] 본 발명의 일부 양상들에서, 이들 디바이스들의 특성들의 조합은 임의의 개별 디바이스에 반드시 이용가능하지는 않은 귀중한 정보를 발생시키도록 조합될 수 있는 잠재적으로 풍부한 정보의 소스를 제공한다. 예시적인 예로서, 다수의 서로 다른 디바이스들에서 로컬로 프로세싱된 오디오는 디바이스들에서 검출되는 구술된 키워드들 또는 다른 음향 이벤트들(예를 들어, 기침들)에 기초하여 지리적 또는 소셜 그룹 트렌드들을 식별하기 위해 조합될 수 있다.
[0015] 기침들의 검출은 비-음성 음향 이벤트들의 검출이 유용할 수 있는 일 예이다. 기침은 종종 급작스럽고 종종 반복적으로 발생하는 반사작용이기 때문에, 빈번한 기침은 (예를 들어, 많은 바이러스들 및 박테리아는 호스트에 기침을 야기함으로써 진화적으로 이익을 얻고, 이는 질병이 새로운 호스트들로 확산시키게 도움) 질병의 존재를 표시할 수 있다. 대부분의 시간에, 기침은 기도 감염(respiratory tract infection)에 의해 야기되지만 쵸킹(choking), 흡연, 대기 오염, 천식(asthma), 위식도 역류병(gastroesophageal reflux disease), 후비루(post-nasal drip), 만성 기관지염(chronic bronchitis), 폐 종양(lung tumors), 심부전(heart failure) 및 ACE 억제제들과 같은 약물에 의해 트리거될 수 있다. 디바이스들 주변의 그와 같은 이벤트들의 검출은 상당한 정보를 제공할 수 있다.
[0016] 본 발명의 다른 양상들에서, 디바이스들의 풍부한 센서 능력들은 디바이스의 사용자(예를 들어, 소유자)의 활동을 트래킹하고, (탐색 또는 개인화와 같은) 다양한 컴퓨팅 애플리케이션들을 갖는 사용자의 경험을 강화하는 방식을 제공할 수 있다. 예시적인 예로서, 디바이스 근처의 대화의 주제들은 디바이스 상의 보도 기사들의 프레젠테이션의 순서 또는 탐색 결과들의 랭킹에 영향을 미칠 수 있다.
[0017] 본 발명의 일부 양상들에서, 다수의 디바이스들을 통한 정보의 풍부한 소스 및 개별 활동의 트래킹은 그들의 시너지로부터 이익을 얻도록 조합될 수 있다.
[0018] 도 1을 참조하면, 일반적으로 시스템(100)으로 지시된 예시적인 정보 프로세싱 시스템의 기능적 블록도가 도시된다. 시스템(100)은 환경에서 하나 또는 둘 이상의 분배된 디바이스들(120)(또한 본원에서 디바이스들(120)로 지칭됨) 및 디바이스(120')(또한 제어기(120')로 지칭됨)를 포함할 수 있다. 디바이스들(120) 및 디바이스(120') 중 하나 또는 둘 이상은 오디오 현장(130)에 관한 정보를 획득하도록 구성될 수 있다. 디바이스(120')가 디바이스들(120) 중에서 센서 정보를 선택적으로 획득하기 위한 그리고 오디오 현장(130)의 특성을 결정하기 위한 제어기로서 동작하도록 구성될 수 있는 것을 제외하고, 디바이스(120')는 디바이스(120)와 동일할 수 있다. 하나의 디바이스(120')가 제어기인 것으로 도시되더라도, 다수의 디바이스들(120')은 제어기들로서 동작할 수 있음이 이해된다.
[0019] 디바이스(120')는 센서 정보를 수집하고 오디오 현장(130)의 특성을 결정하기 위한 제어기로서 도시되더라도, 통신 시스템(150) 및/또는 서버(140)는 또한 제어기로서 동작하도록 구성될 수 있음이 이해된다. 통신 시스템(150) 또는 서버(140)는 디바이스들(120, 120')로부터의 센서 정보, 디바이스들(120, 120')로부터의 로컬 데이터 분석 정보 또는 디바이스(120')로부터의 현장 분석 정보 중 적어도 하나를 수집할 수 있다.
[0020] 디바이스들(120) 및 디바이스(120')는 통신 링크(154)를 거쳐, 서로 직접 통신할 수 있다. 디바이스들(120) 및 디바이스(120')는 또한 통신 링크(152)를 거쳐, 통신 시스템(150)과 통신할 수 있다. 디바이스들(120) 및 디바이스(120')는 또한 통신 시스템(150) 및 통신 링크(152)를 거쳐, 중앙 서버(140)와 통신할 수 있다. 디바이스들(120, 120')은 유선 또는 무선 디바이스들을 포함할 수 있다. 이하에 더 논의된 바와 같이, 디바이스들(120, 120')은 고정된 위치들에 있을 수 있거나 이동 디바이스들일 수 있다.
[0021] 일 예시적인 실시예에서, 다수의 디바이스들(120)이 환경에 존재한다. 일부 예들에서, 디바이스들(120)(및 디바이스(120'))은 셀룰러 전화들(예를 들어, "스마트폰들")이다. 오디오 현장(130)에 의해 나타난 환경은 도시 환경일 수 있으며, 예를 들어, 디바이스들(120, 120')은 시내 거리들 상에, 오피스 빌딩들에, 또는 사용자들의 홈들에 존재한다. 일반적으로, 디바이스들(120, 120')은 (디바이스들의) 사용자들/소유자들에 개인 소유일 수 있으며, 하루종일 사용자가 휴대하는 이동 디바이스들일 수 있다.
[0022] 도 1에서, 소수의 대표적인 디바이스들(120, 120')이 도시된다. 이하에 더 논의되는 바와 같이, 잠재적으로 인에이블된 디바이스들(120, 120')은 (예를 들어, 대도시 영역에서의 전화들 중 많은 부분인) 디바이스들의 큰 모집단의 일부일 수 있으며, 시스템(100)은 디바이스들(120)의 특정 서브세트들을 적응적으로 인에이블할 수 있으며 및/또는 인에이블된 디바이스들(120)을 선택적으로 구성할 수 있다. 예를 들어, 디바이스(120')(또는 서버(140))는 하나 또는 둘 이상의 디바이스들(120, 120')에서 검출된 트리거링 이벤트들에 따라 디바이스들(120)을 인에이블 및/또는 구성할 수 있다.
[0023] 이하의 설명은 일 예로서 스마트폰들에 초점을 두며, 다른 타입들의 고정된 또는 이동 디바이스들이 스마트폰들과 함께 또는 스마트폰들 대신에 이용될 수 있음이 이해되어야 한다. 또한, 이하의 설명은 일 예로서 오디오 정보의 어그리게이션(aggregation) 또는 조합에 초점을 두지만, 비디오 및 생체 정보를 포함하는, 다른 형태들의 정보의 어그리게이션 및 프로세싱이 이하에 설명된 오디오 데이터 예들과 함께 또는 그 예들 대신에 수행될 수 있다.
[0024] 상기에 도입된 바와 같이, 임의의 특정 디바이스(120, 120')는 그 환경에서 전체 오디오 "현장"의 일부 양상을 센싱할 수 있다. 그와 같은 현장은 예를 들어, 전화 호출을 실행하지 않을 때조차 디바이스 소유자 자신의 음성, (기침과 같은) 소유자에 의해 행해진 다른 사운드들, 사용자 근처의 다른 사람들의 음성 및 (사이렌들, 총소리들 등과 같은) 사용자의 근처의 환경 사운드들을 포함할 수 있다.
[0025] 일반적으로, 시스템(100)은 하나 또는 둘 이상의 디바이스들(120, 120')에 의한 오디오 현장(130)의 관점들에 관련된 정보를 추출하기 위해 디바이스들(120, 120') 중 하나 또는 둘 이상의 오디오 획득 능력들을 이용한다. 원(raw) 컨텐츠의 획득을 위한 하나의 예시적인 방식에서, 모든 각각의 디바이스(120)는 통신 시스템(150)을 통해 그 획득된 신호들을 (통신 링크(152)를 거쳐) 지속적으로 중앙 서버(140)에 전송할 수 있다. 예를 들어, 통신 시스템(150)은 셀룰러 전화 시스템 및/또는 무선 데이터 네트워크를 포함할 수 있다. 그러나, 그와 같은 지속적 전송은 처리되는 대다수의 디바이스들(120, 120')에 정해진 엄청난 양으로 인해 실용적이지 않을 수 있으며, 디바이스들(120, 120')의 환경들에서 그들의 프라이버시에 관한 다른 쟁점들을 발생시킬 수 있다.
[0026] 정보를 추출하는 다른 예시적인 방법은 각 디바이스(120, 120')가 그 디바이스에 의해 획득된 신호들에 기초하여 로컬 신호 분석을 수행하는 것이다. 그러나, 그와 같은 방식은 디바이스들(120, 120')의 계산적 한계들로 인한 한계들을 가질 수 있다. 또한, 순수하게 로컬의 프로세싱은 다수의 디바이스들(120, 120')로부터의 정보의 융합에 의해 획득될 수 있는 장점들을 소실할 수 있다.
[0027] 이하에 설명하는 예시적인 방식은 다음의 특징들 중 하나 또는 둘 이상의 조합을 이용하여 순수하게 로컬인 또는 순수하게 중앙집중적 방식의 제한들 중 일부를 해결한다:
1) 적어도 관심 있을 수 있는 이벤트들의 발생들을 식별하기 위해, (디바이스들(120) 상의) 획득된 신호들의 로컬 프로세싱;
2) 예를 들어, 진행 기반 또는 디바이스(120') 또는 서버(140)로부터의 요청에 기초하여, 또는 (디바이스들(120) 중 하나 또는 둘 이상에서) 로컬 이벤트의 로컬 식별에 기초하여, 디바이스(120') 또는 중앙 서버(140)로의 선택적 전송을 위한 오디오의 로컬 버퍼링; 및
3) 예를 들어, 그들의 지리적 위치 및/또는 다른 근접성 메트릭들(예를 들어, 지리적 거리 메트릭보다는 오히려 소셜 네트워크)에 기초하여 특정 디바이스들(120, 120')에서의 획득 및/또는 프로세싱(또는 프로세싱의 타입의 사양)의 선택적 인에이블링.
[0028] 디바이스들(120, 120')의 위치들(예를 들어, 3차원 좌표들)이 일반적으로 디바이스들(120, 120') 및/또는 중앙 서버(140)에 의해 알려짐을 주목한다. 일 예로서, 위치설정 시스템(180)은 디바이스들의 위치들의 추정치를 유지하기 위해 GPS 위성들(182), 고정된 셀룰러 전송 타워들, Wi-Fi 액세스 포인트들 등과 같은 알려진 위치들을 갖는 유닛들을 이용한다.
[0029] 도 2a를 참조하면, 예시적인 디바이스(120)의 기능적 블록도가 도시된다. 디바이스(120)는 센서 모듈(202), 로컬 데이터 분석 모듈(204), 통신 모듈(206), 제어기(208), 매체/상태 저장장치(210), 위치설정 모듈(212), 사용자 인터페이스(214), 디스플레이(216), 경고 표시기(218), 스피커(220) 및 프라이버시 모듈(236) 중 하나 또는 둘 이상을 포함할 수 있다.
[0030] 전형적인 디바이스(120)는 통신 시스템(150)을 통해 서버(140)에 통신 링크(152)를 및/또는 다른 디바이스들(120, 120')에 통신 링크(154)를 제공하는 통신 모듈(206)을 포함한다. 통신 모듈(206)은 또한 위치설정 신호들(예를 들어, GPS 신호들, Wi-Fi 신호 강도들 등)을 획득하는 역할을 행할 수 있으며, 또한 다른 디바이스들(120)과 직접 통신하는 방식을 제공할 수 있다.
[0031] 디바이스(120)는 센서 정보의 획득을 위한 센서 모듈(202)을 포함할 수 있다. 센서 모듈(202)은 오디오 현장(130)에 관한 음향 정보를 수집하기 위한 하나 또는 둘 이상의 마이크로폰들(222)을 포함할 수 있다(도 1). 센서 모듈(202)은 또한 디바이스(120)와 관련된 환경의 정보를 수집하기 위한 (온도 센서, 가속도계와 같은 움직임 센서와 같은) 하나 또는 둘 이상의 환경 센서들을 포함할 수 있다. 센서 모듈(202)은 또한 디바이스(120)의 사용자에 관한 생체 정보를 센싱하기 위한 (심박동수와 같은) 하나 또는 둘 이상의 생체 센서들(226)을 포함할 수 있다. 센서 모듈(202)은 또한 디바이스(120)의 주변 환경의 스틸 이미지들 및/또는 비디오를 캡처하기 위한 카메라(228)(즉, 이미지 센서)를 포함할 수 있다. 센서 모듈(202)은 또한 위치 정보를 제공하기 위한 컴퍼스(compass)를 포함할 수 있다. 일반적으로, 센서 모듈(202)은 물리적 수량을 측정할 수 있으며 그 수량을 시스템(100)에 의해 이용될 수 있는 신호로 변환할 수 있는 임의의 센서를 포함할 수 있다. 예를 들어, 센서 모듈(202)에서의 센서들은 또한 제한 없이, 광 검출 센서들, 근접성 센서들, 중력 검출 센서들, 자기장 검출 센서들, 전기장 검출 센서들, 진동 센서들, 압력 센서들, 습도 센서들, 수분 센서들, 독소 검출 센서들, 영양소 검출 센서들 또는 페로몬 검출 센서들 중 하나 또는 둘 이상을 포함할 수 있다.
[0032] 사용자 인터페이스(214)는 센서 모듈(202), 로컬 데이터 분석 모듈(204), 통신 모듈(206), 매체/상태 저장장치(210), 위치설정 모듈(212), 디스플레이(216), 경고 표시기(218), 스피커(220) 및 프라이버시 모듈(236) 중 하나 또는 둘 이상에 대한 파라미터들을 제공할 수 있는 임의의 적합한 사용자 인터페이스를 포함할 수 있다. 사용자 인터페이스(214)는 예를 들어, 포인팅 디바이스, 키보드 및/또는 디스플레이 디바이스를 포함할 수 있다.
[0033] 디바이스(120)는 디바이스(120)의 사용자에게 정보를 제시하기 위한 디스플레이(216), 경고 표시기(218) 및/또는 스피커(220)를 포함할 수 있다. 디스플레이(216)는 디바이스(120) 상에 정보를 제시할 수 있는 임의의 적합한 디스플레이 디바이스를 포함할 수 있다. 경고 표시기(218)는 디바이스(120) 상에 경고를 제시하기 위한 임의의 적합한 가시적 표시기를 포함할 수 있다. 경고는 예를 들어, 오디오 정보가 기록되는 표시를 포함할 수 있다. 스피커(220)는 또한 경고 표시를 청취가능하게 제시할 수 있음이 이해된다. 사용자 인터페이스(214) 및 디스플레이(216)가 별개 디바이스들로서 도시되더라도, 사용자 인터페이스(214) 및 디스플레이(216)의 기능들이 하나의 디바이스로 조합될 수 있음이 이해된다. 예시적인 실시예에 따르면, 디바이스(120)는 하나 또는 둘 이상의 디바이스들(120)로부터 획득된 정보에 기초하여 디바이스(120')(도 1)로부터 디바이스(120)에, 완화되고, 증폭되며 및/또는 통과된 음향 및/또는 다른 정보를(디스플레이(216), 경고 표시기(218) 및/또는 스피커(220)를 거쳐) 수신할 수 있다.
[0034] 디바이스(120)는 디바이스(120)에 대한 위치 추정치를 유지하기 위해 위치설정 모듈(212)을 포함할 수 있다. 예를 들어, 위치설정 모듈(212)은 위치 추정치를 획득하기 위해 위치설정 시스템(180)(도 1)을 이용할 수 있다.
[0035] 매체/상태 저장장치(210)는 (센서 모듈(202)로부터의) 원 센서 정보, (로컬 데이터 분석 모듈(204)로부터의) 로컬로 분석된 정보 또는 (위치설정 모듈(212)로부터의) 위치 정보 중 적어도 하나를 저장할 수 있다. 매체/상태 저장장치(210)는 예를 들어, 자기 디스크, 광학 디스크, 플래시 메모리 또는 하드 드라이브를 포함할 수 있다.
[0036] 제어기(208)는 예를 들어, 데이터 및 제어 버스(도시되지 않음)를 거쳐, 센서 모듈(202), 로컬 데이터 분석 모듈(204), 통신 모듈(206), 매체/상태 저장장치(210), 위치설정 모듈(212), 사용자 인터페이스(214), 디스플레이(216), 경고 표시기(218), 스피커(220) 및 프라이버시 모듈(236) 중 하나 또는 둘 이상에 커플링될 수 있다. 제어기(208)는 센서 정보의 획득, 센서 정보의 로컬 분석, 센서 정보의 전송 및/또는 수신, 로컬 분석 정보의 전송 및/또는 수신뿐 아니라, (디스플레이(216), 경고 표시기(218) 및/또는 스피커(220)를 거치는 것과 같은) 디바이스(120)에 의한 정보의 임의의 프레젠테이션을 제어하도록 구성될 수 있다. 제어기(208)는 예를 들어, 논리 회로, 디지털 신호 프로세서 또는 마이크로프로세서를 포함할 수 있다. 로컬 데이터 분석 모듈(204)의 하나 또는 둘 이상의 기능들은 제어기(208)에 의해 수행될 수 있음이 이해된다.
[0037] 로컬 데이터 분석 모듈(204)은 디바이스(120)에 대한 센서 모듈(202)에 의해 로컬로 수집된 정보를 분석하도록 구성될 수 있다. 로컬 데이터 분석 모듈(204)은 (하나 또는 둘 이상의 마이크로폰들(222)로부터와 같은) 오디오 정보를 분석하기 위한 음향 분석 모듈(230)을 포함할 수 있다. 오디오 정보는 음성, 음악뿐 아니라 (접근하는 기차와 같은) 환경의 사운드들을 포함할 수 있다. 음성은 디바이스(120)의 이용자에 의해 발생될 수 있을 뿐 아니라, 디바이스(120)에 근접한 다른 개인들에 의해 발생될 수 있다. 로컬 데이터 분석 모듈(204)은 로컬로 또는 백엔드(backend) 서버 아키텍처 또는 유사한 메커니즘들을 이용하여 분석을 수행할 수 있다.
[0038] 로컬 데이터 분석 모듈(204)은 또한 센서 모듈(202) 중 다른 센서들로부터 정보를 분석하기 위한 다른 센서 분석 모듈(232)을 포함할 수 있다. 예를 들어, 다른 센서 분석 모듈(232)은 환경의 센서(들)(224), 생체 센서(들)(226) 및/또는 카메라(228) 중 하나 또는 둘 이상으로부터의 정보를 분석할 수 있다. 로컬 데이터 분석 모듈(204)은 하나 또는 둘 이상의 특정 이벤트들의 발생(및/또는 오디오 현장(130)의 특성)을 결정하기 위해 (키워드들, 타겟 사운드들과 같은) 음향 분석 모듈(230) 및 다른 센서 분석 모듈(232)로부터의 결과들을 조합할 수 있다.
[0039] 음향 분석 모듈(230) 및/또는 다른 센서 모듈(232)은 또한 예를 들어, 잡음을 실질적으로 제거 또는 감소시키기 위해 각각의 센서 정보를 사전-프로세싱할 수 있다. 모듈들(230, 232)은 또한 특정 이벤트들의 발생을 표시할 수 있는 하이 값 신호들을 식별하기 위해 잡음-감소된 센서 정보를 필터링할 수 있다.
[0040] 로컬 데이터 분석 모듈(230)은 음향 분석 모듈 및/또는 다른 센서 분석 모듈과 관련된 분류기들(234)을 포함할 수 있다. 분류기들(234)은 오디오 정보, 환경의 정보, 생체 정보 및/또는 이미지 정보의 프로파일들을 구축하기 위해 이용될 수 있다.
[0041] 예시적인 실시예에서, 음향 분석 모듈(230)은 음성을 인식하기 위해 오디오 정보를 사전프로세싱할 수 있고, 음성 정보에 관한 키워드 스폿팅(spotting)을 수행할 수 있으며, 추가로 디바이스의 청취 범위 내의 다양한 스피커들의 음성 모델들을 구축할 수 있다. 모델들은 예를 들어, 음성 신호들로부터 성별, 예상 나이 범위, 국적 및 다른 인구학적 특징들을 식별하기 위해 분류기들(234) 및 머신 습득 방법들을 이용할 수 있다.
[0042] 추가로, 예를 들어, 알콜이나 유사한 물질들의 영향으로 인한 임의의 혀꼬부라진 소리를 인식하기 위한 분류기들(234), 특정 언어 그룹들에 속하는 액센트 패턴들을 검출하고 식별하기 위한 액센트 분류기들, 및 스피커들 및 음성을 행복, 슬픔, 스트레스 받은, 화난 또는 다른 감정 상태들로 분류하기 위한 감정 분류기들이 존재할 수 있다. 따라서, 임의의 음성, 개별 디바이스들(120) 또는 시스템(100)(도 1)을 포함하는 정해진 임의의 오디오 입력은 전체적으로 그 입력에서의 각 음성 참가자의 음향 프로파일을 구축할 수 있으며, 여기서 프로파일은 스폿된 키워드들을 포함할 뿐 아니라, 성별, 예상 나이, 가능한 국적 등을 포함하는 각 화자(speaker)에 관한 인구학적 데이터뿐 아니라 감정 상태에 관한 및/또는 화자가 그 영향을 받는지 여부의 분류기 결과들과 같은 다른 데이터를 포함한다.
[0043] 인구학적 데이터를 갖는 키워드들의 획득은 광고주들이 성별, 나이 및 가처분 소득의 잠재적 레벨들과 같은 팩터들에 기초하여, 그들의 세일즈를 목표로 하며, 그들의 광고들을 실제로 구매를 행하는 사용자들에게 알리는 사용자들로부터의 세일 사이클을 트래킹하도록 도움을 줄 수 있다. 감정 표시기들은 고객 불만족을 회피하기 위해 임시방편(palliative) 또는 예방 단계들을 취하기 위해 이용될 수 있다. 혀꼬부라진 소리와 같은 다른 정보는 사고들과 같은 상황들에서의 확증적인 정보로서 이용될 수 있거나 사고들을 방지하기 위해 이용될 수 있다.
[0044] 프라이버시 모듈(236)은 다수의 캐리어들과 관련된 하나 또는 둘 이상의 디바이스들에 의해, 오디오 정보를 포함하는 다양한 종류들의 정보의 획득 및 이용에 관련한 애플리케이션들에 대한 프라이버시 및/또는 보안 요건들 및 정책들을 구현하기 위한 메커니즘들을 포함할 수 있다. 이들 정책들 및 메커니즘들은 센싱(예를 들어, 청취)을 원격으로 스위치 온 및 스위치 오프하는 능력, 이들 디바이스들(120)(및 디바이스(120')(도 1))에 의해 모아진 임의의 오디오 정보의 소유, 센싱 및 정보 획득을 용이하게 제어하는 사용자들의 능력, 애플리케이션들의 옵트-인(opt-in) 및 옵트-아웃(opt-out)을 위한 메커니즘들, 캐리어-와이드 또는 네트워크-와이드 데이터 수집, 모아지는 임의의 오디오인 개인적으로 식별가능한 정보(PII) 및 다수의 디바이스들(120)(디바이스(120')(도 1)) 및 네트워크들로부터 생성되는 임의의 어그리게이티드 데이터의 보호를 포함하는 디바이스들(120)(및 디바이스(120')(도 1))의 이용을 제어할 수 있다. 정책들 또는 표준 실시들은 또한 현재의 모든 사용자들이 데이터 획득을 위해 옵트-인 되지는 않은 비밀 또는 준-비밀(semi-private) 상황들을 위해 설정될 수 있다. 예를 들어, 시스템(100)(도 1)이 정보 획득에 옵트-인 되지 않을 것 같은 사용자들로부터의 음성을 기록할 때, 시스템(100)은 오디오 정보가 기록됨을 표시하기 위해 바로 근처의 모든 디바이스들(120)에 경고 표시를 제공할 수 있다. 경고 표시는 경고 표시기(218) 상에 제공될 수 있다.
[0045] 다음에 도 2b를 참조하면, 예시적인 디바이스(120')의 기능적 블록도가 도시된다. 디바이스(120')가 또한 디바이스 선택/데이터 획득 모듈(240) 및 현장 분석 모듈(242)을 포함할 수 있는 것을 제외하고, 디바이스(120')는 디바이스(120)(도 2a)와 유사하다. 디바이스(120)(도 2a)와 유사하게, 디바이스(120')의 컴포넌트들은 데이터 및 제어 버스(도시되지 않음)를 거쳐 함께 커플링될 수 있다.
[0046] 디바이스 선택/데이터 획득 모듈(240)(또한 본원에서 모듈(240)로 지칭됨)은 선택된 디바이스들(120)(도 1)로부터 센서 정보 및/또는 로컬로 분석된 정보를 수신할 수 있다. 현장 분석 모듈(242)은 오디오 현장(130)(또는 일반적으로 환경)의 적어도 하나의 특성을 결정하기 위해, 선택된 디바이스들 중에서 센서 정보 및/또는 로컬로 분석된 정보를 조합할 수 있다.
[0047] 모듈(240)은 디바이스들(120)(도 1)의 적어도 일부의 위치들을 결정할 수 있다. 모듈(240)은 예를 들어, 이들 디바이스들(120)의 위치뿐 아니라 현장 분석 모듈(242)에 의해 결정된 (이벤트와 같은) 임의의 특성들에 기초하여, 복수의 디바이스들(120) 중에서 하나 또는 둘 이상의 디바이스들(120)(도 1)을 선택할 수 있다. 따라서, 특성이 (현장 분석 모듈(242)에 의해) 검출됨에 따라, 모듈(240)은 오디오 현장(130)을 더 잘 분석하기 위해, 선택된 디바이스들(120)(도 1)로부터 적응적으로 정보를 획득할 수 있다. 모듈(240)은 또한 특정 정보를 획득하도록 선택된 디바이스들(120)(도 1)을 구성할 수 있는데, 예를 들어, 일 디바이스(120)는 카메라(228)(도 2a)를 거쳐 이미지 데이터를 획득할 수 있는 한편, 다른 센서는 마이크로폰(222)(도 2a)을 거쳐 오디오 데이터를 획득하도록 구성될 수 있다. 다른 예로서, 모듈(240)은 다수의 마이크로폰들(222)이 빔 형성 어레이를 형성하도록 각각의 마이크로폰들(222)(도 2a)을 거쳐 오디오 데이터를 획득하도록 다수의 디바이스들(120)을 구성할 수 있다.
[0048] 일반적으로 도 1, 2a 및 2b를 참조하면, 시스템(100)은 예상 모니터링, 회고적 분석을 위한 로깅된 데이터로의 액세스 및 (현장 분석 모듈(242)에 의해서와 같은) 이벤트들의 실시간 통지를 위해 (디바이스 선택/데이터 획득 모듈(240)을 거쳐) 디바이스들의 인에이블링 및 구성 중 하나 또는 둘 이상을 이용한다. 이러한 시스템(100)의 적응은 디바이스들(120, 120')에서의 트리거링 이벤트들의 검출에 기초할 수 있다. 예를 들어, 디바이스(120')는 특정 음향 이벤트들(예를 들어, 단어들, 구술된 토픽들, 음악 및 환경 사운드들)의 검출을 가능하게 할 수 있으며 다른 디바이스들(120)로부터의 보고들에 기초하여 선택된 디바이스들(120) 상의 구성들을 적응시킬 수 있다.
[0049] 디바이스(120')(및 디바이스들(120))는 디바이스들(120)의 세트를 조정하기 위한 소프트웨어를 포함할 수 있다. 소프트웨어는 중앙집중 제어, 피어-투-피어 제어 또는 중앙집중화, 피어-투-피어 및 다른 제어 메커니즘들에 관련하는 하이브리드 모델을 가질 수 있다. 개별 디바이스들(120, 120')은 다른 디바이스들을 제어하는 마스터 디바이스들이 되는 것과 다른 디바이스의 일시적 부분 제어하에 있는 슬레이브 디바이스들이 되는 것 사이를 스위칭할 수 있다. 디바이스들(120, 120')의 네트워크는 다수의 디바이스들(120, 120')에 걸친 센싱 로드를 분배함으로써, 또는 디바이스들(120, 120')에 걸친 대역폭 공유와 같은 다른 메커니즘들에 의해 개별 디바이스들(120) 상의 전력 소모를 최적화하도록 스스로 구성할 수 있다. 이용된 네트워킹은 이동 애드 혹 네트워크들(mobile ad hoc networks: MANET), 스캐터넷(Scatternet) 또는 다른 메커니즘들에 관련된 사상들에 기초할 수 있다.
[0050] 예를 들어, 시스템(100)은 그 노드들을 계층들 또는 그래프들로 동적으로 조직화하고 재조직화할 수 있으며, 이때 일부 디바이스들(120, 120')은 마스터 노드들로 선택되는 한편 다른 가능하게 지리적으로 근접한 디바이스들은 슬레이브 노드들로 선택된다. 슬레이브 노드들은 마스터 노드들로부터의 명령들에 기초하여 동작들을 수행할 수 있다. 슬레이브 노드들은 획득된 모든 정보를 전달하는 대신에, 정보를 사전프로세싱할 수 있고 프로세싱된 정보를 마스터 노드들에 전달할 수 있으며, 따라서 노드들 사이에 계산이 분배되고 통신 대역폭이 감소된다. 추가로, 전부 대신에 단지 소수의 마스터 노드들이 서로 통신할 수 있기 때문에 통신 요건들이 개선될 수 있는데, 즉 N개의 디바이스들이 서로 통신하려 시도하고, 이는 (N2/2) 접속들을 요구할 것이다.
[0051] 각 노드가 그 위치를 알기 때문에, 시스템 요건들에 따라, 네트워크는 스스로 하나 또는 둘 이상의 선형 체인들 또는 로컬 그룹들로 조직화할 수 있으며, 여기서 정보는 버킷 브리게이드(bucket brigade) 전달 정보와 매우 유사하게, 물리적으로 근접한 디바이스들 사이에 전달된다. 피어-투-피어 아키텍처로, 개별 디바이스들(120, 120')(단지 마스터 노드들 또는 마스터 노드들 및 슬레이브 노드들 둘 다)은 이웃하는 노드들 및 그들의 능력들 및 특징들에 관한 정보를 기록할 수 있어, 예를 들어, 노드들의 임의의 쌍 사이의 접속이 낮은 계산 비용으로 용이하게 그리고 효율적으로 설정될 수 있다.
[0052] 다른 최적화 기술들이 또한 채택될 수 있다―예를 들어, 데이터 로그들이 기록될 때, 시스템은 여러 디바이스들이 동일한 오디오 또는 다른 센서 컨텍스트에 있는지를 결정할 수 있다. 예를 들어, 여러 전화들(120, 120')이 동일한 컨텍스트에 위치되는 경우에, 모든 각각의 전화(120, 120')가 모든 데이터를 기록해야 하는 것은 아니다―시스템(100)은 데이터를 위한 그리고 클라우드(cloud)에서 일부 중앙집중 서버(140)(또는 디바이스(120'))에 데이터가 저장되게 보증하기 위한 로컬 저장소로서 동작하는 스크라이브(scribe) 노드를 지정할 수 있다. 이는 다른 노드들의 일부에 관한 상당한 로깅 노력을 절감할 수 있다.
[0053] 대안적으로 또는 추가로, 시스템(100)은 모든 각각의 노드가 센서 모듈(202)에서의 그 센서들의 전부를 거쳐 정보를 획득해야 하지는 않도록 디바이스들(120, 120') 사이에 센서 로드를 분배할 수 있다. 일부 센서 모듈들(202)은 오디오 정보를 획득하는데 집중할 수 있는 한편, 다른 디바이스들(120, 120')은 위치 정보를 획득할 수 있으며 또한 다른 센서 모듈들(202)은 온도 또는 고도 정보 등을 획득할 수 있다. 이는 전체 시스템(100)에 대한 전력 및 통신 대역폭 요건들을 감소시킬 수 있다. 여러 그와 같은 방식들은 전체적으로 시스템의 스루풋 및 효율성을 최적화하도록 고안될 수 있다. 예시적인 실시예에 따르면, 시스템(100)은 또한 디바이스들(120, 120') 사이에서 센서 정보의 프로세싱을 분배할 수 있어, 서로 다른 개별 태스크들이 디바이스들(120, 120')에 의해 수행된다. 이는 특정 태스크에 대한 적합한 프로세싱 능력들을 갖지 않을 수 있는 일부 디바이스들(120)(또는 디바이스(120'))에 대한 계산적 부담을 감소시킬 수 있다.
[0054] 전체로서 시스템(100)은 클라우드에서 캐리어-불가지론(carrier-agnostic) 취급자들을 이용할 수 있다. 구체적으로, 네트워킹은 다수의 무선 전화, Wi-Fi 또는 다른 캐리어들로부터 서비스들을 이용할 수 있으며, 적절한 정책들이 캐리어-불가지론 행동들을 가능하게 하도록 시행될 수 있다. 구체적으로, 어떤 사용자도 특정 캐리어들과의 연관으로 인해 정보의 공유를 거부당하지 않을 수 있으며, 디지털 브리지들은 원하는 경우에 캐리어들에 걸쳐 정보를 공유하도록 존재한다. 일 변형에서, 일부 특징들은 마케팅 이유들로 캐리어에 고유하게 만들어질 수 있다.
[0055] 디바이스들(120, 120')이 전화들일 필요는 없음이 이해된다. 디바이스들(120, 120')은 자립형 디바이스들일 수 있으나, GPS, 보청기, 이동 전화, TV 리모트, 자동차 키 폽(key fob), 휴대용 게임 제어기 또는 유사한 디바이스의 일체 부분일 수 있다. 디바이스(120)(및/또는 디바이스(120'))는 휴대하여 사용자에 의해 운반될 수 있거나, 자동차와 같은 차량 내 또는 차량 상에 설치될 수 있다.
[0056] 특정 애플리케이션들에 대해, 디바이스들(120)(및/또는 디바이스(120'))은 홈에 고정되고 설치될 수 있거나, 고정된 전화들, 데스크톱 컴퓨터들, TV 세트들 또는 게임 콘솔들의 일부일 수 있다. 각 디바이스(120)(및/또는 디바이스(120'))는 관련된 소프트웨어를 갖는 하나 또는 둘 이상의 센서들을 포함할 수 있다. 서로 다른 종류들의 디바이스들(120, 120')은 서로 다른 센서들 및/또는 다른 소프트웨어를 포함할 수 있다. 디바이스(120) 또는 디바이스(120')가 스마트폰과 더 유사한 경우에, 시스템(100)은 전자 메일, 채팅 사본기록들 및 문서들을 포함하는 텍스처 데이터, 및 전화 대화들, 디바이스 상에 또는 디바이스에 스트리밍된 음악, 마이크로폰들에 의해 수집된 주변 오디오 및 사용자 탐색 로그들을 포함하는 오디오 데이터에 액세스할 수 있다. 이 데이터 전부는 사용자에 관련할 수 있다. 이 데이터는 사용자의 컨텍스트 및 환경 변수들과 함께, 사용자에 의해 소비되는 정보의 개인화를 위해 이용될 수 있으며, 그 후에 대체적으로 커뮤니티 또는 사용자에 대한 상업적 애플리케이션들을 위해 적절하게 다른 용도로 이용될 수 있다.
[0057] 도 3을 참조하면, 복수의 분배된 디바이스들로부터의 정보를 프로세싱하기 위한 예시적인 방법의 흐름도가 도시된다. 도 3에 도시된 단계들은 본 발명의 예시적인 실시예를 나타낸다. 특정 단계들은 도시되는 것과 다른 순서로 수행될 수 있음이 이해된다. 또한 특정 단계들이 제거될 수 있음이 이해된다.
[0058] 단계(300)에서, 디바이스들(120)(도 1)의 위치는 예를 들어, 디바이스들(120)로부터 이전에 수신된 정보에 기초하여 제어기(120')에 의해 결정될 수 있다. 예를 들어, 제어기(120')(도 1)는 그들의 위치들을 결정하기 위해 디바이스들(120)과 직접 통신할 수 있다. 다른 예로서, 디바이스들(120)(도 1)의 위치는 통신 시스템(150) 및/또는 서버(140)와의 통신으로부터 알려질 수 있다.
[0059] 단계(302)에서, 디바이스들(120)(도 1)의 서브세트는 예를 들어 제어기(120')의 디바이스 선택/데이터 획득 모듈(240)(도 2b)에 의해 선택될 수 있다. 예를 들어, 제어기(120')(도 1)는 디바이스들(120)의 환경 및 위치의 미리 결정된 특성에 기초하여 하나 또는 둘 이상의 디바이스들(120)을 선택할 수 있다.
[0060] 단계(304)에서, 센서 정보 및/또는 로컬로 프로세싱된 정보는 예를 들어, 디바이스 선택/데이터 획득 모듈(240)(도 2b)에 의해, 선택된 서브세트로부터 제어기(120')(도 1)에 의해 수신될 수 있다. 예를 들어, 제어기(120')(도 1)는 각각의 센서 모듈(202)(도 2a)로부터 원 센서 정보를 및/또는 각각의 로컬 데이터 분석 모듈들(204)(도 2a)로부터 로컬로 프로세싱된 정보를 수신할 수 있다. 제어기(120')(도 2b)는 또한 그 소유의 센서 모듈(202) 및 로컬 데이터 분석 모듈(204)로부터 센서 정보 및/또는 로컬로 프로세싱된 정보를 획득할 수 있다. 제어기에 그 각각의 정보를 방출한다는 디바이스(120)에 의한 허가를 표시하기 위해, 디바이스들(120) 중 적어도 하나로부터의 정보가 각각의 디바이스(120)로부터의 확인 표시에 응답하여 수신될 수 있다. 예를 들어, 확인 표시는 각각의 디바이스(120)의 사용자에 의해 수동으로 제공될 수 있거나, 디바이스(120)의 프라이버시 설정들에 기초하여 각각의 디바이스(120)에 의해 자동으로 제공될 수 있다.
[0061] 단계(306)에서, 서브세트(뿐 아니라 임의선택적으로 제어기(120')(도 1))로부터 수신된 정보는 예를 들어, 제어기(120')의 현장 분석 모듈(242)(도 2b)에 의해, 환경의 특성을 결정하도록 조합된다.
[0062] 단계(308)에서, 서브세트가 예를 들어, 제어기(120')의 디바이스 선택/데이터 획득 모듈(240)(도 2b)에 의해 조정되어야 하는지 여부가 결정된다. 예를 들어, 서브세트는 하나 또는 둘 이상의 디바이스들(120)의 로컬 데이터 분석 모듈(204)(도 2a)에 의해 검출된 이벤트, 환경의 특성, 특성으로부터의 임의의 컨텍스트, 디바이스들(120)(도 1)의 위치(예를 들어, 위치설정, 공간의 배향), 특성으로부터의 인구통계, 디바이스들(120) 사이의 임의의 소셜-그래프 멤버십 등에 기초하여 조정될 수 있다. 예를 들어, 일 디바이스(120)(도 1)가 총소리를 검출하는 경우에, 디바이스(120')는 (총소리의 위치를 삼각측량하기 위해) 및/또는 범위 내의 모든 디바이스들(120)에 경고 표시를 송신하기 위해 추가적인 디바이스들로 디바이스들(120)의 서브세트를 확장할 수 있다.
[0063] 단계(308)에서, 서브세트가 조정되어야 하는 것이 결정되는 경우에, 단계(308)는 단계(310)로 진행한다. 단계(310)에서, 서브세트에서의 디바이스들의 선택이 조정될 수 있으며 및/또는 서브세트의 선택된 디바이스들의 구성이 예를 들어, 디바이스 선택/데이터 획득 모듈(240)(도 2b)에 의해 조정될 수 있다. 예를 들어, 서로 다른 디바이스들(120)(도 1)이 스위치 온 또는 오프될 수 있다. 다른 예로서, 센서 모듈들(202)(도 2a)의 서로 다른 센서들이 센서 정보를 획득하도록 구성될 수 있다.
[0064] 단계(308)에서, 서브세트가 조정되지 않아야 하는 것으로 결정되면, 단계(308)는 계속해서 환경의 특성을 결정하기 위해 단계(304)로 진행할 수 있다.
[0065] 대안적으로, 단계(308)는 단계(312)(환경 모니터링), 단계(314)(로컬화 및 트래킹), 단계(316)(토픽 모니터링), 단계(318)(트리거링 이벤트들) 및/또는 단계(320)(다른 모니터링 및 규제)로 진행할 수 있다. 환경의 특성은 이하에 더 설명되는 다수의 서로 다른 애플리케이션들에 대해 이용될 수 있다.
[0066] 일반적으로 도 1을 참조하면, 예시적인 실시예에서, 이들 디바이스들(120)의 세트를 활용하는; 디바이스들(120)로부터 신호들을 획득하는; (위치, 공간에서의 배향, 소셜-그래프 멤버십 및 인구통계에 관한 정보에 기초하여) 디바이스들(120)의 서브세트들을 스위치 온 또는 오프하는; 디바이스들(120)의 센서들로부터 획득된 정보를 프로세싱하고 분석하는; 센싱, 프로세싱 또는 분석을 인에이블 또는 디스에이블하기 위한 트리거들을 설정하는; 및 센싱된, 프로세싱된 또는 분석된 정보에 시스템(100)을 적응시키는 애플리케이션들을 사용자들로 하여금 개발하게 할 수 있는 플랫폼이 개발될 수 있다. 플랫폼은 하나 또는 둘 이상의 디바이스들로부터 획득된 음향 및 다른 정보에 기초하여 사용자들에 대해 음향 및 다른 정보를 완화시키고, 증폭하며 통과시키도록 개별 디바이스들(120, 120')이 사용자들(소비자들)에 커스토마이징되고 개인화되게 허용할 수 있다.
[0067] 일단 그와 같은 플랫폼이 개발되면, 본원에 설명된 시나리오들 및 사용-경우들 중 다수에 대해 애플리케이션들이 개발될 수 있다. 플랫폼은 개발자들이 디바이스 상에 이용가능한 모든 특징들 및 자원들을 액세스하게 허용하기 위해 최소 센서 수들 및 구성, 하드웨어 및 소프트웨어의 관점에서 최소 온보드 계산 자원들, 및 애플리케이션 프로그래밍 인터페이스(API)와 같은 최소 하드웨어 요건들을 특정할 수 있다.
[0068] 예시적인 플랫폼 사양은: 하나 또는 둘 이상의 마이크로폰들 또는 마이크로폰 어레이; 전형적으로 움직임 또는 배향의 2개 또는 3개의 축들을 커버하기 위한 하나 또는 둘 이상의 가속도계들; 컴퍼스; 온-보드 GPS 시스템; 접촉 또는 비-접촉 온도 센서들과 같은 제로 또는 그 이상의 다른 센서들; 블루투스®, Wi-Fi 및 다른 능력들을 갖는, 최소 요구된 해상도를 갖는 카메라들; 음성을 분석하고, 음악, 비디오 및 스틸 이미지들을 포함하는 매체를 분석하는 분류기들을 포함하는 소프트웨어; 환경 메트릭들을 획득하고 도시 대 교외, 및 거주지 대 공업지와 같은 다양한 컨텍스트들에서 환경 메트릭들을 획득하고 상기 환경 메트릭들은 분석하는 소프트웨어; 잡음을 제거하거나 감소시키기 위해 획득된 신호들을 사전프로세싱하고, 하이 값 신호들을 식별하기 위해 나머지 신호들을 필터링하며, 원하는 경우에 압축된 형태로 서버(140)에 이 신호들을 전송하기 위한 소프트웨어; 사운드 징후들의 데이터베이스; 및 실현가능하고 수용가능한 사용자 경험을 제공하기 위해 모두가 충분한 전력으로, 센서 데이터에 응답하여 반응성 기계적 태스크들을 취급하기 위한 소프트웨어를 포함할 수 있다.
2. 예시적인 사용 경우들
[0069] 본 섹션에서, 상술한 예시적인 시스템(100)(도 1)이 실제로 이용될 수 있는 방법을 도시하기 위해 다수의 예시적인 사용 경우들이 제공된다.
2.1 환경적 모니터링
[0070] 다수의 이용들은 스마트폰들의 세트의 환경을 모니터링하는 것과 관련된다. 공중 보건 모니터링 예에서, 온보드 오디오 프로세서는 전형적으로 디바이스의 소유자에 의한 또는 디바이스 근처의 다른 사람들에 의한 기침들의 발생들을 검출하도록 구성될 수 있다. 그와 같은 검출은 예를 들어, 유니버설 배경 모델(Universal Background Model)로서 알려지는 기침들의 기록들의 코퍼스(corpus)에 대해 트레이닝된 통계적 스폿팅 기술들(예를 들어, HMM(Hidden Markov Model) 기술들, GMM(Gaussian Mixture Model) 기술들)을 이용할 수 있다. 로컬로 어그리게이트된 결과들, 예를 들어, 시간당 기침들의 수의 통신은 스케줄에 따라, 또는 레이트가 예상된 또는 최대값을 벗어날 때에 중앙 서버(140) 또는 디바이스(120')에 업로딩될 수 있다. 이러한 방식으로, 제어기(120')(또는 서버(140))는 기침의 로컬 "핫 스폿들(hot spots)"을 식별할 수 있다.
[0071] 다른 교육적 및 공중 보건 이용들은 그와 같은 시스템들의 전염병 애플리케이션들로 가능할 수 있다. 예를 들어, 백일해(whooping cough)는 고도로 전염되는 질병이며 백신들의 이용으로 예방가능한 전세계 사망들의 주원인들 중 하나이다. 예시적인 시스템(100)은 부모들이 의료적 도움을 구할 때를 결정하는 것을 돕기 위해, 그리고 백일해, 천식 및 관련 질병들에 관한 전염병 데이터를 제공하기 위해 기침하거나 천식 증상들과 같은 다른 증상들을 갖는 아이들의 부모들에게 정보를 제공하기 위해 이용될 수 있다.
[0072] 그와 같은 모니터링의 일부 시나리오들에서, 단지 제한된 디바이스들의 서브세트는 기침들을 검출하는데 필요한 로컬 프로세싱을 수행하도록 초기에 구성될 수 있다. 그러나, 제어기(120')는 활동의 가능한 핫 스팟이 존재하는 것으로 결정할 때, 제어기(120')는 그 상황의 범위에 관한 추가적인 정보를 획득하기 위해 핫 스팟에 지리적으로 근접한 추가적인 디바이스들을 인에이블할 수 있다. 일부 예들에서, 제어기(120')는 예를 들어, 사회적 의미에서 가까운 다른 사람들에게 질병의 가능한 전파에 대해 설명하기 위해 사회적 근접도에 기초하여 추가적인 디바이스들을 인에이블할 수 있다. 추가적인 디바이스들을 인에이블링하는데 더하여, 제어기(120')는 디바이스들을 디스에이블할 수 있으며 태스크에 대한 전체 모니터링 세트를 제어할 수 있다.
[0073] 일 변형에서, 시스템(100)은, 환자들이 신속한 치료 또는 임시방편 동작을 받는 것을 보장하게 할 수 있도록, 공격의 시작에서의 아이의 환경에 관한 정보와 함께, 아이들에서의 천식 공격들을 환자들에게 경고하기 위해 센싱된 정보를 이용할 수 있다.
[0074] 또 다른 변형에서, 시스템은 수면성 무호흡과 같은 호흡 장애들의 환자들에게 경고하기 위해 이용될 수 있다. 수면성 무호흡은 종종 코골이를 수반하는, 수면 동안의 비정상적 격막성 호흡 또는 호흡의 비정상적 정지들을 특징으로 하는 장애이다. 종종 코고는 사람은 자신이 코고는 것이나 생명을 위협하는 의학적 문제를 가질 수 있음을 인식하지 못하며, 종종 수년 동안 피로, 주간 졸림증 및 다른 증상들을 겪는다. 진단은 종종 센서들이 셋업된 특정 랩(lab)에서 밤사이의 수면 연구를 요구한다. 코골이 및 코골이 행동의 기록을 갖는 것에 대한 지식은 진단 및 이러한 질병의 치료에 도움을 줄 수 있다. 시스템(100)은 호흡 장애들을 갖는 사람들이 그들의 문제점들을 식별하고 적절한 도움을 구하게 하기 위해 코골이를 인식하고, 그것을 다른 종류들의 유사한 잡음들과 구별하며, 코고는 행동을 검출하고 기록하는데 도움을 주도록 트레이닝될 수 있다.
[0075] 다른 모니터링 이용 경우에서, 디바이스들(120)은 예를 들어, 공장 작업장에서의 노동자들에 대한 환경 사운드 레벨들(예를 들어, 사운드 압력 레벨)을 모니터하도록 이용될 수 있다. 노동자들의 디바이스들(120)은 잡음 레벨을 모니터하고 기록, 예를 들어, 잡음 레벨의 다양한 범위들의 누적 지속기간들을 유지한다. 예를 들어, 잡음 레벨이 특정의 규정된 제한들(예를 들어, 절대 제한, 규정된 사운드 압력 레벨을 초과하는 누적된 시간에 대한 제한 등)을 초과하는 경우에, 이러한 로컬로-결정된 정보는 규칙적 또는 로컬로 트리거링된 기반 상에 제공될 수 있다. 제어기(120')(또는 서버(140))는 예를 들어, 작업장 내의 잡음 레벨과 위치를 상관시키는 로컬로 로깅된 상세한 정보에 기초하여, 높은 잡음 레벨들의 위치를 결정하기 위해 추가적인 디바이스들(120)에 질문할 수 있다. 또한, 예를 들어, 사운드의 소스에 관련된 환경적 사운드의 다른 특성들이 검출될 수 있다. 예를 들어, 머신 타입(예를 들어, 호각, 엔진, 프레스(press), 톱, 드릴 등)은 예를 들어, 패턴 매칭 기술들(예를 들어, HMM, GMM 기술들)을 이용하여 구별될 수 있다.
[0076] 유사한 사운드-레벨 모니터링이 예를 들어, 특정 레스토랑들, 특정 거리들 등에서의 환경적 사운드들 레벨들을 트래킹하기 위해 이용될 수 있으며, 그와 같은 모니터링은 또한 그와 같은 레벨들의 일중 시각(time-of-day) 변동을 식별할 수 있다. 조류학자들은 시간과 공간을 통한 새의 노래들의 존재 또는 부재를 모니터하는 능력에 관심 있을 수 있다. 다른 사람들은 곤충의 습격들을 모니터하기 위해 사운드 어레이들을 이용하는 것에 관심 있을 수 있다. 예시적인 시스템(100)은 제안된 대책들의 효율성을 측정하기 위해 처리 영역들과 제어들을 비교하게 할 수 있다. 일부 예들에서, 디바이스(120)가 통신 시스템(150)에 접속되지 않는 경우에, 정보가 로깅되고, 타임 스탬핑되며 비-휘발성 메모리에 저장되며, 그 후에 디바이스(120)가 다시 한번 접속되거나 그 메모리가 심문될 때 업로딩된다. 이는 자동차 사고 또는 다른 치명적 또는 비-치명적 사건들 후에 전형적인 것일 수 있다.
[0077] 동일한 고속도로상의 대다수의 자동차들이 갑자기 동시에 감속하는 경우에, 네트워크는 수 마일들 뒤의 장애물의 경고를 자동차들에 발행할 것을 결정할 수 있다. 추가로, (통신 네트워크들, 및 가속도계들 및 마이크로폰들 및 GPS/위치 센서들과 같은 센서들을 구비한) 스마트폰들의 어레이를 이용하여 트래픽 흐름을 측정하는 능력은 단기적으로 트래픽 라우팅을 개선하고 장기적으로 트래픽 플래닝(planning)을 개선할 잠재력을 갖는다. 본 발명에서 구상중인 애플리케이션들 중 다수는 단기 및 장기 장점들 둘 다를 가질 수 있다. 단기 장점들은 (라디오 스택과 같은) 낮은 지연을 갖는 네트워크들을 이용하는 한편, 장기 애플리케이션들은 (디바이스가 네트워킹된 크래들(cradle)에 도킹될 때 그날의 종료시에 정보를 업로딩하는 것과 같은) 더 긴 지연을 갖는 네트워크들을 이용할 수 있다.
[0078] 다른 모니터링 이용에서, 전화들은 환경에서 "조정할 명칭"에 대해 인에이블될 수 있으며, 그 노래를 그들의 디바이스 라이브러리에 다운로드하고 서로 다른 노래들의 어그리게이트된 존재를 모니터하는 중앙 제어기에 재생의 위치를 업로딩하는 것 둘 다를 소유자에게 제공한다. 서로 다른 그룹들이 연주하는 여러 스테이지들을 갖는 음악 페스티벌을 고려한다. 사용자가 이들 스테이지들 주변을 걸어감에 따라, 시스템들의 네트워크는 지속적으로 오디오 데이터를 획득하고, 예를 들어 음악을 검출하고 격리시키며, 음악을 식별하며 사용자들에게 연주되는 작품의 명칭, 앨범, 연주하는 아티스트들 등을 보여줄 수 있다. 시스템은 사용자들의 관심분야인 경우에 사용자들이 음악을 구매하게 하기 위한 메커니즘을 제공할 수 있다. 재생되는 음악을 식별하기 위한 자립형 프로그램들이 존재하지만, 이러한 프로그램들은 단일 디바이스가 음악의 양호한 샘플을 수집하게 하고, 서버에 송신하며, 그 후에 가능하게는 음악을 식별하게 요구한다. 반대로, 디바이스들(120)의 네트워크가 데이터를 수집하게 함으로써, 데이터 획득이 더 견고하게 분배되며, 사용자들은 더 빠르게 그들의 식별된 음악을 얻을 수 있다.
[0079] 마케팅 관련된 정보를 결정하기 위해 디바이스들의 환경에서 재생되는 특정 음악의 검출이 어그리게이트될 수 있다. 그들이 라이브들을 시작함에 따라 사람들이 듣는 것을 모니터링함으로써, 시스템은 매체 세그먼트에 관한 상당한 정보를 획득할 수 있다. 재생되는 음악, 연주하는 아티스트/그룹, 구매된 음악의 볼륨(volume) 등에 관해 캡처된 정보는 특히 다양한 차원들 상에 피벗(pivoted)될 때 매우 가치가 있다. 추가로, 음악이 판매되는 스토어들에서, 오디오 배경 및 질질끄는 행동과 같은 특징들이 또한 가치있을 수 있다.
[0080] 이들 디바이스들은 또한 사용자들이 청취하거나 보는 것에 관한 정보를 공유하기 위해, 또는 그들의 친구들이 보거나 청취하는 것을 찾기 위해 이용될 수 있다. 현재 사용자들은 그들의 음악-재생 또는 비디오-시청 행동을 트위트 또는 포스트하려는 노력을 행해야 한다. 그러나, 이러한 수일의 노력은 싫증나게 될 수 있으며, 곧 사용자들은 더 이상 그들이 청취하거나 시청하는 습관들에 관한 정보를 포스팅하지 않을 수 있다. 예시적인 디바이스들(120)은 노래들 또는 TV 프로그램들을 자동으로 식별할 수 있고, 사용자들의 소셜 그래프에서의 친구들에게 알리거나 유사한 청취 또는 시청 관심들을 갖는 사용자들의 가상 커뮤니티들을 생성할 수 있다.
2.2 로컬화 및 트래킹
[0081] 일부 사용 경우들은 오디오 소스들의 로컬화 및/또는 트래킹을 수행하기 위해 디바이스들(120)의 다수의 위치들을 이용한다. 일 예에서, 항공기 잡음 데이터는 디바이스들(120)의 세트의 온-보드 오디오 프로세서에서 구현된 "제트 검출기"를 갖음으로써 획득될 수 있다. 제어기(120')(또는 서버(140))에 보고되는 시끄러운 제트 잡음의 검출시에, 보고 디바이스(들)(120) 근처의 다른 디바이스들(120)이 인에이블된다. 버퍼링된 타임 스탬프 오디오 및 디바이스 위치 데이터가 제어기(120')(또는 서버(140))에 업로딩되며, 여기서 검출된 오디오 소스의 트랙을 결정하기 위해 삼각측량 방식이 이용될 수 있다. 그 트랙에 기초하여, 오디오 소스가 계속 트래킹될 수 있도록 프로젝트 트랙을 따라 추가적인 디바이스들(120)이 인에이블될 수 있다. 소스가 소실되는 경우에(즉, 예상된 지역을 따르지 않는 경우에), 오디오 소스의 위치를 재획득하기 위해 더 넓은 영역을 통해 더 많은 디바이스들(120)이 인에이블될 수 있다. 이러한 방식으로, 시끄러운 항공기의 오디오 트랙들의 전체 평가는 어그리게이티드 획득된 오디오 데이터에 기초하여 결정될 수 있다.
[0082] 디바이스들(120)의 선택된 세트는 오디오 데이터를 획득하기 위한 구성가능한 마이크로폰 메시(mesh)로서 효율적으로 동작한다. 다른 예들에서, 디바이스들(120)은 공간적으로 및/또는 시간적으로 분배된 움직임-관련된 데이터를 획득하기 위한 구성가능한 가속도계 메시로서 동작할 수 있다.
[0083] 예를 들어, 도시에서의 사이렌들을 트래킹하기 위해 유사한 트래킹 정보가 이용될 수 있다. 그와 같은 트래킹은 예를 들어, 응급상황에 의해 영향받을 수 있는 도시에서의 트래픽 흐름을 예측하기 위해 이용될 수 있다.
[0084] 다른 타입의 로컬화가 거의 실시간으로 또는 추후 법의학 모드에서 이용될 수 있다. 예를 들어, 디바이스들(120)은 경찰관들 또는 총격 현장 근처의 행인들에 의해 휴대될 수 있다. 디바이스들(120)(예를 들어, 경찰관들의 디바이스들) 중 하나 또는 둘 이상에 의한 총소리 이벤트의 검출 후에, 제어기(120')(또는 서버(140))는 그 환경에서 경찰관들의 디바이스들(120) 또는 다른 디바이스들(120)로부터 로컬로 버퍼링된 오디오를 업로딩할 수 있으며, 총격자의 위치의 소스의 로컬화를 수행할 수 있다. 거의 실시간 예에서, 이러한 정보는 그들의 경찰 의무들을 조력하기 위해 경찰관들에게 제공될 수 있다. 유사한 타입의 어레인지먼트가 다수의 군인들에 의해 운반되는 디바이스들(120)에 오디오가 버퍼링되는 군사적 상황에서 이용될 수 있으며, 조합된 정보는 저격수 위치의 방향을 추정하기 위해 이용될 수 있다.
[0085] 중앙 서버(140)가 반드시 요구되는 것은 아님을 주목한다. 예를 들어, 디바이스들(120)은 로컬화와 같은 어그리게이티드 분석을 수행하기 위해 정보를 로컬로 교환할 수 있다. 하나의 그와 같은 예에서, 각 디바이스(120)는 관심 이벤트(예를 들어, 총소리)에 대한 검출기를 포함할 수 있으며, 이벤트의 검출시에 원 오디오 또는 오디오의 부분적으로 프로세싱된 버전(예를 들어, 강도 시간 프로파일)을 (예를 들어, 애드 혹 통신을 이용하여) 그들이 획득하는 정보에 기초하여 총격자 방향의 로컬 평가들을 수행하는 인접 디바이스들(120)에 전달할 수 있다.
[0086] 또 다른 시나리오에서, 이들 디바이스들(120)은 적응형 군중 제어를 위해 이용될 수 있다. 하이 트래픽을 갖는 상황들에서, 차량이든 또는 보행자 트래픽이든 간에, 임의의 고정된 또는 임베디드 센서들에 대한 요건들이 없이, 이들 디바이스들(120)은 잡음으로부터 트래픽 흐름을 추정하기 위해 이동 애드 혹 네트워크로서 구성될 수 있다. 동적으로 획득된 트래픽 패턴 정보를 이용하면, 시스템(100)은 사용자들에게 하이 트래픽 대 로우 트래픽 경로들에 대해 알리기 위해 더 낮은 트래픽 밀도의 경로들로 사람들을 향하게 하기 위해 디바이스들(120) 또는 다른 수단들을 통해 명령들을 방송할 수 있고, 서로 다른 게이트들 또는 경로들을 개방할 수 있거나, 초음파파쇄(sonification) 또는 음향 가시화를 이용할 수 있다.
[0087] 관련된 사상은 시스템(100)이 빨리 주변 조건들 및 사운드 트렌드들을 학습할 수 있는 이동 사운드-기반 보안 시스템들을 생성하며, 이것을 이용하여 정상 조건들에서 벗어난 신호 상황들에 이용하는 것이다.
[0088] 다른 사용 경우에서, 이들 디바이스들(120)은 다수의 군중들에서의 트러블의 중심들을 식별하기 위해 정서 검출 및 감정 검출을 이용할 수 있다. 이러한 시스템(100)의 변형은 예를 들어, 스토어들에서의 더 많은 카운터들을 개방하기 위해 관리를 경고하도록 그들의 언어, 또는 비-음성 오디오로 사용자 불만을 검출하기 위해 이용될 수 있다.
[0089] 사용자들이 대형 강당 또는 스포츠 경기장에서 친구들과 만나려 시도할 때, 이동 전화들을 사용하거나 전화들 상에서 대화들을 청취하는 것이 종종 불가능하다. 시스템(100)은 사용자들이 그들의 친구들에게 접근함에 따라 톤 또는 볼륨의 일부 변동으로, 지향성 소리의 가시화 또는 초음파파쇄를 이용하여 친구들의 존재를 표시하기 위해 사용자들의 소셜 그래프들의 지식을 이용할 수 있다. 각 디바이스(120)에서의 그들의 이웃하는 디바이스들(120) 및 그들의 특징들에 대한 지식과 함께 시스템(100)의 피어 투 피어 아키텍처를 이용하면, 시스템(100)은 친구들의 가능한 위치들을 빠르게 그리고 효율적으로 결정할 수 있다. 사용자의 디바이스(120)로부터 획득된 위치 정보 및 배향 정보를 이용함으로써, 시스템(100)은 사용자가 그들의 친구들을 향해 이동하는지 또는 멀어지게 이동하는지 여부(및 그들이 친구들을 향하게 되는지 또는 멀어지는지 여부)를 표시하기 위해, 그리고 그들이 얼마나 멀리 떨어져 있는지에 관한 표시를 제공하기 위해 차별적인 톤들, 볼륨들 또는 다른 신호들을 제공할 수 있다. 이러한 표시의 정밀성은 시스템(100)에 정보를 기여하는 피어 디바이스들(120)의 수와 함께 올라갈 수 있다.
[0090] 다른 로컬화 이용 경우에서, 다수의 디바이스들(120)은 오디오 예를 들어, 그룹 컨퍼런스 호출을 센싱하기 위해 인에이블될 수 있다. 로컬로 획득된 오디오는 화자의 위치를 식별하기 위해, 그리고 디바이스(120)(또는 디바이스들(120))가 호출을 위한 오디오를 발생시키도록 이용되는 것을 제어하기 위해 이용될 수 있다. 예를 들어, 말하는 사람에 최근접한 디바이스(120), 또는 최상의 신호 품질 또는 명료성을 제공하는 디바이스(120)가 선택될 수 있으며, 그에 의해 개선된 오디오 품질이 제공된다.
[0091] 다른 로컬화 이용 경우에서, 디바이스들(120)은 예를 들어, 식료품점 또는 몰(mall)에서 쇼핑 여행 동안 트래킹될 수 있다. 고객 초점 및 관심의 영역들을 식별하기 위해, 그리고 사용자-특정 정보, 예를 들어, 디바이스(120) 근처의 구매 기회들에 관련된 프로모션 정보를 제공하기 위해 대응하는 오디오 또는 비디오 정보를 갖는 사용자에 의해 취해진 트랙이 이용될 수 있다.
[0092] 행해진 실제 구매들과 움직임을 상관시키기 위해, 또는 다양한 클래스들의 아이템들의 관심을 가능하게 하기 위해 트랙의 추후 분석이 이용될 수 있다. 예를 들어, 일 제품 타입의 근처에서 소비된 비교적 많은 시간은 그 제품 타입의 관심을 나타낼 수 있다. 사용자들은 프로모션들을 수신하기 위해 교환시에 그들의 경로가 트래킹되게 하는 옵트 인에 관심 있을 수 있다.
2.3 토픽 모니터링
[0093] 다른 사용 예에서, 디바이스(120)는 그날 동안 대화하는 것에 따라, 그리고 매체 방송들을 청취함에 따라 소유자의 환경을 모니터하도록 인에이블될 수 있다. 예를 들어, 토픽-관련된 키워드들을 스폿팅하는 것에 기초한 토픽 검출 기술들은 사용자에 대한 관심 토픽들을 평가하기 위해 이용될 수 있다. 그날 동안 또는 주기적 요약으로, 사용자는 토픽들에 관련된 부수적 정보를 제공받는다. 예를 들어, 사용자가 특정 토픽에 관한 대화에 진입하는 경우에, 최근 뉴스 또는 배경 자료가 디바이스(120) 상에 제공될 수 있다. 그와 같은 토픽 모니터링은 또한 예를 들어, 사용자의 관심들과 관련하는 광고의 형태로 사용자에게 다른 목표 자료를 제공하는 것이 유용할 수 있다.
[0094] 다른 디바이스들(120)의 구성은 사용자의 디바이스(120)에서 검출되는 것에 기초하여 적응될 수 있다. 예를 들어, 사용자의 디바이스(120)에 지리적으로 근접하거나 소셜로 근접한 다른 디바이스들(120)은 유사한 토픽들의 존재를 검출하도록 구성될 수 있다. 이러한 방식으로, 다른 디바이스들(120)은 토픽들을 올바르게 검출할 더 높은 가능성을 가질 수 있다. 더욱이, 제어기(120') 또는 서버(140)는 토픽에서의 관심 범위를 트래킹할 수 있다.
[0095] 다른 토픽-관련된 모니터링 이용은 이들 광고들이 재생되는 곳을 결정하기 위해 광고하는 오디오 컴포넌트들과 같은 오디오 신호들의 검출을 요청하는 제 3 파티(party)에 관련될 수 있다. 예를 들어, 광고주는 제어기(120') 또는 서버(140)가 광고를 검출하고, 그 후에 광고가 재생되며 잠재적으로 청취되는 곳을 결정하도록 디바이스들(120)을 구성하게 할 수 있다.
[0096] 관련된 이용 경우에서, 시스템(100)은 무슨 프로그램들을 사용자들이 청취하거나 시청하는지를 식별하기 위해, 닐슨-형 시청자 통계들을 얻기 위해, 또는 기업 정보 수집을 획득하기 위해, 전자 프로그램 가이드들(electronic program guides: EPG)과 같은 디바이스들(120)의 센서들로부터 그리고 다른 소스들로부터 수집된 정보를 이용할 수 있다. 현재의 시스템들은 홈 시스템들 또는 수동으로 생성된 다이어리들에 의존하는 경향이 있는데, 이들 둘 다는 에러가 발생하기 쉽다. 예시적인 디바이스들(120) 및 예시적인 시스템(100)을 이용하는 것은 이러한 모니터링이 사용자가 어디에 있든지 간에, 그리고 그들이 사용하는 매체 디바이스가 무엇이든 간에 수행되게, 그리고 예를 들어, 빈 방에서 재생되는 TV로부터의 능동적 청취 또는 시청을 구별하기 위해 사용자 활동으로부터의 정보를 이용하게 허용할 수 있다.
2.4 트리거링 이벤트들
[0097] 일반적으로, 상술한 이용 경우들은 오디오의 로컬 로깅을 시작하기 위해 및/또는 서버(140), 디바이스(120') 및/또는 다른 근처 디바이스들(120)과의 통신을 개시하기 위해 다양한 트리거링 이벤트들을 이용한다. 오디오-기반 이벤트들(예를 들어, 특정 단어들, 구술된 토픽들, 음악, 사운드들 등)에 더하여, 다른 이벤트들은 모니터링 및/또는 통신을 트리거할 수 있다. 예를 들어, 텍스트 통신의 컨텐츠(예를 들어, 단문 메시지 서비스(SMS) 메시지들)는 모니터링을 개시할 수 있고 및/또는 탐색되는 것을 구성할 수 있다. 디바이스에 이용가능한 가속도계 데이터, 생체 데이터 및 (휘도 등에서의 변화와 같은) 비디오 이미지의 검출과 같은 다른 데이터는 또한 트리거에서 이용될 수 있다. 예를 들어, 높은 가속은 차량 사고 또는 추락과 관련될 수 있으며, 이는 오디오 모니터링 또는 서버(140)(또는 디바이스(120'))와의 통신을 개시할 수 있으며, 서버(140)(또는 디바이스(120'))는 오디오 현장(130)에 기초하여 사고가 발생하였는지를 결정할 수 있으며, 그 경우에 응급 도움이 호출될 수 있다.
[0098] 시스템(100)은 또한 노인들과 장애인들의 케어에 이용될 수 있다. 현재 고령 시민들과 장애인들은 그들이 도움을 필요로 할 때, 예를 들어 그들이 넘어지거나 아픈 경우에 시그널링하기 위해 종래의 디바이스를 구매할 수 있다. 그러나, 이들 종래의 시스템들은 사용자가 의식적으로 결정을 행하고 도움을 요청하기 위해 디바이스 상의 버튼을 누를 것을 요구한다. 문제는 사용자가 결정을 행할 수 없거나, 도움을 요청하기에 너무 쑥스러울 수 있거나, 그들의 문제가 도움을 요청하기에 충분히 위태롭지 않다고 느낄 수 있거나, 심지어 도움을 청하기 위해 버튼을 액세스할 수 없을 수 있는 상황들이 존재할 수 있는 것이다. 예를 들어 사용자가 뇌졸중을 일으킬 때 또는 넘어지는 경우에, 노인 사용자는 버튼을 누르기는 것이 어려울 수 있다. 본원에 설명된 시스템(100)은 도움을 위한 호출들, 또는 넘어짐, 떨어진 물체들 등으로부터의 사운드들을 검출하기 위해, 거짓 경보들 및 실제 문제들 사이를 구별하기 위해, 그리고 또한 요청될 때 도움을 호출하기 위해 다른 가속도계 데이터와 함께 하나 또는 둘 이상의 디바이스들(120)로부터의 음성 및 잡음 검출을 조합하도록 데이터 융합 사상들을 이용할 수 있다. 시스템(100)은 또한 호출의 "도움" 쪽과 대화를 하기 위해 스피커 폰을 턴 온할 수 있다.
[0099] 트리거링 이벤트의 다른 형태에서, 디바이스(120)가 예를 들어, 사용자의 주머니에 놓임으로써 직접 음향 환경에서 제거될 때, 오디오 신호 특성들의 변화는 디바이스(120)가 더 이상 열악한 신호-대-잡음비(SNR) 동작 환경에 기초하여 오디오를 획득하기 위해 이용가능하지 않음을 표시하기 위해 제어기(120') 또는 서버(140)에 메시지를 트리거할 수 있다. 유사하게, 디바이스(120)가 주머니에서 나올 때, 그 환경을 다시 모니터링하기 시작할 수 있으며 및/또는 제어기(120')(또는 서버(140))에 다시 한번 이용가능함을 통지할 수 있다. 추가로, 디바이스가 더 이상 적절한 SNR을 획득하지 못할 때, 디바이스(120)는 신호를 획득하고 따라서 전체 SNR을 개선하기 위해 근처의 다른 디바이스들(120)을 인에이블할 수 있다. 추가로, 많은 디바이스들이 현재 사용자에 대한 개선된 SNR을 획득하도록 (주로 빔 형성을 위해 이용되는) 다수의 마이크로폰들을 갖도록 제조된다. 사용자가 종종 그들의 주머니 또는 지갑에 디바이스(120)를 휴대할 수 있음에 따라, 시스템(100)은 디바이스(120)에서의 어느 마이크로폰이 바람직하게 인에이블되는지 또는 최대 SNR을 얻기 위해 무슨 빔 형성 어레이가 최적으로 환기되는지를 선택할 수 있다.
[00100] 일부 예들에서, 차량 텍스팅은 시스템(100)에 의해 디스에이블된다. 이동하는 차량에 있는 채로 지속적인 가속 징후를 검출함으로써 및/또는 운전 동안 수집된 사운드들의 타입을 수집함으로써, 디바이스(120)는 도로 잡음, 엔진 잡음, 휠 베어링 잡음, 브레이킹 잡음을 검출할 수 있다. 이들 사운드들 전부는 차량이 움직이는 동안 사용자가 텍스팅을 위해 그들의 디바이스(120)를 이용하는 것을 디스에이블하거나 인에이블하기 위해 이용될 수 있다. 디바이스(120)는 그 근접성을 질문할 수 있으며 다른 디바이스들(120)이 자동차의 몸체 내에 존재하는지 여부를 결정할 수 있다. 대답이 '예'인 경우를 가정하면, 여전히 텍스트에 대한 개인들의 밸런스를 허용하는 동안 운전자의 디바이스(120)가 텍스팅하는 것에 대한 제한들을 제공하기 위해 추가적인 분석이 이용될 수 있다. 일부 자동차들은 또한 자동차가 움직일 때 안전성 이유들 때문에 네비게이션 제어들을 선택하는 것을 디스에이블하거나 제한한다. 디바이스(120)가 앞좌석 승객을 검출할 수 있는 경우에, 시스템은 네비게이션 제어들을 제한하지 않도록 선택할 수 있다.
[00101] 일부 예들에서, 현재 대화들로부터 획득된 키워드 스폿팅은 송신자 및 수신자 둘 다로부터 어그리게이팅된다. 정상적 전화 대화들의 과정 동안, 디바이스(120)는 대화의 양쪽 파티들에 의해 발음되는 특정 사운드들, 단어들 등을 식별할 수 있다. 시스템(100)은 이들 사운드들을 심문할 수 있으며 그래픽 사용자 인터페이스(GUI) 또는 오디오 기반 또는 텍스트 기반 피드백을 통해 정보를 사용자에게 제공할 수 있다. 일 예로서, 호출이 이제 파리로 여행가려는 것을 가정하면, 디바이스(120)는 파리로의 항공사에 관한 프로모션 가격에 대한 정보를 렌더링할 수 있다.
[00102] 이들 디바이스들(120) 중 하나 또는 둘 이상은 예를 들어, 오디오 스트림들에서 스폿팅하는 키워드를 이용하여, 이들 디바이스들(120)에 의해 획득된 오디오에서의 트렌드들 및 다른 정보를 식별하기 위해 이용될 수 있다. 키워드 트렌드들은 사용자들에 의해 소모된 정보를 적응적으로 중재하거나 수정하기 위해 이용될 수 있다. 일 시나리오에서, 뉴스 미디어, 탐색 엔진들 및 유사한 정보 아울렛들과 같은 정보 소스들은 개별적인 사용자들 또는 사용자들의 그룹들로부터의 트렌드들에 관한 정보를 획득할 수 있으며, 키워드 트렌딩에 기초하여 서로 다른 아이템들을 서로 다른 사용자들에 보여줄 수 있다. 구체적으로 그와 같은 시스템(100)은 사용자들이 선호하는 것으로 알려진 토픽들을 선택할 수 있다.
[00103] 비-음성 오디오에 관한 트렌딩은 사람 흐름 또는 차량 흐름의 패턴들을 식별하기 위해 이용될 수 있다. 음성 및 비-음성 오디오의 어그리게이티드 로그들은 렌트하거나 구매할 덜 시끄러운 아파트나 집들 및 더 잘 방음될 수 있는 호텔들 또는 극장 홀들의 영역을 식별하는 것을 포함하는, 다수의 다양한 애플리케이션들에 대해 이용될 수 있다. 더 긴 기간의 트렌딩 및 트렌드들의 식별 및 주기적 변동들은 오피스들 및 주거지들을 방음하거나 내후하기(weatherproofing) 위해 이용될 수 있다.
2.5 다른 양상들 및 이용들
[00104] 다수의 스마트폰들을 통해 정보를 어그리게이팅하는 능력은 캐리어들의 협력과 함께 또는 그 협력 없이 제공될 수 있다. 이는 예를 들어, 특정 캐리어의 승인을 필요로 하지 않으며 Wi-Fi 및 블루투스®를 거쳐 통신하는 제 3 파티 애플리케이션으로 이루어질 수 있다. 이러한 방식으로, 정보는 다수의 경쟁하는 캐리어들에 의해 서비스되는 전화들에 걸쳐 어그리게이팅될 수 있다.
[00105] 시스템(100)의 예시적인 실시예들에서, 시스템(100)은 동시에 여러 자동차들의 급격한 감속 및 장소, 사이렌들, 키워드들 등과 같은 키 이벤트들을 트리거 오프할 수 있다. 방대한 양의 데이터를 수집하는 능력은 트리거링 능력을 개선할 수 있다. 검색 회사들은 대부분 현대의 검색 엔진들의 인기 이전에 가능했던 것보다 더 많은 데이터를 수집하기 때문에 이전보다 크게 더 양호한 검색 관련성을 제공한다. 그러나 예시적인 시스템(100)으로, 훨씬 더 많은 데이터를 수집할 수 있게 된다. 모든 각각의 전화가 하루에 한 시간 동안 오디오 데이터를 수집한 경우에, 어그리게이트 데이터 자원은 심지어 가장 큰 검색 회사들에 의해 현재 수집된 데이터 콜렉션들보다 훨씬 더 크고 훨씬 더 가치있게 될 것이다.
[00106] 시스템(100)의 일부 예시적인 실시예들에서, 시스템(100)에서의 디바이스(120)가 "화재"와 같은 특정의 중요한 키워드들 및 어구들을 검출할 수 있는 경우에, 시스템(100)은 적절하게 응답할 수 있다. 용어의 중요도 및 긴급성은 무행동의 결과들뿐 아니라 정보 리트리브(retrieval) 분야에 잘 알려지는 용어 가중 개념들 둘 다에 의존한다.
[00107] 유사하게, 시스템(100)이 ("화재"와 같은 키워드 또는 급격한 감속과 같은 디바이스(120)의 일부 다른 센서 상에 수집된 이벤트 또는 기침과 같은 비-단어와 같은) 중요한 용어를 청취하는 경우에, 시스템은 이벤트를 확인하기 위해, 신호 대 잡음비를 개선하기 위해 및/또는 시간 및 공간에서 이벤트를 로컬화하기 위해 다수의 다른 이웃 센서들을 턴 온 할 수 있다.
[00108] 일부 이용들에서, 트렌딩 분석은 시스템(100)을 통해 이용가능한 다량의 데이터를 이용할 수 있다. 상기에 언급된 기침 예를 고려한다. 시간과 공간을 통한 기침들의 어그리게이션들은 시간과 공간을 통한 건강의 트래킹을 제공할 수 있다. 그 방법은 CDC(Centers for Disease Control and Prevention) 보다 몇 주 더 빨리 독감을 예측할 수 있음을 보여주는 경우의 질문들에 기초하여 독감을 예측하는 유사한 일부 방법들이다. 그러나, 제안된 기침 메트릭은 더 많은 수량의 센싱된 데이터에 기초하기 때문에 시간과 공간을 통해 훨씬 더 양호한 해결책을 가져야 한다.
[00109] 다량의 센싱된 데이터의 수집은 다른 정보의 센싱된 이벤트들의 세트들 또는 시퀀스들을 계통적으로 (예를 들어, 통계적 모델에 따라) 예측하는 방식을 제공한다. 그와 같은 예측은 그와 같은 이벤트들에 대한 전송 용량을 개선하기 위해, 예를 들어, 섀넌의 잡음 채널 모델(Shannon's Noisy Channel Model)에 관련된 원리들에 기초하여 효율적으로 활용될 수 있다. 예를 들어, 그와 같은 데이터는 (잡음 채널 모델 이전에) 청취 예상되는 사운드들뿐 아니라 (경보를 울려야 하며 기록을 시작해야 하는 트리거들인) 익명인 사운드들을 예측하는 작업을 더 양호하게 행할, 이벤트들에 대한 더 양호한 "언어 모델"을 생성하게 허용할 수 있다.
[00110] 일부 예들에서, 작업장 모니터링(및 환경의 모니터링)은 시스템(100)에 의해 인에이블될 수 있다. 시스템(100)은 기침들과 같은 음향 이벤트들을 측정함으로써 건강 문제들에 대해 작업장들을 모니터할 수 있는, 스마트폰들 상의 "스마트더스트(smartdust)"를 효율적으로 제공할 수 있다. 더욱이, 일부 이용들에서, 시스템(100)은 잡음과 같은 스트레스의 상관관계들을 센싱할 수 있다. 일부 콜센터들은 예를 들어, 통화량이 비교적 많은 수의 불만족한 고객들을 갖기 때문에 더 많은 스트레스 관련된 질병들을 갖는다. 업무 중뿐 아니라 다른 곳에서 증상들이 발전하기 전에 특정 타입들의 질병들의 위험을 잘 예측하는 것은 가능하다.
[00111] 디바이스들(120)의 애드 혹 네트워크는 다수의 특징들을 미세-조정하기 위해 이용될 수 있다. 예를 들어, 콘서트 홀 음향들을 고려한다. 콘서트 홀들은 전형적으로 그들의 공간의 주된 이용들을 위해 조정된다. 예를 들어, 심포니 홀은 특히 큰 그룹의 아티스트들 및 그들의 악기들에 대해 조정될 수 있으며, 또한 예를 들어 솔로 보컬리스트들에게 적합하지 않을 수 있다. 홀에서의 사운드 품질은 또한 청중의 크기, 그들의 주변 잡음 특성들 등에 의존한다. 시스템(100)의 네트워크는 청중의 많은 수의 디바이스들(120)로부터 데이터가 획득되게 할 수 있어, 홀 관리는 임의의 수의 연주자들 및 악기들로 그리고 서로 다른 청중들과 함께 임의의 퍼포먼스에 대한 주변 잡음 레벨들 및 미세-조정 사운드 레벨들에 적응할 수 있다.
[00112] 애드 혹 네트워크는 또한 모니터링 및 규제 목적들을 위해 이용될 수 있다. 락 콘서트들, 체육 수업들 및 다른 잠재적으로 시끄러운 환경들의 사운드 압력 레벨들 또는 유사한 측정들이 안정한 청취 레벨들에 대해 모니터링될 수 있으며, 위반들은 적절한 관리 또는 규제 기관에 보고된다.
[00113] 그 공간에서의 다수의 디바이스들(120) 및 개별 센서들로부터 획득된 데이터에 기초하여, 큰 강당, 룸들 또는 홀들에서의 온도를 미세-조정하기 위해 유사한 방식이 이용될 수 있다. 대규모 공간들은 에어 덕트들, 창문들, 도어들 및 다른 개구들의 배치에 기초하여, 그들 소유의 기류 및 가열과 냉각 패턴들을 갖는다. 가열과 냉각은 통상적으로 하나 및 종종 그 이상의 센싱 위치들에서의 온도를 측정하는데 기초한다. 센서가 지속적으로 개방된 도어에 의해 야기된 찬바람 또는 햇살이 내리쬐는 창문 근처에 있는 경우에, 그 공간에서의 온도는 불만족스러울 수 있다. 본 발명에 설명된 바와 같은 디바이스들(120)의 세트를 이용하여 여러 위치들에서 온도를 측정함으로써, 더 미세하고, 더 로컬화된 온도 제어가 가능하게 될 것이다.
[00114] 시스템(100)의 일부 예시적인 실시예들은 "옵트 인들(opt ins)"의 작은 샘플에 기초한 예측들을 행할 수 있다. 시스템(100)(예를 들어, "클라우드")은 시스템(100)을 옵트 인하도록 고르는 그 전화들(120)로부터 수집되는 정보에 기초하여 적절한 추론들을 행하는 방법을 결정하기 위해 적절한 로직을 구비할 수 있다. 비록 샘플이 랜덤한 샘플이 아니라는 사실에 대해 설명하기 위해 주의를 요할 수 있지만, 이들 추론들 중 다수는 비교적 간단하다. 스마트폰을 소유하며 참가를 선택한 사람들의 세트는 적어도 단기간에서 특정 인구통계로 기울게 될 것이다.
3. 백업 통신 이용들
[00115] 시스템의 일부 버전들에서, 퍼스널 디바이스들(120)의 세트 중 메시-유사 특징들이 활용될 수 있다. 셀 폰들은 비교적 수동인(수신 전용) 디바이스들로서 보여질 수 있지만, 더 전통적인 전화 및 인터넷 네트워크들에 대한 오버레이로서 매우 신속하게 활성 통신 네트워크를 배치할 수 있는 것이 바람직할 수 있는 경우의, 긴급상황 동안과 같은 때들이 존재한다.
[00116] 9/11과 같은 인공적 이벤트 또는 심각한 허리케인과 같은 자연재해와 같은 긴급상황 동안, 키 통신 인프라구조들의 부분들이 다운될 수 있을 것이다. 통신 네트워크들이 오늘날보다 훨씬 더 보호되었던 때가 있었다. 전화 네트워크는 전력망보다 더 신뢰성 있도록 이용되었다. 교환국들(Central offices)은 전형적으로 배터리들 및 제너레이터들(및 홍수에 취약한 뉴올리언즈와 같은 장소들에서의 잠수함 도어들)로 백업된다. 일반 전화 서비스(Plain old telephone service : POTS) 핸드셋들은 교환국들로부터 전력공급 받도록 이용되었으며, 따라서 서비스는 표준 전력망이 다운되었을지라도 깨어있을 수 있다.
[00117] 오늘날, 대중적인 스토어들에서 팔리는 대부분의 핸드셋들은 전력망에 의존한다. 대부분의 전화들은 다수의 특징들 및 전력 코드를 갖는다. 일부는 배터리 백업을 갖지만, 배터리를 교체할 장려책이 거의 존재하지 않는다. 많은 사람들이 그와 같은 피쳐들에 대해 지불하기를 원하지 않기 때문에 곧 배터리 백업 특징은 과거의 일이 될 수 있다. 엔지니어들은 백년 홍수에 대한 브리지를 설계하고자 하지만, 고객들이 아마도 이용하지 않을 특징들에 대해 지불하도록 고객들을 설득하는 것은 어려운 일이다. 이들 현실들을 고려할 때, 백업 네트워크 적시 납입 방식(just-in-time)을 배치하는 방식을 개발하는 것이 바람직할 수 있다. 그들을 사용하건 아니건 간에 비싼 배터리들 및 제너레이터들과 달리, 전화들에 기초한 백업 네트워크는 전형적으로 대부분의 장비가 이미 배치되어 있기 때문에 있다면 임의의 추가적인 공공 자본을 많이 지불하지 않을 것이다.
[00118] 백업 네트워크의 키 특징들:
1. 양방향 통신 : 전화 수신기들은 정상적으로 수신하지만 또한 정보를 저장하고 포워딩하기 위해 이용될 수 있다. 따라서 예를 들어, 전화가 (주머니나 자동차에 있다고 하는) 이동 플랫폼상에 있었다면, 전하는 일 장소에서 신호를 저장하며 다른 장소로부터 신호를 반복하기 위해 스니커넷(sneakernet) 모드에서 이용될 수 있다.
2. 손상 평가(무엇이 작동하고 무엇이 작동하지 않는지를 신속하고 용이하게 결정하는 능력): 9/11 동안, 많은 정전들이 존재하였지만(예를 들어, 세계 무역 센터 #7, 지붕들 위의 셀 타워들, 세계 무역 센터 #1 및 #2 둘 다 아래의 스위치들, 특정 장소들에서의 경찰 및 화재 라디오 통신 하에서의 파이버 절단들), 일부는 작동하였다(예를 들어, 뉴저지의 셀 타워들, 블랙베리™ 이메일, 위성들 기반의 시스템들). 키 요건은 무엇이 작동하고 무엇이 작동하지 않는지를 결정하고 그들을 필요로 하는 데에 차선책들을 통신하는 것이다. 다수의 주머니들과 자동차들에서의 셀 전화들의 어레이는 무엇이 작동하고 무엇이 작동하지 않는지를 공정하게 신속히 결정할 수 있다. 희망적으로, 이들 디바이스들 중 일부는 그들이 결국 정확하고 시의적절하게 손상 평가 사진을 클라우드에 되돌려 보고할 수 있도록 충분한 영향받는 영역 밖으로 이동하거나 또는 (위성과 같은) 작동하는 어떤 것에 접속될 수 있다. 이러한 정보를 이용하면, 디지털 및 실제 세상 트래픽 둘 다가 적응적으로 재라우팅될 수 있다.
3. 차선책들 : 버스들과 같은 시내 차량들은 배터리들 및 제너레이터들을 갖는다. 곧, 그와 같은 차량들은 또한 위성들에 접속되는 Wi-Fi를 가질 수 있다. 클라우드는 그들이 가장 필요로 하는 곳에 그와 같은 자원들을 보낼 수 있다.
[00119] 본원에 설명된 것과 같은 음향 어레이는 또한 손상 평가에 이용될 수 있다. 예를 들어, 음향 어레이는 시간 및 공간을 통해 어그리게이팅된, 너무 많은 잡음(예를 들어, 폭발들)이 존재하는지 여부뿐 아니라 너무 적은 잡음(인간 활동의 부재)이 존재하는지 여부 둘 다를 결정할 수 있다.
4. 인가 및 프라이버시
[00120] 시스템(100)의 일부 예시적인 실시예들에서, 다음을 포함할 수 있는 하나 또는 둘 이상의 특징들을 이용하여 프라이버시 고려사항들이 해결될 수 있다. 먼저, 사용자가 특정 모니터링 옵션들을 허용하기 위해 명시적으로 "옵트 인"한 경우에만 모니터링이 디바이스(120) 상에 인에이블될 수 있다. 사용자가 그와 같은 모니터링을 수용할 수 있는 이유는 그가 대신에, 예를 들어 더 적절한 탐색 결과들 또는 다른 정보를 제공받음으로써 그에게 가치있는 정보를 획득하는 것이다. 다른 특징은 모니터링된 정보의 암호화에 관련한다. 예를 들어, 제어기(120') 또는 서버(140)에 의한 업로딩 및/또는 프로세싱 동안의 차단을 방지하는 방식으로 오디오가 암호화될 수 있다. 더욱이, 다수의 중앙 제어기들이 이용되는(예를 들어, 셀룰러 전화 캐리어 당 하나의 제어기(120') 또는 서버(140)) 시스템(100)들에서, 사용자는 제어기들 사이의 공유를 명시적으로 허용할 수 있다.
[00121] 일부 예들에서, 디바이스들(120)은 오디오 환경 데이터의 수집을 방해하는 특징들을 가질 수 있다. 그와 같은 특징들은 기계적(예를 들어, 셔터 메커니즘을 갖는 오디오 수집(pickup)을 기계적으로 방지)일 수 있거나 전자적(예를 들어, 디바이스 상의 전자 슬라이더 스위치)일 수 있다.
[00122] 일부 예들에서, 센서들은 (스마트폰에서의) 네트워크의 에지뿐 아니라 (클라우드에서의) 네트워크 둘 다에서, 또한 다른 곳에서 선택적으로 턴 온 또는 오프될 수 있다. 예를 들어, 영화관의 운영자는 영화관에서의 다른 사람들을 성가시게 하는 스피커들을 턴 오프하는 능력을 가질 수 있으며, 유사하게 항공기의 운영자는 동료 승객들의 안전성을 위태롭게 할 수 있는 통신 특징들을 턴 오프하는 능력을 가져야 한다. 더욱이, 비행기 사고와 같은 사건 후에, 당국은 조사에 도움이 될 수 있는 정보에 대해 비행기 상의 스마트폰들을 (유선 또는 무선 인터페이스를 거쳐 비-휘발성일 수 있는 전화의 메모리로) 프로브(probe)하는 능력을 가져야 한다. 다시 말해, 비행기 상의 스마트폰들의 어레이는 장래의 그와 같은 유사한 사건들을 방지하기 위해 일종의 "블랙 박스"로서 기능할 수 있다.
[00123] 그러나, 프라이버시는 또한 시스템(100)의 적어도 일부 버전들에서 중요하다. 일부 예시적인 실시예들에서, 심지어 전화가 바이러스에 의해 감염된 경우더라도, 스마트폰의 소유자는 전화가 사용자의 프라이버시를 침해하지 않는다는 확신으로 커튼을 치는 능력을 가져야 한다. 커튼이 쳐질 때, 사용자는 전화가 곤란할 수 있거나 스스로-유죄일 수 있는 정보를 기록하지 않을 것을 확신하길 원한다. 전화는 발견과 같이 소환장 또는 법정 명령받을 수 있는 정보를 기록하지 않아야 한다. 사용자는 네트워크의 소유자, 정부 당국, 또는 (악의적 해커와 같은) 다른 누군가에 의해 무효로 될 수 없는 방식으로 옵트 아웃할 능력을 가져야 한다. 예를 들어, 프라이버시는 이하에 더 설명된 바와 같은 스위치에 의해 구현될 수 있다.
[00124] 특징 상호작용은 통신 네트워크에서의 까다로운 문제일 수 있다. 상기에 논의된 바와 같이, 많은 파티들이 특정 방식들로 특정 특징들을 턴 온 및 오프하는 능력을 갖는 것이 바람직할 수 있는 한편, 서로 다른 파티들이 복잡한 그리고 예상치못한 방식들로 서로 충돌할 수 있는 커맨드들을 발행할 때 무슨 일이 일어나는지를 모든 파티들에게 명확하게 하는 것이 또한 중요하다.
[00125] 특히, 시스템의 적어도 일부 예시적인 실시예들에서, 전화의 소유자는 담당해야 한다. 그와 같은 실시예들에서, 소유자는 임의의 다른 파티에 의해 무효로 될 수 없는 방식으로 센서들을 물리적으로 접속해제하는 능력을 가질 수 있다. 하나의 그와 같은 방법은 사용자가 전화의 육안 검사(visual inspection)에 의해 검증할 수 있는 방식으로 센서들을 접속해제하는 물리적 스위치를 포함할 수 있다. 물리적 스위치는 사용자에 의해 수동으로 동작될 수 있으며 소프트웨어 제어 하에서 원격으로 무효화될 수 없다.
[00126] 물리적 스위치에 더하여, 공간과 시간을 통해 어그리게이트하는 추론들이 이루어질 수 있는 경우에 센서들의 기록하는 것, 키워드들의 인식하는 것 및 클라우드에 적절한 정보를 업로딩하는 것과 같은 특징들을 턴 온 및 오프하도록 인증된 파티들에 권한을 줄 수 있는 소프트웨어 제어된 스위치가 또한 존재할 수 있다. 정책들은 결국 무엇을 행하도록 허용되는 사람에 관하여, 그리고 무엇이 적절하고 무엇이 적절하지 않은지에 관하여 결정할 수 있다.
다른 디바이스들
[00127] 상기에 도입된 바와 같이, 상술한 예시적인 방식들은 스마트폰들로 제한되지 않는다. 예를 들어, 차량 내 시스템들(예를 들어, 네비게이션 디바이스들), 매체 디바이스들(예를 들어, 텔레비전들, 셋-탑 박스들, 데스크톱 컴퓨터들, 랩톱 컴퓨터들) 및 다른 고정된 또는 이동 디바이스들이 유사한 방식들로 이용될 수 있다. 예를 들어, 차량-내 네비게이션 시스템의 경우에, 차량-내 대화가 모니터링될 수 있으며 논의되는 위치(예를 들어, 레스토랑)에 관한 정보가 디바이스의 디스플레이 상에 제공될 수 있다.
[00128] 그와 같은 시스템에 이용될 수 있는 다른 타입의 디바이스는 전화(디바이스)에 오디오 입력 및 출력을 제공하는 이어폰이다. 이어폰을 이용한 모니터링의 장점은 심지어 관련된 전화가 환경에 노출되지 않을 때에도, 예를 들어 전화가 사용자의 주머니에 있을 때에도 음향 환경에 노출되는 것이며, 그에 의해 개선된 신호-대-잡음비(SNR)를 제공한다. 다른 실시예는 전체 이동 통신(셀 폰)이 이어폰에 포함되게 할 수 있다.
[00129] 그와 같은 시스템(100)에 이용될 수 있는 다른 타입의 디바이스(120)는 보청기이다. 보청기는 본원에 설명된 전체 특징 세트가 실용적이게 할 수 있다. 이것의 장점은 이러한 세대 모집단으로부터 수집될 수 있는 데이터가 그들의 통신 활동들을 위해 전형적으로 헤드폰들을 이용하는 사용자들의 세대에 대해 매우 다르게 생각되는 것이다.
[00130] 상술한 바와 같은 이어폰들의 이용은 전화 사업에서 전략적으로 중요한 "라스트 마일(last mile)"의 소유와 유사한 "라스트 인치(last inch)"의 소유 또는 제어로서 생각될 수 있다. 동일한 다이내믹이 망 중립성(net neutrality)을 통한 논쟁의 기저를 이룬다. 따라서 또한, 라스트 인치 상의 소유는 눈들과 귀들에 대한 논쟁에서 전략적으로 중요해질 것이다. 웹은 현재 거의 아이볼들(eyeballs) 및 마우스 클릭들이지만, 그 논쟁은 귀들뿐 아니라 눈들로의 액세스에 대한 투쟁으로 이동할 것이다. 보청기 또는 이어폰은 스태프의 우두머리로서 보여질 수 있다. 이것은 사용자가 무엇을 듣는지 그리고 사용자가 무엇을 듣지 못하는지를 결정하게 한다. 보청기는 아내가 선호하는 액세스를 제공할 수 있다. 이것은 또한 스팸을 차단할 수 있으며, 원하지 않는 광고들을 필터링 아웃할 수 있다. 대안적으로, 보청기 또는 이어폰은 유급의 탐색과 유사한 경매를 실행할 수 있으며, 이 경우에 보청기는 적합성을 위한 사용자의 필요와 광고주에 대한 유용성 사이의 균형을 찾으려 시도하는 시장 형성자이다.
[00131] 이들 경매들은 전형적으로 광고주들이 그들의 실제 유용성을 제시하게 격려하기 위해 비커리(Vickery) 경매를 이용한다. 사용자가 (마우스 클릭으로) 광고를 팔로우 업(follow up)하도록 선택하는 경우에, 광고주는 제 2의 최고 응찰을 지불한다. 보청기 또는 이어폰은 아마도, 광고를 클릭 온하는 대신에, 사용자가 구술된 커맨드와 같은 일부 다른 수단에 의해 참여하는 것이 더 용이할 수 있더라도, 유사한 방식으로 작업할 수 있다.
[00132] 비록 본 발명은 복수의 분배된 디바이스들로부터 정보를 프로세싱하기 위한 시스템들 및 방법들의 관점에서 설명되었지만, 하나 또는 둘 이상의 단계들 및/또는 컴포넌트들이 마이크로프로세서들/범용 컴퓨터들(도시되지 않음)에 이용하기 위한 소프트웨어로 구현될 수 있음이 고려된다. 본 실시예에서, 상술한 다양한 컴포넌트들 및/또는 단계들의 기능들 중 하나 또는 둘 이상이 컴퓨터를 제어하는 소프트웨어로 구현될 수 있다. 소프트웨어는 컴퓨터에 의한 실행을 위해 (비-제한 예로서, 자기 디스크, 광학 디스크, 플래시 메모리, 하드 드라이브 등과 같은) 비-일시적 유형(tangible) 컴퓨터 판독가능한 매체로 구체화될 수 있다.
[00133] 예를 들어, 소프트웨어의 일부는 퍼스널 디바이스들(120) 및 디바이스(120')에서의 실행을 위한 명령들을 포함할 수 있다. 이러한 소프트웨어는 중앙 스위치 예를 들어, 디바이스들(120, 120')로의 분배를 위해 서버(140)에서, 중앙 위치에서의 비-일시적 유형 컴퓨터 판독가능한 매체 상에 저장될 수 있으며, 디지털 통신 매체를 통해 전송될 수 있으며, 및/또는 (예를 들어, 다운로딩된 애플리케이션들/애플릿들(applets)로서) 디바이스들(120, 120')에서 기계 판독가능한 매체에 저장될 수 있다. 소프트웨어의 일부는 (예를 들어, 프로세서들의 분배된 "클라우드"에서) 중앙 서버들(140)에 호스팅될 수 있으며 서버들(140)의 프로세서들 상의 실행을 위해 비-일시적 유형 컴퓨터-판독가능한 매체 상에 저장함으로써 액세스가능하게 될 수 있다.
[00134] 비록 본 발명은 특정 실시예들을 참조하여 본원에 도시되고 설명되지만, 본 발명은 도시된 상세들로 제한되도록 의도되지 않는다. 오히려, 청구범위의 등가물들의 영역 및 범위 내에서 그리고 본 발명을 이탈하지 않고서 다양한 수정들이 상세들에서 이루어질 수 있다.

Claims (39)

  1. 환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템으로서,
    각 디바이스는 상기 디바이스들의 다른 디바이스들과 및/또는 통신 시스템과 정보를 교환하기 위해 적어도 통신 능력을 갖으며, 및
    상기 디바이스들 중 적어도 일부의 각각은 상기 디바이스에 근접한 상기 환경에 관련된 센서 데이터를 획득하기 위한 하나 또는 둘 이상의 센서들을 가지며, 및
    여기서 상기 통신 시스템 또는 상기 디바이스들 중 하나 또는 둘 이상 중 적어도 하나는 제어기로서 구성되며, 상기 제어기는 상기 복수의 디바이스들 중에서 디바이스들의 서브세트를 선택하도록, 상기 선택된 서브세트의 상기 획득된 센서 데이터에 기초하여 정보를 수신하도록, 및 상기 디바이스들 중 하나 또는 둘 이상에 근접한 상기 환경의 특성을 결정하기 위해 상기 선택된 서브세트로부터 상기 수신된 정보를 조합하도록 구성되는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  2. 제 1 항에 있어서,
    상기 분배된 시스템은 상기 통신 시스템에서 호스팅되는 서버를 포함하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  3. 제 1 항에 있어서,
    상기 디바이스들 중 적어도 하나는 무선 디바이스 또는 유선 디바이스 중 적어도 하나를 포함하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  4. 제 1 항에 있어서,
    상기 디바이스들 중 적어도 하나는 고정된 디바이스 또는 이동 디바이스 중 적어도 하나를 포함하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  5. 제 1 항에 있어서,
    상기 디바이스들 중 적어도 하나는 이동 전화 디바이스, 이어폰, 보청기, 네비게이션 디바이스, 컴퓨터, 적어도 하나의 센서를 갖는 센서 모듈 중 적어도 하나를 포함하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  6. 제 1 항에 있어서,
    상기 하나 또는 둘 이상의 센서들은 마이크로폰, 움직임-관련된 센서, 온도 센서, 생체 센서, 컴퍼스(compass), 이미지 센서, 광 검출 센서, 근접성 센서, 중력 검출 센서, 자기장 검출 센서, 전기장 검출 센서, 진동 센서, 압력 센서, 습도 센서, 수분 센서, 독소 검출 센서, 영양소 검출 센서 또는 페로몬 검출 센서 중 적어도 하나를 포함하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  7. 제 1 항에 있어서,
    상기 디바이스들 중 적어도 하나는 상기 각각의 디바이스의 위치설정을 결정하기 위한 위치설정 모듈을 포함하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  8. 제 1 항에 있어서,
    상기 디바이스들 중 적어도 일부의 각각은 적어도 하나의 이벤트를 결정하기 위해 상기 획득된 센서 데이터를 프로세싱하기 위한 로컬 데이터 분석 모듈을 포함하며, 상기 이벤트는 상기 환경의 특성을 결정하기 위한 제어기에 의해 이용되는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  9. 제 8 항에 있어서,
    상기 로컬 데이터 분석 모듈은 오디오 정보를 프로세싱하기 위해 음향 분석 모듈을 포함하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  10. 제 8 항에 있어서,
    상기 로컬 데이터 분석 모듈은 비-오디오 관련된 정보를 프로세싱하기 위해 센서 분석 모듈을 포함하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  11. 제 1 항에 있어서,
    상기 제어기는 상기 디바이스들 중 적어도 일부에 대한 위치들을 결정하도록 구성되는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  12. 제 11 항에 있어서,
    상기 제어기는 상기 복수의 디바이스들 중에서 상기 결정된 위치들 또는 상기 수신된 정보 중 적어도 하나에 따라 디바이스들의 상기 서브세트를 선택하도록 구성되는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  13. 제 1 항에 있어서,
    상기 제어기는 상기 각각의 디바이스들에서 상기 센서 데이터의 프로세싱 또는 상기 센서 데이터를 획득하는 것 중 적어도 하나에 대한 구성 정보를 상기 디바이스들에 전달하도록 더 구성되는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  14. 제 13 항에 있어서,
    상기 구성 정보는 상기 센서 데이터에서 검출되는 이벤트들을 특성화하는 데이터를 포함하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  15. 제 1 항에 있어서,
    상기 환경은 오디오 현장을 포함하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  16. 제 15 항에 있어서,
    상기 오디오 현장의 특성은 음성 이벤트들 또는 비-음성 이벤트들 중 적어도 하나를 포함하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  17. 제 16 항에 있어서,
    상기 분배된 시스템은 상기 분배된 시스템과 관련되지 않은 사용자로부터의 음성을 기록할 때, 상기 분배된 시스템은 오디오 정보가 기록되고 있음을 표시하기 위해 상기 음성을 기록하는 상기 디바이스 주변의 모든 디바이스들에 경고 표시를 제공하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  18. 제 1 항에 있어서,
    상기 분배된 시스템은 상기 조합된 정보로부터 상기 디바이스들의 사용자들의 모집단에 걸쳐 트렌드 정보를 더 결정하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  19. 제 1 항에 있어서,
    상기 분배된 시스템은 상기 조합된 정보로부터 상기 디바이스들의 사용자들의 모집단에 걸친 이벤트들의 로컬화, 이벤트들의 트래킹, 토픽들 및 트리거링 이벤트들 중 적어도 하나를 더 모니터링하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  20. 제 1 항에 있어서,
    상기 분배된 시스템은 상기 조합된 정보로부터 상기 디바이스들 중 다수의 디바이스들에 관련된 어그리게이티드 움직임-관련된 특성들을 더 결정하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  21. 제 20 항에 있어서,
    상기 어그리게이티드 움직임-관련된 특성들은 인간 또는 차량 흐름 특성들을 포함하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  22. 제 1 항에 있어서,
    상기 디바이스들 중 적어도 하나는 사용자 인터페이스, 디스플레이, 경고 표시기, 스피커 또는 프라이버시 모듈 중 적어도 하나를 포함하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  23. 제 1 항에 있어서,
    상기 제어기는 상기 각각의 디바이스로부터의 확인 표시에 응답하여 상기 디바이스들의 서브세트에서의 상기 디바이스들 중 적어도 하나로부터 상기 정보를 수신하며, 상기 확인 표시는 상기 각각의 정보를 상기 제어기에 방출하는 허가를 표시하는,
    환경에서 분배된 복수의 디바이스들을 포함하는 분배된 시스템.
  24. 환경에서 분배된 복수의 디바이스들과 상호작용하기 위한 제어기로서,
    각 디바이스는 상기 디바이스들 중 다른 디바이스들, 상기 제어기 및/또는 통신 시스템과 정보를 교환하기 위해 적어도 통신 능력을 갖으며, 상기 디바이스들 중 적어도 일부의 각각은 상기 디바이스에 근접한 상기 환경에 관련된 센서 데이터를 획득하기 위한 하나 또는 둘 이상의 센서들을 가지며, 상기 제어기는:
    상기 복수의 디바이스들 중에서 디바이스들의 서브세트를 선택하도록 그리고 상기 디바이스들의 선택된 서브세트의 획득된 센서 데이터에 기초하여 정보를 수신하도록 구성된 선택/획득 모듈; 및
    상기 디바이스들 중 하나 또는 둘 이상에 근접한 상기 환경의 특성을 결정하기 위해 상기 디바이스들의 선택된 서브세트로부터 수신된 정보를 조합하도록 구성된 현장 분석 모듈을 포함하는,
    환경에서 분배된 복수의 디바이스들과 상호작용하기 위한 제어기.
  25. 제 24 항에 있어서,
    상기 제어기는 상기 디바이스들 중 적어도 일부에 대한 위치들을 결정하도록 구성되는,
    환경에서 분배된 복수의 디바이스들과 상호작용하기 위한 제어기.
  26. 제 25 항에 있어서,
    상기 선택/획득 모듈은 상기 복수의 디바이스들 중에서 상기 수신된 정보 또는 상기 결정된 위치들 중 적어도 하나에 따라 디바이스들의 서브세트를 선택하도록 구성되는,
    환경에서 분배된 복수의 디바이스들과 상호작용하기 위한 제어기.
  27. 제 24 항에 있어서,
    상기 선택/획득 모듈은 상기 각각의 디바이스들에서 상기 센서 데이터의 프로세싱 또는 상기 센서 데이터를 획득하는 것 중 적어도 하나에 대한 구성 정보를 상기 디바이스들에 전달하도록 더 구성되는,
    환경에서 분배된 복수의 디바이스들과 상호작용하기 위한 제어기.
  28. 제 24 항에 있어서,
    상기 선택/획득 모듈은 상기 현장 분석 모듈에 의해 결정된 상기 환경의 특성에 응답하여 상기 서브세트에서의 디바이스들의 구성 또는 상기 디바이스들의 서브세트에서의 디바이스들의 선택 중 적어도 하나를 조정하도록 구성되는,
    환경에서 분배된 복수의 디바이스들과 상호작용하기 위한 제어기.
  29. 제 24 항에 있어서,
    마이크로폰, 움직임-관련된 센서, 온도 센서, 생체 센서, 컴퍼스, 이미지 센서, 광 검출 센서, 근접성 센서, 중력 검출 센서, 자기장 검출 센서, 전기장 검출 센서, 진동 센서, 압력 센서, 습도 센서, 수분 센서, 독소 검출 센서, 영양소 검출 센서 또는 페로몬 검출 센서 중 적어도 하나를 포함하는 센서 모듈을 더 포함하는,
    환경에서 분배된 복수의 디바이스들과 상호작용하기 위한 제어기.
  30. 제 29 항에 있어서,
    상기 센서 모듈로부터 센서 데이터를 프로세싱하기 위한 로컬 데이터 분석 모듈을 더 포함하며, 상기 프로세싱된 센서 데이터는 상기 환경의 특성을 결정하기 위해 상기 디바이스들의 선택된 서브세트로부터 수신된 상기 정보와 조합되는,
    환경에서 분배된 복수의 디바이스들과 상호작용하기 위한 제어기.
  31. 제 24 항에 있어서,
    상기 제어기는 상기 환경의 특성에 응답하여 상기 복수의 디바이스들 중 하나 또는 둘 이상에 대해 정보를 완화하거나, 증폭하거나 통과시키는 것 중 적어도 하나를 행하도록 구성되는,
    환경에서 분배된 복수의 디바이스들과 상호작용하기 위한 제어기.
  32. 환경에서 분배된 복수의 디바이스들로부터 정보를 프로세싱하기 위한 방법으로서,
    제어기에 의해 상기 복수의 디바이스들 중에서 디바이스들의 서브세트를 선택하는 단계―상기 제어기는 통신 시스템 또는 디바이스 중 적어도 하나를 포함하고, 각 디바이스는 상기 디바이스들의 다른 디바이스들과 및/또는 통신 시스템과 정보를 교환하기 위해 적어도 통신 능력을 갖으며, 상기 디바이스들 중 적어도 일부의 각각은 상기 디바이스에 근접한 상기 환경에 관련된 센서 데이터를 획득하기 위한 하나 또는 둘 이상의 센서들을 갖음―;
    상기 디바이스들의 선택된 서브세트에 의해 센서 데이터를 획득하는 단계;
    상기 디바이스들의 선택된 서브세트의 상기 획득된 센서 데이터에 기초하여 정보를 수신하는 단계; 및
    상기 디바이스들 중 하나 또는 둘 이상에 근접한 상기 환경의 특성을 결정하기 위해 상기 제어기에 의해, 상기 디바이스들의 선택된 서브세트로부터 상기 수신된 정보를 조합하는 단계를 포함하는,
    환경에서 분배된 복수의 디바이스들로부터 정보를 프로세싱하기 위한 방법.
  33. 제 32 항에 있어서,
    상기 정보를 수신하는 단계는 상기 정보에 대한 상기 제어기로부터의 요청을 수신하기 전에 상기 디바이스들에 버퍼링된 정보를 수신하는 단계를 포함하는,
    환경에서 분배된 복수의 디바이스들로부터 정보를 프로세싱하기 위한 방법.
  34. 제 32 항에 있어서,
    상기 센서 데이터를 획득하는 단계는 적어도 하나의 이벤트를 결정하기 위해 상기 획득된 센서 데이터를 프로세싱하는 단계를 포함하며, 상기 프로세싱된 데이터는 상기 환경의 특성을 결정하기 위해 이용되는,
    환경에서 분배된 복수의 디바이스들로부터 정보를 프로세싱하기 위한 방법.
  35. 제 32 항에 있어서,
    상기 조합된 정보로부터 상기 디바이스들의 사용자들의 모집단에 걸쳐 트렌드 정보를 결정하는 단계를 더 포함하는,
    환경에서 분배된 복수의 디바이스들로부터 정보를 프로세싱하기 위한 방법.
  36. 제 32 항에 있어서,
    상기 조합된 정보로부터 상기 디바이스들의 사용자들의 모집단에 걸친 이벤트들의 로컬화, 이벤트들의 트래킹, 토픽들 및 트리거링 이벤트들 중 적어도 하나를 모니터링하는 단계를 더 포함하는,
    환경에서 분배된 복수의 디바이스들로부터 정보를 프로세싱하기 위한 방법.
  37. 제 32 항에 있어서,
    상기 조합된 정보로부터 상기 디바이스들 중 다수의 디바이스들에 관련된 어그리게이티드 움직임-관련된 특성들을 결정하는 단계를 더 포함하는,
    환경에서 분배된 복수의 디바이스들로부터 정보를 프로세싱하기 위한 방법.
  38. 제 32 항에 있어서,
    상기 환경의 특성에 응답하여 상기 서브세트에서의 상기 디바이스들의 구성 또는 상기 디바이스들의 서브세트에서의 디바이스들의 선택 중 적어도 하나를 조정하는 단계를 더 포함하는,
    환경에서 분배된 복수의 디바이스들로부터 정보를 프로세싱하기 위한 방법.
  39. 제 32 항에 있어서,
    상기 디바이스들의 서브세트에서의 상기 디바이스들 중 적어도 하나로부터의 상기 정보는 상기 각각의 디바이스로부터의 확인 표시에 응답하여 수신되며, 상기 확인 표시는 상기 각각의 정보를 상기 제어기에 방출하는 허가를 표시하는,
    환경에서 분배된 복수의 디바이스들로부터 정보를 프로세싱하기 위한 방법.
KR1020137020252A 2010-12-30 2011-12-30 데이터 획득 디바이스들의 모집단을 이용하는 정보 프로세싱 KR20140024271A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201061428369P 2010-12-30 2010-12-30
US61/428,369 2010-12-30
US201161431507P 2011-01-11 2011-01-11
US61/431,507 2011-01-11
PCT/US2011/068103 WO2012092562A1 (en) 2010-12-30 2011-12-30 Information processing using a population of data acquisition devices

Publications (1)

Publication Number Publication Date
KR20140024271A true KR20140024271A (ko) 2014-02-28

Family

ID=46383554

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137020252A KR20140024271A (ko) 2010-12-30 2011-12-30 데이터 획득 디바이스들의 모집단을 이용하는 정보 프로세싱

Country Status (7)

Country Link
US (4) US10045321B2 (ko)
EP (1) EP2659366A1 (ko)
JP (1) JP2014504112A (ko)
KR (1) KR20140024271A (ko)
CN (1) CN103688245A (ko)
CA (1) CA2823346A1 (ko)
WO (1) WO2012092562A1 (ko)

Cited By (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101697243B1 (ko) * 2015-08-28 2017-01-18 라임아이 주식회사 복수개의 센서 비콘을 통해 구성되는 네트워크 및 이의 동작 방법
KR20180039476A (ko) * 2016-10-10 2018-04-18 한화테크윈 주식회사 영상획득장치 및 그의 구동 방법
KR20180133523A (ko) * 2017-05-16 2018-12-14 애플 인크. 디지털 어시스턴트의 트리거의 검출
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
US12010262B2 (en) 2013-08-06 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices
US12014118B2 (en) 2017-05-15 2024-06-18 Apple Inc. Multi-modal interfaces having selection disambiguation and text modification capability

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9135797B2 (en) * 2006-12-28 2015-09-15 International Business Machines Corporation Audio detection using distributed mobile computing
US9037728B2 (en) * 2011-03-11 2015-05-19 International Business Machines Corporation Situation-driven spontaneous networking
WO2013045751A1 (en) * 2011-09-30 2013-04-04 Nokia Corporation Method and apparatus for identity expression in digital media
JP2013257327A (ja) 2012-06-11 2013-12-26 Samsung Electronics Co Ltd 目的地設定および情報提供のための端末装置、方法およびシステム
US9374679B2 (en) 2012-06-11 2016-06-21 Samsung Electronics Co., Ltd. Service providing device, service providing system including user profile server, and service providing method for service providing device
EP2675147B1 (en) * 2012-06-11 2022-03-23 Samsung Electronics Co., Ltd. Service providing system in a vehicle including display device and mobile device, and method for providing service using the same
US9502029B1 (en) * 2012-06-25 2016-11-22 Amazon Technologies, Inc. Context-aware speech processing
WO2014016645A1 (en) * 2012-07-25 2014-01-30 Nokia Corporation A shared audio scene apparatus
US8878043B2 (en) * 2012-09-10 2014-11-04 uSOUNDit Partners, LLC Systems, methods, and apparatus for music composition
US9449121B2 (en) * 2012-10-30 2016-09-20 Apple Inc. Venue based real time crowd modeling and forecasting
US9247367B2 (en) * 2012-10-31 2016-01-26 International Business Machines Corporation Management system with acoustical measurement for monitoring noise levels
US20140270284A1 (en) * 2013-03-13 2014-09-18 Aliphcom Characteristic-based communications
US9307386B2 (en) 2013-03-22 2016-04-05 Global Tel*Link Corporation Multifunction wireless device
JP2014197809A (ja) * 2013-03-29 2014-10-16 富士通株式会社 検索システム、検索装置、検索プログラムおよび検索方法
FR3005824B1 (fr) * 2013-05-16 2015-06-19 Airbus Operations Sas Gestion distribuee des communications bord-sol dans un aeronef
US20140369535A1 (en) * 2013-06-14 2014-12-18 Starkey Laboratories, Inc. Method and apparatus for advertisement supported hearing assistance device
DE102013220370A1 (de) 2013-07-05 2015-01-08 Traffego GmbH Verfahren zum Betreiben eines Geräts in einem dezentralen Netzwerk, Datenbank und/oder Scanner-Kommunikationsmodul ausgebildet zur Durchführung des Verfahrens und Netzwerk ausgebildet zur Durchführung des Verfahrens
GB2516768B (en) 2013-07-22 2016-02-03 Quvium Uk Ltd Cough detection, analysis, and communication platform
US9245192B2 (en) * 2013-09-20 2016-01-26 Here Global B.V. Ad collateral detection
EP3120578B2 (en) 2014-03-19 2022-08-17 Bose Corporation Crowd sourced recommendations for hearing assistance devices
EP3123355B1 (en) 2014-03-24 2019-03-20 Sonova AG System comprising an audio device and a mobile device for displaying information concerning the audio device
KR20150111157A (ko) * 2014-03-25 2015-10-05 삼성전자주식회사 보청기의 소리를 조정하는 방법, 이를 수행하는 보청기 및 전자 장치
JP6510231B2 (ja) * 2014-08-27 2019-05-08 京セラ株式会社 携帯電子機器
JP6243835B2 (ja) 2014-08-27 2017-12-06 京セラ株式会社 携帯電子機器及び制御方法
US9516413B1 (en) 2014-09-30 2016-12-06 Apple Inc. Location based storage and upload of acoustic environment related information
US9374675B2 (en) * 2014-11-06 2016-06-21 International Business Machines Corporation Public service awareness of crowd movement and concentration
US9432506B2 (en) * 2014-12-23 2016-08-30 Intel Corporation Collaborative phone reputation system
US10485452B2 (en) * 2015-02-25 2019-11-26 Leonardo Y. Orellano Fall detection systems and methods
CN105991611B (zh) * 2015-03-02 2020-06-30 阿里巴巴集团控股有限公司 管理账号的方法及系统
US9858284B2 (en) 2015-04-21 2018-01-02 International Business Machines Corporation Crowd sourced data sampling at the crowd
US9838495B2 (en) * 2015-04-21 2017-12-05 International Business Machines Corporation Managing data acquisition
CN104994146A (zh) * 2015-06-24 2015-10-21 马秋平 一种智能车载视讯网络
US10255285B2 (en) * 2015-08-31 2019-04-09 Bose Corporation Predicting acoustic features for geographic locations
EP3350980B1 (en) 2015-09-14 2021-11-03 Cogito Corporation Systems and methods for managing, analyzing, and providing visualizations of multi-party dialogs
US10013996B2 (en) 2015-09-18 2018-07-03 Qualcomm Incorporated Collaborative audio processing
US9706300B2 (en) * 2015-09-18 2017-07-11 Qualcomm Incorporated Collaborative audio processing
US10542315B2 (en) 2015-11-11 2020-01-21 At&T Intellectual Property I, L.P. Method and apparatus for content adaptation based on audience monitoring
US10089987B2 (en) * 2015-12-21 2018-10-02 Invensense, Inc. Music detection and identification
US10591902B2 (en) * 2016-01-03 2020-03-17 Purdue Research Foundation Microcontroller energy management system
WO2017130537A1 (ja) * 2016-01-29 2017-08-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR102603634B1 (ko) * 2016-02-04 2023-11-20 애플 인크. 무선 레인징에 기초한 전자 디바이스들의 제어 및 정보의 디스플레이
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
CN106248918A (zh) * 2016-09-30 2016-12-21 惠州市埃德加科技有限公司 钥匙放置装置
DE102017200100B3 (de) * 2017-01-05 2018-03-15 Volkswagen Aktiengesellschaft Verfahren zur kollektiven Erfassung von Daten in einem Mobilfunknetz sowie Datenerfassungsrechner und Mobilfunknetz-Verwaltungseinheit zur Verwendung bei dem Verfahren
US10140835B2 (en) 2017-04-05 2018-11-27 Cisco Technology, Inc. Monitoring of vectors for epidemic control
TR201705393A2 (tr) * 2017-04-11 2017-07-21 Gentek Elektronik Sanayi Ticaret Anonim Sirketi Taşinabi̇li̇r ve şarj edi̇lebi̇li̇r bi̇r nem ve sicaklik kayit ci̇hazi
US20200380880A1 (en) * 2017-05-31 2020-12-03 Honda Motor Co., Ltd. Know-how information processing system, method and device
CN110809749A (zh) * 2017-06-16 2020-02-18 本田技研工业株式会社 互动装置、互动方法及程序
US10719635B2 (en) * 2017-10-02 2020-07-21 Siemens Mobility, Inc. Digital bridge for drawing and configuration tools
EP3625697A1 (en) * 2017-11-07 2020-03-25 Google LLC Semantic state based sensor tracking and updating
US10825564B1 (en) * 2017-12-11 2020-11-03 State Farm Mutual Automobile Insurance Company Biometric characteristic application using audio/video analysis
US10503970B1 (en) 2017-12-11 2019-12-10 State Farm Mutual Automobile Insurance Company Method and system for identifying biometric characteristics using machine learning techniques
CA3091327A1 (en) 2018-02-15 2019-08-22 Johnson Controls Fire Protection LP Gunshot detection system with ambient noise modeling and monitoring
DE102018207280A1 (de) * 2018-05-09 2019-11-14 Robert Bosch Gmbh Verfahren und Vorrichtung zur luftschallakustischen Überwachung eines Außen- und/oder eines Innenraums eines Fahrzeugs, Fahrzeug sowie computerlesbares Speichermedium
EP3621050B1 (en) 2018-09-05 2022-01-26 Honeywell International Inc. Method and system for improving infection control in a facility
US11153281B2 (en) 2018-12-06 2021-10-19 Bank Of America Corporation Deploying and utilizing a dynamic data stenciling system with a smart linking engine
US10978199B2 (en) 2019-01-11 2021-04-13 Honeywell International Inc. Methods and systems for improving infection control in a building
US10831824B1 (en) * 2019-07-01 2020-11-10 Koye Corp. Audio segment based and/or compilation based social networking platform
US10999778B1 (en) * 2019-11-27 2021-05-04 Rockwell Collins, Inc. System and method for adaptive position-location information exchanges
US11737121B2 (en) 2021-08-20 2023-08-22 Rockwell Collins, Inc. System and method to compile and distribute spatial awareness information for network
US11977173B2 (en) 2019-11-27 2024-05-07 Rockwell Collins, Inc. Spoofing and denial of service detection and protection with doppler nulling (spatial awareness)
US11665658B1 (en) 2021-04-16 2023-05-30 Rockwell Collins, Inc. System and method for application of doppler corrections for time synchronized transmitter and receiver
US11296966B2 (en) * 2019-11-27 2022-04-05 Rockwell Collins, Inc. System and method for efficient information collection and distribution (EICD) via independent dominating sets
US11290942B2 (en) 2020-08-07 2022-03-29 Rockwell Collins, Inc. System and method for independent dominating set (IDS) based routing in mobile AD hoc networks (MANET)
US11726162B2 (en) 2021-04-16 2023-08-15 Rockwell Collins, Inc. System and method for neighbor direction and relative velocity determination via doppler nulling techniques
US11363391B2 (en) 2020-03-24 2022-06-14 Sonova Ag Systems and methods for biomarker analysis on a hearing device
US11568887B1 (en) * 2020-04-17 2023-01-31 Aglogica Holding, Inc. Devices, systems, and methods for real time surveillance of audio streams and uses therefore
CN111582097A (zh) * 2020-04-28 2020-08-25 百色市人民医院 一种疫情监控系统
US11620594B2 (en) 2020-06-12 2023-04-04 Honeywell International Inc. Space utilization patterns for building optimization
US11783652B2 (en) 2020-06-15 2023-10-10 Honeywell International Inc. Occupant health monitoring for buildings
US11914336B2 (en) 2020-06-15 2024-02-27 Honeywell International Inc. Platform agnostic systems and methods for building management systems
US11783658B2 (en) 2020-06-15 2023-10-10 Honeywell International Inc. Methods and systems for maintaining a healthy building
US11823295B2 (en) 2020-06-19 2023-11-21 Honeywell International, Inc. Systems and methods for reducing risk of pathogen exposure within a space
US11184739B1 (en) 2020-06-19 2021-11-23 Honeywel International Inc. Using smart occupancy detection and control in buildings to reduce disease transmission
US11619414B2 (en) 2020-07-07 2023-04-04 Honeywell International Inc. System to profile, measure, enable and monitor building air quality
US11402113B2 (en) 2020-08-04 2022-08-02 Honeywell International Inc. Methods and systems for evaluating energy conservation and guest satisfaction in hotels
CN111953783A (zh) * 2020-08-14 2020-11-17 赫谱信息技术有限公司 用于仓储搬运设备的数据采集分析系统及其方法
US11894145B2 (en) 2020-09-30 2024-02-06 Honeywell International Inc. Dashboard for tracking healthy building performance
US11372383B1 (en) 2021-02-26 2022-06-28 Honeywell International Inc. Healthy building dashboard facilitated by hierarchical model of building control assets
US11662115B2 (en) 2021-02-26 2023-05-30 Honeywell International Inc. Hierarchy model builder for building a hierarchical model of control assets
US11474489B1 (en) 2021-03-29 2022-10-18 Honeywell International Inc. Methods and systems for improving building performance

Family Cites Families (182)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3045840A (en) 1961-06-30 1962-07-24 Jr Harlan J Donelson Material spreading mechanism
US3876843A (en) 1973-01-02 1975-04-08 Textron Inc Directional hearing aid with variable directivity
US4088849A (en) 1975-09-30 1978-05-09 Victor Company Of Japan, Limited Headphone unit incorporating microphones for binaural recording
JPS5944639B2 (ja) 1975-12-02 1984-10-31 フジゼロツクス カブシキガイシヤ 音声による異同認識方式における標準パタ−ン更新方法
US4947440A (en) 1988-10-27 1990-08-07 The Grass Valley Group, Inc. Shaping of automatic audio crossfade
WO1994025957A1 (en) 1990-04-05 1994-11-10 Intelex, Inc., Dba Race Link Communications Systems, Inc. Voice transmission system and method for high ambient noise conditions
US5208867A (en) 1990-04-05 1993-05-04 Intelex, Inc. Voice transmission system and method for high ambient noise conditions
US5267321A (en) 1991-11-19 1993-11-30 Edwin Langberg Active sound absorber
US5887070A (en) 1992-05-08 1999-03-23 Etymotic Research, Inc. High fidelity insert earphones and methods of making same
US5317273A (en) 1992-10-22 1994-05-31 Liberty Mutual Hearing protection device evaluation apparatus
US5524056A (en) 1993-04-13 1996-06-04 Etymotic Research, Inc. Hearing aid having plural microphones and a microphone switching system
US6553130B1 (en) 1993-08-11 2003-04-22 Jerome H. Lemelson Motor vehicle warning and control system and method
JPH0877468A (ja) 1994-09-08 1996-03-22 Ono Denki Kk 監視装置
US5577511A (en) 1995-03-29 1996-11-26 Etymotic Research, Inc. Occlusion meter and associated method for measuring the occlusion of an occluding object in the ear canal of a subject
US6118877A (en) 1995-10-12 2000-09-12 Audiologic, Inc. Hearing aid with in situ testing capability
US5903868A (en) 1995-11-22 1999-05-11 Yuen; Henry C. Audio recorder with retroactive storage
DE19630109A1 (de) 1996-07-25 1998-01-29 Siemens Ag Verfahren zur Sprecherverifikation anhand mindestens eines von einem Sprecher eingesprochenen Sprachsignals, durch einen Rechner
FI108909B (fi) 1996-08-13 2002-04-15 Nokia Corp Kuuloke-elementti ja päätelaite
DE19640140C2 (de) 1996-09-28 1998-10-15 Bosch Gmbh Robert Rundfunkempfänger mit einer Aufzeichnungseinheit für Audiodaten
US5946050A (en) 1996-10-04 1999-08-31 Samsung Electronics Co., Ltd. Keyword listening device
JPH10162283A (ja) 1996-11-28 1998-06-19 Hitachi Ltd 道路状況監視装置
US5878147A (en) 1996-12-31 1999-03-02 Etymotic Research, Inc. Directional microphone assembly
US6021325A (en) 1997-03-10 2000-02-01 Ericsson Inc. Mobile telephone having continuous recording capability
US6021207A (en) 1997-04-03 2000-02-01 Resound Corporation Wireless open ear canal earpiece
US6056698A (en) 1997-04-03 2000-05-02 Etymotic Research, Inc. Apparatus for audibly monitoring the condition in an ear, and method of operation thereof
FI104662B (fi) 1997-04-11 2000-04-14 Nokia Mobile Phones Ltd Antennijärjestely pienikokoisiin radioviestintä-laitteisiin
US5933510A (en) 1997-10-02 1999-08-03 Siemens Information And Communication Networks, Inc. User selectable unidirectional/omnidirectional microphone housing
US6163338A (en) 1997-12-11 2000-12-19 Johnson; Dan Apparatus and method for recapture of realtime events
US6606598B1 (en) 1998-09-22 2003-08-12 Speechworks International, Inc. Statistical computing and reporting for interactive speech applications
US6400652B1 (en) 1998-12-04 2002-06-04 At&T Corp. Recording system having pattern recognition
US6359993B2 (en) 1999-01-15 2002-03-19 Sonic Innovations Conformal tip for a hearing aid with integrated vent and retrieval cord
US6804638B2 (en) 1999-04-30 2004-10-12 Recent Memory Incorporated Device and method for selective recall and preservation of events prior to decision to record the events
US6920229B2 (en) 1999-05-10 2005-07-19 Peter V. Boesen Earpiece with an inertial sensor
US6163508A (en) 1999-05-13 2000-12-19 Ericsson Inc. Recording method having temporary buffering
US6493204B1 (en) 1999-07-09 2002-12-10 Kelsey-Hayes Company Modulated voltage for a solenoid valve
FI19992351A (fi) 1999-10-29 2001-04-30 Nokia Mobile Phones Ltd Puheentunnistus
FR2805072B1 (fr) 2000-02-16 2002-04-05 Touchtunes Music Corp Procede d'ajustement du volume sonore d'un enregistrement sonore numerique
US7050592B1 (en) 2000-03-02 2006-05-23 Etymotic Research, Inc. Hearing test apparatus and method having automatic starting functionality
GB2360165A (en) 2000-03-07 2001-09-12 Central Research Lab Ltd A method of improving the audibility of sound from a loudspeaker located close to an ear
US20010046304A1 (en) 2000-04-24 2001-11-29 Rast Rodger H. System and method for selective control of acoustic isolation in headsets
US6661901B1 (en) 2000-09-01 2003-12-09 Nacre As Ear terminal with microphone for natural voice rendition
NO312570B1 (no) 2000-09-01 2002-05-27 Sintef Stöybeskyttelse med verifiseringsanordning
US7039195B1 (en) 2000-09-01 2006-05-02 Nacre As Ear terminal
US6754359B1 (en) 2000-09-01 2004-06-22 Nacre As Ear terminal with microphone for voice pickup
US6748238B1 (en) 2000-09-25 2004-06-08 Sharper Image Corporation Hands-free digital recorder system for cellular telephones
IL149968A0 (en) 2002-05-31 2002-11-10 Yaron Mayer System and method for improved retroactive recording or replay
US6687377B2 (en) 2000-12-20 2004-02-03 Sonomax Hearing Healthcare Inc. Method and apparatus for determining in situ the acoustic seal provided by an in-ear device
US8086287B2 (en) 2001-01-24 2011-12-27 Alcatel Lucent System and method for switching between audio sources
US20020106091A1 (en) 2001-02-02 2002-08-08 Furst Claus Erdmann Microphone unit with internal A/D converter
US20020118798A1 (en) 2001-02-27 2002-08-29 Christopher Langhart System and method for recording telephone conversations
DE10112305B4 (de) 2001-03-14 2004-01-08 Siemens Ag Gehörschutz und Verfahren zum Betrieb einer geräuschemittierenden Einrichtung
US7039585B2 (en) 2001-04-10 2006-05-02 International Business Machines Corporation Method and system for searching recorded speech and retrieving relevant segments
US20030007648A1 (en) 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
US7409349B2 (en) 2001-05-04 2008-08-05 Microsoft Corporation Servers for web enabled speech recognition
US7158933B2 (en) 2001-05-11 2007-01-02 Siemens Corporate Research, Inc. Multi-channel speech enhancement system and method based on psychoacoustic masking effects
ITMI20011060A1 (it) 2001-05-22 2002-11-22 Ausimont Spa Composizioni fluoroelastomeriche
US6639987B2 (en) 2001-12-11 2003-10-28 Motorola, Inc. Communication device with active equalization and method therefor
JP2003204282A (ja) 2002-01-07 2003-07-18 Toshiba Corp 無線通信機能付きヘッドセット、これを用いたコミュニケーション記録システム、およびコミュニケーション制御方式を選択可能なヘッドセットシステム
KR100456020B1 (ko) 2002-02-09 2004-11-08 삼성전자주식회사 에이브이 기기의 기록매체 사용방법
US6728385B2 (en) 2002-02-28 2004-04-27 Nacre As Voice detection and discrimination apparatus and method
US7035091B2 (en) 2002-02-28 2006-04-25 Accenture Global Services Gmbh Wearable computer system and modes of operating the system
US7209648B2 (en) 2002-03-04 2007-04-24 Jeff Barber Multimedia recording system and method
US20040203351A1 (en) 2002-05-15 2004-10-14 Koninklijke Philips Electronics N.V. Bluetooth control device for mobile communication apparatus
EP1385324A1 (en) 2002-07-22 2004-01-28 Siemens Aktiengesellschaft A system and method for reducing the effect of background noise
US7072482B2 (en) 2002-09-06 2006-07-04 Sonion Nederland B.V. Microphone with improved sound inlet port
DE60239534D1 (de) 2002-09-11 2011-05-05 Hewlett Packard Development Co Mobilesendgerät mit Bidirektioneler Betriebsart und Verfahren für dessen Herstellung
US7892180B2 (en) 2002-11-18 2011-02-22 Epley Research Llc Head-stabilized medical apparatus, system and methodology
JP4033830B2 (ja) 2002-12-03 2008-01-16 ホシデン株式会社 マイクロホン
US8086093B2 (en) 2002-12-05 2011-12-27 At&T Ip I, Lp DSL video service with memory manager
US20040125965A1 (en) 2002-12-27 2004-07-01 William Alberth Method and apparatus for providing background audio during a communication session
US20040190737A1 (en) 2003-03-25 2004-09-30 Volker Kuhnel Method for recording information in a hearing device as well as a hearing device
US7406179B2 (en) 2003-04-01 2008-07-29 Sound Design Technologies, Ltd. System and method for detecting the insertion or removal of a hearing instrument from the ear canal
US7430299B2 (en) 2003-04-10 2008-09-30 Sound Design Technologies, Ltd. System and method for transmitting audio via a serial data port in a hearing instrument
US7627132B2 (en) 2003-06-06 2009-12-01 Sony Ericsson Mobile Communications Ab Wind noise reduction for microphone
CN103379418A (zh) 2003-06-24 2013-10-30 Gn瑞声达A/S 带有协调声音处理的双耳助听器系统
US20040264938A1 (en) 2003-06-27 2004-12-30 Felder Matthew D. Audio event detection recording apparatus and method
US7433714B2 (en) 2003-06-30 2008-10-07 Microsoft Corporation Alert mechanism interface
US7149693B2 (en) 2003-07-31 2006-12-12 Sony Corporation Automated digital voice recorder to personal information manager synchronization
US20050058313A1 (en) 2003-09-11 2005-03-17 Victorian Thomas A. External ear canal voice detection
US20090286515A1 (en) 2003-09-12 2009-11-19 Core Mobility, Inc. Messaging systems and methods
US7099821B2 (en) 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
US20050068171A1 (en) 2003-09-30 2005-03-31 General Electric Company Wearable security system and method
US7190795B2 (en) 2003-10-08 2007-03-13 Henry Simon Hearing adjustment appliance for electronic audio equipment
EP1702497B1 (en) 2003-12-05 2015-11-04 3M Innovative Properties Company Method and apparatus for objective assessment of in-ear device acoustical performance
DE102004011149B3 (de) 2004-03-08 2005-11-10 Infineon Technologies Ag Mikrophon und Verfahren zur Herstellung eines Mikrophons
US7899194B2 (en) 2005-10-14 2011-03-01 Boesen Peter V Dual ear voice communication device
US7778434B2 (en) 2004-05-28 2010-08-17 General Hearing Instrument, Inc. Self forming in-the-ear hearing aid with conical stent
US7203871B2 (en) * 2004-06-03 2007-04-10 Cisco Technology, Inc. Arrangement in a network node for secure storage and retrieval of encoded data distributed among multiple network nodes
US20050281421A1 (en) 2004-06-22 2005-12-22 Armstrong Stephen W First person acoustic environment system and method
US7317932B2 (en) 2004-06-23 2008-01-08 Inventec Appliances Corporation Portable phone capable of being switched into hearing aid function
EP1612660A1 (en) 2004-06-29 2006-01-04 GMB Tech (Holland) B.V. Sound recording communication system and method
US7602933B2 (en) 2004-09-28 2009-10-13 Westone Laboratories, Inc. Conformable ear piece and method of using and making same
EP1643798B1 (en) 2004-10-01 2012-12-05 AKG Acoustics GmbH Microphone comprising two pressure-gradient capsules
EP1795045B1 (en) 2004-10-01 2012-11-07 Hear Ip Pty Ltd Acoustically transparent occlusion reduction system and method
US7715577B2 (en) 2004-10-15 2010-05-11 Mimosa Acoustics, Inc. System and method for automatically adjusting hearing aid based on acoustic reflectance
US8594341B2 (en) 2004-10-18 2013-11-26 Leigh M. Rothschild System and method for selectively switching between a plurality of audio channels
US7348895B2 (en) 2004-11-03 2008-03-25 Lagassey Paul J Advanced automobile accident detection, data recordation and reporting system
WO2006054698A1 (ja) 2004-11-19 2006-05-26 Victor Company Of Japan, Limited 映像音声記録装置及び方法、並びに、映像音声再生装置及び方法
JP4474266B2 (ja) * 2004-11-29 2010-06-02 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにコンピュータ・プログラム
US7450730B2 (en) 2004-12-23 2008-11-11 Phonak Ag Personal monitoring system for a user and method for monitoring a user
US20070189544A1 (en) 2005-01-15 2007-08-16 Outland Research, Llc Ambient sound responsive media player
US8160261B2 (en) 2005-01-18 2012-04-17 Sensaphonics, Inc. Audio monitoring system
US7356473B2 (en) 2005-01-21 2008-04-08 Lawrence Kates Management and assistance system for the deaf
US20060195322A1 (en) 2005-02-17 2006-08-31 Broussard Scott J System and method for detecting and storing important information
US20060188105A1 (en) 2005-02-18 2006-08-24 Orval Baskerville In-ear system and method for testing hearing protection
US8102973B2 (en) 2005-02-22 2012-01-24 Raytheon Bbn Technologies Corp. Systems and methods for presenting end to end calls and associated information
WO2006105105A2 (en) 2005-03-28 2006-10-05 Sound Id Personal sound system
TWM286532U (en) 2005-05-17 2006-01-21 Ju-Tzai Hung Bluetooth modular audio I/O device
US7464029B2 (en) 2005-07-22 2008-12-09 Qualcomm Incorporated Robust separation of speech signals in a noisy environment
US20070036377A1 (en) 2005-08-03 2007-02-15 Alfred Stirnemann Method of obtaining a characteristic, and hearing instrument
KR20080043358A (ko) 2005-08-19 2008-05-16 그레이스노트 아이엔씨 재생 디바이스의 동작을 제어하는 방법 및 시스템
US7962340B2 (en) 2005-08-22 2011-06-14 Nuance Communications, Inc. Methods and apparatus for buffering data for use in accordance with a speech recognition system
EP1801803B1 (en) 2005-12-21 2017-06-07 Advanced Digital Broadcast S.A. Audio/video device with replay function and method for handling replay function
US7756285B2 (en) 2006-01-30 2010-07-13 Songbird Hearing, Inc. Hearing aid with tuned microphone cavity
US7872574B2 (en) * 2006-02-01 2011-01-18 Innovation Specialists, Llc Sensory enhancement systems and methods in personal electronic devices
US9497423B2 (en) 2006-02-06 2016-11-15 Koninklijke Philips N.V. USB-enabled audio-video switch
US7477756B2 (en) 2006-03-02 2009-01-13 Knowles Electronics, Llc Isolating deep canal fitting earphone
US7903825B1 (en) 2006-03-03 2011-03-08 Cirrus Logic, Inc. Personal audio playback device having gain control responsive to environmental sounds
US7903826B2 (en) 2006-03-08 2011-03-08 Sony Ericsson Mobile Communications Ab Headset with ambient sound
WO2007123052A1 (ja) 2006-04-20 2007-11-01 Nec Corporation 適応アレイ制御装置、方法、プログラム、及び適応アレイ処理装置、方法、プログラム
EP2036079B1 (en) 2006-04-27 2011-01-12 Mobiter Dicta Oy A method, a system and a device for converting speech
US7502484B2 (en) 2006-06-14 2009-03-10 Think-A-Move, Ltd. Ear sensor assembly for speech processing
US20080031475A1 (en) 2006-07-08 2008-02-07 Personics Holdings Inc. Personal audio assistant device and method
US7574917B2 (en) 2006-07-13 2009-08-18 Phonak Ag Method for in-situ measuring of acoustic attenuation and system therefor
US7280849B1 (en) 2006-07-31 2007-10-09 At & T Bls Intellectual Property, Inc. Voice activated dialing for wireless headsets
US7773759B2 (en) 2006-08-10 2010-08-10 Cambridge Silicon Radio, Ltd. Dual microphone noise reduction for headset application
WO2008050583A1 (en) 2006-10-26 2008-05-02 Panasonic Electric Works Co., Ltd. Intercom device and wiring system using the same
US8014553B2 (en) 2006-11-07 2011-09-06 Nokia Corporation Ear-mounted transducer and ear-device
WO2008061260A2 (en) 2006-11-18 2008-05-22 Personics Holdings Inc. Method and device for personalized hearing
US8160421B2 (en) 2006-12-18 2012-04-17 Core Wireless Licensing S.A.R.L. Audio routing for audio-video recording
EP2744193B1 (en) 2006-12-20 2018-07-04 GVBB Holdings S.A.R.L Embedded audio routing switcher
US9135797B2 (en) 2006-12-28 2015-09-15 International Business Machines Corporation Audio detection using distributed mobile computing
US8718305B2 (en) 2007-06-28 2014-05-06 Personics Holdings, LLC. Method and device for background mitigation
WO2008083315A2 (en) 2006-12-31 2008-07-10 Personics Holdings Inc. Method and device configured for sound signature detection
US8140325B2 (en) 2007-01-04 2012-03-20 International Business Machines Corporation Systems and methods for intelligent control of microphones for speech recognition applications
US20080165988A1 (en) 2007-01-05 2008-07-10 Terlizzi Jeffrey J Audio blending
US8218784B2 (en) 2007-01-09 2012-07-10 Tension Labs, Inc. Digital audio processor device and method
WO2008091874A2 (en) 2007-01-22 2008-07-31 Personics Holdings Inc. Method and device for acute sound detection and reproduction
US8233353B2 (en) 2007-01-26 2012-07-31 Microsoft Corporation Multi-sensor sound source localization
US8254591B2 (en) 2007-02-01 2012-08-28 Personics Holdings Inc. Method and device for audio recording
GB2441835B (en) 2007-02-07 2008-08-20 Sonaptic Ltd Ambient noise reduction system
US7920557B2 (en) 2007-02-15 2011-04-05 Harris Corporation Apparatus and method for soft media processing within a routing switcher
US8160273B2 (en) 2007-02-26 2012-04-17 Erik Visser Systems, methods, and apparatus for signal separation using data driven techniques
US8949266B2 (en) 2007-03-07 2015-02-03 Vlingo Corporation Multiple web-based content category searching in mobile search application
US8983081B2 (en) 2007-04-02 2015-03-17 Plantronics, Inc. Systems and methods for logging acoustic incidents
US8577062B2 (en) 2007-04-27 2013-11-05 Personics Holdings Inc. Device and method for controlling operation of an earpiece based on voice activity in the presence of audio content
US8625819B2 (en) 2007-04-13 2014-01-07 Personics Holdings, Inc Method and device for voice operated control
US8611560B2 (en) 2007-04-13 2013-12-17 Navisense Method and device for voice operated control
US9191740B2 (en) 2007-05-04 2015-11-17 Personics Holdings, Llc Method and apparatus for in-ear canal sound suppression
US20090024234A1 (en) 2007-07-19 2009-01-22 Archibald Fitzgerald J Apparatus and method for coupling two independent audio streams
WO2009023784A1 (en) 2007-08-14 2009-02-19 Personics Holdings Inc. Method and device for linking matrix control of an earpiece ii
US20100299615A1 (en) * 2007-09-28 2010-11-25 The Trustees Of Dartmouth College System And Method For Injecting Sensed Presence Into Social Networking Applications
US8804972B2 (en) 2007-11-11 2014-08-12 Source Of Sound Ltd Earplug sealing test
US8855343B2 (en) 2007-11-27 2014-10-07 Personics Holdings, LLC. Method and device to maintain audio content level reproduction
US7818412B2 (en) * 2008-06-27 2010-10-19 Microsoft Corporation Selection of sensors for monitoring phenomena considering the value of information and data sharing preferences
US8023444B2 (en) * 2008-07-03 2011-09-20 Cisco Technology, Inc. Multiple density configurations and algorithms for intelligent power savings infrastructure in wireless LANs
US8175101B2 (en) * 2008-08-15 2012-05-08 Raytheon Company Multicasting in a network using neighbor information
US9202456B2 (en) 2009-04-23 2015-12-01 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for automatic control of active noise cancellation
US20110019652A1 (en) * 2009-06-16 2011-01-27 Powerwave Cognition, Inc. MOBILE SPECTRUM SHARING WITH INTEGRATED WiFi
US8625818B2 (en) 2009-07-13 2014-01-07 Fairchild Semiconductor Corporation No pop switch
US20110065451A1 (en) * 2009-09-17 2011-03-17 Ydreams-Informatica, S.A. Context-triggered systems and methods for information and services
JP5499633B2 (ja) 2009-10-28 2014-05-21 ソニー株式会社 再生装置、ヘッドホン及び再生方法
US8401200B2 (en) 2009-11-19 2013-03-19 Apple Inc. Electronic device and headset with speaker seal evaluation capabilities
US20110143728A1 (en) * 2009-12-16 2011-06-16 Nokia Corporation Method and apparatus for recognizing acquired media for matching against a target expression
JP5575977B2 (ja) 2010-04-22 2014-08-20 クゥアルコム・インコーポレイテッド ボイスアクティビティ検出
US9053697B2 (en) 2010-06-01 2015-06-09 Qualcomm Incorporated Systems, methods, devices, apparatus, and computer program products for audio equalization
US8861756B2 (en) 2010-09-24 2014-10-14 LI Creative Technologies, Inc. Microphone array system
US8798278B2 (en) 2010-09-28 2014-08-05 Bose Corporation Dynamic gain adjustment based on signal to ambient noise level
WO2012097150A1 (en) 2011-01-12 2012-07-19 Personics Holdings, Inc. Automotive sound recognition system for enhanced situation awareness
US9037458B2 (en) 2011-02-23 2015-05-19 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for spatially selective audio augmentation
US9973848B2 (en) 2011-06-21 2018-05-15 Amazon Technologies, Inc. Signal-enhancing beamforming in an augmented reality environment
US8183997B1 (en) 2011-11-14 2012-05-22 Google Inc. Displaying sound indications on a wearable computing system
US8983089B1 (en) 2011-11-28 2015-03-17 Rawles Llc Sound source localization using multiple microphone arrays
US10154361B2 (en) 2011-12-22 2018-12-11 Nokia Technologies Oy Spatial audio processing apparatus
JP6024180B2 (ja) 2012-04-27 2016-11-09 富士通株式会社 音声認識装置、音声認識方法、及びプログラム
US9491542B2 (en) 2012-07-30 2016-11-08 Personics Holdings, Llc Automatic sound pass-through method and system for earphones
KR102091003B1 (ko) 2012-12-10 2020-03-19 삼성전자 주식회사 음성인식 기술을 이용한 상황 인식 서비스 제공 방법 및 장치
US9940897B2 (en) 2013-05-24 2018-04-10 Awe Company Limited Systems and methods for a shared mixed reality experience
US9336767B1 (en) 2014-03-28 2016-05-10 Amazon Technologies, Inc. Detecting device proximities
US9823893B2 (en) 2015-07-15 2017-11-21 International Business Machines Corporation Processing of voice conversations using network of computing devices
KR102502601B1 (ko) 2015-11-27 2023-02-23 삼성전자주식회사 전자 장치 및 음성 신호 제어 방법
US10726835B2 (en) 2016-12-23 2020-07-28 Amazon Technologies, Inc. Voice activated modular controller

Cited By (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11671920B2 (en) 2007-04-03 2023-06-06 Apple Inc. Method and system for operating a multifunction portable electronic device using voice-activation
US11979836B2 (en) 2007-04-03 2024-05-07 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US11348582B2 (en) 2008-10-02 2022-05-31 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11900936B2 (en) 2008-10-02 2024-02-13 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US11423886B2 (en) 2010-01-18 2022-08-23 Apple Inc. Task flow identification based on user intent
US11120372B2 (en) 2011-06-03 2021-09-14 Apple Inc. Performing actions associated with task items that represent tasks to perform
US11321116B2 (en) 2012-05-15 2022-05-03 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11557310B2 (en) 2013-02-07 2023-01-17 Apple Inc. Voice trigger for a digital assistant
US12009007B2 (en) 2013-02-07 2024-06-11 Apple Inc. Voice trigger for a digital assistant
US11636869B2 (en) 2013-02-07 2023-04-25 Apple Inc. Voice trigger for a digital assistant
US10978090B2 (en) 2013-02-07 2021-04-13 Apple Inc. Voice trigger for a digital assistant
US11862186B2 (en) 2013-02-07 2024-01-02 Apple Inc. Voice trigger for a digital assistant
US11388291B2 (en) 2013-03-14 2022-07-12 Apple Inc. System and method for processing voicemail
US11798547B2 (en) 2013-03-15 2023-10-24 Apple Inc. Voice activated device for use with a voice-based digital assistant
US11727219B2 (en) 2013-06-09 2023-08-15 Apple Inc. System and method for inferring user intent from speech inputs
US12010262B2 (en) 2013-08-06 2024-06-11 Apple Inc. Auto-activating smart responses based on activities from remote devices
US11257504B2 (en) 2014-05-30 2022-02-22 Apple Inc. Intelligent assistant for home automation
US11670289B2 (en) 2014-05-30 2023-06-06 Apple Inc. Multi-command single utterance input method
US11133008B2 (en) 2014-05-30 2021-09-28 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10878809B2 (en) 2014-05-30 2020-12-29 Apple Inc. Multi-command single utterance input method
US11699448B2 (en) 2014-05-30 2023-07-11 Apple Inc. Intelligent assistant for home automation
US11810562B2 (en) 2014-05-30 2023-11-07 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US11516537B2 (en) 2014-06-30 2022-11-29 Apple Inc. Intelligent automated assistant for TV user interactions
US11838579B2 (en) 2014-06-30 2023-12-05 Apple Inc. Intelligent automated assistant for TV user interactions
US11842734B2 (en) 2015-03-08 2023-12-12 Apple Inc. Virtual assistant activation
US11087759B2 (en) 2015-03-08 2021-08-10 Apple Inc. Virtual assistant activation
US11468282B2 (en) 2015-05-15 2022-10-11 Apple Inc. Virtual assistant in a communication session
US12001933B2 (en) 2015-05-15 2024-06-04 Apple Inc. Virtual assistant in a communication session
US11070949B2 (en) 2015-05-27 2021-07-20 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on an electronic device with a touch-sensitive display
US11947873B2 (en) 2015-06-29 2024-04-02 Apple Inc. Virtual assistant for media playback
KR101697243B1 (ko) * 2015-08-28 2017-01-18 라임아이 주식회사 복수개의 센서 비콘을 통해 구성되는 네트워크 및 이의 동작 방법
US11126400B2 (en) 2015-09-08 2021-09-21 Apple Inc. Zero latency digital assistant
US11853536B2 (en) 2015-09-08 2023-12-26 Apple Inc. Intelligent automated assistant in a media environment
US11954405B2 (en) 2015-09-08 2024-04-09 Apple Inc. Zero latency digital assistant
US11550542B2 (en) 2015-09-08 2023-01-10 Apple Inc. Zero latency digital assistant
US11809483B2 (en) 2015-09-08 2023-11-07 Apple Inc. Intelligent automated assistant for media search and playback
US11500672B2 (en) 2015-09-08 2022-11-15 Apple Inc. Distributed personal assistant
US11526368B2 (en) 2015-11-06 2022-12-13 Apple Inc. Intelligent automated assistant in a messaging environment
US11809886B2 (en) 2015-11-06 2023-11-07 Apple Inc. Intelligent automated assistant in a messaging environment
US11886805B2 (en) 2015-11-09 2024-01-30 Apple Inc. Unconventional virtual assistant interactions
US11853647B2 (en) 2015-12-23 2023-12-26 Apple Inc. Proactive assistance based on dialog communication between devices
US11037565B2 (en) 2016-06-10 2021-06-15 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11657820B2 (en) 2016-06-10 2023-05-23 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US11749275B2 (en) 2016-06-11 2023-09-05 Apple Inc. Application integration with a digital assistant
US11809783B2 (en) 2016-06-11 2023-11-07 Apple Inc. Intelligent device arbitration and control
US11152002B2 (en) 2016-06-11 2021-10-19 Apple Inc. Application integration with a digital assistant
KR20180039476A (ko) * 2016-10-10 2018-04-18 한화테크윈 주식회사 영상획득장치 및 그의 구동 방법
US11656884B2 (en) 2017-01-09 2023-05-23 Apple Inc. Application integration with a digital assistant
US11599331B2 (en) 2017-05-11 2023-03-07 Apple Inc. Maintaining privacy of personal information
US11467802B2 (en) 2017-05-11 2022-10-11 Apple Inc. Maintaining privacy of personal information
US11837237B2 (en) 2017-05-12 2023-12-05 Apple Inc. User-specific acoustic models
US11380310B2 (en) 2017-05-12 2022-07-05 Apple Inc. Low-latency intelligent automated assistant
US11580990B2 (en) 2017-05-12 2023-02-14 Apple Inc. User-specific acoustic models
US11405466B2 (en) 2017-05-12 2022-08-02 Apple Inc. Synchronization and task delegation of a digital assistant
US11862151B2 (en) 2017-05-12 2024-01-02 Apple Inc. Low-latency intelligent automated assistant
US11538469B2 (en) 2017-05-12 2022-12-27 Apple Inc. Low-latency intelligent automated assistant
US12014118B2 (en) 2017-05-15 2024-06-18 Apple Inc. Multi-modal interfaces having selection disambiguation and text modification capability
US11532306B2 (en) 2017-05-16 2022-12-20 Apple Inc. Detecting a trigger of a digital assistant
KR20180133523A (ko) * 2017-05-16 2018-12-14 애플 인크. 디지털 어시스턴트의 트리거의 검출
US11675829B2 (en) 2017-05-16 2023-06-13 Apple Inc. Intelligent automated assistant for media exploration
US12026197B2 (en) 2017-05-16 2024-07-02 Apple Inc. Intelligent automated assistant for media exploration
US11710482B2 (en) 2018-03-26 2023-07-25 Apple Inc. Natural assistant interaction
US11487364B2 (en) 2018-05-07 2022-11-01 Apple Inc. Raise to speak
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11907436B2 (en) 2018-05-07 2024-02-20 Apple Inc. Raise to speak
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11169616B2 (en) 2018-05-07 2021-11-09 Apple Inc. Raise to speak
US11360577B2 (en) 2018-06-01 2022-06-14 Apple Inc. Attention aware virtual assistant dismissal
US11009970B2 (en) 2018-06-01 2021-05-18 Apple Inc. Attention aware virtual assistant dismissal
US11431642B2 (en) 2018-06-01 2022-08-30 Apple Inc. Variable latency device coordination
US10984798B2 (en) 2018-06-01 2021-04-20 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11630525B2 (en) 2018-06-01 2023-04-18 Apple Inc. Attention aware virtual assistant dismissal
US11893992B2 (en) 2018-09-28 2024-02-06 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11783815B2 (en) 2019-03-18 2023-10-10 Apple Inc. Multimodality in digital assistant systems
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11675491B2 (en) 2019-05-06 2023-06-13 Apple Inc. User configurable task triggers
US11705130B2 (en) 2019-05-06 2023-07-18 Apple Inc. Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11888791B2 (en) 2019-05-21 2024-01-30 Apple Inc. Providing message response suggestions
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11657813B2 (en) 2019-05-31 2023-05-23 Apple Inc. Voice identification in digital assistant systems
US11237797B2 (en) 2019-05-31 2022-02-01 Apple Inc. User activity shortcut suggestions
US11360739B2 (en) 2019-05-31 2022-06-14 Apple Inc. User activity shortcut suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11790914B2 (en) 2019-06-01 2023-10-17 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
US11924254B2 (en) 2020-05-11 2024-03-05 Apple Inc. Digital assistant hardware abstraction
US11914848B2 (en) 2020-05-11 2024-02-27 Apple Inc. Providing relevant data items based on context
US11765209B2 (en) 2020-05-11 2023-09-19 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11838734B2 (en) 2020-07-20 2023-12-05 Apple Inc. Multi-device audio adjustment coordination
US11750962B2 (en) 2020-07-21 2023-09-05 Apple Inc. User identification using headphones
US11696060B2 (en) 2020-07-21 2023-07-04 Apple Inc. User identification using headphones

Also Published As

Publication number Publication date
EP2659366A1 (en) 2013-11-06
CA2823346A1 (en) 2012-07-05
US20200145956A1 (en) 2020-05-07
US20140018097A1 (en) 2014-01-16
US10045321B2 (en) 2018-08-07
US11589329B1 (en) 2023-02-21
CN103688245A (zh) 2014-03-26
JP2014504112A (ja) 2014-02-13
WO2012092562A1 (en) 2012-07-05
US10986604B2 (en) 2021-04-20
US20180343636A1 (en) 2018-11-29
US10602474B2 (en) 2020-03-24

Similar Documents

Publication Publication Date Title
US11589329B1 (en) Information processing using a population of data acquisition devices
US20190391999A1 (en) Methods And Systems For Searching Utilizing Acoustical Context
US20230087729A1 (en) Information processing using a population of data acquisition devices
US9602938B2 (en) Sound library and method
US11455522B2 (en) Detecting personal danger using a deep learning system
US10424185B2 (en) Responding to personal danger using a mobile electronic device
US9094453B2 (en) Method and apparatus for associating mobile devices using audio signature detection
US9959885B2 (en) Method for user context recognition using sound signatures
JP6397416B2 (ja) 拡張現実感を伴う存在の粒度に関連する方法
US10008102B1 (en) System and method for monitoring radio-frequency (RF) signals for security applications
US10074368B2 (en) Personalized situation awareness using human emotions and incident properties
Underwood et al. Mass surveillance: A study of past practices and technologies to predict future directions
AU2011351935A1 (en) Information processing using a population of data acquisition devices
EP2919442B1 (en) Using audio intervention for creating context awareness

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid