KR20130142934A

KR20130142934A - 모바일 디바이스들로부터 다수의 물리적 특징들을 사용한 다이내믹 미팅 검출을 위한 방법 및 시스템

Info

Publication number: KR20130142934A
Application number: KR1020130069443A
Authority: KR
Inventors: 올리버 브리디츠가; 옌스 베프너
Original assignee: 팔로 알토 리서치 센터 인코포레이티드
Priority date: 2012-06-20
Filing date: 2013-06-18
Publication date: 2013-12-30
Also published as: EP2677707A1; US20130344851A1; EP2677707B1; KR101934251B1; US9002370B2

Abstract

본 발명의 일 실시예는 모바일 디바이스들의 사용자들 간의 직접 미팅들을 검출하는 시스템을 제공한다. 동작 동안, 상기 시스템은 상기 모바일 디바이스들에 의해 검출된 바와 같은 상기 사용자들의 주위 환경의 특징들의 특성들에 관한 정보를 수집한다. 상기 검출된 특징들의 특성들은 의견을 생성하기 위해 서로 비교되고 상기 의견들은 상기 사용자들 간의 미팅들을 검출하기 위해 은닉 마르코프 모델(hidden Markov model)에 적용된다. 주위로부터 검출된 특징들은 Wi-Fi 신호들, 발견가능한 블루투스 신호들, 및 주변 사운드들을 포함할 수 있다.

Description

모바일 디바이스들로부터 다수의 물리적 특징들을 사용한 다이내믹 미팅 검출을 위한 방법 및 시스템{METHOD AND SYSTEM FOR DYNAMIC MEETING DETECTION USING MULTIPLE PHYSICAL FEATURES FROM MOBILE DEVICES}

본 발명은 일반적으로 모바일 디바이스 사용자들 간의 직접 미팅들(in-person meetings)을 검출하는 것에 관련된다. 더 구체적으로, 본 발명은 상기 모바일 디바이스들에 의해 주위 환경으로부터 검출된 특징들을 사용하여 모바일 디바이스 사용자들 간의 직접 미팅들을 동적으로 검출하는 방법 및 시스템에 관련된다.

조직들은 많은 수의 사람들을 채용하고 관리할 수 있다. 이러한 조직들은 사람들이 서로 상호작용하는지 및 직접 미팅에 참여하는지 여부를 결정할 필요가 있다. 미팅 정보가 달력들에 수동으로 입력되는 동안, 수천명의 직원들을 갖는 큰 조직들은 이러한 달력 정보를 수동으로 관리하는데 많은 가치있는 시간을 낭비할 수 있다. 또한, 달력 정보는 구식이거나 부정확할 수 있어서 직원들이 직접 미팅에 실제로 참여하고 있는지 여부를 정확하게 반영할 수 없을 수 있다.

사용자들의 동일 장소 배치를 검출하기 위한 몇몇 접근 방법들이 제안되었다. 동일 장소 배치를 검출하기 위한 이러한 접근 방법들은 모바일 전화기들의 위치로부터 도출된 GPS(global positioning system) 좌표들에 기초할 수 있다. 다른 처리 방법들은 WLAN(wireless local area network) 로컬라이제이션(localization)을 활용할 수 있다. 이러한 동일 장소 배치 처리 방법들은 사용자들이 서로 가까이 위치된 것만을 검출하지만 종종 직접 미팅에서 사용자들이 서로 상호작용하는지 여부를 결정하기에는 불충분하다.

본 발명의 일 실시예는 사용자들이 직접 미팅에 참여하는지 여부를 검출하기 위한 시스템을 제공한다. 동작 동안, 상기 시스템은 두 모바일 디바이스들 간의 위치 및/또는 거리를 가리키는 주위 환경의 특성들을 나타내는 정보를 수집하고, 상기 특성들은 상기 사용자들과 연관된 상기 두 모바일 디바이스들에 의해 검출된 바와 같은 주위의 하나 이상의 특징들이고, 상기 시스템은 적어도 상기 수집된 특성 정보에 기초하여 상기 사용자들 간의 직접 미팅의 존재를 결정한다.

본 실시예의 변형에서, 상기 사용자들 간의 직접 미팅의 존재를 결정하는 단계는 주위의 특징의 의견에 기초하여 은닉 마르코프 모델(hidden Markov model; HMM)을 적용하는 단계를 더 수반한다.

또 다른 변형에서, 직접 미팅의 존재를 결정하는 단계는 미팅-상태 예측을 생성하기 위한 비터비 알고리즘(Viterbi algorithm)을 수행하는 단계를 더 수반한다.

또 다른 변형에서, 상기 시스템은 또한 전체 예측을 형성하기 위해 모든 HMM 출력들을 조합한다.

또 다른 변형에서, 상기 주위 환경의 특성들은 Wi-Fi 신호들, 블루투스 디바이스들, GPS 신호들, 또는 주변 사운드 샘플들 중 적어도 하나를 포함한다.

본 실시예의 변형에서, 상기 특징들은 검출된 Wi-Fi 신호들을 포함하고 상기 시스템은 또한 Wi-Fi 신호들과 연관된 의견을 생성하기 위해 상기 디바이스들에 의해 검출된 Wi-Fi 신호들을 비교한다.

본 실시예의 변형에서, 상기 특징들은 검출가능한 주변 사운드들을 포함하고 상기 시스템은 또한 사운드들과 연관된 의견을 생성하기 위해 상기 디바이스들에 의해 검출된 주변 사운드 샘플들 간의 차이들을 비교한다.

본 실시예의 변형에서, 상기 특징들은 블루투스 신호들을 포함하고 상기 시스템은 또한 블루투스 디바이스들과 연관된 의견을 생성하기 위해 상기 디바이스들에 의해 발견된 블루투스 디바이스들의 세트들을 비교한다.

본 실시예의 변형에서, 상기 사용자들 간의 직접 미팅들을 결정하는 단계는 제 1 사용자가 제 2 사용자와의 검출된 직접 미팅을 갖고 상기 제 2 사용자가 제 3 사용자와의 검출된 직접 미팅을 가지면 상기 제 3 사용자가 상기 제 1 사용자와의 검출된 직접 미팅을 가질 확률을 증가시키는 단계를 더 수반한다.

도 1은 본 발명의 일 실시예에 따라, 사용자들 간의 직접 미팅들이 검출될 수 있는 컴퓨팅 환경을 예시하는 도면.
도 2는 본 발명의 실시예에 따라, 미팅 검출 시스템을 예시하는 도면.
도 3은 본 발명의 실시예에 따라, 사용자들 간의 직접 미팅들을 검출하는 프로세스를 예시하는 흐름도.
도 4는 본 발명의 실시예에 따라, 각각의 HMM을 갖는 소셜 입력 특징을 사용하는 방법을 예시하는 흐름도.
도 5a 내지 도 5c는 본 발명의 실시예에 따라, 각각의 특징들에 대해 구성된 HMM들의 예들을 예시하는 도면들.
도 6은 본 발명의 일 실시예에 따라, 사용자들 간의 미팅들을 검출하기 위한 예시적인 컴퓨터 시스템을 예시하는 도면.

본 발명의 실시예들은 상기 사용자들에게 속한 모바일 디바이스들로부터 수집된 주위 환경 데이터를 분석함으로써 직접 미팅에 참여하는 사용자들을 검출하는 문제를 해결한다. 이러한 데이터는 WLAN(wireless local area network) 액세스 포인트들(예를 들어, Wi-Fi 액세스 포인트들)의 강도 및 가용성, 발견가능한 블루투스 디바이스들의 존재, 주변 사운드들, 및 GPS 신호들과 같은 주위 환경의 물리적 특성들을 포함할 수 있다. 한 쌍의 모바일 디바이스들로부터 수집된 상기 검출된 특징들은 서로 비교되고 입력으로서 미팅 검출 알고리즘에 적용된다. 일 실시예에서, 각각의 특징 데이터의 세트는 상기 특징에 대응하는 미팅 상태를 예측하는 은닉 마르코프 모델(HMM)에 공급되고, 각각의 상태는 "미팅 없음", "아마도 미팅 없음", "아마도 미팅", 또는 "미팅" 중 하나이다. 그 후 상이한 환경 특징들에 대응하는 개별 HMM 예측 결과들은 상기 미팅 상태의 전체 예측을 생성하기 위해 조합된다.

"직접 미팅"은 상기 미팅을 위해 물리적으로 존재하는 둘 이상의 사람들 간의 미팅이다. 직접 미팅의 참석자들은 보통 그들의 서로에 대한 물리적 근접도 때문에 서로 보고 들을 수 있다. 상기 직접 미팅은 회의실 또는 사무실 또는 임의의 다른 적절한 위치에서 개최될 수 있다. 상기 직접 미팅의 참석자들은 자신의 개인용 모바일 디바이스들을 가지고 오고 이들 개인용 모바일 디바이스들을 통해 상기 미팅들이 검출된다.

도 1은 본 발명의 일 실시예에 따라, 사용자들 간의 직접 미팅들이 검출될 수 있는 컴퓨팅 환경을 예시하는 도면이다. 도 1에서, 사용자(102)는 미팅에서 사용자(104)와 상호작용한다. 상기 상호작용은 상기 미팅의 참여자들이 물리적으로 존재하는 직접 상호작용이다. 사용자(104)는 또한 미팅에서 사용자(106)와 상호작용할 수 있다. 상기 3명의 사용자들은 모두 동일한 미팅에 참여하고, 각각은 스마트폰과 같은 모바일 디바이스를 소유한다. 이들 스마트폰들은 액세스 포인트들로부터 브로드캐스트된 Wi-Fi 신호들, 블루투스 디바이스들로부터 브로드캐스트된 신호들, 상기 사용자들의 대화로부터의 사운드들 및 다른 배경 잡음들, 및 GPS 신호들과 같은 특징들을 포함할 수 있는 주위 환경의 특징들인 특성들을 검출할 수 있다. 상기 스마트폰들은 네트워크(110)를 통해 서버(108)로 전송할 상기 주위 환경의 특성들을 검출할 수 있다. 서버(108)는 상기 사용자들이 마주보는 미팅에 참여하는지 여부를 결정한다. 일 실시예에서, 서버(108)는 또한 직접 미팅들을 검출하기 위해 상기 주위 환경의 다른 특징들을 활용할 수 있다. 서버(108)는 도 2에 대하여 기술된 미팅 검출 시스템을 호스팅(host)할 수 있다.

일 실시예에서, 상기 미팅 검출 시스템은 각각의 Wi-Fi 신호들, 블루투스 신호들, 및 주변 사운드를 검출하고 하나 이상의 의견들을 생성하기 위해 상기 검출된 특징들을 비교한다. 상기 미팅 검출 시스템은 각각의 상기 의견들을 각각의 HMM으로 공급하고, 미팅 상태의 예측을 획득하기 위해 비터비 알고리즘을 수행한다. 상기 HMM 상에서 동작하는 상기 비터비 알고리즘은 상기 특징에 대한 관측들의 시퀀스가 주어지면, 미팅 상태 전이들 중 가장 개연성 있는 시퀀스를 드러낸다. 그 후, 상기 미팅 검출 시스템은 예를 들어, 가중된 조합 방법을 사용하여, 상기 개별 HMM 예측의 결과들을 조합한다. 상기 조합된 결과는 미팅 검출을 위한 예측 결과이다.

도 2는 본 발명의 일 실시예에 따라, 미팅 검출 시스템을 예시하는 도면이다. 미팅 검출 시스템(200)은 Wi-Fi 신호 비교기(202), 블루투스 신호 비교기(204), 주변 사운드 비교기(206), 소셜 입력 계산기(208), 및 미팅 검출기(210)를 포함한다. 미팅 검출 시스템(200)은 별도의 서버 상에 또는 상기 모바일 디바이스들 중 하나 상에 상주할 수 있다.

Wi-Fi 신호 비교기(202)는 두 모바일 디바이스들 각각에 의해 검출된 Wi-Fi 신호들의 강도 및 존재를 비교한다. 예를 들어, 빌딩의 상이한 층들, 근처의 빌딩들, 집들, 또는 스마트폰들과 같은 모바일 Wi-Fi 소스들로부터 브로드캐스트된 다수의 Wi-Fi 신호들이 있을 수 있다. 각각의 모바일 디바이스에서 수신된 신호들을 비교함으로써, 상기 모바일 디바이스들의 상대적인 위치들 및/또는 거리들이 결정될 수 있다.

일 실시예에서, 미리 결정된 간격들(예를 들어, 15초) 사이에서, 각각의 모바일 디바이스는 Wi-Fi 액세스 포인트들을 스캔하고 각각의 액세스 포인트의 네트워크 이름(SSID), MAC 어드레스, 및 측정된 신호 강도(예를 들어, dBm으로)를 저장한다. 상기 미팅 검출 시스템(200)은 각각의 모바일 디바이스들로부터 발견된 Wi-Fi 액세스 포인트들에 대응하는 두 세트들의 정보를 비교한다. 상기 비교의 결과는 4개의 의견들 중 하나일 수 있다: (1) Wi-Fi 액세스 포인트들의 각 세트가 비어있다, 두 디바이스들 모두 어떠한 액세스 포인트들도 발견하지 못함을 의미; (2) 상기 두 디바이스들에 의해 검출된 공통의 Wi-Fi 액세스 포인트가 없음; (3) 적어도 하나의 Wi-Fi 액세스 포인트가 발견된 Wi-Fi 액세스 포인트들의 두 세트들에 나타나고, 상기 두 스마트폰들로부터의 공통의 액세스 포인트들의 인식된 신호 강도들이 미리 결정된 범위 내에 있음(예를 들어, 4.1 dBm <= 신호 강도 < 9.0 dBm); 및 (4) 모든 액세스 포인트들의 평균 신호 강도 차이는 미리 결정된 범위 내에 있음(예를 들어, < 4.1 dBm).

블루투스 신호 비교기(204)는 두 모바일 디바이스들 각각에 의해 검출된 바와 같은 발견된 블루투스 디바이스들의 세트들을 비교한다. 블루투스 신호들은 블루투스 장치된 이어폰들, 헤드폰들, 이동 전화들, 랩탑, 또는 다른 전자 디바이스들에 의해 브로드캐스트될 수 있다. 일 실시예에서, 미리 결정된 간격(예를 들어, 15초)들 사이에서 각각의 모바일 디바이스는 발견가능한 블루투스 디바이스들을 스캔하고 상기 블루투스 디바이스 이름들 및 MAC 어드레스를 저장한다. 발견된 블루투스 디바이스들에 대응하는 두 세트들의 정보가 수집되고 서로 비교된다. 비교의 결과는 3개의 의견들 중 하나일 수 있다: (1) 두 모바일 디바이스들은 어떠한 주위의 블루투스 디바이스들도 인식하지 않음; (2) 상기 두 모바일 디바이스들에 의해 검출된 공통의 블루투스 디바이스는 없지만, 적어도 하나의 모바일 디바이스가 적어도 하나의 블루투스 디바이스를 인식함; 및 (3) 두 모바일 디바이스들에 의해 검출된 적어도 하나의 공통 블루투스 디바이스가 있음.

주변 사운드 비교기(206)는 두 모바일 디바이스들 각각에 의해 레코딩된 바와 같은 오디오 샘플들을 비교한다. 주변 사운드는 예를 들면, 상기 미팅 참여자들 간의 대화들과 배경 대화들의 사운드를 포함할 수 있다. 일 실시예에서, 상기 오디오 샘플들은 미리결정된 길이(예를 들어, 15초)로 두 오디오 레코딩들로부터 추출되고, 각각의 오디오 레코딩은 두 모바일 디바이스들 중 하나로부터 발생한다. 일 실시예에서, 각각의 오디오 샘플에 대해, 인식 선형 계수(PLP; Perceptual Linear Coefficients)가 컴퓨팅되고 전력 스펙트럼(10*log10(plp))으로 변환된다. 결과적인 전력 스펙트럼은 각각의 대역에 대해 이진 값들로 필터링된다(이치화 방법(thresholding)을 통해). 예를 들어, 28개의 인식 선형 계수들/대역들이 사용될 수 있다. 일 실시예에서, 각각의 대역에 대해, 문턱값(예를 들어, 30의 문턱값)보다 작은 전력 스펙트럼 값은 제로 값이 되고 상기 문턱값 이상의 전력 스펙트럼은 1의 값을 갖는다. 그 결과, 상기 시스템은 두 세트의 이진 값들을 획득한다. 그 후 상기 시스템은 이들 두 세트의 이진 값들 간의 상관을 컴퓨팅한다. 일 실시예에서, 상기 시스템은 피어슨 상관(Pearson correlation)을 컴퓨팅한다. 미리결정된 문턱값보다 작은 상관 결과(예를 들어, 0.1의 피어슨 상관)는 부정적인 매칭이 된다. 상기 문턱값 이상의 상관 결과는 긍정적인 매칭이 된다. 상기 부정적인 매칭 또는 긍정적인 매칭 결과는 상기 사운드들이 레코딩된 상기 모바일 디바이스들의 소유자들 간의 미팅 상태를 검출하기 위해 입력으로서 HMM에 적용된다.

상기 시스템은 의견들의 시퀀스에 기초하여 가장 개연성 있는 미팅 상태들의 시퀀스를 결정하기 위해 각각의 특징에 대해 구성된 HMM을 사용한다. 상기 시스템이 규칙적인 미리결정된 시간 간격들(예를 들어, 15초) 사이의 상기 특성 데이터를 수신함에 따라, 상기 시스템은 상기 각각의 HMM에 대한 의견들을 생성하기 위해 상기 데이터를 전처리(preprocess)한다. 상기 시스템은 상기 의견들을 상기 HMM에 입력하고 미팅 상태들을 예측하기 위해 상기 비터비 알고리즘을 사용한다. 상기 시스템이 각각의 새로운 의견을 수신함에 따라, 상기 비터비 알고리즘은 새로운 가장 개연성 있는 미팅 상태를 컴퓨팅한다.

그 후 상기 시스템은 전체 예측된 미팅 상태를 생성하기 위해 개별 특징들에 대응하는 상기 HMM들로부터의 개별 미팅 상태 출력을 조합한다. 일 실시예에서, 상기 시스템은 가중된 상태들의 조합인 전체 미팅 상태 예측을 생성하기 위해 각각의 특징들에 가중치들을 할당할 수 있다. 일 실시예에서, 상기 시스템은 소셜 입력 특징으로 각각의 HMM을 증가시킬 수 있다. 상기 시스템은 상기 HMM 결과(outcome)를 결정하기 위해 상기 비터비 알고리즘을 적용할 때 각각의 HMM으로의 입력으로서 상기 소셜 특징을 포함할 수 있다. 또 다른 실시예에서, 상기 시스템은 또한 GPS 신호들에 대한 HMM을 구성함으로써 미팅들을 검출하기 위해 GPS 신호들을 사용할 수 있다.

소셜 입력 계산기(208)는 각각의 HMM에 대해 가변하는 잠재적인 입력인 소셜 입력 특징을 계산하도록 타동성 원칙(transitivity principle)을 적용한다. 일반적으로, 모바일 디바이스 A 및 모바일 디바이스 B로부터 검출된 특징(예를 들어, Wi-Fi 신호들)이 유사하고, 모바일 디바이스 B 및 모바일 디바이스 C로부터 동일하게 검출된 특징이 유사하면, 모바일 디바이스들 A 및 C에 의해 검출된 동일한 특징이 또한 유사할 것이다. 따라서, 모바일 디바이스 A 및 모바일 디바이스 B 사이에 주어진 특징에 대응하는 HMM에 의해 검출된 미팅이 존재하고, 모바일 디바이스 B 및 모바일 디바이스 C 사이에 검출된 미팅이 존재하면, 모바일 디바이스 A 및 모바일 디바이스 C 사이에도 미팅이 존재한다. 일 실시예에서, 상기 HMM에 대한 입력으로서 이 특징에 대한 값들은 각각의 HMM의 미팅 상태의 "소셜"을 관찰하기 위해 더 높은 가능성을 갖는, (1) "소셜(social)" 및 (2) "비 소셜(not social)"이다. 상기 소셜 입력 특징이 HMM을 증가시키는 방법에 관한 더 상세한 내용들이 도 4와 함께 설명된다.

그 후 미팅 검출기(210)는 Wi-Fi 신호 비교기(202), 블루투스 디바이스 비교기(204), 주변 사운드 비교기(206), 및 소셜 입력 계산기(208)로부터의 입력을 사용하고, 이들 특징들에 대응하는 각각의 HMM에 상기 비터비 알고리즘을 적용한다. 각각의 HMM은 각각의 미팅-상태 예측을 생성한다. 그 후 미팅 검출기(210)는 이들 결과들을 조합하고 전체 결과를 생성한다.

도 3은 본 발명의 실시예에 따라, 사용자들 간의 직접 미팅들을 검출하는 프로세스를 예시하는 흐름도이다. 동작 동안, 미팅 검출 시스템(200)은 상기 모바일 디바이스들에 의해 검출된 주위 환경에 관한 정보를 수집한다(동작 302). 일 실시예에서, 상기 시스템은 상기 특징 특성 데이터를 검출하고 상기 미팅 검출 시스템(200)에 전송하는 상기 모바일 디바이스들 상에 클라이언트 소프트웨어를 설치한다. 상기 클라이언트 소프트웨어는 각각의 모바일 디바이스 상의 검출된 특징들을 레코딩하고 상기 레코딩된 특징들을 중앙 서버 또는 클라우드 서비스로 전송한다. 일 실시예에서, 서버(108) 상에서 실행하는 스크립트는 각각의 쌍의 디바이스들에 대해 검출된 특징들을 비교한다. 상기 비교 결과는 각각의 기본적인 특징에 대한 의견이다. 미팅 검출 시스템(200)은 각각의 의견을 그 특징에 대응하는 HMM으로 나중에 입력한다.

미팅 검출 시스템(200)은 미팅들을 검출하기 위해 Wi-Fi 신호들, 블루투스 디바이스들, 주변 사운드들, 및 GPS 신호들과 같은 검출된 특징들의 특성들을 비교한다. 구체적으로, 미팅 검출 시스템(200)은 의견들을 생성하기 위해 검출된 Wi-Fi 신호들의 존재 및 강도 특성들을 비교한다(동작 304). 상기 시스템은 상기 의견들을 Wi-Fi에 대한 HMM에 입력하고 상기 비터비 알고리즘을 실행한다(동작 305). 유사하게, 상기 시스템은 또한 다른 비교된 특징 입력들에 대한 각각의 HMM으로 상기 비터비 알고리즘을 실행할 수 있다. 이러한 다른 특징 입력은 각각의 모바일 디바이스(동작 306 및 307) 및 주변 사운드들(동작 308 및 309)에 의해 검출된 바와 같은 블루투스 디바이스들의 세트들을 포함한다. 일 실시예에서, 상기 시스템은 또한 HMM들로 돌아가는 입력으로서 상기 HMM들과 함께 검출된 소셜 특징들을 포함한다(동작 310). 상기 다양한 의견들 상에서 상기 HMM으로 상기 비터비 알고리즘의 실행은 각각의 특징에 대한 미팅 예측을 생성한다.

상기 시스템은 전체 미팅 예측 결과를 생성하기 위해 상기 특징들에 대한 예측 결과들을 조합한다(동작 312). 예를 들어, 상기 시스템은 다수결에 의해 상기 전체 미팅 예측 결과를 결정할 수 있다. 상기 HMM들의 다수가 미팅이 있다고 가리키면, 상기 시스템은 상기 모바일 디바이스들과 연관된 미팅이 있다고 결정한다. 일 실시예에서, 상기 시스템은 특정 특징에 더 큰 가중치를 주도록 구성될 수 있다. 예를 들어, 상기 시스템은 상기 주변 사운드 특징에 대한 상기 HMM의 미팅 상태 예측에 더 큰 가중치를 줄 수 있다.

도 4는 본 발명의 일 실시예에 따라, 각각의 HMM과 함께 소셜 입력 특징을 사용하는 방법을 예시하는 흐르도이다. 상기 소셜 입력 특징은 환경 특징에 대응하는 각각의 HMM에 대해 가변하는 잠재적인 입력이지만, 상기 소셜 입력의 계산은 또한 상기 HMM들의 출력에 의존한다. 일 실시예에서, 미팅 검출 시스템(200)은 HMM 결과를 리턴하는 서브루틴에서 도 4의 단계들을 실행한다. 일 실시예에서, 미팅 검출 시스템(200)은 HMM으로의 입력으로서 소셜 특징들을 활용하도록 반복적인 알고리즘을 실행할 수 있다. 동작 동안, 상기 미팅 검출 시스템(200)은 처음에 상기 HMM에 대한 상기 소셜 입력 특징들을 "비 소셜"로 설정한다(동작 402). 다음에, 상기 시스템은 상기 모바일 디바이스들에 의해 검출된 바와 같은 특징 특성들 및 소셜 입력의 입력 조합에 대한 HMM 결과를 계산하기 위해 상기 비터비 알고리즘을 적용한다(동작 404). 상기 HMM의 결과에 기초하여, 상기 시스템은 "미팅" 상태를 나타내는 모바일 디바이스들 A 및 B 사이의 HMM 및 "미팅" 상태를 나타내는 모바일 디바이스들 B 및 C 사이의 HMM을 갖는 모바일 디바이스 B가 있어야만 모바일 디바이스들 A 및 C 사이의 HMM에 대해 "소셜"이라고 상기 소셜 입력 특징을 설정한다(동작 406). 그렇지 않으면, 상기 소셜 입력 특징은 모바일 디바이스들 A 및 C 사이의 HMM에 대해 "비 소셜"이라고 설정된다. 상기 시스템은 상기 알고리즘의 이전의 반복에 비교되는 상기 HMM 결과에 임의의 변화들이 있는지 결정한다(동작 408). 상기 HMM 결과에 변화가 있다면, 동작들 404 및 406은 상기 시스템이 상기 HMM의 결과에 변화가 없다고 검출할 때까지 또는 특정한 수의 루프가 실행될 때까지 반복된다. 상기 HMM 결과에 변화가 없다면, 미팅 검출 시스템(200)은 상기 소셜 입력 특징을 갖는 각각의 HMM의 결과에 대한 컴퓨팅을 완료한다. 일 실시예에서, 상기 시스템은 상기 서브루틴의 미팅 예측 값으로서 상기 컴퓨팅된 HMM 결과를 리턴한다(동작 410). 상기 시스템은 상기 전체 미팅 예측 결과를 결정하기 위해 상이한 환경 특징들에 대해 컴퓨팅된 상기 HMM 결과들을 조합한다.

도 5a 내지 도 5c는 본 발명의 실시예에 따라, 각각의 특징들에 대해 구성된 HMM들의 예를 예시하는 도면들이다. 도 5a 내지 도 5c 및 이하의 표 1 내지 표 3은 방출 확률(emission probabilities) 및 추이 확률(transition probabilities)을 갖는 예시적인 HMM들을 도시한다. 각각의 HMM의 구성의 기본적인 아이디어는 모든 미팅 상태들에 동일한 확률들로 맵핑되는 이용가능한 검출된 특징들을 갖지 않는 의견들(예를 들어, 비교 결과들 또는 유사성 상태들)을 갖는 것이고, 더 높은 유사성의 Wi-Fi 액세스 포인트 강도 또는 블루투스 신호 가시성을 반영하는 의견들이 "아마도 미팅" 상태(S3) 및 "미팅" 상태(S4)와 같은 미팅 상태들에 더 높은 확률로 맵핑된다. 일 실시예에서, 상기 HMM의 구성은 모든 상태들 사이의 전이가 가능하도록 미팅 상태들로 이동할 확률이 더 높고, 자동 전이 확률들이 높다.

Wi-Fi에 대한 HMM(500), 블루투스에 대한 HMM(530), 및 주변 사운드들에 대한 HMM(560)은 각각 4개의 상태들을 포함한다: (1) "미팅 없음" 상태(S1)는 상기 두 모바일 디바이스들의 소유자들이 미팅에서 상호작용하지 않음을 가리킴; (2) "아마도 미팅 없음" 상태(S2)는 상기 두 모바일 디바이스들의 소유자들이 아마도 미팅하지 않음을 가리킴; (3) "아마도 미팅" 상태(S3)는 상기 두 모바일 디바이스들의 소유자들이 아마도 미팅하고 있음을 가리킴; (4) "미팅" 상태(S4)는 상기 두 모바일 디바이스들의 소유자들이 미팅하고 있음을 가리킴. 상기 HMM에 4개의 상태들을 갖는 것은 관찰된 유사성 상태들 및 값들의 변동들의 부가적인 보정을 허용한다(예를 들어, 한 모바일 디바이스 상의 특징이 이용불가능해 질 때, 또는 이상 값(outlier value)이 측정될 때). 하나의 상태로부터 다른 상태를 가리키는 화살표들은 이러한 전이들의 확률로 상기 상태들 간의 전이들을 나타낸다.

일 실시예에서, 상기 미팅 검출 시스템(200)은 미팅 상태들을 예측하기 위해 상기 비터비 알고리즘을 사용한다. 상기 비터비 알고리즘은 입력으로서 상기 관찰된 유사성 상태들 또는 값들을 수용한다. 일 실시예에서, 검출된 GPS 신호들 및/또는 계산된 소셜 입력의 특징들이 또한 상기 알고리즘으로의 입력에 포함된다. 상기 비터비 알고리즘의 출력은 상기 의견들을 형성하는 유사성 상태들 또는 값들의 주어진 입력 시퀀스에 대한 가장 개연성 있는 HMM 상태들의 시퀀스이다. 예를 들어, 15초 간격의 시퀀스에 대해, 상기 출력 시퀀스는 "미팅 없음, 아마도 미팅 없음, 아마도 미팅, 아마도 미팅, 미팅, 미팅, 아마도 미팅"일 수 있다. 일 실시예에서, 모든 쌍의 모바일 디바이스들에 대한 모든 HMM들의 상태 출력들은 모든 진행중인 미팅들을 결정하기 위해 컴퓨팅된다.

표 1 내지 표 3은 각각의 HMM 상태들에 대한 예시적인 방출 확률들을 열거한다.

확률 ( Wi - Fi )	S1	S2	S3	S4
NA (둘다 Wi-Fi 없음)	0.45	0.45	0.45	0.45
0 디바이스들 오버랩	0.45	0.15	0.05	0.05
4.1 dBm <= 신호 강도 편차 < 9.0 dBm	0.05	0.30	0.25	0.20
신호 강도 편차 < 4.1 dBm	0.05	0.10	0.25	0.30

확률 (블루투스)	S1	S2	S3	S4
NA (둘다 블루투스 없음)	0.50	0.50	0.50	0.50
매칭하지 않음	0.45	0.40	0.10	0.05
> 0% 오버랩	0.05	0.10	0.40	0.45

확률 (사운드)	S1	S2	S3	S4
매칭	0.90	0.60	0.40	0.10
매칭하지 않음	0.10	0.40	0.60	0.90

도 6은 본 발명의 일 실시예에 따라, 사용자들 간의 미팅들을 검출하기 위한 예시적인 컴퓨터 시스템을 도시한다. 일 실시예에서, 컴퓨터 및 통신 시스템(600)은 프로세서(602), 메모리(604), 및 저장 디바이스(606)를 포함한다. 저장 디바이스(606)는 애플리케이션들(610 및 612)과 같은 다른 애플리케이션들뿐만 아니라 미팅 검출 애플리케이션(608)을 저장한다. 동작 동안, 미팅 검출 애플리케이션(608)은 저장 디바이스(606)로부터 메모리(604)로 로딩되고 그 후 프로세서(602)에 의해 실행된다. 상기 프로그램을 실행하면서, 프로세서(602)는 전술한 기능들을 수행한다. 컴퓨터 및 통신 시스템(600)은 선택적인 디스플레이(614), 키보드(616), 및 포인팅 디바이스(618)에 결합된다.

Claims

사용자들 간의 직접 미팅들(in-person meetings)을 검출하기 위한 컴퓨터-실행가능한 방법에 있어서,
두 모바일 디바이스들 간의 위치 및/또는 거리를 가리키는 주위 환경의 특성들을 나타내는 정보를 수집하는 단계로서, 상기 특성들은 상기 사용자들과 연관된 상기 두 모바일 디바이스들에 의해 검출된 바와 같은 하나 이상의 주위의 특징들인, 정보 수집 단계; 및
적어도 상기 수집된 특성 정보에 기초하여 상기 사용자들 간의 직접 미팅의 존재를 결정하는 단계를 포함하는, 방법.
제 1 항에 있어서,
상기 사용자들 간의 직접 미팅의 존재를 결정하는 단계는 주위의 특징의 의견들에 기초하여 HMM을 적용하는 단계를 더 수반하는, 방법.
제 2 항에 있어서,
상기 직접 미팅의 존재를 결정하는 단계는 미팅-상태 예측을 생성하기 위해 비터비 알고리즘(Viterbi algorithm)을 수행하는 단계를 더 수반하는, 방법.
제 2 항에 있어서,
전체 예측을 형성하기 위해 모든 HMM 출력들을 조합하는 단계를 더 포함하는, 방법.
제 1 항에 있어서,
상기 주변 환경의 특성들은 Wi-Fi 신호들, 블루투스 디바이스들, GPS 신호들, 또는 주변 사운드 샘플들 중 적어도 하나를 포함하는, 방법.
제 1 항에 있어서,
상기 특징들은 검출된 Wi-Fi 신호들을 포함하고 상기 방법은 Wi-Fi 신호들과 연관된 의견을 생성하기 위해 상기 디바이스들에 의해 검출된 Wi-Fi 신호들을 비교하는 단계를 더 포함하는, 방법.
제 1 항에 있어서,
상기 특징들은 검출가능한 주변 사운드들을 포함하고 상기 방법은 사운드들과 연관된 의견을 생성하기 위해 상기 디바이스들에 의해 검출된 주변 사운드 샘플들 간의 차이를 비교하는 단계를 더 포함하는, 방법.
제 1 항에 있어서,
상기 특징들은 블루투스 신호들을 포함하고 상기 방법은 블루투스 디바이스들과 연관된 의견을 생성하기 위해 상기 디바이스들에 의해 발견된 블루투스 디바이스들의 세트들을 비교하는 단계를 더 포함하는, 방법.
제 1 항에 있어서,
상기 사용자들 간의 직접 미팅들을 결정하는 단계는 제 1 사용자가 제 2 사용자와의 검출된 직접 미팅을 갖고 상기 제 2 사용자가 제 3 사용자와의 검출된 직접 미팅을 가지면 상기 제 3 사용자가 상기 제 1 사용자와의 검출된 직접 미팅을 가질 확률을 증가시키는 단계를 더 수반하는, 방법.
사용자들 간의 직접 미팅들을 검출하기 위한 컴퓨팅 시스템으로서,
하나 이상의 프로세서들,
명령들을 저장하고 있는 상기 하나 이상의 프로세서들에 결합된 컴퓨터-판독가능 매체로서, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금
두 모바일 디바이스들 간의 위치 및/또는 거리를 가리키는 주위 환경의 특성들을 나타내는 정보를 수집하는 동작으로서, 상기 특성들은 상기 사용자들과 연관된 상기 두 모바일 디바이스들에 의해 검출된 바와 같은 하나 이상의 주위의 특징들인, 정보 수집 동작; 및
적어도 상기 수집된 특성 정보에 기초하여 상기 사용자들 간의 직접 미팅의 존재를 결정하는 동작을 포함하는 동작들을 수행하게 하는, 상기 컴퓨터-판독가능 매체를 포함하는, 컴퓨팅 시스템.