KR20160127117A

KR20160127117A - 개인 존재와 연관된 동작 수행

Info

Publication number: KR20160127117A
Application number: KR1020167026896A
Authority: KR
Inventors: 크리스 후이브렉츠; 재연 김; 마이클 에이. 베트써; 토마스 씨. 부처; 야세르 마수드 칸
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2014-02-28
Filing date: 2015-02-26
Publication date: 2016-11-02
Also published as: CA2939001A1; WO2015130859A1; RU2016134910A; MX2016011044A; US20150249718A1; CN106062710A; AU2015223089A1; RU2016134910A3; EP3111383A1; JP2017516167A; TW201535156A

Abstract

디바이스는 종종, 만남 시간이나 날짜에 제시되는 알람, 지오펜싱에 의해 지정된 위치와 연관된 메시지, 또는 수신 메시지에 대한 자동 응답과 같은 조건에 응답하여 자동으로 동작을 수행하도록 구성 가능하다. 이러한 조건은 별로 관계없이 개인을 수반하는 동작에 적용될 수 있지만(예컨대, 예상 만남 동안 제시되는 리마인더 또는 개인의 사무실과 연관된 지오펜싱), 개인이 실제로 존재하지 않을 때 긍정 오류를, 그리고 예상치못한 개인의 존재가 발생할 때 부정 오류를 초래할 수 있다. 대신에, 디바이스는, 사용자와 개인이 함께 있음을 검출하고(예컨대, 사용자의 환경의 사진을 캡처하고 사진에서 개인의 얼굴을 식별함), 사용자와 함께 개인이 있음이 검출된 동안 사용자에 대한 동작을 수행하도록 구성될 수 있다.

Description

개인 존재와 연관된 동작 수행{PERFORMING ACTIONS ASSOCIATED WITH INDIVIDUAL PRESENCE}

컴퓨팅 분야 내에서, 많은 시나리오들은 조건 세트에 응답하여 사용자의 요청시 동작을 수행하는 디바이스를 수반한다. 첫 번째 예로서, 디바이스는, 신호음을 울리는 알람 또는 약속의 리마인더를 제공하는 캘린더와 같이 지정된 시간에 동작을 수행할 수 있다. 두 번째 예로서, 디바이스는, 지정된 위치를 정의하는 좌표 세트 안으로 사용자가 디바이스를 휴대할 때 리마인더 메시지를 제공하는 “지오펜싱(geofencing)” 디바이스와 같이, 디바이스가 특정 위치에 들어갈 때 동작을 수행할 수 있다. 세 번째 예로서, 디바이스는, 루트를 재계산하도록 네비게이션 디바이스를 프롬프트하는 트래픽 모니터링 서비스로부터 수신된 트래픽 경고 주의와 같이, 애플리케이션으로부터의 메시지를 수신하는 것에 응답하여 동작을 수행할 수 있다.

이 요약은 상세한 설명에서 아래에 더 기재되는 개념의 선택을 단순화된 형태로 소개하고자 제공된다. 이 요약은 청구 내용의 핵심 요인 또는 본질적인 특징을 나타내고자 하는 것이 아니며, 청구 내용의 범위를 한정하는데 사용되고자 하는 것도 아니다.

많은 디바이스들이 다양한 조건에 응답하여 동작을 수행하지만, 디바이스가 통상적으로 모니터링 및/또는 응답하지 않는 하나의 조건은 사용자와 함께 있는 다른 개인(individuals)의 존재(presence)이다. 예를 들어, 사용자는 가족 구성원, 친구, 또는 직장 동료와 같은 한 명 이상의 특정 개인과 물리적으로 근접해 있을 수 있고, 그 개인에 관한 리마인더 메시지를 제시하거나(예컨대, “오늘은 Joe의 생일입니다”), 그 개인에게 전달하거나(예컨대, “시장에서 빵을 사라고 Joe에게 요청하기”), 또는 사용자가 그 개인에게 디스플레이하기 원하는 이미지를 디스플레이하는 것과 같이, 그 개인을 수반하는 동작을 디바이스가 수행하기를 원할 수 있다. 그러나, 이러한 동작은 통상적으로, 사용자가 지정된 개인의 근접도(proximity)를 인식하고, 개인의 존재 동안 수행될 동작을 기억하고, 디바이스 상의 동작을 호출함으로써 달성된다.

대안으로서, 사용자는, 개인과의 예상된 만남에 대한 날짜 또는 시간 기반의 경고와 같이 개인의 예상되는 존재 동안 사용자를 수반하는 동작, 개인의 집이나 사무실과 같이 개인이 존재할 것으로 예상되는 위치를 수반하는 지오펜싱 기반의 동작, 또는 개인으로부터 수신된 메시지를 수반하는 메시지 기반의 동작을 수행하도록 디바이스를 구성할 수 있다. 그러나, 이러한 기술은, 개인이 존재하지 않을 때(예컨대, 사용자 및/또는 개인이 예상된 만남에 참석하지 않은 경우에도 동작의 수행, 개인이 없는 동안 개인의 집이나 사무실의 방문, 및 자동 “사무실에 없음” 메시지와 같이 개인으로부터 자동 생성된 메시지)의 긍정 오류(false positives), 그 뿐만 아니라 개인이 예상치못하게 존재할 때(예컨대, 개인과 마주치는 기회)의 부정 오류(false negatives)를 초래할 수 있다. 이러한 기술은 또한, 사용자가 별로 관계없이(tangentially) 개인의 존재와 연관되는 조건을 식별할 수 있을 때에만 적용 가능하며, 따라서, 예컨대 사용자가 개인의 집이나 사무실 위치를 알지 못하거나 개인과의 예상된 만남이 없거나 또는 개인이 사용자에게 메시지를 보낼 수 있는 디바이스를 갖지 않을 때에 적용가능하지 않을 수 있다.

여기에서는 개인의 존재를 검출하면 그 특정 개인을 수반하는 동작을 수행하도록 디바이스를 구성하는 기술이 제시된다. 예를 들어, 사용자는 지정된 개인의 다음 물리적으로 근접한 동안 리마인더 메시지를 제시하도록 디바이스에 요청할 수 있다. 카메라를 이용하여, 디바이스는 사용자 및 디바이스의 환경의 이미지를 연속적으로 또는 주기적으로 평가할 수 있고, 지정된 개인의 얼굴을 검출하기 위하여 환경의 이미지에 얼굴 인식 기술을 적용할 수 있다. 이러한 검출은 사용자와 함께 개인이 있음을 내포할 수 있으며, 사용자에게 리마인더 메시지를 제시하도록 디바이스를 프롬프트할 수 있다. 이 방식으로, 여기에 제시된 기술에 따라, 디바이스는 사용자와 함께 개인이 있는 동안 개인을 수반하는 동작을 수행하도록 사용자로부터의 요청을 이행할 수 있다.

전술한 목적 및 관련 목적의 달성을 위해, 다음의 설명과 첨부 도면은 특정 예시적인 양상 및 구현을 서술한다. 이들은 하나 이상의 양상들이 채용될 수 있는 다양한 방식들 중의 몇몇을 나타낸 것이다. 본 개시의 다른 양상, 이점 및 신규의 특징들이 첨부 도면과 함께 고려될 때 다음의 상세한 설명으로부터 명백하게 될 것이다.

도 1은 다양한 조건을 지정하는 룰에 응답하여 동작을 실행하는 디바이스를 특징으로 하는 예시적인 시나리오의 예시이다.
도 2는 여기에 제시된 기술에 따라 사용자와 함께 개인이 있음 검출에 응답하여 동작을 실행하는 디바이스를 특징으로 하는 예시적인 시나리오의 예시이다.
도 3는 여기에 제시된 기술에 따라 사용자와 함께 개인이 있음 검출에 응답하여 동작을 실행하도록 디바이스를 구성하기 위한 예시적인 방법의 예시이다.
도 4는 여기에 제시된 기술에 따라 사용자와 함께 개인이 있음 검출에 응답하여 동작을 실행하도록 디바이스를 구성하기 위한 예시적인 시스템의 예시이다.
도 5는 여기에 서술된 프로비전 중의 하나 이상을 채용하도록 구성된 프로세서 실행가능 명령어들을 포함하는 예시적인 컴퓨터 판독가능 매체의 예시이다.
도 6은 여기에 제공된 기술이 이용될 수 있는 예시적인 디바이스의 예시이다.
도 7는 여기에 제시된 기술에 따라, 사용자에 대한 개인의 존재를 검출하기 위한 제1 기술을 이용하도록 구성된 디바이스를 특징으로 하는 예시적인 시나리오의 예시이다.
도 8는 여기에 제시된 기술에 따라, 사용자에 대한 개인의 존재를 검출하기 위한 제2 기술을 이용하도록 구성된 디바이스를 특징으로 하는 예시적인 시나리오의 예시이다.
도 9는 여기에 제시된 기술에 따라, 개인을 수반하는 동작에 대한 조건부 요청을 수신하고 사용자와 다양한 개인 간의 대화의 평가를 통해 조건의 충족을 검출하도록 구성된 디바이스를 특징으로 하는 예시적인 시나리오의 예시이다.
도 10는 여기에 제시된 기술에 따라, 사용자와 개인 간의 대화의 중단을 피하면서 사용자를 수반하는 동작을 수행하도록 구성된 디바이스를 특징으로 하는 예시적인 시나리오의 예시이다.
도 11은 여기에 서술된 프로비전 중의 하나 이상이 구현될 수 있는 예시적인 컴퓨팅 환경을 예시한다.

이제 도면을 참조하여 청구 내용이 기재되며, 유사한 참조 번호는 전반에 걸쳐 유사한 구성요소를 지칭하는데 사용된다. 다음의 기재에 있어서, 설명을 위한 목적으로, 청구 내용의 완전한 이해를 제공하기 위해 다수의 구체적 세부사항들이 서술된다. 그러나, 청구 내용은 이들 구체적 세부사항 없이도 실시될 수 있다는 것이 분명하다. 다른 사례로, 청구 내용을 기재하는 것을 용이하게 하기 위해 구조 및 디바이스는 블록도 형태로 도시된다.

A. 소개

도 1은 사용자(102)를 대신하여 동작(108)을 수행하도록 구성되는 디바이스(104)의 사용자(102)를 수반한 예시적인 시나리오(100)의 예시를 제시한다. 이 예시적인 시나리오(100)에서, 제1 시간(122)에, 개인(102)은 디바이스(104)를 룰 세트(106)로 프로그램하는데, 룰 각각은, 디바이스(104)에 의해 검출될 수 있고 사용자(102)를 대신하여 지정된 동작(108)의 수행을 트리거할 수 있는 조건(110)을 지정하는 것이다.

제1 룰(106)은, 디바이스(104)가 동작(108)을 수행할 시간 또는 날짜를 포함하는 조건(110)을 지정한다. 예를 들어, 알람 클락은 지정된 시간에 멜로디를 울릴 수 있고, 또는 캘린더는 특정 시간에 약속의 리마인더를 제시할 수 있다. 디바이스(104)는, 디바이스(104) 내의 크로노미터(chronometer)를 모니터링하고, 크로노미터에 의해 지정된 현재 시간을 룰(106)에서 지정된 시간과 비교하며, 현재 시간이 룰(106)에서 지정된 시간과 일치함을 검출하면 지정된 동작(108)을 호출함으로써, 제1 룰(106)을 이행하도록 구성될 수 있다.

제2 룰(106)은, 디바이스(104)가 다음에 위치(112)를 차지할 때, 리마인더 메시지를 제시하는 것과 같이 동작(108)을 수행하는 “지오펜싱” 인식 디바이스와 같이 위치(112)를 포함하는 조건(110)을 지정한다. 디바이스(104)는, GPS(global positioning system) 수신기 또는 신호 삼각측량자와 같이 지오로케이션(geolocation) 컴포넌트에 의해 표시된 디바이스(104)의 현재 좌표 세트를 모니터링하고, 지오로케이션 컴포넌트에 의해 제공된 좌표를 위치(112)의 좌표와 비교하며, 일치한다고 식별될 때 동작(108)을 수행함으로써, 제2 룰(106)을 이행하도록 구성될 수 있다.

제3 룰(106)은, 사용자(102) 및/또는 디바이스(104)의 루트를 따라 교통 사고의 검출에 관해 경고하는 트래픽 경고 서비스로부터의 트래픽 메시지 또는 날씨 경고 서비스로부터 수신된 날씨 경고 메시지와 같이 서비스로부터 수신된 메시지(114)를 포함하는 조건(110)을 지정한다. 이러한 메시지(114)의 수신은, 메시지(114)에 기술된 트래픽 또는 날씨 조건을 피하도록 사용자(102)의 루트를 재계산하는 것과 같은 동작(108)을 트리거할 수 있다.

디바이스(104)는, 입력 컴포넌트를 사용하여 각각의 룰(106)의 조건을 모니터링하고 이러한 조건이 일어날 때 동작(108)을 호출함으로써, 사용자(102)로부터의 요청을 이행할 수 있다. 예를 들어, 제2 시간 포인트(124)에, 개인(102)은 제2 룰(106)에 의해 지정된 위치(112)를 정의하는 경계(116) 안으로 디바이스(104)를 휴대할 수 있다. 디바이스(104)는 지오로케이션 컴포넌트에 의해 표시된 현재 좌표를 비교할 수 있고, 위치(112)의 경계(116)의 진입을 검출하면 제2 룰(106)에 대한 지오펜싱 트리거(118)를 개시할 수 있다. 디바이스(104)는 제2 룰(106)의 충족시 사용자(102)에게 메시지(120)를 제공함으로써 지오펜싱 트리거(118)에 응답할 수 있다. 이 방식으로, 디바이스(104)는 지정된 조건의 모니터링, 및 그와 연관된 동작(108)의 자동 호출을 통해 룰 세트(106)를 이행할 수 있다.

룰(106)의 타입들이 디바이스(104)가 응답할 수 있는 다양한 조건들을 보여주지만, 디바이스에 의해 아직 이용되지 않은 하나의 이러한 조건은 사용자(102)와 함께 있는 특정 개인의 존재이다. 예를 들어, 사용자(102)는 개인에게 사용자의 디바이스(104) 상의 사진을 보여주기를 원할 수 있고, 다음에 개인과 마주치면 그리 하도록 기억하고 싶어할 수 있다. 사용자(102)가 개인이 있다는 것을 알게 될 때, 사용자(102)는 사진을 기억하여 디바이스(104) 상의 사진 애플리케이션을 호출할 수 있다. 그러나, 이 프로세스는 개인(102)의 관찰력과 기억력 그리고 디바이스(104) 상의 동작(108)의 수동 호출에 의존한다.

대안으로서, 사용자(102)는 개인의 예상되는 존재 동안 사진을 보여주기 위하여 도 1의 예시적인 시나리오(100)에 예시된 룰(106)의 타입을 생성할 수 있다. 첫 번째 예로서, 사용자(102)는 개인과의 다음 예상되는 만남의 날짜 및 시간에 대한 알람을 설정할 수 있다. 두 번째 예로서, 사용자(102)는 개인의 집이나 사무실과 같은 위치(112)를 수반한 지오펜싱 트리거(118)와 같은 위치 기반의 룰(106)을 생성할 수 있다. 세 번째 예로서, 사용자(102)는 텍스트 메시지 또는 이메일 메시지와 같은 개인으로부터의 메시지를 수신하면 개인에게 사진을 보내라는 요청과 같은 메시지 기반의 룰(106)을 생성할 수 있다.

그러나, 개인의 존재에 의해 별로 관계없이 트리거되는 이러한 룰은 긍정 오류를 초래할 수 있다(예컨대, 사용자(102)나 개인이 만남에 참석하지 않을 수 있음, 사용자(102)가 개인의 집이나 사무실에 방문할 때 개인이 없을 수 있음, 또는 현재는 개인에게 도달불가능함을 나타내는, 개인으로부터 사용자(102)에의 자동 “사무실에 없음” 응답과 같이 개인이 존재하지 않을 때 사용자(102)가 개인으로부터의 메시지를 수신함). 또한, 이러한 별로 관계없는 규칙은 부정 오류를 초래할 수 있다(예컨대, 사용자(102)가 예상치못하게 개인과 마주칠 수 있지만, 룰(106)의 별로 관계없는 조건이 충족되지 않기 때문에 디바이스(104)는 어떠한 동작도 취하지 못할 수 있음). 결국, 이러한 룰(106)은, 사용자(102)가 갖지 않을 수 있거나(예컨대, 사용자(102)가 개인의 집 주소를 알지 못할 수 있음) 개인과 관련이 없을 수 있는(예컨대, 개인은 사용자(102)의 디바이스(104)에 메시지를 보낼 수 있는 디바이스를 갖지 않을 수 있음) 개인에 관한 정보를 수반한다. 이들 시나리오에서, 도 1의 기술의 적용은 디바이스(104)가 사용자(102)과 함께 개인이 있음을 수반하여 동작(108)을 수행할 수 있게 하는 데에 부적절할 수 있다.

B. 제시 기술

도 2는 여기에 제시된 이들 기술에 따라 사용자(102)와 함께 지정된 개인이 있음을 검출하면 동작(108)을 수행하도록 구성되는 디바이스(104)를 특징으로 하는 예시적인 시나리오(200)의 예시를 제시한다. 이 예시적인 시나리오(200)에서, 제1 시간(224)에, 개인(102)은, 개인(102)과 함께 특정 개인(202)이 있는 동안 동작(108)의 수행을 각각 나타내는 것인 개인 존재 룰 세트(204)를 저장하도록 디바이스(104)를 구성할 수 있다. 첫 번째 예로서, 제1 개인 존재 룰(204)은, Joe Smith로 알려진 개인(202)이 존재할 때 디바이스(104)가 리마인더를 제시하는 것과 같은 제1 동작(108)을 호출할 것임을 지정할 수 있다. 제2 개인 존재 룰(204)은, Mary Lee로 알려진 개인(202)이 존재할 때 디바이스(104)가 이미지를 디스플레이하는 것과 같은 제2 동작(108)을 호출할 것임을 지정할 수 있다. 디바이스(104)는 또한, 개인(202)의 얼굴의 얼굴 식별자(206) 및 개인(202)의 음성의 음성 식별자(208)와 같이 개인(202)에 대한 개인 식별자의 세트를 저장할 수 있다.

제2 시간(226)에, 개인(102)은 차량의 승객실 또는 빌딩의 방과 같은 특정 환경(210)에 존재할 수 있다. 디바이스(104)는, 각자의 개인(202)에 대하여 저장된 얼굴 식별자(206) 및/또는 음성 식별자(208)에 따라, 환경(210)에서 사용자(102)와 함께 개인(202)이 있음(212)을 검출하도록 하나 이상의 입력 컴포넌트를 이용할 수 있다. 예를 들어, 디바이스(104)는 개인(102)의 환경(210)의 사진(218)을 찍도록 통합 카메라(214)를 이용할 수 있고, 사진(218)에서 하나 이상의 얼굴의 존재를 검출할 수 있고, 얼굴을 저장된 얼굴 식별자(206)와 비교할 수 있다. 대안으로서 또는 추가적으로, 디바이스(104)는 개인(102)의 환경(210)의 오디오 샘플(220)을 캡처할 수 있고, 오디오 샘플(220)에서 하나 이상의 음성의 존재를 검출하여 분리할 수 있으며, 분리된 음성을 저장된 음성 식별자(208)와 비교할 수 있다. 이들 타입의 비교는, 디바이스(214)가 사진(218) 내의 얼굴을 Joe Smith의 얼굴 식별자(206)와 매칭하고/하거나 오디오 샘플(220)을 Joe Smith의 저장된 음성 식별자(208)와 매칭할 수 있게 함으로써, Joe Smith와 같은 알고 있는 개인(202)이 사용자(102)와 함께 있음의 식별(222)을 달성할 수 있다. 따라서 디바이스(104)는 Joe Smith와 관련된 사용자(102)에 대한 메시지(120)를 디스플레이하는 것과 같이 개인(102)과 함께 있는 Joe Smith의 존재와 연관되는 동작(108)을 수행할 수 있다(예컨대, “빵을 사라고 Joe에게 요청하기”). 이 방식으로, 디바이스(104)는 여기에 제시된 기술에 따라 사용자(102)와 함께 있는 개인(202)의 존재(210)를 검출하는 것에 응답하여 동작(108)의 자동 수행을 달성할 수 있다.

C. 예시적인 실시예

도 3은 사용자(102)와 함께 개인(202)이 있는 동안 동작(108)을 실행하도록 사용자(102)의 요청을 이행하기 위해 디바이스(108)를 구성하는 예시적인 방법(302)으로서 예시되는, 여기에 제시된 기술의 제1 예시적인 실시예를 제시한다. 예시적인 방법(300)은, 예컨대 메모리 회로, 하드 디스크 드라이브의 플래터, 고체 상태 스토리지 디바이스 또는 자기 또는 광학 디스크와 같은 디바이스(104)의 메모리 컴포넌트에 저장된 명령어 세트로서 구현될 수 있고, 디바이스(104)의 프로세서 상에서 실행될 때 디바이스(104)가 여기에 제시된 기술에 따라 동작하게 하도록 조직화된다. 예시적인 방법(300)은 302에서 시작하며, 디바이스(104)의 프로세서 상에서 명령어를 실행하는 것(304)을 수반한다. 구체적으로, 명령어는 디바이스로 하여금, 사용자(102)와 함께 개인(202)이 있는 동안 동작(108)을 수행하라는 요청을 수신하면, 개인(202)과 연관된 동작(108)을 저장하게 한다(306). 명령어는 또한 디바이스(104)로 하여금, 사용자(102)와 함께 개인(202)이 있음을 검출하면, 동작(108)을 수행하게 한다(308). 이 방식으로, 명령어는 디바이스로 하여금, 여기에 제시된 기술에 따라 사용자(102)와 함께 개인(202)이 있는 동안 동작(108)을 실행하게 하며, 그리하여 310에서 종료한다.

도 4는 사용자(102)가 개인(202)과 있는 동안에 디바이스(402)로 하여금 동작(108)을 실행하게 하도록 구성된 예시적인 시스템(408)을 특징으로 하는 예시적인 시나리오(400)로서 예시된, 여기에 제시된 기술의 제2 예시적인 실시예를 제시한다. 예시적인 시스템(408)은, 예컨대 디바이스(402)의 메모리 컴포넌트에 저장된 명령어 세트를 각각 포함하는 컴포넌트 세트로서 구현될 수 있으며, 각자의 컴포넌트의 명령어는 프로세서(404) 상에서 실행될 때 디바이스(402)로 하여금 여기에 제시된 기술의 일부를 수행하게 한다. 예시적인 시스템(408)은, 사용자(102)와 함께 개인(202)이 있는 동안 동작(108)을 수행하라는 요청(416)을 사용자(102)로부터 수신하면, 개인(202)과 연관된 동작(108)을 디바이스(402)의 메모리(406)에 저장하는 요청 수신기(410)를 포함한다. 예시적인 시스템(408)은 또한, 사용자(102)와 함께 있는 개인(202)의 존재(210)를 검출하는 개인 인식기(412)를 포함한다(예컨대, 알고 있는 개인(202)의 존재를 검출하도록 개인(102)의 환경의 환경 샘플(418)을 평가함). 예시적인 시스템(408)은 또한, 개인 인식기(412)가 메모리(406)에 저장된 선택된 동작(202)과 연관되어 있는 선택된 개인(202)이 사용자(102)와 함께 있음(212)을 검출할 때, 사용자(102)에 대하여 선택된 동작(108)을 수행하는 동작 수행기(414)를 포함한다. 이 방식으로, 예시적인 시스템(408)은 디바이스(402)로 하여금, 여기에 제시된 기술에 따라 사용자(102)가 개인(202)과 있는 동안 개인(202)을 수반하는 동작(108)을 수행하게 한다.

또 다른 실시예는, 여기에 제시된 기술을 적용하도록 구성된 컴퓨터 실행가능 명령어를 포함하는 컴퓨터 판독가능 매체를 수반한다. 이러한 컴퓨터 판독가능 매체는, 예컨대 디바이스의 프로세서에 의해 실행될 때 디바이스로 하여금 여기에 제시된 기술을 구현하게 하는 컴퓨터 판독가능 명령어 세트를 인코딩한, 메모리 반도체(예컨대, SRAM(static random access memory), DRAM(dynamic random access memory) 및/또는 SDRAM(synchronous dynamic random access memory) 기술을 이용한 반도체), 하드 디스크 드라이브의 플래터, 플래시 메모리 디바이스, 또는 (CD-R, DVD-R, 또는 플로피 디스크와 같은)자기 또는 광학 디스크와 같은 유형의 디바이스를 수반한 컴퓨터 판독가능한 스토리지 디바이스를 포함할 수 있다. 이러한 컴퓨터 판독가능한 매체는 또한, 다양한 물리적 현상(예컨대, 전자기 신호, 사운드파 신호, 또는 광학 신호)을 통해 또는 다양한 유선 시나리오(예컨대, 이더넷 또는 광섬유 케이블을 통해) 및/또는 무선 시나리오(예컨대, Wifi와 같은 WLAN(wireless local area network), 블루투스와 같은 PAN(personal area network), 또는 셀룰러 또는 라디오 네트워크)로 전파될 수 있으며 디바이스의 프로세서에 의해 실행될 때 디바이스로 하여금 여기에 제시된 기술을 구현하게 하는 컴퓨터 판독가능 명령어 세트를 인코딩한 신호와 같은 다양한 타입의 통신 매체를 (컴퓨터 판독가능한 스토리지 디바이스를 제외하는 기술 클래스로서) 포함할 수 있다.

이들 방식으로 고안될 수 있는 예시적인 컴퓨터 판독가능한 매체가 도 5에 예시되어 있으며, 구현(500)은 컴퓨터 판독가능 데이터(504)가 인코딩되어 있는 컴퓨터 판독가능한 메모리 디바이스(502)(예컨대, CD-R, DVD-R, 또는 하드 디스크 드라이브의 플래터)를 포함한다. 이 컴퓨터 판독가능 데이터(504)는 이어서, 컴퓨팅 디바이스(510)의 프로세서(404) 상에서 실행될 때 컴퓨팅 디바이스(510)로 하여금 여기에 서술된 원리에 따라 동작하게 하는 컴퓨터 명령어 세트(606)를 포함한다. 하나의 이러한 실시예에서, 프로세서 실행가능 명령어(506)는 도 3의 예시적인 방법(300)과 같이 컴퓨팅 디바이스(510)의 사용자(102)와 함께 개인(202)이 있는 동안 개인(202)을 수반하는 동작(108)을 실행하게끔 컴퓨팅 디바이스(410, 108)를 구성하는 방법(508)을 수행하도록 구성될 수 있다. 또다른 이러한 실시예에서, 프로세서 실행가능 명령어(606)는 도 4의 예시적인 시스템(408)과 같이 컴퓨팅 디바이스(510)의 사용자(102)와 함께 개인(202)이 있는 동안 개인(202)을 수반하는 동작(108)을 컴퓨팅 디바이스(501)가 실행하게끔 구성된 시스템을 구현하도록 구성될 수 있다. 이 컴퓨터 판독가능한 매체의 일부 실시예는 이 방식으로 구성된 프로세서 실행가능 명령어를 저장하도록 구성되는 컴퓨터 판독가능한 스토리지 디바이스(예컨대, 하드 디스크 드라이브, 광학 디스크, 또는 플래시 메모리 디바이스)를 포함할 수 있다. 여기에 제시된 기술에 따라 동작하도록 구성되는 많은 이러한 컴퓨터 판독가능한 매체가 당해 기술 분야에서의 통상의 지식을 가진 자에 의해 고안될 수 있다.

D. 변형예

여기에서 설명되는 기술은 많은 양상으로 변형되어 고안될 수 있으며, 일부 변형예는 이들 및 기타 기술의 다른 변형예에 관련하여 추가적인 이점을 제시하고/하거나 단점을 감소시킬 수 있다. 또한, 일부 변형예는 조합하여 구현될 수 있고, 일부 조합은 공동 협력을 통해 추가의 이점 및/또는 감소된 단점을 특징으로 할 수 있다. 변형예는 다양한 실시예(예컨대, 도 3의 예시적인 방법(300), 도 4의 예시적인 시스템(408), 및 도 5의 예시적인 컴퓨터 판독가능한 메모리 디바이스(502))에 통합되어 이러한 실시예에 대해 개별 및/또는 공동 이점을 부여할 수 있다.

D1. 시나리오

이들 기술의 실시예 중에 다양할 수 있는 제1 양상은 이러한 기술이 이용될 수 있는 시나리오에 관한 것이다.

이 제1 양상의 제1 변형예로서, 여기에 제시된 기술은 워크스테이션, 서버, 랩톱, 태블릿, 이동 전화, 게임 콘솔, 휴대용 게임 디바이스, 휴대용 또는 비휴대용 미디어 플레이어, 텔레비전과 같은 미디어 디스플레이 디바이스, 어플라이언스, 홈 자동화 디바이스, 및 SCADA(supervisory control and data acquisition) 디바이스와 같은 다양한 디바이스(104)의 구성을 달성하도록 이용될 수 있다.

도 6은 여기에 제공된 기술이 구현될 수 있는 이어피스 디바이스(602)를 특징으로 하는 예시적인 시나리오(600)의 예시를 제시한다. 이 이어피스 디바이스(602)는 사용자(102)에 의해 착용될 수 있고, 여기에 제시된 기술을 구현하도록 사용가능한 컴포넌트를 포함할 수 있다. 예를 들어, 이어피스 디바이스(602)는 사용자(102)의 머리(601)의 귀(612)에 착용할 수 있는 하우징(604)을 포함할 수 있고, 사용자(102)의 귀(612)로 오디오 메시지를 들리게 하도록 위치된 스피커(606) 및 사용자(102)의 환경(210)의 오디오 샘플을 검출하는 마이크로폰(608)을 포함할 수 있다. 여기에 제시된 기술에 따르면, 이어피스 디바이스(602)는 환경(210)의 오디오 샘플을 사용자(102)가 알고 있는 개인(202)의 음성 식별자(208)와 비교할 수 있고, 일치하는 것을 검출하면, 음성 식별자(208)에 의해 나타난 개인(202)이 사용자(102)와 함께 있음(212)을 추론할 수 있다. 그러면, 이어피스 디바이스(602)는, 개인(202)을 수반하는 리마인더의 오디오 메시지를 사용자(102)에 대하여 재생하는 것과 같이, 사용자(102)와 함께 있는 개인(202)의 존재(212)와 연관된 동작(108)을 수행할 수 있다(예컨대, “오늘은 Joe의 생일입니다”). 이 방식으로, 도 6의 예시적인 시나리오(600)에 예시된 바와 같은 이어피스 디바이스(602)는 여기에 제시된 기술을 이용할 수 있다.

이 제1 양상의 제2 변형예로서, 여기에 제시된 기술은, 동작(108) 및 각자의 개인(202)의 식별자를 저장하고, 사용자(102)가 착용한 디바이스나 사용자(102)가 타고 있는 차량과 같이 사용자(102)와 함께 존재하고 있는 제2 디바이스로부터 환경 샘플(418)을 수신하며, 제2 디바이스로부터의 환경 샘플(418)에 기초하여 사용자(102)와 함께 있는 개인(202)의 존재(210)를 검출하고, 사용자(102)에 대하여 리마인더 메시지를 디스플레이하는 것과 같은 동작(108)을 수행하도록 제2 디바이스에 요청하는 서버와 같은 이러한 디바이스의 조합으로 구현될 수 있다. 제1 디바이스가 기술의 일부를 수행하고 제2 디바이스가 기술의 나머지를 수행하는 많은 이러한 변형예들이 실현가능하다. 하나의 예로서, 서버는 사용자(102)의 다양한 디바이스로부터의 입력을 수신할 수 있고, 이러한 디바이스의 결합된 입력으로부터 사용자(102)와 함께 있는 개인(202)의 존재를 추론할 수 있으며, 특정 동작과 연관되어 있는, 사용자(102)와 함께 있는 개인(202)의 존재(212)를 추론하면, 동작을 수행하도록 디바이스의 하나 이상에 요청할 수 있다.

이 제1 양상의 제3 변형예로서, 디바이스(104)는 개인(102)과 함께 있는 각자의 개인(202)의 존재(212)를 검출하도록 다양한 타입의 입력 디바이스를 이용할 수 있다. 이러한 입력 디바이스는, 예컨대 가시 스펙트럼 및/또는 다른 범위의 전자기 스펙트럼 내의 이미지를 캡처하는 스틸 및/또는 모션 카메라, 개인(202)의 지문, 망막, 자세 또는 보행, 냄새, 또는 생화학적 샘플을 평가하는 생체 센서, GPS(global positioning system) 수신기, 자이로스코프 및/또는 가속도계, 스틸 또는 모션 카메라, 마이크로폰, PAN(personal area network) 센서 및 네트워크 어댑터와 같은 디바이스 센서, 전자기 센서, 및 근접도 센서를 포함할 수 있다.

이 제1 양상의 제4 변형예로서, 디바이스(104)는 많은 타입의 사용자(102)로부터 동작(108)을 수행하라는 요청을 수신할 수 있다. 예를 들어, 디바이스(104)는 디바이스(104)의 제2 사용자(102)와 함께 있는 개인(202)의 존재(212)를 검출하면 동작(108)을 수행하도록 디바이스(104)의 제1 사용자(102)로부터의 요청을 수신할 수 있다(예컨대, 제1 사용자(102)는 제2 사용자(102)의 부모를 포함할 수 있음).

이 제1 양상의 제5 변형예로서, 사용자(102)와 함께 있는 개인(202)의 존재(212)의 많은 타입이 디바이스(104)에 의해 검출될 수 있다. 첫 번째 이러한 예로서, 존재(212)는 개인(202)이 시야, 가청 거리, 또는 사용자(102)의 물리적 접촉 내에 있다는 검출과 같은, 개인(202)과 사용자(102)의 물리적 근접도를 포함할 수 있다. 두 번째 이러한 예로서, 존재(212)는 사용자(102)와 개인(202) 사이의 전화 통신 또는 화상회의 세션 동안과 같은 개인(202)과 사용자(102) 사이의 통신 세션의 개시를 포함할 수 있다.

이 제1 양상의 제6 변형예로서, 디바이스(104)는 특정 가족의 구성원 또는 학과의 학생 중의 하나와 같은 개인(202)의 그룹을 검출하도록 구성될 수 있다. 디바이스(104)는 각각의 이러한 개인(202)의 식별자를 저장할 수 있고, 사용자(102)와 함께 개인(202) 중의 임의의 한 개인의 존재(212)(예컨대, 사용자의 가족 중의 임의의 구성원), 또는 사용자(102)와 함께 그룹의 개인들(202)의 모임을 검출하면(예컨대, 사용자 가족의 모든 구성원을 검출하면), 디바이스(104)는 동작(108)을 수행할 수 있다.

이 제1 양상의 제7 변형예로서, 사용자(102)의 존재(212)시에 많은 타입의 개인(202)이 식별될 수 있다. 첫 번째 이러한 예로서, 개인(202)은 사용자의 가족 구성원, 친구, 또는 동료 연락처와 같은 사용자(102)의 개인적인 연락처를 포함할 수 있다. 두 번째 이러한 예로서, 개인(202)은 유명인사와 같이 사용자(102)에게 알려진 사람을 포함할 수 있다. 세 번째 이러한 예로서, 개인(202)은, 디바이스(104)로 하여금 우편을 위한 집배원에게 소포를 전달하도록 사용자(102)에게 리마인더를 제시하게 할 수 있는, 집배원인 것으로 보이는 임의의 개인과 같은 사람의 타입을 포함할 수 있다.

이 제1 양상의 제8 변형예로서, 많은 타입의 동작(108)이 사용자(102)와 함께 있는 개인(202)의 존재(212)를 검출하는 것에 응답하여 수행될 수 있다. 이러한 동작(108)은, 사용자(102)에 대하여 메시지(120)를 디스플레이하는 것, 이미지를 디스플레이하는 것, 녹음된 사운드를 재생하는 것, 저널에 사용자(102) 및 개인(202)의 존재(212)를 로깅하는 것, 제2 사용자(102)나 제3자에게 존재(212)를 나타내는 메시지를 보내는 것, 사용자(102)와 개인(202) 간의 상호작용을 포함하는 환경(210)의 기록을 캡처하는 것, 또는 디바이스(104) 상의 특정 애플리케이션을 실행하는 것을 포함할 수 있다. 여기에 제시된 기술과 양립가능한 많은 이러한 변형예들이 고안될 수 있다.

D2. 동작을 수행하라는 요청

여기에 제시된 기술의 실시예 중에 다양할 수 있는 제2 양상은, 사용자(102)와 함께 있는 개인(202)의 존재(212)를 검출하면 동작(108)을 수행하라는 사용자(102)로부터의 요청(416)을 수신하는 방식을 수반한다.

이 제2 양상의 제1 변형예로서, 요청(416)은 사용자(102)와 함께 있는 개인(202)의 존재(212)에 추가적으로, 동작(108)이 좌우되는 하나 이상의 조건을 포함할 수 있다. 예를 들어, 사용자(102)는 사용자(102)가 특정 개인(202)과 마주칠 때 뿐만 아니라 마주치는 시간이 특정 시간 범위 내인 경우 사용자(102)에게 리마인더 메시지를 제시할 것을 요청할 수 있다(예컨대, “내가 Ann의 생일 전에 Joe를 본다면, Ann을 위한 선물을 사라고 그에게 말하도록 알려주세요”). 디바이스(104)는 개인(202)과 연관된 동작(108)에 대한 조건을 저장하고, 사용자(102)와 함께 있는 개인(202)의 존재(212)의 충족을 검출하면, 조건이 충족되었는지 여부를 더 결정할 수 있다.

이 제2 양상의 제2 변형예로서, 요청(416)은 텍스트 입력, 제스처, 음성 명령, 또는 포인터 기반의 사용자 인터페이스를 통해 제공된 포인팅 입력과 같이 디바이스(104)에 사용자(102)에 의해 지시된 커맨드를 포함할 수 있다. 요청(416)은 또한, 디바이스(104)에 지시된 자연 언어 음성 요청과 같은 자연 언어 입력으로서 디바이스(104)에 지시될 수 있다(예컨대, “내가 Joe를 보면 마켓에서 빵을 사라고 그에게 요청할 것을 알려주세요”).

이 제2 양상의 제3 변형예로서, 디바이스(104)에 사용자(102)에 의해 지시되는 요청(416)을 수신하는 것이 아니라, 디바이스(104)는 사용자(102)과 개인 간의 통신 동안 요청(416)을 추론할 수 있다. 예를 들어, 디바이스(104)는, 적어도 하나의 통신이 동작 및 개인을 지정하지만 디바이스(104)에 사용자(102)에 의해 발행된 커맨드를 포함하지 않는 경우에, 요청(416)을 검출하도록 사용자와 개인 사이의 적어도 하나의 통신을 평가할 수 있다. 예를 들어, 디바이스(104)는, 사용자(102)와 개인 사이의 음성 통신의 환경 샘플(418)을 평가할 수 있고, 사용자가 말한 통신의 컨텐츠를 인식하도록 음성 인식 기술을 적용할 수 있고, 인식된 음성으로부터 하나 이상의 요청(416)을 추론할 수 있다(예컨대, “시장에서 빵을 사라고 Joe에게 말해야 해”는, 디바이스(104)로 하여금, 사용자(102)가 Joe로 알고 있는 개인(202)이 있다고 검출될 때 제시될 리마인더 메시지(120)를 수반하는 개인 존재 룰(204)을 생성하게 함). 통신에서 요청(416)을 검출하면, 디바이스(104)는 개인(202)과 연관된 동작(108)을 저장할 수 있다.

이 제2 양상의 제4 변형예로서, 디바이스(104)는 개인(102)을 대신하여 실행하는 애플리케이션으로부터 요청(416)을 수신할 수 있다. 예를 들어, 캘린더 애플리케이션은 디바이스(104)의 사용자(102)의 연락처의 생일들을 포함할 수 있고, 개인의 생일과 대응하는 날짜에 사용자(102)가 개인(202)과 있을 때에 리마인더 메시지를 제시하도록 디바이스(104)에 대한 일련의 요청(416)을 개시할 수 있다. 여기세 제시된 기술에 따라 사용자(102)가 개인(202)과 있는 동안 동작(108)을 수행하라는 요청(416)을 수신하도록 이들 및 기타 기술이 이용될 수 있다.

D3. 존재 검출

여기에 제시된 기술의 실시예 중에 다양할 수 있는 제3 양상은, 사용자(102)와 함께 있는 개인(202)의 존재(212)를 검출하는 방식을 수반한다.

이 제3 양상의 제1 변형예로서, 디바이스(104)는 사용자(102)의 환경(210)의 환경 샘플(418)을 각자의 개인(102)의 다양한 생체 식별자와 비교할 수 있다. 예를 들어, 도 2의 예시적인 시나리오(200)에 예시된 바와 같이, 디바이스(104)는 개인(202)의 얼굴 식별자(206)를 저장할 수 있고, 디바이스(104)의 얼굴 인식기는 사용자(102)의 환경(210)의 사진(218)을 개인(202)의 얼굴 식별자(206)와 비교할 수 있다. 대안으로서 또는 추가적으로, 디바이스(104)는 개인(202)의 음성 식별자(208)를 저장할 수 있고, 디바이스(104)의 음성 인식기는 사용자(102)의 환경(210)의 오디오 녹음(220)을 개인(202)의 음성 식별자(208)와 비교할 수 있다. 각자의 개인(202)의 다른 생체 식별자는, 예를 들어 각자의 개인(202)의 지문, 망막, 자세 또는 보행, 냄새 또는 생체 식별자를 포함할 수 있다.

도 7은 개인(202)의 존재(212)를 검출하기 위한 하나의 이러한 기술을 수반하는, 이 제2 양상의 제2 변형예를 특징으로 하는 예시적인 시나리오(700)의 예시를 제시하며, 사용자(102)와 함께 개인(202)이 있는 동안, 디바이스(104)는 개인(202)의 개인 인식 식별자를 식별하고, 개인(202)의 개인 인식 식별자를 저장하며, 그 후에 개인(202)의 개인 인식 식별자에 따라 사용자(102)와 함께 있는 개인(202)의 존재를 검출한다. 이 예시적인 시나리오(700)에서, 제1 시간(704)에, 디바이스(104)는 사용자(102)의 존재시에(212) 알지 못하는(unknown) 개인(202)을 검출할 수 있다. 디바이스(104)는, 존재(212) 동안 카메라(214)로 찍은 개인(202)의 사진(218)으로부터 개인(202)의 얼굴의 얼굴 식별자(206)를 결정하고, 개인(202)의 존재(212) 동안 마이크로폰(216)으로 캡처된 오디오 샘플에서 개인(202)의 음성의 음성 식별자(220)를 결정하는 것과 같이, 개인(202)의 다양한 생체 식별자를 캡처할 수 있다. 이들 생체 식별자는 디바이스(104)에 의해 저장될 수 있으며(702), 개인(202)의 아이덴티티와 연관될 수 있다(예컨대, 사용자의 캘린더에 따른 것과 같이 사용자(102)가 존재하는 데에 있을 것으로 예상되는 개인(202)을 결정함으로써, 이러한 생체 식별자를 소셜 네트워크와 같은 알고 있는 개인(202)의 생체 식별자의 소스와 비교함으로써, 또는 개인(202)을 식별하도록 현재 또는 나중에 사용자(102)에게 단순히 요청함으로써 달성됨). 제2 시간(706)에, 사용자(102)가 다시 개인(202)이 존재하는 데에 있는 것으로 결정될 때, 디바이스(104)는 사용자(102)의 환경(210)의 제2 사진(218) 및/또는 제2 오디오 샘플(220)을 캡처할 수 있고, 사용자(102)와 함께 있는 개인(202)의 존재(212)를 추론하도록 이러한 환경 샘플을 알고 있는 개인(202)의 생체 식별자와 비교할 수 있다.

도 8은 이 제2 양상의 제3 변형예를 특징으로 하는 예시적인 시나리오(800)의 예시를 제시하며, 디바이스(104)는 사용자(102)의 위치를 검출하는 사용자 위치 검출기 및 개인(202)의 위치를 검출하는 디바이스(104)의 개인 위치 검출기를 포함하고, 사용자(102)와 함께 있는 개인(202)의 존재(212)를 결정하도록 선택된 개인(202)의 위치와 사용자(102)의 위치를 비교한다. 예를 들어, 사용자(102)와 개인(202) 둘 다 각 사람의 좌표(804)를 검출하는 GPS 수신기를 포함한 디바이스(104)를 휴대할 수 있다. 좌표(804)의 비교(806)는, 디바이스(104) 그리고 더 나아가 사용자(102)와 개인(202)이 서로의 10피트 내와 같은 특정 근접도 내에 있다는 추론을 가능하게 할 수 있다. 따라서 사용자(102)의 디바이스(104)는 개인(202)과 사용자(102)의 존재 동안 개인(202)과 연관된 동작(108)을 수행할 수 있다.

이 제2 양상의 제4 변형예로서, 사용자(102)의 디바이스(104)는 사용자(102)와 개인(202) 사이의 음성, 화상회의, 또는 텍스트 채팅 세션과 같은 사용자(102)와 개인(202) 사이의 통신 세션을 검출하는 통신 세션 검출기를 포함할 수 있다. 이 검출은, 예컨대 통신 세션의 참가자로서 개인(202)을 식별하도록 통신 세션의 메타데이터를 평가함으로써, 또는 통신 세션의 미디어 스트림에 생체 식별자를 적용함으로써(예컨대, 음성 세션 동안 개인(202)의 음성을 검출하고, 음성을 개인(202)의 음성 식별자(208)와 매칭함), 달성될 수 있다.

이 제2 양상의 제5 변형예로서, 사용자(102)와 함께 있는 개인(202)의 존재(212)는 개인(202)과 연관된 디바이스에 의해 방출된 신호를 검출함으로써 검출될 수 있다. 예를 들어, 개인과 연관되어 있는 이동 전화는 셀룰러 통신 신호 또는 WiFi 신호와 같은 무선 신호를 방출할 수 있고, 신호는 디바이스의 식별자를 포함할 수 있다. 개인(202)과 디바이스의 연관이 알려지면, 디바이스에 의해 방출된 신호에서의 식별자가 검출되어 사용자(102)와 함께 있는 개인(202)의 존재로서 해석될 수 있다.

이 제2 양상의 제6 변형예로서, 존재(212)의 검출은 또한, 개인(202)의 존재(212)에 추가적으로 사용자(102)의 존재를 검증하는(verify) 것을 포함할 수 있다. 예를 들어, 개인(202)의 얼굴의 얼굴 식별자(206)를 식별하도록 사용자(102)의 환경(210)의 사진(218)을 평가하는 것에 더하여, 디바이스(104)는 또한, 사용자(102)의 얼굴의 얼굴 식별자(206)를 식별하도록 사진(218)을 평가할 수 있다. 디바이스(104)가 항상 사용자(102)가 존재하는 데에 있다고 추정하는 것이 받아들여질 수 있지만, 개인(202)에 추가적으로 사용자(102)의 존재(212)를 검증하는 것이 바람직할 수 있다. 예를 들어, 이 검증은, 개인(202)과 사용자의 디바이스(104) 간의 마주침(예컨대, 사용자(102)가 존재하지 않는 동안 개인(202)이 사용자의 디바이스(104)와 마주치게 되는 경우)을, 개인(202) 및 사용자(102)의 존재(212)와 구별할 수 있다. 대안으로서 또는 추가적으로, 디바이스(104)는 사용자(102)의 존재(212)의 표시로서, 패스워드를 이용한 디바이스(104)의 최근 잠금해제와 같은 디바이스(104)와의 최근 상호작용을 해석할 수 있다.

이 제2 양상의 제7 변형예로서, 디바이스(104)는 개인(102)과 함께 있는 개인(202)의 존재(212)를 검출하도록 식별자들의 조합을 사용할 수 있다. 예를 들어, 디바이스(104)는 사용자(102)와 함께 있는 개인(202)의 존재(212)를 검증하기 위하여 개인(202)의 얼굴 식별자, 개인(202)의 음성 식별자, 및 개인(202)이 휴대한 제2 디바이스에 의해 방출된 신호를 동시에 검출할 수 있다. 이러한 신호의 조합의 평가는, 예컨대 긍정 오류(예를 들어, 제1 개인과 유사한 음성을 갖는 제2 개인의 음성과 음성 식별자의 매칭을 통하여 개인(202)의 존재(212)를 잘못 식별함)의 비율 및 부정 오류(예를 들어, 식별자의 변화로 인해 개인(202)의 존재(21)를 잘못으로 식별하지 못함, 예컨대 개인의 음성 식별자가 개인(202)이 후두염을 갖는 동안 일치하지 않을 수 있음)의 비율을 줄일 수 있다. 많은 이러한 기술들은 여기에 제시된 기술에 따라 사용자(102)와 함께 있는 개인(202)의 존재를 검출하도록 이용될 수 있다.

D4. 동작 수행

여기에 제시된 기술의 실시예 중에 다양할 수 있는 제4 양상은, 사용자(102)와 함께 있는 개인(202)의 존재(212)를 검출시의 동작(108)의 수행을 수반한다.

이 제4 양상의 제1 변형예로서, 하나 이상의 조건이 동작(108)과 연관될 수 있으며, 그리하여 조건은 각자의 동작(108)을 수행하기 전에 사용자(102)와 함께 있는 개인(202)의 존재(212) 동안 충족되어야 할 것이다. 예를 들어, 조건은, 특정 시간 범위 동안, 특정 위치에서, 또는 사용자(102)가 디바이스(104) 상의 특정 타입의 애플리케이션을 사용하고 있는 동안의, 사용자(102)와 함께 있는 개인(202)의 존재(212) 동안에만 동작(108)이 수행될 것이라고 지정할 수 있다. 동작(108)과 연관된 이러한 조건은 다양한 방식으로 평가될 수 있다. 첫 번째 이러한 양상으로서, 조건은 조건 충족을 검출하도록 주기적으로 평가될 수 있다. 대안으로서, 디바이스(104)가 조건의 조건 충족을 검출하여 조건 충족이 검출될 때 트리거 통지를 생성하도록 트리거 검출기에 명령할 수 있도록 트리거가 생성될 수 있다.

이 제4 양상의 제2 변형예로서, 존재(212)의 검출 및 동작(108)의 호출은, 프로세서, 메모리, 또는 배터리의 용량 및 카메라와 마이크로폰과 같은 센서의 사용과 같은 디바이스(104)의 계산 리소스의 소비를 감소시키기 위하여 한정될 수 있다. 첫 번째 이러한 예로서, 디바이스(104)는 동작(108)과 연관된 조건이 충족될 때에만 사용자(102)와 함께 있는 개인(104)의 존재(212)를 검출하도록 사용자(102)의 환경(210)을 평가할 수 있고, 그렇지 않은 경우에는 배터리 전력을 절약하기 위하여 환경(210)을 평가하지 않을 수 있다. 두 번째 이러한 예로서, 디바이스(104)는 사용자(102)와 함께 개인(104)이 있을 것으로 예상되는 동안에만, 예컨대 개인(202)과 사용자(102)가 함께 있을 것인 위치에서만, 사용자(102)와 함께 있는 개인(202)의 존재(212)를 검출할 수 있다.

이 제4 양상의 제3 변형예로서, 조건의 평가는 디바이스(104) 상의 애플리케이션에 의해 보조될 수 있다. 예를 들어, 디바이스(104)는 애플리케이션이 조건 충족을 검출할 수 있는 애플리케이션 조건을 제공하는 적어도 하나의 애플리케이션을 포함할 수 있다. 디바이스(104)는 조건형 동작의 애플리케이션 조건을 지정하는 요청이 수신될 때 조건을 저장할 수 있고, 애플리케이션 조건의 조건 충족을 결정하도록 애플리케이션을 호출함으로써 조건을 평가할 수 있다. 예를 들어, 애플리케이션 조건은, 개인(202)과 사용자(102)의 존재(212)가 시장에 있을 것을 지정할 수 있다. 디바이스(104)는 사용자(102)와 함께 있는 개인(202)의 존재(212)를 검출할 수 있지만, 존재(212)의 위치가 시장인지 여부는 결정할 수 없을 수 있다. 따라서, 사용자(102)와 개인(202)이 시장에 함께 있는지 여부를 결정하기 위하여, 디바이스(104)는 존재(212)의 좌표를 알고 있는 시장의 좌표와 비교할 수 있는 애플리케이션을 호출할 수 있다.

도 9는 이 제4 양상의 제4 변형예를 특징으로 하는 예시적인 시나리오(900)의 예시를 제시하며, 통신이 디바이스(104)에 사용자(102)에 의해 발행된 커맨드를 포함하지 않는 경우에, 사용자(102)의 디바이스(104)는 조건의 조건 충족을 검출하도록 사용자(102)와 개인(202) 사이의 적어도 하나의 통신을 평가할 수 있다. 이 예시적인 시나리오(900)에서, 제1 시간(910)에, 디바이스(104)는 사용자(102)와 함께 있는 제1 개인(102)의 존재(212)를 검출할 수 있다. 디바이스(104)는 통신의 오디오 샘플(220)을 생성하도록 마이크로폰(216)을 호출할 수 있고, 사용자(102)와 개인(202) 사이의 통신에서, 사용자(10)가 Joe라는 이름의 제2 개인(102)과 함께 존재할 때(“빵을 사라고 Joe에게 요청해라”) 하지만 조건(906)이 충족되는 경우에만(“Joe가 시장을 방문하고 있는 경우”) 동작(108)을 수행하라는 요청(416)을 검출하도록 음성 분석(902)을 수행할 수 있다. 디바이스(104)는 동작(108), 조건(906) 및 제2 개인(202)을 포함하는 리마인더(904)를 저장할 수 있다. 제2 시간(912)에, 디바이스(104)는 제2 개인(202)과 함께 있는 사용자(102)의 존재(212)를 검출할 수 있고, 사용자(102)와 제2 개인(202) 사이의 통신의 오디오 샘플(220)을 생성하도록 다시 마이크로폰(216)을 호출할 수 있다. 오디오 샘플(220)의 음성 분석(902)은 조건의 충족을 밝힐 수 있다(예컨대, 제2 개인은 그가 내일 시장을 방문할 것임을 서술할 수 있음). 디바이스(104)는 조건(906)의 조건 충족(908)을 검출할 수 있고, 개인(102)의 존재(212) 동안 사용자(102)에게 메시지(120)를 제시함으로써 동작을 수행할 수 있다.

이 제4 양상의 제5 변형예로서, 디바이스(104)는 다양한 방식으로 동작(108)을 수행할 수 있다. 첫 번째 이러한 예로서, 디바이스(104)는 사용자(102)의 귀로 지향되는 스피커 또는 진동 모듈과 같은 비시각적 통신기를 호출할 수 있고, 사용자(102)의 귀로 지향되는 오디오 또는 모스 인코딩된 메시지와 같은 메시지의 비시각적 표현을 사용자에게 제시할 수 있다. 이러한 제시는 사용자(102)와 함께 있는 존재(212) 동안 개인(202)이 볼 수도 있는 시각적 메시지보다 더 별개의 방식으로 사용자(102)에게 메시지의 통신을 가능하게 할 수 있다.

도 10은 이 제4 양상의 제6 변형예를 특징으로 하는 예시적인 시나리오(1000)의 예시를 제시하며, 동작(108)은 사용자(102)와 함께 있는 개인(202)의 존재(212) 동안 하지만 개인(202)과 사용자(102)의 상호작용(1002)을 방해하는 것을 피하는 방식으로 수행된다. 이 예시적인 시나리오(1000)에서, 제1 시간(104)에, 디바이스(104)는 사용자(102)와 개인(202) 사이의 상호작용을 검출하고(예컨대, 사용자(102)와 개인(202)이 이야기하고 있음을 검출함), 따라서 동작(108)을 수행하지 않는다(예컨대, 상호작용(1002) 동안 사용자에게 오디오 또는 시각적 메시지를 제시하지 않음). 제2 시간(1006)에, 디바이스(104)는 상호작용(1002)의 정지를 검출할 수 있고(예컨대, 대화없는 구간), 그러면 동작(108)을 수행할 수 있다(예컨대, 사용자(102)에게 메시지(120)를 제시함). 이 방식으로, 디바이스(104)는 사용자(102)와 개인(202) 사이의 상호작용(1002)을 방해하는 것을 피하기 위하여 동작(108) 수행의 타이밍을 선택할 수 있다. 동작(108)의 수행에 있어서 많은 이러한 변형예들이 여기에 제시된 기술의 구현에 포함될 수 있다.

E. 컴퓨팅 환경

도 11과 다음의 설명은 여기에 서술된 프로비전 중의 하나 이상의 실시예를 구현하도록 적합한 컴퓨팅 환경의 간략하고 일반적인 설명을 제공한다. 도 11의 운영 환경은 적합한 운영 환경의 단지 하나의 예일 뿐이며 운영 환경의 사용 또는 기능의 범위에 대해 어떠한 한정도 제안하도록 의도되지 않는다. 예시적인 컴퓨팅 디바이스는, 개인용 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩톱 디바이스, (이동 전화, PDA, 미디어 플레이어 등과 같은)이동 디바이스, 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 상기 시스템 또는 디바이스를 포함하는 분산형 컴퓨팅 환경 등을 포함하지만, 이에 한정되는 것은 아니다.

요구되는 것은 아니지만, 실시예는 일반적으로 하나 이상의 컴퓨팅 디바이이스에 의해 실행되는 “컴퓨터 판독가능한 명령어”에 관련하여 기재된다. 컴퓨터 판독가능한 명령어는 컴퓨터 판독가능한 매체(아래에 설명됨)를 통해 분포될 수 있다. 컴퓨터 판독가능한 명령어는 특정 작업을 수행하거나 특정 추상 데이터 타입을 구현하는 함수, 객체, API(Application Programming Interfaces), 데이터 구조 등과 같은 프로그램 모듈로서 구현될 수 있다. 통상적으로, 컴퓨터 판독가능한 명령어의 기능은 다양한 환경에서 원하는 대로 결합되거나 분산될 수 있다.

도 11은 여기에 제공된 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1102)를 포함하는 시스템(1100)의 예를 예시한다. 하나의 구성에서, 컴퓨팅 디바이스(1102)는 적어도 하나의 프로세싱 유닛(1106) 및 메모리(1108)를 포함한다. 컴퓨팅 디바이스의 정확한 구성 및 타입에 따라, 메모리(1108)는 (예를 들어, RAM과 같은)휘발성, (예를 들어, ROM, 플래시 메모리와 같은)비휘발성 또는 이 둘의 일부 조합일 수 있다. 이 구성은 도 11에서 점선(1104)에 의해 예시되어 있다.

다른 실시예에서, 디바이스(1102)는 추가의 특징 및/또는 기능을 포함할 수 있다. 예를 들어, 디바이스(1102)는 또한, 자기 스토리지, 광학 스토리지 등을 포함하지만 이에 한정되는 것은 아닌 추가적인 스토리지(예컨대, 이동식 및/또는 비이동식)를 포함할 수 있다. 이러한 추가적인 스토리지는 도 11에서 스토리지(1100)로 예시되어 있다. 하나의 실시예에서, 여기에 제공된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독가능한 명령어가 스토리지(1100)에 있을 수 있다. 스토리지(1100)는 또한, 운영 체제, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독가능한 명령어를 저장할 수 있다. 컴퓨터 판독가능한 명령어는 예를 들어 프로세싱 유닛(1106)에 의한 실행을 위해 메모리(1108)에서 로딩될 수 있다.

여기에서 사용된 용어 “컴퓨터 판독가능한 매체”는 컴퓨터 판독가능한 스토리지 디바이스를 포함한다. 이러한 컴퓨터 판독가능한 스토리지 디바이스는 휘발성 및/또는 비휘발성, 이동식 및/또는 비이동식일 수 있고, 컴퓨터 판독가능한 명령어 또는 기타 데이터를 저장한 다양한 타입의 물리적 디바이스를 수반할 수 있다. 메모리(1108) 및 스토리지(1110)는 컴퓨터 스토리지 매체의 예이다. 컴퓨터 저장 스토리지 디바이스는, RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD 또는 기타 광학 스토리지, 자기 카세트, 자기 테이프, 및 자기 디스크 스토리지 또는 기타 자기 스토리지 디바이스를 포함하지만, 이에 한정되는 것은 아니다.

디바이스(1102)는 디바이스(1102)가 다른 디바이스와 통신할 수 있게 해주는 통신 접속(들)(1116)을 포함할 수 있다. 통신 접속(들)(1116)은 모뎀, NIC(Network Interface Card), 집적 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속, 또는 컴퓨팅 디바이스(1102)를 다른 컴퓨팅 디바이스에 접속시키는 다른 인터페이스를 포함할 수 있지만, 이에 한정되는 것은 아니다. 통신 접속(들)(1116)은 유선 접속 또는 무선 접속을 포함할 수 있다. 통신 접속(들)(1116)은 통신 매체를 전송하고/하거나 수신할 수 있다.

용어 “컴퓨터 판독가능한 매체”는 통신 매체를 포함할 수 있다. 통신 매체는 통상적으로 반송파 또는 기타 수송 메커니즘과 같은 “변조된 데이터 신호”로 컴퓨터 판독가능한 명령어 또는 기타 데이터를 구현하며, 임의의 정보 전달 매체를 포함한다. 용어 “변조된 데이터 신호”는 신호에 정보를 인코딩하는 방식으로 그의 특성 중의 하나 이상의 설정되거나 변경된 신호를 포함할 수 있다.

디바이스(1102)는 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 및/또는 임의의 기타 입력 디바이스와 같은 입력 디바이스(들)(1114)를 포함할 수 있다. 하나 이상의 디스플레이, 스피커, 프린터, 및/또는 임의의 기타 출력 디바이스와 같은 출력 디바이스(들)(1112)도 또한 디바이스(1102)에 포함될 수 있다. 입력 디바이스(들)(1114) 및 출력 디바이스(들)(1112)는 유선 접속, 무선 접속, 또는 이들의 임의의 조합을 통해 디바이스(1102)에 접속될 수 있다. 하나의 실시예에서, 또다른 컴퓨팅 디바이스로부터의 입력 디바이스 또는 출력 디바이스는 컴퓨팅 디바이스(1102)에 대한 입력 디바이스(들)(1114) 또는 출력 디바이스(들)(1112)로서 사용될 수 있다.

컴퓨팅 디바이스(1102)의 컴포넌트는 버스와 같은 다양한 상호접속부에 의해 접속될 수 있다. 이러한 상호접속부는 PCI Express와 같은 PCI(Peripheral Component Interconnect), USB(Universal Serial Bus), Firewire (IEEE 1394), 광학 버스 구조 등을 포함할 수 있다. 다른 실시예에서, 컴퓨팅 디바이스(1102)의 컴포넌트는 네트워크에 의해 상호접속될 수 있다. 예를 들어, 메모리(1108)는 네트워크에 의해 상호접속된 상이한 물리적 위치에 위치된 복수의 물리적 메모리 유닛들로 구성될 수 있다.

당해 기술 분야에서의 숙련자라면 컴퓨터 판독가능한 명령어를 저장하는데 이용된 스토리지 디바이스가 네트워크에 걸쳐 분산될 수 있다는 것을 알 수 있을 것이다. 예를 들어, 네트워크(1118)를 통해 액세스가능한 컴퓨팅 디바이스(1120)는 여기에 제공된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독가능한 명령어를 저장할 수 있다. 컴퓨팅 디바이스(1102)는 컴퓨팅 디바이스(1120)에 액세스하고 실행을 위해 컴퓨터 판독가능한 명령어의 일부 또는 전부를 다운로드할 수 있다. 대안으로서, 컴퓨팅 디바이스(1102)는 필요한 바에 따라 컴퓨터 판독가능한 명령어의 조각을 다운로드할 수 있고, 또는 일부 명령어가 컴퓨팅 디바이스(1102)에서 그리고 일부는 컴퓨팅 디바이스(1120)에서 실행될 수 있다.

F. 용어의 사용

구조적 특징 및/또는 방법 동작에 특정한 언어로 내용이 기재되었지만, 첨부된 청구항에 정의된 내용은 반드시 상기 기재된 구체적 특징 또는 동작에 한정되는 것이 아님을 이해하여야 한다. 오히려, 상기 기재된 구체적 특징 및 동작은 청구항을 구현하는 예시적인 형태로서 개시된 것이다.

본 출원에서 사용될 때, 용어 “컴포넌트”, “모듈”, “시스템”, “인터페이스” 등은 일반적으로, 하드웨어든, 하드웨어와 소프트웨어의 조합이든, 소프트웨어이든, 또는 실행 중인 소프트웨어이든 컴퓨터 관련 엔티티를 지칭하는 것으로 의도된다. 예를 들어, 컴포넌트는 프로세서 상에서 실행 중인 프로세스, 프로세서, 객체, 실행, 실행 쓰레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이에 한정되는 것은 아니다. 예시로써, 컨트롤러 상에서 실행 중인 애플리케이션과 컨트롤러 둘 다 컴포넌트일 수 있다. 하나 이상의 컴포넌트가 프로세스 및/또는 실행 쓰레드 내에 상주할 수 있고, 컴포넌트는 하나의 컴퓨터 상에 로컬라이징되고/되거나 둘 이상의 컴퓨터 사이에 분산될 수 있다.

또한, 청구 내용은 개시된 내용을 구현하도록 컴퓨터를 제어하기 위해 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합을 생성하도록 표준 프로그래밍 및/또는 엔지니어링 기술을 사용하는 방법, 장치, 또는 제조 물품으로서 구현될 수 있다. 여기에서 사용될 때 용어 “제조 물품”은 임의의 컴퓨터 판독가능한 디바이스, 반송파, 또는 매체로부터 액세스 가능한 컴퓨터 프로그램을 망라하도록 의도된다. 물론, 당해 기술 분야에서의 숙련자는 청구 내용의 범위 또는 진정한 의미로부터 벗어나지 않고서 이 구성에 많은 수정이 행해질 수 있다는 것을 알 수 있을 것이다.

실시예의 다양한 동작들이 여기에 제공되어 있다. 하나의 실시예에서, 기재된 동작들 중의 하나 이상은 하나 이상의 컴퓨터 판독가능한 매체 상에 저장된 컴퓨터 판독가능한 명령어를 구성할 수 있으며, 이는 컴퓨팅 디바이스에 의해 실행되면 컴퓨팅 디바이스로 하여금 기재된 동작들을 수행하게 할 것이다. 동작들의 일부 또는 전부가 기재되어 있는 순서는 이들 동작들이 반드시 순서에 따라야 함을 의미하는 것으로 해석되어서는 안 된다. 본 출원의 이익을 누리는 분야에서의 숙련자에 의해 대안의 순서가 인식될 것이다. 또한, 모든 동작들이 반드시 여기에 제공된 각각의 실시예에 제시되는 것은 아님을 이해할 것이다.

더욱이, 용어 “예시적인”은 예, 사례, 또는 예시로서 작용함을 의미하도록 여기에서 사용된다. “예시적인”으로서 여기에 기재된 임의의 양상 또는 설계가 반드시 다른 양상 또는 설계 이상으로 유리한 것으로 해석되어야 하는 것은 아니다. 오히려, 용어 예시적인의 사용은 구체적인 방식으로 개념을 제시하고자 하는 것이다. 본 출원에서 사용될 때, 용어 “또는”은 배타적인 “또는”이라기보다는 포괄적인 “또는”을 의미하도록 의도된다. 즉, 달리 명시된다거나 문맥으로부터 명확하지 않은 한, “X는 A 또는 B를 채용한다”는 임의의 자연 포괄적인 치환을 의미하도록 의도된다. 즉, X가 A를 채용하거나 X가 B를 채용하거나 또는 X가 A 및 B 둘 다를 채용하는 경우, “X는 A 또는 B를 채용한다”는 임의의 전술한 사례에 대해 충족된다. 또한, 본 출원 및 첨부된 청구항에서 사용되는 관사 "a” 및 “an”은, 단수 형태를 지시하도록 달리 명시된다거나 문맥으로부터 명확하지 않은 한, 일반적으로 “하나 이상”을 의미하는 것으로 해석될 수 있다.

또한, 본 개시가 하나 이상의 구현에 관련하여 도시되고 기재되었지만, 본 명세서 및 첨부 도면을 읽고 이해하는 것을 기반으로 등가의 대안 및 수정이 당해 기술 분야에서의 숙련자들에게 떠오를 것이다. 본 개시는 모든 이러한 수정 및 대안을 포함하며 다음의 청구항의 범위에 의해서만 한정된다. 상기 기재된 컴포넌트(예컨대, 요소, 자원 등)에 의해 수행되는 다양한 기능에 특히 관련하여, 이러한 컴포넌트를 기재하는데 사용된 용어는 달리 나타내지 않는 한, 본 개시의 여기에 예시된 예시적인 구현에서의 기능을 수행하는 개시된 구조와 구조적으로 등가가 아니더라도, 기재된 컴포넌트의 명시된 기능을 수행하는 임의의 컴포넌트(예컨대, 기능적으로 등가임)에 대응하는 것으로 의도된다. 또한, 본 개시의 특정 특징이 여러 구현 중의 하나에만 관련하여 개시되었지만, 이러한 특징은 임의의 주어진 또는 특정 애플리케이션에 대하여 원하고 유리할 수 있는 대로 다른 구현의 하나 이상의 다른 특징과 결합될 수 있다. 또한, 용어 “포함한다”, “갖는”, “갖는다”, “구비한”, 또는 이들의 변형어가 상세한 설명이나 청구항에서 사용되는 경우에, 이러한 용어는 용어 “포함하는”과 유사한 방식으로 포괄적인 것으로 의도된다.

Claims

사용자를 대신하여 개인(individuals)과 관련된 동작을 수행하도록 구성된 디바이스에 있어서, 상기 디바이스는 메모리를 포함하고,
사용자가 알고 있는 적어도 한 명의 개인의 적어도 하나의 식별자를 저장하는 메모리;
사용자와 함께 개인이 있는 동안 동작을 수행하라는 요청을 상기 사용자로부터 수신하면, 상기 개인과 연관된 동작을 상기 메모리에 저장하는 요청 수신기;
사용자의 환경의 환경 샘플을 캡처하고, 상기 환경 샘플을 평가하여 상기 사용자와 함께 개인이 있음을 나타내는 개인의 식별자를 검출하는 개인 인식기; 및
상기 개인 인식기가 상기 메모리에 저장된 선택된 동작과 연관되어 있는 선택된 개인이 사용자와 함께 있음을 검출하면, 상기 사용자를 대신하여 상기 선택된 동작을 수행하는 동작 수행기
를 포함하는 디바이스.
청구항 1에 있어서, 상기 개인 인식기는,
사용자의 환경의 이미지를 수신하는 카메라; 및
상기 사용자의 환경의 이미지에서 상기 선택된 개인을 인식하는 개인 인식기를 더 포함하는 것인 디바이스.
청구항 1에 있어서,
상기 메모리는 상기 선택된 개인의 얼굴의 얼굴 식별자를 저장하고;
상기 개인 인식기는, 사용자의 환경의 이미지 내의 상기 선택된 개인의 얼굴을 상기 선택된 개인의 얼굴 식별자와 매칭하는 얼굴 인식기를 더 포함하는 것인 디바이스.
청구항 1에 있어서,
상기 메모리는 상기 선택된 개인의 음성의 음성 식별자를 저장하고;
상기 디바이스는, 개인의 환경의 오디오 샘플을 수신하는 오디오 수신기를 더 포함하고;
상기 개인 인식기는, 상기 개인의 환경의 오디오 샘플에서 상기 선택된 개인의 음성의 음성 식별자를 식별하는 음성 인식기를 더 포함하는 것인 디바이스.
청구항 1에 있어서,
상기 개인 인식기는, 사용자와 함께 개인이 있는 동안,
상기 개인의 개인 인식 식별자를 식별하고;
상기 개인의 개인 인식 식별자를 저장하는 것을 더 포함하며,
상기 개인 인식기는, 상기 개인의 개인 인식 식별자에 따라 상기 사용자와 함께 상기 개인이 있음을 검출하는 것인 디바이스.
청구항 1에 있어서, 상기 개인 인식기는,
사용자의 위치를 검출하는 사용자 위치 검출기; 및
상기 선택된 개인의 위치를 검출하고, 상기 선택된 개인의 위치와 상기 사용자의 위치를 비교하여 상기 사용자와 함께 상기 선택된 개인이 있음을 결정하는 개인 위치 검출기를 더 포함하는 것인 디바이스.
청구항 1에 있어서, 상기 개인 인식기는, 사용자와 개인 사이의 통신 세션을 검출하는 통신 세션 검출기를 더 포함하는 것인 디바이스.
청구항 1에 있어서, 상기 개인 검출기는,
사용자와 함께 상기 선택된 개인이 있음 예상을 결정하고;
상기 사용자와 함께 상기 선택된 개인이 있음 예상 동안에만, 상기 사용자와 함께 상기 선택된 개인이 있음을 검출함으로써,
상기 사용자와 함께 있음을 검출하는 것인 디바이스.
청구항 1에 있어서,
상기 요청 수신기는, 동작이 수행되어야 할 적어도 하나의 조건을 사용자로부터 수신하면, 상기 동작과 연관된 상기 적어도 하나의 조건을 상기 디바이스의 메모리에 저장함으로써, 상기 사용자로부터의 요청을 수신하고;
상기 동작 수행기는,
상기 동작과 연관된 상기 적어도 하나의 조건을 평가하여 조건 충족을 검출하고;
상기 선택된 개인이 상기 사용자와 함께 있음 및 상기 동작의 적어도 하나의 조건의 조건 충족을 검출하면, 상기 사용자를 대신하여 상기 동작을 수행함으로써,
동작을 수행하는 것인 디바이스.
청구항 1에 있어서, 상기 동작 수행기는,
사용자와 개인 사이의 상호작용을 검출하고;
상기 사용자와 상기 개인 사이의 상호작용 동안, 상기 동작을 수행하지 않고;
상기 사용자와 상기 개인 사이의 상호작용의 정지 동안, 상기 동작을 수행함으로써,
동작을 수행하는 것인 디바이스.