KR102331049B1 - 통신 개시를 위한 사용자 신호 레버리징 - Google Patents

통신 개시를 위한 사용자 신호 레버리징 Download PDF

Info

Publication number
KR102331049B1
KR102331049B1 KR1020177000171A KR20177000171A KR102331049B1 KR 102331049 B1 KR102331049 B1 KR 102331049B1 KR 1020177000171 A KR1020177000171 A KR 1020177000171A KR 20177000171 A KR20177000171 A KR 20177000171A KR 102331049 B1 KR102331049 B1 KR 102331049B1
Authority
KR
South Korea
Prior art keywords
user
conversation
signal
mental
digital personal
Prior art date
Application number
KR1020177000171A
Other languages
English (en)
Other versions
KR20170020841A (ko
Inventor
리 딕스 클라크
데보라 비. 해리슨
수잔 헨드리치
데이비드 가드너
소골 말렉자데
캐서린 엘. 마션
멜리사 림
마리 피. 체르빈스키
란 길라드-바흐라흐
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170020841A publication Critical patent/KR20170020841A/ko
Application granted granted Critical
Publication of KR102331049B1 publication Critical patent/KR102331049B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42365—Presence services providing information on the willingness to communicate or the ability to communicate in terms of media capability or network connectivity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/16—Communication-related supplementary services, e.g. call-transfer or call-hold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W8/00—Network data management
    • H04W8/18—Processing of user or subscriber data, e.g. subscribed services, user preferences or user profiles; Transfer of user or subscriber data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

디지털 개인 단말기를 구현하기 위한 시스템, 방법, 장치 및 컴퓨터 프로그램 제품이 개시된다. 디지털 개인 단말기는 사용자가 질문을 하였는지 또는 디지털 개인 단말기의 사용자와 연결되도록 의도된 표현(statement)을 했는지 결정할 수 있다. 사용자가 질문을 하였거나 표현을 했다는 결정에 응답하여, 디지털 개인 단말기는 디지털 개인 단말기의 사용자 인터페이스 내에서 또는 상기 사용자 인터페이스에 의해 대중 문화 참조와 연관된 멀티미디어 객체를 디스플레이 또는 재생함으로써 상기 질문 또는 표현에 대한 응답을 제공한다. 추가로 또는 대안적으로, 사용자가 질문을 하였거나 표현을 했다는 결정에 응답하여, 디지털 개인 단말기는 대중 문화 참조와 연관된 사람의 목소리의 성대 모사를 포함한 음성을 생성 또는 재생함으로써 상기 질문 또는 표현에 대한 응답을 제공한다.

Description

통신 개시를 위한 사용자 신호 레버리징{LEVERAGING USER SIGNALS FOR INITIATING COMMUNICATIONS}
여기에서 사용하는 용어 "디지털 개인 단말기(digital personal assistant)"는 개인을 위해 태스크 또는 서비스를 수행할 수 있는 소프트웨어 에이전트를 말한다. 이러한 태스크 또는 서비스는 예를 들면 사용자 입력, 위치 인식, 및 각종 온라인 소스로부터의 정보(예를 들면, 날씨 또는 교통 상태, 뉴스, 주가, 사용자 스케줄, 소매가 등)에 액세스할 수 있는 능력에 기초하여 수행될 수 있다. 종래의 디지털 개인 단말기의 일부 예는 CORTANA®(WINDOWS® 8.1 운영체제의 일환으로 미국 워싱통주 레드몬드에 소재하는 마이크로소프트사에 의해 공개됨), SIRI®(캘리포니아주 쿠퍼티노에 소재하는 애플사에 의해 공개됨), 및 GOOGLE NOW™(캘리포니아주 마운틴뷰에 소재하는 구글사에 의해 공개됨)를 포함한다.
사용자와의 대화를 적극적으로 개시할 수 있는 디지털 개인 단말기(digital personal assistant)를 구현하기 위한 시스템, 방법, 장치 및 컴퓨터 프로그램 제품이 여기에서 설명된다. 사용자를 방해하거나 또는 다른 방식으로 귀찮게 하는 것을 피하기 위해, 개인용 정보 단말기(personal digital assistant)는 대화하기에 적당하다고 디지털 개인 단말기에 의해 결정된 때에만 대화를 개시하도록 프로그램될 수 있다. 이를 위해, 디지털 개인 단말기는 특정 시간이 대화를 시작하기에 적당한지 여부를 결정하기 위해 사용자의 여유성(availability) 및/또는 사용자의 정신 또는 감정 상태와 관련된 다양한 신호를 레버리징한다. 만일 사용자의 여유성 및/또는 정신 및 감정 상태에 관한 사용자 신호가 상기 특정 시간이 대화를 시작하기에 적당하다고 표시하면, 디지털 개인 단말기는 대화의 개시를 시도할 것이다. 그러나 만일 사용자의 여유성 및 정신 또는 감정 상태에 관한 사용자 신호가 상기 특정 시간이 대화를 시작하기에 적당하지 않다고 표시하면, 디지털 개인 단말기는 대화의 개시를 시도하지 않을 것이다. 이런 식으로 사용자 신호를 레버리징함으로써, 디지털 개인 단말기는 귀찮다, 침해적이다, 또는 시기가 적절하지 않다고 인식될 가능성이 낮은 방식으로 사용자와의 대화를 적극적으로 개시할 수 있다.
특히, 적어도 하나의 컴퓨팅 장치에서 구현되는 디지털 개인 단말기에 의해 수행되는 방법이 여기에서 설명된다. 이 방법에 따르면, 사용자의 여유성에 관한 하나 이상의 제1 신호가 획득된다. 사용자의 정신 또는 감정 상태에 관한 하나 이상의 제2 신호가 또한 획득된다. 그 다음에 적어도 상기 제1 신호 및 제2 신호에 기초하여 특정 시간이 사용자와의 대화 개시를 시도하기에 적당한 시간인지가 결정된다. 특정 시간이 사용자와의 대화 개시를 시도하기에 적당한 시간이라는 결정에 응답하여, 사용자와의 대화를 개시하기 위한 시도가 이루어진다.
전술한 방법의 일 실시형태에 있어서, 상기 제1 신호는, 사용자와 연관된 캘린더 정보, 사용자와 연관된 일상 습관 정보, 및 사용자의 현재 활동과 연관된 정보 중의 하나 이상을 포함한다.
전술한 방법의 다른 실시형태에 있어서, 상기 제2 신호는, 사용자의 얼굴 표정; 사용자의 음성 특성; 사용자의 위치; 사용자가 모바일 장치를 켜고 끄는 비율; 사용자와 연관된 키스트로크 및/또는 제스처 메타데이터; 사용자가 작성한 내용(written content) 및/또는 발화 내용(spoken content); 사용자와 연관된 애플리케이션 상호작용 메타데이터; 가속도계, 콤파스 및/또는 자이로스코프 출력; 광에 대한 노출 정도; 온도; 기상 상태; 교통 상태; 공해 및/또는 알레르겐 수준; 사용자의 활동 수준; 사용자의 심박수 및 심박수 변동성; 사용자의 피부 전기 활동(electrodermal activity); 사용자와 연관된 장치에 대한 장치 및/또는 네트워크 접속 정보; 및 사용자와 연관된 장치에 대한 배터리 및/또는 충전 정보 중의 하나 이상을 포함한다.
전술한 방법의 다른 실시형태에 있어서, 상기 제2 신호는, 사용자의 정신 또는 감정 상태를 결정하는 것으로서, 기계 학습기에 의해 식별된 하나 이상의 신호를 포함한다. 이러한 실시형태에 따르면, 기계 학습기는 테스트 모집단(test population) 및 사용자 중 하나 이상에 의해 훈련될 수 있다.
전술한 방법의 또 다른 실시형태에 있어서, 사용자와의 대화를 개시하기 위한 시도는, 사용자가 대화를 할 수 있는지 결정하기 위해 사용자에게 질의하는 것, 상기 질의에 대한 긍정 응답의 수신에 응하여 대화 논제를 선택하는 것, 및 선택된 대화 논제에 대하여 사용자와의 대화를 개시하는 것을 포함한다. 이러한 실시형태에 따르면, 대화 논제를 선택하는 것은 현재 이벤트의 집합 및 사용자의 관심사 집합 중 하나 이상에 기초하여 대화 논제를 선택하는 것을 포함할 수 있다.
시스템이 또한 여기에서 설명된다. 시스템은 적어도 하나의 프로세서, 및 상기 적어도 하나의 프로세서에 의해 실행되는 컴퓨터 프로그램 로직을 저장하는 메모리를 포함한다. 컴퓨터 프로그램 로직은 적어도 하나의 프로세서에 의해 실행될 때 동작을 수행하도록 구성된 하나 이상의 컴포넌트를 포함한다. 상기 하나 이상의 컴포넌트는 디지털 개인 단말기를 포함한다. 디지털 개인 단말기는, 사용자의 여유성에 관한 하나 이상의 제1 신호를 획득하고, 사용자의 정신 또는 감정 상태에 관한 하나 이상의 제2 신호를 획득하고, 적어도 상기 제1 신호 및 제2 신호에 기초하여 특정 시간이 사용자와의 대화 개시를 시도하기에 적당한 시간인지 결정하고, 특정 시간이 사용자와의 대화 개시를 시도하기에 적당한 시간이라는 결정에 응답하여 사용자와의 대화 개시를 시도하도록 구성된다.
전술한 시스템의 일 실시형태에 있어서, 상기 제1 신호는, 사용자와 연관된 캘린더 정보, 사용자와 연관된 일상 습관 정보, 및 사용자의 현재 활동과 연관된 정보 중의 하나 이상을 포함한다.
전술한 시스템의 다른 실시형태에 있어서, 상기 제2 신호는, 사용자의 얼굴 표정; 사용자의 음성 특성; 사용자의 위치; 사용자가 모바일 장치를 켜고 끄는 비율; 사용자와 연관된 키스트로크 및/또는 제스처 메타데이터; 사용자가 작성한 내용 및/또는 발화 내용; 사용자와 연관된 애플리케이션 상호작용 메타데이터; 가속도계, 콤파스 및/또는 자이로스코프 출력; 광에 대한 노출 정도; 온도; 기상 상태; 교통 상태; 공해 및/또는 알레르겐 수준; 사용자의 활동 수준; 사용자의 심박수 및 심박수 변동성; 사용자의 피부 전기 활동; 사용자와 연관된 장치에 대한 장치 및/또는 네트워크 접속 정보; 및 사용자와 연관된 장치에 대한 배터리 및/또는 충전 정보 중의 하나 이상을 포함한다.
전술한 시스템의 다른 실시형태에 있어서, 상기 제2 신호는, 사용자의 정신 또는 감정 상태를 결정하는 것으로서, 기계 학습기에 의해 식별된 하나 이상의 신호를 포함한다. 이러한 실시형태에 따르면, 기계 학습기는 테스트 모집단 및 사용자 중 하나 이상에 의해 훈련될 수 있다.
또 다른 실시형태에 있어서, 디지털 개인 단말기는, 사용자가 대화를 할 수 있는지 결정하기 위해 사용자에게 질의하고, 상기 질의에 대한 긍정 응답의 수신에 응하여 대화 논제를 선택하고, 선택된 대화 논제에 대하여 사용자와 대화함으로써 사용자와의 대화 개시를 시도하도록 구성된다. 이러한 실시형태에 따르면, 디지털 개인 단말기는 현재 이벤트의 집합 및 사용자의 관심사 집합 중 하나 이상에 기초하여 대화 논제를 선택하도록 구성될 수 있다.
컴퓨터 프로그램 제품이 또한 여기에서 설명된다. 컴퓨터 프로그램 제품은, 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가 디지털 개인 단말기를 동작시키는 방법을 수행하게 하는 컴퓨터 프로그램 로직이 기록된 컴퓨터 판독가능 메모리를 포함한다. 상기 방법은, 사용자의 여유성에 관한 하나 이상의 제1 신호를 사용자에 의해 동작되는 모바일 장치로부터 획득하는 단계와, 사용자의 정신 또는 감정 상태에 관한 하나 이상의 제2 신호를 모바일 장치로부터 획득하는 단계와, 적어도 상기 제1 신호 및 제2 신호에 기초하여 특정 시간이 사용자와의 대화 개시를 시도하기에 적당한 시간인지 결정하는 단계와, 특정 시간이 사용자와의 대화 개시를 시도하기에 적당한 시간이라는 결정에 응답하여 사용자와의 대화 개시를 시도하는 단계를 포함한다.
전술한 컴퓨터 프로그램 제품의 일 실시형태에 있어서, 상기 제1 신호는, 사용자와 연관된 캘린더 정보, 사용자와 연관된 일상 습관 정보, 및 사용자의 현재 활동과 연관된 정보 중의 하나 이상을 포함한다.
전술한 컴퓨터 프로그램 제품의 다른 실시형태에 있어서, 상기 제2 신호는, 사용자의 얼굴 표정; 사용자의 음성 특성; 사용자의 위치; 사용자가 모바일 장치를 켜고 끄는 비율; 사용자와 연관된 키스트로크 및/또는 제스처 메타데이터; 사용자가 작성한 내용 및/또는 발화 내용; 사용자와 연관된 애플리케이션 상호작용 메타데이터; 가속도계, 콤파스 및/또는 자이로스코프 출력; 광에 대한 노출 정도; 온도; 기상 상태; 교통 상태; 공해 및/또는 알레르겐 수준; 사용자의 활동 수준; 사용자의 심박수 및 심박수 변동성; 사용자의 피부 전기 활동; 사용자와 연관된 장치에 대한 장치 및/또는 네트워크 접속 정보; 및 사용자와 연관된 장치에 대한 배터리 및/또는 충전 정보 중의 하나 이상을 포함한다.
전술한 컴퓨터 프로그램 제품의 다른 실시형태에 있어서, 상기 제2 신호는, 사용자의 정신 또는 감정 상태를 결정하는 것으로서, 기계 학습기에 의해 식별된 하나 이상의 신호를 포함한다. 이러한 실시형태에 따르면, 기계 학습기는 테스트 모집단 및 사용자 중 하나 이상에 의해 훈련될 수 있다.
전술한 컴퓨터 프로그램 제품의 또 다른 실시형태에 있어서, 사용자와의 대화 개시를 시도하는 단계는, 사용자가 대화를 할 수 있는지 결정하기 위해 사용자에게 질의하는 단계, 상기 질의에 대한 긍정 응답의 수신에 응하여 대화 논제를 선택하는 단계, 및 선택된 대화 논제에 대하여 사용자와의 대화를 개시하는 단계를 포함한다.
이 개요는 뒤의 상세한 설명 부분에서 추가로 설명되는 개념들의 선택을 단순화한 형태로 소개하기 위해 제공된다. 이 개요는 청구하는 요지의 핵심적 특징 또는 본질적 특징을 식별하기 위한 것으로 의도되지 않고, 또한 청구하는 요지의 범위를 제한하는 용도로 의도되지 않는다. 더욱이 청구하는 요지의 상세한 설명 및/또는 본 명세서의 다른 부분에서 설명한 특정 실시형태로 제한되지 않는다는 점에 주목한다. 이러한 실시형태는 예시 목적으로만 여기에서 제시된다. 여기에 내포된 교시에 기초하여 추가의 실시형태가 당업자에게는 명백할 것이다.
여기에 통합되어 본 명세서의 일부를 형성하는 첨부 도면은 본 발명의 각종 실시형태를 예시하고, 발명의 설명과 함께 발명의 원리를 설명하고 당업자가 발명을 구성하고 사용할 수 있게 하기 위해 또한 소용된다.
도 1은 실시형태에 따른, 사용자와의 대화를 적극적으로 개시하기 위한 적당한 시간을 결정하기 위해 사용자 신호를 레버리징하는 디지털 개인 단말기를 구현하는 시스템의 블록도이다.
도 2는 실시형태에 따른, 디지털 개인 단말기에 의해 구현될 수 있는 적극적 대화 시스템(proactive conversation system)의 블록도이다.
도 3은 실시형태에 따른, 도 2의 적극적 대화 시스템의 일부를 포함하는 대화 개시 로직의 블록도이다.
도 4는 실시형태에 따른, 디지털 개인 단말기에 의해 또는 디지털 개인 단말기를 대신하여 수행될 수 있는 사용자와의 대화를 적극적으로 개시하는 방법의 흐름도이다.
도 5는 실시형태에 따른 디지털 개인 단말기에서 또는 디지털 개인 단말기를 대신하여 수행될 수 있는, 사용자와의 대화 개시를 시도하기에 특정 시간이 적당한 시간인지 결정하는 방법의 흐름도이다.
도 6은 각종 실시형태를 구현하기 위해 사용될 수 있는 예시적인 모바일 장치의 블록도이다.
도 7은 각종 실시형태를 구현하기 위해 사용될 수 있는 예시적인 프로세서 기반 컴퓨터 시스템의 블록도이다.
본 발명의 특징 및 장점은 동일한 참조 번호가 도면 전체에 걸쳐서 대응하는 요소를 나타내는 도면과 함께 읽을 때 이하에서 설명하는 상세한 설명으로부터 더욱 명백하게 될 것이다. 도면에 있어서, 동일한 참조 번호는 일반적으로 동일하거나, 기능적으로 유사하거나, 및/또는 구조적으로 유사한 요소를 표시한다. 요소가 최초로 나오는 도면은 대응하는 참조 번호의 가장 좌측 숫자에 의해 표시된다.
I. 서문
이하의 상세한 설명은 본 발명의 예시적인 실시형태를 도시하는 첨부 도면을 참조한다. 그러나 본 발명의 범위는 이러한 실시형태로 제한되지 않고 첨부된 청구범위에 의해 규정된다. 따라서, 예시된 실시형태의 변형된 버전과 같이 첨부 도면에 도시된 것 외의 실시형태도 본 발명에 포함될 수 있다.
명세서에서 "일 실시형태", "실시형태", 예시적인 실시형태" 등의 언급은 설명된 실시형태가 특정 특징, 구조 또는 특성을 포함할 수 있음을 나타내지만, 모든 실시형태가 반드시 그 특정 특징, 구조 또는 특성을 포함할 필요는 없다. 또한, 특정 특징, 구조 또는 특성이 실시형태와 관련하여 설명될 때, 이것은 그러한 특징, 구조 또는 특성을 명시적으로 설명하거나 설명하지 않은 다른 실시형태와 관련하여 구현하도록 당업자의 지식 내에 있는 것으로 생각된다.
종래의 디지털 개인 단말기는 통상 명시적인 사용자 요청에 응답하는 과정에서만 사용자와 상호작용하도록 프로그래밍된다. 다시 말하면, 종래의 디지털 개인 단말기는 통상 사용자와의 대화를 적극적으로 개시하지 않는다. 이것은, 적어도 부분적으로, 디지털 개인 단말기에 의한 대화 개시의 시도가 사용자에 의해 귀찮다, 침해적이다, 또는 시기가 적절하지 않다고 인식될 것이라는 염려에 기인할 수 있다. 그러나 디지털 개인 단말기가 사용자와의 대화를 적극적으로 개시할 수 있게 하는 매우 좋은 이유가 있을 수 있다. 예를 들면, 디지털 개인 단말기는 사용자가 단말기로부터 이익을 취할 수 있지만 그것을 요구할 수 없을 때 또는 디지털 개인 단말기가 이익을 제공할 수 있다는 것을 사용자가 인식하지 못할 때 사용자에게 적극적으로 조력을 제공할 수 있다. 또한, 디지털 개인 단말기가 사용자와의 대화를 적극적으로 개시할 수 있게 함으로써, 디지털 개인 단말기는 사용자에게 우호감(companionship)을 제공할 뿐만 아니라 기뻐하고 즐거워하고 사용자에 대하여 학습하는 새로운 기회를 생성할 수 있다.
여기에서 설명한 실시형태들은 사용자와의 대화를 적극적으로 개시할 수 있는 개인용 정보 단말기와 관련된다. 사용자를 방해하거나 또는 다른 방식으로 귀찮게 하는 것을 피하기 위해, 개인용 정보 단말기는 대화하기에 적당하다고 디지털 개인 단말기에 의해 결정될 때에만 대화를 개시하도록 프로그램될 수 있다. 이를 위해, 디지털 개인 단말기는 특정 시간이 대화를 시작하기에 적당한지 여부를 결정하기 위해 사용자의 여유성 및 사용자의 정신 또는 감정 상태와 관련된 다양한 신호를 레버리징한다. 만일 사용자의 여유성 및/또는 정신 및 감정 상태에 관한 사용자 신호가 상기 특정 시간이 대화를 시작하기에 적당하다고 표시하면, 디지털 개인 단말기는 대화의 개시를 시도할 것이다. 그러나 만일 사용자의 여유성 및 정신 또는 감정 상태에 관한 사용자 신호가 상기 특정 시간이 대화를 시작하기에 적당하지 않다고 표시하면, 디지털 개인 단말기는 대화의 개시를 시도하지 않을 것이다. 이 방식으로 사용자 신호를 레버리징함으로써, 디지털 개인 단말기는, 귀찮다, 침해적이다, 또는 시기가 적절하지 않다고 인식될 가능성이 낮은 방식으로 사용자와 대화를 적극적으로 개시할 수 있다.
섹션 II에서는 사용자와의 대화를 적극적으로 개시하고 그러한 대화를 개시하기 위한 적당한 시간을 결정하기 위해 사용자 신호를 레버리징하는 디지털 개인 단말기를 구현하는 예시적인 시스템을 설명한다. 섹션 III에서는 그러한 디지털 개인 단말기를 구현하는 예시적인 방법을 설명한다. 섹션 IV에서는 여기에서 설명하는 실시형태에 따라 디지털 개인 단말기를 구현하기 위해 사용될 수 있는 예시적인 모바일 장치를 설명한다. 섹션 V에서는 여기에서 설명하는 실시형태에 따라 디지털 개인 단말기를 구현하기 위해 사용될 수 있는 예시적인 데스크톱 컴퓨터를 설명한다. 섹션 VI에서는 몇몇 맺음말을 제공한다.
II. 사용자와의 대화를 적극적으로 개시하기 위한 적당한 시간을 결정하기 위해 사용자 신호를 레버리징하는 디지털 개인 단말기를 구현하는 예시적인 시스템
도 1은 예시적인 실시형태에 따른, 사용자와의 대화를 적극적으로 개시하기 위한 적당한 시간을 결정하기 위해 사용자 신호를 레버리징하는 디지털 개인 단말기를 구현하는 시스템(100)의 블록도이다. 도 1에 도시된 바와 같이, 시스템(100)은 하나 이상의 네트워크(104)를 통해 디지털 개인 단말기 백엔드(106)에 통신적으로 접속된 최종 사용자 컴퓨팅 장치(102)를 포함한다. 이제 이러한 각각의 컴포넌트에 대해 설명한다.
최종 사용자 컴퓨팅 장치(102)는 설치되어 있는 소프트웨어 기반 디지털 개인 단말기(130)를 실행할 수 있는 프로세서 기반 전자 장치를 대표하는 것으로 의도된다. 디지털 개인 단말기(130)는 최종 사용자 컴퓨팅 장치(102)의 사용자를 대신하여 실행될 수 있다. 일 실시형태에 있어서, 최종 사용자 컴퓨팅 장치(102)는 모바일 폰(예를 들면, 스마트 폰)과 같은 모바일 컴퓨팅 장치, 랩톱 컴퓨터, 태블릿 컴퓨터, 넷북, 스마트 워치 또는 헤드 마운티드(head-mounted) 컴퓨터와 같은 웨어러블 컴퓨터, 휴대용 미디어 플레이어, 핸드헬드 게임 콘솔, 개인용 내비게이션 단말기, 카메라, 또는 사용자를 대신하여 디지털 개인 단말기를 실행할 수 있는 임의의 다른 모바일 장치를 포함한다. 최종 사용자 컴퓨팅 장치(102)의 기능을 통합할 수 있는 모바일 장치의 일 예는 도 6을 참조하면서 뒤에서 설명할 것이다. 다른 실시형태에 있어서, 최종 사용자 컴퓨팅 장치(102)는 데스크톱 컴퓨터, 게임 콘솔 또는 사용자를 대신하여 디지털 개인 단말기를 실행할 수 있는 다른 비모바일 컴퓨팅 플랫폼을 포함한다. 최종 사용자 컴퓨팅 장치(102)의 기능을 통합할 수 있는 예시적인 데스크톱 컴퓨터는 도 7을 참조하면서 뒤에서 설명할 것이다.
최종 사용자 컴퓨팅 장치(102)는 네트워크(104)를 통해 디지털 개인 단말기 백엔드(106)와 통신할 수 있다. 디지털 개인 단말기 백엔드(106)는 디지털 개인 단말기(130) 및 다른 최종 사용자 컴퓨팅 장치에서 실행되는 다른 디지털 개인 단말기의 동작을 지원하는 서비스를 제공하도록 프로그래밍된 하나 이상의 컴퓨터(예를 들면, 서버 컴퓨터)를 포함한다. 예를 들면, 디지털 개인 단말기 백엔드(106)는 음성 인식 및 질의 이해 및 응답에 관한 서비스를 디지털 개인 단말기(130)에 제공하도록 구성된 하나 이상의 컴퓨터를 포함할 수 있다. 특히, 도 1에 도시된 것처럼, 이러한 서비스는 음성 인식 서비스(134) 및 질의 이해 및 응답 시스템(136)에 의해 각각 제공된다. 디지털 개인 단말기 백엔드(106)는 디지털 개인 단말기(130)를 대신하여 임의 수의 다른 서비스를 수행할 수 있는데, 이러한 추가적인 서비스는 여기에서 명시적으로 설명되지 않을 수도 있다.
일 실시형태에 있어서, 디지털 개인 단말기 백엔드(106)는 다수의 적절히 구성된 머신들 중 임의의 머신이 디지털 개인 단말기(130)를 지원하여 하나 이상의 원하는 서비스를 렌더링하도록 임의로 선택될 수 있는 클라우드 기반 백엔드를 포함한다. 당업자라면 이해하는 바와 같이, 이러한 클라우드 기반 구현은 디지털 개인 단말기(130)와 같은 디지털 개인 단말기에 백엔드 서비스를 제공하기 위한 신뢰성 있는 스케일러블 프레임워크(scalable framework)를 제공한다.
네트워크(104)는 최종 사용자 컴퓨팅 장치(102)와 같은 최종 사용자 컴퓨팅 장치와 디지털 개인 단말기 백엔드(106) 사이에 통신을 돕기에 적당한 임의 유형의 네트워크 또는 네트워크들의 조합을 대표하는 것으로 의도된다. 네트워크(104)는 비제한적인 예를 들자면 광역 통신망, 근거리 통신망, 사설 네트워크, 공중 네트워크, 패킷 네트워크, 회선 교환식 네트워크, 유선 네트워크 및/또는 무선 네트워크를 포함할 수 있다.
역시 도 1에 도시된 것처럼, 최종 사용자 컴퓨팅 장치(102)는 처리 장치(110), 휘발성 메모리(112), 비휘발성 메모리(124), 하나 이상의 네트워크 인터페이스(114), 하나 이상의 사용자 입력 장치(116), 디스플레이(118), 하나 이상의 스피커(120) 및 하나 이상의 센서(122)를 포함한 복수의 상호접속된 컴포넌트들을 포함한다. 이러한 각각의 컴포넌트를 이제 설명할 것이다.
처리 장치(110)는 하나 이상의 중앙 처리 장치(CPU) 또는 마이크로프로세서 코어를 각각 포함하는 하나 이상의 마이크로프로세서를 대표하는 것으로 의도된다. 처리 장치(110)는 다른 유형의 집적 회로를 이용하여 또한 구현될 수 있다. 처리 장치(110)는 잘 알려진 방식으로 동작하여 컴퓨터 프로그램(여기에서 컴퓨터 프로그램 로직이라고도 부름)을 실행한다. 이러한 컴퓨터 프로그램의 실행은 처리 장치(110)가 여기에서 설명하는 동작을 비롯한 동작들을 수행하게 한다. 휘발성 메모리(112), 비휘발성 메모리(124), 네트워크 인터페이스(114), 사용자 입력 장치(116), 디스플레이(118), 스피커(120) 및 센서(122)들은 각각 하나 이상의 적당한 인터페이스를 통하여 처리 장치(110)에 접속된다.
비휘발성 메모리(124)는 최종 사용자 컴퓨팅 장치(102)가 파워 오프된 때 또는 파워 다운 상태에 있을 때에도 저장된 정보가 손실되지 않도록 지속적으로 컴퓨터 프로그램 및 데이터를 저장하도록 동작하는 하나 이상의 컴퓨터 판독가능 메모리 장치를 포함한다. 비휘발성 메모리(124)는 비제한적인 예를 들자면 리드 온리 메모리(ROM) 장치, 반도체 드라이브, 하드 디스크 드라이브, 자기 디스크 및 관련 드라이브와 같은 자기 기억 매체, 광디스크 및 관련 드라이브와 같은 광학적 기억 매체, 및 USB 플래시 드라이브와 같은 플래시 메모리 장치를 비롯한 임의의 다양한 비휘발성 컴퓨터 판독가능 메모리 장치를 이용하여 구현될 수 있다.
휘발성 메모리(112)는 최종 사용자 컴퓨팅 장치(102)가 파워 오프된 때 또는 파워 다운 상태에 있을 때 저장된 정보가 손실되도록 비지속적으로 컴퓨터 프로그램 및 데이터를 저장하도록 동작하는 하나 이상의 컴퓨터 판독가능 메모리 장치를 포함한다. 휘발성 메모리(112)는 비제한적인 예를 들자면 랜덤 액세스 메모리(RAM) 장치를 비롯한 임의의 다양한 휘발성 컴퓨터 판독가능 메모리 장치를 이용하여 구현될 수 있다.
디스플레이(118)는 최종 사용자 컴퓨팅 장치(102)의 사용자에게 보여질 수 있도록 텍스트 및 이미지와 같은 콘텐츠를 렌더링할 수 있는 장치를 포함한다. 이러한 콘텐츠를 디스플레이하기 위해 필요한 일부 또는 모든 렌더링 동작은 처리 장치(110)에 의해 수행될 수 있다. 일부 또는 모든 렌더링 동작은 처리 장치(110)와 디스플레이(118) 사이에 결합된 비디오 또는 그래픽 칩 또는 카드(도 1에는 도시 생략됨)와 같은 디스플레이 장치 인터페이스에 의해 또한 수행될 수 있다. 최종 사용자 컴퓨팅 장치(102)의 구현예에 따라서, 디스플레이(118)는 처리 장치(110)와 동일한 물리적 구조 또는 하우징 내에 통합된 장치를 포함하거나, 또는 처리 장치(110)를 포함한 구조 또는 하우징으로부터 물리적으로 분리되고 적당한 유선 및/또는 무선 접속을 통하여 처리 장치(110)에 접속된 모니터, 프로젝터 또는 다른 유형의 장치를 포함할 수 있다.
스피커(120)는 전기 오디오 신호에 응답하여 사운드를 생성하는 하나 이상의 전기음향 변환기를 포함한다. 스피커(120)는 최종 사용자 컴퓨팅 장치의 사용자에게 오디오 출력을 제공한다. 스피커(120)에 의해 수신되는 전기 오디오 신호를 생성하는데 필요한 일부 또는 모든 동작은 처리 장치(110)에 의해 수행될 수 있다. 이러한 일부 또는 모든 동작은 처리 장치(110)와 스피커(120) 사이에 결합된 오디오 칩 또는 카드(도 1에는 도시 생략됨)와 같은 오디오 인터페이스에 의해 또한 수행될 수 있다. 최종 사용자 컴퓨팅 장치(102)의 구현예에 따라서, 스피커(120)는 처리 장치(110)와 동일한 물리적 구조 또는 하우징 내에 통합된 장치를 포함하거나, 또는 처리 장치(110)를 포함한 구조 또는 하우징으로부터 물리적으로 분리되고 적당한 유선 및/또는 무선 접속을 통하여 처리 장치(110)에 접속된 외부 스피커를 포함할 수 있다.
사용자 입력 장치(116)는 사용자 입력 장치(116)의 사용자 조작 또는 제어에 응답하여 사용자 입력 정보를 생성하도록 동작하는 하나 이상의 장치를 포함한다. 이러한 사용자 입력 정보는 처리를 위해 적당한 인터페이스를 통하여 처리 장치(110)로 전달된다. 구현예에 따라서, 사용자 입력 장치(116)는 터치 스크린(예를 들면, 디스플레이(118)에 통합된 터치 스크린), 키보드, 키패드, 마우스, 터치패드, 트랙볼, 조이스틱, 포인팅 스틱, 유선 글러브(wired glove), 모션 추적 센서, 게임 제어기 또는 게임패드, 또는 카메라 등의 영상 포착 장치를 포함할 수 있다. 그러나 상기 예는 제한하는 것으로 의도되지 않고, 사용자 입력 장치(116)는 상기 열거한 것들 외에 다른 유형의 장치를 포함할 수 있다. 구현예에 따라서, 각각의 사용자 입력 장치(116)는 처리 장치(110)와 동일한 물리적 구조 또는 하우징 내에 통합될 수 있고(예를 들면, 모바일 장치의 통합된 터치 스크린, 터치패드 또는 키보드), 또는 처리 장치(110)를 포함한 물리적 구조 또는 하우징으로부터 물리적으로 분리되고 적당한 유선 및/또는 무선 접속을 통하여 처리 장치(110)에 접속될 수 있다.
센서(122)는 물리적 자극(예를 들면, 움직임, 빛, 열, 사운드, 압력, 자력 등)을 검출 또는 감지하고 (예를 들면, 측정 또는 제어를 위해) 결과 신호를 생성하는 하나 이상의 장치를 포함한다. 최종 사용자 컴퓨팅 장치(102)에 포함될 수 있는 예시적인 센서(122)는 비제한적인 예를 들자면 가속도계, 디지털 콤파스, 자이로스코프, GPS(Global Position System) 센서, 터치스크린 또는 키보드/키패드와 같은 입력 장치와 연관된 압력 센서, 마이크 및 카메라를 포함할 수 있다. 센서(122)에 의해 생성된 신호들은 다양한 애플리케이션을 지원하도록 최종 사용자 컴퓨팅 장치(102) 내의 처리 장치(110) 또는 다른 로직에 의해 수집 및 처리될 수 있다.
네트워크 인터페이스(114)는 최종 사용자 컴퓨팅 장치(102)가 하나 이상의 네트워크(104)를 통해 통신할 수 있게 하는 하나 이상의 인터페이스를 포함한다. 예를 들면, 네트워크 인터페이스(114)는 이더넷 인터페이스와 같은 무선 네트워크 인터페이스, 또는 IEEE 802.11("Wi-Fi") 인터페이스나 3G 전기통신 인터페이스와 같은 무선 네트워크 인터페이스를 포함할 수 있다. 그러나 상기의 것들은 단지 예이고 제한하는 것으로 의도되지 않는다.
역시 도 1에 도시된 것처럼, 비휘발성 메모리(124)는 복수의 애플리케이션(126) 및 운영체제(128)를 포함한 다수의 소프트웨어 컴포넌트를 저장한다.
복수의 애플리케이션(126) 내의 각 애플리케이션은 최종 사용자 컴퓨팅 장치(102)의 사용자가 처리 장치(110)에서 실행시킬 수 있는 컴퓨터 프로그램을 포함한다. 각 애플리케이션의 실행은 어떤 동작이 사용자를 위하여 수행되게 하고, 수행되는 동작의 유형은 애플리케이션이 어떻게 프로그래밍되는지에 따라서 달라질 것이다. 애플리케이션(126)은 비제한적인 예를 들자면 전화 애플리케이션, 이메일 애플리케이션, 메시징 애플리케이션, 웹 브라우징 애플리케이션, 캘린더 애플리케이션, 유틸리티 애플리케이션, 게임 애플리케이션, 소셜 네트워킹 애플리케이션, 음악 애플리케이션, 생산성 애플리케이션, 생활양식 애플리케이션, 참조 애플리케이션, 여행 애플리케이션, 스포츠 애플리케이션, 내비게이션 애플리케이션, 헬쓰케어 및 피트니스 애플리케이션, 뉴스 애플리케이션, 사진 애플리케이션, 재무 애플리케이션, 비즈니스 애플리케이션, 교육 애플리케이션, 날씨 애플리케이션, 책 애플리케이션, 의료 애플리케이션 등을 포함할 수 있다. 도 1에 도시된 바와 같이, 애플리케이션(126)은 디지털 개인 단말기(130)를 포함하고, 그 기능에 대해 여기에서 구체적으로 설명한다.
애플리케이션(126)은 구현예에 따라서 다양한 방법으로 최종 사용자 컴퓨팅 장치(102)에 분배 및/또는 설치될 수 있다. 예를 들면, 일 실시형태에 있어서, 적어도 하나의 애플리케이션이 애플리케이션 스토어로부터 다운로드되고 최종 사용자 컴퓨팅 장치(102)에 설치된다. 최종 사용자 컴퓨팅 장치(102)가 기업 네트워크의 일부로서 또는 기업 네트워크와 함께 사용되는 다른 실시형태에 있어서, 적어도 하나의 애플리케이션은 다양한 기업 네트워크 관리 툴 중 임의의 관리 툴을 이용하여 시스템 관리자에 의해 최종 사용자 컴퓨팅 장치(102)에 분배되고 거기에 설치된다. 또 다른 실시형태에 있어서, 적어도 하나의 애플리케이션은 다양한 적당한 시스템 구축자 유틸리티 중 임의의 유틸리티를 이용하여 주문자 상표 부착 생산자(original equipment manufacturer, OEM) 또는 매립 장치 생산자(embedded device manufacturer)와 같은 시스템 구축자(system builder)에 의해 최종 사용자 컴퓨팅 장치(102)에 설치된다. 추가의 실시형태에 있어서, 운영체제 생산자는 최종 사용자 컴퓨팅 장치(102)에 설치되는 운영체제(128)와 함께 애플리케이션을 포함할 수 있다.
운영체제(128)는 리소스를 관리하고 애플리케이션(126)과 같이 최종 사용자 컴퓨팅 장치(102)에서 실행되는 애플리케이션들에 대한 일반적 서비스를 제공하는 프로그램 집합을 포함한다. 다른 특징들 중에서도 특히, 운영체제(128)는 운영체제(OS) 사용자 인터페이스(132)를 포함한다. OS 사용자 인터페이스(132)는, 비제한적인 예를 들자면, 애플리케이션을 찾아서 시작하기, 어떤 운영체제 기능 호출하기, 및 어떤 운영체제 세팅 설정하기와 같은 각종 목적으로 사용자가 운영체제(128)와 상호작용할 수 있게 하는 사용자 인터페이스를 생성하는 운영체제(128)의 컴포넌트를 포함한다. 일 실시형태에 있어서, OS 사용자 인터페이스(132)는 터치 스크린 기반 그래픽 사용자 인터페이스(GUI)를 포함하지만, 이것은 단지 일 예이다. 이러한 예에 따르면, 최종 사용자 컴퓨팅 장치(102)에 설치된 각 애플리케이션(126)은 GUI 내에 아이콘 또는 타일로서 표시되고 적당한 아이콘 또는 타일과의 터치 스크린 상호작용을 통하여 사용자에 의해 호출될 수 있다. 그러나 다양한 대안적인 사용자 인터페이스 모델 중의 임의의 모델이 OS 사용자 인터페이스(132)에 의해 사용될 수 있다.
비록 애플리케이션(126) 및 운영체제(128)가 비휘발성 메모리(124)에 저장되는 것으로 도시하였지만, 최종 사용자 컴퓨팅 장치(102)의 동작 중에 애플리케이션(126), 운영체제(128) 또는 그 일부의 카피가 휘발성 메모리(112)에 로딩되고 그로부터 프로세스로서 처리 장치(110)에 의해 실행될 수 있다는 것을 이해되어야 한다.
디지털 개인 단말기(130)는 사용자 입력뿐만 아니라 위치 인식과 같은 특징 및 온라인 소스를 포함한 다양한 소스로부터의 정보(예를 들면, 날씨 또는 교통 상태, 뉴스, 주가, 사용자 스케줄, 소매가 등)에 액세스할 수 있는 능력에 기초하여 최종 사용자 컴퓨팅 장치(102)의 사용자를 위하여 태스크 또는 서비스를 수행하도록 구성된 컴퓨터 프로그램을 포함한다. 사용자를 위하여 디지털 개인 단말기(130)에 의해 수행될 수 있는 태스크들의 예로는, 비제한적인 예를 들자면, 전화 걸기, 애플리케이션 시작하기, 이메일 또는 텍스트 메시지 보내기, 음악 재생하기, 사용자 캘린더에서 미팅 또는 다른 이벤트 계획 잡기, 어떤 위치로의 방향 잡기, 스포츠 이벤트와 연관된 점수 획득하기, 소셜 미디어 웹 사이트 또는 마이크로블로깅(mocroblogging) 서비스에 콘텐츠 포스팅하기, 리마인더 또는 노트 기록하기, 일기예보 획득하기, 현재 시간 획득하기, 알람 설정하기, 주가 획득하기, 부근의 상용 시설 찾기, 인터넷 검색 수행하기 등이 있다. 디지털 개인 단말기(130)는 사용자와의 계속적인 상호작용을 통하여 시간에 따라 그 수행을 개선하기 위해 다양한 인공 지능 기술을 이용할 수 있다. 디지털 개인 단말기(130)는 지능형 개인 단말기, 지능형 소프트웨어 단말기, 가상 개인 단말기 등으로도 또한 칭해질 수 있다.
디지털 개인 단말기(130)는 사용자가 질문, 커맨드 또는 다른 구두 입력을 보내고 그러한 입력에 응답하거나 다른 정보가 사용자에게 전달될 수 있게 하는 사용자 인터페이스를 제공하도록 구성된다. 일 실시형태에 있어서, 입력은 최종 사용자 컴퓨팅 장치(102)(각각 사용자 입력 장치(116) 또는 센서(122) 중의 하나를 포함할 수 있음)의 하나 이상의 마이크에 의해 포착된 사용자 음성을 포함할 수 있다. 그러나 이 예는 제한하는 것으로 의도되지 않고 사용자 입력은 다른 방법으로도 또한 제공될 수 있다. 디지털 개인 단말기(130)에 의해 생성된 응답은 텍스트, 이미지 또는 디지털 개인 단말기(130)의 그래픽 사용자 인터페이스 내의 디스플레이(118)에서 표시되는 다른 시각적 콘텐츠의 형태로 사용자에게 보여질 수 있다. 상기 응답은 스피커(120)를 통해 재생되는 컴퓨터 생성 음성 또는 다른 오디오 콘텐츠를 또한 포함할 수 있다.
실시형태에 따르면, 디지털 개인 단말기(130)는 최종 사용자 컴퓨팅 장치(102)의 사용자와의 대화를 적극적으로 개시할 수 있다. 뒤에서 설명하는 바와 같이, 디지털 개인 단말기(130)는 대화하기에 적당하다고 디지털 개인 단말기(130)가 결정할 때에 대화를 개시하도록 프로그래밍된다. 이를 위해, 디지털 개인 단말기(130)는 특정 시간이 대화를 시작하기에 적당한지 여부를 결정하기 위해 사용자의 여유성 및 사용자의 정신 또는 감정 상태에 관한 다양한 신호를 레버리징한다. 만일 사용자의 여유성 및/또는 정신 및 감정 상태에 관한 사용자 신호가 상기 특정 시간이 대화를 시작하기에 적당하다고 표시하면, 디지털 개인 단말기(130)는 대화의 개시를 시도할 것이다. 그러나 만일 사용자의 여유성 및 정신 또는 감정 상태에 관한 사용자 신호가 상기 특정 시간이 대화를 시작하기에 적당하지 않다고 표시하면, 디지털 개인 단말기(130)는 대화의 개시를 시도하지 않을 것이다. 이 방식으로 사용자 신호를 레버리징함으로써, 디지털 개인 단말기(130)는 귀찮다, 침해적이다, 또는 시기가 적절하지 않다고 인식될 가능성이 낮은 방식으로 사용자와 대화를 적극적으로 개시할 수 있다.
도 2는 전술한 특징들을 제공하기 위해 디지털 개인 단말기(130)에 의해 사용될 수 있는 적극적 대화 시스템(200)의 블록도이다. 도 2에 도시된 것처럼, 적극적 대화 시스템(200)은 대화 개시 로직(202) 및 대화 내용 생성 로직(204)을 포함한다. 대화 개시 로직(202)은 사용자와의 대화를 시작하기에 적당한 시간을 결정하고 적당한 시간에 대화 개시를 시도하도록 구성된 로직을 포함한다. 대화 내용 생성 로직(204)은 대화가 성공적으로 개시될 때 사용자와의 대화에 디지털 개인 단말기(130)의 기여(contribution)를 생성하도록 구성된 로직을 포함한다. 그러한 기여는 예를 들면 디스플레이(118)를 통해 사용자에게 보여지는 텍스트, 이미지 또는 다른 시각적 콘텐츠, 또는 스피커(120)를 통해 사용자에게 재생되는 컴퓨터 생성 음성 또는 다른 오디오 콘텐츠를 포함할 수 있다.
일 실시형태에 있어서, 적극적 대화 시스템(200)은 디지털 개인 단말기(130)의 일부를 포함한다. 다른 실시형태에 있어서, 적극적 대화 시스템(200)은 디지털 개인 단말기 백엔드(106)의 일부를 포함하고 디지털 개인 단말기와 함께 동작한다(예를 들면, 디지털 개인 단말기(130)에 의해 호출되거나 또는 다른 방식으로 디지털 개인 단말기(130)를 지원하는 서비스로서 동작한다). 추가의 실시형태에 있어서, 적극적 대화 시스템(200)을 구성하는 로직은 디지털 개인 단말기(130)와 디지털 개인 단말기 백엔드(106) 사이에서 임의의 방식으로 분산될 수 있다.
도 3은 실시형태에 따른 대화 개시 로직(202)의 각종 컴포넌트를 예시하는 블록도이다. 도 3에 도시된 것처럼, 대화 개시 로직(202)은 사용자 여유성 결정 로직(302), 사용자 정신/감정 상태 결정 로직(304), 및 대화 시작 시간 결정 로직(306)을 포함한다. 이제 이들 각각의 컴포넌트에 대하여 설명한다.
사용자 여유성 결정 로직(302)은 특정 시간에 사용자의 여유성에 관한 하나 이상의 신호를 획득하고 이 신호들을 처리하여 사용자가 상기 특정 시간에 디지털 개인 단말기(130)에 의해 개시된 대화에 참여할 가능성을 결정하도록 구성된 로직이다. 예를 들면, 사용자 여유성 결정 로직(302)은 사용자의 여유성에 관한 신호를 분석하여 사용자가 대화 개시의 시도에 의해 방해받지 않는 활동을 하고 있는지 결정할 수 있다. 사용자의 여유성에 관한 신호 유형의 각종 예는 뒤의 섹션 III에서 설명할 것이다.
사용자 정신/감정 상태 결정 로직(304)은 특정 시간에 사용자의 정신 및/또는 감정 상태에 관한 하나 이상의 신호를 획득하고 이 신호들을 처리하여 사용자가 상기 특정 시간에 디지털 개인 단말기(130)에 의해 개시된 대화에 참여하기에 적당한 정신 및/또는 감정 상태에 있을 가능성을 결정하도록 구성된 로직이다. 예를 들면, 사용자 정신/감정 상태 결정 로직(304)은 사용자의 정신 및/또는 감정 상태에 관한 신호를 분석하여 사용자가 디지털 개인 단말기(130)에 의한 대화 개시 시도에 응답하기에 좋은 분위기에 있거나 기분인지 결정할 수 있다. 사용자의 정신 및/또는 감정 상태에 관한 신호 유형의 각종 예는 뒤의 섹션 III에서 설명할 것이다.
대화 시작 시간 결정 로직(306)은 사용자 여유성 결정 로직(302) 및 사용자 정신/감정 상태 결정 로직(304)에 의해 렌더링되는 가능성 결정을 수신하고 그러한 가능성 결정을 분석하여 디지털 개인 단말기(130)가 특정 시점에 사용자와의 대화 개시를 시도해야 하는지 여부를 결정하도록 구성된 로직이다. 예를 들면, 대화 시작 시간 결정 로직(306)은 사용자가 대화를 할 수 있는 비교적 높은 가능성 및 사용자가 대화를 하기에 적당한 정신 및/또는 감정 상태에 있을 비교적 높은 가능성이 있는 경우에만 디지털 개인 단말기(130)가 사용자와의 대화를 개시하게 하도록 구성될 수 있다. 사용자 여유성 결정 로직(302) 및 사용자 정신/감정 상태 결정 로직(304)의 출력에 기초하여 대화를 개시할 수 있을 때를 결정하는 또 다른 접근법을 이용할 수 있다.
III. 사용자와의 대화를 적극적으로 개시하기 위한 적당한 시간을 결정하기 위해 사용자 신호를 레버리징하는 디지털 개인 단말기의 예시적인 동작 방법
이제, 디지털 개인 단말기(130) 및 적극적 대화 시스템(200)의 동작 방법에 대해 도 4 및 도 5를 참조하면서 더 구체적으로 설명한다. 특히, 도 4는 디지털 개인 단말기(130)에 의해 또는 디지털 개인 단말기(130)를 대신하여 수행될 수 있는, 사용자와의 대화를 적극적으로 개시하기 위한 방법의 흐름도(400)이다. 흐름도(400)의 방법은 예를 들면 도 1을 참조하여 위에서 설명한 디지털 개인 단말기(130) 및/또는 디지털 개인 단말기 백엔드(106)의 일부를 포함하는, 도 2를 참조하여 위에서 설명한 적극적 대화 시스템(200)에 의해 수행될 수 있다. 따라서, 이제 흐름도(400)의 방법에 대해 도 2의 적극적 대화 시스템(200)을 계속 참조하면서 설명할 것이다. 그러나 이 방법은 그러한 구현예로 제한되지 않는다.
도 4에 도시된 것처럼, 흐름도(400)의 방법은 특정 시간(예를 들면, 현재 시간 또는 어떤 미래 시간)이 사용자와 대화를 적극적으로 시작하기에 적당한지를 대화 개시 로직(202)이 결정하는 결정 단계 402에서 시작한다. 만일 특정 시간이 사용자와 대화를 시작하기에 적당하지 않다고 대화 개시 로직(202)이 결정하면, 대화 개시 로직(202)은 그 특정 시간에 사용자와의 대화 개시를 시도하지 않고 단계 404에 나타낸 바와 같이 처리를 종료한다. 그러나 만일 특정 시간이 사용자와 대화를 시작하기에 적당하다고 대화 개시 로직(202)이 결정하면, 대화 개시 로직(202)은 그 특정 시간에 사용자와의 대화 개시를 시도하고, 제어는 단계 406으로 진행한다. 특정 시간이 사용자와 대화를 적극적으로 시작하기에 적당한지 여부를 대화 개시 로직(202)이 결정하는 각종 기술은 도 5를 참조하면서 뒤에서 설명할 것이다.
단계 406에서, 대화 개시 로직(202)은 사용자와의 대화 개시를 시도한다. 일 실시형태에 있어서, 이 단계는 사용자가 대화를 할 수 있는지 및/또는 대화를 하기 위해 오픈할 수 있는지를 결정하기 위해 사용자에게 질의하는 단계를 포함할 수 있다. 예를 들면, 이 단계 중에, 대화 개시 로직(202)은 디지털 개인 단말기(130)가 사용자(사용자의 이름은 안나(Anna)라고 가정한다)에게 "이봐 안나, 듣고 있어?", 또는 "이봐 안나, 잠시 시간 있어?" 또는 사용자가 대화할 수 있는지 및 대화에 기꺼이 응할 수 있는지를 결정하기 위한 어떤 다른 질의를 보내게 할 수 있다. 이러한 질의는 스피커(120)를 통해 청각적으로, 디스플레이(118)에 렌더링되는 텍스트를 통해 시각적으로, 또는 둘 다에 의해 생성될 수 있다.
결정 단계 408에서, 대화 개시 로직(202)은 단계 406에서 행한 질의에 대하여 긍정 응답이 수신되었는지 부정 응답이 수신되었는지 결정한다. 긍정 응답은 대화에 대한 기꺼움을 표시하는 사용자로부터의 임의의 응답을 포함하고, 부정 응답은 사용자가 대화를 원치않는다는 것을 표시하는 사용자로부터의 임의의 응답을 포함할 수 있다. 예를 들면, 질의 "이봐 안나, 듣고 있어?"에 대한 긍정 응답은 사용자 발언 "나 듣고 있어" 또는 "응, 무슨 일이야?"를 포함할 수 있고, 동일한 질의에 대한 부정 응답은 사용자 발언 "아니" 또는 "지금 안돼"를 포함할 수 있다. 또한, 어떤 미리 정해진 시간 프레임 내에 임의의 사용자 응답이 없는 것도 또한 부정 응답으로 간주될 수 있다. 당업자라면 긍정 응답 또는 부정 응답을 포함하는 것은 질의 및 구현예에 따라서 달라질 수 있다는 것을 쉽게 이해할 것이다.
만일 사용자 응답이 부정이라고 대화 개시 로직(202)이 결정하면, 대화 개시 로직(202)은 단계 410에 나타낸 것처럼 사용자와의 상호작용을 종료할 것이다. 그러나 만일 사용자 응답이 긍정이라고 대화 개시 로직(202)이 결정하면, 제어는 단계 412로 진행한다.
단계 412에서, 대화 내용 생성 로직(204)은 대화 논제를 선택한다. 일 실시형태에 있어서, 이 기능은 사용자에게 관심 있을 것 같은 논제를 선택하기 위해 현재 이벤트 집합과 사용자의 알려진 관심사의 집합 중 하나 이상을 고려하는 알고리즘에 의해 수행된다. 현재 이벤트는 대화 내용 생성 로직(204)에 액세스할 수 있는 하나 이상의 제1 데이터베이스에 저장되고, 사용자의 관심사는 대화 내용 생성 로직(204)에 액세스할 수 있는 하나 이상의 제2 데이터베이스에 저장될 수 있다. 예를 들면, 대화 내용 생성 로직(204)은 어떤 방식으로 제2 데이터베이스에 저장되어 있는 사용자의 관심사와 관련된 현재 이벤트를 제1 데이터베이스로부터 식별함으로써 대화 논제를 선택할 수 있다. 그러나 이것은 단지 예이고 당업자라면 다양한 방법이 대화 논제를 선택하기 위해 사용될 수 있다는 것을 이해할 것이다.
단계 414에서, 대화 내용 생성 로직(204)은 단계 412에서 선택된 대화 논제에 대하여 사용자와의 대화를 개시한다. 일 실시형태에 있어서, 이 단계는 단계 412에서 선택된 대화 논제에 기초하여 대화 논제 문자열을 생성하고 대화 논제 문자열을 사용자에게 제시하는 단계를 포함한다. 그러한 대화 논제 문자열은 스피커(120)를 통해 청각적으로 재생되거나, 디스플레이(118)에 텍스트로서 렌더링되거나, 또는 상기 2가지 방법을 함께 사용하여 사용자에게 제시될 수 있다. 대화 논제 문자열은 예를 들면 대화에 참여하도록 사용자에게 촉구하기 위한 질문을 포함할 수 있다. 그러한 대화의 목표는 사용자의 관심사에 대한 대화를 시작함으로써 사용자를 즐겁게 할 뿐만 아니라 사용자에 대하여 더 많은 것을 학습하기 위한 것일 수 있다. 예를 들어서 만일 사용자 안나가 풋볼에 관심이 있는 것으로 알려져 있으면, 대화 논제 문자열은 "안나야, 패커(Packer)의 게임 보았니?"일 수 있다. 그러한 질문은 안나가 패커의 팬인지 결정하기 위해 사용될 수 있다.
단계 414 후에, 사용자는 초기 대화 논제 문자열에 응답할 수도 있고 응답하지 않을 수도 있다. 만일 사용자가 응답하면, 대화 내용 생성 로직(204)은 응답을 생성하여 디지털 개인 단말기(130)와 사용자 간에 다회전(multi-turn) 대화를 유도할 수 있다. 대화는 사용자의 무응답, 사용자로부터의 부정적 피드백, 또는 다른 요인에 기초하여 또한 종결될 수 있다.
도 5는 흐름도(400)의 결정 단계 402를 수행하기 위해, 즉 특정 시간이 사용자와의 대화 개시를 시도하기에 적당한 시간인지 결정하기 위해 대화 개시 로직(202)이 동작할 수 있게 하는 방법의 흐름도(500)이다. 비록 흐름도(500)의 방법이 대화 개시 로직(202)을 계속 참조하면서 설명되지만, 이 방법은 그러한 구현예로 제한되지 않는다.
도 5에 나타낸 바와 같이, 흐름도(500)의 방법은 대화 개시 로직(202)이 사용자의 여유성에 관한 하나 이상의 제1 신호를 획득하는 단계 502에서 시작한다. 예를 들면, 대화 개시 로직(202) 내의 사용자 여유성 결정 로직(302)은 사용자의 여유성에 관한 하나 이상의 제1 신호를 획득하고 그러한 신호를 분석하여 사용자가 특정 시간에 대화에 응할 가능성을 결정할 수 있다.
단계 504에서, 대화 개시 로직(202)은 사용자의 정신 및/또는 감정 상태에 관한 하나 이상의 제2 신호를 획득한다. 예를 들면, 대화 개시 로직(202) 내의 사용자 정신/감정 상태 결정 로직(302)은 사용자의 정신 및/또는 감정 상태에 관한 하나 이상의 제2 신호를 획득하고 그러한 신호를 분석하여 사용자가 특정 시간에 대화에 참여하기에 적당한 정신 및/또는 감정 상태에 있을 가능성을 결정할 수 있다.
단계 506에서, 대화 개시 로직(202)은 적어도 단계 502에서 획득된 상기 제1 신호 및 단계 504에서 획득된 상기 제2 신호에 기초하여 특정 시간이 사용자와의 대화 개시를 시도하기에 적당한 시간인지를 결정한다. 예를 들면, 대화 개시 로직(202) 내의 대화 시작 시간 결정 로직(306)은, (1) 사용자가 특정 시간에 대화에 응할 가능성의 측정치(이것은 상기 제1 신호에 기초를 둔 것임)를 사용자 여유성 결정 로직(302)으로부터 수신하고; (2) 사용자가 특정 시간에 대화에 참여하기에 적당한 정신 및/또는 감정 상태에 있을 가능성의 측정치(이것은 상기 제2 신호에 기초를 둔 것임)를 사용자 정신/감정 상태 결정 로직(304)으로부터 수신하고; (3) 디지털 개인 단말기(130)가 특정 시점에 사용자와의 대화 개시를 시도해야 하는지 여부를 결정하기 위해 상기 가능성의 측정치들을 분석함으로써 이 단계를 수행할 수 있다. 예를 들면, 대화 시작 시간 결정 로직(306)은 사용자가 응할 가능성이 비교적 높고 사용자가 그러한 대화를 수행할 적당한 정신 및/또는 감정 상태에 있을 가능성이 비교적 높은 때에만 디지털 개인 단말기(130)가 사용자와의 대화를 개시하도록 허용할 수 있다.
전술한 설명에서, 대화를 시작하기 위한 특정 시간의 적합성에 대한 최종 결정은 2개의 사전 결정, 즉 사용자의 여유성에 관한 결정과 사용자의 정신 및/또는 감정 상태에 관한 결정에 전제를 두는 것으로 가정하였다. 그러나 대안적인 실시형태에서는 특정 시간이 적당한지에 관한 하나의 결정을 렌더링하기 위해 상기 제1 신호와 상기 제2 신호 모두를 함께 고려할 수 있다. 그러한 구현예에 따르면, 사용자 여유성 결정 로직(302)은 제1 신호를 획득하고 제1 신호를 대화 시작 시간 결정 로직(306)에 전달하기 위해서만 동작하고, 사용자 정신/감정 상태 결정 로직(304)은 제2 신호를 획득하고 제2 신호를 대화 시작 시간 결정 로직(306)에 전달하기 위해서만 동작하며, 대화 시작 시간 결정 로직(306)은 그러한 신호들을 직접 분석하여 특정 시간이 사용자와의 대화 개시를 시도하기에 적당한지 결정할 수 있다.
어떤 실시형태에 있어서, 특정 시간이 사용자와의 대화 개시를 시도하기에 적합한지 여부를 결정하기 위해 하나의 신호 집합만(예를 들면, 제1 신호만 또는 제2 신호만)을 분석할 수 있다는 점을 또한 알아야 한다. 더 나아가, 특정 시간이 대화 개시를 시도하기에 적당한지에 관한 여유성 결정, 정신/감정 상태 결정 또는 최종 결정과 관련하여 다른 신호에 대한 어떤 신호의 기여를 증가 또는 감소시키기 위해 가중치를 이용할 수 있다. 대화 시작 시간 결정 로직(306)은 사용자 여유성 결정 로직(302)에 의해 생성된 여유성 결정 및 사용자 정신/감정 상태 결정 로직(304)에 의해 생성된 정신/감정 상태 결정에 다른 가중치를 또한 적용할 수 있다.
단계 508에서, 만일 대화 개시 로직(202)이 특정 시간이 사용자와의 대화를 개시하기에 적당하다고 결정하면, 대화 개시 로직(202)은 사용자와의 대화 개시를 시도한다. 예를 들면, 대화 개시 로직(202)은 도 4를 참조하여 위에서 설명한 흐름도(400)의 단계 412 및 414와 관련하여 이미 설명한 임의의 방법을 이용하여 사용자와의 대화 개시를 시도할 수 있다. 그러나 다른 방법을 이용할 수도 있다.
이제, 사용자 여유성 및 사용자 정신 및/또는 감정 상태를 결정하기 위해 사용할 수 있는 각종 신호 유형을 설명한다. 이 신호 유형에 따라서, 신호는 최종 사용자 컴퓨팅 장치(102)에 의해 또는, 비제한적인 예를 들자면 디지털 개인 단말기 백엔드(106)를 포함한 컴퓨터 등의 원격 엔티티로부터 국부적으로 획득될 수 있다. 각종 신호 유형을 설명한 후에, 사용되는 신호 유형이 상황마다 어떻게 변할 수 있는지 및 기계 학습기가 실시형태를 구현하기 위해 어떻게 사용될 수 있는지에 대하여 또한 설명할 것이다.
A. 사용자의 여유성에 관한 신호
사용자가 특정 시간에 대화를 할 수 있는지의 결정을 돕기 위해 대화 개시 로직(202)에 액세스 가능하고 대화 개시 로직(202)에 의해 사용될 수 있는 신호의 예시적이고 비제한적인 설명이 이하에서 제공된다. 이하에서 설명하는 신호들은 사용자가 대화에 참여할 가능성이 낮은 바쁠 때뿐만 아니라 사용자가 대화에 참여할 가능성이 높은 바쁘지 않을 때를 추론하기 위해 사용될 수 있다.
사용자 캘린더 정보: 대화 개시 로직(202)은 사용자가 여유가 있는지를 결정하기 위해 최종 사용자 컴퓨팅 장치(102)에 국부적으로 저장된 사용자의 캘린더 데이터(예를 들면, 최종 사용자 컴퓨팅 장치(102)에 설치된 캘린더 애플리케이션과 관련된 데이터)에 액세스하거나, 또는 원격에 저장된 사용자 캘린더 데이터에 네트워크 인터페이스(114)를 통해 액세스할 수 있다. 이러한 캘린더 정보는 사용자가 언제 바쁜지 또는 바쁘지 않은지에 대한 명확한 안내를 제공할 수 있다.
사용자의 일상 습관: 사용자의 일상 루틴 또는 습관에 관한 정보를 획득하기 위해 사용자의 활동이 디지털 개인 단말기(130)에 의해 및/또는 디지털 개인 단말기(130)에 액세스할 수 있는 서비스 또는 엔티티에 의해 시간에 따라 추적될 수 있다. 이러한 일상 습관은 그 다음에 사용자가 바쁜 때 또는 바쁘지 않은 때를 추론하기 위해 사용될 수 있다. 예를 들면, 전형적으로 사용자의 다운타임(downtime)이라고 생각되는 시간은 대화 개시를 시도하기에 적합한 것으로 생각할 수 있다.
현재 사용자 활동: 최종 사용자 컴퓨팅 장치(102)의 센서(122) 또는 다른 컴포넌트에 의해 획득된 데이터는 사용자가 방해되어서는 안되는 활동 유형에 참여하고 있는지 결정하기 위해 사용될 수 있다. 예를 들면, 가속도계 데이터는 사용자가 고속으로 운전 중에 있는지를 결정하기 위해 사용될 수 있다. 마이크 입력은 사용자가 다른 사람과 대화하는지 또는 다른 방식으로 다른 사람과 함께 있는지를 표시할 수 있다. 최종 사용자 컴퓨팅 장치(102)에서의 애플리케이션, 입력/출력, 네트워크 및/또는 운영체제 활동은 사용자가 근무중(예를 들면, 문서를 드래프팅), 다른 사람과 통신하기(예를 들면, 이메일 또는 텍스트 메시지에 대한 드래프팅 및/또는 응답하기), 전화 걸기 또는 화상회의 하기, 비디오 보기 또는 음악 듣기와 같이 장치에서 어떤 활동을 수행하고 있는지 결정하기 위해 분석될 수 있다.
"집중형" 활동과 "비집중형" 활동으로 구별할 수 있고, "비집중형" 활동은 방해에 더 민감한 활동이다. 예를 들면, 텔레비전을 시청 중인 사용자는 만일 사용자가 유료 영화를 보고 있으면 "집중형"으로 간주되고, 만일 사용자가 채널 안내를 보고 있거나, 채널 서핑을 하고 있거나, 또는 상업 방송을 보고 있으면 "비집중형"으로 간주될 수 있다. 이들은 단지 몇 가지 예이고, 구현예 및 활동 유형에 따라서 특정 활동이 집중형인지 비집중형인지 결정하기 위해 임의의 다양한 인자를 사용할 수 있다.
B. 사용자의 정신 및/또는 감정 상태에 관한 신호
특정 시간에 사용자의 정신 및/또는 감정 상태의 결정을 돕기 위해 사용될 수 있는 신호의 예시적이고 비제한적인 설명이 이하에서 제공된다. 이하에서 설명하는 신호들은 사용자가 디지털 개인 단말기(130)에 의해 적극적으로 개시되는 대화에 참여하기에 적당한 정신 및/또는 감정 상태에 있는 때를 결정하기 위해 사용될 수 있다.
사용자의 얼굴 표정. 사용자의 현재 정신 및/또는 감정 상태의 결정을 돕기 위해 사용자의 얼굴 표정이 (예를 들면, 최종 사용자 컴퓨팅 장치(102)에 포함된 적어도 하나의 카메라에 의해) 획득되고 분석될 수 있다. 예를 들면, 사용자의 얼굴 표정은 지금이 대화를 개시하기에 나쁜 시간이 아님을 표시하는 스트레스 또는 피로도의 최근 징후를 식별하기 위해 분석될 수 있다. 그러나 만일 사용자의 얼굴 표정이 사용자가 온화하고 긴장이 풀린 것을 표시하면, 이것은 대화를 개시하기에 좋은 시간임을 표시할 수 있다.
사용자의 목소리. 사용자의 현재 정신 및/또는 감정 상태의 결정을 돕기 위해 사용자 목소리의 샘플이 (예를 들면, 최종 사용자 컴퓨팅 장치(102)에 포함된 적어도 하나의 마이크에 의해) 획득되고 분석될 수 있다. 예를 들어서 만일 사용자의 성대가 수축된 것으로 검출되면, 또는 사용자의 목소리가 다른 방식으로 동요를 표시하면, 이것은 사용자가 스트레스를 받고 있음을 표시할 수 있다. 다른 예로서, 만일 사용자 목소리의 피치가 높아지면 이것은 행복을 표시할 수 있다. 또 다른 예로서, 단조로운 음색을 사용하면 슬픔을 표시할 수 있다. 사용자 목소리의 또 다른 특징이 사용자의 정신 및/또는 감정 상태 결정을 돕기 위해 분석될 수 있다.
사용자 위치. 사용자 위치는 최종 사용자 컴퓨팅 장치(102)에 있거나 또는 다른 방식으로 최종 사용자 컴퓨팅 장치(102)에 액세스 가능한 GPS 센서 또는 어떤 다른 위치 결정 컴포넌트 또는 서비스로부터 획득될 수 있다. 사용자가 어떤 정신 또는 감정 상태에 있는 경향이 있는 곳의 위치를 식별할 수 있는 알고리즘이 구현될 수 있다. 예를 들면, 그러한 알고리즘은 사용자가 행복해 하거나 긴장이 풀리는 경향이 있는 곳 또는 사용자가 슬퍼지거나 스트레스를 받는 경향이 있는 곳의 위치를 식별하기 위해 사용될 수 있다. 사용자의 위치에 대한 정보를 레버리징함으로써, 사용자가 상기 정신 또는 감정 상태 중의 하나에 있을 곳의 위치에 액세스하거나 그 위치에 있는 것을 결정할 수 있다.
사용자가 모바일 장치를 켜고 끄는 비율. 최종 사용자 컴퓨팅 장치(102)가 스마트폰 등의 모바일 장치인 실시형태에서, 사용자의 정신 및/또는 감정 상태에 대한 정보는 사용자가 얼마나 자주 모바일 장치를 켜고 끄는지를 분석함으로써 획득될 수 있다. 예를 들어서 만일 사용자가 비교적 높은 비율로 모바일 장치를 켜고 끄면, 이것은 사용자가 스트레스를 받고 있음을 표시할 수 있다.
키스트로크 및 제스처 메타데이터. 최종 사용자 컴퓨팅 장치(102)가 사용자가 타이핑할 수 있는 키보드, 키패드 또는 다른 입력 장치를 포함하거나 이러한 입력 장치에 접속된 실시형태에서, 사용자의 타이핑 속도는 사용자의 정신 및/또는 감정 상태를 결정하기 위해 분석될 수 있다. 예를 들어서 만일 사용자의 타이핑 속도가 비교적 높으면, 이것은 사용자가 동요하고 있고 스트레스를 받고 있음을 표시할 수 있다. 유사하게, 사용자가 터치스크린을 탭핑(tap) 또는 스와이핑(swipe)하는 속도가 사용자의 정신 및/또는 감정 상태의 결정을 돕기 위해 사용될 수 있다. 키스트로크 또는 제스처에서의 에러율을 분석하여 정신 및/또는 감정 상태를 또한 결정할 수 있다.
최종 사용자 컴퓨팅 장치(102)가 압력 감응 키보드, 키패드 또는 터치스크린과 같은 압력 감응 입력 장치를 포함하거나 이러한 장치에 접속된 실시형태에서, 이러한 입력 장치를 이용하는 동안(즉, 키보드 또는 키패드에서 타이핑하는 동안 또는 터치스크린에서 탭핑 또는 스와이핑하는 동안) 사용자에 의해 인가된 압력의 크기가 사용자의 정신 및/또는 감정 상태의 결정을 돕기 위해 모니터링될 수 있다. 예를 들면, 비교적 높은 수준의 압력은 사용자가 스트레스를 받고 있음을 표시할 수 있다. 터치스크린 및 용량성 마우스인 경우에, 접촉 면적이 또한 고려될 수 있다.
사용자가 작성한 내용 또는 발화 내용의 분석. 사용자에 의해 생성된 작성 내용(예를 들면, 최종 사용자 컴퓨팅 장치(102)에 사용자가 입력한 텍스트) 또는 사용자에 의해 생성된 발화 내용(예를 들면, 최종 사용자 컴퓨팅 장치(102)의 마이크에 의해 포착된 발화 내용)을 분석하여 사용자의 정신 및/또는 감정 상태 결정을 도울 수 있다. 예를 들면, 어떤 단어의 사용은 사용자가 긍정적인 또는 부정적인 마음 상태에 있음을 표시할 수 있다. 추가로, 작성된 텍스트에 사용자가 포함시킨 구두점의 양 및 유형이 사용자의 정신 및/또는 감정 상태를 표시할 수 있다. 예를 들면, 비교적 많은 수의 느낌표의 사용은 사용자가 행복하다는 것을 표시할 수 있다. 사용자의 정신 및/또는 감정 상태의 결정을 돕기 위해 사용자의 발화 내용 또는 작성 내용에 또 다른 분석 기술을 적용할 수 있다.
애플리케이션 상호작용 메타데이터. 사용자가 상호작용하는 애플리케이션의 유형 및 그러한 상호작용의 방식을 분석하여 사용자의 정신 및/또는 감정 상태의 결정을 도울 수 있다. 예를 들면, 최종 사용자 컴퓨팅 장치(102)에 설치된 다른 애플리케이션들 사이에서 사용자가 콘텍스트를 전환하는 빈도를 모니터링하고 사용하여 사용자의 정신 및/또는 감정 상태의 결정을 도울 수 있다. 예를 들면, 비교적 높은 전환 빈도는 사용자가 스트레스를 받고 있음을 표시하고 비교적 낮은 전환 빈도는 그 반대를 표시할 수 있다.
다른 예로서, 사용자가 애플리케이션에서 소비한 시간량이 그 사용자의 정신 및/또는 감정 상태를 표시할 수 있다. 예를 들어서 만일 사용자가 페이스북과 같은 소셜 미디어 애플리케이션에 비교적 긴 시간을 소비하면, 이것은 사용자가 따분해하고 있음을 표시할 수 있다. 반대로 만일 사용자가 이메일 애플리케이션에 비교적 긴 시간을 소비하고 있으면, 이것은 사용자가 극히 집중하고 있음을 표시할 수 있다.
타이핑하는 것 또는 행동하는 것에 대하여 사용자가 애플리케이션을 이용하는 동안 보고 읽는 정도를 분석하여 사용자의 정신 및/또는 감정 상태를 결정할 수 있다.
미디어 애플리케이션을 통해 사용자가 재생시킨 음악 또는 비디오 및 그러한 음악 또는 비디오와 연관된 메타데이터를 분석하여 사용자의 정신 및/또는 감정 상태를 결정할 수 있다.
가속도계, 콤파스 및/또는 자이로스코프 출력. 사용자의 이동 속도가 최종 사용자 컴퓨팅 장치(102) 내의 가속도계로부터 획득되고 사용자의 정신 및/또는 감정 상태의 결정을 돕기 위해 사용될 수 있다. 예를 들면, 사용자는 전형적으로 걸을 때보다 움직이는 차 안에 있을 때 더 많은 스트레스를 받는다고 결정할 수 있다. 콤파스에 의해 제공되는 사용자가 향하고 있는 방향 및 자이로스코프에 의해 결정되는 사용자의 방위가 또한 사용자의 정신 및/또는 감정 상태를 결정하기 위해 사용될 수 있다.
빛에 대한 노출. 최종 사용자 컴퓨팅 장치(102) 내의 주변 광 센서 또는 다른 적당한 젠서를 이용하여 사용자가 얼마나 오랫동안 빛에 노출되었는지 그리고 얼마나 많은 빛에 사용자가 노출되었는지를 결정할 수 있다. 이러한 센서는 일년 중의 시기, 사용자가 옥내에 있는지 옥외에 있는지, 낮인지 밤인지, 또는 사용자의 비타민 D 수준까지도 결정하기 위해 또한 사용될 수 있다. 이 정보는 사용자의 정신 및/또는 감정 상태의 결정을 돕기 위해 사용될 수 있다.
온도. 최종 사용자 컴퓨팅 장치(102) 내의 온도계는 일년 중의 시기, 사용자가 옥내에 있는지 옥외에 있는지 등과 같은 것을 결정하기 위해 사용될 수 있다. 이러한 정보는 사용자의 정신 및/또는 감정 상태의 결정을 돕기 위해 사용될 수 있다.
기상 상태, 교통 상태, 공해 수준 및 알레르겐 수준. 날씨 애플리케이션 및/또는 하나 이상의 센서(예를 들면, 온도계, 주변 광 센서 등)를 이용하여 사용자가 경험하고 있는 기상 상태를 결정할 수 있다. 이 정보는 사용자의 정신 및/또는 감정 상태의 결정을 돕기 위해 사용될 수 있다. 예를 들면, 사용자가 맑은 날 밖에 있으면 행복해질 가능성이 더 높고 흐리거나 비가 올 때는 슬퍼질 가능성이 더 높다고 결정할 수 있다. 정보는 또한 지역 교통 상태, 공해 수준 및 알레르겐 수준과 관련하여 획득될 수 있고, 이 정보는 사용자의 정신 및/또는 감정 상태의 결정을 돕기 위해 또한 사용될 수 있다.
사용자의 활동 수준. 사용자의 캘린더를 모니터링함으로써, 하루 중의 사용자의 동선을 추적함으로써, 또는 어떤 다른 메카니즘을 통해, 사용자가 활동하는 정도가 결정될 수 있다. 이 정보는 그 다음에 사용자의 정신 및/또는 감정 상태의 결정을 돕기 위해 사용될 수 있다. 예를 들어서 만일 사용자가 회의에 하루 중의 많은 시간을 소비하였다고 결정되면, 이것은 사용자가 피곤해할 가능성이 있는 것을 표시할 수 있다.
심박수, 심박수 변동 및 피부 전기 활동( electrodermal activity). 최종 사용자 컴퓨팅 장치(102)에 포함된 카메라는 사용자의 심박수 및/또는 심박수 변동을 측정하기 위한 혈류를 결정하기 위해 사용자의 피부색을 분석하기 위해 사용될 수 있다. 그러한 정보는 그 다음에 사용자의 정신 및/또는 감정 상태의 결정을 돕기 위해 사용될 수 있다. 추가로, 컴퓨팅 장치(102)의 적당한 센서를 이용하여 사용자 피부의 전기적 특성의 자율적 변화인 피부 전기 활동(electrodermal activity, EDA)을 측정할 수 있다. 이러한 EDA 측정치는 사용자의 정신 및/또는 감정 상태를 결정하기 위해 사용될 수 있다. 그러한 데이터를 얻기 위해, 전극들이 사용자가 터치하는 입력 장치에 또는 사용자에 의해 쥐어질 가능성이 높은 컴퓨팅 장치(102)의 하우징(예를 들면, 전화기의 테두리 또는 뒷면)에 포함될 수 있다. EDA 데이터를 얻기 위한 또 다른 방법을 이용할 수 있다.
장치/네트워크 접속 정보. 최종 사용자 컴퓨팅 장치(102)에 의해 확립되는 블루투스, 와이파이, 셀룰러 또는 다른 접속이 사용자의 정신 및/또는 감정 상태의 결정을 돕기 위해 모니터링될 수 있다. 예를 들면, 사용자가 건강 관련 웨어러블 장치, 게임 장치 또는 음악 장치와 같은 어떤 다른 장치에 접속된 사실은 사용자의 기분을 결정하는데 도움을 줄 수 있다. 다른 예로서, 사용자가 기업 네트워크 또는 홈 네트워크에 접속하였다는 결정은 사용자가 직장에 있는지 또는 집에 있는지를 결정하기 위해 사용될 수 있다. 또 다른 예로서, 사용자가 접속하는 셀룰러 네트워크가 사용자가 현재 위치하고 있는 곳(예를 들어서 만일 다른 나라에 있으면)에 대한 단서를 제공할 수 있다.
배터리/충전 정보. 최종 사용자 컴퓨팅 장치(102)의 현재 배터리 수준 및 배터리가 충전 상태에 있는지 여부가 또한 사용자의 정신 및/또는 감정 상태를 결정하는데 유용할 수 있다. 예를 들어서 만일 최종 사용자 컴퓨팅 장치(102)가 충전기에 접속되어 있으면, 이것은 사용자가 곧 (예를 들면, 집에서) 무언가에 집중할 가능성이 높다는 것을 표시할 수 있다. 그러나 만일 배터리가 낮은 상태이고 시간적으로 하루 중 늦은 때이면, 이것은 사용자가 피곤하고 원기를 회복하고 있을 가능성이 높다는 것을 표시할 수 있다.
C. 컨텍스트 기반 사용자 신호 분석
일부 실시형태에 있어서, 사용자의 여유성 또는 정신 및/또는 감정 상태를 결정할 때 고려되는 사용자 신호의 유형은 적어도 일정 정도까지 사용자의 현재 상황에 의존할 수 있다. 이 설명을 돕기 위해, 이하에서는 예시적인 사용자인 안나가 (a) 자신의 차를 운전중일 때 및 (b) 집에 있을 때 안나의 여유성 및/또는 정신 또는 감정 상태를 결정하는 것과 관련될 수 있는 사용자 신호들의 예시적이고 비제한적인 리스트를 제공한다. 사용자 신호 중의 일부는 양쪽 상황에 적용할 수 있지만, 일부는 특수한 상황에서만 유용하다.
안나(Anna)가 운전중이다. 안나가 운전중인 동안 하기의 사용자 신호는 안나의 여유성 및/또는 정신 또는 감정 상태를 결정하는 데 유용할 수 있다. 차 안에 안나와 함께 누군가가 있는지; 안나가 운전하는 노선의 교통 상황; 안나가 현재 전화 통화중인지 또는 텍스팅 중인지(예를 들면, 안나가 최근에 텍스트 메시지를 전송하거나 수신하였는지); 안나가 음악을 듣는지 또는 뉴스를 듣는지; 안나가 그녀의 모바일 장치로부터 음악을 스트리밍하는지 또는 팟캐스팅을 하는지; 안나가 능동적 내비게이션을 위해 GPS를 이용하는지; 자동차가 움직이는지 또는 정지하였는지; 자동차가 움직이는 속도; 하루 중의 시간(예를 들면, 이른 아침 또는 늦은 오후의 러시아워 또는 매우 늦은 밤); 및 현재 기상 상태.
안나가 집에 있다. 안나가 집에 있는 동안 하기의 사용자 신호는 안나의 여유성 및/또는 정신 또는 감정 상태를 결정하는 데 유용할 수 있다. 안나가 혼자 있는지 또는 다른 사람과 같이 있는지; 안나가 서 있는지, 앉아 있는지 또는 누워 있는지(예를 들면, 자이로스코프 데이터로부터 결정됨); 안나가 코를 골고 있는지 또는 그녀가 자고 있음을 표시하는 다른 소리를 내는지; 안나가 텔레비전 또는 영화를 보거나 또는 비디오 게임을 하고 있는지; 텔레비전에서 보고 있는 콘텐츠의 유형(예를 들면, 가벼운 오락 또는 뉴스); 텔레비전을 집중 방식으로 보고 있는지 또는 안나가 텔레비전을 보는 동안 다른 일을 하고 있는지(multitask); 비슷한 시간대에 집에서 안나의 과거 행동(예를 들면, 일반적으로 오후 7시와 8시 사이의 저녁에 안나는 그녀의 전화기를 가지고 논다); 안나가 직장에서 힘든 하루를 보냈는지(예를 들면, 안나가 내향성인 사실과 결부되면, 이것은 안나가 홀로 있어야 한다는 것을 의미하고, 안나가 외향성인 사실과 결부되면, 이것은 안나가 어떤 사람 관련 활동을 위한 제안에 개방된다는 것을 의미할 수 있다); 안나가 채널 서핑 중에 있는지; 및 안나가 예를 들면 인터넷에서 무언가를 검색하고 있는지, 음악 서비스를 브라우징하는지 또는 게임 라이브러리를 검색하고 있는지.
D. 기계 학습에 기초한 구현예
일 실시형태에 있어서, 기계 학습은 어떤 사용자 신호 집합이 사용자의 정신 및/또는 감정 상태를 결정하는데 가장 유용한지를 결정하기 위해 사용될 수 있다. 예를 들면, 테스트 모집단은 전술한 서브섹션에서 설명한 일부 또는 모든 사용자 신호와 같은 사용자 신호를 수집할 수 있는 장치(예를 들면, 최종 사용자 컴퓨팅 장치(102)와 유사한 장치)가 제공될 수 있다. 테스트 모집단 내의 사용자들은 그들의 정신 및/또는 감정 상태를 간헐적으로 자기 보고(self-reporting)하는 동안에 시간이 지남에 따라 그 장치를 이용할 수 있다. 기계 학습기는 그 다음에 훈련 입력으로서 사용자 신호 및 자기 보고된 정신 및/또는 감정 상태를 취하고 어떤 사용자 신호가 특정의 정신 및/또는 감정 상태에 가장 결정적인 것인지 결정하기 위해 데이터를 상관시킬 수 있다. 특정 정신 또는 감정 상태에 결정적인(즉, 가장 결정적인) 것으로 식별된 사용자 신호는 그 다음에 정신/감정 상태 결정 알고리즘에 포함될 수 있고, 상기 정신/감정 상태 결정 알고리즘은 그 다음에 일반 모집단에 분배되는 최종 사용자 컴퓨팅 장치에 포함된다.
전술한 예에서, 기계 학습기는 테스트 모집단에 의해 훈련된다. 추가의 실시형태에 있어서, 기계 학습기는 디지털 개인 단말기(130)의 일부로서 포함되거나 또는 디지털 개인 단말기(130)와 함께 사용될 수 있고, 특정 사용자의 정신 및/또는 감정 상태를 결정하기 위해 사용되는 신호 집합을 맞춤화하기 위해 특정 사용자의 활동에 기초하여 훈련될 수 있다. 이러한 실시형태에 따르면, 사용자는 정신 및/또는 감정 상태를 결정하기 위한 "디폴트" 또는 "일반" 알고리즘(전술한 바와 같이 테스트 모집단으로부터의 데이터로 기계 학습기를 훈련시킴으로써 획득될 수 있음)으로 시작할 수 있다. 그 다음에, 시간이 지남에 따라, 사용자 신호는 사용자 장치뿐만 아니라 사용자 자신의 정신 및/또는 감정 상태에 관한 간헐적 입력에 의해 수집될 것이다. 이 후자의 입력은 사용자 신호의 특정 집합에 기초하여 추론되거나 또는 사용자에 의해 명시적으로 제공될 수 있다. 사용자 신호와 사용자의 정신 및/또는 감정 상태에 관한 입력은 훈련 데이터로서 기계 학습기에 제공된다. 기계 학습기는 상기 훈련 데이터를 이용하여 앞으로 사용자의 정신 및/또는 감정 상태를 식별하기 위해 사용될 각종 사용자 신호를 더 잘 식별하고 가중화할 수 있다. 따라서, 사용자의 정신 및/또는 감정 상태를 결정하기 위한 알고리즘은 사용자 특유의 특성 및 선호도와 사용자가 감정을 표현하는 특유한 방법에 동조될 수 있다. 상기 알고리즘은 상기 특성, 선호도 및 표현의 변화를 또한 추적할 수 있다.
지금까지 사용자의 정신 및/또는 감정 상태를 결정하기 위해 사용되는 신호들의 집합을 식별하는 하나의 방법으로서 기계 학습을 설명하였지만, 이것은 제한하는 것으로 의도되지 않는다. 당업자라면 쉽게 이해하는 바와 같이, 정신 및/또는 감정 상태를 결정하기 위해 이러한 신호를 식별하고 이러한 신호를 처리하는 다양한 다른 방법을 이용할 수 있다. 이러한 방법들은 테스트 그룹으로부터 또는 그들의 장치를 실제 이용하는 사용자로부터 획득된 데이터를 활용하여 수행될 수 있다.
IV. 예시적인 모바일 장치 구현예
도 6은 도 1을 참조하여 위에서 설명한 최종 사용자 컴퓨팅 장치(102)를 구현하기 위해 사용할 수 있는 예시적인 모바일 장치(602)의 블록도이다. 도 6에 도시된 바와 같이, 모바일 장치(602)는 다양한 선택적 하드웨어 및 소프트웨어 컴포넌트를 포함한다. 모바일 장치(602)의 임의의 컴포넌트는 임의의 다른 컴포넌트와 접속되지만, 도면에서는 편의상 모든 접속을 도시하지 않았다. 모바일 장치(602)는 다양한 컴퓨팅 장치 중의 임의의 장치(예를 들면, 셀폰, 스마트폰, 핸드헬드 컴퓨터, 개인용 정보 단말기(PDA) 등)일 수 있고, 셀룰러 또는 위성 네트워크와 같은 하나 이상의 이동 통신망(604)과, 또는 근거리 통신망 또는 광역 통신망과 무선 양방향 통신을 할 수 있다.
예시된 모바일 장치(602)는 신호 부호화, 데이터 처리, 입력/출력 처리, 전력 제어 및/또는 기타 기능과 같은 태스크를 수행하기 위한 제어기 또는 프로세서(610)(예를 들면, 신호 프로세서, 마이크로프로세서, ASIC,또는 다른 제어 및 처리 논리 회로)를 포함할 수 있다. 운영체제(612)는 모바일 장치(602)의 각종 컴포넌트의 할당 및 용법을 제어하고 하나 이상의 애플리케이션 프로그램(614)("애플리케이션" 또는 "앱"이라고도 부름)을 지원할 수 있다. 애플리케이션 프로그램(614)은 보통의 모바일 컴퓨팅 애플리케이션(예를 들면, 이메일, 캘린더, 연락처, 웹 브라우저 및 메시징 애플리케이션) 및 임의의 다른 컴퓨팅 애플리케이션(예를 들면, 워드 프로세싱, 맵핑 및 미디어 플레이어 애플리케이션)을 포함할 수 있다. 일 실시형태에 있어서, 애플리케이션 프로그램(614)은 디지털 개인 단말기(130)를 포함한다.
예시된 모바일 장치(602)는 메모리(620)를 포함할 수 있다. 메모리(620)는 비분리형 메모리(622) 및/또는 분리형 메모리(624)를 포함할 수 있다. 비분리형 메모리(622)는 RAM, ROM 플래시 메모리, 하드 디스크 또는 잘 알려진 다른 메모리/장치 또는 기술을 포함할 수 있다. 분리형 메모리(624)는 GSM 통신 시스템에서 잘 알려진 플래시 메모리 또는 가입자 식별 모듈(SIM) 카드, 또는 "스마트 카드"와 같은 다른 잘 알려진 메모리 장치 또는 기술을 포함할 수 있다. 메모리(620)는 운영체제(612) 및 애플리케이션(614)을 동작시키기 위한 데이터 및/또는 코드를 저장하기 위해 사용될 수 있다. 예시적인 데이터는 웹 페이지, 텍스트 이미지, 사운드 파일, 비디오 데이터, 또는 하나 이상의 유선 또는 무선 네트워크를 통해 하나 이상의 네트워크 서버 또는 다른 장치에 송신 및/또는 상기 하나 이상의 네트워크 서버 또는 다른 장치로부터 수신되는 다른 데이터를 포함할 수 있다. 메모리(620)는 국제 모바일 가입자 아이덴티티(IMSI)와 같은 가입자 식별자, 및 국제 모바일 장비 식별자(IMEI)와 같은 장비 식별자를 저장하기 위해 사용할 수 있다. 이러한 식별자들은 사용자 및 장비를 식별하기 위해 네트워크 서버에 전송될 수 있다.
모바일 장치(602)는 터치 스크린(632), 마이크(634), 카메라(636), 물리적 키보드(638) 및/또는 트랙볼(640)과 같은 입력 장치(630), 및 스피커(652) 및 디스플레이(654)와 같은 하나 이상의 출력 장치(650)를 지원할 수 있다. 터치 스크린(632)과 같은 터치 스크린은 다른 방법으로 입력을 검출할 수 있다. 예를 들면, 용량성 터치 스크린은 물체(예를 들면, 손가락 끝)가 표면 전역에서 동작하는 전류를 왜곡 또는 차단할 때 터치 입력을 검출한다. 다른 예로서, 터치 스크린은 광 센서로부터의 빔이 차단될 때 터치 입력을 검출하도록 광센서를 이용할 수 있다. 스크린의 표면과의 물리적 접촉은 입력이 일부 터치 스크린에 의해 검출되는데 필요하지 않다.
다른 가능한 출력 장치(도시 생략됨)는 압전 또는 다른 촉각 출력 장치를 포함할 수 있다. 일부 장치는 2개 이상의 입력/출력 기능으로 소용될 수 있다. 예를 들면, 터치 스크린(632)과 디스플레이(654)는 단일 입력/출력 장치로 결합될 수 있다. 입력 장치(630)는 내추럴 사용자 인터페이스(NUI)를 포함할 수 있다.
무선 모뎀(660)이 안테나(도시 생략됨)에 결합되고, 업계에 잘 알려진 것처럼 프로세서(610)와 외부 장치 간의 양방향 통신을 지원할 수 있다. 모뎀(660)은 총칭적으로 도시되어 있고, 이동 통신망(604)과 통신하기 위한 셀룰러 모뎀(666) 및/또는 라디오 기반 모뎀(예를 들면, 블루투스(664) 및/또는 와이파이(662))을 포함할 수 있다. 무선 모뎀(660) 중의 적어도 하나는 전형적으로 단일 셀룰러 네트워크 내에서, 셀룰러 네트워크들 사이에서, 또는 모바일 장치와 공중 교환식 전화망(PSTN) 사이에서 데이터 및 음성 통신을 위해 GSM 네트워크와 같은 하나 이상의 셀룰러 네트워크와 통신하도록 구성된다.
모바일 장치(602)는 또한 적어도 하나의 입력/출력 포트(680), 전원(682), GPS 수신기 등의 위성 내비게이션 시스템 수신기(684), 가속도계(682)(뿐만 아니라 예컨대 콤파스 및 자이로스코프와 같은 다른 센서), 및/또는 USB 포트, IEEE 1394(FireWire) 포트 및/또는 RS-232 등의 물리적 커넥터(690)을 포함할 수 있다. 모바일 장치(602)의 예시된 컴포넌트들은 당업자가 인식하고 있는 바와 같이 임의의 컴포넌트가 제거되거나 다른 컴포넌트들이 추가될 수 있기 때문에 전부가 필요하다거나 전부를 포함시킨 것이 아니다.
일 실시형태에 있어서, 모바일 장치(602)의 어떤 컴포넌트는 앞의 섹션에서 설명한 바와 같이 디지털 개인 단말기(130)에 속하는 동작들을 수행하도록 구성된다. 전술한 바와 같이 디지털 개인 단말기(130)에 속하는 동작들을 수행하기 위한 컴퓨터 프로그램 로직이 메모리(620)에 저장되고 프로세서(610)에 의해 실행될 수 있다. 그러한 컴퓨터 프로그램 로직을 실행함으로써, 프로세서(610)는 도 1을 참조하여 위에서 설명한 디지털 개인 단말기(130)의 임의의 특징들을 구현할 수 있다. 또한, 그러한 컴퓨터 프로그램 로직을 실행함으로써, 프로세서(610)는 도 4 및 도 5에 도시된 임의의 또는 모든 흐름도의 임의의 또는 모든 단계들을 수행할 수 있다.
V. 예시적인 컴퓨터 시스템 구현예
도 7은 여기에서 설명한 각종 실시형태를 구현하기 위해 사용될 수 있는 예시적인 프로세서 기반 컴퓨터 시스템(700)을 보인 도이다. 예를 들면, 컴퓨터 시스템(700)은 최종 사용자 컴퓨팅 장치(102)를 구현하기 위해 사용될 수 있고, 또는 도 1을 참조하여 위에서 설명한 디지털 개인 단말기 백엔드(106)를 구현하기 위해 사용되는 임의의 컴퓨터일 수 있다. 컴퓨터 시스템(700)은 또한 도 4 및 도 5에 도시된 임의의 또는 모든 흐름도의 임의의 또는 모든 단계들을 구현하기 위해 사용될 수 있다. 여기에서 제공된 컴퓨터 시스템(700)의 설명은 예시 목적으로 제공되고 제한하는 의도가 없다. 실시형태들은 당업자에게 잘 알려진 다른 유형의 컴퓨터로 구현될 수 있다.
도 7에 도시된 것처럼, 컴퓨터 시스템(700)은 처리 장치(702)와, 시스템 메모리(704)와, 시스템 메모리(704)를 비롯한 각종 시스템 컴포넌트를 처리 장치(702)에 결합하는 버스(706)를 포함한다. 처리 장치(702)는 하나 이상의 마이크로프로세서 또는 마이크로프로세서 코어를 포함할 수 있다. 버스(706)는 메모리 버스 또는 메모리 제어기, 주변 버스, 가속화 그래픽 포트, 및 임의의 다양한 버스 구조를 이용하는 프로세서 또는 로컬 버스를 포함한 임의의 몇 가지 유형의 버스 구조 중 하나 이상을 대표한다. 시스템 메모리(704)는 리드 온리 메모리(ROM)(708) 및 랜덤 액세스 메모리(RAM)(710)를 포함한다. 기본 입출력 시스템(712)(BIOS)은 ROM(708)에 저장된다.
컴퓨터 시스템(700)은, 하드 디스크로부터 판독하고 하드 디스크에 기록하기 위한 하드 디스크 드라이브(714), 분리형 자기 디스크(718)로부터 판독하고 분리형 자기 디스크(718)에 기록하기 위한 자기 디스크 드라이브(716), 및 CD-ROM, DVD ROM, 블루레이(BLU-RAY™) 디스크 또는 다른 광학 매체와 같은 분리형 광디스크(722)로부터 판독하고 분리형 광디스크(722)에 기록하기 위한 광디스크 드라이브(720) 중 하나 이상을 또한 구비한다. 하드 디스크 드라이브(714), 자기 디스크 드라이브(716) 및 광디스크 드라이브(720)는 각각 하드 디스크 드라이브 인터페이스(724), 자기 디스크 드라이브 인터페이스(726) 및 광 드라이브 인터페이스(728)에 의해 버스(706)에 접속된다. 드라이브 및 그들의 관련 컴퓨터 판독가능 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 및 컴퓨터의 다른 데이터에 대한 비휘발성 저장을 제공한다. 비록 하드 디스크, 분리형 자기 디스크 및 분리형 광디스크를 설명하였지만, 플래시 메모리 카드, 디지털 비디오 디스크, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM) 등과 같은 다른 유형의 컴퓨터 판독가능 메모리 장치 및 스토리지 구조가 데이터를 저장하기 위해 사용될 수 있다.
다수의 프로그램 모듈이 하드 디스크, 자기 디스크, 광디스크, ROM 또는 RAM에 저장될 수 있다. 이러한 프로그램 모듈은, 운영체제(730), 하나 이상의 애플리케이션 프로그램(732), 다른 프로그램 모듈(734) 및 프로그램 데이터(736)를 포함한다. 각종 실시형태에 따르면, 프로그램 모듈은, 최종 사용자 컴퓨팅 장치(102) 또는 도 1을 참조하여 위에서 설명한 디지털 개인 단말기 백엔드(106)를 구현하기 위해 사용되는 임의의 컴퓨터의 임의의 또는 모든 기능 및 특징을 수행하도록 처리 장치(702)에 의해 실행 가능한 컴퓨터 프로그램 로직을 포함할 수 있다. 프로그램 모듈은 또한 처리 장치(702)에 의해 실행될 때 도 4 및 도 5의 흐름도를 참조하여 도시 또는 설명한 임의의 단계 또는 동작을 수행하는 컴퓨터 프로그램 로직을 포함할 수 있다.
사용자는 키보드(738) 및 포인팅 장치(740)와 같은 입력 장치를 통하여 컴퓨터 시스템(700)에 커맨드 및 정보를 입력할 수 있다. 다른 입력 장치(도시 생략됨)는 마이크, 조이스틱, 게임 제어기, 스캐너 등을 포함할 수 있다. 일 실시형태에 있어서, 터치 스크린은 사용자가 (예컨대 손가락 또는 스타일러스에 의해) 터치 스크린의 하나 이상의 지점을 터치함으로써 사용자 입력을 제공할 수 있도록 디스플레이(744)와 함께 제공된다. 이러한 및 다른 입력 장치는 종종 버스(706)에 결합된 직렬 포트 인터페이스(742)를 통해 처리 장치(702)에 접속되지만, 병렬 포트, 게임 포트 또는 범용 직렬 버스(USB)와 같은 다른 인터페이스에 의해 접속될 수 있다. 이러한 인터페이스는 유선 또는 무선 인터페이스일 수 있다.
디스플레이(744)는 비디오 어댑터(746) 등의 인터페이스를 통해 버스(706)에 또한 접속된다. 디스플레이(744) 외에, 컴퓨터 시스템(700)은 스피커 및 프린터 등의 다른 주변 출력 장치(도시 생략됨)를 포함할 수 있다.
컴퓨터 시스템(700)은 네트워크 인터페이스 또는 어댑터(750), 모뎀(752), 또는 네트워크를 통해 통신을 확립하는 기타 적절한 수단을 통해 네트워크(748)(예를 들면, 근거리 통신망 또는 인터넷 등의 광역 통신망)에 접속된다. 내부 모뎀 또는 외부 모뎀일 수 있는 모뎀(752)은 직렬 포트 인터페이스(742)를 통해 버스(706)에 접속된다.
여기에서 사용하는 용어 "컴퓨터 프로그램 매체", "컴퓨터 판독가능 매체" 및 "컴퓨터 판독가능 기억 매체"는 하드 디스크 드라이브(714)와 연관된 하드 디스크, 분리형 자기 디스크(718), 분리형 광디스크(722)와 같은 메모리 장치 또는 스토리지 구조뿐만 아니라 플래시 메모리 카드, 디지털 비디오 디스크, 랜덤 액세스 메모리(RAM), 리드 온리 메모리(ROM) 등과 같은 다른 메모리 장치 또는 스토리지 구조를 일반적으로 인용하기 위해 사용된다. 이러한 컴퓨터 판독가능 기억 매체는 통신 매체와 구별되고 통신 매체와 중복되지 않는다(통신 매체를 포함하지 않는다). 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 반송파와 같은 피변조 데이터 신호의 다른 데이터를 구체화한다. 용어 "피변조 데이터 신호"는 하나 이상의 특성을 가진 신호 또는 신호에 정보를 인코딩하는 것과 같은 방식으로 변형된 신호를 의미한다. 비제한적인 예로서, 통신 매체는 음향, RF, 적외선 및 다른 무선 매체와 같은 무선 매체를 포함한다. 실시형태들은 그러한 통신 매체와 또한 관련된다.
전술한 바와 같이, 컴퓨터 프로그램 및 모듈(애플리케이션 프로그램(732) 및 다른 프로그램 모듈(734)을 포함함)은 하드 디스크, 자기 디스크, 광디스크, ROM 또는 RAM에 저장될 수 있다. 그러한 컴퓨터 프로그램은 또한 네트워크 인터페이스(750), 직렬 포트 인터페이스(742) 또는 임의의 다른 인터페이스 유형을 통해 수신될 수 있다. 그러한 컴퓨터 프로그램은, 애플리케이션에 의해 실행 또는 로딩될 때, 컴퓨터 시스템(700)이 여기에서 설명한 본 발명의 각종 실시형태의 특징들을 구현할 수 있게 한다. 따라서, 그러한 컴퓨터 프로그램은 컴퓨터 시스템(700)의 컨트롤러를 대표한다.
실시형태들은 또한 임의의 컴퓨터 사용가능 매체에 저장된 소프트웨어를 포함한 컴퓨터 프로그램 제품과 관련된다. 그러한 소프트웨어는, 하나 이상의 데이터 처리 장치에서 실행될 때, 데이터 처리 장치가 여기에서 설명한 것처럼 동작하게 한다. 본 발명의 실시형태들은 현재 공지되었거나 미래에 개발될 임의의 컴퓨터 사용가능 또는 컴퓨터 판독가능 매체를 이용한다. 컴퓨터 판독가능 매체의 예는, 비제한적인 예를 들자면, RAM, 하드 드라이브, 플로피 디스크, CD ROM, DVD ROM, 집(zip) 디스크, 테이프, 자기 기억 장치, 광 기억 장치, MEM, 나노기술 기반 기억 장치 등과 같은 메모리 장치 및 스토리지 구조를 포함한다.
대안적인 구현예에 있어서, 컴퓨터 시스템(700)은 하드웨어 논리/전기 회로 또는 펌웨어로서 구현될 수 있다. 다른 실시형태에 따르면, 이러한 컴포넌트들 중의 하나 이상은 시스템 온 칩(SoC)으로 구현될 수 있다. SoC는 하나 이상의 프로세서(예를 들면, 마이크로컨트롤러, 마이크로프로세서, 디지털 신호 프로세서(DSP) 등), 메모리, 하나 이상의 통신 인터페이스, 및/또는 상기 기능들을 수행하는 다른 회로 및/또는 임베딩된 펌웨어를 포함한 집적회로 칩을 포함할 수 있다.
VI. 결어
각종 실시형태를 위에서 설명하였지만, 그러한 실시형태는 단지 예로서 제시된 것이고 제한하는 의도가 없다는 것을 이해하여야 한다. 발명의 정신 및 범위로부터 벗어나지 않고 상기 실시형태의 형태 및 세부에 있어서 각종 변경이 이루어질 수 있다는 것이 당업자에게는 명백할 것이다. 따라서, 본 발명의 폭 및 범위는 전술한 임의의 예시적인 실시형태로 제한되지 않고, 오로지 이하의 청구범위 및 그 균등물에 따라서만 규정되어야 한다.

Claims (20)

  1. 적어도 하나의 컴퓨팅 장치 상에서 구현되는 소프트웨어 에이전트를 포함한 디지털 개인 단말기(digital personal assistant)에 의해 수행되는 방법에 있어서,
    사용자의 여유성(availability)에 관한 하나 이상의 제1 신호를 획득하는 단계와;
    상기 사용자의 정신 또는 감정 상태에 관한 하나 이상의 제2 신호를 획득하는 단계와;
    적어도 상기 제1 신호 및 제2 신호에 기초하여 상기 소프트웨어 에이전트와 사용자 간의 대화 개시를 시도하기 위한 특정 시간을 결정하는 단계와;
    상기 소프트웨어 에이전트와 사용자 간의 대화 개시를 시도하기 위한 상기 특정 시간을 결정하는 것에 응답하여,
    상기 특정 시간에, 사용자가 대화할 여유가 있는지 결정하기 위해 사용자에게 질의하는 단계와;
    상기 질의에 대한 긍정 응답의 수신에 응답하여, 대화 화제를 선택하고, 선택된 대화 화제에 대하여 상기 소프트웨어 에이전트와 사용자 간의 대화를 개시하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 제1 신호는,
    사용자와 연관된 캘린더 정보;
    사용자와 연관된 일상 습관 정보; 및
    사용자의 현재 활동과 연관된 정보
    중 하나 이상을 포함하는 것인, 방법.
  3. 제1항에 있어서, 상기 제2 신호는,
    사용자의 얼굴 표정;
    사용자의 음성 특성;
    사용자의 위치;
    사용자가 모바일 장치를 켜고 끄는 비율;
    사용자와 연관된 키스트로크와 제스처 메타데이터 중의 적어도 하나;
    사용자가 작성한 내용(written content)과 발화 내용(spoken content) 중의 적어도 하나;
    사용자와 연관된 애플리케이션 상호작용 메타데이터;
    가속도계, 콤파스 및 자이로스코프 중의 적어도 하나의 출력;
    광에 대한 노출 정도;
    온도;
    기상 상태;
    교통 상태;
    공해 및 알레르겐 중의 적어도 하나의 수준;
    사용자의 활동 수준;
    사용자의 심박수 및 심박수 변동성;
    사용자의 피부 전기 활동;
    사용자와 연관된 장치에 대한 장치 및 네트워크 접속 정보 중의 적어도 하나; 및
    사용자와 연관된 장치에 대한 배터리 및 충전 정보 중의 적어도 하나
    중 하나 이상을 포함하는 것인, 방법.
  4. 제1항에 있어서, 상기 제2 신호는, 상기 사용자의 정신 또는 감정 상태를 결정하는 것으로서, 기계 학습기(machine learner)에 의해 식별되는 하나 이상의 신호를 포함하는 것인, 방법.
  5. 제4항에 있어서, 상기 기계 학습기는 테스트 모집단(test population) 및 사용자 중 하나 이상에 의해 훈련되는 것인, 방법.
  6. 제1항에 있어서, 상기 대화 화제를 선택하는 것은,
    현재 이벤트의 집합 및 사용자의 관심사 집합 중 하나 이상에 기초하여 상기 대화 화제를 선택하는 것을 포함하는 것인, 방법.
  7. 제6항에 있어서, 상기 현재 이벤트의 집합은 하나 이상의 제1 데이터베이스에 저장되고, 상기 사용자의 관심사 집합은 하나 이상의 제2 데이터베이스에 저장된 것인, 방법.
  8. 시스템에 있어서,
    적어도 하나의 프로세서와;
    상기 적어도 하나의 프로세서에 의해 실행하기 위한 컴퓨터 프로그램 로직을 저장한 메모리
    를 포함하고,
    상기 컴퓨터 프로그램 로직은 상기 적어도 하나의 프로세서에 의해 실행될 때 동작을 수행하도록 구성된 하나 이상의 컴포넌트를 포함하며,
    상기 하나 이상의 컴포넌트는 소프트웨어 에이전트를 포함한 디지털 개인 단말기를 포함하고, 상기 소프트웨어 에이전트는,
    사용자의 여유성에 관한 하나 이상의 제1 신호를 획득하고, 상기 사용자의 정신 또는 감정 상태에 관한 하나 이상의 제2 신호를 획득하고, 적어도 상기 제1 신호 및 제2 신호에 기초하여 상기 소프트웨어 에이전트와 사용자 간의 대화 개시를 시도하기 위한 특정 시간을 결정하고, 상기 소프트웨어 에이전트와 사용자 간의 대화 개시를 시도하기 위한 상기 특정 시간의 결정에 응답하여, 상기 특정 시간에, 사용자가 대화할 여유가 있는지 결정하기 위해 사용자에게 질의하고, 상기 질의에 대한 긍정 응답의 수신에 응답하여, 대화 화제를 선택하고, 선택된 대화 화제에 대하여 사용자와의 대화를 개시하도록 구성되는 것인, 시스템.
  9. 제8항에 있어서, 상기 제1 신호는,
    사용자와 연관된 캘린더 정보;
    사용자와 연관된 일상 습관 정보; 및
    사용자의 현재 활동과 연관된 정보
    중 하나 이상을 포함하는 것인, 시스템.
  10. 제8항에 있어서, 상기 제2 신호는,
    사용자의 얼굴 표정;
    사용자의 음성 특성;
    사용자의 위치;
    사용자가 모바일 장치를 켜고 끄는 비율;
    사용자와 연관된 키스트로크와 제스처 메타데이터 중의 적어도 하나;
    사용자가 작성한 내용과 발화 내용 중의 적어도 하나;
    사용자와 연관된 애플리케이션 상호작용 메타데이터;
    가속도계, 콤파스 및 자이로스코프 중의 적어도 하나의 출력;
    광에 대한 노출 정도;
    온도;
    기상 상태;
    교통 상태;
    공해 및 알레르겐 중의 적어도 하나의 수준;
    사용자의 활동 수준;
    사용자의 심박수 및 심박수 변동성;
    사용자의 피부 전기 활동;
    사용자와 연관된 장치에 대한 장치 및 네트워크 접속 정보 중의 적어도 하나; 및
    사용자와 연관된 장치에 대한 배터리 및 충전 정보 중의 적어도 하나
    중 하나 이상을 포함하는 것인, 시스템.
  11. 제8항에 있어서, 상기 제2 신호는, 상기 사용자의 정신 또는 감정 상태를 결정하는 것으로서, 기계 학습기에 의해 식별되는 하나 이상의 신호를 포함하는 것인, 시스템.
  12. 제11항에 있어서, 상기 기계 학습기는 테스트 모집단 및 사용자 중 하나 이상에 의해 훈련되는 것인, 시스템.
  13. 제8항에 있어서, 상기 소프트웨어 에이전트는 현재 이벤트의 집합 및 사용자의 관심사 집합 중 하나 이상에 기초하여 상기 대화 화제를 선택하도록 구성되는 것인, 시스템.
  14. 제13항에 있어서, 상기 현재 이벤트의 집합은 하나 이상의 제1 데이터베이스에 저장되고, 상기 사용자의 관심사 집합은 하나 이상의 제2 데이터베이스에 저장된 것인, 시스템.
  15. 적어도 하나의 프로세서에 의해 실행될 때에 상기 적어도 하나의 프로세서로 하여금 소프트웨어 에이전트를 포함한 디지털 개인 단말기를 동작시키는 방법을 수행하게 하는 컴퓨터 프로그램 로직이 기록되어 있는 컴퓨터 판독 가능한 메모리 장치에 있어서,
    상기 방법은,
    사용자에 의해 작동되는 모바일 장치로부터 사용자의 여유성에 관한 하나 이상의 제1 신호를 획득하는 단계와;
    상기 모바일 장치로부터 상기 사용자의 정신 또는 감정 상태에 관한 하나 이상의 제2 신호를 획득하는 단계와;
    적어도 상기 제1 신호 및 제2 신호에 기초하여 상기 소프트웨어 에이전트와 사용자 간의 대화 개시를 시도하기 위한 특정 시간을 결정하는 단계와;
    상기 소프트웨어 에이전트와 사용자 간의 대화 개시를 시도하기 위한 상기 특정 시간을 결정하는 것에 응답하여,
    상기 특정 시간에, 사용자가 대화할 여유가 있는지 결정하기 위해 사용자에게 질의하는 단계와;
    상기 질의에 대한 긍정 응답의 수신에 응답하여, 대화 화제를 선택하고, 선택된 대화 화제에 대하여 상기 소프트웨어 에이전트와 사용자 간의 대화를 개시하는 단계
    를 포함하는, 컴퓨터 판독 가능한 메모리 장치.
  16. 제15항에 있어서, 상기 제1 신호는,
    사용자와 연관된 캘린더 정보;
    사용자와 연관된 일상 습관 정보; 및
    사용자의 현재 활동과 연관된 정보
    중 하나 이상을 포함하는 것인, 컴퓨터 판독 가능한 메모리 장치.
  17. 제15항에 있어서, 상기 제2 신호는,
    사용자의 얼굴 표정;
    사용자의 음성 특성;
    사용자의 위치;
    사용자가 모바일 장치를 켜고 끄는 비율;
    사용자와 연관된 키스트로크와 제스처 메타데이터 중의 적어도 하나;
    사용자가 작성한 내용과 발화 내용 중의 적어도 하나;
    사용자와 연관된 애플리케이션 상호작용 메타데이터;
    가속도계, 콤파스 및 자이로스코프 중의 적어도 하나의 출력;
    광에 대한 노출 정도;
    온도;
    기상 상태;
    교통 상태;
    공해 및 알레르겐 중의 적어도 하나의 수준;
    사용자의 활동 수준;
    사용자의 심박수 및 심박수 변동성;
    사용자의 피부 전기 활동;
    사용자와 연관된 장치에 대한 장치 및 네트워크 접속 정보 중의 적어도 하나; 및
    사용자와 연관된 장치에 대한 배터리 및 충전 정보 중의 적어도 하나
    중 하나 이상을 포함하는 것인, 컴퓨터 판독 가능한 메모리 장치.
  18. 제15항에 있어서, 상기 제2 신호는, 상기 사용자의 정신 또는 감정 상태를 결정하는 것으로서, 기계 학습기에 의해 식별되는 하나 이상의 신호를 포함하는 것인, 컴퓨터 판독 가능한 메모리 장치.
  19. 제18항에 있어서, 상기 기계 학습기는 테스트 모집단 및 사용자 중 하나 이상에 의해 훈련되는 것인, 컴퓨터 판독 가능한 메모리 장치.
  20. 제15항에 있어서, 상기 대화 화제를 선택하는 것은, 현재 이벤트의 집합 및 사용자의 관심사 집합 중 하나 이상에 기초하여 상기 대화 화제를 선택하는 것을 포함하는 것인, 컴퓨터 판독 가능한 메모리 장치.
KR1020177000171A 2014-06-25 2015-06-22 통신 개시를 위한 사용자 신호 레버리징 KR102331049B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/315,049 2014-06-25
US14/315,049 US9807559B2 (en) 2014-06-25 2014-06-25 Leveraging user signals for improved interactions with digital personal assistant
PCT/US2015/036858 WO2015200153A1 (en) 2014-06-25 2015-06-22 Leveraging user signals for initiating communications

Publications (2)

Publication Number Publication Date
KR20170020841A KR20170020841A (ko) 2017-02-24
KR102331049B1 true KR102331049B1 (ko) 2021-11-25

Family

ID=53674274

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177000171A KR102331049B1 (ko) 2014-06-25 2015-06-22 통신 개시를 위한 사용자 신호 레버리징

Country Status (5)

Country Link
US (1) US9807559B2 (ko)
EP (1) EP3162041B1 (ko)
KR (1) KR102331049B1 (ko)
CN (1) CN106464758B (ko)
WO (1) WO2015200153A1 (ko)

Families Citing this family (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
CA2962502A1 (en) 2014-10-14 2016-04-21 Arsil Nayyar Hussain Systems, devices, and methods for capturing and outputting data regarding a bodily characteristic
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US20170091612A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Proactive assistant with memory assistance
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US9807499B2 (en) * 2016-03-30 2017-10-31 Lenovo (Singapore) Pte. Ltd. Systems and methods to identify device with which to participate in communication of audio data
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US10885915B2 (en) 2016-07-12 2021-01-05 Apple Inc. Intelligent software agent
JP6774018B2 (ja) * 2016-09-15 2020-10-21 富士ゼロックス株式会社 対話装置
US10552742B2 (en) * 2016-10-14 2020-02-04 Google Llc Proactive virtual assistant
US10878479B2 (en) 2017-01-05 2020-12-29 Microsoft Technology Licensing, Llc Recommendation through conversational AI
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
CN110249614B (zh) 2017-02-03 2021-01-12 极客线合同会社 体贴的电话发送/接收呼叫服务方法
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US11429833B2 (en) * 2017-06-19 2022-08-30 Kyndryl, Inc. Cognitive communication assistant services
US10891947B1 (en) 2017-08-03 2021-01-12 Wells Fargo Bank, N.A. Adaptive conversation support bot
CN111247393B (zh) 2017-09-12 2024-04-23 谷歌有限责任公司 免提助手请求的通信的系统和方法
US10817316B1 (en) 2017-10-30 2020-10-27 Wells Fargo Bank, N.A. Virtual assistant mood tracking and adaptive responses
KR102463581B1 (ko) * 2017-12-05 2022-11-07 현대자동차주식회사 대화 시스템 및 이를 포함하는 차량
US11093904B2 (en) * 2017-12-14 2021-08-17 International Business Machines Corporation Cognitive scheduling platform
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10606446B2 (en) 2018-05-04 2020-03-31 David Arthur Yost Computer system with a plurality of work environments where each work environment affords one or more workspaces
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11681895B2 (en) 2018-05-30 2023-06-20 Kyndryl, Inc. Cognitive assistant with recommendation capability
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US20190385711A1 (en) 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
JP2021529382A (ja) 2018-06-19 2021-10-28 エリプシス・ヘルス・インコーポレイテッド 精神的健康評価のためのシステム及び方法
US11455418B2 (en) * 2018-08-07 2022-09-27 Google Llc Assembling and evaluating automated assistant responses for privacy concerns
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11409961B2 (en) * 2018-10-10 2022-08-09 Verint Americas Inc. System for minimizing repetition in intelligent virtual assistant conversations
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US10567314B1 (en) * 2018-12-03 2020-02-18 D8AI Inc. Programmable intelligent agents for human-chatbot communication
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
WO2021102924A1 (en) * 2019-11-29 2021-06-03 Bayerische Motoren Werke Aktiengesellschaft Personality-based intelligent personal assistant system
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110044431A1 (en) 2009-08-21 2011-02-24 Avaya Inc. Communications History Log System
WO2011110727A1 (en) 2010-03-08 2011-09-15 Nokia Corporation Gestural messages in social phonebook

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3703988B2 (ja) * 1999-03-04 2005-10-05 日本電信電話株式会社 非同期分散型コミュニケーション支援装置および非同期分散型コミュニケーション支援プログラムを記録した記録媒体
US20020029203A1 (en) 2000-09-01 2002-03-07 Pelland David M. Electronic personal assistant with personality adaptation
US20030046401A1 (en) * 2000-10-16 2003-03-06 Abbott Kenneth H. Dynamically determing appropriate computer user interfaces
US6731307B1 (en) * 2000-10-30 2004-05-04 Koninklije Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality
US20040029567A1 (en) 2001-05-25 2004-02-12 Timmins Timothy A. Technique for effectively providing personalized communications and information assistance services
US7974849B1 (en) * 2002-08-12 2011-07-05 Oracle America, Inc. Detecting and modeling temporal computer activity patterns
IL153886A0 (en) * 2003-01-12 2003-07-31 Shlomo Elfanbaum A method and device for determining a personal happiness index and improving it
US20050054381A1 (en) 2003-09-05 2005-03-10 Samsung Electronics Co., Ltd. Proactive user interface
US20070300225A1 (en) * 2006-06-27 2007-12-27 Microsoft Coporation Providing user information to introspection
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080208015A1 (en) * 2007-02-09 2008-08-28 Morris Margaret E System, apparatus and method for real-time health feedback on a mobile device based on physiological, contextual and self-monitored indicators of mental and physical health states
WO2008113947A2 (fr) * 2007-02-28 2008-09-25 France Telecom Procede de transmission d'informations pour une restitution collective d'informations emotionnelles
WO2009054928A2 (en) * 2007-10-19 2009-04-30 Keep In Touch Systems, Inc. System and method for time sensitive scheduling data privacy protection
US9152381B2 (en) * 2007-11-09 2015-10-06 Psyleron, Inc. Systems and methods employing unique device for generating random signals and metering and addressing, e.g., unusual deviations in said random signals
EP2093966A1 (en) 2008-02-25 2009-08-26 Koninklijke KPN N.V. Configuring a network communication under control of a rule base
JP4609527B2 (ja) 2008-06-03 2011-01-12 株式会社デンソー 自動車用情報提供システム
JP5215098B2 (ja) * 2008-09-17 2013-06-19 オリンパス株式会社 情報処理システム、プログラム及び情報記憶媒体
US20100223341A1 (en) * 2009-02-27 2010-09-02 Microsoft Corporation Electronic messaging tailored to user interest
US20100262487A1 (en) * 2009-04-06 2010-10-14 Globys Inc. Contextual targeting based upon customer occasions
US9634855B2 (en) 2010-05-13 2017-04-25 Alexander Poltorak Electronic personal interactive device that determines topics of interest using a conversational agent
DE102011117777B3 (de) * 2011-11-01 2013-01-31 Markus Lehnert System und Verfahren zur Bestimmung eines bevorzugten Kommunikationskanal
US8954372B2 (en) * 2012-01-20 2015-02-10 Fuji Xerox Co., Ltd. System and methods for using presence data to estimate affect and communication preference for use in a presence system
US20130212501A1 (en) 2012-02-10 2013-08-15 Glen J. Anderson Perceptual computing with conversational agent
US20130302766A1 (en) 2012-05-11 2013-11-14 Robert Evan Gold Interactive, Interest Centric Communication Systems and Methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110044431A1 (en) 2009-08-21 2011-02-24 Avaya Inc. Communications History Log System
WO2011110727A1 (en) 2010-03-08 2011-09-15 Nokia Corporation Gestural messages in social phonebook

Also Published As

Publication number Publication date
CN106464758A (zh) 2017-02-22
EP3162041A1 (en) 2017-05-03
WO2015200153A1 (en) 2015-12-30
US9807559B2 (en) 2017-10-31
US20150382147A1 (en) 2015-12-31
EP3162041B1 (en) 2022-09-14
CN106464758B (zh) 2019-10-18
KR20170020841A (ko) 2017-02-24

Similar Documents

Publication Publication Date Title
KR102331049B1 (ko) 통신 개시를 위한 사용자 신호 레버리징
US10871872B2 (en) Intelligent productivity monitoring with a digital assistant
CN107209781B (zh) 使用自然语言的上下文搜索
KR101983003B1 (ko) 미디어 탐색을 위한 지능형 자동화 어시스턴트
KR102295935B1 (ko) 흉내 및 풍부한 멀티미디어로 응답하는 디지털 개인용 어시스턴트 상호작용 기법
US20160063874A1 (en) Emotionally intelligent systems
CN107615276B (zh) 用于媒体回放的虚拟助理
EP3320459B1 (en) Distributed personal assistant
CN107005612B (zh) 数字助理警报系统
US20180121432A1 (en) Digital assistant integration with music services
EP3701521B1 (en) Voice recognition apparatus and operation method thereof cross-reference to related application
CN113407278A (zh) 到第三方应用的数字助理可扩展性
EP3369092A1 (en) Automatic performance of user interaction operations on a computing device
US11436265B2 (en) System for presenting tailored content based on user sensibilities
US11600266B2 (en) Network-based learning models for natural language processing
KR20140143028A (ko) 프로그램 실행 방법 및 그 전자 장치
US10885092B2 (en) Media selection based on learning past behaviors
CN112306238A (zh) 交互方式的确定方法、装置、电子设备及存储介质
WO2023075884A1 (en) Real-time name mispronunciation detection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant