KR20160086339A - 분류 예측 및 추천에 대한 이유를 제공하는 기법 - Google Patents

분류 예측 및 추천에 대한 이유를 제공하는 기법 Download PDF

Info

Publication number
KR20160086339A
KR20160086339A KR1020167013083A KR20167013083A KR20160086339A KR 20160086339 A KR20160086339 A KR 20160086339A KR 1020167013083 A KR1020167013083 A KR 1020167013083A KR 20167013083 A KR20167013083 A KR 20167013083A KR 20160086339 A KR20160086339 A KR 20160086339A
Authority
KR
South Korea
Prior art keywords
user
reasons
classification
contribution
reason
Prior art date
Application number
KR1020167013083A
Other languages
English (en)
Inventor
존 구이버
존 윈
제임스 에델렌
토르 선델린
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20160086339A publication Critical patent/KR20160086339A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3337—Translation of the query language, e.g. Chinese to English
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F17/30669—
    • G06F17/30705—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/107—Computer-aided management of electronic mailing [e-mailing]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Medical Informatics (AREA)
  • Operations Research (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

전반적으로, 추천된 분류들에 대응하는 이유들을 제공하기 위한 예측 시스템에 대한 기술이 제공된다. 예측 시스템은 사용자의 이메일 선별을 돕기 위해 착신 메시지들에 대한 사용자 동작들과 같은 분류들을 예측할 수 있으며, 또한 분류들에 대한 하나 이상의 이유를 사용자에게 제공할 수 있다. 예측 시스템은 사용자 상호작용에 관하여 예측하고 동작을 사용자에게 추천하기 위해 메시지의 특징들을 식별할 수 있고, 여기서 특징들은 송신자 신원과 같은 이메일 메시지의 특성들을 포함할 수 있다. 추천된 액션에 대하여 제시된 이유들은, 예측 판정에 현저하게 기여했고 전형적인 아이템에 비해 상대적으로 예상치 못했던 메시지의 관찰된 특징들을 특정 사용자에게 전달할 수 있다.

Description

분류 예측 및 추천에 대한 이유를 제공하는 기법{PROVIDING REASONS FOR CLASSIFICATION PREDICTIONS AND SUGGESTIONS}
협업 환경에 있어서, 사용자들은 콘텐츠 생성기, 데이터베이스, 검색 엔진, 다른 사용자 등과 같은 다수의 데이터 소스로부터 방대한 양의 데이터를 수신할 수 있다. 예컨대, 사용자들은 전화 호출, 이메일 메시지, 캘린더 요청, 문자 메시지, 및 다른 유형들의 데이터와 경보를 수신할 수 있다. 이들 방대한 양의 데이터를 수동으로 판독하고, 응답하고, 또한 정리하는 것은 개별 사용자들에게는 난처하고, 시간 소모가 크고, 또한 비효율적일 수 있다.
일부 애플리케이션에서는, 착신 통신의 수신시에 사용자가 취할 수 있는 동작들을 예상함으로써 데이터에 응답하여 사용자 동작들을 단순화하고자 한다. 상기와 같은 애플리케이션들은 관찰된 사용자 응답 경향에 기초하여 사용자의 행동을 분류함으로써 사용자의 행동들을 파악하려고 할 수 있다. 상기 애플리케이션들은 추천된 분류들(예컨대, 취하는 동작들)을 관찰된 행동에 기초하여 사용자에게 제공할 수도 있다. 그러나, 일부 추천된 분류는 사용자에게는 포괄적이거나, 광범위하거나, 또는 모호해 보일 수 있으며, 사용자는, 자신이 어떻게 착신 통신에 응답할 수 있을지를 시스템이 정확하게 예측했다고는 확신하지 못할 수 있다.
본 개요는, 이하의 발명의 상세한 설명 부분에서 설명되는 개념들 중 일부를 선택해서 단순화된 형태로 소개하고자 제공되는 것이다. 본 개요는 청구항의 청구대상의 핵심적인 특징이나 필수적인 특징들을 밝히고자 함이 아니며, 청구항의 청구대상의 범위를 결정하는 데 도움이 되고자 함도 아니다.
실시예들은 추천된 분류들에 대응하는 이유들을 제공하기 위한 예측 시스템에 관련된다. 예측 시스템은 사용자의 이메일 선별을 돕기 위해 착신 메시지들에 대한 분류(예컨대, 취하는 동작들, 메시지 유형, 메시지 긴급성 등)를 예측할 수 있으며, 또한 사용자들이 시스템에서 예측이 이루어진 이유를 이해하는 것을 돕기 위해 추천된 분류들에 대한 하나 이상의 이유를 사용자에게 제공할 수 있다. 예측 시스템은 분류 및/또는 사용자 상호작용에 대하여 예측하고 분류를 사용자에게 추천하기 위해 메시지의 특징들을 식별할 수 있으며, 그 특징들을 이유들에 맵핑할 수 있다. 메시지의 각각의 특징에 대한 상대적 기여 스코어(relative contribution score)가 계산될 수 있으며, 특징들에 대응하는 이유들로 이루어진 리스트가 상대적 기여의 내림차순으로 사용자에게 제시될 수 있다.
이들 및 다른 특징들 및 장점들은 하기의 상세한 설명의 이해 및 관련 도면들의 검토에 의해 분명해질 것이다. 전술한 일반적인 설명 및 하기의 상세한 설명은 모두 예시적인 것일 뿐이며 발명을 청구항에 청구된 것으로 한정하려는 것이 아님을 이해해야 한다.
도 1은 분류들을 예측하고, 예측된 분류들에 이유들을 제공하는 예시적인 클라우드-기반 환경을 나타내는 도면,
도 2는 추천된 분류에 대응하는 이유들을 제공하는 시스템의 상위 레벨의 개요도를 나타내는 도면,
도 3은 예측된 분류에 대응하는 이유들로 이루어진 리스트를 제공하는 시스템의 개요도를 나타내는 도면,
도 4는 실시예들에 따른 시스템이 구현될 수 있는 네트워킹된 환경을 나타내는 도면,
도 5는 실시예들이 구현될 수 있는 예시적인 컴퓨팅 운영 환경의 블록도,
도 6은 실시예들에 따른, 예측 애플리케이션의 추천된 분류에 대응하는 이유들을 제공하는 프로세스의 논리 흐름도를 나타낸다.
간략히 상술한 바와 같이, 시스템은 추천된 분류들에 대응하는 이유들을 제공하기 위해 예측 시스템에 제공된다. 예측 시스템은 사용자의 이메일 선별을 돕기 위해 착신 메시지에 대한 사용자 동작들과 같은 분류들을 예측할 수 있으며, 또한 사용자들이 시스템에 예측이 이루어진 이유를 이해하는 것을 돕기 위해 추천된 분류들에 대한 하나 이상의 이유를 사용자에게 제공할 수 있다. 예측 시스템은 분류들에 대하여 예측하고 분류를 사용자에게 추천하기 위해 메시지의 특징들을 식별할 수 있으며, 그 특징들을 이유들에 맵핑할 수 있다. 추천된 분류에 대하여 제시된 이유들은, 예측 판정에 현저하게 기여했고 전형적인 아이템에 비해 상대적으로 예상치 못했던 메시지의 관찰된 특징들을 특정 사용자에게 전달할 수 있다. 메시지의 각각의 특징에 대한 상대적 기여 스코어가 계산될 수 있으며, 각각의 특징들에 대응하는 이유들로 이루어진 리스트가 상대적 기여의 내림차순으로 사용자에게 제시될 수 있다.
하기의 상세한 설명에 있어서는, 그 일부를 형성하고 있고 특정 실시예들 또는 예시들의 설명으로서 도시되는 첨부 도면들을 참조한다. 본 발명의 사상 또는 범위로부터 벗어남 없이, 이들 양태는 조합될 수 있고, 다른 양태들이 이용될 수 있으며, 또한 구조상의 변경이 이루어질 수 있다. 따라서, 하기의 상세한 설명은 한정의 의미가 아니고, 본 발명의 범위는 첨부된 청구항들 및 그 등가물들에 의해 규정된다.
실시예들은 개인용 컴퓨터의 운영 체제 상에서 가동하는 애플리케이션 프로그램과 함께 실행하는 프로그램 모듈들의 일반적인 내용으로 기술되지만, 당업자라면 양태들이 다른 프로그램 모듈들과 조합하여 구현될 수도 있음을 인식할 것이다.
일반적으로, 프로그램 모듈은 특정 태스크를 수행하거나 또는 특정한 추상 데이터 유형을 구현하는 루틴, 프로그램, 컴포넌트, 데이터 구조, 및 그 밖의 유형의 구조들을 포함한다. 또한, 당업자라면, 실시예들이 핸드-헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반의 또는 프로그램 가능한 가전 제품, 미니컴퓨터, 메인프레임 컴퓨터, 및 이와 유사한 컴퓨팅 장치를 포함하는 다른 컴퓨터 시스템 구성과 함께 실시될 수 있음을 이해할 것이다. 또한, 실시예들은 통신 네트워크를 통해 연결되는 원격 프로세싱 장치에 의해 태스크가 수행되는 분산형 컴퓨팅 환경에서 실시될 수도 있다. 분산형 컴퓨팅 환경에 있어서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치들 모두에 위치될 수 있다.
실시예들은 컴퓨터-구현 프로세스(방법)로서, 컴퓨팅 시스템으로서, 또는 컴퓨터 프로그램 제품 또는 컴퓨터 판독 가능 매체와 같은 제조 물품으로서 구현될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 또는 컴퓨팅 시스템으로 하여금 예시적인 프로세스를 수행하게 하는 명령어를 포함하는 컴퓨터 프로그램을 부호화하고 컴퓨터 시스템에 의해 판독 가능한 컴퓨터 저장 매체일 수 있다. 컴퓨터 판독 가능 저장 매체는 컴퓨터 판독 가능 메모리 장치이다. 컴퓨터 판독 가능 저장 매체는, 예컨대 하나 이상의 휘발성 컴퓨터 메모리, 비휘발성 메모리, 하드 드라이브, 플래시 드라이브, 플로피 디스크, 또는 콤팩드 디스크, 및 이와 유사한 매체를 통해 구현될 수 있다.
이 명세서 전반에서, "플랫폼(platform)"이라는 용어는 예측 시스템의 추천된 분류들에 대응하는 이유들을 제공하는 소프트웨어 및 하드웨어 컴포넌트들의 조합일 수 있다. 플랫폼의 예시로서는, 복수의 서버에 걸쳐서 실행되는 호스팅 서비스, 단일의 컴퓨팅 장치에서 실행되는 애플리케이션, 및 이와 유사한 시스템들을 들 수 있지만, 이들에 한정되는 것은 아니다. "서버(server)"라는 용어는 통상적으로 네트워킹된 환경에서 하나 이상의 소프트웨어 프로그램을 실행하는 컴퓨팅 장치를 의미하는 것이 일반적이다. 그러나, 서버는 네트워크에서는 서버로서 간주되는 하나 이상의 컴퓨팅 장치에서 실행되는 가상 서버(소프트웨어 프로그램)로서 구현될 수도 있다. 이들 기술 및 예시적인 동작들에 대한 상세가 아래에 제공된다.
도 1은 실시예들에 따른, 분류들을 예측하고, 예측된 분류들에 이유들을 제공하는 예시적인 클라우드-기반 환경을 나타낸다.
다이어그램(100)에서 보여지는 바와 같이, 사용자들(102, 104, 및 106)은 클라우드-기반의 네트워크(110)를 거쳐, 통신 애플리케이션(116)과 같은 다수의 통신 능력을 제공하는 애플리케이션에 액세스할 수 있다. 통신 애플리케이션(116)은 원격 서버(112)에서 호스팅될 수 있으며, 클라우드-기반의 네트워크(110)를 거쳐 사용자의 클라이언트 장치를 통해 액세스될 수 있다. 또한, 통신 애플리케이션(116)은 사용자의 클라이언트 장치에서 국지적으로 호스팅될 수도 있으며, 통신 애플리케이션과 연계된 데이터가 클라우드-기반의 네트워크(110)를 거쳐 원격 서버(112)로부터 검색될 수 있다. 통신 애플리케이션(116)은 이메일, 문자 메시지, VOIP, 회의, 인스턴트 메시지, 전화 호출, 연락처 관리, 캘린더 관리, 및 그 밖의 유사한 기능들과 같은 다수의 통신 기능을 제공하는 애플리케이션일 수 있다. 이메일 메시지, 문자 메시지, 인스턴트 메시지, 음성메일 메시지, 전화 호출, 미팅 요청, 멀티미디어 및/또는 시청각 메시지, 문서, RSS 피드, 소셜 네트워크 업데이트, 및 그 밖의 유사한 경보 및 데이터와 같은 통신 애플리케이션(116)과 연계된 서로 다른 유형들의 데이터가 검색되어서, 사용자의 클라이언트 장치와 상호작용될 수 있다. 예시적인 클라이언트 장치는 랩탑 컴퓨터(136), 데스크탑 컴퓨터(132), 스마트폰(134), 카 폰, 모바일 폰, 태블릿, 및/또는 가정 자동화 장치를 포함할 수 있다.
예시적인 실시예에 있어서, 사용자의 개개의 컴퓨팅 장치에서 클라우드-기반의 네트워크(110)를 통한 착신 통신의 수신시에, 사용자(102)는 특정 동작을 실행함으로써 착신 통신에 응답할 수 있다. 예컨대, 이메일 메시지의 수신에 응답하여, 사용자(102)는 일부 예시적인 사용자 동작으로서, 이메일을 읽고 답신하거나, 이메일을 무시하거나, 이메일을 우선시하거나, 이메일을 삭제하거나, 이메일을 플래깅하거나, 이메일을 특정 카테고리의 폴더로 옮기거나, 및/또는 나중을 위해 이메일을 저장할 수 있다. 다른 분류 예시들은, 메시지 유형(예컨대, 뉴스레터, 소셜 네트워크 업데이트, 인보이스 등), 메시지 긴급성, 메시지 중요도, 메시지를 파일링할 폴더 등을 포함할 수 있지만, 이들에 한정되는 것은 아니다. 다른 예시로서, 사용자(102)가 캘린더 경보 및/또는 이벤트 요청을 수신하면, 사용자는 이벤트를 사용자의 개인 캘린더에 추가할 수 있으며, 이벤트를 작업 또는 개인 이벤트로서 카테고라이징할 수도 있고, 또한 이벤트를 중요 이벤트로서 마킹할 수 있다. 또 다른 예시로서, 사용자가 문자 메시지를 수신하는 경우에는, 사용자가 취할 수 있는 일부 가용 응답 동작들로서 읽기, 답하기, 삭제하기, 또는 나중을 위해 메시지를 저장하기가 포함될 수 있다. 상기 예시적인 응답 동작들은 착신 통신에 응답하여 사용자가 취할 수 있는 일부 가용 동작들을 제시하고 있지만, 다양한 착신 통신의 수신에 응답하여 사용자가 취하기 위해 이용할 수 있는 다수의 다른 동작들이 존재한다는 점을 인식해야 한다. 유사하게, 클라우드-기반의 네트워크(110)를 통해 통신 애플리케이션(116)과 연계된 다른 사용자(104)는 사용자의 클라이언트 장치에서 개인 데이터를 수신할 수 있으며 수신된 데이터에 응답하여 다른 동작들을 행할 수 있다.
실시예들에 따른 시스템에 있어서, 통신 애플리케이션(116)과 연계된 예측 시스템(114)은 개인 맞춤된(personalized) 분류 및 사용자 상호작용 및/또는 분류의 예측을 용이하게 할 수 있다. 개인 맞춤은, 사용자의 습관 및 특성에 대해 학습하고, 이 학습에 기초한 사용자의 경험에 맞추는 것을 의미할 수 있다. 예측 시스템(114)은 데이터와의 다수의 사용자 상호작용을 관찰할 수 있고, 착신 통신에 응답하여 장래의 사용자 동작들과 같은 분류들을 관찰된 사용자 상호작용에 기초하여 예측할 수 있다. 예측된 분류들에 기초하여, 예측 시스템(114)은 추천된 분류를 사용자(102)에게 실시간으로 제공하고, 예컨대 예측된 동작의 사용자 승인을 기다리도록 구성될 수 있다. 다른 실시예에 있어서, 예측 시스템(114)은 사용자(102)를 대신해서 예측된 동작을 자동으로 수행할 수 있다. 예컨대, 시스템은 이메일 첨부파일을 예측된 폴더에 자동으로 저장하거나 또는 착신 메시지를 우선순위가 높은 응답으로서 마킹할 수 있다. 추천된 분류들은 동시에 다수의 사용자들의 관찰들에 기초하여 이루어질 수 있으며, 다른 실시예들에 있어서는, 추천된 분류들이 특정 사용자의 관찰된 상호작용들에 기초하여 높게 개인 맞춤될 수 있다.
본 명세서에서 기술되는 바와 같이, 예시적인 예측 시스템(114)은 이메일 예측 시스템일 수 있으며, 이 경우에는 시스템은, 모델 예측에 기초하여 개인 맞춤된 추천 또는 표시를 함으로써 사용자의 이메일 선별을 돕기 위해, 수신된 메시지에 대한 답신하기, 읽기, 삭제하기, 전달하기, 후속 조치를 위해 마킹하기, 무시하기, 및 다른 유사한 동작들과 같은 분류들을 예측할 수 있다. 사용자는, 추천된 분류가 특정 상황에서 사용자가 취할 수 있는 가장 적절한 동작과 연계된다고 확신할 수 있도록, 예측 시스템이 특정 분류를 사용자에게 추천할 수 있는 이유를 이해하는 것이 바람직할 수 있다. 실시예들에 따른 시스템에 있어서, 예측 시스템은 시스템이 분류를 추천할 때 하나 이상의 이유를 사용자에게 제공할 수 있으며, 이 경우에 그 이유들은 특정 추천 또는 예측이 시스템에 의해 이루어진 까닭을 기술할 수 있다.
도 2는 일부 실시예들에 따른, 추천된 분류에 대응하는 이유들을 제공하는 시스템의 상위 레벨의 개요도를 나타낸다.
다이어그램(200)에 나타내진 바와 같이, 사용자는 사용자의 클라이언트 장치에서 실행된 통신 애플리케이션(210)에서, 이메일 메시지(202), 미팅 요청, 이벤트 요청, 캘린더 경보, 또는 다른 유사한 데이터와 같은 착신 통신을 수신할 수 있다. 예측 시스템(212)은, 앞서 기술된 바와 같이, 착신 통신의 관찰된 특징들에 기초하여 분류들을 예측해서 사용자에게 추천할 수 있다.
예시적인 실시예에 있어서, 이메일 메시지(202)와 같은 착신 통신이 수신되면, 예측 시스템(212)은 분류들에 대하여 예측해서 동작 또는 메시지 내용을 사용자에게 추천하기 위해 이메일 메시지(202)의 특징들을 식별할 수 있다. 특징들은, 송신자 신원, 제목란 또는 본문에서 식별된 키워드, 첨부파일, 적색 플래그, 미팅 요청, 및 그 밖의 유사한 특성들과 같은 이메일 메시지의 다수의 특성들을 포함할 수 있다. 예측 시스템(212)은 이메일 메시지의 관찰된 특징들에 기초하여 분류를 추천할 수 있고, 추천된 분류에 대한 이유(204)를 결정할 수 있으며, 시스템이 그 분류를 왜 추천했는지에 대한 이유들을 사용자에게 제공(206)할 수 있다. 추천하는 이유(204)들은 이메일 메시지의 관찰된 특징들에 관련될 수 있다.
실시예들에 따른 시스템에 있어서, 예측 또는 추천된 분류에 대하여 사용자에게 제공된 이유(204)들은 추천된 분류에 현저하게 기여한 아이템(예컨대, 이메일 메시지(202))의 양태들과, 수신하는 사용자에게 특정된 전형적인 아이템에 비해 상대적으로 예상치 못한 것일 수 있는 이메일 메시지(202)의 특징들 또는 특성들을 전달할 수 있다. 예컨대, 미팅 요청에 비해, 일상적인 이메일 메시지로서의 착신 메시지는 사용자가 아이템에 답신할 것이라고 예측하는 판정에 현저하게 기여할 수 있다. 사용자가 수신하는 대부분의 메시지는 사용자가 통상 답신할 수 있는 일상적인 이메일 메시지일 수 있기 때문에, 이것을 사용자에게 이유로서 강조표시하는 것은 유용하지 않을 수 있다. 그러나, 착신 메시지가 사용자가 통상 답신을 보내는 특정 송신자로부터의 메시지일 경우에는, 관찰된 송신자 신원이 현저한 기여를 제공하는 한편, 예상치 못한 것일 수 있기 때문에(즉, 대부분의 이메일이 어느 하나의 특정 송신자로부터의 이메일이 아니기 때문에), 시스템은 예측과 함께 이유를 제공할 수 있다.
특징의 불예측성(unexpectedness)은 일반적인 사용자에 대하여 결정될 수 있으며, 또한 특징 관련 이유가 사용자 신원에 기초하여 가중될 수 있도록 특정 사용자에 대하여 개인 맞춤될 수도 있다. 불예측성의 개인 맞춤된 결정들은, 이메일 메시지의 일부 특징이 다른 사용자들보다는 일부 사용자에 대하여 더 보편적일 수 있기 때문에, 특정 사용자에게 향상된 경험을 제공할 수 있다. 예컨대, CEO 또는 고위급 매니저로부터 보내진 이메일 메시지는 보통의 직원들로부터의 신속한 응답을 구할 수 있고, 시스템은 CEO 또는 매니저로부터의 이메일 수신의 불예측성에 기초하여 답신 동작을 추천하는 가장 큰 이유(top reason)로서 CEO를 송신자 특징으로서 중시할 수 있다. 그러나, CEO의(또는 매니저의)의 비서에게는 CEO로부터의 다수의 이메일을 수신하는 것이 보편적일 수 있으며, 송신자 특징으로서의 CEO는 예상치 못한 것이 아닐 수 있다. 비서에 대하여 추천된 신속 답신 분류는, 송신자의 신원이 그 사용자에 대한 예상치 못한 특징이 아니기 때문에, 이메일 메시지의 다른 특징들에 의존할 수 있다.
예시적인 실시예에 있어서, 다수의 특징 관련 이유들은 예측 시스템(212)에서 미리 정해질 수 있다. 특징 관련 이유들은 각각의 관찰된 특징 및 관찰된 특징들과 연계된 분류들에 기초하여 달라질 수 있다. 특징 관련 이유들은 시스템의 관리자에 의해 및 개개의 사용자들에 의해 커스터마이징되어서 보다 개인 맞춤된 예측 시스템(212)을 생성할 수 있다. 몇 가지 예시적인 이유들은: 수신 사용자가 이 대화를 이미 시작했음, 수신하는 사용자가 수취 회선(To line) 상의 유일한 사람임, 수신하는 사용자가 사전에 이 대화에 참여했음, 송신자가 메시지의 중요도를 높게 마킹했음, 송신자가 메시지의 중요도를 낮게 마킹했음, 송신자가 당신의 관리망 안에 있음, 송신자가 수신하는 사용자의 매니저임, 송신자가 수신하는 사용자에게 직접 보고함, 수신하는 사용자는 보통 이 송신자로부터의 메시지에 대하여 응답/무시/삭제함, 수신하는 사용자의 이름이 참조 회선(Cc line) 상에 있음, 수신하는 사용자의 이름이 수취 회선 상에 있음, 메시지가 연계된 캘린더 날짜를 포함함, 수신하는 사용자가 이것을 배포 목록의 일부로서 수신했음, 수신하는 사용자의 매니저도 이 메일을 수신했음, 이것은 수신하는 사용자가 보낸 메시지에 대한 답신임, 이 대화에는 플래깅된 메시지들이 존재함, 하나 이상의 규정된 키워드가 본문에서 식별됨, 하나 이상의 규정된 키워드가 제목란에서 식별됨, 및 그 밖의 유사한 이유들을 포함할 수 있지만 이것으로 한정되는 것은 아니다. 상기에 열거된 이유들은 추천된 분류에 기여할 수 있는 일부 특징 관련 이유들의 예시이다. 상기에 열거된 이유들은 한정하는 것이 아니며, 다수의 부가적인 이유들이 시스템, 관리자, 다른 사용자들에 의해 규정될 수 있고, 예측 시스템(212)에 의해 추천된 분류에 기여할 수 있다.
추천된 분류에 대한 이유는 2개 이상의 관찰된 특징들에 기초하여 다수의 부분을 포함할 수 있다. 예컨대, 시스템은 사용자가 송신자 신원과 이메일 메시지의 참조 회선에 있는 사용자의 신원에 기초하여 이메일 메시지에 답신할 것이라고 예측할 수 있다. 부가적으로, 메시지의 다수의 하위 특징들이 동일한 이유에 공동으로 기여할 수 있다. 예컨대, 송신자 신원, 송신자가 사용자의 매니저인지의 여부, 및 사용자가 송신자에게 마지막으로 답신을 보낸 시기가 모두 추천된 답신 동작에 대한 동일한 이유에 기여할 수 있다.
실시예들에 따른 시스템에 있어서, 추천된 분류에 대한 이유들은 사용자의 클라이언트 장치의 사용자 인터페이스 상에서 추천된 분류와 함께 사용자에게 제공(206)될 수 있다. 시스템은 추천된 분류에 가장 기여한 가장 큰 이유를 제공(206)할 수도 있고, 또는 다른 실시예들에서는, 시스템은 추천된 분류에 기여한 2가지 이상의 이유로 이루어진 리스트를 제공(206)할 수도 있다. 이유들의 리스트는 추천된 이유와 함께 팝업 창에서 자동으로 디스플레이될 수 있거나, 또는 다른 실시예에 있어서는, 이유들의 리스트는 별도로 디스플레이된 아이템일 수 있다. 사용자는 분류가 추천될 때 이유들을 자동으로 디스플레이하도록 선택할 수 있다. 부가적으로, 추천된 분류는 사용자가 원할 때 사용자가 이유를 디스플레이하도록 선택할 수 있게 하기 위해 선택 가능한 옵션을 디스플레이할 수 있다. 또한, 이유는, 그 이유에 대한 추가적인 상세와, 그 추천된 분류에 어떤 특징들과 논리가 기여했는지를 제공하도록 선택 가능한 것일 수 있다.
도 3은 일부 실시예에 따른, 예측된 분류에 대응하는 이유들로 이루어진 리스트를 제공하는 시스템의 개요도를 나타낸다.
다이어그램(300)에 나타내진 바와 같이, 예측 시스템(312)은 착신 통신의 관찰된 특징들에 기초하여 분류들을 예측해서 사용자에게 추천할 수 있다. 추천된 분류가 적절한 분류라고 사용자가 확신할 수 있게 하기 위해, 예측 시스템(312)은 왜 특정 추천 또는 분류가 시스템에 의해 이루어졌는지를 기술하기 위해 하나 이상의 이유를 사용자에게 제공할 수 있다.
일반적으로, 예측 시스템(312)은 규정된 예측 공식, 예컨대 P(예측|아이템)에 따른 예측 모델에서 사용자가 특정 착신 메시지(302) 상의 특정 동작을 수행할 개인 맞춤된 확률을 예측할 수 있다. 예측 시스템은 송신자 신원, 또는 수신하는 사용자가 통신을 개시했는지의 여부와 같은 착신 메시지와 연계된 하나 이상의 특징을 추출(304)할 수 있으며, 추출(304)된 특징들에 예측 공식을 적용할 수 있다. 예측 공식은 절대적 기여(Absolute Contribution)를 나타내기 위해 가중 특징들 및 값들을 이용할 수 있으며, 이 경우에 절대적 기여(Absolute Contribution)는 예측에 대한 특징들의 절대적 기여(Absolute Contribution)를 결정하기 위한 특징값들의 가중합(weighted sum)일 수 있다. 기여에 대한 이유를 제공하기 위해, 예측 시스템(312)은 절대적 기여(Absolute Contribution)를, 특정 관찰된 특징들에 대한 배후 기여(background contributions)를 고려하는 상대적 기여(relative contribution)로 변환하는 것이 필요할 수 있다. 부가적으로, 예측 시스템(312)은 예측된 분류에 특정 이유를 제공하기 위해 몇 가지 특징들로부터의 기여를 하나의 이유에 병합할 수 있다.
실시예들에 따른 시스템에 있어서, 상술한 바와 같이, 특징이 예측된 분류에 현저하게 기여할 때, 또한 특징이 특정한 수신하는 사용자에 대하여 상대적으로 예상치 못한 것이라고 결정되는 경우에, 특징은 예측된 분류에 대한 이유로서 노출될 수 있다. 관찰된 특징이 예측된 분류에 현저하게 기여하는 시기를 결정하기 위해, 예측 시스템(312)은 수신된 메시지(또는 다른 착신 통신)의 관찰된 특징의 상대적 기여(306)를 연산할 수 있다. 상대적 기여는 절대적 기여(Absolute Contribution)와 예상 기여(Expected Contribution)를 비교함으로써 결정될 수 있다. 예상 기여(Expected Contribution)는 특정한 특징과 연계된 버킷(bucket)들의 관찰된 상대적 빈도로부터 계산될 수 있고, 이 경우에 버킷은 그 특징의 일련의 이산값들을 나타낼 수 있다. 예시적인 계산에 있어서, f1, …, fn 은 데이터 세트 전체에 걸쳐 주어진 특징에 대한 각각의 버킷의 평균값일 수 있으며, x1, …, xn 은 주어진 메시지에 대한 버킷값들(대부분 0일 것임)일 수 있다. 그러면:
절대적 기여(Absolute Contribution(AC)) = ∑1 nwixi;
예상 기여(Expected Contribution(EC)) = ∑1 nwifi; 및
상대적 기여(Relative Contribution(306)) = AC - EC 가 된다.
특징들은 계산된 상대적 기여(306)에 따라 순위화(308)될 수 있으며, 상대적 기여(306)에 대한 수치가 높을수록 특징 기여가 더 강하다는 것을 나타낼 수 있다. 부가적으로, 2가지 이상의 특징이 보편적인 이유에 기여하는 경우에는, 특징들은 순위화에 앞서 몇몇 다른 방식으로의 합산 또는 조합에 의해 병합될 수 있고, 각각의 특징에 대한 상대적 기여(306)는 함께 평균화되어서 전체 상대적 기여값(Relative Contribution value)을 결정할 수 있다. 아래에서 더 설명하는 바와 같이, 특징들을 순위화(308)하고, 특징들을 이유들에 맵핑한 후에, 일련의 이유들이 추천된 분류와 함께 사용자에게 제시될 수 있다. 제시된 일련의 이유들은 가장 큰 이유를 포함할 수 있거나, 또는 기여값이 규정 임계값을 초과하는 복수의 이유를 포함할 수 있다.
예상 기여(Expected Contribution)는 특징 기여의 예상치, 즉 n이 무한대로 될 때 n개의 랜덤 메시지 전체에 걸친 특징들의 예상 기여의 평균치를 제시할 수 있다. 특징들의 순서를 유지하는 예상 기여(Expected Contribution)의 변환이 대신 사용될 수 있기 때문에, 이 양을 정확하게 연산할 필요는 없다. 일부 실시예에 있어서, 예상 기여(Expected Contribution)는 다수의 상이한 방식들로 계산될 수 있다.
특징에 대한 상대적 기여(306)의 예시적인 계산은 다음과 같이 이루어질 수 있다.
Figure pct00001
특히 PreviousFlagged 및 RecipientOnToLine을 포함하는 메시지의 모든 특징들에 대한 상대적 기여(306)가 연산될 수 있다. 시스템은 모든 특징들에 대한 상대적 기여(306)를 계산할 수 있지만, 설명에 도움이 되는 실례에 대해서, 시스템은 PreviousFlagged 및 RecipientOnToLine을 고려할 수 있다.
먼저, PreviousFlagged 특징에 대한 각각의 특징 버킷들의 기여 스코어가 하기의 표에 나타내진 바와 같이 연산될 수 있다.
Figure pct00002
가중 평균은 특징 버킷의 기여를 특징에 가중시키기 위해 각각의 특징 버킷과 연계된 소정의 값이다. "가중 평균(weighted mean)"은 "평균값(Average Value)"에 대한 환산 계수(scaling factor)를 의미한다. 예시에 있어서, 환산 계수는 모든 아이템들에서 특징이 나타내질 확률이다. 다른 유형들의 환산 계수가 채용될 수도 있다. PreviousFlagged 특징은 특정 유형의 특징일 수 있고, 이 경우에 이 유형의 특징에 대한 평균값(Average Value)은 아이템들의 비율일 수 있으며, 이때 특징은 전체 아이템에 대하여 나타내지므로, 평균값들의 합은 1로 된다.
능동 특징 버킷(active feature bucket)이 5이기 때문에, 시스템은 계산을 수행하기 위해 1.80184161663055의 가중치를 취할 수 있다. 예상 기여(Expected Contribution)는 제공된 EC 공식(∑1 nwifi)에 기초하여 1.337739이고, 절대 기여(Absolute Contribution)는 1.80184161663055*1 = 1.80184161663055이다. 따라서, PreviousFlagged 특징에 대한 상대적 기여(306)는 1.80184161663055 - 1.337739 = 0.464103이다.
유사한 연산이 RecipientOnToLine 특징에 대하여 수행될 수 있다.
Figure pct00003
이 경우에, EC는 1.023782일 수 있고, 존 도우(John Doe)에 대한 AC는 1.963431*0.5 = 0.981716일 수 있으며, 제인 스미스(Jane Smith)에 대한 AC는 1.8196697*0.5 = 0.909835일 수 있다. 값 0.5는 RecipientOnToLine 특징에 대하여 값이 2개(2명의 수신자: 존 도우 및 제인 스미스) 존재하기 때문에 사용될 수 있고, 그래서 각각에 대한 값은 이 특징에 대한 모든 능동 버킷들 전체에 걸쳐 균등하게 분할, 즉 1/2로 분할된다. (또는 보다 일반적으로는 1/N). 각각의 버킷에 대한 총 AC는 0.981716 + 0.909835 = 1.891551일 수 있고, RecipientOnToLine 특징에 대한 상대적 기여(306)는 1.891551 - 1.023782 = 0.867769일 수 있다.
실시예들에 따른 시스템에 있어서, 이메일 메시지의 각각의 관찰된 특징에 대한 상대적 기여(306)를 계산한 후에, 예측 시스템(312)은 하나 이상의 특징들 및 연계된 버킷들을 이유에 맵핑할 수 있다. 예컨대, 시스템은 추천된 분류에 대응하는 다수의 잠재적인 이유를 제공할 수 있고, 각각의 특징을 그것이 기여한 이유에 연계 또는 맵핑할 수 있다. 하기의 표는 특징들을 이유들에 맵핑하는 예시를 보여준다.
Figure pct00004
"특징들/버킷들(Features/Buckets)" 칼럼에서의 특징 버킷은 "이유(Reason)" 칼럼에서의 이유에 맵핑될 수 있다. "특징들/버킷들(Features/Buckets)" 칼럼에 다수의 특징이 존재하는 경우에는, "기여 종합(Contribution Aggregation)" 칼럼은 그 이유에 대한 전체 기여 스코어를 연산하는데 사용될 펑션을 명시할 수 있다(예컨대, 평균(Average)).
실시예들에 따른 시스템에 있어서, 특징들을 이유들에 맵핑한 후에, 맵핑된 이유들은 사용자의 클라이언트 애플리케이션(320)에서 사용자에게 어떤 이유(324)가 제시될 수 있을지를 결정하기 위해 정렬 및 필터링될 수 있다. 현저한 기여를 예측된 분류에 제공하는 이유(324)가 사용자에게 제시될 수 있으며, 나머지 이유들은 리스트에서 필터링될 수 있다. 필터에 어떤 아이템들을 설정하는 특징 기여 스코어에 대한 기여의 규정된 임계값이 존재할 수 있기 때문에, 사용자에게 제시되는 다수의 이유를 한정하기 위해 임계값보다 상위의 아이템들만이 이유에 현저하게 기여하는 것으로 고려될 수 있다. 임계값은 실행-시간 설정 가능값(run-time configurable)일 수 있다. 시스템은 사용자에게 보고될 수 있는 최대 개수의 이유(324)를 구비할 수 있으며, 이 경우에 보고된 이유의 최대 개수는 지원되는 이유(324)의 수를 초과하지 않을 수 있다. 예측된 분류에 대한 이유를 결정할 때, 임의의 수의 이유들이 예측 시스템(312)에 의해 지원 및 고려될 수 있다. 이유(324)는 추천된 분류(322)와 함께 사용자에게 제시된 이유들의 리스트에서 디스플레이될 수 있고, 이유(324)는 그들의 기여 스코어에 기초하여 내림차순으로 정렬될 수 있다. 다른 실시예들에 있어서는, 가장 높은 기여 스코어를 갖는 주된 이유만이 사용자에게 제시될 수 있다. 사용자는 사용자 선호도에 기초하여 이유들의 제시를 커스터마이징할 수도 있다.
추가의 실시예에 있어서, 수신된 메시지(또는 다른 착신 통신)와 연계된 제공된 이유(324)는 수신된 메시지와 연계된 메타데이터에 저장될 수 있거나, 또는 수신된 메시지의 메시지 객체의 일부로서 저장될 수 있다. 예컨대, 특정한 이유가 식별자에 할당될 수 있고, 식별자는 수신된 메시지의 메시지 객체에 저장될 수 있기 때문에, 메시지가 이동되거나, 전달되거나, 저장되거나, 또는 그 밖에 상호작용되면, 특정 분류 및 연계된 이유가 지속될 수 있다. 부가적으로, 식별자는 임의의 클라이언트가 값을 클라이언트에 의해 지원된 임의의 언어에 국한시킬 수 있도록 문자열에 맵핑될 수 있다.
도 1 내지 도 3에 묘사된 예시적인 애플리케이션, 장치, 및 모듈은 설명의 목적으로만 제공된다. 실시예들은 예시적인 다이어그램들에 도시된 구성 및 내용에 한정되지 않으며, 본 명세서에서 기술된 원리들을 채용하는 다른 수단, 클라이언트 애플리게이션, 서비스 제공자, 및 모듈을 이용해서 구현될 수 있다.
도 4는 실시예들이 구현될 수 있는 예시적인 네트워킹된 환경이다. 국지적으로 설치된 애플리케이션들 외에, 추천된 분류들과 연계된 이유들을 제공하는 예측 애플리케이션은 하나 이상의 서버(406) 또는 개인용 서버(414)를 통해 실행되는 소프트웨어에 의해 구현될 수 있는 호스팅된 애플리케이션들 및 서비스들과 함께 채용될 수도 있다. 호스팅된 서비스 또는 애플리케이션은 네트워크(410)를 통해 핸드헬드 컴퓨터, 데스크탑 컴퓨터(401) 랩탑 컴퓨터(402), 스마트폰(403), 태블릿 컴퓨터(또는 슬레이트)('클라이언트 장치')와 같은 개별 컴퓨팅 장치 상의 클라이언트 애플리케이션과 통신할 수 있고, 사용자들에게 제시된 사용자 인터페이스를 제어할 수 있다.
클라이언트 장치들(401-403)은 호스팅된 서비스 또는 애플리케이션에 의해 제공된 기능에 액세스하는데 사용될 수 있다. 하나 이상의 서버들(406) 또는 서버(414)는 위에서 논의된 바와 같은 다양한 서비스를 제공하는데 사용될 수 있다. 관련 데이터는 서버들(406) 중 어느 하나에 의해 또는 데이터베이스 서버(408)에 의해 관리될 수 있는 하나 이상의 데이터 저장소(예컨대, 데이터 저장소(409))에 저장될 수 있다.
네트워크(410)는 서버, 클라이언트, 인터넷 서비스 제공자, 및 통신 매체의 임의의 토폴로지를 포함할 수 있다. 실시예들에 따른 시스템은 정적 또는 동적 토폴로지를 가질 수 있다. 네트워크(410)는 기업 네트워크와 같은 보안 네트워크, 무선 개방 네트워크와 같은 비보안 네트워크(unsecure network), 또는 인터넷을 포함할 수 있다. 네트워크(410)는 또한 PSTN 또는 셀룰러 네트워크와 같은 다른 네트워크를 통해 통신을 조정할 수도 있다. 네트워크(410)는 본 명세서에 기술된 노드들 사이에 통신을 제공한다. 한정이 아닌 예시로서, 네트워크(410)는 음향, RF, 적외선 및 기타 무선 매체와 같은 무선 매체를 포함할 수 있다.
예측들에 대한 이유들의 사용자 피드백으로 행동 예측 및 분류 시스템을 구현하기 위해 컴퓨팅 장치, 애플리케이션, 데이터 소스, 및 데이터 분배 시스템의 많은 다른 구성들이 채용될 수 있다. 또한, 도 4에서 논의된 네트워킹된 환경은 설명의 목적만을 위한 것이다. 실시예들은 예시적인 애플리케이션, 모듈, 또는 프로세스에 한정되지 않는다.
도 5 및 관련 논의는 실시예들이 구현될 수 있는 적절한 컴퓨팅 환경에 대한 간략한 일반적인 설명을 제공하기 위한 것이다. 도 5를 참고하면, 컴퓨팅 장치(500)와 같은, 실시예들에 따른 애플리케이션에 대한 예시적인 컴퓨팅 운영 환경의 블록도가 도시되어 있다. 기본 구성에서, 컴퓨팅 장치(500)는 본 명세서에서 논의된 예시적인 장치들 중 하나일 수 있으며, 적어도 하나의 프로세싱 유닛(502) 및 시스템 메모리(504)를 포함할 수 있다. 컴퓨팅 장치(500)는 또한 프로그램 실행에 협업하는 복수의 프로세싱 유닛을 포함할 수 있다. 컴퓨팅 장치의 정확한 구성 및 유형에 따라서, 시스템 메모리(504)는 휘발성(예컨대, RAM), 비휘발성(예컨대, ROM, 플래시 메모리 등) 또는 이 둘의 일부 조합일 수 있다. 시스템 메모리(504)는 통상적으로, 워싱턴 레드몬드에 위치한 마이크로소프트사(MICROSOFT CORPORATION)의 WINDOWS®, WINDOWS MOBILE®, 또는 WINDOWS PHONE® 운영 체제와 같은 플랫폼의 운영을 제어하는데 적합한 운영 체제(505)를 포함한다. 시스템 메모리(504)는 또한 예측 애플리케이션(522) 및 이유 모듈(524)과 같은 하나 이상의 소프트웨어 애플리케이션을 포함할 수 있다.
이유 모듈(524)은 사용자와 연계된 통신 애플리케이션에서 착신 통신을 관찰하기 위해, 또한 착신 통신과 연계된 복수의 특징을 식별하기 위해 운영 체제(506) 또는 예측 애플리케이션(522)과 함께 동작할 수 있다. 예측 애플리케이션(522)과 함께, 이유 모듈(524)은 착신 통신의 식별된 특징들에 기초하여 분류들을 실시간으로 예측 및 추천할 수 있고, 추천된 분류들에 대한 일련의 이유들을 추천된 분류들과 함께 사용자에게 제공할 수 있다. 이 기본 구성은 도 5에서 점선(508) 안의 컴포넌트들로 도시된다.
컴퓨팅 장치(500)는 부가적인 특징 또는 기능을 가질 수 있다. 예를 들어, 컴퓨팅 장치(500)는 또한, 예컨대 자기 디스크, 광 디스크, 또는 테이프와 같은 부가적인 데이터 저장 장치(착탈식 및/또는 비착탈식)를 포함할 수 있다. 이러한 부가적인 저장부는 도 5에 착탈식 저장부(509) 및 비착탈식 저장부(510)로 도시되어 있다. 컴퓨터 판독 가능 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈, 또는 기타 데이터와 같은 정보의 저장을 위해 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 착탈식 및 비착탈식 매체를 포함할 수 있다. 시스템 메모리(504), 착탈식 저장부(509) 및 비착탈식 저장부(510)는 모두 컴퓨터 판독가능 저장 매체의 예들이다. 컴퓨터 판독가능 저장 매체는, RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광학 저장부, 자기 테이프, 자기 디스크 저장부 또는 기타 자기 저장 장치, 또는 원하는 정보를 저장하는데 사용될 수 있고 컴퓨팅 장치(500)에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있지만, 이들로 한정되지는 않는다. 임의의 그러한 컴퓨터 판독가능 저장 매체는 컴퓨팅 장치(500)의 일부일 수 있다. 컴퓨팅 장치(500)는, 또한 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치, 제스처를 검출하기 위한 광학 캡처 장치 및 이와 유사한 입력 장치 등과 같은 입력 장치(512)를 가질 수 있다. 디스플레이, 스피커, 프린터, 및 다른 유형의 출력 장치와 같은 출력 장치(514)가 포함될 수도 있다. 이들 장치는 모두 당해 기술분야에 공지되어 있으므로 여기서 길게 논의할 필요는 없을 것이다.
컴퓨팅 장치(500)는 장치가, 예컨대 분산 컴퓨팅 환경에서의 무선 네트워크, 위성 링크, 셀룰러 링크, 및 이와 유사한 메커니즘을 통해 다른 장치(518)와 통신할 수 있게 하는 통신 연결부(516)를 포함할 수도 있다. 다른 장치(518)는 통신 애플리케이션을 실행하는 컴퓨터 장치, 다른 디렉토리 또는 정책 서버, 및 이와 유사한 장치를 포함할 수 있다. 통신 연결부(516)는 통신 매체의 일례이다. 통신 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 기타 데이터를 반송파 또는 기타 수송 메커니즘과 같은 변조 데이터 신호로 포함할 수 있으며, 임의의 정보 전달 매체를 포함한다. "변조 데이터 신호(modulated data signal)"라는 용어는 하나 이상의 그 특성 세트를 갖거나 또는 신호 내의 정보를 부호화하기 위해 이런 식으로 변경된 신호를 의미한다. 한정이 아닌 예시로서, 통신 매체는 유선 네트워크 또는 직접 유선 접속과 같은 유선 매체, 및 음향, RF, 적외선 및 기타 무선 매체와 같은 무선 매체를 포함한다.
예시적인 실시예들은 또한 방법을 포함한다. 이들 방법은 본 명세서에 기술된 구조를 포함하는 임의의 수의 방식으로 구현될 수 있다. 한 가지 그러한 방식은 본 명세서에 기술된 유형의 장치의 기계 동작에 의한 것이다.
다른 선택적 방식은 방법의 개별 동작들 중 하나 이상이 수행되고 한 명 이상의 인간 조작자가 그 일부를 수행하는 것이다. 이들 인간 조작자는 서로 협업할 필요가 없고, 각자가 프로그램의 일부를 수행하는 머신을 구비하기만 하면 된다.
도 6은 실시예들에 따른 예측 애플리케이션의 추천된 분류에 대응하는 이유들을 제공하는 프로세스에 대한 논리적 흐름도를 도시한 것이다. 프로세스(600)는 애플리케이션 또는 운영 체제의 일부로서 구현될 수 있다.
프로세스(600)는 동작(610) "통신 애플리케이션에서 착신 메시지를 검출(DETECT INCOMING MESSAGE AT COMMUNICATION APPLICATION)"로 시작하고, 여기서 예측 시스템은 통신 애플리케이션에서 착신 메시지를 검출할 수 있다. 예측 시스템은 또한 통신 애플리케이션에서 인스턴트 메시지, 미팅 초대, 음성 통신, 영상 통신, 데이터 공유 초대, 및 애플리케이션 공유 초대와 같은 다른 착신 통신을 검출할 수 있다.
동작(610)은 동작(620) "착신 메시지와 연계된 하나 이상의 특징을 추출(EXTRACT ONE OR MORE FEATURES ASSOCIATED WITH INCOMING MESSAGE)"로 이어지고, 여기서 특징들은, 이들에 한정되는 것은 아니지만, 송신자 신원, 제목란 또는 본문에서 식별된 키워드, 첨부파일, 적색 플래그, 미팅 요청, 및 그 밖의 유사한 특성들을 포함하는 착신 메시지의 특성들일 수 있다. 예측 시스템은 메시지의 관찰된 특징들에 기초하여 분류를 추천하고, 시스템이 그 분류를 추천한 이유를 제공하도록 구성될 수 있다.
동작(620)은 동작(630) "특징들을 이유에 맵핑(MAP FEATURES TO A REASON)"으로 이어지고, 여기서 예측 시스템은 착신 메시지의 각각의 특징과 연계된 일련의 분류들 또는 버킷들을 식별할 수 있으며, 분류를 예측하기 위해 각각의 분류의 가능성에 가중치를 부여할 수 있다. 이유들을 제공하기 위해, 시스템은 추천된 분류에 대한 각각의 특징 및 버킷의 상대적 기여를 결정할 수 있으며, 각각의 관찰된 특징에 이유를 맵핑할 수 있다.
동작(630)은 동작(640) "맵핑된 이유들을 순위화(RANK THE MAPPED REASONS)"로 이어지고, 여기서 맵핑된 이유들은 계산된 상대적 기여 스코어에 기초하여 순위화될 수 있다. 상대적 기여 스코어는 절대적 기여와, 미리 정해진 특징 가중치를 포함하는 예상 기여에 기초하여 계산될 수 있다. 맵핑된 이유들은 상대적 기여 스코어에 기초하여 내림차순으로 순위화될 수 있다.
동작(640)은 동작(650) "임계값을 초과하는 이유들을 사용자에게 제시(PRESENT REASONS EXCEEDING THRESHOLD VALUE TO USER)"로 이어지고, 여기서 추천된 분류에 대한 하나 이상의 이유들의 리스트가 그 추천된 분류와 함께 사용자에게 제시될 수 있다. 임계값은 특징 상대적 기여 스코어에 대하여 규정될 수 있으며, 임계값보다 상위의 특징들만이 이유에 현저하게 기여하는 것으로 고려될 수 있다. 제시된 이유 리스트는 가장 큰 이유를 포함할 수 있거나, 또는 기여 스코어가 규정된 임계값을 초과하는 다수의 이유를 포함할 수 있다.
프로세스(600)에 포함된 동작들은 예시를 위한 것이다. 실시예들에 따른 추천된 분류의 사용자 확신을 증가시키기 위해 추천된 분류에 대응하는 이유들을 제공하는 것은 보다 적은 단계들 또는 추가적인 단계들을 가진 유사한 프로세스들에 의해서 구현될 수 있을 뿐만 아니라 본 명세서 기재된 원리를 이용해서 상이한 순서의 동작들로 구현될 수 있다.
이상의 설명, 예들 및 데이터는 실시예들의 구성의 사용 및 제조에 대한 완벽한 설명을 제공한다. 청구항들에 정의된 청구대상은 구조적인 특징 및/또는 방법적 동작에 특정한 언어로 기술되어 있지만, 반드시 전술한 특정한 특징이나 동작으로 한정되지는 않음을 이해해야 한다. 오히려, 전술한 특정한 특징 및 동작은 청구항 및 실시예들을 구현하는 예시적인 형태로서 개시되어 있다.

Claims (15)

  1. 예측 시스템의 추천된 분류에 대응하는 이유를 제공하기 위해 적어도 부분적으로 컴퓨팅 장치에서 실행되는 방법으로서,
    통신 애플리케이션에서 착신 통신을 수신하는 단계;
    상기 착신 통신과 연계된 하나 이상의 분류를 예측하는 단계;
    상기 예측된 분류에 대한 하나 이상의 이유를 결정하는 단계;
    상기 예측된 분류를 사용자에게 추천하는 단계; 및
    상기 하나 이상의 이유를 상기 추천된 분류와 함께 사용자에게 제시하는 단계
    를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 착신 통신과 연계된 하나 이상의 특징을 추출하는 단계를 더 포함하는
    방법.
  3. 제 2 항에 있어서,
    상기 하나 이상의 특징은, 통신 유형, 송신자 신원, 수신자 신원, 제목란 또는 본문에서 식별된 키워드 또는 토픽, 첨부파일 유형, 첨부파일 내용, 통신 스레드(thread)에의 하나 이상의 기존 참여자, 사용자에 의한 문서 또는 첨부파일, 및 메시지 플래그로 이루어진 세트 중에서 적어도 하나를 포함하는 착신 통신의 특성을 포함하는
    방법.
  4. 제 3 항에 있어서,
    상기 하나 이상의 분류를 예측하는 단계는,
    상기 하나 이상의 특징 각각의 절대적 기여(absolute contribution)를 결정하는 단계를 포함하고,
    상기 절대적 기여는 특징값의 가중합(weighted sum)인
    방법.
  5. 제 4 항에 있어서,
    상기 하나 이상의 이유를 결정하는 단계는,
    특징이 실질적으로 이유에 기여하고 상기 사용자와 연계된 일상적인 착신 통신에 비해 상대적으로 예상치 못한 것으로 되는 시기를 결정하는 단계를 포함하는
    방법.
  6. 제 5 항에 있어서,
    상기 하나 이상의 추출된 특징 각각의 상대적 기여(relative contribution)를 결정하는 단계를 더 포함하는
    방법.
  7. 제 1 항에 있어서,
    상기 추천된 분류에 기여하는 이유의 리스트를 생성하는 단계; 및
    각각의 관찰된 특징을, 그 특징이 기여하는 이유 중 하나에 맵핑하는 단계를 더 포함하는
    방법.
  8. 제 7 항에 있어서,
    계산된 상대적 기여값에 기초하여 각각의 이유를 순위화하는 단계; 및
    상기 이유의 리스트를 상대적 기여값의 내림차순으로 정렬하는 단계를 더 포함하는
    방법.
  9. 예측 시스템의 추천된 분류에 대응하는 이유를 제공하기 위한 컴퓨팅 장치로서,
    메모리와,
    상기 메모리에 연결된 프로세서
    를 포함하고,
    상기 프로세서는 예측 애플리케이션을 실행하고,
    상기 프로세서는,
    통신 애플리케이션에서 착신 통신을 수신하고;
    상기 착신 통신으로부터 하나 이상의 특징을 추출하고;
    상기 착신 통신과 연계된 하나 이상의 분류를 예측하고;
    상기 예측된 분류에 대한 하나 이상의 이유를 결정하고;
    상기 예측된 분류를 사용자에게 추천하고;
    상기 하나 이상의 이유를 상기 추천된 분류와 함께 상기 사용자에게 제시하도록 구성되는
    컴퓨팅 장치.
  10. 제 9 항에 있어서,
    상기 통신 애플리케이션은, 이메일 교환, 인스턴트 메시지 교환, 문자 메시지 교환, 소셜 또는 게이밍 네트워크 초대, 소셜 또는 게이밍 네트워크 업데이트, 블로그 포스트, 포럼 포스트, 트윗, 음성 통신, 영상 통신, 온라인 미팅, 데이터 공유, 문서 공유, 및 애플리케이션 공유 중 하나 이상을 가능하게 하는
    컴퓨팅 장치.
  11. 제 9 항에 있어서,
    상기 착신 통신은, 하나 이상의 이메일, 인스턴트 메시지, 문자 메시지, 소셜 또는 게이밍 네트워크 초대, 소셜 또는 게이밍 네트워크 업데이트, 블로그 포스트, 포럼 포스트, 트윗, 음성 통신, 영상 통신, 온라인 미팅 통신, 데이터 공유 데이터, 문서 공유 데이터, 및 애플리케이션 공유 데이터인
    컴퓨팅 장치.
  12. 제 9 항에 있어서,
    상기 프로세서는,
    예상 기여(expected contribution)와 절대적 기여의 비교에 기초하여 상대적 기여를 결정하도록 구성되고,
    상기 예상 기여는 하나 이상의 특징과 연계된 버킷들의 관찰된 빈도에 기초하여 계산되는
    컴퓨팅 장치.
  13. 예측 시스템의 추천된 분류에 대응하는 이유를 제공하기 위해 명령어들이 저장되어 있는 컴퓨터 판독가능 메모리 장치로서,
    상기 명령어들은,
    통신 애플리케이션에서 착신 통신을 수신하는 명령어와,
    상기 착신 통신으로부터 하나 이상의 특징을 추출하는 명령어와,
    상기 착신 통신과 연계된 하나 이상의 분류를 예측하는 명령어와,
    상기 예측된 분류에 대한 하나 이상의 이유를 결정하는 명령어와,
    상기 예측된 분류를 사용자에게 추천하는 명령어와,
    상기 하나 이상의 이유를 상기 추천된 분류와 함께 사용자에게 제시하는 명령어
    를 포함하고,
    상기 하나 이상의 이유는 특징이 실질적으로 이유에 기여하고 상기 사용자와 연계된 일상적인 착신 통신에 비해 상대적으로 예상치 못한 것으로 되는 시기를 포함하는
    컴퓨터 판독가능 메모리 장치.
  14. 제 13 항에 있어서,
    상기 명령어들은,
    상기 하나 이상의 특징 각각의 절대적 기여를 결정하는 명령어 ― 상기 절대적 기여는 특징값의 가중합임 ― 와,
    예상 기여와 상기 절대적 기여의 비교에 기초하여 상대적 기여를 결정하는 명령어
    를 더 포함하는
    컴퓨터 판독가능 메모리 장치.
  15. 제 14 항에 있어서,
    상기 명령어들은,
    각각의 관찰된 특징을, 그 특징이 기여하는 이유에 맵핑하는 명령어와,
    각각의 이유를 상대적 기여값에 기초하여 순위화하는 명령어와,
    상기 이유를 상대적 기여값의 내림차순으로 정렬하는 명령어와,
    가장 높은 상대적 기여값을 갖는 가장 큰 이유를 사용자에게 제시하는 명령어
    를 더 포함하는
    컴퓨터 판독가능 메모리 장치.
KR1020167013083A 2013-11-19 2014-11-17 분류 예측 및 추천에 대한 이유를 제공하는 기법 KR20160086339A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/084,554 2013-11-19
US14/084,554 US20150142717A1 (en) 2013-11-19 2013-11-19 Providing reasons for classification predictions and suggestions
PCT/US2014/065854 WO2015077158A2 (en) 2013-11-19 2014-11-17 Providing reasons for classification predictions and suggestions

Publications (1)

Publication Number Publication Date
KR20160086339A true KR20160086339A (ko) 2016-07-19

Family

ID=52450555

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167013083A KR20160086339A (ko) 2013-11-19 2014-11-17 분류 예측 및 추천에 대한 이유를 제공하는 기법

Country Status (5)

Country Link
US (1) US20150142717A1 (ko)
EP (1) EP3072088A4 (ko)
KR (1) KR20160086339A (ko)
CN (1) CN105745672A (ko)
WO (1) WO2015077158A2 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080259918A1 (en) 2007-04-19 2008-10-23 Craig Elliott Walker Method and apparatus for managing telephone calls
FR3034230A1 (fr) * 2015-03-26 2016-09-30 Thales Sa Procede d'explication d'un score
US10504029B2 (en) 2015-06-30 2019-12-10 Microsoft Technology Licensing, Llc Personalized predictive models
US9954877B2 (en) 2015-12-21 2018-04-24 Ebay Inc. Automatic detection of hidden link mismatches with spoofed metadata
US10873554B2 (en) * 2016-09-08 2020-12-22 Microsoft Technology Licensing, Llc Determining consensus among message participants based on message content
US10911382B2 (en) * 2017-01-30 2021-02-02 Futurewei Technologies, Inc. Personalized message priority classification
US11222061B2 (en) * 2019-03-28 2022-01-11 Facebook, Inc. Generating digital media clusters corresponding to predicted distribution classes from a repository of digital media based on network distribution history
US11184306B1 (en) * 2020-12-29 2021-11-23 Square, Inc. Contextual communication routing methods and systems
CN113421054A (zh) * 2021-06-11 2021-09-21 荣耀终端有限公司 信息管理方法、电子设备及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020087649A1 (en) * 2000-03-16 2002-07-04 Horvitz Eric J. Bounded-deferral policies for reducing the disruptiveness of notifications
US20030204569A1 (en) * 2002-04-29 2003-10-30 Michael R. Andrews Method and apparatus for filtering e-mail infected with a previously unidentified computer virus
US7490071B2 (en) * 2003-08-29 2009-02-10 Oracle Corporation Support vector machines processing system
US7725414B2 (en) * 2004-03-16 2010-05-25 Buzzmetrics, Ltd An Israel Corporation Method for developing a classifier for classifying communications
US8019051B1 (en) * 2006-08-16 2011-09-13 Avaya Inc. Method and apparatus for ordering communications
JP5043735B2 (ja) * 2008-03-28 2012-10-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報分類システム、情報処理装置、情報分類方法およびプログラム
US20110225170A1 (en) * 2010-03-11 2011-09-15 Microsoft Corporation Adaptable relevance techniques for social activity streams
US20120054642A1 (en) * 2010-08-27 2012-03-01 Peter Wernes Balsiger Sorted Inbox User Interface for Messaging Application
EP2434723A1 (en) * 2010-09-24 2012-03-28 Thomson Licensing Classifying content
US20120143806A1 (en) * 2010-12-06 2012-06-07 Microsoft Corporation Electronic Communications Triage
US8744979B2 (en) * 2010-12-06 2014-06-03 Microsoft Corporation Electronic communications triage using recipient's historical behavioral and feedback
US9122995B2 (en) * 2011-03-15 2015-09-01 Microsoft Technology Licensing, Llc Classification of stream-based data using machine learning
US8849730B2 (en) * 2011-12-15 2014-09-30 Microsoft Corporation Prediction of user response actions to received data
US9152953B2 (en) * 2012-02-10 2015-10-06 International Business Machines Corporation Multi-tiered approach to E-mail prioritization
US9183597B2 (en) * 2012-02-16 2015-11-10 Location Labs, Inc. Mobile user classification system and method
US9087303B2 (en) * 2012-02-19 2015-07-21 International Business Machines Corporation Classification reliability prediction

Also Published As

Publication number Publication date
US20150142717A1 (en) 2015-05-21
EP3072088A2 (en) 2016-09-28
WO2015077158A3 (en) 2015-10-29
CN105745672A (zh) 2016-07-06
EP3072088A4 (en) 2017-07-05
WO2015077158A2 (en) 2015-05-28

Similar Documents

Publication Publication Date Title
US10511560B2 (en) Systems and methods for electronic message prioritization
US10462087B2 (en) Tags in communication environments
KR20160086339A (ko) 분류 예측 및 추천에 대한 이유를 제공하는 기법
US10387559B1 (en) Template-based identification of user interest
EP2973380B1 (en) Email assistant for efficiently managing emails
US9223849B1 (en) Generating a reputation score based on user interactions
US9183282B2 (en) Methods and systems for inferring user attributes in a social networking system
US8805937B2 (en) Electronic mail analysis and processing
US20150074213A1 (en) Sender-based ranking of person profiles and multi-person automatic suggestions
US20120016948A1 (en) Social network activity monitoring and automated reaction
US20140059141A1 (en) Electronic messaging system utilizing social classification rules
US8359362B2 (en) Analyzing news content information
US20150082189A1 (en) Providing visualizations for conversations
US20120260188A1 (en) Potential communication recipient prediction
US20110320542A1 (en) Analyzing Social Networking Information
WO2017044512A1 (en) Determining the destination of a communication
CN108352005B (zh) 针对可穿戴设备的通信界面
EP3066539A2 (en) Hierarchical statistical model for behavior prediction and classification
US11962560B2 (en) Techniques for supervising communications from multiple communication modalities
US20190147404A1 (en) Email streaming records
US9836599B2 (en) Implicit process detection and automation from unstructured activity
US20170103132A1 (en) Identifying search results from local and remote search of communications in parallel
US9654941B2 (en) Method and apparatus for managing interruptions from different modes of communication
US10645053B2 (en) Generating a new user base using attractive e-mail addresses

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid