KR20190112860A - 그룹 컨텍스트에서 개인-통제된 컨텐츠의 조건부 공개 - Google Patents

그룹 컨텍스트에서 개인-통제된 컨텐츠의 조건부 공개 Download PDF

Info

Publication number
KR20190112860A
KR20190112860A KR1020197028513A KR20197028513A KR20190112860A KR 20190112860 A KR20190112860 A KR 20190112860A KR 1020197028513 A KR1020197028513 A KR 1020197028513A KR 20197028513 A KR20197028513 A KR 20197028513A KR 20190112860 A KR20190112860 A KR 20190112860A
Authority
KR
South Korea
Prior art keywords
interactive assistant
individual
person
content
restricted content
Prior art date
Application number
KR1020197028513A
Other languages
English (en)
Other versions
KR102240661B1 (ko
Inventor
브라이언 호우링
완 펜 니콜 쿼
마리엠 가렛
루이지에 허
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20190112860A publication Critical patent/KR20190112860A/ko
Application granted granted Critical
Publication of KR102240661B1 publication Critical patent/KR102240661B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G06F16/90332—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9537—Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/185—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with management of multicast group membership
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/56—Unified messaging, e.g. interactions between e-mail, instant messaging or converged IP messaging [CPM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/105—Multiple levels of security

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Machine Translation (AREA)
  • Telephonic Communication Services (AREA)

Abstract

그룹 컨텍스트에서 제한된 컨텐츠를 안전하게 액세스하고 제공하기 위한 대화형 어시스턴트 모듈을 위한 방법, 장치, 시스템 및 컴퓨터 판독 가능 매체가 제공된다. 다양한 구현예에서, 제1 개인과 대화형 어시스턴트 모듈 사이의 대화는 적어도 제2 개인에 의해 감각적으로 인식될 수 있도록 결정될 수 있다. 대화형 어시스턴트 모듈에 의해 대화에 자동으로 통합될 제한된 컨텐츠가 식별될 수 있다. 다양한 구현예에서, 제한된 컨텐츠에 대한 액세스는 제1 개인에 의해 통제될 수 있다. 다양한 구현예에서, 제한된 컨텐츠는 제2 개인이 제한된 컨텐츠를 인식하도록 승인되었다는 결정에 응답하여 대화에 조건부로 통합될 수 있다. 다양한 구현예는 그룹 컨텍스트에서 향상된 정보 보안을 제공한다.

Description

그룹 컨텍스트에서 개인-통제된 컨텐츠의 조건부 공개{CONDITIONAL DISCLOSURE OF INDIVIDUAL-CONTROLLED CONTENT IN GROUP CONTEXTS}
대화형 어시스턴트 모듈("개인 어시스턴트 모듈" 또는 "모바일 어시스턴트 장치"라고도 알려진)은 스마트 폰, 태블릿 컴퓨터, 자동차 컴퓨팅 시스템(예를 들어, 네비게이션 시스템, 차량 미디어 시스템 등), 독립형 음성-작동 디바이스 등과 같은 다양한 컴퓨팅 디바이스상에서 동작할 수 있다. 대화형 어시스턴트 모듈은 여러 개인이 감각적으로 인지할 수 있는 양식(modalities)을 사용하여 출력을 제공할 수 있다. 예를 들어, 독립형 개인 어시스턴트 디바이스는 주변에 있는 여러 개인이 들을 수 있는 가청 출력을 제공할 수 있다. 그룹 채팅 컨텍스트(예컨대, 그룹 멀티미디어 메시징 서비스 또는 "MMS"메시지)에서, 메시지 교환 스레드의 임의의 참가자는 대화형 어시스턴트 모듈에 의해 메시지 교환 스레드에 통합된 컨텐츠를 볼 수 있다. 일부 경우, 대화형 어시스턴트 모듈은 하나 이상의 개인과 관련된 및/또는 하나 이상의 개인의 통제 하의 기밀의 및/또는 제한된 컨텐츠에 대한 액세스를 가질 수 있다.
본 발명은 일반적으로 그룹 컨텍스트 내의 제한된 컨텐츠에서 안전하게 액세스하여 공개(disclose)하기 위한 대화형 어시스턴트 모듈을 위한 방법, 장치 및 컴퓨터 판독 가능 매체(일시적 및 비-일시적)에 관한 것이다. 이들 및 다른 구현들 중 일부는 다양한 기술적 이점을 달성할 수 있다. 예를 들어, 다양한 구현은 그룹 컨텍스트에서 향상된 정보 보안을 제공한다. 다양한 구현예에서, 제한된 컨텐츠는 사용자 별명, 개인 선호도(예를 들어, 개인 A는 해산물을 좋아하지 않는다), 사진, 비디오, 오디오 레코딩, 전화 번호, 연락처 정보, 여행 정보(예를 들어, 여정), 이메일/텍스트 내용, 현재 위치, 일정 정보, 작업 목록, 승인 크리덴셜(예를 들어, 사용자면, 패스워드) 등과 같은 비밀(confidential) 또는 기밀(sensitive)일 수 있고 그렇지 않을 수 있는 하나 이상의 개인이 관리하는 다양한 정보를 포함할 수 있다. 예를 들어, 개인은 혼자있을 때는 대화형 어시스턴트 모듈이 별명 "폐하"를 사용하여 대화형 어시스턴트 모듈을 참조하는 것을 선호할 수 있지만 다른 사람들이 있을 때는 대화형 어시스턴트 모듈이 자신의 이름을 사용하는 것을 선호할 수 있다.
다양한 구현예에서, 그러한 제한된 컨텐츠는 제한된 컨텐츠와 관련된 승인 및/또는 승인을 잠재적으로 인식할 수 있는 개인에 기초하여, 조건부로 공개, 예를 들어, 메시지 교환 스레드에 통합(포함)되거나 음성 작동 대화형 어시스턴트 모듈에 의해 발화될 수 있다. 제한된 컨텐츠에 대한 액세스가 거부되는 일부 구현에서, 예를 들어, 제한된 컨텐츠에 대한 대체물로서 비-제한된 컨텐츠가 출력될 수 있다.
다양한 구현예에서, 대화형 어시스턴트 모듈과 하나 이상의 개인 사이의 음성 대화(spoken dialog) 대화 또는 서면 대화(written dialog)와 같은 대화형 어시스턴트 모듈에 의해 사용된 출력 양식(modality)이 하나 이상의 다른 개인에 의해 감각적으로 인지될 수 있는지 결정될 수 있다. 또한 대화형 어시스턴트 모듈은 특정 개인에 의해 통제(control)되는 제한된 컨텐츠를 (명시적 요청에 의해 또는 발언 또는 진술에 대한 응답하여 자동으로)를 공개하는 것으로 결정할 수 있다. 대화형 어시스턴트 모듈이 그의 정상 출력 양식을 사용하여 제한된 컨텐츠를 공개하기 전에, 그렇게 하는 것이 허용되는지 여부를 결정할 수 있다. 예를 들어, 일부 구현예에서, 대화형 어시스턴트 모듈은 컨텐츠가 다양한 레벨의 액세스를 허용한 유형(또는 "클래스")인지 여부를 결정할 수 있다. 이들 결정에 기초하여, 대화형 어시스턴트 모듈은 제한된 컨텐츠를 조건부로 공개할 수 있다. 일부 구현예에서, 대화형 어시스턴트 모듈이 제한된 컨텐츠를 공개하도록 아직 허가되지 않은 경우, 대화형 어시스턴트 모듈은 제한된 컨텐츠를 공개하기 위한 허가를 얻기 위해 제한된 컨텐츠를 통제하는 개인에게, 예를 들어, 다른 출력 양식(예를 들어, 텍스트 메시지, 소유자 전화기상의 팝업 등)를 사용하여 촉구(prompt)할 수 있다
대화형 어시스턴트 모듈은 자신이 사용하는 양식이 다른 사람들에 의해 "감각적으로 인지될(sensorially perceivable)" 가능성이 있다고 판단할 수 있다. 즉, 다른 사람들은 시력, 접촉, 청력, 냄새 등과 같은 하나 이상의 감각을 다양한 방법으로 사용하여 상기 양식을 통해 제공된 출력을 감지할 수 있다. 일부 구현예에서, 대화형 어시스턴트 모듈은 특정 개인이 다른 사람들도 또한 존재할 가능성이 있는 식당이나 바(bar)와 같은 공공 장소에 있는지를 결정하기 위해, 워치/전화기-장착된 위치 좌표 센서(예를 들어, 글로벌 위치 확인 시스템 또는 "GPS", 무선 삼각 측량 등)를 사용할 수 있다. 다른 구현예에서, 대화형 어시스턴트 모듈은 다른 개인들이 존재할 가능성이 있는지를 결정하기 위해(회의에 참석하기로 예정된 사용자입니까?) 개인의 캘린더와 같은 신호를 사용할 수 있다. 자동차 컨텍스트에서, 차량 컴퓨터 시스템상에서 동작하는 대화형 어시스턴트 모듈은 시트 센서 및/또는 시트 벨트의 신호를 이용하여 개인이 차량 내에 혼자 있지 않은지를 결정할 수 있다. 일부 구현예에서, 특히 독립형 음성-작동 디바이스의 경우, 대화형 어시스턴트 모듈은 하나 이상의 개인이 함께 위치(공존)할 가능성이 있는 패턴을 시간 경과에 따라 감지할 수 있다. 예를 들어, 개인 어시스턴트 디바이스는 평일 밤 6시부터 10시 사이에 개인의 배우자 및/또는 다른 가족 구성원이 함께 위치할 경향이 있다고 판단할 수 있다. 그룹 채팅 컨텍스트(예를 들어, MMS 스레드)에서, 대화형 어시스턴트 모듈은 단순히 그룹 채팅의 참가자를 검사할 수 있다.
일부 구현예에서, 대화형 어시스턴트 모듈은 공존하는 또는 출력을 인지할 특정 개인을 식별할 수 있으므로 제한된 컨텐츠를 공개할지 여부에 대해 보다 세부적인 결정을 내릴 수 있다. 예를 들어, 독립형 개인 어시스턴트 디바이스 또는 스마트 폰상에서 동작하는 대화형 어시스턴트 모듈은 스피커 인식 및/또는 주변 개인들이 휴대하고 있는 모바일 디바이스 또는 식별 디바이스(예를 들어, 무선 주파수 식별 또는 "RFID" 배지)로부터의 신호를 사용하여, 단순히 누가 존재하는지 결정하기보다는 어떤 사람이 존재하는지를 보다 세밀하게 식별할 수 있다. 다양한 구현 예에서, 대화형 어시스턴트 모듈은 공존하는 것으로(또는 메시지 교환 스레드의 참가자)로 검출된 개인들의 다양한 조합에 그룹 ID 번호를 할당하여, 대화형 어시스턴트 모듈이 그러한 그룹 컨텍스트에서 공유하도록 허용되거나 허용될 수 없는 다양한 제한된 컨텐츠를 '기억(remember)"할 수 있다.
일부 구현예에서, 컴퓨터 구현 방법이 제공되어, 하나 이상의 프로세서에 의해, 제1 개인과 대화형 어시스턴트 모듈 사이의 대화가 적어도 제2 개인에 의해 감각적으로 인지될 수 있는지 결정하는 단계와; 상기 하나 이상의 프로세서에 의해, 상기 대화형 어시스턴트 모듈에 의해 상기 대화에 자동으로 통합될 제한된 컨텐츠를 식별하는 단계와, 상기 제한된 컨텐츠에 대한 액세스는 제1 개인에 의해 통제되고; 그리고 상기 하나 이상의 프로세서에 의해, 상기 제2 개인이 상기 제한된 컨텐츠를 인식하도록 승인되었다는 결정에 응답하여, 상기 제한된 콘텐츠를 상기 대화에 조건적으로 통합하는 단계를 포함한다.
이 방법 및 본 명세서에 개시된 기술의 다른 구현예는 각각 선택적으로 하나 이상의 다음 특징을 포함할 수 있다.
다양한 구현예에서, 상기 방법은 하나 이상의 프로세서에 의해, 상기 제한된 컨텐츠를 대화에 통합하기 위해 상기 제1 개인으로부터 승인을 요청하는 상기 제1 개인에 대한 출력을 제공하는 단계를 더 포함할 수 있다. 승인을 요청하는 출력은 제2 개인이 제한된 컨텐츠를 인식하도록 승인되지 않았다는 결정에 응답하여 제공될 수 있다. 제2 개인이 승인되었다는 결정은 제한된 컨텐츠를 상기 대화에 통합하기 위해 제1 개인으로부터 승인을 수신하는 것을 포함할 수 있다. 일부 구현예에서, 제1 개인 사이의 대화는 제1 출력 양식을 통해 발생할 수 있고, 승인을 요청하는 출력은 제2 개인에 의해 감각적으로 인지될 수 없는 제2 출력 양식을 통해 제1 개인에게 제공될 수 있다.
일부 구현예에서, 대화가 적어도 제2 개인에게 감각적으로 인지될 수 있는지 결정하는 단계는 제2 개인이 제1 개인과의 대화에서 참가자인지 결정하는 단계를 포함할 수 있다. 일부 구현예에서, 대화가 적어도 제2 개인에게 감각적으로 인지될 수 있는지 결정하는 단게는 하나 이상의 신호에 기초하여, 제2 개인이 제1 개인과 함께 위치하는지(공존하는지) 결정하는 단계를 포함할 수 있다. 일부 구현예에서, 하나 이상의 신호는 제1 및 제2 개인의 공존을 나타내는 캘린더 엔트리를 포함할 수 있다. 일부 구현예에서, 하나 이상의 신호는 오디오 센서에 의해 생성된 오디오 신호를 포함할 수 있다. 일부 구현예에서, 하나 이상의 신호는 제1 개인의 위치 좌표와 다수의 개인에 의해 거주될 가능성이 있는 것으로 알려진 위치 사이의 대응 관계를 함할 수 있다. 일부 구현예에서, 하나 이상의 신호는 하나 이상의 카 시트 센서 신호를 포함할 수 있다. 일부 구현예에서, 하나 이상의 신호는 제1 개인의 다른 사람과의 공존의 이력을 포함할 수 있다.
일부 구현예에서, 상기 방법은 하나 이상의 프로세서에 의해, 제2 개인이 제한된 컨텐츠를 인식하도록 승인되지 않았다는 결정에 응답하여 상기 제한된 컨텐츠에 대한 대체물로서 제한되지 않은 컨텐츠를 상기 대화에 조건부로 통합하는 단계를 더 포함할 수 있다. 일부 구현예에서, 상기 제한된 컨텐츠는 제1 개인에게 기밀인 정보를 포함할 수 있다. 일부 구현예에서, 상기 제한된 컨텐츠는 제1 개인의 별명을 포함할 수 있다. 일부 구현예에서, 상기 제한된 컨텐츠는 제2 개인에게 잠재적으로 불쾌감을 주는 것으로 여겨지는 컨텐츠를 포함할 수 있다.
일부 구현예에서, 제2 개인이 제한된 컨텐츠를 인식하도록 승인되었다는 결정은 제2 개인이 제한된 컨텐츠가 관련되어 있는 제한된 컨텐츠의 클래스를 인식하도록 승인되었다는 결정을 포함할 수 있다. 일부 구현예에서, 제2 개인이 제한된 컨텐츠를 인식하도록 승인되었다는 결정은 제2 개인이 제한된 컨텐츠를 인지하도록 사전에 승인되었다는 결정을 포함할 수 있다.
다른 구현예는 프로세서에 의해 실행 가능한 명령들을 저장하는 비-일시적인 컴퓨터 판독 가능 저장 매체를 포함할 수 있으며, 이는 전술한 방법들 중 하나 이상과 같은 방법을 수행한다. 또 다른 구현예는 단독으로 또는 집합적으로, 전술한 방법들 중 하나 이상과 같은 방법을 수행하는 하나 이상의 모듈 또는 엔진을 구현하기 위해, 메모리 및 상기 메모리에 저장된 명령들을 실행하도록 동작 가능한 하나 이상의 프로세서를 포함하는 시스템을 포함할 수 있다.
본 명세서에서 보다 상세하게 기술된 전술한 개념 및 추가 개념의 모든 조합은 본 명세서에 개시된 주제의 일부로서 고려될 수 있음을 이해해야 한다. 예를 들어, 본 명세서의 끝 부분에 나타나는 청구된 주제의 모든 조합은 본 명세서에 개시된 주제의 일부로서 고려된다.
도 1은 다양한 구현예에 따라 본 명세서에 기술된 하나 이상의 기술들이 실시될 수 있는 환경을 도시한다.
도 2 및 도 3은 클라이언트 디바이스가 다양한 구현예에 따라 메시지 교환 클라이언트에 대한 그래픽 사용자 인터페이스를 렌더링하는 방법의 예를 도시한다.
도 4는 다양한 구현예에 따라 다수의 사용자가 대화형 어시스턴트 모듈과 상호 작용하는 시나리오에서 실행될 수 있는 개시된 기술들의 일 예를 도시한다.
도 5a, 도 5b 및 도 5c는 다양한 구현예에 따라 다수의 사용자가 대화형 어시스턴트 모듈과 상호 작용하는 시나리오에서 실행될 수 있는 개시된 기술의 다른 예를 도시한다.
도 6a 및 도 6b는 다양한 구현예에 따라 다수의 사용자가 대화형 어시스턴트 모듈과 상호 작용하는 시나리오에서 실행될 수 있는 개시된 기술들의 또 다른 예를 도시한다.
도 7은 다양한 구현예에 따라, 그룹 컨텍스트들내의 제한된 컨텐츠에 안전하게 액세스하고 제시하기 위한 대화형 어시스턴트 모듈에 대한 예시적인 방법을 나타내는 흐름도이다.
도 8은 컴퓨터 시스템의 예시적인 아키텍처를 개략적으로 도시한다.
도 1은 대화형 어시스턴트 모듈이 그룹 컨텍스트 내의 제한된 컨텐츠를 안전하게 액세스하고 제시할 수 있는 환경을 도시한다. 예시적인 환경은 소위 "메시지 교환 스레드"에 참여하기 위해 각각의 사용자(미도시)에 의해 작동되는 복수의 클라이언트 디바이스(1061-N)와, 하나 이상의 독립형 음성-작동(voice-activated) 디바이스(예를 들어, 스마트 스피커)(106N+1)와, 그리고 지식 시스템(102)을 포함한다. 지식 시스템(102)은 예를 들어 네트워크를 통해 통신하는 하나 이상의 컴퓨터에 구현될 수 있다. 지식 시스템(102)은 본 명세서에 기술된 시스템, 컴포넌트 및 기술이 구현될 수 있고 및/또는 본 명세서에 기술된 시스템, 컴포넌트 및 기술이 인터페이스할 수 있는 정보 검색 시스템의 일 예이다.
사용자는 하나 이상의 클라이언트 디바이스(106)를 통해 지식 시스템(102)과 상호 작용할 수 있다. 각 클라이언트 디바이스(106)는 인터넷과 같은 근거리 통신망(LAN) 또는 광역 통신망(WAN)과 같은 하나 이상의 네트워크(104)를 통해 지식 시스템(102)에 커플링된 컴퓨터일 수 있다. 각각의 클라이언트 디바이스(1061-N)는 예를 들어 데스크탑 컴퓨팅 디바이스, 랩탑 컴퓨팅 디바이스, 태블릿 컴퓨팅 디바이스, 이동 전화 컴퓨팅 디바이스, 사용자 차량의 컴퓨팅 디바이스(예를 들어, 차량용 통신 시스템, 차량용 오락 시스템, 차량용 네비게이션 시스템), 또는 컴퓨팅 디바이스(예를 들어, 컴퓨팅 디바이스를 갖는 사용자의 워치, 컴퓨팅 디바이스를 갖는 사용자의 글래스)일 수 있다. 전술한 독립형 음성 작동 디바이스(106N+1)와 같은 부가 및/또는 대체 클라이언트 디바이스는 본 개시의 선택된 양태로 구성될 수 있다. 많은 경우, 개개인은 그 개인과 관련된 클라이언트 디바이스들의 조정된 "생태계"를 집합적으로 형성하는 복수의 클라이언트 디바이스(106)를 작동/소유할 수 있다.
각 클라이언트 디바이스(106)는 메시지 교환 클라이언트(108) 및 대화형 어시스턴트 모듈(110)과 같은 다양한 상이한 애플리케이션을 동작시킬 수 있다. 또한, 일부 구현예에서, 각 클라이언트 디바이스(106)는 사용자 데이터(112)의 하나 이상의 소스에 대한 액세스 권한을 가질 수 있다. 사용자 데이터(112)는 하나 이상의 대화형 어시스턴트 모듈(110)에 액세스 가능한 하나 이상의 개인에 의해 통제되는 다양한 정보를 포함할 수 있다. 일부 구현예에서, 사용자 데이터(112)는 특정 개인과 관련된 제한된 컨텐츠를 포함할 수 있고, 이는 통제하는 개인에 의한 승인없이 다른 개인이 쉽게 액세스할 수 없는 컨텐츠일 수 있다. 제한된 컨텐츠의 비 제한적인 예가 위에 설명되었다. 사용자 데이터(112)는 클라이언트 디바이스(106) 상에 국부적으로 저장되고 및/또는 후술하는 인덱스(126)로 하나 이상의 서버/데이터베이스 상에 원격으로 저장될 수 있다.
일부 구현예에서, 각 대화형 어시스턴트 모듈(110)은 자신이 서비스(serve)하는 특정 개인에 의해 통제되거나, 소유되거나 또는 관련되는 사용자 데이터(112)에 액세스할 수 있다. 다른 구현예에서, 대화형 어시스턴트 모듈(110)은 특정 개인(들)을 서비스하지 않을 수 있고, 그 대신 하나 이상의 입력 양식(modalities)을 통해 대화형 어시스턴트 모듈(110)과 상호 작용하는 임의의 개인을 서비스할 수 있다. 이러한 경우에, 대화형 어시스턴트 모듈(110)은 하나 이상의 사용자와 관련된 사용자 데이터(112)에 대한 액세스를 가질 수 있다. 아래에서 보다 상세히 설명되는 바와 같이, 대화형 어시스턴트 모듈(110)은 공개(disclosure, 제시)가 승인없이 하나 이상의 개인에 의해 감각적으로 인식될 수 있는지 여부에 기초하여 제한된 컨텐츠를 조건부로 공개할 수 있다.
메시지 교환 클라이언트(108)는 하나 이상의 다른 개인과의 메시지 교환 스레드의 참여를 용이하게 할 수 있다. 메시지 교환 클라이언트(108)는 다양한 형태로 존재할 수 있다. 일부 구현예에서, 메시지 교환 클라이언트(108)는 단문 메시징 서비스("SMS") 및/또는 MMS 클라이언트, 온라인 채팅 클라이언트(예를 들어, 인스턴트 메신저, 인터넷 중계 채팅 또는 "IRC"등), 소셜 네트워크와 관련된 메시징 애플리케이션, 클라이언트 디바이스상에서 작동하는 대화형 어시스턴트 모듈과 대화하기 위한 인터페이스 등의 형태로 존재할 수 있다. 일부 구현예에서, 메시지 교환 클라이언트(108)는 웹 브라우저(미도시)에 의해 렌더링된 웹 페이지 내에 구현될 수 있다. 다양한 경우에서, 메시지 교환 스레드의 참가자들에 의해 작동되는 2개의 클라이언트 디바이스(106)는 공통 통신 프로토콜을 사용하여 통신을 용이하게 하는 상이한 메시지 교환 클라이언트들(108)을 실행할 수 있다. 예를 들어, 클라이언트 디바이스(106i)는 설치된 하나의 벤더(vendor)에 의해 분배된 하나의 SMS 애플리케이션을 가질 수 있고, 클라이언트 디바이스(106N)는 설치된 다른 벤더에 의해 분배된 다른 SMS 애플리케이션을 가질 수 있다.
배경 기술에서 설명된 바와 같이, 다양한 구현예에서, 대화형 어시스턴트 모듈(110)은 주어진 클라이언트 컴퓨팅 디바이스(106)상에서 실행되는 소프트웨어 프로세스의 형태를 취하여 사용자가 자연어 명령 및 요청을 발행하기 위한 사용자 친화적 인터페이스를 제공할 수 있다. 대화형 어시스턴트 모듈(110)은 대화형 어시스턴트 모듈(110)을 활성화하도록 선택된 하나 이상의 코드 워드를 사용자가 말하거나 입력하는 것과 같은 다양한 자극에 의해 호출되거나 "깨어날"수 있다. 또한, 일부 구현예에서, 대화형 어시스턴트 모듈(110)은 하나 이상의 문법기, 파서, 대화 관리자, 시맨틱 프로세서, 신택스 프로세서 및/또는 대화형 어시스턴트 모듈(110)이 개인으로부터 수신된 입력(발화된 또는 다른)의 의미론적 의미를 분석 및 해석하여 응답할 수 있게 하는 다른 컴포넌트(미도시)를 구비할 수 있다(또는 그에 대한 액세스를 가질 수 있다). 일단 대화형 어시스턴트 모듈(110)이 개인의 진술 또는 발언의 의미를 분석 및 해석하면, 대화형 어시스턴트 모듈(110)은 원격 및/또는 로컬 소스들(예를 들어, 사용자 데이터(112))로부터 정보에 대한 검색 수행, 개인과의 대화에 참여, 하나 이상의 애플리케이션 시작, 이메일 또는 문자 메시지 작성 및/또는 전송, 다양한 입력 및 출력 컴포넌트(예를 들어, 카메라, 모션 센서, GPS 등) 작동, 지시 사항 제공(providing directions) 등을 포함하지만 이에 한정되지 않는 다양한 응답 동작을 수행할 수 있다.
본 명세서에 설명된 일부 구현예에서, 개인은 예를 들어, 음성 입력, 텍스트 입력 등을 사용하여 메시지 교환 스레드에서 대화형 어시스턴트 모듈(110)과 통신할 수 있다. 또한, 대화형 어시스턴트 모듈(110)은 다수의 클라이언트 디바이스(106)(예를 들어, 도 1의 (106I-N))상에서 작동하고 다수의 참가자에 의해 통제되는 다수의 메시지 교환 클라이언트(108)를 포함하는 메시지 교환 스레드에 참여할 수 있다. 예를 들어, 이하에서 보다 상세히 설명되는 바와 같이, 대화형 어시스턴트 모듈(110)은 하나 이상의 참가자에 의해 메시지 교환 스레드에 입력된 (contributed) 하나 이상의 메시지에 응답하여 메시지 교환 스레드에 컨텐츠를 자동으로 선택하고 통합시킬 수 있다.
일부 구현예에서, 하나 이상의 개인은 진행중인 문자 메시지 교환 스레드의 일부이거나 일부가 아닐 수 있는 대화형 어시스턴트 모듈(110)과 음성 대화를 교환할 수 있다. 예를 들어, 다양한 개인은 음성-작동 제품(106N+1)상에서 실행하는 대화형 어시스턴트 모듈(110N+1)과의 대화형 음성 기반 대화(voice-based dialog)에 참여할 수 있다. 음성-작동 제품의 일반적인 사용(특히 스마트 스피커로 판매되는 경우)은 음악이나 다양한 멀티미디어 파일을 재생하는 것이다. 그러나, 다양한 구현에서, 음성-작동 제품(106N+1)상에서 실행하는 대화형 어시스턴트 모듈(110N+1)은 다른 유형의 클라이언트 디바이스(1061-N)상에서 실행하는 대화형 어시스턴트 모듈(1101-N)에 의해 제공되는 것과 동일한 기능을 제공할 수 있다. 예를 들어, 음성-작동 제품(106N+1)상에서 동작하는 대화형 어시스턴트 모듈(110N+1)은 다른 클라이언트 디바이스상에서 작동하는 다른 대화형 어시스턴트 모듈(110)에 액세스 가능한 동일한 사용자 데이터(112N+1)에 대한 액세스를 가질 수 있다. 따라서, 대화형 어시스턴트 모듈(110N+1)은 받아쓰기, 지시 사항 제공, 원격 및 로컬 데이터 소스(예를 들어, 사용자 데이터(112N+1))의 검색 수행, 애플리케이션 개시, 카메라 및 프린터와 같은 입력 및 출력 디바이스의 조작과 같이 대화형 어시스턴트 모듈(110I-N)에 의해 수행되는 작업과 유사한 다양한 작업을 수행할 수 있다.
독립형 음성-작동 제품(106N+1)에 적용 가능한 것으로 본 명세서에서 기술된 예들은 다른 유형의 클라이언트 디바이스(106)에도 동등하게 적용될 수 있음을 이해해야 한다. 하나 이상의 개인은 자신의 음성을 사용하여 스마트 폰, 스마트 워치, 태블릿 컴퓨터 상에서 동작하는 대화형 어시스턴트 모듈(110)과 용이하게 상호 작용할 수 있다. 예를 들어, 개인은 개인 및 함께 있는 다른 사람이 스마트 폰과 음성 대화를 할 수 있도록 테이블에 자신의 스마트 폰을 올려 놓을 수 있다. 그런 경우, 다른 함께 있는 개인들은 상호 작용을 수 있고, 따라서 스마트 폰은 독립형 음성-작동 제품과 유사하게 동작할 수 있다.
각 클라이언트 디바이스(106) 및 지식 시스템(102)은 데이터 및 소프트웨어 애플리케이션을 저장하기 위한 하나 이상의 메모리, 데이터에 액세스하고 애플리케이션을 실행하기 위한 하나 이상의 프로세서 및 네트워크를 통한 통신을 용이하게하는 다른 컴포넌트를 포함할 수 있다. 하나 이상의 클라이언트 디바이스(106) 및/또는 지식 시스템(102)에 의해 수행되는 동작들은 다수의 컴퓨터 시스템에 걸쳐 분산될 수 있다. 지식 시스템(102)은 예를 들어 네트워크를 통해 서로 커플링되는 하나 이상의 위치에서 하나 이상의 컴퓨터상에서 실행되는 컴퓨터 프로그램으로서 구현될 수 있다.
다양한 구현예에서, 지식 시스템(102)은 메시지 교환 엔진(120), 대화형 어시스턴트 엔진(122), 사용자 데이터 엔진(124), 인덱싱 엔진(128) 및/또는 정보 엔진(132)을 포함할 수 있다. 일부 구현예에서, 엔진들(120, 122, 124, 128 및/또는 132) 중 하나 이상은 생략될 수 있다. 일부 구현예에서, 엔진들(120, 122, 124, 128 및/또는 132) 중 하나 이상 또는 그의 임의의 동작부는 하나 이상의 클라이언트 디바이스(106)에 의해 실행되는 컴포넌트로 구현될 수 있다.
다양한 구현예에서, 메시지 교환 엔진(120)은 다수의 참가자에 의해 제어되는 다수의 클라이언트 디바이스(1061-N)상에서 동작하는 다수의 메시지 교환 클라이언트(108) 간의 메시지 교환 스레드를 용이하게 하도록 구성될 수 있다. 예를 들어, 메시지 교환 엔진(120)은 메시지의 글로벌 "전사(transcript)"을 유지할 수 있고, 다른 컨텐츠 참가자들은 메시지 교환 스레드에서 서로 교환할 수 있다. 본 명세서에 사용된 바와 같이, "전사"은 메시지 교환 스레드에서 하나 이상의 참가자가 교환 및/또는 보는 텍스트, 이미지, 사운드 및/또는 애플릿의 라이브 레코드를 지칭할 수 있다. 일부 구현예에서, 메시지 교환 스레드의 전사은 참가자들이 대화할 때 실시간으로 또는 거의 실시간으로 업데이트될 수 있다.
대화형 어시스턴트 엔진(122)은 하나 이상의 클라이언트 디바이스(106)상에서 동작하는 하나 이상의 대화형 어시스턴트 모듈(110)에 의해 제공되는 기능을 향상, 고취(compliment) 및/또는 보완하도록 구성될 수 있다. 예를 들어, 클라이언트 디바이스(106)는 상대적으로 리소스-제약될 수 있다. 로컬 대화형 어시스턴트 모듈(110)은 파서, 구문 프로세서, 문법기, 시맨틱 프로세서 등과 같은 사용자 입력(발언 또는 다른)을 분석 및 해석하기 위한 다양한 오프라인 컴포넌트를 포함하거나 액세스할 수 있다. 그러나, 클라이언트 디바이스(106)의 제한된 컴퓨팅 리소스(예를 들어, 메모리, 프로세서 전력 등)이 주어지면, 사용자 입력을 분석하고 해석하기 위한 이들 오프라인 컴포넌트들은 상대적으로 제한될 수 있다.
따라서, 하나 이상의 대화형 어시스턴트 모듈(110)은 하나 이상의 온라인 대화형 어시스턴트 엔진(122)과 상호 작용하거나 또는 그들과 함께 동작할 수 있다. 대화형 어시스턴트 엔진(122)은 스맨틱 프로세서, 문법기, 파서, 구문 프로세서 등을 포함하지만 이에 한정되지 않는 다양한 온라인 리소스 및 컴포넌트(미도시)에 대한 액세스를 가질 수 있다. 이러한 온라인 리소스 및 컴포넌트는 클라이언트 디바이스(106)에서 이용 가능한 오프라인 카운트파트(counterparts)보다 훨씬 강력할 수있다. 더욱이, 대화형 어시스턴트 엔진(122)은 음성 또는 기타 다른 사용자 제공 입력의 보다 정확한 파싱 및 해석을 수행하기 위해 다수의 온라인 서버(예를 들어, 소위 "클라우드")의 사실상 무제한 컴퓨팅 리소스를 활용할 수 있다. 다양한 구현예에서, 클라이언트 디바이스(106)상에서 동작하는 대화형 어시스턴트 모듈(110)은 오프라인 및 온라인 리소스(대화형 어시스턴트 엔진(122)에 이용 가능한 리소스를 포하는)의 임의의 조합을 이용하여, 예를 들어, 클라이언트 디바이스(106)가 현재 온라인인지 여부, 무선 클라이언트 디바이스(106)에 이용 가능한 네트워크 접속의 세기, 수신된 사용자 입력의 복잡도 등과 같은 인자(factor)들에 의존하는 사용자 입력을 파싱 및/또는 해석할 수 있다. 특정 동작이 대화형 어시스턴트 모듈(110) 또는 대화형 어시스턴트 엔진(122)에 의해 수행되는 것으로 본 명세서에서 기술될 때, 그러한 동작은 단독으로 또는 다른 컴포넌트와 결합하여 어느 하나의 컴포넌트에 의해 수행될 수 있음을 이해해야 한다.
사용자 데이터 엔진(124)은 인덱스(126)에 온라인으로 저장된 다양한 사용자 데이터(112)에 대한 액세스를 가질 수 있다. 이메일, 문자 메시지, 캘린더 항목, 별명, 일정, 온라인 프로파일, 온라인 연락처 목록, 소셜 네트워크 프로파일, 작업 목록 및 다양한 다른 사용자 데이터(112)는 클라이언트 디바이스(106)에 국부적으로 또는 클라이언트 디바이스(106)에 국부적인 대신에, 클라이언트 디바이스(106)로부터 원격인 하나 이상의 컴퓨팅 시스템에 전체적으로 또는 일부에 저장될 수 있다. 이러한 의미에서, 인덱스(126)는 단지 서로 관련될 수도 있고 관련되지 않을 수도 있고, 클라이언트 디바이스(106)상에서 국부적으로 이용 가능할 수도 있고 그렇지 않을 수도 있는 하나 이상의 데이터베이스 또는 다른 저장 메카니즘을 나타낼 수 있다. 사용자 데이터 엔진(124)은 사용자 데이터(1120)의 이러한 다양한 소스에 액세스하도록 구성될 수 있다. 본 명세서에서 구현예들이 사용자 데이터(112)를 조건부로 통합, 출력 또는 달리 공개하는 것으로 기술될 때, 사용자 데이터(112)는 클라이언트 디바이스(106)에 저장된 로컬 사용자 데이터(112), (임의의 수의 서로 다른 데이터 소스를 포함할 수 있는) 인덱스(126)에 저장된 원격 사용자 데이터 및/또는 이들의 임의의 조합으로부터 획득될 수 있다. 일부 구현예에서, 대화형 어시스턴트 모듈(110) 또는 대화형 어시스턴트 엔진(122)이 클라이언트 디바이스(106)로부터 사용자 데이터(112)를 획득할 수 없는 경우, 그 대신에 사용자 데이터(112)는 사용자 데이터 엔진(124)에 요구함으로써 얻을 수 있다.
인덱싱 엔진(128)은 지식 시스템(102)에 의한 사용을 위해 인덱스(130)를 유지할 수 있다. 인덱싱 엔진(128)은 예를 들어 종래의 및/또는 다른 인덱싱 기술을 사용하여 문서를 처리하고 인덱스(130)의 인덱스 엔트리를 업데이트한다. 예를 들어, 인덱싱 엔진(128)은 월드 와이드 웹(World Wide Web)과 같은 하나 이상의 리소스를 크롤링하고 이러한 크롤링을 통해 액세스된 문서를 인덱싱할 수 있다. 다른 예로서, 인덱싱 엔진(128)은 그러한 문서들을 제어하는 웹 마스터와 같은 하나 이상의 리소스로부터 하나 이상의 문서와 관련된 정보를 수신하고 그러한 정보에 기초하여 문서를 인덱싱할 수 있다. 문서는 문서 어드레스와 관련된 임의의 데이터이다. 문서에는 웹 페이지, 워드 프로세싱 문서, PDF(portable document format) 문서, 이미지, 이메일, 캘린더 항목, 비디오 및 웹 피드가 포함된다. 각 문서는 예를 들어 텍스트, 이미지, 비디오, 사운드, 내장 정보(예를 들어, 메타 정보 및/또는 하이퍼 링크)와 같은 컨텐츠; 및/또는 임베디드 명령(예를 들어, JavaScript와 같은 ECMAScript 구현)을 포함할 수 있다.
정보 엔진(132)은 지식 시스템(102)에 의한 사용을 위한 비-문서 특정 정보에 대한 액세스를 포함하거나 용이하게 하는 다른 인덱스(134)를 유지할 수 있다. 예를 들어, 지식 시스템(102)은 특정 정보를 탐색하는 것으로 보이는 검색 질의에 응답하여 정보를 리턴하도록 구성될 수 있다. 사용자가 "로널드 레이건의 생일"을 검색하면, 지식 시스템(102)은 정보 엔진(132)으로부터 날짜 "1911년 2월 6일"을 수신할 수 있다. 이 정보는 인덱싱 엔진(128)으로부터 수신된 문서와는 별도의 검색 결과의 일부로서 사용자에게 리턴될 수 있다. 다양한 구현예에서, 인덱스(134) 자체는 정보를 포함할 수 있거나, 온라인 백과 사전, 연감 등과 같은 하나 이상의 다른 정보 소스에 링크될 수 있다. 다양한 구현예에서, 인덱스(130) 또는 인덱스(134)는 쿼리(또는 쿼리 용어)와 문서 및/또는 정보 간의 매핑을 포함할 수 있다.
본 명세서에서, 용어 "데이터베이스" 및 "인덱스"는 임의의 데이터 집합을 지칭하기 위해 광범위하게 사용될 것이다. 데이터베이스 및/또는 인덱스의 데이터는 특정 방식으로 구조화될 필요가 없으며 하나 이상의 지리적 위치에 있는 저장 디바이스에 저장될 수 있다. 따라서, 예를 들어, 인덱스(126, 130 및 134)는 다수의 데이터 집합을 포함할 수 있으며, 각각의 데이터 집합은 다르게 구성되고 액세스될 수 있다.
다양한 구현예에서, 하나 이상의 메시지 교환 클라이언트(108), 메시지 교환 엔진(120), 대화형 어시스턴트 모듈(110) 및/또는 대화형 어시스턴트 엔진(122)은 둘 이상의 메시지 교환 클라이언트(108)를 포함하는 메시지 교환 스레드로부터 나오는 하나 이상의 큐를 검출하도록 구성될 수 있다. 다양한 구현예에서, 하나 이상의 큐는 예를 들어 대화형 어시스턴트 모듈(110)에 의해, 상기 메시지 교환 스레드로의 다양한 정보의 통합을 트리거할 수 있다. 이 정보는 이들에 한정되는 것은 아니지만, 메시지 교환 스레드와 구별되는 애플리케이션에 링크될 수 있는 하나 이상의 선택 가능한 애플리케이션 링크, 인덱싱 엔진(128) 및/또는 정보 엔진(132)에 의해 검색된 정보 및/또는 문서, 사용자 데이터(112)에 포함된 개인들과 관련된(예를 들어, 개인들에 의해 통제되는) 정보를 포함할 수 있다.
일부 구현예에서, 큐는 다수의 메시지 교환 클라이언트(108) 간의 메시지 교환 스레드의 컨텐츠로부터 생성될 수 있다. 예를 들어, 하나 이상의 애플리케이션과 관련된 엔티티 또는 키워드/키 구(phrase)를 언급하는 하나 이상의 참가자는 하나 이상의 애플리케이션에 대한 하나 이상의 선택 가능한 애플리케이션 링크를 메시지 교환 스레드로 통합하는 큐를 구성할 수 있다. 큐의 다른 예는 하나 이상의 참여자가 애플리케이션과 연관된 패턴 또는 템플릿과 매치하는 다른 참여자에게 지시한 명령문이다. 또 다른 구현예에서, 큐가 더 명백할 수 있다. 예를 들어, 사용자는 대화형 어시스턴트 모듈로 지시하는 스레드에 "안녕 BOT, 샌프란시스코의 날씨는 어때?"와 같은 메시지를 입력할 수 있다. 이는 대화형 어시스턴트 모듈이 샌프란시스코의 날씨에 관한 정보를 메시지 교환 스레드의 전사 및/또는 샌프란시스코 날씨로 이미 사전로드된 날씨 애플리케이션에 대한 링크로 통합하도록 프로프트할 수 있다.
일부 구현예에서, 지식 시스템(102)은 예를 들어, 정보 엔진(132) 및/또는 다른 컴포넌트의 일부로서, 알려진 엔티티(예컨대, 사람, 장소, 사물)의 기록 및 알려진 엔티티 간의 관계를 포함하는 소위 지식 베이스(base)를 가질 수 있다. 일부 구현예에서, 그러한 지식 베이스는 노드가 엔티티를 나타내고, 에지가 엔티티 간의 관계를 나타내는 그래프로서, 예를 들어 인덱스(134)에서 구현될 수 있지만, 이것은 필수는 아니다. 이러한 일부 구현예에서, 그러한 지식 베이스로부터의 엔티티들에 관한 정보는 메시지 교환 엔진(120), 하나 이상의 메시지 교환 클라이언트들(108), 대화형 어시스턴트 모듈(110) 및/또는 대화형 어시스턴트 엔진(122)과 같은 컴포넌트들에 이용 가능하게 될 수 있다. 그런 다음, 이들 컴포넌트는 엔티티 정보를 사용하여 하나 이상의 개인 및 대화형 어시스턴트 모듈(110) 간의 메시지 교환 스레드 또는 다른 대화의 컨텐츠에 요구되거나 관련된 정보를 식별할 수 있다.
상술한 바와 같이, 다양한 구현예에서, 개인과 관련되거나 개인에 의해 통제되는 사용자 데이터(112)는 제한될 수도 있고 또는 제한되지 않을 수도 있다. 예를 들어, 제1 개인은 전화 연락처 목록, 소셜 네트워크 등과 같이 하나 이상의 소스로부터의 연락처를 포함하는 연락처 목록를 가질 수 있다. 디폴트로, 제1 개인의 연락처 정보는 임의의 클라이언트 디바이스(106)상에서 동작하는 대화형 어시스턴트 모듈(110)과 같은 컴포넌트가 그 정보를 공개하거나 그룹 컨텍스트 내의 다른 개인들에게 이용 가능하게 하기 전에 제1 개인으로부터 승인을 획득해야 한다는 점에서 제한적이라고 여겨질 수 있다.
제1 개인 또는 다른 개인이 대화형 어시스턴트 모듈(110)로부터 연락처 정보를 요청한다고 가정한다. 예를 들어, 대화형 어시스턴트 모듈(110)에 의해, 제1 개인과 대화형 어시스턴트 모듈(110) 사이의 대화가 적어도 제2 개인에 의해 감각적으로 인식될 수 있고, 및/또는 컴퓨터 생성 음성 출력, 시각적 출력(예를 들어, 문자 메시지 교환 스레드의 메시지) 등과 같이 대화형 어시스턴트 모듈(110)에 의해 사용되는 출력 양식(감각 유형)이 둘 이상의 개인 그룹에 의해 감각적으로 인지될 수 있다고 결정될 수 있다. 이러한 결정에 따라, 대화형 어시스턴트 모듈(110)은 잠재적으로 제한된 대화형 어시스턴트 모듈에 의해 자동으로 대화에 통합되거나 출력되도록 컨텐츠를 식별할 수 있다. 그런 다음, 대화형 어시스턴트 모듈110)은 제한된 컨텐츠를 인지할 수 있는 하나 이상의 다른 개인이 그렇게 하도록 승인되었다는 결정에 응답하여 제한된 컨텐츠를 대화에 조건부로 통합할 수 있다.
도 2는 스벤이라는 사용자에 의해 동작되는 예시적인 클라이언트 디바이스(206)를 나타낸다. 클라이언트 디바이스(206)는 클라이언트 디바이스(206)상에서 동작하는 메시지 교환 클라이언트(도 2에 미도시)와 관련된 그래픽 사용자 인터페이스(250)를 포함한다. 그래픽 사용자 인터페이스(250)는 스벤과 2명의 다른 사용자(존 및 데니스) 사이의 메시지 교환 스레드 또는 텍스트 대화의 전사 (transcript)(252)을 디스플레이한다. 그래픽 사용자 인터페이스(250)는 또한 스벤이 예를 들어 다른 두 참여자에 의한 이전 진술에 응답하여 텍스트 또는 다른 컨텐츠를 메시지 교환 스레드에 입력하는데 사용할 수 있는 텍스트 입력 필드(254)를 포함한다.
이 예에서, 스벤이 연락처 목록에 "팀 데이비스"라는 사람의 연락처 정보를 가지고 있다고 가정한다. 존은 최근에 팀 데이비스를 보았다고 말했다. 데니스는 "그[팀 데이비스]의 전화 번호는 무엇입니까?"라고 물었다. 클라이언트 디바이스(206)(또는 존 또는 데니스에 의해 동작되는 다른 클라이언트 디바이스)상에서 동작하는 대화형 어시스턴트 모듈(110)(스벤에 서비스를 제공하거나 그렇지 않으면 스벤과 특별히 관련될 수 있는)은 스벤이 이전에 그의 연락처 목록의 공개를 승인(허가)했는지 여부를 결정할 수 있고 및/또는 팀 데이비스의 연락 정보의 공개를 구체적으로 승인했는지 여부를 결정할 수 있다. 이 예에서, 대화형 어시스턴트 모듈(110)은 스벤이 팀 데이비스의 연락 정보의 공개를 이전에 승인했음을 결정했다. 따라서, 대화형 어시스턴트 모듈 110(도 2 및 다른 도면에서 "IAM")은 팀 데이비스의 연락처 정보를 메시지 교환 스레드에 자동으로 통합함으로써 응답한다.
개인은 다양한 방식으로 그 개인과 관련된(예를 들어, 통제되는) 사용자 데이터(112)에 포함된 제한된 컨텐츠의 공개를 승인할 수 있다. 일부 구현예에서, 개인은 자신의 시간에, 하나 이상의 클라이언트 디바이스(106)와 동작하거나 그렇지 않으면 상호 작용하여 사용자 데이터(112)에 포함된 특정 컨텐츠 아이템을 선제적으로 승인할 수 있다. 예를 들어, 스벤은 스벤의 연락처 목록 내의 하나 이상의 연락처를 공개하기 위해 (예를 들어, 스벤 또는 다른 사람을 서비스하는) 하나 이상의 대화형 어시스턴트 모듈(110)을 선제적으로 승인할 수 있다. 개인은 (예를 들어, 음성 명령을 사용하여) 대화형 어시스턴트 모듈(110)에 지시함으로써 하나 이상의 그래픽 사용자 인터페이스의 사용하는 것과 같은 다양한 방식으로 공개를 승인할 수 있다.
일부 구현예에서, 그 개인에 의해 통제되는 제안된 컨텐츠를 공개하기 위해 상기 개인으로부터의 허가를 요청(solicit)하도록 개인에게 별도의 출력이 제공될 수 있다. 상기 요청은 예를 들어, 공개될 경우 제한된 컨텐츠를 인식하는 다른 개인이 제한된 공개를 인식할 권한이 없다는(인식도록 승인되지 않았다는) 결정에 응답하여 제공될 수 있다. 일부 구현예에서, 승인 유도 출력은 다른 사람에 의해 감각적으로 인식될 수 없는 상이한 출력 양식(감각 유형)을 사용하여 통제하는 개인 (controlling individual)에게 제공되거나 제공되지 않을 수 있다.
이것의 예가 도 3에 도시되어 있다. 스벤에 의해 작동되는 스마트 워치 형태의 다른 클라이언트 디바이스(306)는 클라이언트 디바이스(306)상에서 동작하는 (도 3에 구체적으로 도시되지 않은) 메시지 교환 클라이언트와 관련된 그래픽 사용자 인터페이스(350)를 포함한다. 그래픽 사용자 인터페이스(350)는 스벤과 대화형 어시스턴트 모듈(110) 사이에 별도의 전사(352) 또는 텍스트 대화를 디스플레이한다. 스벤이 자신의 스마트 폰(도 2의 클라이언트 디바이스(206))상의 존 및 데니스와의 주 메시지 교환 스레드에 참여하고 있다고 가정하자. 도 3에서, 스벤은 대화형 어시스턴트 모듈(110)로부터 팀 데이비스의 연락처 정보를 공개하기 위한 승인을 구하는 별도의 메시지를 수신했다. 스벤은 "예" 버튼(366i) 또는 "아니오" 버튼(3662)을 눌러, 도 2의 메시지 교환 스레드(252)내의 팀 데이비스의 연락 정보를 공개하도록 대화형 어시스턴트 모듈(110)을 각각 승인 또는 비승인할 수 있다. 일부 구현예에서, 예를 들어, 스벤이 나중에 승인을 촉구(prompt)하지 않도록(즉, 스벤의 응답이 "영속성(durable)"이어서 앞으로 적용될) 공개를 영구적으로 제한하거나 승인하기 위해 벤에 의해 추가 버튼(3663 및/또는 3664)이 선택될 수 있다. 도 3에 도시된 요청은 존이나 데니스에게 인식되지 않는 스벤의 스마트 워치를 사용하여 이루어지기 때문에, 스벤은 팀 데이비스의 연락처 정보에 대한 액세스를 신중하게 허용하거나 거부할 수 있다. 이메일, 캘린더, 별명, 작업 목록, 개인 데이터 등과 같이 스벤에 의해 통제되는 임의의 제한된 컨텐츠에도 동일한 원칙이 적용될 수 있다.
도 3의 예에서, 제한된 컨텐츠를 공개하기 위한 승인 요청 출력은 스벤, 존및 데니스 간의 메시지 교환 스레드에 사용된 것과 별개의 양식을 사용하여 스벤에게 제공된다. 그러나, 이것은 제한하려는 것은 아니다. 다양한 구현에서, 그러한 요청은 동일한 출력 양식을 사용하여 제공될 수 있다. 도 4에서, 예를 들어, 두 명의 개인(데이비드 및 사라)은 독립형 음성-작동 제품(106N+1과 유사한)의 형태로 클라이언트 디바이스(406)와 함께 위치(co-present, 공존)한다. 사라는 데이비드에게 "제프의 전화 번호를 알고 있니?"라고 묻는다. 데이비드가 응답할 기회를 갖기 전에(또는 아마 데이비드가 전화 번호를 기억하지 못한다고 표시한 후에), 클라이언트 디바이스(406)에서 동작하는 대화형 어시스턴트 모듈(도 4에 미도시된, 도 1의 110 참조)은 "데이비드, 제프의 전화 번호를 제공해도 괜찮아?"라고 질문한다. 데이비드는 "그래, 괜찮아."라고 응답함으로써 인증을 제공한다. 클라이언트 디바이스(406)는 사라가 들을 수 있도록 체프의 전화 번호를 큰소리로 말한다.
대화형 어시스턴트 모듈이 사라가 존재하는 것으로 구체적으로 식별하고 (예를 들어, 데이비드의 연락 목록으로부터) 그녀의 연락처 정보를 갖는 다른 구현예에서, 대화형 어시스턴트 모듈은 추가 또는 대안적으로 사라에게 문자 메시지와 같은 또 다른 양식을 사용하여 제프의 전화 번호를 사라에게 제공할 수 있으므로, 사라는 이를 기록하거나 기억할 필요가 없다. 또한, 다른 실시예에서, 클라이언트 디바이스(406)는 데이비드에게 문자 메시지 또는 다른 유사 통신(예를 들어 도 3에 도시된 것과 같은)을 개별적으로(및 일부 경우 신중하게) 전송하여, 데이비드가 제프의 전화 번호를 공개하기 위한 권한을 얻도록 요구할 수 있다.
도 1을 다시 참조하면, 대화형 어시스턴트 모듈(110) 및/또는 대화형 어시스턴트 엔진(122)은 제1 개인과 대화형 어시스턴트 모듈(110) 사이의 대화가 적어도 하나 이상의 다른 개인에 의해 감각적으로 인식될 수 있는지를 결정할 수 있거나, 대안적으로 대화형 어시스턴트 모듈(110)에 의해 사용된 출력 양식(감각 유형)이 둘 이상의 개인들의 그룹에 의해 다양한 방식으로 감각적으로 인식될 수 있는지를 결정할 수 있다. 다수의 개인이 클라이언트 디바이스들(1061-N) 사이의 경우와 같이 개별 클라이언트 디바이스에서 동작하는 각각의 메시지 교환 클라이언트(108)를 사용하여 문자 메시지 교환 스레드에 참여하는 시나리오에서, 다수의 개인이 메시지 교환 스레드에 통합된 컨텐츠를 인식할 것인지를 결정하는 것은 간단할 수 있다. 대화형 어시스턴트 모듈(110) 및/또는 대화형 어시스턴트 엔진 (122)은 간단히 개인 메시지들의 송신자 및 / 또는 수신자를 보유할 수 있다.
그러나, 여러 개인이 독립형 음성-작동 제품(106N+1과 유사한)과 함께 제공되는(공존하는) 시나리오에서, 대화형 어시스턴트 모듈(110)에 의해 제공되는 출력이 다수의 개인에 의해 감각적으로 인식될 수 있는지를 결정하기 위해 부가적인 신호가 고려될 수 있으며, 그 중 일부는 제한된 컨텐츠를 인식하도록 이전에 승인되었거나 승인되지 않았을 수 있다. 일부 구현예에서, 대화형 어시스턴트 모듈(110)은 다수의 개인이 함께 위치할(공존)할 가능성이 있는지 결정하기 위해 다양한 사용자 데이터(112)를 검사할 수 있다. 예를 들어, 일부 구현예에서, 대화형 어시스턴트 모듈(110)은 예를 들어, 대화형 어시스턴트 모듈(110) 및/또는 (대화형 어시스턴트 모듈이 캘린더 항목를 보도록 승인되었다고 가정하는) 연관된 다른 개인들에 의해 서비스되는 개인과 관련된 하나 이상의 캘린더 항목을 검사하여, 상기 개인이 다른 개인들과의 회의가 예정되어 있는지 결정할 수 있다.
다른 구현들에서, 대화형 어시스턴트 모듈(110)은 개인이 특정 시간 및 장소에서 다른 개인들과 만날 의사가 있는지를 결정하는 역할을 하는 개인과 관련된 이메일 스레드들 및/또는 문자 메시지들을 검사할 수 있다. 일부 구현예에서, 대화형 어시스턴트 모듈(110)은, 예를 들어, 서비스되는 개인(예를 들어, 친구, 연결 상대 등)과 관련된, 예를 들어 다른 개인들의 소셜 네트워크 활동과 관련하여 서비스하는 개인의 소셜 네트워크 활동을 검사하여, 예를 들어, 개인이 파티에 참석하거나 특정 이벤트 및/또는 장소에서 "체크인"했는지 여부를 결정할 수 있다.
다른 구현들에서, 상호 작용 어시스턴트 모듈(110)은 사용자 데이터(112)와 관련될 수도 있고 그렇지 않을 수도 있는 다른 신호들을 검사하여 다수의 개인들의 공존을 결정할 수 있다. 예를 들어, 독립형 음성-작동 제품(106N+1)상에서 동작하는 대화형 어시스턴트 모듈(110N+1)은 독립형 음성-작동 제품(106N+1)과 일체형이거나 그와 통신하는 마이크로폰과 같은 하나 이상의 오디오 센서에 의해 생성된 하나 이상의 오디오 신호를 분석하여, 다수의 개인이 공존하는지 결정할 수 있다. 일부 구현예에서, 독립형 음성-작동 제품(106N+1)은 오디오 신호에 기초하여, 다수의 개인이 공존함을 간단히 검출할 수 있지만, 검출된 개인의 신원을 결정할 필요는 없다. 일부 구현예에서, 하나 이상의 모션 센서는 예를 들어 하나 이상의 클라이언트 디바이스(106)와 통합되어 다수의 개인의 공존을 검출할 수 있다.
일부 구현예에서, 다수의 개인들의 공존을 검출하는데 사용되는 하나 이상의 신호는 제한된 컨텐츠를 잠재적으로 공개할 클라이언트 디바이스(106)를 휴대하는 개인의 위치 좌표와 다수의 개인이 거주할 가능성이 있다고 알려진 위치 사이의 대응 관계를 포함할 수 있다. 개인이 클라이언트 디바이스(106)를 대중 음식점 또는 카페와 같은 공공 장소로 휴대(이동)한다고 가정한다. 클라이언트 디바이스(106)의 위치 좌표 성분(미도시)은 GPS, (예를 들어, Wi-Fi 또는 셀룰러 무선 신호를 이용하는) 삼각 측량 등과 같은 다양한 기술을 사용하여, 개인이 다른 사람들이 거주할 가능성이 있는 위치에 있는지를 결정할 수 있다. 다른 구현예에서, 개인은 단순히 "위험한" 또는 "공공의"로 공간을 지정하여, 클라이언트 디바이스(106)가 그 공간 내에 있음을 검출할 때마다 대화형 어시스턴트 모듈(110)은 다른 잠재적인 미승인된 개인들이 존재한다고 가정할 수 있다.
일부 구현예에서, 하나 이상의 자동차 시트 센서는 다수의 개인의 공존을 결정하기 위해 대화형 어시스턴트 모듈(110)이 사용될 수 있는 신호를 제공할 수 있다. 대화형 어시스턴트 모듈(110)이 차량(예를 들어, 차량용 네비게이션 시스템 또는 차량 매체를 제어하는 시스템)과 통합된 컴퓨팅 디바이스상에서 작동한다고 가정한다. 개인들이 그 시트들에 앉아있을 때를 감지하는 차량의 시트들 상에 하나 이상의 프레즌스 센서가 채용될 수 있다. 센서들은, 예를 들어, 시트에 앉아 있는 개인의 체중을 검출하고, 시트 벨트가 체결되었음을 검출하고 및/또는 하나 이상의 카메라를 사용하여 승객의 존재를 가시적으로 검출할 수 있다. 어느 유형의 센서가 채용되든지, 이들 센서에 의해 제공된 프레즌스 신호는 대화형 어시스턴트 모듈(110)에 의해 사용되어, 제한된 컨텐츠를 인식할 권한을 가질 수도 있고 가지지 않을 수도 있는 차량에 다수의 승객이 있는지를 결정할 수 있다.
일부 구현예에서, 대화형 어시스턴트 모듈(110)은 검출된 공존의 이력에 기초하여 다수의 개인의 잠재적인 공존을 결정할 수 있다. 예를 들어, 클라이언트 디바이스(106)가 소정 요일의 소정 시간에서 다수의 개인이 공존함(예를 들어, 식탁에서, 주간 회의 동안 등)을 검출했다고 가정한다. 시간이 지남에 따라, 대화형 어시스턴트 모듈(110)은 이러한 반복되는 공존 인스턴스를 학습할 수 있으므로, 미래의 시간/장소에서, 대화형 어시스턴트 모듈(110)은 개인이 달리 명시하지 않는 한, 다수의 개인이 공존할 것으로 간단히 추정할 수 있다.
일부 구현예에서, 독립형 음성-작동 제품(106N+1)은 다른 사람들의 단순한 공존에 더하여, 공존하고 있는 특정 사람들의 신원을 검출하도록 구성될 수 있다. 예를 들어, 일부 구현예에서, 독립형 음성-작동 제품(106N+1)은 그들의 음성에 기초하여 특정 사람들을 식별하도록 (예를 들어, 훈련을 통해) 구성된 음성-인식 소프트웨어를 포함할 수 있다. 예를 들어, 독립형 음성-작동 제품(106N+I)이 가정 또는 사무실에 배치되는 경우, 가족, 친구, 직원 등과 같은 개인들의 음성을 인식하기 위해 (예를 들어, 기계 학습 기술, 신경망 등을 사용하여) 시간 경과에 따라 훈련될 수 있다.
다른 구현예에서, 독립형 음성-작동 제품(106N+1)은 클라이언트 디바이스(106)와 관련된 하나 이상의 무선 신호 또는 공존하는 다양한 개인에 의해 휴대되는 단순 태그(simple tags)(예를 들어, RFID 기술이 통합된 ID 배지)를 검출할 수 있다. 일부 구현예에서, 독립형 음성-작동 제품(106N+1)은 어떤 클라이언트 디바이스(106)가 현재 접속되어 있는지를 결정하기 위해 Wi-Fi 라우터를 폴링할 수 있고, 몇몇 경우에, 예를 들어, 룩업 테이블, 디바이스 이름 등을 사용하여 클라이언트 디바이스(106)를 특정 개인과 관련시킬 수 있다. 다른 구현예에서, 독립형 음성-작동 제품(106N+1)은 블루투스 신호, 광 신호 등과 같은 하나 이상의 클라이언트 디바이스로부터 직접 나오는 하나 이상의 무선 신호를 검출할 수 있다. 일부 구현예에서, 상술한 공존 정보의 이력은 특정 개인들이 전형적으로 공존하는 정보를 포함할 수 있으므로, 대화형 어시스턴트 모듈은 그러한 개인들이 미래의 특정 시간/장소에서 공존한다고 추정할 수 있다.
대화형 어시스턴트 모듈(110)이 공존하는 개인들의 특정 신원을 결정할 수 있는 구현예에서, 대화형 어시스턴트 모듈(110)은 특정 개인에 의해 통제되는 특정 컨텐츠가 공존하는 개인들에 대한 공개를 위해 승인되었는지 여부를 결정하도록 구성될 수 있다. 도 5a 내지 도 5c는 이러한 예를 도시한다. 도 5a에서, 사라와 데이비드는 다시 음성-작동 제품(506)과 공존한다. 이들이 공존하는 동안, 이들은 대화형 어시스턴트 모듈(110)이 독립형 음성-작동 제품(506)상에서 실행되어, 하나 또는 둘 모두의 개인에 의해 통제되는 다양한 제한적 컨텐츠를 (예를 들어, 크게) 공개하게 하는 대화를 갖는다고 가정한다. 특히, 하나 또는 둘 모두의 개인은 대화 중에 대화형 어시스턴트 모듈(110)이 특정 사용자 데이터(112)를 공개하기 위한 권한을 제공한다고 가정한다. 대화형 어시스턴트 모듈은, 대화형 어시스턴트 모듈 (110)이 차후에 제한된 컨텐츠를 공개하도록 승인되었는지 여부를 결정할 수 있는, 예를 들어 그룹 식별자를 이용하여 데이비드와 사라를 그룹에 관련시킬 수 있다.
도 5b에서, 데이비드와 사라는 다시 한 번 공존하지만, 이번에는 데니스도 함께 한다. 데니스는 도 5a에 도시된 대화에 참여하지 않았다. 결과적으로, 데니스는 도 5a의 대화 중에 대화형 어시스턴트 모듈(110)에 의해 생성된 그룹과 관련될 수 없다. 그러나, 데니스가 공존하고 있기 때문에, 독립형 음성-작동 제품(506)에 의해(예를 들어, 그 위에서 실행되는 대화형 어시스턴트 모듈(110)에 의해) 제공된 임의의 가청 출력은 데니스에 의해 인식될 수 있다. 도 5b에서의 개별 공존이 독립형 음성-작동 제품(506)상에서 동작하는 대화형 어시스턴트 모듈(110)을 요구하거나 촉구하여, 도 5a의 대화 동안 공개하도록 승인된 제한된 컨텐츠를 공개한다고 가정한다. 대화형 어시스턴트 모듈(110)은 존재하는 개인(사라, 데니스, 데이비드)이 도 5a에서 이전에 설정된 그룹(사라, 데이비드)과 매치하지 않는다고 결정할 수 있다. 따라서, 대화형 어시스턴트 모듈(110)은 데니스가 인식할 수 있는 방식으로 상기 제한된 컨텐츠를 공개하기 전에, 제한된 컨텐츠를 공개하는 것을 거절하거나, 또는 적어도 상기 제한된 컨텐츠를 통제하는 개인에게 승인을 촉구할 수 있다.
차후에, 사라 및 데니스가 도 5c에 도시된 바와 같이, 독립형 음성-작동 제품(506)과 다시 공존한다고 가정한다. 데니스는 더 이상 공존하지 않는다. 독립형 음성-작동 제품(506)에서 실행되는 대화형 어시스턴트 모듈(110)은 도 5a의 대화 중에 존재하는 동일한 개인 그룹이 다시 한번 어셈블된(형성된) 것으로 결정할 수 있다. 해당 결정에 기초하여, 사라 또는 데니스는 도 5a의 대화 중에 승인된 바와 같은 유사한 제한된 컨텐츠를 제공하도록 대화형 어시스턴트 모듈(110)에 요청하거나 촉구하면, 대화형 어시스턴트 모듈(110)은 그렇게 할 수 있다. 물론, 이전에 승인되지 않은 제한된 컨텐츠를 공개하도록 개인이 대화형 어시스턴트 모듈(110)에 요청하거나 촉구하면, 대화형 어시스턴트 모듈(110)은 다시 공개를 거부하고 및/또는 승인을 요청할 수 있다.
도 5a 내지 도 5c의 예에서, 대화형 어시스턴트 모듈(110)은 다양한 개인들과 음성-작동 대화에 참여하여 그룹 및 그룹 승인을 설정한다. 그러나, 이들 기술은 다른 시나리오에서도 동일하게 적용될 수 있다. 예를 들어, 사용자 그룹이 온라인 채팅 또는 문자 메시지 교환(즉, 위에서 언급 한 메시지 교환 스레드)에 참여하고, 메시지 교환 중에 참가자가 대화형 어시스턴트 모듈(110)에게 다양한 제한된 컨텐츠를 스레드에 통합할 권한을 부여한다고 가정한다. 동일한 사용자 그룹이 나중에 다른 메시지 교환 스레드에 참여하는 경우(또는 동일한 메시지 교환 스레드를 다시 방문는 경우), 하나 이상의 참가자들과 관련된 하나 이상의 대화형 어시스턴트 모듈(110)은 동일한 그룹 신원이 적용됨을 결정할 수 있고, 따라서 동일하거나 유사한 제한된 컨텐츠를 자유롭게 공개할 수 있다.
일부 구현예에서, 그룹 식별자는 완전히 다른 출력 양식을 갖는 다수의 그룹 컨텍스트에 걸쳐 있을 수 있다. 문자 메시지 교환 스레드(예를 들어, 온라인 채팅, 문자 메시지 교환 등) 동안, 대화형 어시스턴트 모듈(110)이 참가자 그룹과 관련된 그룹 식별자를 설정하고, 특정 제한된 컨텐츠가 해당 그룹에 공개되도록 허가된다고 가정한다. 나중에 동일한 개인 그룹이 독립 실행형 음성-작동 제품(106N+I)과 같은 상이한 클라이언트 디바이스와 물리적으로 동시에 존재(공존)한다고 가정한다. 독립형 음성-작동 제품(106N+I)에서 동작하는 대화형 어시스턴트 모듈 (110N+I)은, 공존하는 것으로 검출된 특정 개인들의 신원에 기초하여, 동일 그룹이 어셈블되었는지를 결정할 수 있다. 일부 구현예에서, 대화형 어시스턴트 모듈 (110N+I)은 동일한 그룹 식별자를 사용하여 어떤 제한된 컨텐츠가 먼저 승인 요청없이 공개될 수 있는지를 통제할 수 있다.
상술한 바와 같이, 하나 이상의 개인에 의해 통제되는 제한된 컨텐츠에는 다양한 컨텐츠가 포함될 수 있다. 일부 구현예에서, 이메일, 소셜 네트워크 프로파일, 연락처 정보, 개인 문서, 캘린더 등과 같이 개인에 의해 통제되는 사용자 데이터(112)를 포함할 수 있다. 일부 구현예에서, 제한된 컨텐츠는 특정 개인에 맞게 조정될 수 있는 컨텐츠를 포함할 수 있다. 예를 들어, 2개 언어를 구사하는 개인이 단독으로 대화형 어시스턴트 모듈(110)과 상호 작용할 때 대화형 어시스턴트 모듈(110)은 중국어로 말하는 반면, 2개 언어를 구사하는 개인이 다른 사람들과 공존하는 경우(또는 다중 참여자 메시지 교환 스레드에 참여하는 경우 ) 대화형 어시스턴트 모듈(110)은 영어로 통신한다.
도 6a 및 도 6b는 다수의 개인이 공존하는지 여부에 따라 제한된 컨텐츠가 조건부로 출력될 수 있는 다른 예를 도시한다. 도 6a에서, 데이비드는 그의 음성-작동 제품(606)과 혼자 있다. 데이비드는 "굿 모닝"이라고 말하고, 음성-작동 제품(606) 상에서 실행되는 대화형 어시스턴트 모듈(110)은 "굿모닝, 폐하."라고 응답한다. 대조적으로, 도 6b에서, 데이비드는 사라와 합류했다. 데이비드는 혼자 있을 때 "폐하"라고 불리기를 원한다고 대화형 어시스턴트 모듈(110)에 표시했을 수도 있다. 따라서, 도 6b에서, 대화형 어시스턴트 모듈(110)은 데이비드가 홀로 있지 않은 것을 검출하고, 대신에 데이비드의 인사에 "굿모닝 데이비드"로 응답한다.
도 6a 및 도 6b는 공존하는 다른 개인이 제한된 컨텐츠를 인식하도록 승인되지 않았다는 결정에 응답하여 제한되지 않은 컨텐츠("폐하")가 제한된 컨텐츠에 대한 대체물로서 대화에 조건부로 통합되는 본 발명의 개념을 설명한다. 이 개념은 다른 시나리오로 확장될 수 있다. 예를 들어, 개인은 자신의 연락처 목록에 있는 전화 번호에 대한 글로벌 허가를 제공할 수 있지만, 전자 메일 주소, 물리적 주소 등과 같은 다른 연락처 정보의 공개는 허가할 수 없다. 대화형 어시스턴트 모듈(110)이 요청되거나 또는 개인의 연락처 목록에 포함된 연락처 정보를 제공하도록 촉구되면, 대화형 어시스턴트 모듈(110)은 다른 개인들이 상기 공개를 인식할 것인지 여부에 따라 전화 정보 또는 모든 연락처 정보만을 조건부로 공개할 수 있다. 또는, 다른 개인이 상기 공개를 인식할 수 있는 경우, 대화형 어시스턴트 모듈(110)은 집 연락처 정보가 아닌 직장 연락처 정보만을 제공할 수 있다. 또 다른 예로서, 대화형 어시스턴트 모듈(110)은 다수의 개인이 공개를 인식할 것인지 여부 또는 특정의 비허가된 개인이 공개를 인식할 수 있는지 여부에 따라 불쾌감을 줄 수 있는 제한된 컨텐츠를 조건부로 공개할 수 있다.
제한된 컨텐츠는 다양한 레벨의 세분화로 공개가 제한되거나 승인될 수 있다. 예를 들어, 일부 경우, 사용자 데이터(112)의 "클래스"가 승인 및/또는 제한될 수 있다. 사용자 데이터(112)의 클래스는 사용자 데이터 유형 또는 하나 이상의 속성을 포함하는 사용자 데이터를 포함할 수 있다. 예를 들어, 개인은 자신의 연락처 목록에 있는 모든 연락처와 관련된 정보를 승인/제한할 수 있다. 다른 예로서, 사용자는 모든 문자(또는 이메일) 메시지와 관련된 정보를 승인/제한할 수 있거나, 소정 사용자에게/로부터의 문자 메시지와 관련된 정보를 승인/제한할 수 있다. 부가적으로 또는 대안적으로, 개인은 모든 캘린더 항목를 선택적으로 승인/제한할 수 있거나, 특정 속성((예를 들어, 주중 약속은 분류되지 않는 반면 주말 약속은 제한될 수 있음)을 갖는 캘린더 항목만을 선택적으로 승인/제한할 수 있다. 물론 개인은 일부 컨텐츠 아이템을 개별적으로 승인하거나 제한할 수 있다. 예를 들어, 개인이 파티를 주최하는 경우 해당 이벤트와 관련된 캘린더 항목을 공개(public)로 지정하거나 파티에 초대된 개인에게 권한을 부여할 수 있다. 개인이 나중에 그룹 토론(메시지 교환 스레드에서 또는 음성-작동 제품이 있을 때 음성으로)에 참여해야 하고 상기 토론에 참여한 다른 개인들도 파티에 초대되어야 한다면, 제한될 수 있는 파티의 세부 사항은 자유롭게 공개될 수 있다. 사용자 데이터의 클래스는 또한 특정 개인이나 그룹에게도 허가될 수 있다. 예를 들어, 경영진의 여행 일정의 세부 사항은 동료에게 전적으로 사용 가능하지만 고객 및/또는 클라이언트에게는 부분적으로만 사용 가능하다.
이제 도 7을 참조하면, 대화형 어시스턴트 모듈이 그룹 컨텍스트 내의 제한된 컨텐츠를 안전하게 액세스하고 공개하는 하나의 예시적인 방법(700)이 기술된다. 편의상, 흐름도의 동작들은 해당 동작들을 수행하는 시스템을 참조하여 설명된다. 이 시스템은 본 명세서에 설명된 다양한 엔진 및/또는 클라이언트 애플리케이션을 포함하여, 다양한 컴퓨터 시스템의 다양한 컴포넌트를 포함할 수 있다. 또한, 방법(700)의 동작들이 특정 순서로 도시되어 있지만, 이는 한정하려는 것이 아니다. 하나 이상의 동작은 재정렬, 생략 또는 추가될 수 있다.
블록(702)에서, 시스템은 제1 개인과 대화형 어시스턴트 모듈(제1 개인을 서비스할 수 있거나 구체적으로 서비스할 수 없는) 사이의 대화가 적어도 제2 개인에 의해 감각적으로 인식될 수 있는지를 결정할 수 있다. 메시지 교환 클라이언트들(108)로 촉진된 메시지 교환 스레드의 컨텍스트에서, 이 동작은 단순히 스레드 내의 다수의 참가자를 식별하는 것을 수반할 수 있다. 제1 개인과의 청각 적 대화에 참여하는 대화형 어시스턴트 모듈의 컨텍스트, 이 동작은 위에서 언급한 신호들 중 하나 이상에 기초하여, 예를 들어 하나 이상의 다른 개인이 공존하기 때문에 제1 개인이 단독이 아니라고 결정하는 것을 포함할 수 있다.
블록(704)에서, 시스템은 예를 들어 개인의 명시적인 요청시 및/또는 하나 이상의 큐에 응답하여 상기 대화형 어시스턴트 모듈에 의해 대화에 자동으로 통합될(포함될) 제한된 컨텐츠를 식별할 수 있다. 예를 들어, 개인이 사진을 요구하면, 시스템은 대화를 인식할 수 있도록 블록(702)에서 결정된 적어도 하나 이상의 개인에 대해, 상기 사진이 공개를 위해 이전에 승인되지 않았다고 결정할 수 있다.
블록(706)에서, 시스템은 제2 개인(또는 존재하는 경우 추가 개인들)이 블록(704)에서 식별된 제한된 컨텐츠를 인식하도록 승인되었는지 여부를 결정할 수 있다. 블록(706)에서 응답이 예(yes)이면, 방법(700)은 블록(708)으로 진행할 수 있다. 블록(708)에서, 시스템은 제한된 컨텐츠를 대화에 통합할 수 있다. 메시지 교환 스레드 컨텍스트에서, 시스템은 제한된 컨텐츠를 메시지 교환 스레드의 일부 또는 모든 참가자가 볼 수 있는 메시지 교환 스레드의 전사에 통합할 수 있다. 음성-작동 제품과 공존(co-present)하는 개인 그룹의 컨텍스트에서, 시스템은 제한된 컨텐츠를 청각적으로 출력할 수 있다.
다시 블록(706)에서, 응답이 아니오(no)이면, 블록(710)에서 시스템은 제한된 컨텐츠를 통제하는 개인에게 출력을 제공하여 제한된 컨텐츠를 공개하는 승인을 요청할 수 있다. 전술한 바와 같이, 일부 구현예에서, 요청은 통제하는 개인 이외의 개인들에 의해 감각적으로 인식될 수 없는 상이한 출력 양식(감각 유형)을 사용하여 제공될 수 있다. 부가적으로 또는 대안적으로, 요청은 동일한 양식을 사용하여 제공될 수 있다. 메시지 교환 스레드 컨텍스트에서, 요청은 통제하는 개인에게 가시적인 전사에만 나타나고 스레드 내의 다른 참여자들에게 가시적인 전사에는 나타나지 않을 수 있다.
블록(712)에서, 통제하는 개인이 승인을 제공하면, 방법(700)은 이전에 설명된 블록(708)으로 진행할 수 있다. 그러나 블록(712)에서의 대답이 아니오이면, 방법(700)은 블록(714)으로 진행할 수 있다. 블록(714)에서, 시스템은 대신에 공개될 수 있는 적절한 대체(즉, 제한되지 않는) 컨텐츠가 존재하는지 여부를 결정할 수 있다. 예를 들어, 위의 별명 예제에서 "데이비드"가 "폐하"로 대체될 수 있다. 블록(714)에서의 응답이 예이면, 블록(716)에서, 블록(708)과 유사하게, 대체의 제한되지 않는 텐츠가 대화에 통합될 수 있다. 그러나, 블록(714)에서의 응답이 아니오이면, 방법(700)은 아무것도 대화에 통합되지 않고 종료될 수 있다.
도 8은 예시적인 컴퓨터 시스템(810)의 블록도이다. 컴퓨터 시스템(810)은 전형적으로 버스 서브 시스템(812)을 통해 다수의 주변 디바이스와 통신하는 적어도 하나의 프로세서(814)를 포함한다. 이들 주변 디바이스는, 예를 들어 메모리 서브 시스템(825) 및 파일 저장 서브 시스템(826), 사용자 인터페이스 출력 디바이스(820), 사용자 인터페이스 입력 디바이스(822) 및 네트워크 인터페이스 서브 시스템(816)을 포함하는 저장 서브 시스템(826)을 포함할 수 있다. 입력 및 출력 디바이스는 사용자가 컴퓨터 시스템(810)과 상호 작용할 수 있게 한다. 네트워크 인터페이스 서브 시스템(816)은 외부 네트워크에 인터페이스를 제공하고 다른 컴퓨터 시스템의 대응 인터페이스 디바이스에 연결된다.
사용자 인터페이스 입력 디바이스(822)는 키보드, 포인팅 디바이스(예컨대, 마우스, 트랙볼, 터치 패드 또는 그래픽 태블릿), 스캐너, 디스플레이에 통합된 터치 스크린, 음성 인식 시스템과 같은 오디오 입력 디바이스, 마이크로폰 및/또는 다른 유형의 입력 디바이스를 포함할 수 있다. 일반적으로, "입력 디바이스"라는 용어의 사용은 정보를 컴퓨터 시스템(810) 또는 통신 네트워크 상에 입력하는 모든 가능한 유형의 디바이스 및 방법을 포함하도록 의도된다.
사용자 인터페이스 출력 디바이스(820)는 디스플레이 서브 시스템, 프린터, 팩스 기계, 또는 오디오 출력 디바이스와 같은 비-시각적 디스플레이를 포함할 수 있다. 디스플레이 서브 시스템은 음극선관(CRT), 액정 디스플레이(LCD)와 같은 평판 디바이스, 프로젝션 디바이스, 또는 가시적 이미지를 생성하기 위한 다른 메커니즘을 포함할 수 있다. 디스플레이 서브 시스템은 또한 오디오 출력 디바이스를 통한 비-시각적 디스플레이를 제공할 수 있다. 일반적으로, "출력 디바이스"라는 용어의 사용은 컴퓨터 시스템(810)으로부터 사용자 또는 다른 기계 또는 컴퓨터 시스템으로 정보를 출력하는 모든 가능한 유형의 디바이스 및 방법을 포함하도록 의도된다.
저장 서브 시스템(826)은 본 명세서에 설명된 일부 또는 모든 모듈의 기능을 제공하는 프로그래밍 및 데이터 구성을 저장한다. 예를 들어, 저장 서브 시스템 (826)은 방법(700)의 선택된 양태들을 수행하고 및/또는 클라이언트 디바이스(106) 및/또는 지식 시스템(102)의 하나 이상의 컴포넌트를 구현하기 위한 로직을 포함할 수 있다.
이들 소프트웨어 모듈은 일반적으로 프로세서(814) 단독으로 또는 다른 프로세서와 조합하여 실행된다. 저장 서브 시스템(826)에서 사용되는 메모리(825)는 프로그램 실행 중에 명령 및 데이터의 저장을 위한 메인 랜덤 액세스 메모리 (RAM)(830) 및 고정된 명령이 저장되는 판독 전용 메모리(ROM)(832)를 포함하는 다수의 메모리를 포함할 수 있다. 파일 저장 서브 시스템(826)은 프로그램 및 데이터 파일을 저장하기 위한 영구 저장 디바이스를 제공할 수 있으며, 하드 디스크 드라이브, 관련 이동식 매체와 함께 플로피 디스크 드라이브, CD-ROM 드라이브, 광 드라이브 또는 이동식 매체 카트리지를 포함할 수 있다. 소정 구현예의 기능을 구현하는 모듈은 스토리지 서브 시스템(826)의 파일 저장 서브 시스템(826) 또는 프로세서(들)(814)에 의해 액세스 가능한 다른 머신에 의해 저장될 수 있다.
버스 서브 시스템(812)은 컴퓨터 시스템(810)의 다양한 컴포넌트 및 서브 시스템들이 의도된 바와 같이 서로 통신하게 하는 메커니즘을 제공한다. 버스 서브 시스템(812)은 단일 버스로서 개략적으로 도시되어 있지만, 버스 서브 시스템의 다른 구현예는 다수의 버스를 사용할 수 있다.
컴퓨터 시스템(810)은 워크스테이션, 서버, 컴퓨팅 클러스터, 블레이드 서버, 서버 팜, 또는 임의의 다른 데이터 처리 시스템 또는 컴퓨팅 디바이스를 포함하는 다양한 유형일 수 있다. 컴퓨터 및 네트워크의 끊임없이 변화하는 특성으로 인해, 도 8에 도시된 컴퓨터 시스템(810)의 설명은 단지 일부 구현예를 설명하기 위한 특정 예로서만 의도된다. 컴퓨터 시스템(810)의 많은 다른 구성은 도 8에 도시된 컴퓨터 시스템보다 더 많거나 적은 컴포넌트를 가질 수 있다.
본 명세서에 설명된 시스템이 사용자에 관한 개인 정보를 수집하거나 개인 정보를 사용할 수 있는 상황에서, 사용자는 프로그램 또는 특징이 사용자 정보(예를 들어, 사용자의 소셜 네트워크, 사회적 행동이나 활동, 직업, 사용자의 선호도 또는 사용자의 현재 지리적 위치에 대한 정보)를 수집하는지 여부를 제어하거나, 사용자에게 더 관련이 있는 컨텐츠 서버로부터 컨텐츠를 수신할지 여부 및/또는 수신 방법을 제어할 수 있는 기회를 제공받을 수 있다. 또한, 소정 데이터는 개인 식별 정보가 제거될 수 있도록 저장 또는 사용되기 전에 하나 이상의 방법으로 취급될 수 있다. 예를 들어, 사용자의 신원은 사용자에 대해 개인 식별 가능한 정보가 결정될 수 없도록 처리되거나, 사용자의 특정 지리적 위치가 결정될 수 없도록 지리적 위치가 지리적 위치 정보가 획득되는 곳(예를 들어 도시, 우편 번호 또는 주 수준)으로 일반화될 수 있다. 따라서, 사용자는 사용자에 관한 정보 수집 방법 및/또는 사용 방법을 제어할 수 있다.
몇몇 구현예가 본 명세서에서 설명되고 도시되었지만, 기능을 수행하고 및/또는 결과를 획득하고 및/또는 본 명세서에 기술된 하나 이상의 이점을 위해 다양한 다른 수단 및/또는 구조가 이용될 수 있으며, 그러한 변형 및/또는 수정들 각각은 본 명세서에서 설명된 구현예들의 범위 내에 있는 것으로 간주된다. 보다 일반적으로, 본 명세서에 기술된 모든 파라미터, 치수, 재료 및 구성은 예시적인 것이며, 실제 파라미터, 치수, 재료 및/또는 구성은 특정 애플리케이션 또는 그 교시가 사용되는 애플리케이션에 따라 좌우될 것이다. 당업자는 일상적인 실험만을 사용하여 본 명세서에 설명된 특정 구현예에 대한 다수의 등가물을 인식할 수 있거나 또는 확인할 수 있을 것이다. 따라서, 전술한 구현예는 단지 예로서 제시되고, 첨부된 청구 범위 및 그 등가물의 범위 내에서 구현은 구체적으로 기술되고 청구된 것과 다르게 실시될 수 있음을 이해해야 한다. 본 발명의 구현예는 본 명세서에 기술된 각각의 개별적인 특징, 시스템, 물품(article), 재료, 키트 및/또는 방법에 관한 것이다. 또한, 그러한 특징, 시스템, 물품, 재료, 키트 및/또는 방법이 서로 불일치하지 않는 경우, 둘 이상의 그러한 특징, 시스템, 물품, 재료, 키트 및/또는 방법의 임의의 조합은 본 발명의 범위 내에 포함된다.

Claims (20)

  1. 하나 이상의 프로세서를 사용하여 구현되는 방법으로서,
    제1 개인과 대화형 어시스턴트 소프트웨어 모듈 사이의 자연어 대화(dialog)에 참여하도록 제1 컴퓨팅 디바이스의 대화형 어시스턴트 소프트웨어 모듈을 작동시키는 단계와;
    자연어 대화가 적어도 제2 개인에게 감각적으로 인식 가능하다고 결정하는 단계와, 상기 결정 단계는 하나 이상의 신호에 기초하여, 제2 개인이 제1 컴퓨팅 디바이스에 근접한 것으로 결정하는 단계를 포함하고;
    제1 또는 제2 개인에 의해 제공된 자연어 입력에 응답하여 대화형 어시스턴트 소프트웨어 모듈에 의해 출력될 제한 컨텐츠(restricted content)를 식별하는 단계와, 상기 제한 컨텐츠에 대한 액세스는 제1 개인에 의해 통제되고;
    제1 개인 소유의 제2 컴퓨팅 디바이스에 렌더링된 그래픽 사용자 인터페이스 상에, 제한 컨텐츠를 출력하기 위해 대화형 어시스턴트 소프트웨어 모듈에 대한 승인을 제1 개인으로부터 요청하는 프롬프트를 제공하는 단계와;
    제1 개인으로부터 제2 컴퓨팅 디바이스에서, 제한 컨텐츠를 출력하기 위해 대화형 어시스턴트 소프트웨어 모듈에 대한 승인을 요청하는 프롬프트에 대한 응답을 수신하는 단계와;
    대화형 어시스턴트 소프트웨어 모듈에 의해, 대화형 어시스턴트 소프트웨어 모듈이 제한 컨텐츠를 출력하도록 승인하는 응답에 기초하여 제한 컨텐츠를 조건부로 출력하는 단계와; 그리고
    대화형 어시스턴트 소프트웨어 모듈에 의해, 대화형 어시스턴트 소프트웨어 모듈이 제한 컨텐츠를 출력하도록 승인하지 않은 응답에 기초하여 제한 컨텐츠 대신에 비제한 컨텐츠를 조건부로 출력하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 제2 컴퓨팅 디바이스는 스마트 폰인 것을 특징으로 하는 방법
  3. 제1항에 있어서,
    상기 제2 컴퓨팅 디바이스는 스마트 워치인 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 제2 컴퓨팅 디바이스는 스마트 글래스인 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 비제한 컨텐츠는 자연어 출력으로서 조건부로 출력되는 것을 특징으로 하는 방법.
  6. 제5항에 있어서,
    상기 비제한 컨텐츠는 제1 개인에 의해 이해되지만 제2 개인에 의해 이해되지 않는 언어로 렌더링된 제한 컨텐츠를 포함하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    상기 제한 컨텐츠는 자연어 출력으로서 조건부로 출력되는 것을 특징으로 하는 방법.
  8. 제7항에 있어서,
    상기 제한 컨텐츠는 제2 개인에 의해 이해되는 언어로 조건부로 출력되는 것을 특징으로 하는 방법.
  9. 제7항에 있어서,
    상기 제한 컨텐츠는 제1 및 제2 개인 모두에 의해 이해되는 언어로 조건부로 출력되는 것을 특징으로 하는 방법.
  10. 제1항에 있어서,
    상기 하나 이상의 신호는,
    제1 및 제2 개인의 공존을 나타내는 캘린더 항목;
    오디오 센서에 의해 생성된 오디오 신호;
    제1 개인의 위치 좌표와 다수의 개인들이 거주할 가능성이 있는 것으로 알려진 위치 사이의 대응 관계;
    하나 이상의 카 시트 센서 신호; 또는
    다른 사람들과의 제1 개인의 공존 이력 중 하나 이상을 포함하는 것을 특징으로 하는 방법.
  11. 하나 이상의 프로세서를 사용하여 구현되는 방법으로서,
    제1 개인과 대화형 어시스턴트 소프트웨어 모듈 사이의 자연어 대화가 적어도 제2 개인에게 감각적으로 인식 가능하다고 결정하는 단계와, 상기 결정 단계는 하나 이상의 신호에 기초하여, 제2 개인이 제1 개인과 공존한다고 결정하는 단계를 포함하고;
    제1 개인에 의해 제공된 자연어 입력에 응답하여 대화형 어시스턴트 소프트웨어 모듈에 의해 대화에 자동적으로 통합될 제한 컨텐츠를 식별하는 단계와, 상기 제한 컨텐츠에 대한 액세스는 제1 개인에 의해 통제되고;
    대화형 어시스턴트 소프트웨어 모듈에 의해, 제2 개인이 제한 컨텐츠를 청취하도록 승인되었다는 결정에 응답하여 제1 언어의 제한 컨텐츠를 대화형 어시스턴트 소프트웨어 모듈의 자연어 출력으로서 대화에 조건부로 통합하는 단계와, 상기 제1 언어는 적어도 제2 개인에 의해 이해되고; 그리고
    대화형 어시스턴트 소프트웨어 모듈에 의해, 제2 개인이 제한 컨텐츠를 청취하도록 승인되지 않았다는 결정에 응답하여 제2 언어의 제한 컨텐츠를 대화형 어시스턴트 소프트웨어 모듈의 자연어 출력으로서 대화에 조건부로 통합하는 단계를 포함하고, 상기 제2 언어는 제1 개인에 의해 이해되지만 제2 개인에 의해 이해되지 않는 것을 특징으로 하는 방법.
  12. 제11항에 있어서,
    상기 제1 언어는 제1 및 제2 개인 모두에 의해 이해되는 것을 특징으로 하는 방법.
  13. 하나 이상의 프로세서를 사용하여 구현되는 방법으로서,
    제1 개인으로부터, 제1 개인과 대화형 어시스턴트 소프트웨어 모듈 사이의 자연어 대화의 일부로서 대화형 어시스턴트 소프트웨어 모듈로 지시되는 자연어 입력을 수신하는 단계;
    제1 개인으로부터 수신된 자연어 입력에 응답하여 대화형 어시스턴트 소프트웨어 모듈에 의해 대화에 자동으로 통합될 제1 컨텐츠를 식별하는 단계;
    대화형 어시스턴트 소프트웨어 모듈에 의해, 제1 컨텐츠를 대화형 어시스턴트 모듈의 자연어 출력으로서 대화에 통합하는 단계, 상기 제1 컨텐츠는 제1 개인에 의해 이해되지만 제2 개인에 의해 이해되지 않는 제1 언어의 대화에 통합되고;
    자연어 대화가 제2 개인에게 감각적으로 인식 가능하다고 결정하는 단계, 상기 결정 단계는 하나 이상의 신호에 기초하여 제2 개인이 제1 개인과 공존하게 되었음을 검출하는 단계를 포함하고;
    제1 또는 제2 개인에 의해 대화형 어시스턴트 모듈로 지시되는 후속 자연어 입력에 응답하여 대화형 어시스턴트 소프트웨어 모듈에 의해 대화에 자동으로 통합 될 제2 컨텐츠를 식별하는 단계; 및
    대화형 어시스턴트 소프트웨어 모듈에 의해, 제2 컨텐츠를 대화형 어시스턴트 모듈의 자연어 출력으로서 대화에 통합하는 단계를 포함하고, 상기 제2 컨텐츠는 적어도 제2 개인에 의해 이해되는 제2 언어로 대화에 통합되는 것을 특징으로 하는 방법.
  14. 제13항에 있어서,
    상기 제2 언어는 제1 및 제2 개인 모두에 의해 이해되는 것을 특징으로 하는 방법.
  15. 제13항에 있어서,
    제2 컨텐츠를 대화에 통합시키기 위해 제1 개인으로부터의 승인을 요청하는 출력을 제1 개인에게 제공하는 단계를 더 포함하고, 상기 승인을 요청하는 출력은 제2 개인이 제1 개인과 공존하게 되었음을 검출하는 것에 응답하여 제공되는 것을 특징으로 하는 방법.
  16. 제13항에 있어서,
    상기 하나 이상의 신호는 제1 및 제2 개인의 공존을 나타내는 캘린더 항목을 포함하는 것을 특징으로 하는 방법.
  17. 제13항에 있어서,
    상기 하나 이상의 신호는 오디오 센서에 의해 생성된 오디오 신호를 포함하는 것을 특징으로 하는 방법.
  18. 제13항에 있어서,
    상기 하나 이상의 신호는 제1 개인의 위치 좌표와 다수의 개인들이 거주할 가능성이 있는 위치 사이의 대응 관계를 포함하는 것을 특징으로 하는 방법.
  19. 제13항에 있어서,
    상기 하나 이상의 신호는 하나 이상의 카 시트 센서 신호를 포함하는 것을 특징으로 하는 방법.
  20. 제1항에 있어서,
    상기 하나 이상의 신호는 다른 사람들과의 제1 개인의 공존 이력을 포함하는 것을 특징으로 하는 방법.
KR1020197028513A 2016-08-30 2017-08-11 그룹 컨텍스트에서 개인-통제된 컨텐츠의 조건부 공개 KR102240661B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/252,019 2016-08-30
US15/252,019 US10185840B2 (en) 2016-08-30 2016-08-30 Conditional disclosure of individual-controlled content in group contexts
PCT/US2017/046557 WO2018044526A1 (en) 2016-08-30 2017-08-11 Conditional disclosure of individual-controlled content in group contexts

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197007766A Division KR102029278B1 (ko) 2016-08-30 2017-08-11 그룹 컨텍스트에서 개인-통제된 컨텐츠의 조건부 공개

Publications (2)

Publication Number Publication Date
KR20190112860A true KR20190112860A (ko) 2019-10-07
KR102240661B1 KR102240661B1 (ko) 2021-04-15

Family

ID=59700215

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197007766A KR102029278B1 (ko) 2016-08-30 2017-08-11 그룹 컨텍스트에서 개인-통제된 컨텐츠의 조건부 공개
KR1020197028513A KR102240661B1 (ko) 2016-08-30 2017-08-11 그룹 컨텍스트에서 개인-통제된 컨텐츠의 조건부 공개

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197007766A KR102029278B1 (ko) 2016-08-30 2017-08-11 그룹 컨텍스트에서 개인-통제된 컨텐츠의 조건부 공개

Country Status (7)

Country Link
US (2) US10185840B2 (ko)
EP (2) EP3748519B1 (ko)
JP (2) JP6595147B1 (ko)
KR (2) KR102029278B1 (ko)
CN (2) CN107800614B (ko)
DE (2) DE202017105032U1 (ko)
WO (1) WO2018044526A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190207946A1 (en) * 2016-12-20 2019-07-04 Google Inc. Conditional provision of access by interactive assistant modules
US11436417B2 (en) 2017-05-15 2022-09-06 Google Llc Providing access to user-controlled resources by automated assistants
US10127227B1 (en) 2017-05-15 2018-11-13 Google Llc Providing access to user-controlled resources by automated assistants
US10176808B1 (en) * 2017-06-20 2019-01-08 Microsoft Technology Licensing, Llc Utilizing spoken cues to influence response rendering for virtual assistants
CA3006893C (en) * 2017-09-07 2023-01-10 The Toronto-Dominion Bank Digital identity network interface system
US10587553B1 (en) * 2017-12-29 2020-03-10 Entefy Inc. Methods and systems to support adaptive multi-participant thread monitoring
JP6988608B2 (ja) * 2018-03-16 2022-01-05 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
JP6988606B2 (ja) * 2018-03-16 2022-01-05 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
JP6988607B2 (ja) * 2018-03-16 2022-01-05 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
JP7147295B2 (ja) * 2018-07-04 2022-10-05 大日本印刷株式会社 フォトブック作製システム及びサーバ装置
US11455418B2 (en) 2018-08-07 2022-09-27 Google Llc Assembling and evaluating automated assistant responses for privacy concerns
CN209374052U (zh) * 2018-09-27 2019-09-10 中强光电股份有限公司 智能语音系统
JP7205173B2 (ja) * 2018-11-08 2023-01-17 カシオ計算機株式会社 情報処理装置、ロボット、情報処理方法及びプログラム
EP3774453B1 (en) * 2019-02-28 2023-09-20 Google LLC Modalities for authorizing access when operating an automated assistant enabled vehicle
JP7336928B2 (ja) * 2019-09-13 2023-09-01 株式会社デンソーテン 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
EP4220628A4 (en) * 2021-02-19 2024-05-22 Samsung Electronics Co Ltd ELECTRONIC SERVICE SUPPORT DEVICE FOR ARTIFICIAL INTELLIGENCE (AI) AGENT TALKING WITH USER

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140012504A (ko) * 2012-07-20 2014-02-03 삼성전자주식회사 컨텐트 공유 방법 및 시스템, 그 기기 및 기록 매체

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182144A (ja) * 2003-12-16 2005-07-07 Fuji Xerox Co Ltd 対話支援装置
KR100735557B1 (ko) * 2005-10-12 2007-07-04 삼성전자주식회사 음성 신호를 감쇄하고 마스킹하여 음성 신호를 교란시키는방법 및 장치
US7774851B2 (en) 2005-12-22 2010-08-10 Scenera Technologies, Llc Methods, systems, and computer program products for protecting information on a user interface based on a viewability of the information
US7577711B2 (en) * 2006-02-07 2009-08-18 International Business Machines Corporation Chat room communication network implementation enabling senders to restrict the display of messages to the chat room chronological displays of only designated recipients
US8570168B2 (en) * 2009-10-08 2013-10-29 Bringrr Systems, Llc System, method and device to interrogate for the presence of objects
CN102262624A (zh) * 2011-08-08 2011-11-30 中国科学院自动化研究所 基于多模态辅助的实现跨语言沟通系统及方法
US9922378B2 (en) * 2011-12-27 2018-03-20 Nokia Technologies Oy Method and apparatus for providing intent-based monitoring using sensory information
US9310881B2 (en) * 2012-09-13 2016-04-12 Intel Corporation Methods and apparatus for facilitating multi-user computer interaction
JP6025037B2 (ja) * 2012-10-25 2016-11-16 パナソニックＩｐマネジメント株式会社 音声エージェント装置、及びその制御方法
JP5254487B1 (ja) * 2012-11-19 2013-08-07 プラト株式会社 携帯情報端末、シャドー音声管理方法及びコンピュータプログラム
US9374327B2 (en) 2013-01-08 2016-06-21 Vmware, Inc. Intelligent chat system
CN105190607B (zh) * 2013-03-15 2018-11-30 苹果公司 通过智能数字助理的用户培训
EP2784714B1 (en) * 2013-03-28 2021-04-28 Alcatel Lucent Method of preventing access to sensitive data of a computing device
US9589565B2 (en) * 2013-06-21 2017-03-07 Microsoft Technology Licensing, Llc Environmentally aware dialog policies and response generation
JP6148163B2 (ja) * 2013-11-29 2017-06-14 本田技研工業株式会社 会話支援装置、会話支援装置の制御方法、及び会話支援装置のプログラム
US9225688B2 (en) * 2013-12-03 2015-12-29 Nokia Technologies Oy Method and apparatus for providing privacy adaptation based on receiver context
CN105830048A (zh) * 2013-12-16 2016-08-03 纽昂斯通讯公司 用于提供虚拟助理的系统和方法
US9830044B2 (en) 2013-12-31 2017-11-28 Next It Corporation Virtual assistant team customization
US20150319141A1 (en) * 2014-04-30 2015-11-05 Frankly Co. Unsend feature in messaging applications
US10789041B2 (en) * 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9691361B2 (en) * 2015-08-03 2017-06-27 International Business Machines Corporation Adjusting presentation of content on a display

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140012504A (ko) * 2012-07-20 2014-02-03 삼성전자주식회사 컨텐트 공유 방법 및 시스템, 그 기기 및 기록 매체

Also Published As

Publication number Publication date
CN107800614B (zh) 2021-03-16
DE102017119185A1 (de) 2018-03-01
US20180060599A1 (en) 2018-03-01
CN107800614A (zh) 2018-03-13
JP2020013603A (ja) 2020-01-23
JP6595147B1 (ja) 2019-10-23
EP3491547B1 (en) 2020-07-08
EP3748519B1 (en) 2022-10-05
WO2018044526A1 (en) 2018-03-08
EP3491547A1 (en) 2019-06-05
KR20190032628A (ko) 2019-03-27
CN113055275A (zh) 2021-06-29
US10185840B2 (en) 2019-01-22
US20190095642A1 (en) 2019-03-28
DE202017105032U1 (de) 2017-11-21
KR102240661B1 (ko) 2021-04-15
JP2019533247A (ja) 2019-11-14
US10635832B2 (en) 2020-04-28
KR102029278B1 (ko) 2019-10-07
JP6884183B2 (ja) 2021-06-09
CN113055275B (zh) 2022-08-02
EP3748519A1 (en) 2020-12-09

Similar Documents

Publication Publication Date Title
KR102029278B1 (ko) 그룹 컨텍스트에서 개인-통제된 컨텐츠의 조건부 공개
US10685187B2 (en) Providing access to user-controlled resources by automated assistants
CN112262381B (zh) 汇编和评估对隐私问题的自动助理响应
KR102116959B1 (ko) 대화형 보조 모듈들에 의한 액세스의 조건 규정
KR102192066B1 (ko) 비공개 상태와 공개 상태 사이의 전환
CN118132027A (zh) 通过自动化助理来提供对用户控制资源的访问

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right