KR102638579B1 - 네트워크 환경에서 지연된 2-팩터 인증 - Google Patents
네트워크 환경에서 지연된 2-팩터 인증 Download PDFInfo
- Publication number
- KR102638579B1 KR102638579B1 KR1020227014517A KR20227014517A KR102638579B1 KR 102638579 B1 KR102638579 B1 KR 102638579B1 KR 1020227014517 A KR1020227014517 A KR 1020227014517A KR 20227014517 A KR20227014517 A KR 20227014517A KR 102638579 B1 KR102638579 B1 KR 102638579B1
- Authority
- KR
- South Korea
- Prior art keywords
- client device
- digital component
- component
- digital
- request
- Prior art date
Links
- 230000003111 delayed effect Effects 0.000 title abstract description 5
- 238000013475 authorization Methods 0.000 claims abstract description 113
- 238000000034 method Methods 0.000 claims abstract description 87
- 238000012790 confirmation Methods 0.000 claims description 45
- 230000004044 response Effects 0.000 claims description 34
- 238000012795 verification Methods 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 abstract description 24
- 238000012545 processing Methods 0.000 description 153
- 230000005236 sound signal Effects 0.000 description 96
- 230000009471 action Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 230000032258 transport Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- IRLPACMLTUPBCL-KQYNXXCUSA-N 5'-adenylyl sulfate Chemical compound C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP(O)(=O)OS(O)(=O)=O)[C@@H](O)[C@H]1O IRLPACMLTUPBCL-KQYNXXCUSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/34—User authentication involving the use of external additional devices, e.g. dongles or smart cards
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/0853—Network architectures or network communication protocols for network security for authentication of entities using an additional device, e.g. smartcard, SIM or a different communication terminal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L2463/00—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
- H04L2463/082—Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00 applying multi-factor authentication
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Information Transfer Between Computers (AREA)
Abstract
본 개시 내용의 시스템 및 방법은 지연된 2-팩터 인증이 네트워크 디바이스에서 발생할 수 있게 한다. 이 시스템과 방법을 사용하면 디지털 컴포넌트를 즉시 전달할 수 있으므로, 포기된 요청이 줄어들고 네트워크 리소스가 절약된다. 이 시스템 및 방법은 음성 기반 인터페이스와 같은 제한된 사용자 인터페이스를 포함하는 네트워크 컴퓨터 디바이스에서 데이터 전송의 승인을 가능하게 할 수 있다.
Description
컴퓨팅 디바이스는 네트워크 클라이언트 디바이스에 디지털 콘텐츠를 제공할 수 있다. 컴퓨팅 디바이스는 콘텐츠를 네트워크 클라이언트 디바이스에 전송하기 전에 인증 또는 승인이 필요할 수 있다. 음성 구동 인터페이스와 같이 제한된 사용자 인터페이스로 클라이언트 디바이스를 인증하는 것은 어려울 수 있다.
본 개시의 적어도 일 양태에 따르면, 컴퓨팅 디바이스를 인증하기 위한 시스템은 데이터 프로세싱 시스템을 포함할 수 있다. 데이터 프로세싱 시스템은 자연어 프로세서 컴포넌트, 콘텐츠 선택 컴포넌트 및 승인 컴포넌트를 실행할 수 있다. 데이터 프로세싱 시스템은 제1 클라이언트 디바이스의 센서에 의해 검출된 입력 오디오 신호를 수신할 수 있다. 자연어 프로세서 컴포넌트는 입력 오디오 신호에서 제1 디지털 컴포넌트 요청을 식별하기 위해 입력 오디오 신호를 파싱할 수 있다. 콘텐츠 선택 컴포넌트는 제1 디지털 컴포넌트의 제1 부분을 제1 클라이언트 디바이스에 전송할 수 있다. 승인 컴포넌트는 디지털 컴포넌트의 제2 부분의 제1 클라이언트 디바이스로의 전송을 승인하기 위해 승인 요청을 제2 클라이언트 디바이스에 전송할 수 있다. 승인 요청은 적어도 제1 디지털 컴포넌트의 제1 부분을 제1 클라이언트 디바이스에 전송하는 것에 기초하여 제2 클라이언트 디바이스에 전송될 수 있다. 승인 컴포넌트는 승인 요청에 대한 응답으로 제2 클라이언트 디바이스로부터 확인 메시지를 수신할 수 있다. 콘텐츠 선택 컴포넌트는 적어도 제2 클라이언트 디바이스로부터 확인 메시지를 수신함에 기초하여 디지털 컴포넌트의 제2 부분을 제1 클라이언트 디바이스에 전송할 수 있다.
본 개시의 적어도 일 양태에 따르면, 컴퓨팅 디바이스를 인증하는 방법은 데이터 프로세싱 시스템에 의해 실행되는 자연어 프로세서 컴포넌트에 의해, 상기 데이터 프로세싱 시스템의 인터페이스를 통해, 제1 클라이언트 디바이스에서 센서에 의해 검출된 입력 오디오 신호를 수신하는 단계를 포함할 수 있다. 상기 방법은 상기 자연어 프로세서 컴포넌트에 의해, 상기 입력 오디오 신호에서 제1 디지털 컴포넌트 요청을 식별하기 위해 상기 입력 오디오 신호를 파싱하는 단계를 포함할 수 있다. 상기 방법은 콘텐츠 선택 컴포넌트에 의해, 제1 디지털 컴포넌트의 제1 부분을 제1 클라이언트 디바이스에 전송하는 단계를 포함할 수 있다. 상기 방법은 승인 컴포넌트에 의해 디지털 컴포넌트의 제2 부분의 제1 클라이언트 디바이스로의 전송을 승인하기 위해 승인 요청을 제2 클라이언트 디바이스에 전송하는 단계를 포함할 수 있다. 승인 요청은 적어도 제1 디지털 컴포넌트의 제1 부분을 제1 클라이언트 디바이스에 전송하는 것에 기초하여 제2 클라이언트 디바이스에 전송될 수 있다. 상기 방법은 상기 승인 컴포넌트에 의해, 상기 제2 클라이언트 디바이스로부터, 상기 승인 요청에 대한 응답으로 확인 메시지를 수신하는 단계를 포함할 수 있다. 상기 방법은 상기 콘텐츠 선택 컴포넌트에 의해, 적어도 상기 제2 클라이언트 디바이스로부터 상기 확인 메시지 수신함에 기초하여 상기 디지털 컴포넌트의 제2 부분을 제1 클라이언트 디바이스에 전송하는 단계를 포함할 수 있다.
본 개시의 적어도 일 양태에 따르면, 하나 이상의 프로세서 및 메모리를 포함할 수 있는 데이터 프로세싱 시스템인 네트워크 환경에서 컴퓨팅 디바이스를 인증하는 시스템이다. 하나 이상의 프로세서는 자연어 프로세서 컴포넌트, 콘텐츠 선택 컴포넌트 및 승인 컴포넌트를 실행할 수 있다. 시스템은 자연어 프로세서 컴포넌트에 의해, 제1 클라이언트 디바이스에서 센서에 의해 검출된 입력 오디오 신호를 수신할 수 있다. 시스템은 상기 자연어 프로세서 컴포넌트에 의해, 상기 입력 오디오 신호에서 제1 디지털 컴포넌트 요청을 식별하기 위해 상기 입력 오디오 신호를 파싱할 수 있다. 시스템은 상기 콘텐츠 선택 컴포넌트에 의해, 적어도 제1 디지털 컴포넌트 요청에 기초하여 제1 디지털 컴포넌트 및 제2 디지털 컴포넌트를 선택할 수 있다. 시스템은 상기 콘텐츠 선택 컴포넌트에 의해, 상기 제1 디지털 컴포넌트의 제1 부분을 제1 클라이언트 디바이스에 전송할 수 있다. 시스템은 승인 컴포넌트에 의해, 상기 디지털 컴포넌트의 제2 부분을 상기 제1 클라이언트 디바이스에 전송하는 것을 승인하기 위해, 승인 요청을 제2 클라이언트 디바이스에 전송할 수 있고, 상기 승인 요청은 적어도 상기 제1 디지털 컴포넌트의 제1 부분을 상기 제1 클라이언트 디바이스에 전송하는 것에 기초하여 상기 제2 클라이언트 디바이스에 전송된다. 시스템은 콘텐츠 선택 컴포넌트에 의해, 제2 클라이언트 디바이스에 제2 디지털 컴포넌트를 전송할 수 있다. 시스템은 상기 콘텐츠 선택 컴포넌트에 의해, 상기 승인 요청에 대한 응답으로 생성된 확인 메시지를 수신함에 적어도 기초하여 상기 디지털 컴포넌트의 제2 부분을 제1 클라이언트 디바이스에 전송할 수 있다.
본 개시의 적어도 일 양태에 따르면, 컴퓨팅 디바이스를 인증하는 방법은 자연어 프로세서 컴포넌트에 의해 제1 클라이언트 디바이스에서 센서에 의해 검출된 입력 오디오 신호를 수신하는 단계를 포함할 수 있다. 상기 방법은 상기 자연어 프로세서 컴포넌트에 의해, 상기 입력 오디오 신호에서 제1 디지털 컴포넌트 요청을 식별하기 위해 상기 입력 오디오 신호를 파싱하는 단계를 포함할 수 있다. 상기 방법은 상기 콘텐츠 선택 컴포넌트에 의해, 적어도 제1 디지털 컴포넌트 요청에 기초하여 제1 디지털 컴포넌트 및 제2 디지털 컴포넌트를 선택하는 단계를 포함할 수 있다. 상기 방법은 상기 콘텐츠 선택 컴포넌트에 의해, 상기 제1 디지털 컴포넌트의 제1 부분을 제1 클라이언트 디바이스에 전송하는 단계를 포함할 수 있다. 상기 방법은 승인 컴포넌트에 의해, 상기 디지털 컴포넌트의 제2 부분을 상기 제1 클라이언트 디바이스에 전송하는 것을 승인하기 위해, 승인 요청을 제2 클라이언트 디바이스에 전송하는 단계를 포함할 수 있고, 상기 승인 요청은 적어도 상기 제1 디지털 컴포넌트의 제1 부분을 상기 제1 클라이언트 디바이스에 전송하는 것에 기초하여 상기 제2 클라이언트 디바이스에 전송된다. 상기 방법은 상기 콘텐츠 선택 컴포넌트에 의해, 상기 제2 디지털 컴포넌트를 제2 클라이언트 디바이스에 전송하는 단계를 포함할 수 있다. 상기 방법은 상기 콘텐츠 선택 컴포넌트에 의해, 상기 승인 요청에 대한 응답으로 생성된 확인 메시지를 수신함에 적어도 기초하여 상기 디지털 컴포넌트의 제2 부분을 제1 클라이언트 디바이스에 전송하는 단계를 포함할 수 있다.
이들 및 다른 양태들 및 구현예들은 아래에서 상세히 논의된다. 전술한 정보 및 다음의 상세한 설명은 다양한 양태들 및 구현예들의 예시적 실시예를 포함하고, 청구된 양태들 및 구현예들의 본질 및 특성을 이해하기 위한 개요 또는 프레임워크를 제공한다. 도면은 다양한 양태들 및 구현예들의 예시 및 추가 이해를 제공하며, 본 명세서에 통합되어 본 명세서의 일부를 구성한다.
첨부된 도면은 일정한 비율로 도시된 것이 아니다. 다양한 도면들에서 동일한 참조 번호 및 기호는 동일한 구성요소를 표시한다. 명확성을 위해 모든 도면에서 모든 컴포넌트가 라벨링된 것은 아니다. 도면에서:
도 1은 본 개시의 예에 따라, 컴퓨팅 디바이스를 인증하기 위한 예시적 시스템의 블록도를 도시한다.
도 2는 본 개시의 예에 따라, 도 1에 도시된 시스템에서 컴퓨팅 디바이스를 인증하는 예시적 방법의 블록도를 도시한다.
도 3은 본 개시의 예에 따라, 도 1에 도시된 시스템의 컴포넌트들 간의 네트워크 전송을 도시하는 블록도를 도시한다.
도 4는 본 개시의 예에 따라, 도 1에 도시된 시스템에서 사용될 수 있는 예시적 컴퓨터 시스템의 블록도이다.
도 1은 본 개시의 예에 따라, 컴퓨팅 디바이스를 인증하기 위한 예시적 시스템의 블록도를 도시한다.
도 2는 본 개시의 예에 따라, 도 1에 도시된 시스템에서 컴퓨팅 디바이스를 인증하는 예시적 방법의 블록도를 도시한다.
도 3은 본 개시의 예에 따라, 도 1에 도시된 시스템의 컴포넌트들 간의 네트워크 전송을 도시하는 블록도를 도시한다.
도 4는 본 개시의 예에 따라, 도 1에 도시된 시스템에서 사용될 수 있는 예시적 컴퓨터 시스템의 블록도이다.
아래에 설명되는 것은 보안 프로세싱 환경에서 데이터를 전송하는 방법, 장치 및 시스템과 관련된 다양한 개념 및 구현예들에 대한 보다 상세한 설명이다. 위에서 소개되고 아래에서 더 상세하게 논의되는 다양한 개념은 수많은 방식으로 구현될 수 있다. 본 개시는 일반적으로 상호 연결된 네트워크에서 오디오 기반 인터렉션 디바이스의 인증에 관한 것이다. 예를 들어, 디지털 어시스턴트 컴포넌트는 음성을 포함할 수 있는 오디오 입력을 수신할 수 있다. 음성은 콘텐츠에 대한 요청을 포함할 수 있다. 디지털 어시스턴트 컴포넌트는 오디오 입력에 응답하여 서드 파티로부터 콘텐츠를 요청할 수 있다. 콘텐츠를 디지털 어시스턴트 컴포넌트로 전달하려면 승인이 필요할 수 있다. 음성 기반 인터페이스를 사용하는 디바이스를 인증하는 것은 어려울 수 있다. 예를 들어, 최종 사용자가 개인 정보 및 보안 문제로 큰 소리로 말하고 싶지 않은 신용 카드 번호 또는 암호와 같은 일부 입력은 음성 기반 인터페이스를 통해 제공하기 어렵거나 안전하지 않을 수 있다. 또한, 콘텐츠 전달을 승인하는 대화형 인터페이스를 생성하면 프로세서 및 메모리 리소스, 네트워크 대역폭 또는 원격 절차 호출과 같은 과도한 컴퓨팅 리소스가 소비될 수 있으므로 음성 기반 인터페이스로 디바이스를 인증하는 것은 어렵거나 비효율적일 수 있다. 또한, 제2 디바이스의 비음성 기반 인터페이스를 통해 즉각적인 승인을 요구하면 최종 사용자가 제2 디바이스를 통해 인터페이스로 전환하는 대신 요청을 자주 포기하므로 네트워크 리소스가 낭비될 수 있다.
현재 기술 해결책의 시스템 및 방법은 컴퓨팅 리소스 활용, 네트워크 대역폭 또는 원격 절차 호출을 감소시키면서 요청된 디지털 컴포넌트의 전달을 개선하는 네트워크 디바이스에서 지연된 2-팩터 인증을 수행할 수 있게 한다. 예를 들어, 현재 기술적 해결책의 시스템 및 방법은 디지털 컴포넌트의 즉각적인 전달을 가능하게 하여, 포기된 요청을 줄이며, 디지털 컴포넌트 전달은 지연 2-팩터 인증 프로세스를 통해 승인된다.
예시에서, 음성 구동(및 핸즈프리) 디지털 어시스턴트 디바이스를 사용하여 디지털 컴포넌트를 요청할 수 있다. 디지털 컴포넌트는 구독 기반 서비스(예: 스트리밍 음악 서비스)를 통해 제공되거나 결제 승인(예: 노래 구매)이 필요할 수 있다. 디지털 컴포넌트를 디지털 어시스턴트로 전달하려면 제2의 비-음성 구동 클라이언트 디바이스에서 인증이 필요할 수 있다. 현재 기술적 해결책의 이 시스템은 상태 머신을 포함할 수 있다. 상태 머신은 디지털 컴포넌트(디지털 어시스턴트용)를 제공하는 서비스의 활성 상태와 디지털 어시스턴트의 인증 상태를 모두 추적할 수 있다.
콘텐츠에 대한 요청에 응답하여, 시스템은 상태 머신의 상태가 인증되지 않은 상태에 있더라도 요청된 콘텐츠를 디지털 어시스턴트에 제공할 수 있다. 시스템은 디지털 어시스턴트와 연관된 제2 클라이언트 디바이스에 승인 요청을 전송할 수 있다. 시스템은 승인 요청에 응답하기 위해 미리 결정된 시간의 양을 제2 클라이언트 디바이스에 제공할 수 있다. 이 미리 결정된 시간의 양 동안, 디지털 어시스턴트는 요청된 디지털 컴포넌트를 렌더링하거나 제시할 수 있다. 승인 요청이 수신되면, 제2 디바이스는 확인 옵션 및 거부 옵션이 있는 알림을 표시하거나 알림이 해당 옵션이 있는 대화(dialog)를 열 수 있다. 제2 클라이언트 디바이스는 예를 들어, 제2 클라이언트 디바이스가 디지털 어시스턴트의 미리 결정된 거리 내에 있는 경우와 같이 로컬 디바이스 상태에 기초하여 승인 요청을 자동으로 승인할 수 있다. 최종 사용자가 대화 상자를 확인하면(또는 승인 요청에 적극적으로 참여), 제2 클라이언트 디바이스는 시스템에 인증 토큰과 고유 액션 식별자를 보낼 수 있다. 시스템은 인증 토큰과 고유 액션 식별자를 사용하여 디지털 어시스턴트의 상태 머신을 승인된 상태로 변경할 수 있다.
프라이머리 참여 작업은 비활성화된 서비스를 일시적으로 활성화하고 제2 디바이스에 알림을 신디케이트한다. 이 상태 변경은 임시 상태가 더 이상 유효하지 않은 시기를 나타내는 타임스탬프도 포함한다. 이 알림은 두 세트의 파라미터를 가진 액션이 포함된 페이로드가 포함할 수 있다. 제1 파라미터는 사용자를 인증하기 위한 명령어와 어떤 특정 액션이 인증되고 있는지 사용자에게 알리는 대화 컴포넌트(또는 대화 컴포넌트에 대한 참조)이며, 제2 파라미터는 인증될 액션에 대한 특정 액션 또는 이벤트 식별자이다.
도 1은 네트워크 환경에서 디바이스를 승인하기 위한 예시적 시스템(100)을 도시한다. 시스템(100)은 디지털 컴포넌트 선택 인프라를 포함할 수 있다. 시스템(100)은 데이터 프로세싱 시스템(102)을 포함할 수 있다. 데이터 프로세싱 시스템(102)은 네트워크(105)를 통해, 디지털 컴포넌트 제공자 디바이스(106)(예: 콘텐츠 제공자 디바이스) 또는 클라이언트 컴퓨팅 디바이스(104) 중 하나 이상과 통신할 수 있다. 네트워크(105)는 인터넷, 로컬, 와이드, 메트로 또는 다른 영역 네트워크, 인트라넷, 위성 네트워크 및 음성 또는 데이터 모바일폰 통신 네트워크와 같은 다른 컴퓨터 네트워크들과 같은 컴퓨터 네트워크를 포함할 수 있다. 네트워크(105)는 랩톱, 데스크톱, 태블릿, 디지털 어시스턴트, 퍼스널 디지털 어시스턴트, 스마트워치, 웨어러블 디바이스, 스마트폰, 휴대용 컴퓨터 또는 스피커와 같은 적어도 하나의 컴퓨팅 디바이스(104) 상에 제시, 출력, 렌더링 또는 디스플레이될 수 있는 웹페이지, 웹사이트, 도메인 이름 또는 URL과 같은 정보 리소스들에 액세스하는데 사용될 수 있다. 예를 들어, 네트워크(105)를 통해, 컴퓨팅 디바이스(104)의 사용자는 디지털 컴포넌트 제공자 디바이스(106)에 의해 제공된 정보 또는 데이터에 액세스할 수 있다. 클라이언트 컴퓨팅 디바이스(104)는 디스플레이를 포함하거나 포함하지 않을 수 있다. 예를 들어, 클라이언트 컴퓨팅 디바이스(104)는 마이크로폰 및 스피커와 같은 제한된 유형의 사용자 인터페이스를 포함할 수 있다(예: 클라이언트 컴퓨팅 디바이스(104)는 음성 드라이브 또는 오디오 기반 인터페이스를 포함할 수 있음). 컴퓨팅 디바이스(104)의 프라이머리 사용자 인터페이스는 마이크로폰 및 스피커일 수 있다.
네트워크(105)는 디스플레이 네트워크, 예를 들어, 콘텐츠 배치 또는 검색 엔진 결과 시스템과 연관되거나 서드 파티 디지털 컴포넌트에 포함시키기에 적합한 인터넷 상의 사용가능한 정보 리소스들의 서브셋을 포함하거나 구성할 수 있다. 네트워크(105)는 클라이언트 컴퓨팅 디바이스(104)에 의해 제시, 출력, 렌더링 또는 디스플레이될 수 있는 웹페이지, 웹사이트, 도메인 이름, 또는 URL과 같은 정보 리소스들에 액세스하기 위해 데이터 프로세싱 시스템(102)에 의해 사용될 수 있다. 예를 들어, 네트워크(105)를 통해, 컴퓨팅 디바이스(104)의 사용자는 디지털 컴포넌트 제공자 디바이스(106)에 의해 제공된 정보 또는 데이터에 액세스할 수 있다.
네트워크(105)는 임의의 유형 또는 형태의 네트워크일 수 있으며, 포인트-투-포인트 네트워크, 브로드캐스트 네트워크, 광역 네트워크, 근거리 네트워크, 전화통신 네트워크, 데이터 통신 네트워크, 컴퓨터 네트워크, ATM(Asynchronous Transfer Mode) 네트워크, SONET(Synchronous Optical Network) 네트워크, SDH(Synchronous Digital Hierarchy) 네트워크, 무선 네트워크 및 유선 네트워크 중 임의의 것을 포함할 수 있다. 네트워크(105)는 적외선 채널 또는 위성 대역과 같은 무선 링크를 포함할 수 있다. 네트워크(105)의 토폴로지는 버스, 스타 또는 링 네트워크 토폴로지를 포함할 수 있다. 네트워크는 어드밴스드 모바일폰 프로토콜("AMPS"), 시분할 다중 액세스("TDMA"), 코드 분할 다중 액세스("CDMA"), 글로벌 이동 통신 시스템("GSM"), 일반 패킷 무선 서비스("GPRS") 또는 범용 이동 통신 시스템("UMTS")을 포함하는 모바일 디바이스들 간에 통신하는데 사용되는 임의의 프로토콜 또는 프로토콜들을 사용하는 모바일 전화 네트워크들을 포함할 수 있다. 상이한 유형의 데이터는 상이한 프로토콜을 통해 전송될 수 있거나, 동일한 유형의 데이터가 상이한 프로토콜들을 통해 전송될 수 있다.
시스템(100)은 적어도 하나의 데이터 프로세싱 시스템(102)을 포함할 수 있다. 데이터 프로세싱 시스템(102)은 네트워크(105)를 통해 통신하기 위한 프로세서를 가지는 컴퓨팅 디바이스 예를 들어 컴퓨팅 디바이스(104) 또는 디지털 컴포넌트 제공자 디바이스(106)와 같은 적어도 하나의 로직 디바이스를 포함할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 계산 리소스, 서버, 프로세서 또는 메모리를 포함할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 적어도 하나의 데이터 센터에 위치된 복수의 계산 리소스 또는 서버를 포함할 수 있다. 데이터 프로세싱 시스템(102)은 다수의 논리적으로 그룹화된 서버를 포함할 수 있고, 분산 컴퓨팅 기법을 지원한다. 논리적 서버들의 그룹은 데이터 센터, 서버 팜 또는 머신 팜으로 지칭될 수 있다. 서버는 지리적으로 분산될 수 있다. 데이터 센터 또는 머신 팜은 단일 엔터티로 관리되거나, 머신 팜은 복수의 머신 팜을 포함할 수 있다. 각 머신 팜 내의 서버는 다른 기종일 수 있다 - 하나 이상의 서버 또는 머신이 하나 이상의 운영 체제 플랫폼 유형에 따라 동작할 수 있다.
머신 팜의 서버는 연관된 저장 시스템과 함께 고밀도 랙 시스템에 저장되고 엔터프라이즈 데이터 센터에 위치될 수 있다. 예를 들어, 이러한 방식으로 서버를 통합하면 지역화된 고성능 네트워크에 서버 및 고성능 저장 시스템을 위치시킴으로써 시스템 관리성, 데이터 보안, 시스템의 물리적 보안 및 시스템 성능을 향상시킬 수 있다. 서버 및 저장 시스템을 포함하여 모든 또는 일부 데이터 프로세싱 시스템(102) 컴포넌트들을 중앙집중화하고 이를 고급 시스템 관리 툴과 결합하면 서버 리소스들을 보다 효율적으로 사용할 수 있게 하여, 전력 및 프로세싱 요구사항을 절약하고 대역폭 사용을 감소시킨다.
클라이언트 컴퓨팅 디바이스(104)는 적어도 하나의 로컬 디지털 어시스턴트(134), 적어도 하나의 센서(138), 적어도 하나의 트랜스듀서(140), 적어도 하나의 오디오 드라이버(142) 또는 적어도 하나의 디스플레이(144)를 포함, 실행하거나 이와 인터페이스 또는 통신할 수 있다. 센서(138)는 예를 들어 카메라, 주변 광 센서, 근접 센서, 온도 센서, 가속도계, 자이로스코프, 모션 검출기, GPS 센서, 위치 센서, 마이크로폰, 비디오, 이미지 검출 또는 터치 센서를 포함할 수 있다. 트랜스듀서(140)는 스피커 또는 마이크로폰을 포함하거나 그 일부일 수 있다. 오디오 드라이버(142)는 하드웨어 트랜스듀서(140)에 소프트웨어 인터페이스를 제공할 수 있다. 오디오 드라이버(142)는 오디오 파일 또는 데이터 프로세싱 시스템(102)에 의해 제공된 다른 명령어들을 실행하여 트랜스듀서(140)를 제어하여 대응하는 음향 파장 또는 음파를 생성할 수 있다. 디스플레이(144)는 발광 다이오드, 유기 발광 다이오드, 액정 디스플레이, 레이저 또는 디스플레이와 같은 시각적 표시 또는 광학 출력을 제공하도록 구성된 하나 이상의 하드웨어 또는 소프트웨어 컴포넌트를 포함할 수 있다.
로컬 디지털 어시스턴트(134)는 하나 이상의 프로세서, 로직 어레이 또는 메모리를 포함하거나 이에 의해 실행될 수 있다. 로컬 디지털 어시스턴트(134)는 키워드를 검출하고 키워드에 기초한 액션을 수행할 수 있다. 로컬 디지털 어시스턴트(110)는 데이터 프로세싱 시스템(102)에서 실행되는 원격 디지털 어시스턴트 컴포넌트(112)의 인스턴스일 수 있거나 디지털 어시스턴트 컴포넌트(112)의 기능 중 임의의 기능을 수행할 수 있다. 로컬 디지털 어시스턴트(134)는 추가 프로세싱을 위해 용어를 데이터로서 데이터 프로세싱 시스템(102)(예: 원격 디지털 어시스턴트 컴포넌트(112))에 전송하기 전에 하나 이상의 용어들을 필터링하거나 용어를 수정할 수 있다. 로컬 디지털 어시스턴트(134)는 트랜스듀서에 의해 검출된 아날로그 오디오 신호를 디지털 오디오 신호로 변환하고, 디지털 오디오 신호를 운반하는 하나 이상의 데이터 패킷을 네트워크(105)를 통해 데이터 프로세싱 시스템(102)에 전송할 수 있다. 로컬 디지털 어시스턴트(134)는 그러한 전송을 수행하기 위한 명령어를 검출하는 것에 응답하여 입력 오디오 신호의 일부 또는 전부를 운반하는 데이터 패킷을 전송할 수 있다. 명령어는 예를 들어, 입력 오디오 신호를 포함하는 데이터 패킷을 데이터 프로세싱 시스템(102)에 전송하기 위한 트리거 키워드 또는 다른 키워드 또는 승인을 포함할 수 있다.
로컬 디지털 어시스턴트(134)는 입력 오디오 신호에 대해 사전-필터링 또는 프리-프로세싱을 수행하여 특정 주파수의 오디오를 제거할 수 있다. 사전-필터링은 저역 통과 필터, 고역 통과 필터 또는 대역 통과 필터와 같은 필터들을 포함할 수 있다. 주파수 영역에서 필터들이 적용될 수 있다. 필터들은 디지털 신호 프로세싱 기법을 사용하여 적용될 수 있다. 필터들은 사람의 음성 또는 사람의 말에 대응하는 주파수를 유지하면서 일반적인 사람의 말의 주파수를 벗어나는 주파수를 제거하도록 구성될 수 있다. 예를 들어, 대역 통과 필터는 제1 임계치(예를 들어, 70Hz, 75Hz, 80Hz, 85Hz, 90Hz, 95Hz, 100Hz 또는 105Hz) 미만 및 제2 임계치(예를 들어, 200Hz, 205Hz, 210Hz, 225Hz, 235Hz, 245Hz 또는 255Hz) 초과의 주파수들을 제거하도록 구성될 수 있다. 대역 통과 필터를 적용하면 다운 스트림 프로세싱에서 컴퓨팅 리소스 사용을 줄일 수 있다. 컴퓨팅 디바이스(104)상의 로컬 디지털 어시스턴트(134)는 입력 오디오 신호를 데이터 프로세싱 시스템(102)으로 전송하기 전에 대역 통과 필터를 적용하여, 네트워크 대역폭 이용을 감소시킬 수 있다. 그러나, 컴퓨팅 디바이스(104)에 이용 가능한 컴퓨팅 리소스 및 이용가능한 네트워크 대역폭에 기초하여, 데이터 프로세싱 시스템(102)이 필터링을 수행할 수 있도록 입력 오디오 신호를 데이터 프로세싱 시스템(102)에 제공하는 것이 더 효율적일 수 있다.
로컬 디지털 어시스턴트(134)는 자연어 프로세서를 방해할 수 있는 주변 소음 레벨을 감소시키기 위해 노이즈 감소 기법과 같은 추가 프리-프로세싱 또는 사전-필터링 기법을 적용할 수 있다. 노이즈 감소 기법은 자연어 프로세서의 정확성 및 속도를 향상시켜, 데이터 프로세싱 시스템(102)의 성능을 향상시키고 디스플레이(144)를 통해 제공되는 그래픽 사용자 인터페이스의 렌더링을 관리한다.
클라이언트 컴퓨팅 디바이스(104)는 (센서(138) 또는 트랜스듀서(140)를 통해) 클라이언트 컴퓨팅 디바이스(104)에 오디오 입력으로서 음성 쿼리를 입력하고, 클라이언트 디바이스(104)의 최종 사용자에게 제시, 디스플레이 또는 렌더링하기 위해 데이터 프로세싱 시스템(102) 또는 디지털 컴포넌트 제공자 디바이스(106)로부터 출력된 오디오(또는 다른) 출력을 수신하는 최종 사용자와 연관될 수 있다. 디지털 컴포넌트는 데이터 프로세싱 시스템(102) 또는 디지털 컴포넌트 제공자 디바이스(106)으로부터 클라이언트 컴퓨팅 디바이스(104)에 제공될 수 있는 컴퓨터 생성 음성을 포함할 수 있다. 클라이언트 컴퓨팅 디바이스(104)는 컴퓨터 생성 음성을 트랜스듀서(140)(예: 스피커)를 통해 최종 사용자에게 렌더링할 수 있다. 컴퓨터 생성 음성은 실제 사람 또는 컴퓨터 생성 언어의 녹음을 포함할 수 있다. 클라이언트 컴퓨팅 디바이스(104)는 컴퓨팅 디바이스(104)에 통신 가능하게 연결된 디스플레이 디바이스(144)를 통해 시각적 출력을 제공할 수 있다.
클라이언트 컴퓨팅 디바이스(104)에 음성 쿼리를 입력하는 최종 사용자는 다수의 클라이언트 컴퓨팅 디바이스(104)와 연관될 수 있다. 예를 들어, 최종 사용자는 스피커 기반 디지털 어시스턴트 디바이스일 수 있는 제1 클라이언트 컴퓨팅 디바이스(104), 모바일 디바이스(예: 스마트폰)일 수 있는 제2 클라이언트 컴퓨팅 디바이스(104) 및 데스크톱 컴퓨터일 수 있는 제3 클라이언트 컴퓨팅 디바이스(104)와 연관될 수 있다. 데이터 프로세싱 시스템(102)은 공통 로그인, 위치, 네트워크 또는 다른 연결 데이터를 통해 클라이언트 컴퓨팅 디바이스(104) 각각을 연관시킬 수 있다. 예를 들어, 최종 사용자는 동일한 계정 사용자 이름 및 암호를 사용하여 클라이언트 컴퓨팅 디바이스(104) 각각에 로그인할 수 있다.
클라이언트 컴퓨팅 디바이스(104)는 컴퓨팅 디바이스(104)의 센서(138)(예를 들어, 마이크로폰)에 의해 검출된 입력 오디오 신호를 수신할 수 있다. 입력 오디오 신호는 예를 들어, 쿼리, 질문, 명령, 지시 또는 언어로 제공된 다른 진술을 포함할 수 있다. 입력 오디오 신호는 질문 또는 쿼리가 향하는 서드파티(예: 디지털 컴포넌트 제공자 디바이스(106))의 식별자 또는 이름을 포함할 수 있다. 예를 들어, 쿼리는 데이터 프로세싱 시스템(102)이 특정된 구독 기반 음악 서비스에 대한 요청을 제공하도록 지시하기 위해, 입력 오디오 신호에 구독 기반 음악 서비스(예: 디지털 컴포넌트 제공자 디바이스(106))의 이름을 포함할 수 있다. 예를 들어, 입력 오디오 신호는 "XYZ Music Service에서 내 음악 재생 목록을 재생해"를 포함할 수 있다. 음악 서비스는 재생 목록과 연관된 노래를 네트워크(105)를 통해 클라이언트 컴퓨팅 디바이스(104) 또는 재생 목록과 연관된 노래를 네트워크(105)를 통해 클라이언트 컴퓨팅 디바이스(104)에 제공할 수 있는 데이터 프로세싱 시스템(102)에 제공할 수 있다.
클라이언트 컴퓨팅 디바이스(104)는 디지털 어시스턴트 디바이스를 포함, 실행 또는 참조될 수 있다. 디지털 어시스턴트 디바이스는 컴퓨팅 디바이스(104)의 하나 이상의 컴포넌트를 포함할 수 있다. 디지털 어시스턴트 디바이스는 데이터 프로세싱 시스템(102)으로부터 디스플레이 출력을 수신하고, 디스플레이 출력을 디스플레이(132)에 렌더링할 수 있는 그래픽 드라이버를 포함할 수 있다. 그래픽 드라이버는 그래픽 또는 시각적 출력이 디스플레이(144) 상에 디스플레이되는 방법을 제어 또는 향상시키는 하드웨어 또는 소프트웨어 컴포넌트를 포함할 수 있다. 그래픽 드라이버는 예를 들어, 그래픽 컴포넌트가 나머지 컴퓨팅 디바이스(104)(또는 디지털 어시스턴트)와 어떻게 동작하는지를 제어하는 프로그램을 포함할 수 있다. 로컬 디지털 어시스턴트(134)는 입력 오디오 신호를 필터링하여 필터링된 입력 오디오 신호를 생성하고, 필터링된 입력 오디오 신호를 데이터 패킷들로 변환하고, 데이터 패킷들을 하나 이상의 프로세서들 및 메모리를 포함하는 데이터 프로세싱 시스템으로 전송한다.
디지털 어시스턴트 디바이스는 오디오 드라이버(142) 및 스피커 컴포넌트(예를 들어, 트랜스듀서(140))를 포함할 수 있다. 프리-프로세서 컴포넌트(140)는 상기 디스플레이 출력의 표시를 수신하고, 상기 오디오 드라이버(142)에 지시하여 상기 스피커 컴포넌트(예: 트랜스듀서(140))로 하여금 상기 디스플레이 출력의 표시에 대응하는 오디오 출력을 전송하게 하는 출력 오디오 신호를 생성한다.
시스템(100)은 적어도 디지털 컴포넌트 제공자 디바이스(106)를 포함, 액세스 또는 이와 인터렉션할 수 있다. 디지털 컴포넌트 제공자 디바이스(106)는 클라이언트 컴퓨팅 디바이스(104) 또는 데이터 프로세싱 시스템(102)에 디지털 컴포넌트를 제공할 수 있는 하나 이상의 서버를 포함할 수 있다. 디지털 컴포넌트 제공자 디바이스(106) 또는 그것의 컴포넌트는 데이터 프로세싱 시스템(102)과 통합되거나 또는 데이터 프로세싱 시스템(102)에 의해 적어도 부분적으로 실행될 수 있다. 디지털 컴포넌트 제공자 디바이스(106)는 네트워크(105)를 통해 통신하기 위한 프로세서를 가지는 컴퓨팅 디바이스 예를 들어 컴퓨팅 디바이스(104), 데이터 프로세싱 시스템(102) 또는 디지털 컴포넌트 제공자 디바이스(106)와 같은 적어도 하나의 로직 디바이스를 포함할 수 있다. 디지털 컴포넌트 제공자 디바이스(106)는 적어도 하나의 계산 리소스, 서버, 프로세서 또는 메모리를 포함할 수 있다. 예를 들어, 디지털 컴포넌트 제공자 디바이스(106)는 적어도 하나의 데이터 센터에 위치된 복수의 계산 리소스 또는 서버를 포함할 수 있다.
디지털 컴포넌트 제공자 디바이스(106)는 클라이언트 컴퓨팅 디바이스(104)에 의해 제시하기 위한 오디오, 시각, 멀티미디어 기반 디지털 컴포넌트들을 오디오 출력 디지털 컴포넌트 또는 시각적 출력 디지털 컴포넌트로서 제공할 수 있다. 디지털 컴포넌트는 디지털 콘텐츠이거나 이를 포함할 수 있다. 디지털 컴포넌트는 디지털 오브젝트이거나 이를 포함할 수 있다. 디지털 컴포넌트는 구독 기반 콘텐츠 또는 유료 콘텐츠를 포함할 수 있다. 디지털 컴포넌트는 복수의 디지털 콘텐츠 아이템을 포함할 수 있다. 예를 들어, 디지털 컴포넌트는 스트리밍 음악 서비스(예를 들어, 디지털 컴포넌트 제공자 디바이스(106))로부터의 데이터 스트림일 수 있다. 스트리밍된 디지털 컴포넌트는 다수의 노래를 다른 디지털 콘텐츠 아이템으로 포함할 수 있다. 디지털 컴포넌트는 디지털 영화, 웹사이트, 노래, 애플리케이션(예를 들어, 스마트폰 또는 기타 클라이언트 디바이스 애플리케이션) 또는 기타 텍스트 기반, 오디오 기반, 이미지 기반 또는 비디오 기반 콘텐츠이거나 이들을 포함할 수 있다.
디지털 컴포넌트 제공자 디바이스(106)는 네트워크(105)를 통해 클라이언트 컴퓨팅 디바이스(104)에 디지털 컴포넌트를 제공하고, 데이터 프로세싱 시스템(102)을 우회할 수 있다. 디지털 컴포넌트 제공자 디바이스(106)는 네트워크(105) 및 데이터 프로세싱 시스템(102)을 통해 클라이언트 컴퓨팅 디바이스(104)에 디지털 컴포넌트를 제공할 수 있다. 예를 들어, 디지털 컴포넌트 제공자 디바이스(106)는 디지털 컴포넌트를 데이터 프로세싱 시스템(102)에 제공할 수 있으며, 데이터 프로세싱 시스템(102)은 디지털 컴포넌트를 저장하고 클라이언트 컴퓨팅 디바이스(104)에 의해 요청될 때 클라이언트 컴퓨팅 디바이스(104)에 디지털 컴포넌트를 제공할 수 있다.
데이터 프로세싱 시스템(102)은 적어도 하나의 계산 리소스 또는 서버를 포함할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 인터페이스(110)를 포함하거나, 그와 인터페이싱하거나 또는 그와 통신할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 원격 디지털 어시스턴트 컴포넌트(110)를 포함하거나, 그와 인터페이싱하거나 또는 그와 통신할 수 있다. 원격 디지털 어시스턴트 컴포넌트(112)는 적어도 하나의 자연어 프로세서 컴포넌트(114)를 포함하거나, 그와 인터페이싱하거나 또는 그와 통신할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 디지털 컴포넌트 선택기(120)를 포함하거나, 그와 인터페이싱하거나 또는 그와 통신할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 승인 컴포넌트(122)를 포함하거나, 그와 인터페이싱하거나 또는 그와 통신할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 데이터 저장소(124)와의 인터페이스를 포함하거나 또는 이와 달리 그와 통신할 수 있다. 적어도 하나의 데이터 저장소(124)는 하나 이상의 데이터 구조 또는 데이터베이스에 딥 링크(126), 페이로드 정책(128), 이벤트 식별자(130) 또는 콘텐츠 데이터(132)를 포함하거나 저장할 수 있다. 데이터 저장소(124)는 하나 이상의 로컬 또는 분산 데이터베이스를 포함할 수 있고, 데이터베이스 관리를 포함할 수 있다.
인터페이스(110), 원격 디지털 어시스턴트 컴포넌트(112), 자연어 프로세서 컴포넌트(114), 디지털 컴포넌트 선택기(120) 또는 승인 컴포넌트(122)는 각각 적어도 하나의 프로세싱 유닛 또는 데이터베이스 저장소 또는 데이터베이스(124)와 통신하도록 구성된 프로그래머블 논리 어레이 엔진 또는 모듈과 같은 다른 논리 디바이스를 포함할 수 있다. 인터페이스(110), 원격 디지털 어시스턴트 컴포넌트(112), 자연어 프로세서 컴포넌트(114), 디지털 컴포넌트 선택기(120), 승인 컴포넌트(122) 및 데이터 저장소(124)는 별개의 컴포넌트, 단일 컴포넌트 또는 데이터의 일부일 수 있다. 데이터 프로세싱 시스템(102)과 같은 시스템(100) 및 그 컴포넌트는 하나 이상의 프로세서, 논리 디바이스 또는 회로와 같은 하드웨어 엘리먼트를 포함할 수 있다.
데이터 프로세싱 시스템(102)은 인터페이스(110)를 포함할 수 있다. 인터페이스(110)는 예를 들어 데이터 패킷을 사용하여 정보를 수신 및 전송하도록 설계, 구성, 또는 동작될 수 있다. 인터페이스(110)는 네트워크 프로토콜과 같은 하나 이상의 프로토콜을 사용하여 정보를 수신 및 전송할 수 있다. 인터페이스(110)는 하드웨어 인터페이스, 소프트웨어 인터페이스, 유선 인터페이스 또는 무선 인터페이스를 포함할 수 있다. 인터페이스(110)는 한 포맷에서 다른 포맷으로 데이터를 변환하거나 포맷하는 것을 용이하게할 수 있다. 예를 들어, 인터페이스(110)는 소프트웨어 컴포넌트와 같은 다양한 컴포넌트들 사이에서 통신하기 위한 정의를 포함하는 어플리케이션 프로그래밍 인터페이스를 포함할 수 있다.
데이터 프로세싱 시스템(102)은 입력 오디오 신호를 데이터 프로세싱 시스템(102)의 인터페이스(110)에 통신하고 클라이언트 컴퓨팅 디바이스의 컴포넌트를 출력 오디오 신호 또는 시각적 출력을 렌더링하기 위해 구동하기 위한 로컬 디지털 어시스턴트(134)와 같은 클라이언트 컴퓨팅 디바이스(104)에 설치된 어플리케이션, 스크립트 또는 프로그램을 포함할 수 있다. 데이터 프로세싱 시스템(102)은 데이터 패킷, 디지털 파일, 또는 입력 오디오 신호(또는 입력 오디오 신호들)를 포함하거나 식별하는 다른 신호를 수신할 수 있다. 컴퓨팅 디바이스(104)는 트랜스듀서(140)를 통해 오디오 신호를 검출하고, 아날로그-디지털 변환기를 통해 아날로그 오디오 신호를 디지털 파일로 변환할 수 있다. 예를 들어, 오디오 드라이버(142)는 아날로그-디지털 변환기 컴포넌트를 포함할 수 있다. 프리-프로세서 컴포넌트(140)는 오디오 신호를 네트워크(105)를 통해 데이터 패킷들을 통해 전송될 수 있는 디지털 파일로 변환할 수 있다.
데이터 프로세싱 시스템(102)의 원격 디지털 어시스턴트 컴포넌트(112)는 NLP 컴포넌트(114)를 실행하여 컴퓨팅 디바이스(104)의 센서(138)에 의해 검출된 입력 오디오 신호를 포함하는 디지털 패킷들을 수신 또는 획득할 수 있다. 데이터 패킷들은 디지털 파일을 제공할 수 있다. NLP 컴포넌트(114)는 오디오 신호를 포함하는 디지털 파일 또는 데이터 패킷들을 수신 또는 획득하고 오디오 신호를 파싱할 수 있다. 예를 들어, NLP 컴포넌트(114)는 인간과 컴퓨터 간의 인터렉션들을 제공할 수 있다. NLP 컴포넌트(114)는 자연어를 이해하고 데이터 프로세싱 시스템(102)이 인간 또는 자연어 입력으로부터 의미를 도출하도록 하는 기법으로 구성될 수 있다. NLP 컴포넌트(114)는 통계적 기계 학습과 같은 기계 학습에 기초한 기법을 포함하거나 그러한 기법으로 구성될 수 있다. NLP 컴포넌트(114)는 입력 오디오 신호를 파싱하기 위해 디시전 트리, 통계 모델 또는 확률 모델을 이용할 수 있다. NLP 컴포넌트(114)는 기능들을 포함할 수 있고, 상기 기능들은 명명된 엔터티 인식(예: 주어진 텍스트의 스트림, 사람들 또는 장소들과 같은 적절한 이름에 대한 텍스트 맵의 아이템 결정, 상기 각 이름이 어떤 유형인지 예를 들어, 사람, 위치 또는 조직, 자연어 생성(예: 컴퓨터 데이터베이스로부터의 정보 또는 의미론적 의도를 이해가능한 인간 언어로 변환), 자연어 이해(예: 컴퓨터 모듈이 조작할 수 있는 텍스트를 제1 순서 로직 구조와 같은 더 형식적인 표현으로 변환), 기계 번역(예: 텍스트를 하나의 인간 언어로부터 다른 언어로 자동적으로 번역), 형태학적 세그먼트화(예: 단어를 개별 형태소로 분리하고 형태소의 클래스를 식별, 이는 고려되고 있는 언어의 단어의 형태론 또는 구조의 복잡도에 따라 어려울 수 있음), 질문에 답변(예: 특정적이거나 개방적일 수 있는 인간-언어 질문에 대한 답을 결정) 또는 의미론 프로세싱(예: 식별된 단어를 유사한 의미의 다른 단어와 관련시키기 위해 단어를 식별하고 그것의 의미를 인코딩한 후에 발생할 수 있는 프로세싱)을 포함한다.
NLP 컴포넌트(114)는 입력 신호를(예를 들어, 데이터 저장소(124)에) 저장된 대표적인 오디오 파형 세트와 비교하고 가장 근접한 매칭을 선택함으로써, 입력 오디오 신호를 인식된 텍스트로 변환할 수 있다. 오디오 파형 세트는 데이터 저장소(124) 또는 데이터 프로세싱 시스템(102)이 액세스 가능한 다른 데이터베이스에 저장될 수 있다. 대표적인 파형은 다수의 사용자 세트에 걸쳐 생성된 후, 사용자로부터의 음성 샘플로 보강될 수 있다. 오디오 신호가 인식된 텍스트로 변환된 후, NLP 컴포넌트(114)는 예를 들어, 데이터 프로세싱 시스템(102)이 제공할 수 있는 동작과 함께, 예를 들어 사용자를 통한 트레이닝 또는 수동 스펙을 통해 연관된 단어에 텍스트를 매칭한다. NLP 컴포넌트(114)는 이미지 또는 비디오 입력을 텍스트 또는 디지털 파일로 변환할 수 있다. NLP 컴포넌트(114)는 이미지 또는 비디오 입력을 프로세싱, 분석 또는 해석하여 액션을 수행하거나, 요청을 생성하거나, 데이터 구조를 선택 또는 식별할 수 있다.
데이터 프로세싱 시스템(102)은 입력 오디오 신호에 더하여 또는 그 대신에 이미지 또는 비디오 입력 신호를 수신할 수 있다. 데이터 프로세싱 시스템(102)은 예를 들어 이미지 해석 기법, 컴퓨터 비전, 기계 학습 엔진 또는 이미지 또는 비디오를 인식하여 상기 이미지 또는 비디오를 디지털 파일로 변환하기 위한 다른 기법을 사용하여, 이미지 또는 비디오 입력 신호를 프로세싱할 수 있다. 하나 이상의 이미지 해석 기법, 컴퓨터 비전 기법, 기계 학습 기법은 총괄적으로 이미징 기법으로 지칭될 수 있다. 데이터 프로세싱 시스템(102)(예를 들어, NLP 컴포넌트(114))은 오디오 프로세싱 기법에 더하여 또는 그 대신에 이미징 기법으로 구성될 수 있다.
NLP 컴포넌트(114)는 입력 오디오 신호를 획득할 수 있다. 입력 오디오 신호로부터, NLP 컴포넌트(114)는 요청에 대응하는 적어도 하나의 요청 또는 적어도 하나의 트리거 키워드를 식별할 수 있다. 요청은 입력 오디오 신호의 의도, 디지털 컴포넌트 또는 주제를 표시할 수 있다. 트리거 키워드는 취해질 수 있는 액션의 유형을 표시할 수 있다. 예를 들어, NLP 컴포넌트(114)는 저녁에 저녁 식사 및 영화 관람을 위해 동안 집을 떠나는 적어도 하나의 요청을 식별하기 위해 입력 오디오 신호를 파싱할 수 있다. 트리거 키워드는 적어도 하나의 단어, 문구, 어근 또는 부분 단어 또는 취해질 액션을 표시하는 파생어를 포함할 수 있다. 예를 들어, 입력 오디오 신호에서 트리거 키워드 "go" 또는 "to go to"는 전송 필요성을 표시할 수 있다. 이 예에서, 입력 오디오 신호(또는 식별된 요청)는 전송 의도를 직접 표현하지 않지만, 트리거 키워드는 전송이 요청에 의해 표시되는 적어도 하나의 다른 액션에 대한 보조 액션임을 표시한다.
NLP 컴포넌트(114)는 입력 오디오 신호를 파싱하여, 요청 및 트리거 키워드를 식별, 결정, 검색 또는 획득할 수 있다. 예를 들어, NLP 컴포넌트(114)는 트리거 키워드 또는 요청을 식별하기 위해 의미론 프로세싱 기법을 입력 오디오 신호에 적용할 수 있다. NLP 컴포넌트(114)는 의미론 프로세싱 기법을 입력 오디오 신호에 적용하여, 제1 트리거 키워드 및 제2 트리거 키워드와 같은 하나 이상의 트리거 키워드를 포함하는 트리거 문구를 식별할 수 있다. 예를 들어, 입력 오디오 신호에는 "내가 좋아하는 노래를 재생해(Play my favorite song)"라는 문장을 포함할 수 있다. NLP 컴포넌트(114)는 입력 오디오 신호가 트리거 키워드 "재생해"를 포함한다고 결정할 수 있다. NLP 컴포넌트(114)는 요청이 최종 사용자의 좋아하는 노래(디지털 컴포넌트)에 대한 것인지 결정할 수 있다. NLP 컴포넌트(114)는 입력 오디오 신호에서 애플리케이션 식별자 또는 디지털 컴포넌트 제공자 디바이스(106) 식별자를 식별할 수 있다. 애플리케이션 식별자 또는 디지털 컴포넌트 제공자 디바이스(106) 식별자는 최종 사용자가 요청을 채우고 싶어하는 애플리케이션 또는 디지털 컴포넌트 제공자 디바이스(106)를 표시할 수 있다.
데이터 프로세싱 시스템(102)은 승인 컴포넌트(122)의 인스턴스를 실행할 수 있다. 승인 컴포넌트(122)는 데이터 프로세싱 시스템(102)이 지연된 2-팩터 인증을 수행하게 할 수 있다. 입력 오디오 신호에서 NLP 컴포넌트(114)에 의해 식별된 디지털 컴포넌트는 디지털 컴포넌트 제공자 디바이스(106)로부터 클라이언트 컴퓨팅 디바이스(104)에 제공될 수 있다. 클라이언트 컴퓨팅 디바이스(104)에 디지털 컴포넌트를 제공하기 위해, 디지털 컴포넌트 제공자 디바이스(106) 또는 데이터 프로세싱 시스템(102)은 승인을 요구할 수 있다. 승인 컴포넌트(122)는 디지털 컴포넌트에 대한 요청에 응답하여, 전체 디지털 컴포넌트의 전송이 승인되기 전에, 디지털 컴포넌트의 일부가 클라이언트 컴퓨팅 디바이스(104)로 전송되거나 스트리밍되도록 할 수 있다. 예를 들어, 디지털 컴포넌트의 일부는 클라이언트 컴퓨팅 디바이스의 승인이 시작되거나 완료되기 전에 클라이언트 컴퓨팅 디바이스(104)에 전송될 수 있다.
승인 컴포넌트(122)는 클라이언트 컴퓨팅 디바이스(104)가 디지털 컴포넌트 제공자 디바이스(106)로부터 디지털 컴포넌트를 수신하도록 승인되었는지 여부 및 디지털 컴포넌트 제공자 디바이스(106)가 클라이언트 컴퓨팅 디바이스(104)에 대해 활성화되는지 여부를 결정할 수 있는 상태 머신을 포함할 수 있다. 디지털 컴포넌트 제공자 디바이스(106)가 클라이언트 컴퓨팅 디바이스(104)에 대해 활성화되면, 클라이언트 컴퓨팅 디바이스(104)의 기본 상태는 비승인 상태일 수 있다. 비승인 상태에 있을 때, 승인 컴포넌트(122)는 요청된 디지털 컴포넌트의 일부만을 클라이언트 컴퓨팅 디바이스(104)에 제공할 수 있다.
디지털 컴포넌트에 대한 요청을 수신하는 것에 기초하여, 디지털 컴포넌트 선택기(120)는 입력 오디오 신호를 데이터 프로세싱 시스템(102)에 전송한 제1 클라이언트 컴퓨팅 디바이스(104)로 전송할 디지털 컴포넌트의 일부를 선택할 수 있다. 적어도 제1 디지털 컴포넌트의 일부를 제1 클라이언트 디바이스에 전송하는 것에 기초하여, 승인 컴포넌트(122)는 승인 요청을 제2 클라이언트 디바이스에 전송할 수 있다. 승인 요청은 요청된 디지털 컴포넌트의 제2 부분(또는 나머지)을 제1 클라이언트 컴퓨팅 디바이스(104)에 전송하는 것을 승인하기 위한 요청을 포함할 수 있다. 승인 요청은 클라이언트 컴퓨팅 디바이스(104)에 전송되거나 푸시될 수 있는 디지털 메시지 또는 다른 참여 신호를 포함할 수 있다. 예를 들어, 승인 요청은 데이터 프로세싱 시스템(102)으로부터 제2 클라이언트 컴퓨팅 디바이스(104)에 전송되는 통지, SMS, 이메일 또는 기타 전자 메시지를 포함할 수 있다.
승인 컴포넌트(122)는 승인 요청에 포함할 대화 컴포넌트, 액션 식별자 또는 이벤트 식별자, 또는 다른 파라미터를 선택할 수 있다. 대화 컴포넌트는 데이터 저장소(124)에 저장된 딥 링크(126)로부터 선택된 딥 링크를 포함할 수 있다. 클라이언트 컴퓨팅 디바이스(104)에서 딥 링크를 실행하면 클라이언트 컴퓨팅 디바이스(104)가 클라이언트 컴퓨팅 디바이스(104)에서 실행되는 미리 결정된 애플리케이션을 열게 할 수 있다. 딥 링크는 열려있는 애플리케이션 창의 하나 이상의 필드에 채워지는 정보를 포함할 수 있다. 제2 클라이언트 컴퓨팅 디바이스(104)에서 승인 요청을 렌더링하는 것은 제2 클라이언트 컴퓨팅 디바이스(104)가 확인 옵션 또는 거부 옵션을 포함하는 대화를 표시하게 할 수 있다.
승인 컴포넌트(122)는 인터페이스(110) 및 네트워크(105)를 통해 확인 메시지를 수신할 수 있다. 클라이언트 컴퓨팅 디바이스(104)는 확인 옵션의 활성화에 응답하여 확인 메시지를 생성할 수 있다. 예를 들어, 승인 요청은 클라이언트 컴퓨팅 디바이스(104)가 클라이언트 컴퓨팅 디바이스(104)의 최종 사용자에게 사용자가 디지털 컴포넌트를 최종 사용자와 연관된 다른 클라이언트 컴퓨팅 디바이스(104)(예를 들어, 입력 오디오 신호를 데이터 프로세싱 시스템(102)에 전송 한 클라이언트 컴퓨팅 디바이스(104))에 전송하는 것을 승인하기를 원하는지 묻는 알림 창을 디스플레이하게 할 수 있다. 알림 창은 확인 옵션을 수락 버튼으로, 거부 옵션을 거부 버튼으로 렌더링할 수 있다. 확인 옵션의 선택은 클라이언트 컴퓨팅 디바이스(104)가 확인 메시지를 생성하고 데이터 프로세싱 시스템(102)에 전송하게 할 수 있다. 거부 옵션의 선택은 클라이언트 컴퓨팅 디바이스(104)가 거부 메시지를 생성하고 데이터 프로세싱 시스템(102)에 전송하게 할 수 있다.
승인 요청은 클라이언트 컴퓨팅 디바이스(104)에 미리 결정된 또는 요청된 디지털 컴포넌트를 전송하기 위한 요청을 포함할 수 있다. 승인 요청은 디지털 컴포넌트가 클라이언트 컴퓨팅 디바이스(104)에 전송하는데 필요한 디지털 컴포넌트 제공자 디바이스(106)로 구독(예를 들어, 스트리밍 음악 구독)을 시작하기 위한 요청을 포함할 수 있다.
확인 메시지는 승인 토큰과 승인 요청의 액션 또는 이벤트 식별자를 포함할 수 있다. 승인 컴포넌트(122)는 입력 오디오 신호를 데이터 프로세싱 시스템(102)에 전송한 클라이언트 컴퓨팅 디바이스(104)가 디지털 컴포넌트의 제2 부분 또는 디지털 컴포넌트 제공자 디바이스(106)으로부터 추가 디지털 컴포넌트를 수신하도록 승인되었음을 표시하는 승인 토큰을 수신함에 기초하여 상태 머신을 업데이트할 수 있다.
승인 컴포넌트(122)는 클라이언트 컴퓨팅 디바이스(104)가 이전에 디지털 컴포넌트 제공자 디바이스(106)와의 연결을 확립했는지 또는 디지털 컴포넌트 제공자 디바이스(106)로부터 요청된 디지털 컴포넌트를 결정하기 위해 이벤트 식별자(130)를 참조할 수 있다. 승인 컴포넌트(122)는 클라이언트 컴퓨팅 디바이스(104)의 식별자와 연관하여 요청의 표시를 이벤트 식별자(130)로서 저장할 수 있다. 승인 컴포넌트(122)는 승인 컴포넌트(122)가 디지털 컴포넌트를 제공하기 위한 승인 요청에 응답하여 확인 메시지를 수신하지 않는 경우에만 요청의 표시를 저장할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 노래가 제1 클라이언트 컴퓨팅 디바이스(104)로 스트리밍될 것을 요청하는 입력 오디오 신호를 수신할 수 있다. 요청에 응답하여, 승인 컴포넌트(122)는 승인 요청을 제1 클라이언트 컴퓨팅 디바이스(104)와 연관된 제2 클라이언트 컴퓨팅 디바이스(104)에 전송할 수 있다. 데이터 프로세싱 시스템(102)은 요청된 노래의 제1 부분을 제1 클라이언트 컴퓨팅 디바이스(104)에 전송할 수 있다. 승인 컴포넌트(122)가 미리 결정된 시간 내에 확인 메시지를 수신하지 않으면, 승인 컴포넌트(122)는 요청된 노래의 적어도 일부가 제1 클라이언트 컴퓨팅 디바이스(104)에 전송되었다는 표시를 이벤트 식별자(130)로서 저장할 수 있다.
승인 컴포넌트(122)는 디지털 컴포넌트의 적어도 일부가 클라이언트 컴퓨팅 디바이스(104)에 이전에 전송되었고 또는 클라이언트 컴퓨팅 디바이스(104)가 디지털 컴포넌트 제공자 디바이스(106)로부터 디지털 컴포넌트를 이전에 요청했던 것에 기초하여 디지털 컴포넌트에 대한 요청을 거부할 수 있다. 승인 컴포넌트(122)는 요청된 디지털 컴포넌트(또는 동일한 디지털 컴포넌트 제공자 디바이스(106)로부터의 디지털 컴포넌트)가 클라이언트 컴퓨팅 디바이스에 이전에 전송되었는지 여부를 이벤트 식별자(130)에서 조회하기 위해 클라이언트 컴퓨팅 디바이스(104)와 연관된 고유 식별자를 사용할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 디지털 컴포넌트 제공자 디바이스(106)로부터 클라이언트 컴퓨팅 디바이스(104)로 스트리밍되는 음악 재생 목록을 요청하는 입력 오디오 신호를 수신할 수 있다. 승인 컴포넌트(122)는 클라이언트 컴퓨팅 디바이스(104)가 디지털 컴포넌트 제공자 디바이스(106)로부터 재생 목록 또는 다른 디지털 컴포넌트의 스트리밍을 이전에 요청했는지 여부를 결정할 수 있다. 승인 컴포넌트(122)가 디지털 컴포넌트가 이전에 스트리밍되거나 클라이언트 컴퓨팅 디바이스(104)에 전송되었다고 결정하면(승인 컴포넌트(122)가 확인 메시지를 수신하지 않고), 승인 컴포넌트(122)는 데이터 프로세싱 시스템(102)이 요청된 재생 목록(또는 그 일부) 클라이언트 컴퓨팅 디바이스(104)에 스트리밍하는 것을 금지할 수 있다.
승인 컴포넌트(122)는 승인 컴포넌트(122)가 확인 메시지를 수신하지 않고 클라이언트 컴퓨팅 디바이스(104)가 디지털 컴포넌트를 요청한 횟수에 기초하여 승인 메시지의 수신 전에 전송된, 클라이언트 컴퓨팅 디바이스(104)에 전송되는 디지털 컴포넌트의 부분의 길이 또는 기간을 단축시킬 수 있다. 예를 들어, 클라이언트 컴퓨팅 디바이스(104)가 디지털 컴포넌트 제공자 디바이스(106)로부터 영화(예: 디지털 컴포넌트)를 처음 요청할 때, 승인 컴포넌트(122)는 확인 메시지를 수신하지 않고 영화의 10분 부분이 클라이언트 컴퓨팅 디바이스(104)에 전송되도록 선택하거나 승인할 수 있다. 클라이언트 컴퓨팅 디바이스(104)가 디지털 컴포넌트 제공자 디바이스(106)로부터 영화를 두 번째로 요청할 때, 승인 컴포넌트(122)는 확인 메시지를 수신하지 않고 영화의 5분 부분이 클라이언트 컴퓨팅 디바이스(104)에 전송되도록 선택하거나 승인할 수 있다. 각각의 후속 요청에 대해, 승인 컴포넌트(122)는 디지털 컴포넌트에 대한 제1 요청에 기초하여, 클라이언트 컴퓨팅 디바이스(104)로 전송되는 디지털 컴포넌트의 부분의 더 작은(또는 더 짧은) 하위부분을 승인하거나 선택할 수 있다.
디지털 컴포넌트 선택기(120)는 클라이언트 컴퓨팅 디바이스(104)에 의해 프로세싱될 수 있고 디스플레이(144) 또는 트랜스듀서(140)(예: 스피커)를 통해 사용자에게 제시될 수 있는 텍스트, 문자열, 문자, 비디오 파일, 이미지 파일 또는 오디오 파일을 포함하는 디지털 컴포넌트를 선택할 수 있다. 디지털 컴포넌트 선택기(120)는 입력 오디오 신호에서 NLP 컴포넌트(114)에 의해 식별된 요청에 응답하는 디지털 컴포넌트를 선택할 수 있다. 디지털 컴포넌트 선택기(120)는 어떤 디지털 컴포넌트 제공자 디바이스(106)가 요청을 이행해야 하거나 이행할 수 있는지를 선택할 수 있고 요청을 디지털 컴포넌트 제공자 디바이스(106)에 포워딩할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 디지털 컴포넌트 제공자 디바이스(106)와 클라이언트 컴퓨팅 디바이스(104) 사이의 세션을 개시하여 디지털 컴포넌트 제공자 디바이스(106)가 디지털 컴포넌트를 클라이언트 컴퓨팅 디바이스(104)에 전송할 수 있게 할 수 있다. 디지털 컴포넌트 선택기(120)는 디지털 컴포넌트 제공자 디바이스(106)로부터 디지털 컴포넌트를 요청할 수 있다. 디지털 컴포넌트 제공자 디바이스(106)는 데이터 저장소(124)에 디지털 컴포넌트를 저장할 수 있는 데이터 프로세싱 시스템(102)에 디지털 컴포넌트를 제공할 수 있다. 디지털 컴포넌트에 대한 요청에 응답하여, 디지털 컴포넌트 선택기(120)는 데이터 저장소(124)로부터 디지털 컴포넌트를 검색할 수 있다.
예를 들어, 디지털 컴포넌트에 대한 요청에 응답하여, 디지털 컴포넌트 선택기(120)는 요청에 응답하여 클라이언트 컴퓨팅 디바이스(104)에 제공할 디지털 컴포넌트의 부분을 선택할 수 있다. 디지털 컴포넌트 선택기(120)는 승인 컴포넌트(122)에 의해 설정된 기간 또는 길이에 대응하는 디지털 컴포넌트의 부분을 선택할 수 있다.
디지털 컴포넌트 선택기(120)는 실시간 콘텐츠 선택 프로세스를 통해 다수의 디지털 컴포넌트를 선택할 수 있다. 디지털 컴포넌트 선택기(120)는 디지털 컴포넌트를 스코어링하고 순위를 매길 수 있고, 출력 병합 컴포넌트(120)가 최고 순위의 디지털 컴포넌트를 선택하게 하도록 다수의 디지털 컴포넌트를 출력 병합 컴포넌트(120)에 제공할 수 있다. 디지털 컴포넌트 선택기(120)는 입력 오디오 신호(또는 그 안에 포함된 키워드 및 요청)에 기초하여 제2 클라이언트 컴퓨팅 디바이스(104)에 전송되는 하나 이상의 추가 디지털 컴포넌트를 선택할 수 있다. 하나 이상의 추가 디지털 컴포넌트는 승인 요청의 일부로서 또는 이에 추가하여 제2 클라이언트 컴퓨팅 디바이스(104)에 전송될 수 있다. 예를 들어, 제1 클라이언트 컴퓨팅 디바이스(104)로부터의 입력 오디오 신호가 제1 디지털 컴포넌트 제공자 디바이스(106)로부터의 디지털 컴포넌트에 대한 요청을 포함하는 경우, 디지털 컴포넌트 선택기(120)는 하나 이상의 관련된 디지털 컴포넌트 제공자 디바이스(106)에 대응하는 하나 이상의 디지털 컴포넌트를 선택할 수 있다. 하나의 예시적 예에서, 입력 오디오 신호는 제1 클라이언트 컴퓨팅 디바이스(104)에 스트리밍 음악을 시작하라는 요청을 포함할 수 있다. 디지털 컴포넌트 선택기(120)는 다른 디지털 컴포넌트 제공자 디바이스(106)와 연관된 추가적인 디지털 컴포넌트(예를 들어, 광고)를 선택할 수 있다. 데이터 프로세싱 시스템(102)은 제2 클라이언트 컴퓨팅 디바이스(104)에 대한 승인 요청에 추가 디지털 컴포넌트를 포함할 수 있다. 추가 디지털 컴포넌트는 제1 클라이언트 컴퓨팅 디바이스(104)로부터의 요청을 이행할 수 있는 추가 또는 관련된 디지털 컴포넌트 제공자 디바이스(106)를 최종 사용자에게 알릴 수 있다.
디지털 컴포넌트 선택기(120)는 입력 오디오 신호에서 식별된 요청에 응답하여 선택된 디지털 컴포넌트를 컴퓨팅 디바이스(104) 또는 로컬 디지털 어시스턴트(134) 또는 제시를 위해 컴퓨팅 디바이스(104)에서 실행하는 애플리케이션에 제공할 수 있다. 따라서, 디지털 컴포넌트 선택기(120)는 클라이언트 컴퓨팅 디바이스(104)로부터 콘텐츠 요청을 수신하고, 콘텐츠 요청에 응답하여 디지털 컴포넌트를 선택하고, 제시하기 위한 디지털 컴포넌트를 클라이언트 컴퓨팅 디바이스(104)에 전송할 수 있다. 디지털 컴포넌트 선택기(120)는 로컬 디지털 어시스턴트(134) 자체 또는 클라이언트 컴퓨팅 디바이스(104)에 의해 실행되는 서드 파티 애플리케이션에 의한 제시를 위해 선택된 디지털 컴포넌트를 로컬 디지털 어시스턴트(134)에 전송할 수 있다. 예를 들어, 로컬 디지털 어시스턴트(134)는 선택된 디지털 컴포넌트에 대응하는 오디오 신호를 재생하거나 출력할 수 있다.
데이터 저장소(124)는 하나 이상의 데이터 구조 또는 데이터 파일에 저장될 수 있는 딥 링크(126)를 저장할 수 있다. 딥 링크(126)는 테이블 또는 데이터베이스에 저장될 수 있다. 딥 링크(126)는 클라이언트 컴퓨팅 디바이스(104)에 의해 실행될 수 있는 애플리케이션의 링크, 포인터, 참조, 또는 다른 주소 또는 위치 정보를 포함할 수 있다. 애플리케이션에 대한 딥 링크는 단일 리소스 로케이터 또는 특정 리소스, 웹 콘텐츠, 애플리케이션 또는 애플리케이션 내 뷰로 연결되는 하이퍼링크를 참조할 수 있다. 딥 링크는 특정 리소스 또는 애플리케이션을 가리키거나 애플리케이션을 시작하거나 애플리케이션 내에서 미리 결정된 필드를 채우는데 사용되는 정보가 포함될 수 있다. 딥 링크는 애플리케이션을 시작하는 것 외에도 모바일 애플리케이션 내의 특정 위치에 링크되는 URI(uniform resource identifiers)를 포함할 수 있다. 예를 들어, 클라이언트 컴퓨팅 디바이스(104)에서 딥 링크를 열거나, 선택하거나, 실행하면 클라이언트 컴퓨팅 디바이스(104)가 디지털 컴포넌트 제공자 디바이스(106)와 연관된 애플리케이션을 열게 할 수 있다. 딥 링크는 열려있는 애플리케이션 내에서 등록 또는 가입 양식을 완전히 또는 부분적으로 미리 채운다. 이 예에서, 디지털 컴포넌트 제공자 디바이스(106)에 의해 제공되는 구독 서비스에 등록하기 위해, 최종 사용자는 양식에 입력된 정보를 검토한 다음 로딩된 애플리케이션 페이지에 있는 확인 아이콘을 선택하기만하면 된다. 딥 링크(126) 데이터 구조는 애플리케이션 이름 또는 애플리케이션의 뷰를 딥 링크에 매핑하는 해시 테이블을 포함할 수 있다.
데이터 저장소(124)는 하나 이상의 데이터 구조 또는 데이터 파일에 저장될 수 있는 페이로드 정책(128)을 저장할 수 있다. 페이로드 정책(128)은 딥 링크(126)가 생성될 때 어떤 데이터 또는 정보가 딥 링크(126)에 포함되어야 하는지를 표시할 수 있다. 데이터 프로세싱 시스템(102)은 데이터 프로세싱 시스템(102)과 연관된 디지털 컴포넌트 제공자 디바이스(106) 각각에 대해 상이한 페이로드 정책(128)을 저장할 수 있다. 페이로드 정책(128)은 디지털 컴포넌트 제공자 디바이스(106)가 구독 서비스 또는 구매 프로세스를 시작하거나 계속하기 위해 필요한 정보를 데이터 프로세싱 시스템(102)에 표시할 수 있다. 예를 들어, 페이로드 정책(128)은 디지털 컴포넌트 제공자 디바이스(106)에 등록할 때 계정 이름 또는 신용 카드 번호가 필요한지 여부를 표시할 수 있다. 페이로드 정책(128)은 또한 데이터 프로세싱 시스템(102)이 딥 링크(126)에 정보를 자동으로 포함할 수 있는지, 딥 링크(126)에 정보를 포함할 수 없는지, 또는 딥 링크(126)에 정보를 포함하기 전에 최종 사용자 승인을 받아야하는지 여부를 데이터 프로세싱 시스템(102)에 표시할 수 있다.
데이터 저장소(124)는 데이터 구조 또는 데이터 파일로서 이벤트 식별자(130)를 저장할 수 있다. 본 명세서에 설명된 바와 같이, 승인 컴포넌트(122)는 클라이언트 컴퓨팅 디바이스(104)가 디지털 컴포넌트 제공자 디바이스(106)와 연결을 설정하거나 디지털 컴포넌트 제공자 디바이스(106)로부터 디지털 컴포넌트를 디지털 컴포넌트 제공자 디바이스(106) 또는 데이터 프로세싱 시스템(102)에 등록 또는 인증하지 않고 요청하는 횟수를 모니터링하거나 카운트할 수 있다. 이벤트 식별자(130)는 클라이언트 컴퓨팅 디바이스(104)가 디지털 컴포넌트 제공자 디바이스(106) 또는 데이터 프로세싱 시스템(102)에 대해 만드는 현재 및 과거 요청의 양태를 참조할 수 있다. 이벤트 식별자(130)는 최종 사용자에 의해 승인되지 않은 클라이언트 컴퓨팅 디바이스(104)와 디지털 컴포넌트 제공자 디바이스(106) 사이의 연결 시간 및 기간을 표시할 수 있는 하나 이상의 데이터 구조를 포함할 수 있다. 이벤트 식별자는 입력 오디오 파일의 표시(예를 들어, 고유 식별자), 요청이 어느 디지털 컴포넌트 제공자 디바이스(106)로 향했는지에 대한 표시, 그리고 입력 오디오 파일이 포함되어 있는 클라이언트 컴퓨팅 디바이스(104)의 표시(예를 들어, 해시)를 포함할 수 있다.
데이터 저장소(124)는 예를 들어 디지털 컴포넌트 제공자 디바이스(106)에 의해 제공되거나 콘텐츠 선택을 용이하게 하기 위해 데이터 프로세싱 시스템(102)에 의해 획득되거나 결정된 디지털 컴포넌트를 포함할 수 있는 콘텐츠 데이터(132)를 저장한다. 콘텐츠 데이터(132)는 예를 들어 콘텐츠 아이템, 온라인 문서, 오디오, 이미지, 비디오, 멀티미디어 콘텐츠 또는 서드파티 콘텐츠를 포함할 수 있는 디지털 컴포넌트(또는 디지털 컴포넌트 오브젝트)를 포함할 수 있다. 디지털 컴포넌트 제공자 디바이스(106)는 콘텐츠 데이터(132)로 저장하기 위해 전체 길이 디지털 컴포넌트를 데이터 프로세싱 시스템(102)에 제공할 수 있다. 디지털 컴포넌트 제공자 디바이스(106)는 디지털 컴포넌트의 하위부분을 데이터 프로세싱 시스템(102)에 제공할 수 있다. 데이터 프로세싱 시스템(102)은 클라이언트 컴퓨팅 디바이스(104)가 디지털 컴포넌트에 액세스하는 계정 또는 구독이 승인될 때까지 디지털 컴포넌트의 하위 부분을 클라이언트 컴퓨팅 디바이스(104)에 제공할 수 있다. 디지털 컴포넌트의 하위 부분은 디지털 컴포넌트(예를 들어, 노래, TV 쇼, 영화 또는 기타 비디오) 또는 요청된 디지털 컴포넌트와 연관된 샘플의 제1 미리 결정된 분 또는 초를 포함할 수 있다. 예를 들어, 디지털 컴포넌트가 영화인 경우, 데이터 프로세싱 시스템(102)에 하위 부분으로 전송되는 샘플은 영화의 예고편일 수 있다.
도 2는 컴퓨팅 디바이스를 승인하기 위한 예시적 방법(200)의 블록도를 도시한다. 방법(200)은 입력 신호를 수신하는 단계를 포함할 수 있다(동작 202). 방법(200)은 입력 신호를 파싱하는 단계를 포함할 수 있다(동작 204). 방법(200)은 디지털 컴포넌트의 제1 부분을 클라이언트 컴퓨팅 디바이스로 전송하는 단계를 포함할 수 있다(동작 206). 방법(200)은 승인 요청을 전송하는 단계를 포함할 수 있다(동작 208). 방법(200)은 확인 메시지를 수신하는 단계를 포함할 수 있다(동작 210). 방법(200)은 디지털 컴포넌트의 제2 부분을 클라이언트 컴퓨팅 디바이스로 전송하는 단계를 포함할 수 있다(동작 212).
방법(200)은 도 1, 도 3 또는 도 4에 도시된 하나 이상의 컴포넌트 또는 시스템에 의해 수행될 수 있다. 전술한 바와 같이, 방법(200)은 입력 신호를 수신하는 단계를 포함할 수 있다(동작 202). 방법은 상기 데이터 프로세싱 시스템에서 실행되는 자연어 프로세서 컴포넌트에 의해, 입력 신호를 수신하는 단계를 포함할 수 있다. 입력 신호는 제1 클라이언트 디바이스에서 센서에 의해 검출된 입력 오디오 신호일 수 있다. 센서는 제1 클라이언트 디바이스의 마이크로폰일 수 있다. 예를 들어, 하나 이상의 프로세서 및 메모리를 포함하는 데이터 프로세싱 시스템에 의해 적어도 부분적으로 실행되는 디지털 어시스턴트 컴포넌트는 입력 오디오 신호를 수신할 수 있다. 입력 오디오 신호는 디지털 어시스턴트에 의해 지원된 대화를 포함할 수 있다. 대화는 하나 이상의 입력 및 출력을 포함할 수 있다. 대화는 오디오 기반, 텍스트 기반 또는 오디오와 텍스트의 조합일 수 있다. 입력 오디오 신호는 텍스트 입력 또는 대화 정보를 제공할 수 있는 다른 유형의 입력을 포함할 수 있다. 데이터 프로세싱 시스템은 대화에 대응하는 세션에 대한 오디오 입력을 수신할 수 있다. 데이터 프로세싱 시스템은 오디오 입력을 하나 이상의 부분으로 또는 대량 또는 배치 업로드(예를 들어, 전송 횟수를 줄이기 위해 단일 전송으로 업로드된 대화의 여러 부분)로 수신할 수 있다.
방법(200)은 입력 신호를 파싱하는 단계를 포함할 수 있다(동작 204). 데이터 프로세싱 시스템의 NLP 컴포넌트는 입력 신호를 파싱하여 디지털 컴포넌트 요청을 식별할 수 있다. NLP 컴포넌트는 입력 신호에서 트리거 키워드를 식별할 수 있다. 예를 들어, 입력 오디오 신호는 "OK, 내 음악 서비스에서 오늘의 최고 히트곡 재생해"을 포함할 수 있다. NLP 컴포넌트는 입력 신호를 파싱하여 요청된 디지털 컴포넌트가 "최고 히트곡"의 음악 재생 목록인지 결정할 수 있다. NLP 컴포넌트는 트리거 키워드가 재생되도록 결정할 수 있으며, 이는 최종 사용자가 음악 재생 목록의 노래를 클라이언트 컴퓨팅 디바이스로 스트리밍하기를 원함을 표시할 수 있다. 데이터 프로세싱 시스템은 내 음악 서비스가 최종 사용자가 디지털 컴포넌트(예: 노래)를 제공하도록 요청한 디지털 컴포넌트 제공자 디바이스임을 결정할 수 있다.
방법(200)은 디지털 컴포넌트의 제1 부분을 전송하는 단계를 포함할 수 있다(동작 206). 디지털 컴포넌트 선택기는 입력 오디오 신호에서 식별된 요청에 기초하여 디지털 컴포넌트를 선택할 수 있다. 디지털 컴포넌트는 노래, 스트림 또는 복수의 노래, 비디오, 애플리케이션, 이미지 또는 기타 디지털 콘텐츠를 포함할 수 있다. 디지털 컴포넌트의 일부는 디지털 컴포넌트의 세그먼트(예를 들어, 비디오 파일의 처음 몇 분의 비디오 세그먼트) 또는 요청된 디지털 컴포넌트와 관련된 디지털 컴포넌트이거나 이를 포함할 수 있다. 예를 들어, 디지털 컴포넌트의 일부는 예고편, 티저 또는 요청된 디지털 컴포넌트와 관련된 기타 콘텐츠를 포함할 수 있다. 데이터 프로세싱 시스템은 디지털 컴포넌트의 일부를 클라이언트 컴퓨팅 디바이스에 제공할 수 있는 디지털 컴포넌트 제공자 디바이스에 요청을 전송할 수 있다. 데이터 프로세싱 시스템은 디지털 컴포넌트 제공자 디바이스에 의해 제공된 디지털 컴포넌트 및 그 일부를 데이터 저장소에 저장할 수 있고, 데이터 프로세싱 시스템은 디지털 컴포넌트 및 그 일부를 클라이언트 컴퓨팅 디바이스에 제공할 수 있다. 데이터 프로세싱 시스템은 디지털 컴포넌트 제공자 디바이스가 클라이언트 컴퓨팅 디바이스에 디지털 컴포넌트 및 그 일부를 제공할 수 있게 하기 위해 디지털 컴포넌트 제공자 디바이스와 클라이언트 컴퓨팅 디바이스 사이에 연결을 설정할 수 있다. 데이터 프로세싱 시스템은 클라이언트 컴퓨팅 디바이스의 승인을 완료하지 않고 클라이언트 컴퓨팅 디바이스에 디지털 컴포넌트의 일부를 전송하거나 전송을 개시할 수 있다. 예를 들어, 디지털 컴포넌트가 구독 서비스 또는 유료 콘텐츠 아이템의 일부인 경우 데이터 프로세싱 시스템은 결제 또는 클라이언트 컴퓨팅 디바이스의 최종 사용자에게 필요한 구독에 등록할 것을 요구하지 않고 클라이언트 컴퓨팅 디바이스에 디지털 컴포넌트의 일부를 전송할 수 있다.
방법(200)은 승인 요청을 전송하는 단계를 포함할 수 있다(동작 208). 클라이언트 컴퓨팅 디바이스는 클라이언트 컴퓨팅 디바이스를 통해 사용자에게 디지털 컴포넌트를 렌더링, 재생 또는 제시하기 위해 결제, 로그인, 승인을 요구하기 전에 클라이언트 컴퓨팅 디바이스의 최종 사용자에게 디지털 컴포넌트의 일부를 수신하여 렌더링, 재생 또는 제시를 시작할 수 있다. 승인 컴포넌트는 승인 요청을 제2 클라이언트 컴퓨팅 디바이스에 전송할 수 있다. 제2 클라이언트 컴퓨팅 디바이스는 제1 클라이언트 컴퓨팅 디바이스와 연관될 수 있다. 예를 들어, 제1 및 제2 클라이언트 컴퓨팅 디바이스는 모두 동일한 최종 사용자에게 등록될 수 있다. 승인 요청은 디지털 컴포넌트의 제2 부분을 제1 클라이언트 컴퓨팅 디바이스에 전송하기 위한 요청을 포함할 수 있다. 예를 들어, 동작(204)에서 식별된 요청은 음악을 스피커 기반 어시스턴트 디바이스에 클라이언트 컴퓨팅 디바이스에 스트리밍하는 것일 수 있다. 디지털 컴포넌트의 제1 부분은 재생 시간이 5분으로 제한된 음악 스트리밍일 수 있다. 이 예에서, 제1 클라이언트 컴퓨팅 디바이스가 5분 분량의 음악 스트리밍을 재생함에 따라, 승인 컴포넌트는 승인 요청을 제2 클라이언트 컴퓨팅 디바이스에 전송할 수 있다. 제2 클라이언트 컴퓨팅 디바이스는 최종 사용자의 모바일 디바이스일 수 있다. 승인 요청은 스트리밍 음악을 제공하는 디지털 컴포넌트 제공자 디바이스와 연관된 등록 페이지가 열리도록 하는 딥 링크를 포함할 수 있다. 딥 링크는 등록 페이지에 채어지는 정보를 포함할 수 있다.
방법(200)은 확인 메시지를 수신하는 단계를 포함할 수 있다(동작 210). 데이터 프로세싱 시스템은 승인 요청이 전송되었던 클라이언트 컴퓨팅 디바이스로부터 확인 메시지를 수신할 수 있다. 데이터 프로세싱 시스템은 디지털 컴포넌트의 제1 부분이 전송되었던 클라이언트 컴퓨팅 디바이스와 다른 제2 클라이언트 컴퓨팅 디바이스로 승인 요청을 전송하고 그로부터 확인 메시지를 수신할 수 있다. 데이터 프로세싱 시스템은 디지털 컴포넌트 제공자 디바이스로부터 확인 메시지를 수신할 수 있다. 예를 들어, 승인 요청은 디지털 컴포넌트 제공자 디바이스에서 제공하는 서비스에 등록하기 위해 등록 페이지를 채우는 딥 링크를 포함할 수 있다. 제2 클라이언트 컴퓨팅 디바이스에서 승인 요청을 수락하는 것은 제2 클라이언트 컴퓨팅 디바이스로 하여금 등록 정보를 디지털 컴포넌트 제공자 디바이스에 전송하여 예를 들어 디지털 컴포넌트 제공자 디바이스에 계정을 생성하게 할 수 있다. 최종 사용자의 계정이 디지털 컴포넌트 제공자 디바이스에서 설정되면(등록 정보 수신 기준), 디지털 컴포넌트 제공자 디바이스는 최종 사용자가 디지털 컴포넌트 제공자 디바이스에 등록되었음을 나타내는 확인 메시지를 포함하는 메시지를 데이터 프로세싱 시스템에 전송할 수 있다.
방법(200)은 디지털 컴포넌트의 제2 부분을 전송하는 단계를 포함할 수 있다(동작 212). 데이터 프로세싱 시스템은 디지털 컴포넌트의 제2 부분을 디지털 컴포넌트의 제1 부분을 수신한 디지털 컴포넌트에 전송할 수 있다. 디지털 컴포넌트의 제2 부분은 제1 부분에 포함되지 않았던 디지털 컴포넌트의 나머지 부분일 수 있다. 디지털 컴포넌트의 제2 부분은 추가 디지털 컴포넌트일 수 있다. 예를 들어, 제1 부분은 재생 목록의 첫 번째 노래일 수 있고 제2 부분은 재생 목록의 다음 노래일 수 있다.
도 3은 시스템(100)의 블록도 및 예를 들어 방법(200)의 동작 동안 시스템(100)의 컴포넌트들 간의 네트워크 전송을 도시한다.
클라이언트 컴퓨팅 디바이스(104(1))는 최종 사용자로부터 오디오 신호를 수신할 수 있다. 클라이언트 컴퓨팅 디바이스(104(1))는 마이크로폰과 같은 센서로 오디오 신호를 검출할 수 있다. 클라이언트 컴퓨팅 디바이스(104(1))는 오디오 신호를 입력 오디오 신호로 변환하고 입력 오디오 신호를 전송(301)에서 데이터 프로세싱 시스템(102)에 전송할 수 있다. 전송(301)(및 도 3에 도시된 다른 전송)은 도 1에 도시된 네트워크(105)와 유사한 네트워크를 통해 설정될 수 있다. 입력 오디오 신호는 디지털 컴포넌트 제공자 디바이스(106)에 의해 클라이언트 컴퓨팅 디바이스(104(1))에 제공되는 디지털 컴포넌트에 대한 요청을 포함할 수 있다. 디지털 컴포넌트 제공자 디바이스(106)는 네트워크(105)를 통해 클라이언트 컴퓨팅 디바이스(104(1))에 직접 또는 데이터 프로세싱 시스템(102)을 통해 디지털 컴포넌트를 제공할 수 있다. 디지털 컴포넌트 제공자 디바이스(106)에 의해 제공되는 디지털 컴포넌트는 구독(예를 들어, 스트리밍 음악 서비스)의 일부로서 제공될 수 있거나 유료 콘텐츠(예를 들어, 스트리밍 영화)일 수 있다.
입력 오디오 신호에서 요청을 수신하는 것에 기초하여, 데이터 프로세싱 시스템(102) 및 디지털 컴포넌트 제공자 디바이스(106)는 클라이언트 컴퓨팅 디바이스(104)에 디지털 컴포넌트의 제1 부분을 제공할 수 있다. 데이터 프로세싱 시스템(102)은 전송(302)을 통해 디지털 컴포넌트 제공자 디바이스(106)에 지시하여, 디지털 컴포넌트의 제1 부분을 디지털 컴포넌트 제공자 디바이스(106)에 전송하게 할 수 있다. 데이터 프로세싱 시스템(102)은 또한 디지털 컴포넌트 제공자 디바이스(106)와 클라이언트 컴퓨팅 디바이스(104) 사이의 세션을 설정할 수 있다. 전송(302)을 통해, 데이터 프로세싱 시스템(102)은 디지털 컴포넌트 제공자 디바이스(106)에 의해 제공되는 서비스 또는 디지털 컴포넌트에 대한 API 호출을 통해 디지털 컴포넌트 제공자 디바이스(106)와 인터렉션할 수 있다. 디지털 컴포넌트 제공자 디바이스(106)는 클라이언트 컴퓨팅 디바이스(104(1))에의 전송(303)을 통해 클라이언트 컴퓨팅 디바이스(104)에 제1 부분을 전송할 수 있다. 제1 부분은 벌크 또는 배치 전송으로 전송될 수 있거나, 디지털 컴포넌트의 제1 부분은 클라이언트 컴퓨팅 디바이스(104)에 스트리밍될 수 있다.
데이터 프로세싱 시스템(102)은 클라이언트 컴퓨팅 디바이스(104(1))가 디지털 컴포넌트 제공자 디바이스(106)로부터 이전에 디지털 컴포넌트를 요청했는지 여부를 결정할 수 있다. 클라이언트 컴퓨팅 디바이스(104(1))가 디지털 컴포넌트 제공자 디바이스(106)로부터 이전에 디지털 컴포넌트를 요청했다면, 데이터 프로세싱 시스템(102)은 디지털 컴포넌트의 제1 부분을 클라이언트 컴퓨팅 디바이스(104(1))에 전송하는 것을 거부할 수 있다. 데이터 프로세싱 시스템(102)은 디지털 컴포넌트의 제1 부분을 클라이언트 컴퓨팅 디바이스(104(1))에 전송하는 것을 거부할 수 있지만 승인 요청을 클라이언트 컴퓨팅 디바이스(104(2))에 전송할 수 있다. 데이터 프로세싱 시스템(102)이 클라이언트 컴퓨팅 디바이스(104(2))로부터 확인 메시지를 수신하면, 데이터 프로세싱 시스템(102)은 요청된 디지털 컴포넌트를 클라이언트 컴퓨팅 디바이스(104(1))에 전송할 수 있다.
디지털 컴포넌트의 제1 부분을 클라이언트 컴퓨팅 디바이스(104(1))에 전송하는 것에 응답하거나 그 이전에, 데이터 프로세싱 시스템(102)은 전송(304)을 통해 클라이언트 컴퓨팅 디바이스(104(2))에 승인 요청을 전송할 수 있다. 클라이언트 컴퓨팅 디바이스(104(1)) 및 클라이언트 컴퓨팅 디바이스(104(2))는 동일한 최종 사용자와 연관될 수 있다. 디지털 컴포넌트 제공자 디바이스(106)에 의해 제공되는 서비스 또는 디지털 컴포넌트가 구독을 필요로 하는 경우, 승인 요청은 디지털 컴포넌트 제공자 디바이스(106)와의 구독을 시작하기 위한 정보를 포함할 수 있거나 적어도 부분적으로 등록 양식의 필드를 채우는 딥 링크를 포함할 수 있다. 승인 요청은 사용자가 클라이언트 컴퓨팅 디바이스(104(1))에 입력 오디오 신호에서 요청된 디지털 컴포넌트의 전송을 승인하기를 원하는지 클라이언트 컴퓨팅 디바이스(104(2))의 사용자에게 요청하는 메시지이거나 이를 포함할 수 있다.
승인 요청 수신에 응답하여, 클라이언트 컴퓨팅 디바이스(104(2))는 클라이언트 컴퓨팅 디바이스(104(2))의 최종 사용자가 요청된 디지털 컴포넌트의 클라이언트 컴퓨팅 디바이스(104)(2)로의 전송을 승인함을 나타내는 확인 메시지를 데이터 프로세싱 시스템(102)에 전송할 수 있다. 최종 사용자가 클라이언트 컴퓨팅 디바이스(104(2))로의 디지털 컴포넌트의 전송을 승인하기를 원하지 않는 경우, 최종 사용자는 승인 요청을 거부하여 클라이언트 컴퓨팅 디바이스(104(2))가 전송(305)에서 데이터 프로세싱 시스템(102)에 거부 메시지를 전송하게 할 수 있다. 데이터 프로세싱 시스템(102)이 클라이언트 컴퓨팅 디바이스(104(2))에 승인 요청을 전송하는 미리 결정된 시간 내에 클라이언트 컴퓨팅 디바이스(104(2))로부터 확인 메시지를 수신하지 않으면, 데이터 프로세싱 시스템(102)은 데이터 프로세싱 시스템(102)이 거부 메시지를 수신한 것처럼 무응답을 등록할 수 있다. 클라이언트 컴퓨팅 디바이스(104(2))는 클라이언트 컴퓨팅 디바이스(104(2))에서 발생한 액션 또는 컨텍스트 이후 사이의 시간 지연에 기초하여, 거부하는 메시지(또는 데이터 프로세싱 시스템(102)가 무응답을 등록할 수 있음)를 자동으로 전송할 수 있다. 시간 지연이 미리 결정된 임계치를 초과하면, 클라이언트 컴퓨팅 디바이스(104(2))는 거부 메시지를 데이터 프로세싱 시스템(102)에 전송할 수 있다. 액션은 확인 메시지 열기, 확인 메시지 수신 또는 애플리케이션 열기 등이 될 수 있다. 예를 들어, 클라이언트 컴퓨팅 디바이스(104(2))가 확인 메시지를 수신하고, 클라이언트 컴퓨팅 디바이스(104(2))의 최종 사용자가 확인 메시지를 열지만 응답을 입력하지 않는 경우, 확인 메시지는 미리 결정된 시간 지연 임계치에 도달하면 타임아웃되어 거부 메시지를 데이터 프로세싱 시스템(102)에 자동으로 전송할 수 있다. 컨텍스트는 특히 위치 컨텍스트 또는 애플리케이션 컨텍스트일 수 있다. 예를 들어, 클라이언트 컴퓨팅 디바이스(104(2))는 최종 사용자가 컨텍스트가 개시된 후 미리 결정된 시간 동안 확인 메시지에 응답하지 않으면 거부 메시지를 자동으로 생성하여 데이터 프로세싱 시스템(102)에 전송할 수 있다. 미리 결정된 시간은 액션 또는 컨텍스트에 기초할 수 있다. 예를 들어, 컨텍스트가 사용자의 집과 같은 제1 위치인 경우 미리 결정된 시간 지연은 제1 시간 길이일 수 있으며, 컨텍스트가 사용자의 차와 같은 제2 위치인 경우 미리 결정된 시간 지연은 더 길거나 짧을 수 있다.
데이터 프로세싱 시스템(102)은 클라이언트 컴퓨팅 디바이스(104(2))가 클라이언트 컴퓨팅 디바이스(104(1))의 미리 결정된 거리(306) 내에 있음을 결정할 수 있고 승인 요청에 대한 확인 메시지를 자동으로 생성할 수 있다. 미리 결정된 거리(306)는 물리적 거리에 의해 정의될 수 있다. 예를 들어, 미리 결정된 거리는 클라이언트 컴퓨팅 디바이스(104(1))의 위치로부터 5피트, 10피트, 30피트, 50피트, 100피트 또는 그 이상의 반경에 의해 정의될 수 있다. 미리 결정된 거리(306)는 지리적 지정에 의해 정의될 수 있다. 예를 들어, 미리 결정된 거리(306)는 동일한 집, 건물, 도시, 카운티, 국가, 우편 번호, 또는 다른 지리적 영역 내의 두 위치를 포함할 수 있다. 미리 결정된 거리는 클라이언트 컴퓨팅 디바이스(104(1))와 클라이언트 컴퓨팅 디바이스(104(2)) 사이의 근접성에 의해 정의될 수 있다. 근접성은 클라이언트 컴퓨팅 디바이스(104(1)) 및 클라이언트 컴퓨팅 디바이스(104(2))가 서로 연결(307)을 설정할 수 있는 거리에 의해 정의될 수 있다. 예를 들어, 미리 결정된 거리(306)는 무선 또는 유선 네트워크, 블루투스 링크, 또는 하나의 클라이언트 컴퓨팅 디바이스(104)에 의해 생성되고 다른 클라이언트 컴퓨팅 디바이스(104)에 의해 검출되는 서브 가청 신호에 의해 정의될 수 있다.
클라이언트 컴퓨팅 디바이스(104(1)) 및 클라이언트 컴퓨팅 디바이스(104(2))가 서로 미리 결정된 거리(306) 내에 있을 때, 클라이언트 컴퓨팅 디바이스(104(1))는 클라이언트 컴퓨팅 디바이스(104(2))가 입력 오디오 신호의 메타 데이터로서 클라이언트 컴퓨팅 디바이스(104(2))의 미리 결정된 거리 내에 있음을 표시할 수 있다. 클라이언트 컴퓨팅 디바이스(104(2))는 그것이 클라이언트 컴퓨팅 디바이스(104(1))의 미리 결정된 거리(306) 내에 있다고 결정하고 승인 요청에 자동으로 응답할 수 있다. 승인 요청은 클라이언트 컴퓨팅 디바이스(104(2))가 클라이언트 컴퓨팅 디바이스(104(1))의 미리 결정된 거리(306) 내에 있는지 여부에 기초하여 상이한 레벨의 인증 또는 정보를 요청할 수 있다. 예를 들어, 클라이언트 컴퓨팅 디바이스(104(2))는 클라이언트 컴퓨팅 디바이스(104(2))가 미리 결정된 거리 내에 있을 때, 클라이언트 컴퓨팅 디바이스(104(2))에서 암호를 입력하지 않고, 승인 요청에 응답할 수 있지만, 클라이언트 컴퓨팅 디바이스(104(2))가 미리 결정된 거리(306) 내에 있지 않을 때는 암호가 필요할 수 있다.
확인 메시지의 수신에 응답하여, 데이터 프로세싱 시스템(102)은 디지털 컴포넌트 제공자 디바이스(106)로의 송신 전송(308)을 설정할 수 있다. 전송(308)을 통해, 데이터 프로세싱 시스템(102)은 디지털 컴포넌트 제공자 디바이스(106)에 지시하여 요청된 디지털 컴포넌트의 제2 부분을 클라이언트 컴퓨팅 디바이스(104(1))에 전송하게 하거나 디지털 컴포넌트 제공자 디바이스(106)에게 인증 메시지가 수신되었음을 표시하게 할 수 있다. 전송(309)을 통해, 디지털 컴포넌트 제공자 디바이스(106)는 클라이언트 컴퓨팅 디바이스(104(1))에 디지털 컴포넌트의 제2 부분을 제공할 수 있다.
본 개시의 적어도 일 양태에 따르면, 방법은 상기 콘텐츠 선택 컴포넌트에 의해, 적어도 제1 디지털 컴포넌트 요청에 기초하여 제1 디지털 컴포넌트 및 제2 디지털 컴포넌트를 선택하는 단계; 및 상기 콘텐츠 선택 컴포넌트에 의해, 상기 제2 디지털 컴포넌트를 제2 클라이언트 디바이스에 전송하는 단계를 더 포함할 수 있다. 상기 제1 클라이언트 디바이스 및 상기 제2 클라이언트 디바이스는 모두 동일한 사용자와 연관된다. 방법은 상기 자연어 프로세서 컴포넌트에 의해, 상기 제1 클라이언트 디바이스에서 센서에 의해 검출된 제2 입력 오디오 신호를 수신하는 단계를 더 포함할 수 있다. 제2 입력 오디오 신호는 제2 입력 오디오 신호에서 제2 디지털 컴포넌트 요청을 식별하기 위해 자연어 프로세서 컴포넌트에 의해 파싱될 수 있다. 승인 컴포넌트는 제2 디지털 컴포넌트의 제1 부분이 제1 클라이언트 디바이스에 이전에 전송되었다고 결정할 수 있고, 승인 컴포넌트는 제2 디지털 컴포넌트의 제1 부분을 제1 클라이언트 디바이스에 전송하는 것을 거부할 수 있다. 방법은 상기 승인 컴포넌트에 의해, 상기 디지털 컴포넌트의 제1 클라이언트 디바이스로의 전송을 승인하기 위해 제2 승인 요청을 상기 제2 클라이언트 디바이스에 전송하는 단계를 더 포함할 수 있다.
방법은 상기 자연어 프로세서 컴포넌트에 의해, 상기 제1 클라이언트 디바이스에서 센서에 의해 검출된 제2 입력 오디오 신호를 수신하는 단계를 더 포함할 수 있다. 자연어 프로세서 컴포넌트는 제2 입력 오디오 신호에서 제2 디지털 컴포넌트 요청을 식별하기 위해 제2 입력 오디오 신호를 파싱할 수 있다. 승인 컴포넌트는 제2 디지털 컴포넌트의 제1 부분이 제1 클라이언트 디바이스에 이전에 전송되었다고 결정할 수 있고, 콘텐츠 선택 컴포넌트는 제2 디지털 컴포넌트의 제1 부분의 하위부분을 제1 클라이언트 디바이스에 전송할 수 있다.
방법은 상기 자연어 프로세서 컴포넌트에 의해, 상기 제1 클라이언트 디바이스에서 센서에 의해 검출된 제2 입력 오디오 신호를 수신하는 단계를 더 포함할 수 있다. 자연어 프로세서 컴포넌트는 제2 입력 오디오 신호에서 제2 디지털 컴포넌트 요청을 식별하기 위해 제2 입력 오디오 신호를 파싱할 수 있다. 승인 컴포넌트에 의해, 제2 클라이언트 디바이스가 제1 클라이언트 디바이스로부터 미리 결정된 거리 내에 있다는 것이 결정될 수 있고, 콘텐츠 선택 컴포넌트는 제2 클라이언트 디바이스가 제1 클라이언트 디바이스로부터 미리 결정된 거리 내에 있다는 결정에 기초하여 제2 디지털 컴포넌트를 제1 클라이언트 디바이스에 전송할 수 있다. 승인 컴포넌트는 제2 클라이언트 디바이스가 제1 클라이언트 디바이스의 미리 결정된 거리 내에 있음을 표시하는 메시지를 수신할 수 있다.
상기 방법은 상기 승인 컴포넌트에 의해, 상기 제1 디지털 컴포넌트를 제공하도록 구성된 콘텐츠 제공자의 표시, 상기 콘텐츠 제공자와 연관된 URL(uniform resource locator), 또는 상기 콘텐츠 제공자와 연관된 등록 정보 중 적어도 하나를 포함하는 페이로드를 생성하는 단계를 더 포함할 수 있다.
방법은 상기 자연어 프로세서 컴포넌트에 의해, 상기 제1 클라이언트 디바이스에서 센서에 의해 검출된 제2 입력 오디오 신호를 수신하는 단계를 더 포함할 수 있다. 자연어 프로세서 컴포넌트는 제2 입력 오디오 신호에서 제2 디지털 컴포넌트 요청을 식별하기 위해 제2 입력 오디오 신호를 파싱할 수 있다. 콘텐츠 선택 컴포넌트는 상기 제2 디지털 컴포넌트를 상기 제1 클라이언트 디바이스에 스트리밍할 수 있다. 승인 컴포넌트는 제1 클라이언트 디바이스로의 디지털 컴포넌트의 스트리밍을 승인하기 위해 제2 승인 요청을 제2 클라이언트 디바이스에 전송할 수 있고, 승인 컴포넌트는 미리 결정된 시간 내에 제2 승인 요청에 대한 응답을 수신하지 않은 것에 기초하여 제1 클라이언트 디바이스로의 제2 디지털 컴포넌트의 스트리밍을 종료할 수 있다.
방법은 상기 자연어 프로세서 컴포넌트에 의해, 상기 제1 클라이언트 디바이스에서 센서에 의해 검출된 제2 입력 오디오 신호를 수신하는 단계를 더 포함할 수 있다. 자연어 프로세서 컴포넌트는 제2 입력 오디오 신호에서 제2 디지털 컴포넌트 요청을 식별하기 위해 제2 입력 오디오 신호를 파싱할 수 있다. 콘텐츠 선택 컴포넌트는 상기 제2 디지털 컴포넌트를 상기 제1 클라이언트 디바이스에 스트리밍할 수 있다. 승인 컴포넌트는 제1 클라이언트 디바이스로의 디지털 컴포넌트의 스트리밍을 승인하기 위해 제2 승인 요청을 상기 제2 클라이언트 디바이스에 스트리밍할 수 있다. 승인 컴포넌트는 제2 승인 요청에 응답하여 거부 메시지를 수신할 수 있고, 승인 컴포넌트는 거부 메시지 수신에 기초하여 제1 클라이언트 디바이스로의 제2 디지털 컴포넌트의 스트리밍을 종료할 수 있다.
도 4는 예시적 컴퓨터 시스템(400)의 블록도이다. 컴퓨터 시스템 또는 컴퓨팅 디바이스(400)는 시스템(100) 또는 데이터 프로세싱 시스템(102)과 같은 그 컴포넌트들을 포함하거나 이들을 구현하는데 사용될 수 있다. 데이터 프로세싱 시스템(102)은 지능형 개인 어시스턴트 또는 음성 기반 디지털 어시스턴트를 포함할 수 있다. 컴퓨팅 시스템(400)은 정보를 통신하기 위한 버스(405) 또는 다른 통신 컴포넌트 및 정보를 프로세싱하기 위해 버스(405)에 연결된 프로세서(410) 또는 프로세싱 회로를 포함한다. 컴퓨팅 시스템(400)은 또한 정보를 프로세싱하기 위해 버스에 연결된 하나 이상의 프로세서들(410) 또는 프로세싱 회로들을 포함할 수 있다. 컴퓨팅 시스템(400)은 또한 정보 및 프로세서(410)에 의해 실행될 명령어들을 저장하기 위해 버스(405)에 연결된 랜덤 액세스 메모리(RAM) 또는 다른 동적 저장 디바이스와 같은 메인 메모리(415)를 포함한다. 메인 메모리(415)는 데이터 저장소(124)이거나 데이터 저장소(145)를 포함할 수 있다. 메인 메모리(415)는 또한 프로세서(410)에 의한 명령어들의 실행 동안 위치 정보, 임시 변수 또는 다른 중간 정보를 저장하기 위해 사용될 수 있다. 컴퓨팅 시스템(400)은 프로세서(410)를 위한 정적 정보 및 명령어들을 저장하기 위해 버스(405)에 연결된 ROM(read-only memory)(420) 또는 다른 정적 저장 디바이스를 더 포함할 수 있다. 솔리드 스테이트 디바이스(SSD), 자기 디스크 또는 광 디스크와 같은 저장 디바이스(425)는 정보 및 명령어들을 영구적으로 저장하기 위해 버스(405)에 연결될 수 있다. 저장 디바이스(425)는 데이터 저장소(124)를 포함하거나 데이터 저장소(145)의 일부일 수 있다.
컴퓨팅 시스템(400)은 버스(405)를 통해, 사용자에게 정보를 디스플레이하기 위한 액정 디스플레이 또는 액티브 매트릭스 디스플레이와 같은 디스플레이(435)에 연결될 수 있다. 정보 및 명령 선택을 프로세서(410)와 통신하기 위해 영숫자 및 다른 키를 포함하는 키보드와 같은 입력 디바이스(430)가 버스(405)에 연결될 수 있다. 입력 디바이스(430)는 터치 스크린 디스플레이(435)를 포함할 수 있다. 입력 디바이스(430)는 또한 방향 정보 및 명령 선택을 프로세서(410)와 통신하고 디스플레이(435) 상의 커서 움직임을 제어하기 위한 마우스, 트랙볼 또는 커서 방향 키와 같은 커서 제어를 포함할 수 있다. 디스플레이(435)는 예를 들면, 데이터 프로세싱 시스템(102), 클라이언트 컴퓨팅 디바이스(104) 또는 도 1의 다른 컴포넌트의 일부일 수 있다.
본 명세서에 기술된 프로세스, 시스템 및 방법은 프로세서(410)가 메인 메모리(415)에 포함된 명령어들의 배열을 실행하는 것에 응답하여 컴퓨팅 시스템(400)에 의해 구현될 수 있다. 이러한 명령어들은 저장 디바이스(425)와 같은 다른 컴퓨터 판독 가능 매체로부터 메인 메모리(415)로 판독될 수 있다. 메인 메모리(415)에 포함된 명령어들의 배열의 실행은 컴퓨팅 시스템(400)으로 하여금 본 명세서에 기술된 예시적 프로세스들을 수행하게 한다. 멀티-프로세싱 배열에서 하나 이상의 프로세서들은 또한 메인 메모리(415)에 포함된 명령어들을 실행하기 위해 이용될 수 있다. 본 명세서에 기술된 시스템 및 방법과 함께 소프트웨어 명령어들 대신에 또는 소프트웨어 명령어들과 조합하여 유선 회로가 사용될 수 있다. 본 명세서에 기술된 시스템 및 방법은 하드웨어 회로 및 소프트웨어의 임의의 특정 조합으로 한정되지 않는다.
예시적 컴퓨팅 시스템이 도 4에 설명되었지만. 본 명세서에 기술된 동작들을 포함하는 본 발명은 본 명세서에 개시된 구조들 및 그들의 구조적 균등물들 또는 그들 중 하나 이상의 조합들을 포함하는 디지털 전자회로 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있다.
본 명세서에서 논의된 시스템들이 사용자들에 관한 개인 정보를 수집하거나 또는 개인 정보를 사용하는 경우들에 있어서, 사용자들에게 프로그램들 또는 구성들이 개인 정보 예를 들면, 사용자의 소셜 네트워크, 소셜 액션들 또는 활동들, 사용자의 선호들 또는 사용자의 위치에 관한 정보를 수집할 것인지 여부를 제어할, 사용자와 더 관련된 콘텐츠 서버 또는 기타 데이터 프로세싱 시스템으로부터의 콘텐츠를 수신할지 또는 어떻게 수신할지 제어할 기회가 제공될 수 있다. 추가로, 특정 데이터는 그것이 저장되거나 사용되기 전에 하나 이상의 다양한 방식들로 익명화되어, 파라미터들을 생성하는 경우 개인적으로 식별가능한 정보는 제거되도록 한다. 예를 들면, 사용자의 신원은 사용자에 관한 개인적으로 식별가능한 정보가 결정될 수 없도록 익명화되거나 또는 사용자의 지리적 위치는 위치 정보가 획득된 곳에서 일반화되어(시, 우편번호 또는 주 수준으로), 사용자의 특정한 위치가 결정될 수 없도록 한다. 따라서, 사용자는 그 또는 그녀에 관한 정보가 어떻게 수집되는지 그리고 콘텐츠 서버에 의해 사용되는지에 관한 제어를 가질 수 있다.
본 발명과 본 명세서에 기술된 동작들은 본 발명에 개시된 구조들 및 그들의 구조적 균등물들 또는 그들 중 하나 이상의 조합들을 포함하는 디지털 전자회로 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있다. 본 명세서에 기술된 본 발명은 하나 이상의 컴퓨터 프로그램들 예를 들어, 데이터 프로세싱 장치에 의해 실행 또는 데이터 프로세싱 장치의 동작을 제어하기 위한 컴퓨터 저장 매체에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 회로들로서 구현될 수 있다. 대안적으로 또는 추가로, 프로그램 명령어들은 데이터 프로세싱 장치에 의해 실행하기 위한 적절한 수신기 장치에 전송하기 위한 정보를 인코딩하기 위해 생성된 인공적으로 생성된 전파된 신호 즉, 기계-생성 전기, 광학 또는 전자기적 신호에 인코딩될 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 저장 디바이스, 컴퓨터 판독가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 어레이 또는 디바이스 또는 그들 중 하나 이상의 조합이거나 그에 포함될 수 있다. 컴퓨터 저장 매체는 전파된 신호가 아니지만, 컴퓨터 저장 매체는 인공적으로 생성된 전파된 신호에 인코딩된 컴퓨터 프로그램 명령어들의 소스 또는 목적지일 수 있다. 또한, 컴퓨터 저장 매체는 하나 이상의 별개의 컴포넌트들 또는 매체(예를 들면, 다수의 CD들, 디스크들, 또는 다른 저장 디바이스들)이거나 또는 그에 포함될 수 있다. 본 명세서에 기술된 동작들은 하나 이상의 컴퓨터 판독가능 저장 디바이스들에 저장된 또는 다른 소스들로부터 수신된 데이터에서 데이터 프로세싱 장치에 의해 수행되는 동작들로서 구현될 수 있다.
용어 "데이터 프로세싱 시스템", "컴퓨팅 디바이스", "컴포넌트" 또는 "데이터 프로세싱 장치"는 예시로서 프로그래머블 프로세서, 컴퓨터, 시스템 온 칩 또는 앞서 언급된 것들 중 다수의 것들 또는 조합들을 포함하는 데이터를 프로세싱하기 위한 다양한 장치, 디바이스들 및 기계들을 포함한다. 상기 장치는 특수 목적 논리 회로, 예를 들어 FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)을 포함할 수 있다. 또한, 장치는 하드웨어 이외에 문제의 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 크로스-플랫폼 런타임(cross-platform runtime) 실행 환경, 가상 머신 또는 그들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 장치 및 실행 환경은 웹 서비스들, 분산 컴퓨팅 및 그리드 컴퓨팅 인프라와 같은 다양한 컴퓨팅 모델 인프라를 실현할 수 있다. 예를 들면, 인터페이스(110), 디지털 컴포넌트 선택기(120), 또는 NLP 컴포넌트(114) 및 다른 데이터 프로세싱 시스템(102) 컴포넌트들은 하나 이상의 데이터 프로세싱 장치, 시스템, 컴퓨팅 디바이스 또는 프로세서를 포함하거나 공유할 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 어플리케이션, 앱, 스크립트 또는 코드로도 알려져 있음)은 컴파일된 또는 인터프리트된 언어들, 선언적 또는 절차적 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 작성될 수 있으며, 독립 실행형 프로그램으로서 또는 모듈, 컴포넌트, 서브루틴, 객체로서 또는 컴퓨팅 환경에서 사용하기에 적합한 기타 단위를 포함하는 임의의 형태로 배포될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 대응할 수 있다. 컴퓨터 프로그램은 다른 프로그램들이나 데이터, 예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트들을 가지는 파일의 부분에, 문제되는 프로그램 전용 단일의 파일에 또는 다수의 조정된 파일들, 예를 들어, 하나 이상의 모듈들, 서브프로그램 또는 코드의 일부를 저장하는 파일들에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 또는 하나의 사이트에 위치되어 있거나 다수의 사이트들에 걸쳐서 분산되어 있고 통신 네트워크에 의해 상호연결된 다수의 컴퓨터들에서 실행되도록 배포될 수 있다.
본 명세서에 기술된 프로세스들 및 논리 흐름들은 입력 데이터를 동작하고 출력을 생성함으로써 액션들을 수행하기 위해 하나 이상의 컴퓨터 프로그램들(예: 데이터 프로세싱 시스템(102)의 컴포넌트들)을 실행하는 하나 이상의 프로그래머블 프로세서들에 의해 수행될 수 있다. 프로세스들 및 논리 흐름들은 또한 FPGA 또는 ASIC와 같은 특수 목적 논리 회로에 의해 수행될 수 있고, 장치는 또한 특수 목적 논리 회로로서 구현될 수 있다. 컴퓨터 프로그램 명령어들 및 데이터를 저장하기에 적합한 디바이스들은 예를 들어, EPROM, EEPROM 및 플래시 메모리 디바이스들과 같은 반도체 메모리 디바이스들; 예를 들어, 내부 하드 디스크들 또는 이동식 디스크들과 같은 자기 디스크들; 및 CD-ROM 및 DVD-ROM 디스크들을 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스들을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보충되거나 그 안에 통합될 수 있다.
본 명세서에서 기술된 발명은 예를 들어 데이터 서버와 같은 백엔드 컴포넌트, 어플리케이션 서버와 같은 미들웨어 컴포넌트 또는 그래픽 사용자 인터페이스를 가지는 사용자 컴퓨터 또는 사용자가 본 명세서에 기술된 본 발명의 구현예와 인터렉션할 수 있는 웹 브라우저와 같은 프론트엔드 컴포넌트 또는 하나 이상의 상기 백엔드, 미들웨어 또는 프론트엔드 컴포넌트들의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은 디지털 데이터 통신의 임의의 형태 또는 매체, 예를 들어 통신 네트워크에 의해 상호연결될 수 있다. 통신 네트워크들의 예는 근거리 통신망("LAN") 및 광역 통신망("WAN"), 인터-네트워크(예를 들어, 인터넷) 및 피어투피어 네트워크(예를 들어, 애드혹 피어투피어 네트워크)를 포함한다.
시스템(100) 또는 시스템(400)과 같은 컴퓨팅 시스템은 클라이언트 및 서버를 포함할 수 있다. 사용자와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크(예: 네트워크(105)를 통해 인터렉션한다. 사용자와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 사용자-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생한다. 일부 구현예에서, 서버는(예를 들어, 사용자 디바이스와 인터렉션하는 사용자에게 데이터를 디스플레이하고 사용자 입력을 수신하기 위해) 사용자 디바이스에 데이터(예를 들어, 디지털 컴포넌트를 표현하는 데이터 패킷들)를 전송한다. 클라이언트 디바이스에서 생성된 데이터(예를 들어, 사용자 인터렉션의 결과)는 서버에서, 클라이언트 디바이스로부터 수신될 수 있다(예를 들어, 클라이언트 디바이스(104) 또는 디지털 컴포넌트 제공자 디바이스(106)로부터 데이터 프로세싱 시스템(102)에 의해 수신).
동작들이 특정한 순서로 도면에 도시되었지만, 상기 동작들은 도시된 특정한 순서로 또는 시계열적 순서로 수행되어야 함을 요구하는 것이 아니며, 모든 도시된 동작들이 수행되어야만 하는 것은 아니다. 본 명세서에 기술된 액션들은 다른 순서로 수행될 수 있다.
다양한 시스템 컴포넌트들의 분리는 모든 구현예들에서의 분리를 필요로 하지 않으며, 기술된 프로그램 컴포넌트들은 단일 하드웨어 또는 소프트웨어 제품에 포함될 수 있다. 예를 들어, NLP 컴포넌트(114) 또는 디지털 컴포넌트 선택기(120)는 단일 컴포넌트, 앱 또는 프로그램, 또는 하나 이상의 프로세싱 회로를 갖는 논리 디바이스이거나 또는 데이터 프로세싱 시스템(102)의 하나 이상의 서버의 일부일 수 있다.
일부 예시적 구현예들을 설명하였지만, 전술한 예는 예시적인 것이며 제한적인 것은 아니며 예시로서 제시되었다. 특히, 본 명세서에 제시된 많은 예들이 방법 동작들 또는 시스템 엘리먼트들의 특정 조합을 포함하지만, 그러한 동작들 및 엘리먼트들은 동일한 목적을 달성하기 위해 다른 방식으로 결합될 수 있다. 하나의 구현예와 관련하여 논의된 동작, 엘리먼트 및 구성들은 다른 구현 또는 구현예들에서 유사한 역할로부터 배제되지 않는다.
본 명세서에서 사용된 문구 및 용어는 설명의 목적을 위한 것이며 제한적인 것으로 간주되어서는 안된다. "포함(including)" "포함(comprising)" "포함(having)" "포함(containing)" "포함(involving)" "포함(characterized by)" "포함(characterized in that)" 및 본 명세서에서 이들의 변형들은 열거된 아이템들, 그 균등물 및 추가 아이템들뿐만 아니라 배타적으로 열거된 아이템들로 구성되는 대안적 구현예들을 포함하는 것을 의미한다. 일 구현예에서, 본 명세서에 기술된 시스템 및 방법은 설명된 엘리먼트들, 동작들 또는 컴포넌트들 중 하나, 하나 이상의 조합 또는 전부로 구성된다.
단수형으로 본 명세서에서 언급된 시스템 및 방법의 구현 또는 엘리먼트에 관한 참조는 이들 엘리먼트들 복수형을 포함하는 구현예들을 포함할 수 있고, 복수형으로 본 명세서에서 언급된 임의의 구현예 또는 엘리먼트에 대한 임의의 참조는 단수형 엘리먼트를 포함하는 구현예들을 포함할 수 있다. 단수 또는 복수 형태의 참조는 현재 개시된 시스템 또는 방법, 그들의 컴포넌트들, 동작 또는 엘리먼트를 단수 또는 복수 구성으로 제한하려는 것이 아니다. 임의의 정보, 동작 또는 엘리먼트에 기초한 임의의 동작 또는 엘리먼트에 대한 참조는 해당 동작 또는 엘리먼트가 적어도 부분적으로 임의의 정보, 동작 또는 엘리먼트에 기초하는 구현예를 포함할 수 있다.
본 명세서에 개시된 임의의 구현예는 임의의 다른 구현예 또는 실시예와 결합될 수 있으며, "구현예", "일부 구현예", "일 구현예" 등은 반드시 상호 배타적이지 않고, 구현예와 관련하여 기술된 특정한 구성, 구조 또는 특성이 적어도 하나의 구현예 또는 실시예에 포함될 수 있음을 나타낸다. 본 명세서에 사용된 용어들은 반드시 모두 동일한 구현예를 지칭하는 것은 아니다. 임의의 구현예는 본 명세서에 개시된 양태들 및 구현예들과 일관된 방식으로 임의의 다른 구현예와 포괄적으로 또는 배타적으로 결합될 수 있다.
"또는"에 대한 참조는 "또는"을 사용하여 기술된 임의의 용어가 기술된 용어들 중 하나, 하나 이상 및 전부를 나타낼 수 있도록 포괄적인 것으로 해석될 수 있다. 예를 들어, "A 및 B 중 적어도 하나"에 대한 참조는 A 및 B 뿐만 아니라 A와 B 둘 모두를 포함할 수 있다. "포함하는" 또는 다른 개방 용어와 함께 사용되는 이러한 참조는 추가적 아이템들을 포함할 수 있다.
도면, 상세한 설명 또는 청구범위의 기술적 구성에 참조 부호가 있는 경우, 상기 참조 부호는 도면, 상세한 설명 및 청구 범위의 명료성을 증가시키기 위해 포함되었다. 따라서, 참조 부호들 또는 그것들의 부재는 임의의 청구항 엘리먼트들의 범위에 대해 어떠한 제한 효과도 가지지 않는다.
본 명세서에 기술된 시스템 및 방법은 그 특성을 벗어나지 않고 다른 특정 형태로 구체화될 수 있다. 예를 들어, 컴퓨팅 디바이스(104)는 패키징된 데이터 오브젝트를 생성하고, 그것을 애플리케이션을 런칭할 때 서드 파티 애플리케이션으로 포워딩할 수 있다. 전술한 구현예들은 기술된 시스템 및 방법을 제한하는 것이라기 보다는 예시적인 것이다. 따라서, 본 명세서에 기술된 시스템 및 방법의 범위는 상술한 설명보다는 첨부된 청구범위에 의해 표시되며, 청구범위의 의미 및 범위 내에서의 변경들도 그 안에 포함된다.
Claims (20)
- 네트워크 환경에서 컴퓨팅 디바이스를 인증하는 시스템으로서,
하나 이상의 프로세서; 및
명령어를 저장하는 하나 이상의 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때 상기 하나 이상의 프로세서로 하여금 동작들을 수행하게 하며, 상기 동작들은:
제1 디지털 컴포넌트 요청에 기초하여 선택된 제1 디지털 컴포넌트의 제1 부분을 제1 클라이언트 디바이스에 제공하는 동작, 상기 제1 디지털 컴포넌트 요청은 상기 제1 클라이언트 디바이스에 의해 수신된 자연어 입력에 기초하여 식별되며;
상기 제1 클라이언트 디바이스가 상기 제1 디지털 컴포넌트에 대해 비승인 상태에 있는 것에 기초하여, 상기 제1 클라이언트 디바이스와 연관된 제2 클라이언트 디바이스에 제2 디지털 컴포넌트 및 승인 요청을 제공하는 동작;
상기 승인 요청의 확인에 응답하여 상기 제1 클라이언트 디바이스의 상기 비승인 상태를 승인 상태로 업데이트하는 동작; 및
상기 승인 상태에 기초하여, 상기 제1 디지털 컴포넌트의 제2 부분을 상기 제1 클라이언트 디바이스에 제공하는 동작을 포함하는, 시스템. - 청구항 1에 있어서, 상기 제1 클라이언트 디바이스 및 상기 제2 클라이언트 디바이스는 모두 동일한 사용자 계정과 연관되는, 시스템.
- 청구항 1에 있어서,
제2 디지털 컴포넌트의 제1 부분이 이전에 상기 제1 클라이언트 디바이스에 전송되었다는 것을 결정하는 동작; 및
상기 제2 디지털 컴포넌트의 제1 부분을 상기 제1 클라이언트 디바이스에 제공하는 것을 거부하는 동작을 더 포함하는, 시스템. - 청구항 1에 있어서 상기 승인 요청의 확인에 응답하여 상기 비승인 상태를 승인 상태로 업데이트하는 동작은:
상기 승인 요청의 확인에 기초하여 시간 지연을 결정하는 동작; 및
상기 시간 지연이 미리 결정된 임계값 내에 있는 것에 기초하여 상기 비승인 상태를 승인 상태로 업데이트하는 동작을 포함하는, 시스템. - 청구항 1에 있어서, 상기 확인은 상기 제1 클라이언트 디바이스와 상기 제2 클라이언트 디바이스 사이의 근접성에 기초하는, 시스템.
- 청구항 1에 있어서, 상기 확인은 상기 제2 클라이언트 디바이스에 의해 렌더링된 프롬프트에 대한 사용자 응답에 기초하는, 시스템.
- 청구항 1에 있어서, 상기 자연어 입력은 오디오 입력을 포함하는, 시스템.
- 청구항 1에 있어서, 상기 확인은 상기 제1 클라이언트 디바이스와 상기 제2 클라이언트 디바이스 사이의 거리에 기초하여 생성되었던 것인, 시스템.
- 네트워크 환경에서 컴퓨팅 디바이스를 인증하는 시스템으로서,
하나 이상의 프로세서; 및
명령어를 저장하는 하나 이상의 비일시적 컴퓨터 판독가능 매체로서, 상기 명령어는 상기 하나 이상의 프로세서에 의해 실행될 때 상기 하나 이상의 프로세서로 하여금 동작들을 수행하게 하며, 상기 동작들은:
제1 디지털 컴포넌트 요청에 기초하여 선택된 제1 디지털 컴포넌트의 제1 부분을 제1 클라이언트 디바이스에 제공하는 동작, 상기 제1 디지털 컴포넌트 요청은 상기 제1 클라이언트 디바이스에 의해 수신된 자연어 입력에 기초하여 식별되며;
상기 제1 클라이언트 디바이스가 상기 제1 디지털 컴포넌트에 대해 비승인 상태에 있는 것에 기초하여, 상기 제1 클라이언트 디바이스와 연관된 제2 클라이언트 디바이스에 제2 디지털 컴포넌트 및 승인 요청을 제공하는 동작;
상기 승인 요청 확인 실패에 응답하여 상기 제1 클라이언트 디바이스의 비승인 상태를 확인하는 동작; 및
상기 확인된 비승인 상태에 기초하여, 상기 제1 디지털 컴포넌트의 제2 부분을 상기 제1 클라이언트 디바이스에 제공하는 것을 거부하는 동작을 포함하는, 시스템. - 청구항 9에 있어서, 상기 제1 클라이언트 디바이스 및 상기 제2 클라이언트 디바이스는 모두 동일한 사용자 계정과 연관되는, 시스템.
- 청구항 9에 있어서,
상기 실패에 기초하여, 제2 디지털 컴포넌트 요청에 기초하여 선택된 제2 디지털 컴포넌트의 제1 부분을 제1 클라이언트 디바이스에 제공하는 것을 거부하는 동작을 더 포함하며, 상기 제2 디지털 컴포넌트 요청은 상기 제1 클라이언트 디바이스에 의해 수신된 제2 자연어 입력에 기초하여 식별되는, 시스템. - 청구항 9에 있어서, 상기 승인 요청 확인 실패에 응답하여 비승인 상태를 확인하는 동작은
상기 승인 요청의 확인을 위한 시간 지연 임계값을 결정하는 동작; 및
상기 승인 요청이 시간 지연 임계값 내에서 확인되지 않았다는 것을 결정하는 동작을 포함하는, 시스템. - 청구항 9에 있어서,
상기 승인 요청을 거부하는 승인 요청에 대한 응답을 상기 제2 클라이언트 디바이스로부터 수신하는 동작을 더 포함하는, 시스템. - 청구항 9에 있어서, 상기 승인 요청을 거부하는 상기 승인 요청에 대한 응답은 상기 제2 클라이언트 디바이스 상에서 렌더링된 프롬프트에 대한 사용자 입력에 기초하여 생성되는, 시스템.
- 청구항 9에 있어서, 상기 승인 요청을 거부하는 상기 승인 요청에 대한 응답은 상기 제1 클라이언트 디바이스와 상기 제2 클라이언트 디바이스 사이의 거리에 기초하여 생성되는, 시스템.
- 청구항 9에 있어서, 상기 자연어 입력은 오디오 입력을 포함하는, 시스템.
- 네트워크 환경에서 컴퓨팅 디바이스를 인증하는 컴퓨터로 구현되는 방법으로서,
하나 이상의 프로세서를 포함하는 컴퓨팅 시스템에 의해, 제1 디지털 컴포넌트 요청에 기초하여 선택된 제1 디지털 컴포넌트의 제1 부분을 제1 클라이언트 디바이스에 제공하는 단계, 상기 제1 디지털 컴포넌트 요청은 상기 제1 클라이언트 디바이스에 의해 수신된 자연어 입력에 기초하여 식별되며;
상기 컴퓨팅 시스템에 의해, 상기 제1 클라이언트 디바이스가 상기 제1 디지털 컴포넌트에 대해 비승인 상태에 있는 것에 기초하여, 상기 제1 클라이언트 디바이스와 연관된 제2 클라이언트 디바이스에 제2 디지털 컴포넌트 및 승인 요청을 제공하는 단계;
상기 컴퓨팅 시스템에 의해, 상기 승인 요청의 확인에 응답하여 상기 제1 클라이언트 디바이스의 상기 비승인 상태를 승인 상태로 업데이트하는 단계; 및
상기 컴퓨팅 시스템에 의해, 상기 승인 상태에 기초하여, 상기 제1 디지털 컴포넌트의 제2 부분을 상기 제1 클라이언트 디바이스에 제공하는 단계를 포함하는, 방법. - 청구항 17에 있어서,
상기 컴퓨팅 시스템에 의해, 제2 디지털 컴포넌트의 제1 부분이 이전에 상기 제1 클라이언트 디바이스에 전송되었다는 것을 결정하는 단계; 및
상기 컴퓨팅 시스템에 의해, 상기 제2 디지털 컴포넌트의 제1 부분을 상기 제1 클라이언트 디바이스에 제공하는 것을 거부하는 단계를 포함하는, 방법. - 청구항 17에 있어서, 상기 승인 요청의 확인에 응답하여 상기 비승인 상태를 승인 상태로 업데이트하는 단계는:
상기 컴퓨팅 시스템에 의해, 상기 승인 요청의 확인에 기초하여 시간 지연을 결정하는 단계; 및
상기 컴퓨팅 시스템에 의해, 상기 시간 지연이 미리 결정된 임계값 내에 있는 것에 기초하여 상기 비승인 상태를 승인 상태로 업데이트하는 단계를 포함하는, 방법. - 청구항 17에 있어서, 상기 확인은 상기 제1 클라이언트 디바이스와 상기 제2 클라이언트 디바이스 사이의 근접성에 기초하는, 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020207024832A KR102394288B1 (ko) | 2018-04-25 | 2018-04-25 | 네트워크 환경에서 지연된 2-팩터 인증 |
| PCT/US2018/029403 WO2019209293A1 (en) | 2018-04-25 | 2018-04-25 | Delayed two-factor authentication in a networked environment |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207024832A Division KR102394288B1 (ko) | 2018-04-25 | 2018-04-25 | 네트워크 환경에서 지연된 2-팩터 인증 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220062670A KR20220062670A (ko) | 2022-05-17 |
| KR102638579B1 true KR102638579B1 (ko) | 2024-02-21 |
Family
ID=62167950
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207024832A KR102394288B1 (ko) | 2018-04-25 | 2018-04-25 | 네트워크 환경에서 지연된 2-팩터 인증 |
| KR1020227014517A KR102638579B1 (ko) | 2018-04-25 | 2018-04-25 | 네트워크 환경에서 지연된 2-팩터 인증 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207024832A KR102394288B1 (ko) | 2018-04-25 | 2018-04-25 | 네트워크 환경에서 지연된 2-팩터 인증 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11288351B2 (ko) |
| EP (4) | EP3742314B1 (ko) |
| JP (1) | JP7004833B2 (ko) |
| KR (2) | KR102394288B1 (ko) |
| CN (1) | CN110637300B (ko) |
| WO (1) | WO2019209293A1 (ko) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11288351B2 (en) * | 2018-04-25 | 2022-03-29 | Google Llc | Delayed two-factor authentication in a networked environment |
| US10484367B1 (en) * | 2019-06-06 | 2019-11-19 | Capital One Services, Llc | Utilizing natural language processing to automatically perform multi-factor authentication |
| JP6907426B1 (ja) * | 2020-03-26 | 2021-07-21 | 楽天グループ株式会社 | 認証システム、認証方法、及びプログラム |
| US20230008868A1 (en) * | 2021-07-08 | 2023-01-12 | Nippon Telegraph And Telephone Corporation | User authentication device, user authentication method, and user authentication computer program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015099470A (ja) * | 2013-11-19 | 2015-05-28 | 日本電信電話株式会社 | 認証システム、方法、サーバ及びプログラム |
| US20170236524A1 (en) * | 2013-06-12 | 2017-08-17 | Google Inc. | Audio data packet status determination |
Family Cites Families (64)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8504652B2 (en) | 2006-04-10 | 2013-08-06 | Portulim Foundation Llc | Method and system for selectively supplying media content to a user and media storage device for use therein |
| CA2422334C (en) | 2003-03-17 | 2009-06-09 | British Telecommunications Public Limited Company | Authentication of network users |
| KR100555949B1 (ko) | 2003-04-11 | 2006-03-03 | 삼성전자주식회사 | 홈 디바이스의 인증시스템 및 그의 인증방법 |
| US20070186099A1 (en) | 2004-03-04 | 2007-08-09 | Sweet Spot Solutions, Inc. | Token based two factor authentication and virtual private networking system for network management and security and online third party multiple network management method |
| WO2006114123A1 (en) | 2005-04-28 | 2006-11-02 | Telecom Italia S.P.A. | Conditional access method and system for broadcast services |
| US8543095B2 (en) * | 2005-07-08 | 2013-09-24 | At&T Mobility Ii Llc | Multimedia services include method, system and apparatus operable in a different data processing network, and sync other commonly owned apparatus |
| US7558597B2 (en) | 2005-09-19 | 2009-07-07 | Silverbrook Research Pty Ltd. | Retrieving a ringtone via a coded surface |
| US9026804B2 (en) | 2006-02-24 | 2015-05-05 | Qualcomm Incorporated | Methods and apparatus for protected distribution of applications and media content |
| CN101127625B (zh) | 2006-08-18 | 2013-11-06 | 华为技术有限公司 | 一种对访问请求授权的系统及方法 |
| ATE456102T1 (de) | 2006-08-21 | 2010-02-15 | Koninkl Philips Electronics Nv | Steuerung der verteilung von digitalem inhalt |
| US8719954B2 (en) | 2006-10-11 | 2014-05-06 | Bassilic Technologies Llc | Method and system for secure distribution of selected content to be protected on an appliance-specific basis with definable permitted associated usage rights for the selected content |
| US20080256646A1 (en) | 2007-04-12 | 2008-10-16 | Microsoft Corporation | Managing Digital Rights in a Member-Based Domain Architecture |
| US20090083541A1 (en) | 2007-08-02 | 2009-03-26 | Scott Levine | Method and apparatus for distributing digital content |
| JP2009071430A (ja) | 2007-09-11 | 2009-04-02 | Nippon Telegr & Teleph Corp <Ntt> | 多要素認証システム、認証代行装置、端末、多要素認証プログラムおよび多要素認証方法 |
| US20090083807A1 (en) | 2007-09-20 | 2009-03-26 | Stephan Carla A | Digital content distribution system |
| US7925590B2 (en) | 2008-06-18 | 2011-04-12 | Microsoft Corporation | Multimedia search engine |
| US8850532B2 (en) | 2008-10-31 | 2014-09-30 | At&T Intellectual Property I, L.P. | Systems and methods to control access to multimedia content |
| EP2351298A4 (en) * | 2008-11-12 | 2013-05-29 | Level 3 Communications Llc | DYNAMIC PROCESSING OF STUFFED CONTENT |
| US9251317B2 (en) | 2009-03-23 | 2016-02-02 | Microsoft Technology Licensing, Llc | Network video messaging |
| TW201042567A (en) | 2009-05-27 | 2010-12-01 | Ipeer Multimedia Internat Ltd | Digital content trading system and method applied to mobile apparatus |
| JP5308998B2 (ja) | 2009-11-16 | 2013-10-09 | 株式会社エヌ・ティ・ティ・ドコモ | 放送受信端末、及び放送受信方法 |
| WO2011109518A1 (en) | 2010-03-02 | 2011-09-09 | Interdigital Patent Holdings, Inc. | Migration of credentials and/or domains between trusted hardware subscription modules |
| US20110231930A1 (en) | 2010-03-17 | 2011-09-22 | Cisco Technology, Inc. | Incorporating visual aspects to identify permissions and security levels in aggregated content |
| WO2012056326A2 (en) | 2010-10-27 | 2012-05-03 | Google Inc. | Social discovery of user activity for media content |
| US8984605B2 (en) | 2011-08-23 | 2015-03-17 | Zixcorp Systems, Inc. | Multi-factor authentication |
| US11349699B2 (en) * | 2012-08-14 | 2022-05-31 | Netflix, Inc. | Speculative pre-authorization of encrypted data streams |
| US8892904B2 (en) | 2012-09-13 | 2014-11-18 | Intel Corporation | Hardware enforced security governing access to an operating system |
| US9088550B1 (en) | 2012-11-26 | 2015-07-21 | Amazon Technologies, Inc. | Love latency content presentation |
| US20150026708A1 (en) * | 2012-12-14 | 2015-01-22 | Biscotti Inc. | Physical Presence and Advertising |
| US9911122B2 (en) * | 2013-01-10 | 2018-03-06 | Mg Systems Consulting Services Llc | Audio-based electronic transaction authorization system and method |
| DE212014000045U1 (de) | 2013-02-07 | 2015-09-24 | Apple Inc. | Sprach-Trigger für einen digitalen Assistenten |
| US9510193B2 (en) | 2013-03-15 | 2016-11-29 | Qualcomm Incorporated | Wireless networking-enabled personal identification system |
| KR102061913B1 (ko) | 2013-12-12 | 2020-01-02 | 삼성전자주식회사 | 전자 장치의 동작을 제어하기 위한 방법 및 장치 |
| US9654475B2 (en) | 2014-01-10 | 2017-05-16 | Futurewei Technologies, Inc. | Client behavior control in adaptive streaming file |
| US10212143B2 (en) * | 2014-01-31 | 2019-02-19 | Dropbox, Inc. | Authorizing an untrusted client device for access on a content management system |
| US9065824B1 (en) * | 2014-03-17 | 2015-06-23 | Google Inc. | Remote authorization of access to account data |
| US9584515B2 (en) * | 2014-04-30 | 2017-02-28 | Citrix Systems, Inc. | Enterprise system authentication and authorization via gateway |
| US9584876B2 (en) * | 2014-07-23 | 2017-02-28 | Highlands Technologies Solutions | System and method for creating and displaying recipient gifts for display at a venue display |
| US20160337370A1 (en) | 2015-05-13 | 2016-11-17 | Sony Computer Entertainment America Llc | Portable profile access token |
| KR20160136013A (ko) | 2015-05-19 | 2016-11-29 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
| US20170092278A1 (en) | 2015-09-30 | 2017-03-30 | Apple Inc. | Speaker recognition |
| US9747926B2 (en) | 2015-10-16 | 2017-08-29 | Google Inc. | Hotword recognition |
| US9928840B2 (en) | 2015-10-16 | 2018-03-27 | Google Llc | Hotword recognition |
| WO2017079658A1 (en) * | 2015-11-04 | 2017-05-11 | Screening Room Media, Inc. | Digital content delivery system |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US9800580B2 (en) * | 2015-11-16 | 2017-10-24 | Mastercard International Incorporated | Systems and methods for authenticating an online user using a secure authorization server |
| US10084780B2 (en) | 2015-12-15 | 2018-09-25 | Verizon Patent And Licensing Inc. | Network-based authentication and security services |
| CN105516980B (zh) | 2015-12-17 | 2018-11-13 | 河南大学 | 一种基于Restful架构的无线传感器网络令牌认证方法 |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10491598B2 (en) | 2016-06-30 | 2019-11-26 | Amazon Technologies, Inc. | Multi-factor authentication to access services |
| US10142841B2 (en) | 2016-07-11 | 2018-11-27 | Disney Enterprises, Inc. | Configuration for multi-factor event authorization |
| US10771969B2 (en) | 2016-07-11 | 2020-09-08 | T-Mobile Usa, Inc. | Voice control and telecommunications service integration |
| US10762446B2 (en) * | 2016-08-02 | 2020-09-01 | Ebay Inc. | Access control for a digital event |
| US11601806B2 (en) | 2016-09-28 | 2023-03-07 | Sony Corporation | Device, computer program and method |
| KR102544488B1 (ko) | 2016-10-27 | 2023-06-19 | 삼성전자주식회사 | 인증을 수행하기 위한 전자 장치 및 방법 |
| US10027662B1 (en) * | 2016-12-06 | 2018-07-17 | Amazon Technologies, Inc. | Dynamic user authentication |
| US10347247B2 (en) | 2016-12-30 | 2019-07-09 | Google Llc | Modulation of packetized audio signals |
| DK179549B1 (en) | 2017-05-16 | 2019-02-12 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| US11140450B2 (en) * | 2017-11-28 | 2021-10-05 | Rovi Guides, Inc. | Methods and systems for recommending content in context of a conversation |
| US10665244B1 (en) | 2018-03-22 | 2020-05-26 | Pindrop Security, Inc. | Leveraging multiple audio channels for authentication |
| US10782986B2 (en) * | 2018-04-20 | 2020-09-22 | Facebook, Inc. | Assisting users with personalized and contextual communication content |
| US11113372B2 (en) * | 2018-04-25 | 2021-09-07 | Google Llc | Delayed two-factor authentication in a networked environment |
| US11288351B2 (en) * | 2018-04-25 | 2022-03-29 | Google Llc | Delayed two-factor authentication in a networked environment |
| CA3059029A1 (en) * | 2019-10-17 | 2021-04-17 | The Toronto-Dominion Bank | Maintaining data confidentiality in communications involving voice-enabled devices in a distributed computing environment |
-
2018
- 2018-04-25 US US15/775,754 patent/US11288351B2/en active Active
- 2018-04-25 EP EP20186050.9A patent/EP3742314B1/en active Active
- 2018-04-25 KR KR1020207024832A patent/KR102394288B1/ko active IP Right Grant
- 2018-04-25 EP EP18725079.0A patent/EP3583533B1/en active Active
- 2018-04-25 WO PCT/US2018/029403 patent/WO2019209293A1/en unknown
- 2018-04-25 EP EP24153233.2A patent/EP4354326A2/en active Pending
- 2018-04-25 JP JP2020545566A patent/JP7004833B2/ja active Active
- 2018-04-25 CN CN201880003732.2A patent/CN110637300B/zh active Active
- 2018-04-25 KR KR1020227014517A patent/KR102638579B1/ko active IP Right Grant
- 2018-04-25 EP EP22150700.7A patent/EP3998544B1/en active Active
-
2022
- 2022-03-04 US US17/686,967 patent/US11921833B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170236524A1 (en) * | 2013-06-12 | 2017-08-17 | Google Inc. | Audio data packet status determination |
| JP2015099470A (ja) * | 2013-11-19 | 2015-05-28 | 日本電信電話株式会社 | 認証システム、方法、サーバ及びプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3583533B1 (en) | 2020-08-26 |
| US11921833B2 (en) | 2024-03-05 |
| EP3583533A1 (en) | 2019-12-25 |
| JP7004833B2 (ja) | 2022-01-21 |
| EP3998544B1 (en) | 2024-01-24 |
| CN110637300B (zh) | 2023-09-19 |
| EP3742314A1 (en) | 2020-11-25 |
| CN110637300A (zh) | 2019-12-31 |
| EP3742314B1 (en) | 2022-02-23 |
| WO2019209293A1 (en) | 2019-10-31 |
| JP2021518006A (ja) | 2021-07-29 |
| KR20200115601A (ko) | 2020-10-07 |
| KR20220062670A (ko) | 2022-05-17 |
| KR102394288B1 (ko) | 2022-05-04 |
| EP3998544A1 (en) | 2022-05-18 |
| US11288351B2 (en) | 2022-03-29 |
| US20200304493A1 (en) | 2020-09-24 |
| EP4354326A2 (en) | 2024-04-17 |
| US20220188397A1 (en) | 2022-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102638579B1 (ko) | 네트워크 환경에서 지연된 2-팩터 인증 | |
| US11514907B2 (en) | Activation of remote devices in a networked system | |
| KR102269618B1 (ko) | 패킷화된 오디오 신호의 인증 | |
| US11848009B2 (en) | Adaptive interface in a voice-activated network | |
| KR102603717B1 (ko) | 네트워크 시스템에서 도메인-특정 모델의 생성 | |
| US11113372B2 (en) | Delayed two-factor authentication in a networked environment | |
| JP7262565B2 (ja) | ネットワーク化環境における遅延２要素認証 | |
| KR20220017464A (ko) | 음향 기반 디지털 어시스턴트 애플리케이션에서 트리거 키워드를 검증하는 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |