KR102637614B1 - 애플리케이션 전달 서버를 통해 전달을 위한 애플리케이션 디버깅 - Google Patents
애플리케이션 전달 서버를 통해 전달을 위한 애플리케이션 디버깅 Download PDFInfo
- Publication number
- KR102637614B1 KR102637614B1 KR1020237033901A KR20237033901A KR102637614B1 KR 102637614 B1 KR102637614 B1 KR 102637614B1 KR 1020237033901 A KR1020237033901 A KR 1020237033901A KR 20237033901 A KR20237033901 A KR 20237033901A KR 102637614 B1 KR102637614 B1 KR 102637614B1
- Authority
- KR
- South Korea
- Prior art keywords
- application
- data processing
- processing system
- delivery
- actions
- Prior art date
Links
- 238000012384 transportation and delivery Methods 0.000 title claims abstract description 208
- 230000009471 action Effects 0.000 claims abstract description 442
- 238000012545 processing Methods 0.000 claims description 533
- 238000000034 method Methods 0.000 claims description 180
- 230000008569 process Effects 0.000 claims description 106
- 230000004044 response Effects 0.000 claims description 65
- 238000012546 transfer Methods 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 abstract description 5
- 238000012552 review Methods 0.000 description 77
- 238000003058 natural language processing Methods 0.000 description 37
- 230000005236 sound signal Effects 0.000 description 37
- 238000003860 storage Methods 0.000 description 19
- 230000000875 corresponding effect Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000013515 script Methods 0.000 description 5
- 230000002730 additional effect Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000000644 propagated effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- IRLPACMLTUPBCL-KQYNXXCUSA-N 5'-adenylyl sulfate Chemical compound C1=NC=2C(N)=NC=NC=2N1[C@@H]1O[C@H](COP(O)(=O)OS(O)(=O)=O)[C@@H](O)[C@H]1O IRLPACMLTUPBCL-KQYNXXCUSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3664—Environments for testing or debugging software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3604—Software analysis for verifying properties of programs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/56—Computer malware detection or handling, e.g. anti-virus arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/70—Software maintenance or management
- G06F8/71—Version control; Configuration management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Virology (AREA)
- Stored Programmes (AREA)
- Debugging And Monitoring (AREA)
Abstract
애플리케이션 분석 또는 디버깅이 제공된다. 시스템은 개발자에 의해 제공된 애플리케이션에 대한 액션을 식별한다. 시스템은 액션의 이력적 실행에 기초하여 제1 분류 점수를 결정한다. 시스템은 애플리케이션과 연관된 메타데이터에 기초하여 애플리케이션에 대한 기계 생성 액션을 생성한다. 시스템은 액션과 기계 생성 액션의 비교에 기초하여 제2 분류 점수를 결정한다. 시스템은 매칭 프로그램을 통해, 애플리케이션과 매칭되는 제2 애플리케이션을 선택한다. 시스템은 제2 애플리케이션에 대해 승인된 액션과 애플리케이션 개발자에 의해 제공된 액션의 비교에 기초하여 제3 분류 점수를 결정한다. 시스템은 제1 분류 점수, 제2 분류 점수 및 제3 분류 점수에 기초하여 전달 제어 파라미터를 업데이트한다. 시스템은 전달 제어 파라미터에 기초하여 애플리케이션 전달을 제어한다.
Description
컴퓨팅 디바이스에 애플리케이션이 설치될 수 있다. 클라이언트 디바이스는 애플리케이션을 실행할 수 있다.
*본 개시는 일반적으로 애플리케이션 전달 서버를 통한 전달을 위해 애플리케이션을 분석하거나 디버깅하는 것에 관한 것이다. 요청 또는 트리거에 응답하여, 애플리케이션은 악의적 액션을 수행하거나 잘못된 액션을 수행할 수 있다. 악의적이거나 잘못된 액션을 수행하면 모바일 디바이스에서 컴퓨팅 리소스 사용, 대역폭 사용 및 배터리 사용이 낭비될 수 있다. 또한 악의적이거나 잘못된 액션의 수행은 올바른 액션을 수행하기 전에 반복되는 요청으로 인해 원격 프로시저 호출을 증가시킬 수 있다. 사이버 보안 문제는 악의적 액션을 수행하는 애플리케이션의 제공으로 인해 발생할 수 있으며, 이러한 애플리케이션을 적시에 식별하고 해결하는 것은 시스템 보안 이점을 제공한다. 애플리케이션 전달 서버를 통해 제공되는 많은 수의 애플리케이션과 애플리케이션에 대한 업데이트들로 인해, 리뷰 프로세스에서 지체없이 악성 애플리케이션들을 검출하거나 애플리케이션들에 대한 품질 또는 기타 리뷰를 수행하기 위해 악의적이거나 잘못된 액션을 수행하는 애플리케이션을 효율적이고 안정적으로 검출하기가 어려울 수 있다. 현재 기술 해결책의 시스템 및 방법을 사용하면 이력적 실행 정보, 시뮬레이션된 액션 또는 매칭되는 애플리케이션에 기초하여 애플리케이션을 리뷰할 수 있다. 리뷰에 기초하여, 현재의 기술 해결책은 애플리케이션의 전달을 방지하거나 악성 또는 잘못된 것으로 결정되는 애플리케이션의 특정 액션을 비활성화할 수 있다.
적어도 하나의 양태는 애플리케이션 전달 서버를 통해 전달하기 위해 애플리케이션을 분석하거나 디버그하는 시스템에 관한 것이다. 시스템은 하나 이상의 프로세서들 및 메모리를 포함하는 데이터 프로세싱 시스템을 포함할 수 있다. 데이터 프로세싱 시스템은 애플리케이션에 대해, 애플리케이션 개발자에 의해 액션으로 구성된 메시징 객체를 식별할 수 있다. 애플리케이션 개발자에 의해 애플리케이션이 제출될 수 있다. 데이터 프로세싱 시스템은 상기 애플리케이션 개발자에 의해 제공된 상기 메시징 객체의 액션의 이력적 실행에 기초하여 제1 분류 점수를 결정할 수 있다. 데이터 프로세싱 시스템은 애플리케이션과 연관된 메타데이터에 기초하여 애플리케이션에 대한 기계 생성 액션을 생성할 수 있다. 데이터 프로세싱 시스템은 상기 애플리케이션 개발자에 의해 제공된 상기 메시징 객체의 액션과 기계 생성 액션의 비교에 기초하여 제2 분류 점수를 결정할 수 있다. 데이터 프로세싱 시스템은 매칭 프로그램을 통해, 애플리케이션과 매칭되는 제2 애플리케이션을 선택할 수 있다. 데이터 프로세싱 시스템은 상기 제2 애플리케이션에 대해 승인된 액션과 상기 애플리케이션 개발자에 의해 제공된 상기 메시징 객체의 액션의 비교에 기초하여 제3 분류 점수를 결정할 수 있다. 데이터 프로세싱 시스템은 제1 분류 점수, 제2 분류 점수 및/또는 제3 분류 점수 중 하나 이상에 기초하여 전달 제어 파라미터를 업데이트할 수 있다. 데이터 프로세싱 시스템은 상기 데이터 프로세싱 시스템에 의해 업데이트된 상기 전달 제어 파라미터에 응답하여, 상기 애플리케이션 전달 서버에 의한 상기 애플리케이션의 전달을 제어할 수 있다.
시스템의 예시적 선택적 구성은 다음과 같다. 데이터 프로세싱 시스템은 애플리케이션 개발자 디바이스로부터 애플리케이션을 수신하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 애플리케이션에 대해 상기 애플리케이션 개발자에 의해 설정된 복수의 액션들을 포함하는 상기 애플리케이션과 연관된 데이터 파일을 수신하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 애플리케이션이 상기 애플리케이션 전달 서버에 의한 전달을 위해 상기 애플리케이션 개발자에 의해 업로드된 새로운 애플리케이션이라는 표시를 수신하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 새로운 애플리케이션의 표시에 응답하여, 상기 제1 분류 점수, 상기 제2 분류 점수 및 상기 제3 분류 점수의 결정을 포함하는 디버깅 프로세스를 트리거링하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 애플리케이션이 상기 애플리케이션 전달 서버에 의한 전달을 위해 상기 애플리케이션 개발자에 의해 업로드된 상기 애플리케이션의 업데이트된 버전이라는 표시를 수신하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 애플리케이션의 업데이트된 버전의 표시에 응답하여, 상기 제1 분류 점수, 상기 제2 분류 점수 및 상기 제3 분류 점수의 결정을 포함하는 디버깅 프로세스를 트리거링하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 애플리케이션이 설치된 클라이언트 컴퓨팅 디바이스로부터 상기 애플리케이션에 대한 부정적인 피드백의 표시를 수신하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 애플리케이션에 대한 부정적 피드백의 표시에 응답하여, 상기 제1 분류 점수, 상기 제2 분류 점수 및 상기 제3 분류 점수의 결정을 포함하는 디버깅 프로세스를 트리거링하도록 구성될 수 있다. 데이터 프로세싱 시스템은 클라이언트 컴퓨팅 디바이스에 설치하기 위해 상기 애플리케이션을 전달하기 전에 상기 제1 분류 점수, 상기 제2 분류 점수 및/또는 상기 제3 분류 점수를 결정하는 것을 포함하는 디버깅 프로세스를 트리거링하기 위해 결정하도록 구성될 수 있다. 제1 분류 점수는 임계치와 제1 분류 점수를 비교하여 애플리케이션에 대응하는 액션이 만족되는지 여부를 표시할 수 있다. 데이터 프로세싱 시스템은 유사성 임계치보다 큰 상기 애플리케이션과 상기 제2 애플리케이션 간의 유사성 점수에 기초하여 상기 애플리케이션이 상기 제2 애플리케이션과 매칭되는지 결정하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 제1 분류 점수, 상기 제2 분류 점수 및 상기 제3 분류 점수에 기초하여 상기 애플리케이션의 전달을 허가하도록 결정하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 애플리케이션 전달 서버에 의해 상기 애플리케이션을 전달하도록 상기 전달 제어 파라미터를 업데이트하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 제1 분류 점수, 상기 제2 분류 점수 또는 상기 제3 분류 점수 중 적어도 하나가 실패 임계치 미만인 것에 기초하여 분류 실패를 결정하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 제1 분류 점수, 상기 제2 분류 점수 및 상기 제3 분류 점수에 기초하여 분류 실패를 결정하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 분류 실패에 응답하여, 상기 애플리케이션 전달 서버에 의한 상기 애플리케이션의 전달을 차단하도록 상기 전달 제어 파라미터를 업데이트하도록 구성될 수 있다. 데이터 프로세싱 시스템은 분류 실패에 대한 알림을 애플리케이션 개발자에게 전송하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 분류 실패에 응답하여, 상기 애플리케이션 개발자로부터 상기 애플리케이션의 업데이트된 버전을 요청하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 메시징 객체의 액션에 대해, 상기 제1 분류 점수, 상기 제2 분류 점수 및/또는 상기 제3 분류 점수에 기초하여 분류 실패를 결정하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 분류 실패에 응답하여, 상기 애플리케이션을 통한 실행을 위한 상기 메시징 객체의 액션을 비활성화하도록 구성될 수 있다. 데이터 프로세싱 시스템은 애플리케이션 전달 서버에 의한 전달을 위해 애플리케이션을 허가하도록 구성될 수 있다. 데이터 프로세싱 시스템은 애플리케이션에 대해 설정된 복수의 액션들을 식별하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 복수의 액션들 각각에 대한 디버깅 프로세스를 통해, 상기 제1 분류 점수, 상기 제2 분류 점수 및/또는 상기 제3 분류 점수를 결정하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 디버깅 프로세스에 기초하여 상기 복수의 액션들 중 하나 이상을 비활성화하도록 상기 전달 제어 파라미터를 업데이트하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 애플리케이션의 메시징 객체의 액션을 실행하기 위한 복수의 디지털 표면들을 식별하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 복수의 디지털 표면들 중 한 디지털 표면 상에서 상기 애플리케이션의 메시징 객체의 액션의 실행을 비활성화하기 위해 상기 전달 제어 파라미터를 업데이트하도록 구성될 수 있다. 데이터 프로세싱 시스템은 제3 애플리케이션에 대한 디버깅 프로세스를 트리거링하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 제3 애플리케이션에 대한 디버깅 프로세스를 통해, 상기 제3 애플리케이션에 대한 제1 분류 점수를 결정하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 제3 애플리케이션에 대한 제1 분류 점수와 제1 분류 임계치의 비교에 기초하여 제1 분류 실패를 검출하도록 구성될 수 있다. 데이터 프로세싱 시스템은 상기 제1 분류 실패의 검출에 응답하여, 상기 제3 애플리케이션에 대한 제2 분류 점수 및/또는 상기 제3 애플리케이션에 대한 제3 분류 점수를 결정하기 전에 상기 제3 애플리케이션에 대한 디버깅 프로세스를 종료하도록 구성될 수 있다. 데이터 프로세싱 시스템은 제1 분류 실패의 알림을 관리자 디바이스에 전송하도록 구성될 수 있다.
적어도 하나의 양태는 애플리케이션 전달 서버를 통한 전달을 위해 애플리케이션을 분석하거나 디버깅하는 방법에 관한 것이다. 방법은 프로세서 및 메모리를 포함하는 데이터 프로세싱 시스템에 의해 수행될 수 있다. 방법은 데이터 프로세싱 시스템이 애플리케이션에 대해, 애플리케이션 개발자에 의해 액션으로 구성된 메시징 객체를 식별하는 것을 포함할 수 있다. 애플리케이션 개발자에 의해 애플리케이션이 제출될 수 있다. 방법은 데이터 프로세싱 시스템이 상기 애플리케이션 개발자에 의해 제공된 상기 메시징 객체의 액션의 이력적 실행에 기초하여 제1 분류 점수를 결정하는 것을 포함할 수 있다. 방법은 데이터 프로세싱 시스템이 상기 애플리케이션과 연관된 메타데이터에 기초하여 상기 애플리케이션에 대한 기계 생성 액션을 생성하는 것을 포함할 수 있다. 방법은 데이터 프로세싱 시스템이 상기 애플리케이션 개발자에 의해 제공된 상기 메시징 객체의 액션과 기계 생성 액션의 비교에 기초하여 제2 분류 점수를 결정하는 것을 포함할 수 있다. 방법은 데이터 프로세싱 시스템이 매칭 프로그램을 통해, 상기 애플리케이션과 매칭되는 제2 애플리케이션을 선택하는 것을 포함할 수 있다. 방법은 데이터 프로세싱 시스템이 상기 제2 애플리케이션에 대해 승인된 액션과 상기 애플리케이션 개발자에 의해 제공된 상기 메시징 객체의 액션의 비교에 기초하여 제3 분류 점수를 결정하는 것을 포함할 수 있다. 방법은 데이터 프로세싱 시스템이 상기 제1 분류 점수, 상기 제2 분류 점수 및 상기 제3 분류 점수에 기초하여 전달 제어 파라미터를 업데이트하는 것을 포함할 수 있다. 방법은 데이터 프로세싱 시스템이 상기 데이터 프로세싱 시스템에 의해 업데이트된 상기 전달 제어 파라미터에 응답하여, 상기 애플리케이션 전달 서버에 의한 상기 애플리케이션의 전달을 제어하는 것을 포함할 수 있다.
방법은 데이터 프로세싱 시스템이 애플리케이션 개발자 디바이스로부터 상기 애플리케이션을 수신하는 것을 포함할 수 있다. 방법은 데이터 프로세싱 시스템이 상기 애플리케이션에 대해 상기 애플리케이션 개발자에 의해 설정된 복수의 액션들을 포함하는 상기 애플리케이션과 연관된 데이터 파일을 수신하는 것을 포함할 수 있다. 방법은 상기 제1 분류 점수, 상기 제2 분류 점수 및/또는 상기 제3 분류 점수에 기초하여 상기 애플리케이션의 전달을 허가하도록 결정하는 것을 포함할 수 있다. 방법은 상기 애플리케이션 전달 서버에 의해 상기 애플리케이션을 전달하도록 상기 전달 제어 파라미터를 업데이트하는 것을 포함할 수 있다. 방법은 상기 제1 분류 점수, 상기 제2 분류 점수 또는 상기 제3 분류 점수 중 적어도 하나가 실패 임계치 미만인 것에 기초하여 분류 실패를 결정하는 것을 포함할 수 있다. 방법은 상기 분류 실패에 응답하여, 상기 애플리케이션 전달 서버에 의한 상기 애플리케이션의 전달을 차단하도록 상기 전달 제어 파라미터를 업데이트하는 것을 포함할 수 있다.
적어도 하나의 양태는 애플리케이션 전달 서버의 데이터 프로세싱 시스템에서 구현될 때 데이터 프로세싱 시스템이 애플리케이션 전달 서버를 통해 전달하기 위한 애플리케이션을 분석하거나 디버깅하는 방법을 수행하도록 구성되는 컴퓨터 프로그램 물에 관한 것이다.
본 발명의 임의의 양태에 따라 위에 또는 본 발명의 임의의 특정 실시예와 관련하여 아래에 정의된 개별 구성들 및/또는 조합은 본 발명의 임의의 다른 양태 또는 실시예에서 별개로 그리고 개별적으로, 단독으로 또는 임의의 다른 정의된 구성과 조합하여 이용될 수 있다.
또한, 본 발명은 본 명세서에 기술된 방법 및/또는 임의의 장치 구성을 사용 또는 생성, 사용 또는 제조하는 방법과 관련하여 본 명세서에 설명된 임의의 구성을 수행하도록 구성된 장치를 포함하도록 의도된다.
이들 및 다른 양태들 및 구현예들은 아래에서 상세히 논의된다. 전술한 정보 및 다음의 상세한 설명은 다양한 양태들 및 구현예들의 예시적 실시예를 포함하고, 청구된 양태들 및 구현예들의 본질 및 특성을 이해하기 위한 개요 또는 프레임워크를 제공한다. 도면은 다양한 양태들 및 구현예들의 예시 및 추가 이해를 제공하며, 본 명세서에 통합되어 본 명세서의 일부를 구성한다.
첨부된 도면은 일정한 비율로 도시된 것이 아니다. 다양한 도면들에서 동일한 참조 번호 및 기호는 동일한 컴포넌트를 표시한다. 명확성을 위해 모든 도면에서 모든 컴포넌트가 라벨링된 것은 아니다. 도면에서:
도 1은 애플리케이션을 디버깅하기 위한 예시적 시스템의 도시이다.
도 2는 애플리케이션을 디버깅하기 위한 시스템의 예시적 동작의 도시이다.
도 3은 애플리케이션을 디버깅하는 예시적 방법의 도시이다.
도 4는 예를 들어 도 1 및 2에 도시된 시스템 및 도 3에 도시된 방법을 포함하여 본 명세서에 기술되고 도시된 시스템 및 방법의 구성요소를 구현하기 위해 사용될 수 있는 컴퓨터 시스템을 위한 일반적인 아키텍처를 도시하는 블록도이다.
도 1은 애플리케이션을 디버깅하기 위한 예시적 시스템의 도시이다.
도 2는 애플리케이션을 디버깅하기 위한 시스템의 예시적 동작의 도시이다.
도 3은 애플리케이션을 디버깅하는 예시적 방법의 도시이다.
도 4는 예를 들어 도 1 및 2에 도시된 시스템 및 도 3에 도시된 방법을 포함하여 본 명세서에 기술되고 도시된 시스템 및 방법의 구성요소를 구현하기 위해 사용될 수 있는 컴퓨터 시스템을 위한 일반적인 아키텍처를 도시하는 블록도이다.
아래에 설명되는 것은 애플리케이션들을 분석 또는 디버깅하기 위한 방법, 장치 및 시스템과 관련된 다양한 개념 및 구현예들에 대한 보다 상세한 설명이다. 위에서 소개되고 아래에서 더 상세하게 논의되는 다양한 개념은 수많은 방식으로 구현될 수 있다.
본 개시는 일반적으로 애플리케이션 전달 서버를 통한 전달을 위해 애플리케이션을 분석하거나 디버깅하는 것에 관한 것이다. 예를 들어, 현재 기술 솔루션의 시스템 및 방법은 애플리케이션에 구성된 액션들을 분석하거나 디버그할 수 있다. 액션은 애플리케이션 개발자가 애플리케이션과 해당 콘텐츠를 표면화하는데 사용하는 메커니즘을 지칭하거나 포함할 수 있다. 애플리케이션 개발자는 애플리케이션이 지원하는 액션을 지정할 수 있다. 애플리케이션 개발자는 애플리케이션이 지원하는 액션들의 표시와 함께 애플리케이션을 데이터 프로세싱 시스템에 제출할 수 있다. 데이터 프로세싱 시스템은 애플리케이션을 수신하고 애플리케이션 개발자가 제공한 액션들을 표시하면 애플리케이션을 디버깅하거나 리뷰할 수 있다. 데이터 프로세싱 시스템은 최종 사용자 클라이언트 디바이스에서 애플리케이션을 다운로드하거나 사용할 수 있도록 하기 전이나 후에 애플리케이션을 디버깅하거나 리뷰할 수 있다. 데이터 프로세싱 시스템은 애플리케이션을 디버깅하거나 리뷰하여 애플리케이션에 대한 딥 링크가 애플리케이션으로 하여금 기능을 수행하거나 요청된 액션에 대한 응답인 콘텐츠 아이템을 제공하는지 여부를 결정할 수 있다. 예를 들어, 데이터 프로세싱 시스템은 애플리케이션을 디버깅하여 애플리케이션의 딥 링크가 원하는 액션에 기초하여 애플리케이션의 적절한 화면이나 상태로 사용자를 실제로 안내하는지 여부를 결정할 수 있다. 딥 링크는 홈페이지 또는 애플리케이션의 초기 상태 또는 화면과는 반대로 애플리케이션의 특정 상태 또는 화면과 같은 특정 콘텐츠 조각에 링크되는 하이퍼링크 또는 기타 참조 또는 포인터를 지칭할 수 있다. 딥 링크는 최상위 홈페이지 또는 화면 또는 상태가 아닌 페이지 또는 콘텐츠를 가리키는 링크를 지칭할 수 있다.
데이터 프로세싱 시스템은 애플리케이션에 대한 분석 또는 디버깅 프로세스를 수행할 수 있다. 분석 또는 디버깅 프로세스는 사기 감지 및 품질 리뷰를 포함할 수 있다. 사기 감지는 애플리케이션이 의도적으로 사용자를 오도하려는 것인지 여부를 검출하는 것을 의미한다. 예를 들어, 사용자는 특정 목적지까지의 승차 예약을 요청할 수 있지만, 애플리케이션에 대한 딥 링크는 사용자의 의도를 충족하지 않는 페이지로 사용자를 안내할 수 있다. 대신 애플리케이션에 대한 딥 링크가 사용자를 악의적인 콘텐츠로 안내할 수 있다.
품질 리뷰는 딥 링크가 사용자를 원하는 액션으로 유도하고 사용자의 의도를 충족시키는데 도움이 되는지 결정하는 것을 의미할 수 있다. 품질 리뷰를 수행하기 위해 데이터 프로세싱 시스템은 애플리케이션에서 제공하는 것으로 주장되는 의도가 실제로 애플리케이션에서 제공되는지 여부를 결정할 수 있다. 예를 들어 음악 스트리밍 서비스 개발자는 아티스트 및 노래에 대한 엔터티를 애플리케이션에 제공할 수 있다. 사용자는 아티스트의 노래를 요청할 수 있으며, 이로 인해 애플리케이션이 애플리케이션 내의 아티스트 페이지로 직접 연결되는 딥 링크를 제공할 수 있다. 그러나 딥 링크가 사용자를 다른 아티스트의 페이지 또는 다른 유형의 페이지(예: 오디오 북)로 연결하는 경우 딥 링크는 오류가 있거나 불량일 수 있다.
따라서, 요청 또는 트리거에 응답하여, 애플리케이션은 악의적 액션을 수행하거나 잘못된 액션을 수행할 수 있다. 악의적이거나 잘못된 액션을 수행하면 컴퓨팅 디바이스에서 컴퓨팅 리소스 사용, 대역폭 사용 및 배터리 사용이 낭비될 수 있다. 또한 악의적이거나 잘못된 액션의 수행은 올바른 액션을 수행하기 전에 반복되는 요청으로 인해 원격 프로시저 호출을 증가시킬 수 있다. 사이버 보안 문제는 악의적 액션을 수행하는 애플리케이션의 제공으로 인해 발생할 수 있으며, 이러한 애플리케이션을 적시에 자동으로 식별하고 해결하는 것은 시스템 보안 이점을 제공한다. 애플리케이션 전달 서버를 통해 제공되는 많은 수의 애플리케이션과 애플리케이션에 대한 업데이트들로 인해, 리뷰 프로세스에서 지체없이 효율적이고 안정적으로 악성 또는 사기 애플리케이션들을 검출하거나 애플리케이션들에 대한 품질 리뷰를 수행하는 것은 어려울 수 있다. 현재 기술 해결책의 시스템 및 방법을 사용하면 이력적 실행 정보, 시뮬레이션된 액션 또는 매칭되는 애플리케이션에 기초하여 애플리케이션을 리뷰할 수 있다. 리뷰에 기초하여, 현재의 기술 해결책은 애플리케이션의 전달을 방지하거나 악성, 사기성 또는 잘못된 것으로 결정되는 애플리케이션의 특정 액션을 비활성화할 수 있다.
예를 들어, 데이터 프로세싱 시스템은 애플리케이션 리뷰 시스템을 포함할 수 있다. 데이터 프로세싱 시스템은 애플리케이션 개발자로부터 애플리케이션 메타데이터를 수신할 수 있다. 애플리케이션 메타데이터는 예를 들어 애플리케이션 제목, 애플리케이션 설명, 애플리케이션 스크린샷, 애플리케이션이 지원하는 엔터티 인벤토리, 애플리케이션이 지원하는 엔터티가 표시된 웹사이트 또는 웹코퍼스, 애플리케이션이 지원하는 엔터티에 대응하는 의도 또는 액션 및 애플리케이션의 엔터티에 대한 딥 링크를 구성하는 방법에 대한 메커니즘 또는 명령어를 포함할 수 있다. 예를 들어, 음악 스트리밍 표면에 대한 애플리케이션은 이름, 설명, 아티스트 목록, 노래를 엔터티로 제공하고 엔터티와 함께 수행될 의도 또는 액션으로 음악을 재생할 수 있다. 데이터 프로세싱 시스템은 필터를 적용하여 엔터티 목록을 식별한 다음 엔터티를 정렬하여 상위 엔터티를 식별할 수 있다. 데이터 프로세싱 시스템은 딥 링크 구축 엔진을 사용하여 애플리케이션을 트리거할 수 있는 애플리케이션 딥 링크를 구성할 수 있다. 데이터 프로세싱 시스템은 리뷰 결과가 애플리케이션에 대한 딥 링크의 품질이 임계치 미만이라고 나타내는 경우 애플리케이션 메타데이터에 의해 표시된 엔터티와 비교하여 딥 링크를 통해 보여지는 엔터티를 비교하기 위해 애플리케이션 또는 웹 사이트를 크롤링하는 것을 포함하여 리뷰를 수행할 수 있다. 데이터 프로세싱 시스템은 애플리케이션에 대한 딥 링크의 품질이 임계치 미만임을 나타내는 리뷰 결과를 차단할 수 있다. 데이터 프로세싱 시스템은 품질이 임계치 미만인 경우 애플리케이션 또는 액션의 제출을 차단할 수 있다.
데이터 프로세싱 시스템은 애플리케이션을 리뷰하기 위해 하나 이상의 분류기를 사용 또는 포함할 수 있다. 데이터 프로세싱 시스템은 사용자로부터의 피드백을 사용할 수 있는 제1 분류기를 포함하거나 구성할 수 있다. 예를 들어, "Application_A에서 차량을 예약할 수 있습니까?". 데이터 프로세싱 시스템은 사용자로부터 피드백을 수집할 수 있으며, 특정 비율의 사용자가 미리 결정된 시간 프레임 내에 "예"라고 대답하면 데이터 프로세싱 시스템은 애플리케이션이 원하는 의도 또는 액션을 수행할 수 있는지 결정할 수 있다.
데이터 프로세싱 시스템은 제2 분류기를 포함하거나 구성할 수 있다. 제2 분류기는 확장 엔터티 및 애플리케이션과 연관된 의도 또는 액션에 기초하여 벡터를 생성한 다음 애플리케이션과 연관된 가장 관련성이 높은 의도를 결정할 수 있다. 예를 들어, 데이터 프로세싱은 애플리케이션의 이름, 애플리케이션에 대한 간단한 설명, 애플리케이션에 대한 자세한 설명 및 명사 및 동사를 추출하기 위한 사용자 리뷰와 같은 기타 소스를 파싱하거나 프로세싱할 수 있다. 데이터 프로세싱 시스템은 명사 및 동사(예: 아티스트 이름, 음악 재생)를 매핑하고 이를 노래 재생과 같은 실제 의도 또는 액션에 매핑할 수 있다. 그런 다음 데이터 프로세싱 시스템은 분류 기법을 사용하여 애플리케이션 개발자가 등록하거나 제공한 액션과 자동으로 생성되거나 검출된 의도 또는 액션 간의 유사성 레벨을 결정할 수 있다. 액션이 유사성 임계치 레 미만이면 데이터 프로세싱 시스템이 애플리케이션을 차단할 수 있다.
데이터 프로세싱 시스템은 제3 분류기를 포함하거나 구성할 수 있다. 제3 분류기는 유사한 애플리케이션에 기초하여 애플리케이션에 대한 분류 점수를 결정할 수 있다. 예를 들어, 애플리케이션은 승차 공유 애플리케이션일 수 있다. 데이터 프로세싱 시스템은 승차 공유 애플리케이션이며 이미 리뷰 프로세스를 통과한 제2 애플리케이션을 식별할 수 있다. 제1 애플리케이션이 디버깅 또는 리뷰 프로세스를 진행 중인 경우 데이터 프로세싱 시스템은 유사한 제2 애플리케이션의 결과를 활용하여 제1 애플리케이션으로 제출된 액션이 만족스러운지 결정할 수 있다. 데이터 프로세싱 시스템은 제1 애플리케이션의 제출에 응답하거나 지속적으로 이 리뷰 프로세스를 수행할 수 있다.
하나 이상의 분류기를 사용하거나 구성함으로써 데이터 프로세싱은 분석 또는 디버깅 프로세스의 품질과 신뢰성을 향상시키는 동시에 리뷰 프로세스를 단축할 수 있다. 데이터 프로세싱 시스템은 하나 이상의 분류기를 통해 애플리케이션 리뷰 프로세스의 효율성을 향상시키는 동시에 애플리케이션 리뷰 프로세스의 결과를 개선할 수 있다. 예를 들어, 데이터 프로세싱 시스템은 하나 이상의 분류기를 통해 각 애플리케이션을 다운로드하고 애플리케이션을 설치하고 애플리케이션에 대한 계정을 설정한 다음 애플리케이션을 테스트하지 않고도 애플리케이션을 리뷰하거나 디버그할 수 있다.
따라서, 리뷰 프로세스를 단축하는 동시에 리뷰 프로세스의 결과를 개선함으로써 데이터 프로세싱 시스템은 애플리케이션 전달 서버를 개선할 수 있다. 데이터 프로세싱 시스템은 예를 들어 원격 프로시저 호출 또는 사기 원격 프로시저 호출 또는 프로세싱의 수를 줄이거나 사기 또는 악성 애플리케이션의 전달을 차단 또는 방지한 결과 리소스 소비 또는 리소스 활용을 더 줄일 수 있다. 예를 들어 사기성 또는 악성 애플리케이션은 사용자 쿼리 또는 요청에 응답하여 오해의 소지가 있거나 사기성이거나 오류가 있는 콘텐츠 아이템을 제공할 수 있다. 데이터 프로세싱 시스템은 악성 애플리케이션에 대해 향상된 디바이스 보안을 제공할 수 있다.
도 1은 컴퓨팅 디바이스들 사이에서 액세스 제어를 동기화하기 위한 예시적 시스템(100)을 도시한다. 시스템(100)은 콘텐츠 선택 인프라를 포함할 수 있다. 시스템(100)은 애플리케이션 전달 인프라를 포함할 수 있다. 시스템(100)은 온라인 애플리케이션 스토어 또는 마켓 플레이스를 포함할 수 있다. 시스템(100)은 데이터 프로세싱 시스템(102)을 포함할 수 있다. 데이터 프로세싱 시스템(102)은 네트워크(105)를 통해 애플리케이션 개발자 디바이스(160) 또는 클라이언트 컴퓨팅 디바이스(140) 중 하나 이상과 통신할 수 있다. 시스템(100)은 또한 서드파티 디바이스, 콘텐츠 제공자 디바이스 또는 디지털 표면 디바이스와 같은 다른 디바이스들과 통신할 수 있다.
네트워크(105)는 인터넷, 로컬, 와이드, 메트로 또는 다른 영역 네트워크, 인트라넷, 위성 네트워크 및 음성 또는 데이터 모바일폰 통신 네트워크와 같은 다른 컴퓨터 네트워크들과 같은 컴퓨터 네트워크를 포함할 수 있다. 네트워크(105)는 랩톱, 데스크톱, 태블릿, 디지털 어시스턴트 디바이스, 스마트폰, 웨어러블 디바이스, 휴대용 컴퓨터 또는 스피커와 같은 적어도 하나의 클라이언트 컴퓨팅 디바이스(140) 상에 제시, 출력, 렌더링 또는 디스플레이될 수 있는 웹페이지, 웹사이트, 도메인 이름 또는 URL과 같은 정보 리소스들에 액세스하는데 사용될 수 있다. 예를 들어, 네트워크(105)를 통해, 클라이언트 컴퓨팅 디바이스(140)의 사용자는 데이터 프로세싱 시스템(102) 또는 애플리케이션 개발자 디바이스(160)에 의해 제공된 정보 또는 데이터에 액세스할 수 있다.
네트워크(105)는 디스플레이 네트워크, 예를 들어, 콘텐츠 배치 또는 검색 엔진 결과 시스템과 연관되거나 디지털 컴포넌트 배치 캠페인의 일부로서 서드 파티 디지털 컴포넌트에 포함시키기에 적합한 인터넷 상의 사용가능한 정보 리소스들의 서브셋을 포함하거나 구성할 수 있다. 네트워크(105)는 클라이언트 컴퓨팅 디바이스(140)에 의해 제시, 출력, 렌더링 또는 디스플레이될 수 있는 웹페이지, 웹사이트, 도메인 이름, 또는 URL과 같은 정보 리소스들에 액세스하기 위해 데이터 프로세싱 시스템(102)에 의해 사용될 수 있다. 예를 들어, 네트워크(105)를 통해, 클라이언트 컴퓨팅 디바이스(140)의 사용자는 데이터 프로세싱 시스템(102) 또는 애플리케이션 개발자 디바이스(160)에 의해 제공된 정보 또는 데이터에 액세스할 수 있다.
네트워크(105)는 임의의 유형 또는 형태의 네트워크일 수 있으며, 포인트-투-포인트 네트워크, 브로드캐스트 네트워크, 광역 네트워크, 근거리 네트워크, 전화통신 네트워크, 데이터 통신 네트워크, 컴퓨터 네트워크, ATM(Asynchronous Transfer Mode) 네트워크, SONET(Synchronous Optical Network) 네트워크, SDH(Synchronous Digital Hierarchy) 네트워크, 무선 네트워크 및 유선 네트워크 중 임의의 것을 포함할 수 있다. 네트워크(105)는 적외선 채널 또는 위성 대역과 같은 무선 링크를 포함할 수 있다. 네트워크(105)의 토폴로지는 버스, 스타 또는 링 네트워크 토폴로지를 포함할 수 있다. 네트워크는 어드밴스드 모바일폰 프로토콜("AMPS"), 시분할 다중 액세스("TDMA"), 코드 분할 다중 액세스("CDMA"), 글로벌 이동 통신 시스템("GSM"), 일반 패킷 무선 서비스("GPRS") 또는 범용 이동 통신 시스템("UMTS")을 포함하는 모바일 디바이스들 간에 통신하는데 사용되는 임의의 프로토콜 또는 프로토콜들을 사용하는 모바일 전화 네트워크들을 포함할 수 있다. 상이한 유형의 데이터는 상이한 프로토콜을 통해 전송될 수 있거나, 동일한 유형의 데이터가 상이한 프로토콜들을 통해 전송될 수 있다.
시스템(100)은 적어도 하나의 데이터 프로세싱 시스템(102)을 포함할 수 있다. 데이터 프로세싱 시스템(102)은 네트워크(105)를 통해 예를 들어 클라이언트 컴퓨팅 디바이스(140) 또는 애플리케이션 개발자 디바이스(106) 또는 기타 네트워크 디바이스 또는 서드파티 디바이스와 통신하기 위한 프로세서를 가지는 컴퓨팅 디바이스와 같은 적어도 하나의 로직 디바이스를 포함할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 계산 리소스, 서버, 프로세서 또는 메모리를 포함할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 적어도 하나의 데이터 센터에 위치된 복수의 계산 리소스 또는 서버를 포함할 수 있다. 데이터 프로세싱 시스템(102)은 다수의 논리적으로 그룹화된 서버를 포함할 수 있고, 분산 컴퓨팅 기법을 지원한다. 논리적 서버들의 그룹은 데이터 센터, 서버 팜 또는 머신 팜으로 지칭될 수 있다. 서버는 지리적으로 분산될 수 있다. 데이터 센터 또는 머신 팜은 단일 엔터티로 관리되거나, 머신 팜은 복수의 머신 팜을 포함할 수 있다. 각 머신 팜 내의 서버는 다른 기종일 수 있다 - 하나 이상의 서버 또는 머신이 하나 이상의 운영 체제 플랫폼 유형에 따라 동작할 수 있다.
머신 팜의 서버는 연관된 저장 시스템과 함께 고밀도 랙 시스템에 저장되고 엔터프라이즈 데이터 센터에 위치될 수 있다. 예를 들어, 이러한 방식으로 서버를 통합하면 지역화된 고성능 네트워크에 서버 및 고성능 저장 시스템을 위치시킴으로써 시스템 관리성, 데이터 보안, 시스템의 물리적 보안 및 시스템 성능을 향상시킬 수 있다. 서버 및 저장 시스템을 포함하여 모든 또는 일부 데이터 프로세싱 시스템(102) 컴포넌트들을 중앙집중화하고 이를 고급 시스템 관리 툴과 결합하면 서버 리소스들을 보다 효율적으로 사용할 수 있게 하여, 전력 및 프로세싱 요구사항을 절약하고 대역폭 사용을 감소시킨다.
시스템(100)은 적어도 하나의 서드 파티 디바이스(162)를 포함, 액세스 또는 이와 인터렉션할 수 있다. 서드 파티 디바이스(162)는 네트워크(105)를 통해 통신하기 위한 프로세서를 가지는 컴퓨팅 디바이스 예를 들어 컴퓨팅 디바이스(140), 데이터 프로세싱 시스템(102) 또는 애플리케이션 개발자 디바이스(160)와 같은 적어도 하나의 로직 디바이스를 포함할 수 있다. 서드파티 디바이스(162)는 적어도 하나의 계산 리소스, 서버, 프로세서 또는 메모리를 포함할 수 있다. 예를 들어, 서드파티 디바이스(162)는 적어도 하나의 데이터 센터에 위치된 복수의 계산 리소스 또는 서버를 포함할 수 있다.
서드파티 디바이스(162)는 클라이언트 컴퓨팅 디바이스(140)에 의해 오디오 출력 디지털 컴포넌트로서 제시 또는 디스플레이하기 위한 오디오 기반 디지털 컴포넌트를 제공할 수 있다. 디지털 컴포넌트는 "택시를 부르겠습니까?"라는 음성 기반 메시지와 같은 상품 또는 서비스에 대한 제안을 포함할 수 있다. 예를 들어, 서드파티 디바이스(162)는 음성 기반 쿼리에 응답하여 제공될 수 있는 일련의 오디오 디지털 컴포넌트를 저장하기 위한 메모리를 포함할 수 있다. 서드파티 디바이스(162)는 또한 오디오 기반 디지털 컴포넌트(또는 다른 디지털 컴포넌트)를 이들이 데이터 저장소(128)에 저장될 수 있는 데이터 프로세싱 시스템(102)에 제공할 수 있다. 데이터 프로세싱 시스템(102)은 오디오 디지털 컴포넌트들을 선택하고, 오디오 디지털 컴포넌트들을 클라이언트 컴퓨팅 디바이스(140)에 제공할 수 있다(또는 서드파티 디바이스(162)에 지시하여 제공하도록 함). 오디오 기반 디지털 컴포넌트는 독점적으로 오디오일 수 있거나 텍스트, 이미지 또는 비디오 데이터와 결합될 수 있다.
서드파티 디바이스(162)는 데이터 프로세싱 시스템(102)을 포함하거나, 인터페이싱하거나 그와 통신할 수 있다. 서드파티 디바이스(162)는 클라이언트 컴퓨팅 디바이스(140)를 포함, 실행 또는 그와 통신할 수 있다. 서드파티 디바이스(162)는 모바일 컴퓨팅 디바이스일 수 있는 컴퓨팅 디바이스(140)를 포함하거나, 인터페이싱하거나 또는 그와 통신할 수 있다. 서드파티 디바이스(162)는 애플리케이션 개발자 디바이스(160)를 포함하거나, 인터페이싱하거나 그와 통신할 수 있다. 예를 들어, 서드파티 디바이스(162)는 클라이언트 컴퓨팅 디바이스(140)에 의한 실행을 위해 클라이언트 컴퓨팅 디바이스(140)에 디지털 컴포넌트를 제공할 수 있다. 서드파티 디바이스(162)는 데이터 프로세싱 시스템(102)에 저장하기 위해 디지털 컴포넌트를 데이터 프로세싱 시스템(102)에 제공할 수 있다. 서드파티 디바이스(162)는 디지털 컴포넌트와 관련된 규칙 또는 파라미터를 데이터 프로세싱 시스템(102)에 제공할 수 있다.
클라이언트 컴퓨팅 디바이스(140)는 애플리케이션 개발자 디바이스(160)에 의해 개발된 애플리케이션을 다운로드할 수 있다. 클라이언트 컴퓨팅 디바이스(140)는 네트워크(105)를 통해 데이터 프로세싱 시스템(102)으로부터 애플리케이션을 다운로드할 수 있다. 클라이언트 컴퓨팅 디바이스는 애플리케이션 전달 서버(110)로부터 애플리케이션을 다운로드할 수 있다. 클라이언트 컴퓨팅 디바이스(140)는 애플리케이션을 설치할 수 있다. 클라이언트 디바이스(140)는 애플리케이션(145)을 실행할 수 있다. 클라이언트 컴퓨팅 디바이스(140)는 사용자 입력 또는 트리거 이벤트 또는 조건에 응답하여 애플리케이션을 실행, 런치, 트리거하거나 액세스하거나 사용할 수 있다. 애플리케이션은 프론트-엔드 컴포넌트와 백-엔드 컴포넌트를 포함할 수 있다. 클라이언트 컴퓨팅 디바이스(140)는 애플리케이션의 프론트-엔드 컴포넌트를 실행하거나 제공할 수 있고, 데이터 프로세싱 시스템(102) 또는 애플리케이션 개발자 디바이스(160)는 애플리케이션의 백-엔드 컴포넌트를 제공한다.
클라이언트 컴퓨팅 디바이스(140)는 적어도 하나의 센서(144), 트랜스듀서(146), 오디오 드라이버(148) 또는 프리-프로세서(150)를 포함하거나 이와 인터페이스 또는 통신할 수 있다. 클라이언트 컴퓨팅 디바이스(140)는 광원(152) 또는 디스플레이 디바이스(126) 예를 들어 광 표시기, 발광 다이오드("LED"), 유기 발광 다이오드("OLED") 또는 시각적 또는 광학적 출력을 제공하도록 구성된 다른 시각적 표시기를 포함할 수 있다. 센서(144)는 예를 들어 주변 광 센서, 근접 센서, 온도 센서, 가속도계, 자이로스코프, 모션 검출기, GPS 센서, 위치 센서, 마이크로폰 또는 터치 센서를 포함할 수 있다. 트랜스듀서(146)는 스피커 또는 마이크로폰을 포함할 수 있다. 오디오 드라이버(148)는 하드웨어 트랜스듀서(146)에 소프트웨어 인터페이스를 제공할 수 있다. 오디오 드라이버는 오디오 파일 또는 데이터 프로세싱 시스템(102)에 의해 제공된 다른 명령어들을 실행하여 트랜스듀서(146)를 제어하여 대응하는 음향 파장 또는 음파를 생성할 수 있다. 프리-프로세서(150)는 키워드를 검출하고 키워드에 기초한 액션을 수행하도록 구성된 하드웨어를 포함하는 프로세싱 유닛을 포함할 수 있다. 프리-프로세서(150)는 추가 프로세싱을 위해 용어를 데이터 프로세싱 시스템(102)에 전송하기 전에 하나 이상의 용어들을 필터링하거나 용어를 수정할 수 있다. 프리-프로세서(150)는 마이크로폰에 의해 검출된 아날로그 오디오 신호를 디지털 오디오 신호로 변환하고, 디지털 오디오 신호를 운반하는 하나 이상의 데이터 패킷을 네트워크(105)를 통해 데이터 프로세싱 시스템(102)에 전송할 수 있다. 일부 경우에, 프리-프로세서(150)는 그러한 전송을 수행하기 위한 명령어를 검출하는 것에 응답하여 입력 오디오 신호의 일부 또는 전부를 운반하는 데이터 패킷을 전송할 수 있다. 명령어는 예를 들어, 입력 오디오 신호를 포함하는 데이터 패킷을 데이터 프로세싱 시스템(102)에 전송하기 위한 트리거 키워드 또는 다른 키워드 또는 승인을 포함할 수 있다.
클라이언트 컴퓨팅 디바이스(140)는 (센서(144)를 통해) 음성 쿼리를 오디오 입력으로서 클라이언트 컴퓨팅 디바이스(140)에 입력하고, 데이터 프로세싱 시스템(102)(또는 애플리케이션 개발자 디바이스(160) 또는 서드파티 컴퓨팅 디바이스(162))로부터 클라이언트 컴퓨팅 디바이스(140)로 트랜스듀서(146)(예: 스피커)로부터의 출력에 제공될 수 있는 컴퓨터 생성 음성의 형태로 오디오 출력을 수신하는 최종 사용자와 연관될 수 있다. 컴퓨터 생성 음성은 실제 사람 또는 컴퓨터 생성 언어의 녹음을 포함할 수 있다.
클라이언트 컴퓨팅 디바이스(140)(또는 컴퓨팅 디바이스, 클라이언트 디바이스 또는 디지털 디바이스)는 디스플레이를 포함하거나 포함하지 않을 수 있다. 예를 들어, 컴퓨팅 디바이스는 마이크로폰 및 스피커와 같은 제한된 유형의 사용자 인터페이스를 포함할 수 있다. 일부 경우에, 디지털 어시스턴트 컴퓨팅 디바이스(140)의 주된(primary) 사용자 인터페이스는 마이크로폰 및 스피커 또는 음성 인터페이스일 수 있다. 예를 들어, 클라이언트 컴퓨팅 디바이스(140)의 주된 사용자 인터페이스는 음성 기반 또는 오디오 기반 사용자 인터페이스를 포함할 수 있다. 클라이언트 컴퓨팅 디바이스(140)는 디스플레이를 포함할 수 있고, 주된 사용자 인터페이스가 음성 기반 또는 오디오 기반일 수 있다. 클라이언트 컴퓨팅 디바이스(140)의 주된 사용자 인터페이스는 대화형일 수 있다. 대화형 사용자 인터페이스는 데이터 프로세싱 시스템(102)의 자연어 프로세서 컴포넌트(106)에 의해 적어도 부분적으로 구동되거나 촉진되는 사용자 인터페이스를 지칭할 수 있다.
데이터 프로세싱 시스템(102)은 적어도 하나의 계산 리소스 또는 서버를 갖는 콘텐츠 배치 시스템을 포함할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 인터페이스(104)와의 인터페이스를 포함하거나 또는 이와 달리 그와 통신할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 자연어 프로세서 컴포넌트(106)와의 인터페이스를 포함하거나 또는 이와 달리 그와 통신할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 다이렉트 액션 애플리케이션 프로그래밍 인터페이스("API")(108)와의 인터페이스를 포함하거나 또는 그와 통신할 수 있다. 인터페이스(104), 자연어 프로세싱 컴포넌트(106) 및 다이렉트 액션 API(108)는 대화형 API 또는 디지털 어시스턴트 기능을 제공할 수 있다. 대화형 API 또는 디지털 어시스턴트는 데이터를 제공하거나 데이터를 수신하거나 다른 기능을 수행하기 위해 하나 이상의 음성 기반 인터페이스 또는 다양한 디지털 어시스턴트 디바이스 또는 표면과 통신하거나 인터페이스할 수 있다.
데이터 프로세싱 시스템(102)은 적어도 하나의 애플리케이션 전달 서버(110)와의 인터페이스를 포함하거나 또는 이와 달리 그와 통신할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 전달 제어기 컴포넌트(112)와의 인터페이스를 포함하거나 또는 이와 달리 그와 통신할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 딥 링크 빌더 컴포넌트(114)와의 인터페이스를 포함하거나 또는 이와 달리 그와 통신할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 제1 분류기 컴포넌트(116)와의 인터페이스를 포함하거나 또는 이와 달리 그와 통신할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 제2 분류기 컴포넌트(118)와의 인터페이스를 포함하거나 또는 이와 달리 그와 통신할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 제3 분류기 컴포넌트(120)와의 인터페이스를 포함하거나 또는 이와 달리 그와 통신할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 매칭 엔진 컴포넌트(122)를 포함하거나, 그와 인터페이싱하거나 또는 그와 통신할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 액션 생성기(124)와의 인터페이스를 포함하거나 또는 이와 달리 그와 통신할 수 있다. 데이터 프로세싱 시스템(102)은 적어도 하나의 데이터 저장소(128)와의 인터페이스를 포함하거나 또는 이와 달리 그와 통신할 수 있다.
인터페이스(104), 자연어 프로세서 컴포넌트(106), 다이렉트 액션 API(108), 애플리케이션 전달 서버(110), 전달 제어기 컴포넌트(112), 딥 링크 빌더 컴포넌트(114), 제1 분류기 컴포넌트(116), 제2 분류기 컴포넌트(118), 제3 분류기 컴포넌트(120), 매칭 엔진 컴포넌트(122) 및 액션 생성기(124)는 각각 적어도 하나의 프로세싱 유닛 또는 프로그래밍 가능한 논리 어레이 엔진과 같은 다른 논리 디바이스 또는 데이터베이스 저장소(128) 또는 데이터베이스와 통신하도록 구성된 모듈을 포함할 수 있다. 인터페이스(104), 자연어 프로세서 컴포넌트(106), 다이렉트 액션 API(108), 애플리케이션 전달 서버(110), 전달 제어기 컴포넌트(112), 딥 링크 빌더 컴포넌트(114), 제1 분류기 컴포넌트(116), 제2 분류기 컴포넌트(118), 제3 분류기 컴포넌트(120), 매칭 엔진 컴포넌트(122), 액션 생성기(124) 및 데이터 저장소(128)는 별개의 컴포넌트, 단일 컴포넌트 또는 데이터 프로세싱 시스템(102)의 일부일 수 있다. 데이터 프로세싱 시스템(102)과 같은 시스템(100) 및 그 컴포넌트는 하나 이상의 프로세서, 논리 디바이스 또는 회로와 같은 하드웨어 엘리먼트를 포함할 수 있다.
데이터 프로세싱 시스템(102)은 복수의 클라이언트 컴퓨팅 디바이스(140)(또는 컴퓨팅 디바이스 또는 디지털 어시스턴트 디바이스)와 연관된 익명의 컴퓨터 네트워크 활동 정보를 얻을 수 있다. 클라이언트 컴퓨팅 디바이스(140) 또는 모바일 컴퓨팅 디바이스의 사용자는 클라이언트 컴퓨팅 디바이스(140) 또는 모바일 컴퓨팅 디바이스에 대응하는 네트워크 활동 정보를 획득하도록 데이터 프로세싱 시스템(102)을 긍정적으로 인증할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 컴퓨팅 디바이스(140)의 사용자에게 하나 이상의 유형의 네트워크 활동 정보를 얻기 위한 동의를 프롬프트할 수 있다. 클라이언트 컴퓨팅 디바이스(140)는 스마트폰, 태블릿, 스마트 워치 또는 웨어러블 디바이스와 같은 모바일 컴퓨팅 디바이스를 포함할 수 있다. 클라이언트 컴퓨팅 디바이스(140)의 사용자의 신원은 익명으로 유지될 수 있고, 컴퓨팅 디바이스(140)는 고유 식별자(예를 들어, 데이터 프로세싱 시스템 또는 컴퓨팅 디바이스의 사용자에 의해 제공되는 사용자 또는 컴퓨팅 디바이스에 대한 고유 식별자)와 연관될 수 있다. 데이터 프로세싱 시스템은 각 관측을 해당 고유 식별자와 연결할 수 있다.
데이터 프로세싱 시스템(102)은 서드파티 디바이스(162)와 인터페이싱할 수 있다. 서드파티 디바이스(162)는 콘텐츠 제공자의 디바이스를 포함하거나 지칭할 수 있다. 콘텐츠 제공자는 전자 콘텐츠 캠페인을 설정할 수 있다. 전자 콘텐츠 캠페인은 데이터 저장소(128)에 콘텐츠 데이터(130)로서 저장될 수 있다. 전자 콘텐츠 캠페인은 공통 테마에 해당하는 하나 이상의 콘텐츠 그룹을 지칭할 수 있다. 콘텐츠 캠페인은 콘텐츠 그룹, 디지털 컴포넌트 데이터 오브젝트 및 콘텐츠 선택 기준을 포함하는 계층적 데이터 구조를 포함할 수 있다. 콘텐츠 캠페인을 생성하기 위해, 콘텐츠 제공자는 콘텐츠 캠페인의 캠페인 레벨 파라미터에 대한 값을 특정할 수 있다. 캠페인 레벨 파라미터는 예를 들어 캠페인 이름, 디지털 컴포넌트 오브젝트를 배치하기 위한 선호하는 콘텐츠 네트워크, 콘텐츠 캠페인에 사용될 리소스의 값, 콘텐츠 캠페인의 시작 및 종료 날짜, 콘텐츠 캠페인의 지속 기간, 디지털 컴포넌트 오브젝트 배치 일정, 언어, 지리적 위치, 디지털 컴포넌트 오브젝트를 제공할 컴퓨팅 디바이스 유형을 포함할 수 있다. 일부 경우에, 노출은 디지털 컴포넌트 오브젝트가 그 소스(예를 들어, 데이터 프로세싱 시스템(102) 또는 콘텐츠 제공자)로부터 페치되고 카운트될 때를 지칭할 수 있다. 일부 경우에, 클릭 사기 가능성으로 인해, 로봇 활동이 필터링되어 노출로서 제외될 수 있다. 따라서, 일부 경우에, 노출은 브라우저로부터의 페이지 요청에 대한 웹 서버로부터의 응답의 측정을 지칭하며, 로봇 활동 및 오류 코드가 필터링되며, 컴퓨팅 디바이스(140) 상에 디스플레이하기 위해 디지털 컴포넌트 오브젝트를 렌더링하기 위한 가능한 한 가까운 시점에 기록된다. 일부 경우에, 노출은 시각적 또는 청각적 노출을 지칭할 수 있다: 예를 들어, 디지털 컴포넌트 오브젝트는 클라이언트 컴퓨팅 디바이스의 디스플레이 디바이스(152)에서 적어도 부분적으로(예: 20%, 30%, 30%, 40%, 50%, 60%, 70% 이상) 볼 수 있거나 또는 컴퓨팅 디바이스(140)의 스피커(136)를 통해 들을 수 있다. 클릭 또는 선택은 청각적 노출에 대한 음성 응답, 마우스 클릭, 터치 인터렉션, 제스처, 쉐이크, 오디오 인터렉션 또는 키보드 클릭과 같은 디지털 컴포넌트 오브젝트와의 사용자 인터렉션을 지칭할 수 있다. 전환은 디지털 컴포넌트 오브젝션과 관련하여 원하는 액션을 취하는 사용자를 지칭할 수 있다: 예를 들어, 제품 또는 서비스 구매, 설문 조사 완료, 디지털 컴포넌트에 대응하는 물리적 상점 방문 또는 전자 거래 완료.
콘텐츠 제공자는 콘텐츠 캠페인에 대한 하나 이상의 콘텐츠 그룹을 추가로 설정할 수 있다. 콘텐츠 그룹은 하나 이상의 디지털 컴포넌트 오브젝트 및 대응하는 콘텐츠 선택 기준, 예컨대 키워드, 단어, 용어, 문구, 지리적 위치, 컴퓨팅 디바이스의 유형, 시각, 관심사, 주제 또는 버티칼(vertical)을 포함한다. 동일한 콘텐츠 캠페인 하의 콘텐츠 그룹은 동일한 캠페인 레벨 파라미터들을 공유할 수 있지만 키워드, 제외 키워드(예: 메인 콘텐츠에 제외 키워드가 존재하는 경우 디지털 컴포넌트의 배치를 차단), 키워드 입찰가 또는 입찰 또는 콘텐츠 캠페인과 연관된 파라미터들과 같은 특정한 콘텐츠 그룹 레벨 파라미터들에 대한 세부사항을 조절할 수 있다.
새로운 콘텐츠 그룹을 생성하기 위해, 콘텐츠 제공자는 콘텐츠 그룹의 콘텐츠 그룹 레벨 파라미터에 대한 값을 제공할 수 있다. 콘텐츠 그룹 레벨 파라미터는 예를 들어 콘텐츠 그룹 이름 또는 콘텐츠 그룹 테마 및 상이한 콘텐츠 배치 기회(예를 들어, 자동 배치 또는 선택 배치)에 대한 입찰 또는 결과(예를 들어, 클릭, 노출 또는 전환)를 포함한다. 콘텐츠 그룹 이름 또는 콘텐츠 그룹 테마는 콘텐츠 제공자가 콘텐츠 그룹의 디지털 컴포넌트 오브젝트가 디스플레이를 위해 선택될 토픽 또는 주제를 캡처하기 위해 사용할 수 있는 하나 이상의 용어일 수 있다. 예를 들어, 자동차 딜러사는 보유하는 차량의 각 브랜드마다 다른 콘텐츠 그룹을 생성할 수 있고, 보유하는 차량의 각 모델마다 다른 콘텐츠 그룹을 생성할 수 있다. 자동차 딜러사에서 사용할 수 있는 콘텐츠 그룹 테마의 예로는 "Make A sports car" "Make B sports car", "Make C sedan", "Make C truck", "Make C hybrid" 또는 "Make D hybrid"가 있다. 예시적 콘텐츠 캠페인 테마는 "하이브리드"일 수 있고, 예를 들어 "Make C hybrid" 및 "Make D hybrid" 둘 모두에 대한 콘텐츠 그룹을 포함한다.
콘텐츠 제공자는 하나 이상의 키워드 및 디지털 컴포넌트 오브젝트를 각각의 콘텐츠 그룹에 제공할 수 있다. 키워드는 디지털 컴포넌트 오브젝트과 연관되거나 식별된 상품 또는 서비스와 관련된 용어를 포함할 수 있다. 키워드는 하나 이상의 용어 또는 문구를 포함할 수 있다. 예를 들어 자동차 딜러사는 콘텐츠 그룹 또는 콘텐츠 캠페인의 키워드로 '스포츠카', 'V-6 엔진', '사륜구동', '연비'를 포함할 수 있다. 일부 경우에, 제외 키워드가 콘텐츠 제공자에 의해 특정되어, 일정 용어 또는 키워드에 대한 콘텐츠 배치를 회피, 방지, 차단 또는 비활성화할 수 있다. 콘텐츠 제공자는 디지털 컴포넌트 오브젝트를 선택하는데 사용되는 매칭 유형(예: 완전 매치, 구문 매치 또는 확장 매치)을 특정할 수 있다.
콘텐츠 제공자는 콘텐츠 제공자에 의해 제공된 디지털 컴포넌트 오브젝트를 선택하기 위해 데이터 프로세싱 시스템(102)에 의해 사용될 하나 이상의 키워드를 제공할 수 있다. 콘텐츠 제공자는 입찰할 하나 이상의 키워드를 식별하고, 다양한 키워드에 대한 입찰 금액을 추가로 제공할 수 있다. 콘텐츠 제공자는 디지털 컴포넌트 오브젝트를 선택하기 위해 데이터 프로세싱 시스템(102)에 의해 사용될 추가적 콘텐츠 선택 기준을 제공할 수 있다. 다수의 콘텐츠 제공자는 동일하거나 상이한 키워드에 입찰할 수 있고, 데이터 프로세싱 시스템(102)은 전자 메시지의 키워드의 표시를 수신하는 것에 응답하여 콘텐츠 선택 프로세스 또는 광고 경매를 실행할 수 있다.
콘텐츠 제공자는 데이터 프로세싱 시스템(102)의 선택을 위한 하나 이상의 디지털 컴포넌트 오브젝트를 제공할 수 있다. 데이터 프로세싱 시스템(102)은 콘텐츠 배치 기회가 사용가능한 경우, 리소스 할당, 콘텐츠 스케줄, 최대 입찰, 키워드 및 콘텐츠 그룹에 대해 특정된 다른 선택 기준과 매칭되는 디지털 컴포넌트 오브젝트를 선택할 수 있다. 음성 디지털 컴포넌트, 오디오 디지털 컴포넌트, 텍스트 디지털 컴포넌트, 이미지 디지털 컴포넌트, 비디오 디지털 컴포넌트, 멀티미디어 디지털 컴포넌트 또는 디지털 컴포넌트 링크와 같은 상이한 유형의 디지털 컴포넌트 오브젝트가 콘텐츠 그룹에 포함될 수 있다. 디지털 컴포넌트 오브젝트(또는 디지털 컴포넌트)는 예를 들어 콘텐츠 아이템, 온라인 문서, 오디오, 이미지, 비디오, 멀티미디어 콘텐츠 또는 스폰서 콘텐츠를 포함할 수 있다. 디지털 컴포넌트를 선택하면, 데이터 프로세싱 시스템(102)은 컴퓨팅 디바이스(140) 또는 컴퓨팅 디바이스(140)의 디스플레이 디바이스(152) 상에 렌더링하기 위해 디지털 컴포넌트 오브젝트를 전송할 수 있다. 렌더링은 디스플레이 디바이스 상에 디지털 컴포넌트를 디스플레이하거나, 컴퓨팅 디바이스(140)의 스피커를 통해 디지털 컴포넌트를 재생하는 것을 포함할 수 있다. 데이터 프로세싱 시스템(102)은 디지털 컴포넌트 오브젝트를 렌더링하기 위해 컴퓨팅 디바이스(140)에 명령어를 제공할 수 있다. 데이터 프로세싱 시스템(102)은 컴퓨팅 디바이스(140) 또는 컴퓨팅 디바이스(140)의 오디오 드라이버(148)에게 오디오 신호 또는 음향 파장을 생성하도록 지시할 수 있다.
데이터 저장소(124)는 하나 이상의 로컬 또는 분산 데이터베이스를 포함할 수 있고, 데이터베이스 관리 시스템을 포함할 수 있다. 데이터 저장소(128)는 컴퓨터 데이터 저장 또는 메모리를 포함할 수 있고, 다른 데이터 중에서 애플리케이션("앱") 데이터(130), 점수(132), 히스토리 데이터(134), 파라미터(136) 또는 임계치(138) 중 하나 이상을 저장할 수 있다. 데이터 저장소(128)는 하나 이상의 데이터 구조, 데이터베이스, 데이터 파일, 인덱스 또는 데이터 저장소의 다른 유형에 애플리케이션("앱") 데이터(130), 점수(132), 히스토리 데이터(134), 파라미터(136) 또는 임계치(138) 중 하나 이상을 저장할 수 있다.
앱 데이터(130)는 애플리케이션에 대한 정보를 포함할 수 있다. 앱 데이터(130)는 애플리케이션 개발자 디바이스(160)가 제출한 애플리케이션에 대한 정보를 포함할 수 있다. 앱 데이터(130)는 애플리케이션과 연관된 메타데이터를 포함할 수 있다. 앱 데이터(130)는 예를 들어, 애플리케이션의 제목, 간단한 설명, 상세 설명, 버전 식별자, 엔터티, 액션, 의도, 호환성 정보, 크기, 애플리케이션의 유형, 애플리케이션의 카테고리 등을 포함할 수 있다. 앱 데이터(130)는 영숫자 식별자와 같은 애플리케이션의 고유 식별자를 포함할 수 있다. 앱 데이터(130)는 애플리케이션을 제공하거나 제출한 애플리케이션 개발자에 대한 정보를 포함할 수 있다.
점수(132)는 애플리케이션의 분류 점수를 참조할 수 있다. 점수(132)는 애플리케이션에 대한 제1 분류 점수, 제2 분류 점수, 제3 분류 점수 또는 조합된 분류 점수를 포함할 수 있다. 데이터 프로세싱 시스템(102)은 하나 이상의 점수를 결정하기 위해 애플리케이션을 리뷰하거나 프로세싱할 수 있고, 점수(132) 데이터 구조에 애플리케이션에 대한 점수를 저장할 수 있다. 점수는 숫자, 영숫자, 문자 등급, 순위, 기호, 텍스트, 바이너리 등일 수 있으며, 애플리케이션의 리뷰 프로세스의 결과의 표시를 제공할 수 있다. 예를 들어, 점수는 0에서 100 사이의 숫자 점수를 포함할 수 있고, 여기서 0은 가장 낮은 레벨 또는 사기 가능성을 나타내고 100은 가장 높은 레벨 또는 사기 가능성을 나타낸다. 점수는 애플리케이션이 리뷰 프로세스를 통과했는지 여부를 나타낼 수 있다. 예를 들어 100점은 애플리케이션이 리뷰 프로세스를 통과했음을 나타내는 반면 0점은 애플리케이션이 리뷰 프로세스를 통과하지 못했음을 나타낼 수 있다. 점수는 "A", "B", "C", "D" 또는 "F"와 같은 문자 등급일 수 있으며, A의 문자 등급은 애플리케이션이 리뷰 프로세스를 통과했음을 나타낼 수 있으며 문자 F 등급은 애플리케이션이 리뷰 프로세스에 실패했음을 나타냅니다. 점수는 "패스" 또는 "페일"과 같은 키워드 또는 텍스트일 수 있다. 점수는 "0" 또는 "1"과 같은 이진수일 수 있다.
히스토리 데이터(134)는 애플리케이션과 관련된 데이터를 포함할 수 있다. 히스토리 데이터(134)는 애플리케이션의 실행 또는 사용과 관련된 데이터를 포함할 수 있다. 히스토리 데이터(134)는 클라이언트 컴퓨팅 디바이스(140)에 의한 애플리케이션의 이전 사용 또는 실행과 관련된 데이터를 포함할 수 있다. 히스토리 데이터(134)는 애플리케이션의 이전 사용 또는 실행과 관련된 피드백을 포함할 수 있다. 예를 들어, 클라이언트 컴퓨팅 디바이스(140)는 애플리케이션을 실행할 수 있다. 클라이언트 컴퓨팅 디바이스(140)는 클라이언트 컴퓨팅 디바이스(140)에서 실행되는 모니터 또는 에이전트를 포함할 수 있으며, 이는 원격 프로시저 호출의 수, 애플리케이션에 대한 반복된 요청, 오류 응답의 표시 또는 애플리케이션에 의해 제공된 콘텐츠 데이터 또는 애플리케이션에 의해 제공된 사기성 또는 오해의 소지가 있는 콘텐츠 데이터 또는 응답의 표시와 같은 애플리케이션과 관련된 양태를 식별할 수 있다. 클라이언트 컴퓨팅 디바이스(140)는 애플리케이션의 실행에 관한 사용자로부터 피드백을 제공할 수 있다. 예를 들어, 클라이언트 컴퓨팅 디바이스(140)는 애플리케이션이 만족스러운 응답을 제공했는지 또는 요청된 또는 원하는 액션을 수행했는지에 대한 프롬프트를 애플리케이션의 사용자에게 제공할 수 있다. 예를 들어 프롬프트는 "애플리케이션_A가 요청된 액션을 만족스럽게 수행했습니까?"를 포함할 수 있다. 히스토리 데이터(134)는 클라이언트 컴퓨팅 디바이스(140)에서 실행되는 모니터 또는 에이전트로부터의 그러한 피드백뿐만 아니라 클라이언트 컴퓨팅 디바이스(140) 또는 애플리케이션의 사용자에 의해 제공되는 프롬프트 또는 설문 조사에 대한 피드백을 포함하거나 저장할 수 있다.
데이터 저장소(128)는 파라미터(136)를 저장할 수 있다. 파라미터(136)는 파라미터 데이터 구조를 참조하거나 포함할 수 있다. 파라미터(136)은 전달 제어 파라미터를 참조하거나 포함할 수 있다. 전달 제어 파라미터는 애플리케이션 전달 서버(110)가 애플리케이션 전달, 애플리케이션 전달 차단, 애플리케이션 액션 승인, 애플리케이션 액션 비활성화 등을 유발할 수 있는 파라미터이다. 데이터 프로세싱 시스템(102)에 의해 리뷰 또는 프로세싱된 각 애플리케이션은 전달 제어 파라미터와 연관될 수 있다. 전달 제어 파라미터는 명령어, 숫자 파라미터, 영숫자 값, 플래그, 태그 또는 애플리케이션이 클라이언트 컴퓨팅 디바이스(140)에 전달되는지 여부 또는 방법을 애플리케이션 전달 서버(110)가 조정하게 할 수 있는 다른 표시자일 수 있다.
데이터 저장소(128)는 임계치(138)를 포함하거나 저장할 수 있다. 임계치(138)는 임계치 데이터 구조를 참조하거나 포함할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션이 분류를 통과하는지 실패하는지를 결정하기 위해 애플리케이션의 점수(132)(예를 들어, 분류 점수)를 임계치(138)와 비교할 수 있다. 임계치(138)는 각각의 분류 유형에 대해 동일하거나 상이할 수 있다. 임계치(138)는 절대 임계치(예를 들어, 절대값 또는 고정값), 백분율 임계치, 비율 임계치일 수 있다. 임계치(138)는 애플리케이션과 연관된 메타 데이터에 기초하여 변할 수 있는 동적 임계치일 수 있다. 임계치(138)는 피드백, 실시간 정보 또는 다른 요인에 기초하여 변할 수 있다. 임계치(138)는 애플리케이션의 유형 또는 애플리케이션의 버전(예를 들어, 제출되는 새로운 애플리케이션 또는 애플리케이션의 새로운 버전)에 기초하여 변할 수 있다. 임계치(138)는 특정 애플리케이션에 대해 설정될 수 있으며, 예를 들어 애플리케이션이 설치된 횟수에 따라 달라질 수 있다(예: 다운로드 횟수가 높으면 사기성이거나 잘못된 콘텐츠를 제공할 가능성이 적다는 것을 표시할 수 있으므로 다운로드 횟수가 100,000회를 초과하는 애플리케이션에 대해 임계치가 낮음). 일부 경우에, 임계치는 다운로드 카운트가 높은 애플리케이션에 대해 더 높을 수 있으므로, 데이터 프로세싱 시스템(102)은 많은 수의 잘못된 응답 또는 낭비되는 원격 프로시저 호출 또는 다른 컴퓨팅 리소스 사용을 방지할 수 있다.
데이터 프로세싱 시스템(102)은 예를 들어 데이터 패킷을 사용하여 정보를 수신 및 전송하도록 설계, 구성 또는 동작하는 인터페이스(104)(또는 인터페이스 컴포넌트)를 포함할 수 있다. 인터페이스(104)는 네트워크 프로토콜과 같은 하나 이상의 프로토콜을 사용하여 정보를 수신 및 전송할 수 있다. 인터페이스(104)는 하드웨어 인터페이스, 소프트웨어 인터페이스, 유선 인터페이스 또는 무선 인터페이스를 포함할 수 있다. 인터페이스(104)는 한 포맷에서 다른 포맷으로 데이터를 변환하거나 포맷하는 것을 용이하게 할 수 있다. 예를 들어, 인터페이스(104)는 소프트웨어 컴포넌트와 같은 다양한 컴포넌트들 사이에서 통신하기 위한 정의를 포함하는 애플리케이션 프로그래밍 인터페이스를 포함할 수 있다. 인터페이스(104)는 네트워크(105)를 통해 클라이언트 컴퓨팅 디바이스(140), 애플리케이션 개발자 디바이스(160) 또는 서드파티 디바이스(162) 중 하나 이상과 통신할 수 있다.
데이터 프로세싱 시스템(102)은 입력 오디오 신호를 데이터 프로세싱 시스템(102)의 인터페이스(104)에 통신하고 로컬 클라이언트 컴퓨팅 디바이스의 컴포넌트를 출력 오디오 신호를 렌더링하기 위해 구동하기 위한 앱과 같은 클라이언트 컴퓨팅 디바이스(140)에 설치된 애플리케이션, 스크립트 또는 프로그램과 인터페이스할 수 있다. 데이터 프로세싱 시스템(102)은 데이터 패킷, 또는 오디오 입력 신호를 포함하거나 식별하는 다른 신호를 수신할 수 있다.
데이터 프로세싱 시스템(102)은 자연어 프로세서("NLP") 컴포넌트(106)를 포함할 수 있다. 예를 들면, 데이터 프로세싱 시스템(102)은 NLP 컴포넌트(106)를 실행하여 오디오 신호를 수신 또는 획득하고 오디오 신호를 파싱할 수 있다. 예를 들어, NLP 컴포넌트(106)는 인간과 컴퓨터 간의 인터렉션들을 제공할 수 있다. NLP 컴포넌트(106)는 자연어를 이해하고 데이터 프로세싱 시스템(102)이 인간 또는 자연어 입력으로부터 의미를 도출하도록 하는 기법으로 구성될 수 있다. NLP 컴포넌트(106)는 통계적 기계 학습과 같은 기계 학습에 기초한 기법을 포함하거나 그러한 기법으로 구성될 수 있다. NLP 컴포넌트(106)는 입력 오디오 신호를 파싱하기 위해 디시전 트리, 통계 모델 또는 확률 모델을 이용할 수 있다. NLP 컴포넌트(106)는 기능들을 포함할 수 있고, 상기 기능들은 명명된 엔터티 인식(예: 주어진 텍스트의 스트림, 사람들 또는 장소들과 같은 적절한 이름에 대한 텍스트 맵의 아이템 결정, 상기 각 이름이 어떤 유형인지 예를 들어, 사람, 위치 또는 조직, 자연어 생성(예: 컴퓨터 데이터베이스로부터의 정보 또는 의미론적 의도를 이해가능한 인간 언어로 변환), 자연어 이해(예: 컴퓨터 모듈이 조작할 수 있는 텍스트를 제1 순서 로직 구조와 같은 더 형식적인 표현으로 변환), 기계 번역(예: 텍스트를 하나의 인간 언어로부터 다른 언어로 자동적으로 번역), 형태학적 세그먼트화(예: 단어를 개별 형태소로 분리하고 형태소의 클래스를 식별, 이는 고려되고 있는 언어의 단어의 형태론 또는 구조의 복잡도에 따라 어려울 수 있음), 질문에 답변(예: 특정적이거나 개방적일 수 있는 인간-언어 질문에 대한 답을 결정) 또는 의미론 프로세싱(예: 식별된 단어를 유사한 의미의 다른 단어와 관련시키기 위해 단어를 식별하고 그것의 의미를 인코딩한 후에 발생할 수 있는 프로세싱)을 포함한다.
NLP 컴포넌트(106)는 입력 신호를(예를 들어, 데이터 저장소(128)에) 저장된 대표적인 오디오 파형 세트와 비교하고 가장 근접한 매칭을 선택함으로써, 오디오 입력 신호를 인식된 텍스트로 변환할 수 있다. 오디오 파형 세트는 데이터 저장소(128) 또는 데이터 프로세싱 시스템(102)이 액세스 가능한 다른 데이터베이스에 저장될 수 있다. 대표적인 파형은 다수의 사용자 세트에 걸쳐 생성된 후, 사용자로부터의 음성 샘플로 보강될 수 있다. 오디오 신호가 인식된 텍스트로 변환된 후, NLP 컴포넌트(106)는 예를 들어, 데이터 프로세싱 시스템(102)이 제공할 수 있는 동작과 함께, 예를 들어 사용자를 통한 트레이닝 또는 수동 스펙을 통해 연관된 단어에 텍스트를 매칭한다. NLP 컴포넌트(106)의 양태 또는 기능은 데이터 프로세싱 시스템(102) 또는 클라이언트 컴퓨팅 디바이스(140)에 의해 수행될 수 있다. 예를 들어, 로컬 NLP 컴포넌트는 클라이언트 컴퓨팅 디바이스(140)에서 실행되어 입력 오디오 신호를 텍스트로 변환하고 추가 자연어 프로세싱을 위해 데이터 패킷을 통해 텍스트를 데이터 프로세싱 시스템(102)에 전송하는 양태를 수행할 수 있다.
오디오 입력 신호는 클라이언트 컴퓨팅 디바이스(140)의 센서(144) 또는 트랜스듀서(146)(예를 들어, 마이크로폰)에 의해 검출될 수 있다. 트랜스듀서(146), 오디오 드라이버(148) 또는 다른 컴포넌트를 통해, 클라이언트 컴퓨팅 디바이스(140)는 오디오 입력 신호를(예를 들어, 네트워크(105)를 통해) 데이터 프로세싱 시스템(102)에 제공할 수 있고, 데이터 프로세싱 시스템(102)에서 상기 오디오 입력 신호가(예를 들어, 인터페이스(104)에 의해) 수신될 수 있고, NLP 컴포넌트(106)에 제공되거나 데이터 저장소(128)에 저장된다.
클라이언트 컴퓨팅 디바이스(140)는 오디오 드라이버(148), 트랜스듀서(146), 센서(144) 및 프리-프로세서 컴포넌트(150)를 포함할 수 있다. 센서(144)는 입력 오디오 신호(예를 들어, 음성 입력)를 수신하거나 검출할 수 있다. 프리-프로세서 컴포넌트(150)는 오디오 드라이버, 트랜스듀서 및 센서에 연결될 수 있다. 프리-프로세서 컴포넌트(150)는 입력 오디오 신호를 필터링하여 필터링된 입력 오디오 신호를 생성할 수 있다(예: 특정 주파수를 제거 또는 노이즈를 억제함으로써). 프리-프로세서 컴포넌트(150)는 필터링된 입력 오디오 신호를 데이터 패킷으로 변환할 수 있다(예를 들어, 소프트웨어 또는 하드웨어 디지털-아날로그 변환기를 사용하여). 일부 경우에, 프리-프로세서 컴포넌트(150)는 필터링되지 않은 입력 오디오 신호를 데이터 패킷으로 변환하고 데이터 패킷을 데이터 프로세싱 시스템(102)에 전송할 수 있다. 프리-프로세서 컴포넌트(150)는 자연어 프로세서 컴포넌트, 인터페이스, 음성 인식 컴포넌트 및 다이렉트 액션 애플리케이션 프로그래밍 인터페이스를 실행하는 데이터 패킷을 하나 이상의 프로세서들 및 메모리를 포함하는 데이터 프로세싱 시스템(102)에 전송할 수 있다.
데이터 프로세싱 시스템(102)은 센서에 의해 검출된 필터링된(또는 필터링되지 않은) 입력 오디오 신호를 포함하는 데이터 패킷을 인터페이스를 통해 프리-프로세서 컴포넌트로부터 수신할 수 있다. 데이터 프로세싱 시스템(102)은 입력 오디오 신호로부터 음향 신호를 식별할 수 있다. 데이터 프로세싱 시스템(102)은 데이터 저장소에서의 검색(예를 들어, 데이터베이스 쿼리)에 기초하여 음향 서명에 대응하는 전자 계정을 식별할 수 있다. 데이터 프로세싱 시스템(102)은 전자 계정의 식별에 응답하여 세션에서 사용하기 위한 세션 및 계정을 설정할 수 있다. 계정은 하나 이상의 정책이 있는 프로필을 포함할 수 있다. 데이터 프로세싱 시스템(102)은 입력 오디오 신호를 파싱하여 요청 및 요청에 대응하는 트리거 키워드를 식별할 수 있다.
데이터 프로세싱 시스템(102)은 상태를 클라이언트 컴퓨팅 디바이스(140)의 프리-프로세서 컴포넌트(150)에 제공할 수 있다. 클라이언트 컴퓨팅 디바이스(140)는 상태의 표시를 수신할 수 있다. 오디오 드라이버는 프로필 상태 표시를 수신하고, 표시에 기초하여 출력 신호를 생성할 수 있다. 오디오 드라이버는 표시를 사운드 신호 또는 음향 출력 신호와 같은 출력 신호로 변환할 수 있다. 오디오 드라이버는 트랜스듀서(146)(예를 들어, 스피커)를 구동하여 오디오 드라이브에 의해 생성된 출력 신호에 기초하여 사운드를 생성할 수 있다.
일부 구현예에서, 사용자 컴퓨팅 디바이스(140)는 광원(142)을 포함할 수 있다. 광원은 하나 이상의 LED, 조명, 디스플레이 또는 광학 또는 시각적 출력을 제공하도록 구성된 기타 컴포넌트 또는 디바이스를 포함할 수 있다. 프리-프로세서 컴포넌트(150)는 광원이 상태에 대응하는 시각적 표시를 제공하게 할 수 있다. 예를 들어, 시각적 표시는 켜지는 상태 표시등, 조명의 색상 변경, 하나 이상의 색상이 있는 조명 패턴 또는 텍스트 또는 이미지의 시각적 디스플레이일 수 있다.
NLP 컴포넌트(106)는 입력 오디오 신호를 획득할 수 있다. 입력 오디오 신호로부터, NLP 컴포넌트(106)는 요청에 대응하는 적어도 하나의 요청 또는 적어도 하나의 트리거 키워드를 식별할 수 있다. 요청은 입력 오디오 신호의 의도 또는 주제를 표시할 수 있다. 트리거 키워드는 취해질 수 있는 액션의 유형을 표시할 수 있다. 트리거 키워드는 클라이언트 컴퓨팅 디바이스(140)에 후속 오디오 입력을 텍스트로 변환하고 추가 프로세싱을 위해 텍스트를 데이터 프로세싱 시스템(102)에 전송하도록 지시하는 웨이크업 신호 또는 핫워드일 수 있다. 예를 들어, NLP 컴포넌트(106)는 저녁에 저녁 식사 및 영화 관람을 위해 동안 집을 떠나는 적어도 하나의 요청을 식별하기 위해 입력 오디오 신호를 파싱할 수 있다. 트리거 키워드는 적어도 하나의 단어, 문구, 어근 또는 부분 단어 또는 취해질 액션을 표시하는 파생어를 포함할 수 있다. 예를 들어, 입력 오디오 신호에서 트리거 키워드 "go" 또는 "to go to"는 전송 필요성을 표시할 수 있다. 이 예에서, 입력 오디오 신호(또는 식별된 요청)는 전송 의도를 직접 표현하지 않지만, 트리거 키워드는 전송이 요청에 의해 표시되는 적어도 하나의 다른 액션에 대한 보조 액션임을 표시한다.
NLP 컴포넌트(106)는 입력 오디오 신호를 파싱하여, 요청 및 트리거 키워드를 식별, 결정, 검색 또는 획득할 수 있다. 예를 들어, NLP 컴포넌트(106)는 트리거 키워드 또는 요청을 식별하기 위해 의미론 프로세싱 기법을 입력 오디오 신호에 적용할 수 있다. NLP 컴포넌트(106)는 의미론 프로세싱 기법을 입력 오디오 신호에 적용하여, 제1 트리거 키워드 및 제2 트리거 키워드와 같은 하나 이상의 트리거 키워드를 포함하는 트리거 문구를 식별할 수 있다. 예를 들어, 입력 오디오 신호는 "I want a ride to the airport"라는 문장을 포함할 수 있다. NLP 컴포넌트(106)는 시맨틱 프로세싱 기법 또는 다른 자연어 프로세싱 기법을 문장을 포함하는 데이터 패킷에 적용하여, 요청 또는 트리거 문구 "want a ride" 및 "airport"를 식별할 수 있다. NLP 컴포넌트(106)는 want, ride와 같은 다수의 트리거 키워드를 추가로 식별할 수 있다. 예를 들어, NLP 컴포넌트(106)는 트리거 문구가 트리거 키워드 및 제2 트리거 키워드를 포함한다고 결정할 수 있다.
NLP 컴포넌트(106)는 트리거 키워드를 식별하기 위해 입력 오디오 신호를 필터링할 수 있다. 예를 들어, 입력 오디오 신호를 운반하는 데이터 패킷은 "나를 공항에 데려가 줄 누군가가 있으면 좋겠다(It would be great if I could get someone that could help me go to the airport)"를 포함할 수 있으며, 이 경우 NLP 컴포넌트(106)는 다음과 같은 하나 이상의 용어를 필터링할 수 있다. “”, “”“”“”“”“”“”“”“”“”“”또는 “”이러한 용어를 필터링함으로써, NLP 컴포넌트(106)는 "공항에 가자"와 같은 트리거 키워드를 보다 정확하고 신뢰성 있게 식별하고, 이것이 택시 또는 승차 공유 서비스에 대한 요청이라고 결정할 수 있다.
일부 경우에, NLP 컴포넌트(106)는 입력 오디오 신호를 운반하는 데이터 패킷이 하나 이상의 요청을 포함한다고 결정할 수 있다. 예를 들어, 입력 오디오 신호는 “want to purchase an audiobook and monthly subscription to movies”라는 문장을 포함할 수 있다. NLP 컴포넌트(106)는 이것이 오디오북과 스트리밍 멀티미디어 서비스에 대한 요청임을 결정할 수 있다. NLP 컴포넌트(106)는 이것이 단일 요청 또는 다중 요청임을 결정할 수 있다. NLP 컴포넌트(106)는 이것이 2개의 요청; 오디오북을 제공하는 서비스 제공자에 대한 제1 요청과 영화 스트리밍을 제공하는 서비스 제공자에 대한 제2 요청인 것으로 결정할 수 있다. 일부 경우에, NLP 컴포넌트(106)는 다수의 결정된 요청들을 단일 요청으로 결합하고, 단일 요청을 서드 파티 디바이스(162)에 전송할 수 있다. 일부 경우에, NLP 컴포넌트(106)는 개별 요청들을 다른 서비스 제공자 디바이스에 전송하거나 또는 두 요청들을 동일한 서드 파티 디바이스(162)에 개별적으로 전송할 수 있다.
데이터 프로세싱 시스템(102)은 트리거 키워드에 기초하여, 요청에 응답하는 액션 데이터 구조를 생성하도록 설계되고 구성된 다이렉트 액션 API(108)를 포함할 수 있다. 다이렉트 액션 API(108)는 애플리케이션이 대응하는 액션을 수행하게 하는 액션 데이터 구조를 생성할 수 있다. 다이렉트 액션 API(108)는 클라이언트 컴퓨팅 디바이스(140)에 설치된 애플리케이션에 액션 데이터 구조를 전송하여, 클라이언트 컴퓨팅 디바이스(140)가 대응하는 액션을 수행하거나 액션을 개시하게 할 수 있다. 다이렉트 액션 API(108)에 의해 생성된 액션 데이터 구조는 클라이언트 컴퓨팅 디바이스(140)에 설치된 애플리케이션에 대한 딥 링크를 포함할 수 있다. 클라이언트 컴퓨팅 디바이스(140)에 설치된 애플리케이션은 그 후 액션을 수행하거나 액션을 수행하기 위해 애플리케이션 개발자 디바이스(160) 또는 서드파티 디바이스(162)와 통신할 수 있다.
데이터 프로세싱 시스템(102)의 프로세서는 다이렉트 액션 API(108)를 호출하여 디지털 컴포넌트를 획득하고, 차량 공유 서비스로부터의 차량 또는 오디오북과 같은 서비스 또는 제품을 주문하기 위해 클라이언트 컴퓨팅 디바이스(140)에서 실행되는 애플리케이션, 애플리케이션 개발자 디바이스(160) 또는 서드파티 디바이스(162) 또는 기타 서비스 제공자에 제공하기 위한 데이터 구조를 생성하는 스크립트를 실행할 수 있다. 다이렉트 액션 API(108)는 데이터 저장소(128)로부터 데이터를 획득할 수 있을 뿐만 아니라, 클라이언트 컴퓨팅 디바이스(140)로부터 최종 사용자 동의로 수신된 데이터를 획득하여, 서드 파티 디바이스(162)로 하여금 차량 공유 서비스로부터 차량을 예약하는 것과 같은 동작을 수행하게 하기 위한 위치, 시간, 사용자 계정, 물류 또는 기타 정보를 결정한다. 다이렉트 액션 API(108)를 사용하여, 데이터 프로세싱 시스템(102)은 또한 이 예에서 차량 공유 픽업 예약을 함으로써 컨버전을 완료하기 위해 서드 파티 디바이스(162)와 통신할 수 있다.
다이렉트 액션 API(108)는 데이터 프로세싱 시스템(102)에 의해 결정된 바와 같이 최종 사용자의 의도를 만족시키기 위해 지정된 액션을 실행할 수 있다. 입력에 지정된 액션과 데이터 저장소(128)의 파라미터 또는 규칙에 따라, 다이렉트 액션 API(108)는 사용자 요청을 이행하는데 필요한 파라미터를 식별하는 코드 또는 대화 스크립트를 실행할 수 있다. 다이렉트 액션 API(108)는 최종 사용자의 의도를 만족시키거나 이행하기 위해 애플리케이션을 실행할 수 있다. 이러한 코드는 예를 들어, 홈 자동화 서비스의 이름 또는 서드 파티 서비스와 같은 추가 정보를 데이터 저장소(128)에서 조회할 수 있거나, 또는 최종 사용자에게 요청된 택시의 의도된 목적지와 같은 질문을 하도록 요청하기 위해 클라이언트 컴퓨팅 디바이스(140)에서 렌더링하기 위한 오디오 출력을 제공할 수 있다. 다이렉트 액션 API(108)는 파라미터를 결정하고, 정보를 액션 데이터 구조로 패키징할 수 있으며, 이는 이행될 애플리케이션 전달 서버(110)와 같은 다른 컴포넌트에 전송될 수 있다.
다이렉트 액션 API(108)는 액션 데이터 구조를 생성 또는 구성하기 위해 NLP 컴포넌트(106) 또는 데이터 프로세싱 시스템(102)의 다른 컴포넌트로부터 명령어 또는 명령을 수신할 수 있다. 다이렉트 액션 API(108)는 데이터 저장소(128)에 저장된 템플릿을 선택하기 위해 액션의 유형을 결정할 수 있다. 액션은 애플리케이션 전달 서버(110)에 의해 제공되고 애플리케이션 개발자 디바이스(160)에 의해 제출되는 애플리케이션에 의해 수행될 수 있다. 애플리케이션은 액션을 수행하거나 수행을 용이하게 할 수 있다. 액션의 유형의 예는 보기 액션, 듣기 액션, 읽기 액션, 탐색 액션 또는 날씨 액션을 포함할 수 있다. 액션 유형은 예를 들어 서비스, 제품, 예약, 티켓, 멀티미디어 콘텐츠, 오디오북, 구독 관리, 구독 조정, 디지털 통화 전송, 구매 또는 음악을 포함하거나 제공하도록 구성될 수 있다. 액션의 유형은 서비스 또는 제품 유형을 추가로 포함할 수 있다. 예를 들어, 서비스 유형은 차량 공유 서비스, 음식 배달 서비스, 세탁 서비스, 가정부 서비스, 수리 서비스, 가사 서비스, 디바이스 자동화 서비스 또는 미디어 스트리밍 서비스를 포함할 수 있다. 제품의 유형은 예를 들어 옷, 신발, 장난감, 전자 제품, 컴퓨터, 서적 또는 보석류를 포함할 수 있다. 예약 유형은 저녁 예약 또는 미용실 예약 등을 포함할 수 있다. 티켓 유형은 예를 들어 영화 티켓, 스포츠 경기장 티켓 또는 항공권을 포함할 수 있다. 일부 경우에, 서비스, 제품, 예약 또는 티켓의 유형은 가격, 위치, 배송 유형, 가용성 또는 기타 속성에 따라 분류될 수 있다.
NLP 컴포넌트(106)는 입력 오디오 신호를 파싱하여 요청 및 요청에 대응하는 트리거 키워드를 식별하고, 요청 및 트리거 키워드를 다이렉트 액션 API(108)에 제공하여 다이렉트 액션 API로 하여금 트리거 키워드에 기초하여, 요청에 응답하여 액션 데이터 구조를 생성하게 할 수 있다. 요청의 유형을 식별함에 따라, 다이렉트 액션 API(108)는 템플릿 저장소(예: 데이터 저장소(128))로부터 대응하는 템플릿에 액세스할 수 있다. 템플릿은 클라이언트 컴퓨팅 디바이스(104)에 의해 검출된 입력 오디오를 통해 요청된 동작을 추가로 수행하기 위해(예: 픽업 장소에서 최종 사용자를 픽업하고 최종 사용자를 목적지 위치로 운송하기 위해 택시를 보내는 것) 다이렉트 액션 API(108)에 의해 채워질 수 있는 구조화된 데이터 세트의 필드를 포함할 수 있다. 다이렉트 액션 API(108) 또는 클라이언트 컴퓨팅 디바이스(140)는 입력 오디오에서 요청을 이행하기 위해 애플리케이션을 런칭하거나 트리거할 수 있다. 예를 들면, 차량 공유 서비스 애플리케이션은 디바이스 식별자, 픽업 위치, 목적지 위치, 승객 수 또는 서비스 유형 중 하나 이상의 필드를 포함할 수 있다. 다이렉트 액션 API(108)는 필드를 값으로 채울 수 있다. 필드를 값으로 채우기 위해, 다이렉트 액션 API(108)는 컴퓨팅 디바이스(104)의 하나 이상의 센서(144) 또는 디바이스(104)의 사용자 인터페이스로부터 정보를 핑, 폴링 또는 획득할 수 있다. 예를 들어, 다이렉트 액션 API(108)는 GPS 센서와 같은 위치 센서를 사용하여 소스 위치를 검출할 수 있다. 다이렉트 액션 API(108)는 컴퓨팅 디바이스(140)의 최종 사용자에게 설문, 프롬프트 또는 질의를 제출함으로써 추가 정보를 얻을 수 있다. 다이렉트 액션 API는 데이터 프로세싱 시스템(102)의 인터페이스(104) 및 컴퓨팅 디바이스(140)의 사용자 인터페이스(예를 들어, 오디오 인터페이스, 음성 기반 사용자 인터페이스, 디스플레이 또는 터치)를 통해 설문, 프롬프트 또는 질의를 제출할 수 있다. 따라서, 다이렉트 액션 API(108)는 트리거 키워드 또는 요청에 기초하여 액션 데이터 구조에 대한 템플릿을 선택할 수 있고, 템플릿 내의 하나 이상의 필드를 하나 이상의 센서(144)에 의해 검출되거나 사용자 인터페이스를 통해 획득된 정보로 채울 수 있고, 서드 파티 디바이스(162)에 의한 동작의 수행을 용이하게 하기 위해 액션 데이터 구조를 생성 또는 구성할 수 있다.
데이터 프로세싱 시스템(102)은 애플리케이션 전달 서버(110)를 포함하거나, 그와 인터페이싱하거나 또는 액세스할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션 전달 서버(110)를 포함할 수 있다. 애플리케이션 전달 서버(110)는 데이터 프로세싱 시스템(102)과 별개일 수 있다. 예를 들어, 애플리케이션 전달 서버(110)는 데이터 프로세싱 시스템(102)과 별개의 시스템 또는 서버일 수 있다. 데이터 프로세싱 시스템(102)은 네트워크(105)를 통해 애플리케이션 전달 서버(110)와 통신할 수 있다.
애플리케이션 전달 서버(110)는 애플리케이션 개발자 디바이스(160)가 제출한 애플리케이션을 수신할 수 있다. 애플리케이션 전달 서버(110)는 애플리케이션의 하나 이상의 버전을 유지할 수 있다. 데이터 프로세싱 시스템(110)은 애플리케이션을 클라이언트 컴퓨팅 디바이스(140)에 전송할 수 있다. 애플리케이션 전달 서버(110)는 클라이언트 컴퓨팅 디바이스(140)에 애플리케이션을 다운로드할 수 있다. 애플리케이션 전달 서버(110)는 온라인 애플리케이션 스토어 또는 마켓 플레이스를 유지할 수 있다. 애플리케이션 전달 서버(110)는 애플리케이션 개발자 디바이스(160) 또는 클라이언트 컴퓨팅 디바이스(140)에 대한 계정을 관리하거나 유지할 수 있다. 애플리케이션 전달 서버(110)는 계정에 대한 프로필을 유지할 수 있다. 계정 또는 프로필은 고유 식별자와 연관될 수 있다. 계정은 애플리케이션을 구매하거나 구독하는데 사용할 수 있는 금융 계정 또는 토큰 계정을 포함할 수 있다. 애플리케이션 전달 서버(110)는 전자 금융 계정과 같은 전자 계정 정보를 제공함으로써 클라이언트 컴퓨팅 디바이스(140)의 사용자에게 애플리케이션에 대한 결제를 프롬프트할 수 있다.
애플리케이션 전달 서버(110)는 클라이언트 컴퓨팅 디바이스(140) 또는 애플리케이션 개발자 디바이스(160)의 계정에 대한 인증 및 승인 서비스를 제공할 수 있다. 예를 들어, 애플리케이션 전달 서버(110)는 애플리케이션의 제출 전에 애플리케이션 개발자 디바이스(160)를 인증하고 승인할 수 있다. 애플리케이션 전달 서버(110)는 클라이언트 컴퓨팅 디바이스(140)가 애플리케이션을 다운로드하도록 허용하기 전에 클라이언트 컴퓨팅 디바이스(140)를 인증하고 승인할 수 있다.
데이터 프로세싱 시스템(102)(예를 들어, 애플리케이션 전달 서버(110)을 통해)은 애플리케이션 개발자 디바이스(160)에 의해 제출된 애플리케이션을 수신할 수 있다. 데이터 프로세싱 시스템(102)은 새로운 애플리케이션 또는 이전에 제출된 애플리케이션의 업데이트된 버전을 수신할 수 있다. 애플리케이션은 하나 이상의 액션 또는 의도와 연관될 수 있다. 액션은 메시징 객체를 참조할 수 있다. 메시징 객체는 액션으로 구성될 수 있다. 애플리케이션 개발자(160)는 애플리케이션이 액션을 이행하거나 액션을 수행하게 하기 위해 메시징 객체 및 액션으로 애플리케이션을 설정할 수 있다. 액션은 의도를 참조할 수 있다. 액션은 엔터티에 대해 수행될 수 있다. 엔터티 인벤토리에 대한 액션을 수행하도록 애플리케이션이 구성될 수 있다. 예를 들어, 액션은 "노래를 재생해"를 참조할 수 있으며, 엔터티는 특정 노래일 수 있다. 애플리케이션은 음악 스트리밍 서비스용일 수 있으며, 아티스트의 노래 재생 요청을 수행하도록 구성할 수 있다.
데이터 프로세싱 시스템(102)은 애플리케이션과 연관된 데이터 파일을 수신할 수 있다. 데이터 파일은 애플리케이션에 대해 애플리케이션 개발자 디바이스(160)에 의해 설정된 다수의 액션을 포함할 수 있다. 애플리케이션 개발자 디바이스(160)는 데이터 프로세싱 시스템(102)에 애플리케이션 제출과 함께 데이터 파일을 제공할 수 있다. 데이터 파일은 마크업 언어, 메타 언어, 커스텀 마크업 언어, XML, 텍스트 또는 기타 포맷과 같은 포맷일 수 있다.
데이터 파일은 애플리케이션이 수행하거나 이행하도록 구성된 액션을 나타낼 수 있다. 데이터 파일은 애플리케이션이 액션을 수행하도록 구성되어 있거나 사용자의 요청 또는 원하는 의도를 이행하기 위해 액세스하도록 구성된 엔터티의 인벤토리 표시를 제공할 수 있다. 엔터티의 인벤토리는 데이터 파일의 목록으로 제공될 수 있다. 데이터 파일은 포인터, 참조, 단일 리소스 로케이터 또는 데이터 저장소 또는 엔터티를 가리키는 기타 표시자를 포함할 수 있다. 일부 경우에, 데이터 프로세싱 시스템(102)은 엔터티들을 포함하는 웹페이지에 대한 링크에 액세스할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션에 액세스가능한 엔터티를 식별하기 위해 웹페이지를 파싱하거나 프로세싱할 수 있다.
데이터 프로세싱 시스템(102)은 애플리케이션에 대한 디버깅 프로세스를 수행할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션에 대한 리뷰 프로세스를 수행할 수 있다. 데이터 프로세싱 시스템(102)은 이벤트, 트리거 조건, 요청 또는 명령에 응답하여 리뷰 또는 디버깅 프로세스를 수행할 수 있다. 데이터 프로세싱 시스템(102)은 시간 간격(예를 들어, 주기적으로 6시간, 12시간, 24시간, 48시간, 1주, 30일 또는 다른 시간 간격마다)에 기초하여 디버깅 또는 리뷰 프로세스를 수행할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션의 다운로드 횟수(예를 들어, 100회 다운로드, 500회 다운로드, 1,000회 다운로드, 5,000회 다운로드, 10,000회 다운로드 또는 일부 다른 다운로드 횟수)에 기초하여 디버깅 또는 리뷰 프로세스를 수행할 수 있다. 데이터 프로세싱 시스템(102)은 부정적인 사용자 피드백 또는 부정적인 평가 또는 애플리케이션의 부정적인 리뷰에 응답하여 디버깅 또는 리뷰 프로세스를 수행할 수 있다. 데이터 프로세싱 시스템(102)은 리뷰 프로세스를 수행하기위 한 사용자의 요청에 응답하여 디버깅 또는 리뷰 프로세스를 수행할 수 있다.
데이터 프로세싱 시스템(102)은 새로운 애플리케이션 또는 애플리케이션에 대한 업데이트 수신에 응답하여 디버깅 또는 리뷰 프로세스를 수행할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 애플리케이션이 애플리케이션 전달 서버에 의한 전달을 위해 애플리케이션 개발자에 의해 업로드된 새로운 애플리케이션이라는 표시를 수신할 수 있다. 애플리케이션이 새로운 애플리케이션이라는 표시는 예를 들어 애플리케이션 개발자(160)가 애플리케이션의 제1 버전이라는 표시를 제공하거나, 데이터 프로세싱 시스템(102)에서 이전에 인식되거나 저장되지 않았던 애플리케이션에 대한 새 이름을 제공하거나 또는 애플리케이션이 새로운 애플리케이션임을 표시하기 위해 사용자 인터페이스에서 버튼을 선택하는 것을 포함할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션이 다음 버전(예를 들어, 버전 번호의 시퀀스)임을 나타내는 애플리케이션 개발자 디바이스(160)에 기초하여 애플리케이션이 새로운 버전인지 또는 애플리케이션에 대한 업데이트인지 결정할 수 있으며, 데이터 프로세싱 시스템(102)은 동일한 애플리케이션 개발자 디바이스(160)로부터 동일한 이름을 가진 애플리케이션이 이미 데이터 프로세싱 시스템(102)에 존재한다고 결정할 수 있다. 데이터 프로세싱 시스템(102)은 새로운 애플리케이션 또는 애플리케이션의 새로운 버전의 표시에 응답하여 디버깅 프로세스를 트리거링할 수 있다. 일부 경우에, 데이터 프로세싱 시스템(102)은 데이터 프로세싱 시스템(102)이 이전 버전의 애플리케이션이 이전에 리뷰 프로세스를 충족했다고 결정한 경우 애플리케이션의 새로운 버전에 대한 디버깅 프로세스를 트리거링하지 않기로 결정할 수 있으며, 이에 따라 컴퓨팅 리소스 활용을 줄일 수 있다.
데이터 프로세싱 시스템(102)은 애플리케이션의 유형 또는 애플리케이션의 기능에 기초하여 디버깅 프로세스를 수행하도록 결정할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 애플리케이션 개발자에 의해 제출된 애플리케이션에 대해 애플리케이션 개발자에 의해 액션으로 구성된 메시징 객체를 식별할 수 있다. 애플리케이션이 액션으로 구성된다는 결정에 응답하여, 데이터 프로세싱 시스템(102)은 액션들이 사기인지, 오해의 소지가 있는지 또는 오류인지를 결정하기 위해 디버깅 프로세스를 개시할 수 있다.
데이터 프로세싱 시스템(102)은 임의의 클라이언트 컴퓨팅 디바이스(140)에 설치하기 위한 애플리케이션을 전달하기 전에 디버깅 프로세스를 트리거링하도록 결정할 수 있다. 일부 경우에, 데이터 프로세싱 시스템(102)은 애플리케이션이 적어도 하나의 클라이언트 컴퓨팅 디바이스(140)에 이미 설치된 후에 디버깅 프로세스를 트리거링하도록 결정할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 설치된 애플리케이션과 연관된 부정적인 피드백에 응답하여 디버깅 프로세스를 수행하도록 결정할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션이 설치된 클라이언트 컴퓨팅 디바이스(140)로부터 애플리케이션에 대한 부정적인 피드백의 표시를 수신할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션에 대한 부정적인 피드백의 표시에 응답하여 디버깅 프로세스를 트리거링할 수 있다.
디버깅 프로세스는 제1 분류 점수, 제2 분류 점수 및 제3 분류 점수와 같은 하나 이상의 분류 점수를 결정하는 것을 포함할 수 있다. 데이터 프로세싱 시스템(102)은 제1 분류기 컴포넌트(116)와의 인터페이스를 포함하거나 또는 그와 인터페이싱하거나 또는 그에 액세스할 수 있다. 데이터 프로세싱 시스템(102)은 제1 분류 점수를 결정하도록 설계, 구성 및 동작하는 제1 분류기 컴포넌트(116)를 포함할 수 있다. 제1 분류기 컴포넌트(116)는 제1 분류 점수를 결정할 수 있다. 데이터 프로세싱 시스템(102)(예를 들어, 제1 분류기 컴포넌트(116)을 통해)은 애플리케이션 개발자에 의해 제공된 메시징 객체의 액션의 이력적 실행에 기초하여 제1 분류 점수를 결정할 수 있다. 데이터 프로세싱 시스템(102)은 액션을 수행하기 위한 애플리케이션에 대한 이전 호출이 액션의 이행을 초래했는지 여부에 기초하여 제1 분류 점수를 결정할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션에 의한 액션의 이전 실행에 기초한 사용자 피드백에 기초하여 제1 분류 점수를 결정할 수 있다.
예를 들어, 다수의 클라이언트 컴퓨팅 디바이스(140)가 애플리케이션을 설치했을 수 있다. 클라이언트 컴퓨팅 디바이스(140)의 사용자는 특정 노래 재생과 같은 액션을 수행하도록 애플리케이션에 요청했을 수 있다. 애플리케이션은 사용자의 요청에 응답하여 노래를 재생하거나 재생하지 않았을 수 있다. 클라이언트 컴퓨팅 디바이스(140)의 사용자는 애플리케이션과의 이전 인터렉션 및 애플리케이션으로의 액션 이전 실행에 기초하여 애플리케이션에 대한 피드백을 제공할 수 있다. 예를 들어, 애플리케이션 전달 서버(110)는 클라이언트 컴퓨팅 디바이스(140)의 사용자가 애플리케이션이 사용자가 애플리케이션에 요청한 액션을 수행했는지에 대한 표시를 제공할 수 있는 프롬프트 또는 다른 그래픽 사용자 인터페이스를 제공할 수 있다.
등급 시스템은 점수를 포함할 수 있다. 점수는 데이터 저장소(128)의 점수 데이터 구조(132)에 저장될 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션에 요청을 한 사용자로부터의 피드백에 기초하여 제1 분류 점수를 결정할 수 있다. 예를 들어 사용자는 1에서 5까지의 척도로 애플리케이션을 평가할 수 있고, 여기서 5는 애플리케이션이 요청을 잘 수행함을 나타내고 1은 애플리케이션이 요청을 잘 수행하지 않음을 표시한다.
일부 경우에, 데이터 프로세싱 시스템(102)은 애플리케이션에 대한 정보를 획득하기 위해 클라이언트 컴퓨팅 디바이스(140)의 사용자에게 프롬프트 또는 질의를 제공할 수 있다. 데이터 프로세싱 시스템(102)(예를 들어, 제1 분류기 컴포넌트(116)을 통해)은 애플리케이션에 대한 정보 및 애플리케이션이 특정 유형의 액션 또는 요청을 이행할 수 있는지 여부를 획득하기 위한 프롬프트 또는 질의를 구성할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션 데이터(130)로부터 애플리케이션의 카테고리 또는 애플리케이션의 유형(예를 들어, 승차 공유, 음악 서비스, 뉴스 또는 날씨)을 결정할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션에 대해 애플리케이션 개발자 디바이스(160)에 의해 구성되거나 설정된 액션을 나열하는 애플리케이션과 함께 제출된 데이터 파일로부터 애플리케이션에 대해 구성된 액션의 유형을 결정할 수 있다. 애플리케이션 데이터(130)를 사용하여, 데이터 프로세싱 시스템(102)은 질의 또는 설문 조사를 구성할 수 있다. 예를 들어, 애플리케이션 데이터(130)는 애플리케이션이 승차 공유 애플리케이션임을 나타낼 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션의 액션이 사용자에게 차량을 제공하는 것일 수 있다고 결정할 수 있다. 데이터 프로세싱 시스템(102)은 "Does Application_A provide rides?"와 같은 질의를 생성할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션을 설치한 클라이언트 컴퓨팅 디바이스(140)에 질의를 전송할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션에 대한 액션을 실행한 클라이언트 컴퓨팅 디바이스(140)에 질의를 제공할 수 있다. 데이터 프로세싱 시스템(102)은 클라이언트 컴퓨팅 디바이스(140)가 데이터 저장소(128)에 저장된 계정 정보 또는 클라이언트 컴퓨팅 디바이스(140)에 저장된 정보에 기초하여 애플리케이션에 대한 액션을 다운로드, 설치 또는 실행했는지 여부를 결정할 수 있다.
데이터 프로세싱 시스템(102)은 애플리케이션이 애플리케이션 개발자(160)가 애플리케이션이 수행하도록 구성되었음을 표시하는 액션을 수행하도록 애플리케이션이 구성되었는지 여부에 대해 클라이언트 컴퓨팅 디바이스(140)의 사용자로부터 피드백을 얻을 수 있다. 제1 분류 점수는 제1 분류 점수와 임계치(예를 들어, 데이터 저장소(128)에 저장된 임계치(138))의 비교에 기초하여 애플리케이션에 대응하는 액션이 만족되는지 여부를 나타낼 수 있다.
제1 분류기 컴포넌트(116)는 예를 들어 서면 리뷰, 점수, 설문 조사에 대한 응답, 질의에 대한 응답, 액션을 실행하려고 시도한 후 애플리케이션을 제거하는 사용자, 또는 기타 피드백 유형을 포함하는 다양한 형태의 클라이언트 컴퓨팅 디바이스(140)의 사용자로부터 피드백을 얻을 수 있다. 하나 이상의 유형의 피드백을 사용하는 제1 분류기 컴포넌트(116)는 제1 분류 점수를 생성할 수 있다. 예를 들어, 제1 분류기 컴포넌트(116)는 개별 등급으로부터 평균 점수를 결정하고 평균 점수를 제1 분류 점수로 사용할 수 있다. 제1 분류기 컴포넌트(116)는 제1 분류 점수로서 단일 피드백 점수를 생성하기 위해 둘 이상의 상이한 유형의 피드백 점수를 결합할 수 있다. 제1 분류 점수를 생성하기 위해, 제1 분류기 컴포넌트(116)는 점수를 곱하고, 점수를 더하거나, 점수의 내적을 취하거나, 점수를 함수에 입력하거나 또는 점수를 결합함으로써 다른 유형의 피드백 점수를 결합할 수 있다. 제1 분류기 컴포넌트(116)는 상이한 점수의 평균을 취함으로써 점수를 결합할 수 있다. 제1 분류기 컴포넌트(116)는 점수를 결합하기 전에 상이한 점수에 가중치를 적용함으로써 점수를 결합할 수 있다. 제1 분류기 컴포넌트(116)는 상이한 점수의 가중 평균으로서 제1 분류 점수를 생성할 수 있다. 제1 분류 점수를 생성하기 위해 제1 분류 컴포넌트(116)는 상이한 피드백 소스로부터의 개별 피드백 점수를 재형식화, 번역, 변환 또는 조작할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 애플리케이션의 파싱 리뷰로부터 제1 피드백 점수, 애플리케이션 제공 서버(110)에 의해 관리되는 온라인 애플리케이션 제공 마켓 플레이스에서 애플리케이션의 사용자 평가에 기초한 제2 피드백 점수 및 사용자의 설문 조사 결과에 기초하여 제3 피드백을 생성할 수 있다. 데이터 프로세싱 시스템(102)은 제1 분류 점수를 생성하기 위해 이들 상이한 피드백 점수 각각을 정규화된 피드백 점수로 변환한 다음 정규화된 점수를(예를 들어, 평균을 통해) 결합할 수 있다. 제1 분류 컴포넌트(116)는 데이터 프로세싱 시스템(102)에 의한 추가 프로세싱을 위해 점수 데이터 구조(132)에 제1 분류 스코어를 저장할 수 있다.
데이터 프로세싱 시스템(102)은 애플리케이션과 연관된 메타데이터에 기초하여 애플리케이션에 대한 기계 생성 액션을 생성하도록 설계, 구성 및 동작하는 액션 생성기(124)를 포함하거나, 그와 인터페이싱하거나 또는 그에 액세스할 수 있다. 데이터 프로세싱 시스템(102)은 예를 들어, 애플리케이션의 제목, 짧은 설명, 긴 설명, 메타데이터, 엔터티, 콘텐츠 또는 사용자 리뷰를 포함하는 애플리케이션 데이터(130)에 기초하여 액션을 생성할 수 있다. 액션 생성기(124)는 명사 및 동사를 추출하기 위해 이름, 짧은 설명, 긴 설명, 사용자 리뷰 또는 기타 소스를 입력으로 취할 수 있다. 액션 생성기(124)는 "노래를 재생해"와 같은 액션 또는 의도에 명사 및 동사(예를 들어, 아티스트 이름 또는 음악 재생)를 매핑할 수 있다. 따라서, 액션 생성기(124)는 애플리케이션 정보를 기계 생성 액션에 매핑할 수 있다. 액션 생성기(124)는 애플리케이션의 제출과 함께 애플리케이션 개발자 디바이스(160)에 의해 제공된 액션의 목록에 없는 애플리케이션 정보를 매핑할 수 있다. 액션 생성기(124)는 애플리케이션 개발자 디바이스(160)에 의해 제공되는 데이터 파일에 나열되거나 식별된 액션을 사용하지 않고 기계 생성 액션을 생성할 수 있다. 애플리케이션에 대한 제목, 설명 또는 사용자 리뷰와 같은 메타데이터를 사용함으로써, 액션 생성기(124)는 애플리케이션 개발자 디바이스(160)에 의해 제공되는 액션에 대한 정보와 무관하게 기계 생성 액션을 생성할 수 있다. 애플리케이션 개발자에 의해 데이터 파일에 나열된 액션을 사용하는 것과 무관하게 기계 생성 액션을 생성하면, 데이터 프로세싱 시스템(102)은 애플리케이션에 대해 구성되는 것으로 개발자에 의해 식별된 액션을 리뷰할 수 있다.
액션 생성기(124)는 애플리케이션에 대한 기계 생성 액션을 생성하기 위해 애플리케이션 데이터(130)를 미리 결정된 액션 목록에 매핑할 수 있다. 미리 결정된 액션 목록은 데이터 프로세싱 시스템(102)의 관리자 또는 애플리케이션 전달 서버(110)의 관리자에 의해 제공될 수 있다. 미리 결정된 액션 목록은 데이터 프로세싱 시스템(102)의 다이렉트 액션 API(108)가 실행 또는 수행하도록 구성된 액션 목록을 포함하거나 참조할 수 있다. 미리 결정된 액션 목록을 카테고리화할 수 있다. 미리 결정된 액션 목록은 다양한 액션의 유형에 따라 카테고리화할 수 있다. 액션 유형은 예를 들어 음악 액션, 승차 공유 액션, 내비게이션 액션, 뉴스 액션, 티켓 구매 액션 또는 기타 유형의 액션을 포함할 수 있다.
액션 생성기(124)는 애플리케이션 데이터(130)를 미리 결정된 액션 목록에 매핑함으로써 기계 생성 액션을 식별할 수 있다. 예를 들어, 음악 애플리케이션에 대한 미리 결정된 액션 목록은 노래 재생, 앨범 재생, 다음 노래, 다시 재생, 일시 중지, 라디오 방송국 시작 또는 재생 목록 만들기를 포함할 수 있다. 다른 예에서, 승차 공유 애플리케이션에 대한 미리 결정된 액션 목록은 다음을 포함할 수 있다: [목적지]까지 승차를 주문하는 것; [목적지]로 이동하는 예상 시간은 얼마입니까? 내 차는 얼마나 멀리 떨어져 있습니까?; 라이드 취소; 아니면 어떤 종류의 차가 나를 태우나요? 이러한 미리 결정된 액션 중 하나에 기초한 액션 생성기(124)는 애플리케이션에 매핑되는 기계 생성 액션을 식별할 수 있다.
액션 생성기(124)는 엔터티를 의도 또는 액션으로 변환하여 기계 생성 액션을 생성할 수 있다. 예를 들어 애플리케이션과 함께 제출된 데이터 파일은 의도와 엔터티 모두를 포함할 수 있다. 데이터 프로세싱 시스템(102)은 엔터티에 대해 수행될 수 있는 기계 생성 액션을 생성하기 위해 엔터티를 파싱할 수 있다.
데이터 프로세싱 시스템(102)은 애플리케이션에 대해 제공된 메타데이터 또는 설명에 기초하여 기계 생성 액션을 생성할 수 있다. 데이터 프로세싱 시스템(102)은 별개의 객체를 식별하고 그것들을 텍스트 클러스터로 결합할 수 있고, 명사 및 동사를 출력할 수 있는 매핑 기술에 텍스트 클러스터를 입력할 수 있다. 데이터 프로세싱 시스템(102)은 계층적 그래프를 사용하여 명사 및 동사를 의도로 변환할 수 있다. 데이터 프로세싱 시스템(102)은 의도 또는 액션을 식별하기 위해 그래프를 순회할 수 있다.
데이터 프로세싱 시스템(102)은 애플리케이션 개발자에 의해 제출된 엔터티를 사용하여 조회를 수행할 수 있다. 조회 테이블은 엔터티를 의도 또는 액션에 매핑할 수 있다. 데이터 프로세싱 시스템(102)은 어떤 액션이 일반적으로 엔터티와 연관되는지를 결정하기 위해 조회할 수 있다. 일반적으로 엔터티 및 기타 기법과 연관된 의도를 사용하는 데이터 프로세싱 시스템(102)은 기계 생성 액션을 생성할 수 있다.
데이터 프로세싱 시스템은 상기 애플리케이션 개발자에 의해 제공된 상기 메시징 객체의 액션과 기계 생성 액션의 비교에 기초하여 제2 분류 점수를 결정하기 위해 설계, 구성, 동작하는 제2 분류기 컴포넌트(118)를 포함, 그와 인터페이싱 또는 그에 액세스할 수 있다. 제2 분류기 컴포넌트(118)는 매칭이 있는지 여부를 결정하기 위해 액션을 비교할 수 있다. 제2 분류기 컴포넌트(118)는 애플리케이션 개발자 디바이스(160)에 의해 제공되는 하나 이상의 액션을 액션 생성기(124)에 의해 생성된 하나 이상의 기계 생성 액션과 비교할 수 있다. 제2 분류 점수는 다양한 유형의 일치 또는 비교 기법에 기초할 수 있다. 제2 분류기 컴포넌트(118)는 얼마나 많은 액션이 매칭되는지, 매칭 레벨, 오버랩 레벨을 결정하거나 그렇지 않으면 두 세트의 액션을 비교할 수 있다. 예를 들어, 애플리케이션 개발자 디바이스(160)는 애플리케이션과 함께 5개의 다른 액션을 제출할 수 있다. 액션 생성기(124)는 애플리케이션 데이터(130)에 기초하고 애플리케이션 개발자 디바이스(160)에 의해 제출된 액션의 목록에 없는 5개의 기계 생성 액션을 식별할 수 있다. 제2 분류기 컴포넌트(118)는 애플리케이션 개발자 디바이스(160)에 의해 제공된 5개의 액션을 액션 생성기(124)에 의해 생성된 5개의 액션과 비교하여 매칭되는 액션의 수를 결정할 수 있다. 제2 분류기 컴포넌트(118)는 매칭 레벨에 기초하여 제2 분류 점수를 생성할 수 있다. 제2 분류 점수는 개발자가 제공한 액션에 대한 기계 생성 액션의 비율에 기초한 백분율일 수 있다(예를 들어, 개발자가 제공한 액션과 매칭되는 기계 생성 액션의 수를 개발자가 제공한 액션의 수로 나눈 값). 5개의 모든 액션이 서로 매칭되면, 데이터 프로세싱 시스템(102)은 제2 분류 점수가 100% 매칭이라고 결정할 수 있으며; 기계 생성 액션 중 4개가 개발자 제공 액션 중 4개와 매칭되면, 데이터 프로세싱 시스템(102)은 제2 분류 점수가 80% 매칭이라고 결정할 수 있으며; 5개 액션 중 3개가 매칭되면, 데이터 프로세싱 시스템(102)은 제2 분류 점수가 60%임을 결정할 수 있고; 5개 중 2개면 40% 매칭되면 20% 매칭; 5개 중 0개이면 0% 매칭이라고 결정할 수 있다. 데이터 프로세싱 시스템(102)은 추가 프로세싱을 위해 점수(132) 데이터 구조에 제2 분류 점수를 저장할 수 있다.
데이터 프로세싱 시스템(102)은 애플리케이션과 매칭되는 제2 애플리케이션을 선택하도록 설계, 구성 및 동작하는 매칭 엔진 컴포넌트(122)를 포함하거나, 그와 인터페이싱하거나 또는 그에 액세스할 수 있다. 매칭 엔진 컴포넌트(122)는 매칭 프로그램을 사용하여 애플리케이션에 매칭되는 제2 애플리케이션을 선택할 수 있다. 매칭 엔진 컴포넌트(122)는 애플리케이션 데이터(130)에 기초하여 애플리케이션을 매칭할 수 있다. 매칭 엔진 컴포넌트(122)는 예를 들어 짧은 설명, 상세 설명, 카테고리, 사용자 리뷰 또는 기타 정보에 기초하여 애플리케이션을 매칭할 수 있다. 매칭 엔진 컴포넌트(122)는 이전 버전의 애플리케이션에 기초하여 애플리케이션을 매칭할 수 있다.
데이터 프로세싱 시스템(102)은 유사성 임계치보다 큰 애플리케이션과 제2 애플리케이션 간의 유사성 점수에 기초하여 애플리케이션이 제2 애플리케이션과 매칭되는 것으로 결정할 수 있다. 유사성 점수는 매칭 프로그램을 사용하여 생성될 수 있다. 매칭 엔진 컴포넌트(122)는 애플리케이션의 카테고리 또는 애플리케이션의 설명에 기초하여 제1 애플리케이션을 제2 애플리케이션과 매칭시킬 수 있다. 예를 들어, 제1 애플리케이션의 설명은 "승차공유"일 수 있고 제2 애플리케이션의 설명은 "승차공유" 또는 "카풀" 또는 "택시 서비스" 또는 "탑승 서비스"일 수 있다. 설명에 기초하여 데이터 프로세싱 시스템(102)은 제1 애플리케이션이 제2 애플리케이션과 매칭되는지 결정할 수 있다. 매칭 엔진 컴포넌트(122)는 애플리케이션과 제2 애플리케이션 사이의 메타데이터 또는 애플리케이션 데이터(130)와 연관된 키워드를 비교하는 것에 기초하여 유사성 점수를 생성할 수 있다. 데이터 프로세싱 시스템(102)은 통계적 유사성 측정 또는 유사성 함수를 사용하여 두 애플리케이션과 연관된 키워드 간의 거리를 결정함으로써 유사성 점수를 결정할 수 있다. 유사성 함수는 두 객체 간의 유사성을 정량화하는 실수 값 함수일 수 있다. 유사성 함수는 유사성 점수를 출력할 수 있다. 유사성 함수는 좌표에 기초할 수 있는 거리 메트릭을 출력할 수 있다. 유사성 점수는 두 지점 간의 유클리드 거리에 대응할 수 있으며, 여기서 두 지점은 두 애플리케이션과 연관된 키워드 또는 구성에 기초하여 유클리드 공간에 매핑된다. 다른 유사 거리는 예를 들어 맨해튼 거리를 포함할 수 있다.
데이터 프로세싱 시스템(102)은 유사성 점수가 임계치보다 큰 경우 두 애플리케이션이 매칭된다고 결정할 수 있다. 임계치는 점수 임계치(예: 80% 매칭)을 지칭할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 가장 높은 레벨의 유사성을 갖는 두 개의 애플리케이션을 먼저 결정할 수 있다. 데이터 프로세싱 시스템(102)은 일부 경우에 유사성 점수를 더 확인하지 않고 선택된 매칭 애플리케이션을 사용하기로 결정한다. 그러나 일부 경우에, 데이터 프로세싱 시스템(102)은 유사성 점수를 추가로 결정하고 유사성 점수가 임계치(예를 들어, 70% 유사성, 80% 유사성, 90% 유사성)보다 큰 경우 디버깅 목적을 위한 매칭 애플리케이션으로 제2 애플리케이션을 선택할 수 있다.
다른 예에서, 제1 및 제2 애플리케이션의 카테고리는 둘 다 "음악"일 수 있다. 매칭 프로그램은 동일한 카테고리에 있는 애플리케이션에 기초하여 애플리케이션의 제1 레벨 매칭을 수행하도록 구성될 수 있다. 매칭 프로그램은 애플리케이션의 설명(예를 들어, 온라인 음악 스트리밍 서비스를 나타내는 두 설명 모두)에 기초하여 제2 레벨의 매칭을 결정하도록 추가로 구성될 수 있다.
매칭 엔진 컴포넌트(122)는 디버깅 프로세스를 수행하고 있는 애플리케이션과 매칭되는 제2 애플리케이션을 선택할 수 있다. 매칭 엔진 컴포넌트(122)는 제3 분류 점수를 생성하기 위해 매칭 제2 애플리케이션의 표시를 제3 분류기 컴포넌트(120)에 제공할 수 있다.
데이터 프로세싱 시스템(102)은 제3 분류 점수를 결정하도록 설계, 구성 및 동작하는 제3 분류기 컴포넌트(120)를 포함하거나, 그와 인터페이싱하거나 그에 액세스할 수 있다. 제3 분류기 컴포넌트(120)는 제2 매칭 애플리케이션에 대해 승인된 액션과 디버깅 또는 리뷰 프로세스를 수행하고 있는 애플리케이션에 대해 애플리케이션 개발자가 제공한 메시징 객체의 액션의 비교에 기초하여 제3 분류 점수를 결정할 수 있다. 제3 분류기 컴포넌트(120)는 제3 분류 점수를 생성하기 위해 액션들 간의 매칭 레벨을 비교할 수 있다. 제3 분류기 컴포넌트(120)는 애플리케이션 개발자 디바이스(160)에 의해 제공된 액션을 제2 매칭 애플리케이션과 연관된 액션과 비교하여 매칭되는 액션의 수를 결정할 수 있다. 제3 분류기 컴포넌트(120)는 매칭 레벨에 기초하여 제3 분류 점수를 생성할 수 있다. 제3 분류 점수는 제2 매칭 애플리케이션의 액션 대 개발자 제공 액션의 비율(예를 들어, 개발자 제공 액션과 매칭되는 제2 애플리케이션 액션의 수를 개발자 제공 액션의 수로 나눈 값)에 기초한 백분율일 수 있다. 모든 액션이 서로 매칭되면, 데이터 프로세싱 시스템(102)은 제2 분류 점수가 100% 매칭이라고 결정할 수 있다. 모든 액션이 서로 매칭되지 않는 경우 제3 분류 점수는 100% 미만일 수 있다. 예를 들어, 디버깅 또는 리뷰 프로세스를 수행하고 있는 애플리케이션에 대해 애플리케이션 개발자 디바이스(160)에 의해 제공되는 5개의 액션이 있을 수 있다. 매칭 엔진 컴포넌트(122)에 의해 식별되는 제2 매칭 애플리케이션과 연관된 5개의 액션이 있을 수 있다. 제2 애플리케이션 액션 중 4개가 개발자 제공 액션 중 4개와 매칭되면, 데이터 프로세싱 시스템(102)은 제2 분류 점수가 80% 매칭이라고 결정할 수 있으며; 5개 액션 중 3개가 매칭되면, 데이터 프로세싱 시스템(102)은 제2 분류 점수가 60%임을 결정할 수 있고; 5개 중 2개면 40% 매칭되면 20% 매칭; 5개 중 0개이면 0% 매칭이라고 결정할 수 있다. 데이터 프로세싱 시스템(102)은 추가 프로세싱을 위해 점수(132) 데이터 구조에 제3 분류 점수를 저장할 수 있다. 데이터 프로세싱 시스템(102)은 다양한 매칭 기술, 스코어링 기술, 라벨 또는 분류를 사용하여 점수를 결정할 수 있다.
데이터 프로세싱 시스템(102)은 제1 분류 점수, 제2 분류 점수 및 제3 분류 점수에 기초하여 전달 제어 파라미터를 업데이트하도록 설계, 구성 및 동작하는 전달 제어기 컴포넌트(112)를 포함하거나, 그와 인터페이싱하거나 그에 액세스할 수 있다. 전달 제어기 컴포넌트(112)는 결합된 분류 점수를 생성하기 위해 제1 분류 점수, 제2 분류 점수 및 제3 분류 점수를 결합할 수 있다. 그러나, 다른 예에서, 전달 제어기 컴포넌트(112)는 결합된 분류 점수를 생성하기 위해 제1 분류 점수, 제2 분류 점수 및/또는 제3 분류 점수 및 선택적으로 다른 분류 점수 중 임의의 것을 결합할 수 있다. 전달 제어기 컴포넌트(112)는 결합된 분류 점수에 기초하여 애플리케이션의 전달을 차단할지 또는 애플리케이션의 전달을 승인할지 여부를 결정할 수 있다. 전달 제어기 컴포넌트(112)는 결합된 분류 점수에 기초하여 애플리케이션과 연관된 액션을 차단할지 또는 액션을 승인할지 여부를 결정할 수 있다. 전달 제어기 컴포넌트(112)는 결합된 분류 점수에 기초하여 전달 제어 파라미터를 업데이트할 수 있다. 예를 들어, 전달 제어 파라미터는 값, 플래그, 이진 값 또는 스위치를 포함할 수 있다. 전달 제어 파라미터는 애플리케이션 전달 서버(110)에게 애플리케이션의 전달을 차단 또는 방지하거나 애플리케이션과 연관된 액션을 비활성화하도록 지시할 수 있다. 전달 제어 파라미터는 악의적이거나 사기성이거나 오해의 소지가 있거나 오류가 있는 원격 프로시저 호출 또는 사용자의 액션 요청에 대한 콘텐츠 전달을 방지하기 위해 애플리케이션의 전달을 차단하거나 액션을 비활성화할 수 있다. 데이터 프로세싱 시스템(102)은 상기 데이터 프로세싱 시스템에 의해 업데이트된 상기 전달 제어 파라미터에 응답하여, 상기 애플리케이션 전달 서버(110)에 의한 상기 애플리케이션의 전달을 제어할 수 있다.
전달 제어기 컴포넌트(112)는 제1 분류 점수, 제2 분류 점수 및 제3 분류 점수에 기초하여 애플리케이션의 전달을 승인하도록 결정할 수 있다. 전달 제어기 컴포넌트(112)는 임계치(또는 임계치(138) 데이터 구조에 저장된 각각의 임계치)을 개별적으로 만족하는 점수들 각각에 기초하여 전달을 승인하도록 결정할 수 있다. 전달 제어기 컴포넌트(112)는 임계치를 만족하는 3개의 점수의 합에 기초하여 전달을 승인하도록 결정할 수 있다. 전달 제어기 컴포넌트는 임계치를 만족하는 3개의 점수의 평균에 기초하여 전달을 승인하도록 결정할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션 전달 서버(110)에 의해 애플리케이션을 전달하도록 전달 제어 파라미터를 업데이트할 수 있다.
전달 제어기 컴포넌트(112)는 상기 제1 분류 점수, 상기 제2 분류 점수 또는 상기 제3 분류 점수 중 적어도 하나가 실패 임계치 미만인 것에 기초하여 분류 실패를 결정할 수 있다. 데이터 프로세싱 시스템(102)은 임계 데이터 구조(138)로부터 실패 임계치를 검색할 수 있다. 데이터 프로세싱 시스템(102)은 각각의 제1, 제2 및 제3 분류 점수를 실패 임계치(또는 각각의 실패 임계치)와 비교할 수 있다. 분류 점수 중 어느 하나가 실패 임계치를 만족하지 않는 경우, 데이터 프로세싱 시스템(102)은 애플리케이션의 전달을 차단하도록 결정할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 분류 실패에 응답하여, 애플리케이션 전달 서버(110)에 의한 애플리케이션의 전달을 차단하기 위해 전달 제어 파라미터를 업데이트할 수 있다. 분류 점수 중 어느 하나가 실패하는 경우 애플리케이션의 전달을 비활성화하거나 방지함으로써, 데이터 프로세싱 시스템(102)은 사기성 또는 잘못된 애플리케이션이 전달되는 것을 방지할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 사용자 피드백에 기초할 수 있는 제1 분류 점수가 실패 임계치를 만족하지 않을 수 있는 반면, 제2 및 제3 분류 점수는 실패 임계치를 만족할 수 있다고 결정할 수 있다. 그러나, 그럼에도 불구하고 데이터 프로세싱 시스템(102)은 피드백 관련 분류 점수가 실패 임계치를 충족하지 않기 때문에 애플리케이션의 전달을 차단하기로 결정할 수 있으며, 이에 따라 애플리케이션이 사기성이거나 오류이거나 그렇지 않으면 클라이언트 컴퓨팅 디바이스(140)로의 전달에 적합하지 않을 수 있음을 표시한다.
데이터 프로세싱 시스템(102)은 상기 제1 분류 점수, 상기 제2 분류 점수 및 상기 제3 분류 점수에 기초하여 분류 실패를 결정할 수 있다. 데이터 프로세싱 시스템(102)은 3개의 점수의 조합 또는 각 점수의 개별적으로 분류 실패를 결정할 수 있다. 데이터 프로세싱 시스템(102)은 분류 실패에 응답하여, 애플리케이션 전달 서버(110)에 의한 애플리케이션의 전달을 차단하기 위해 전달 제어 파라미터를 자동으로 업데이트할 수 있다. 데이터 프로세싱 시스템(102)은 분류 실패에 대한 알림을 애플리케이션 개발자 디바이스(160)에게 전송하도록 구성될 수 있다. 알림을 수신하면 애플리케이션 개발자 디바이스(160)는 분류 실패를 초래하는 문제를 수정하거나 정정하기 위해 그들의 애플리케이션을 디버깅할 수 있다. 데이터 프로세싱 시스템(102)은 상기 분류 실패에 응답하여, 상기 애플리케이션 개발자 디바이스(160)로부터 상기 애플리케이션의 업데이트된 버전을 요청하도록 구성될 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션이 리뷰 또는 디버깅 프로세스에 실패했음을 나타내는 요청(예를 들어, 메시지, 전자 메시지, 알림, 푸시 메시지 또는 프롬프트)을 애플리케이션 개발자 디바이스(160)에 전송할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션의 어떤 액션이 리뷰 또는 디버깅 프로세스의 실패를 초래했는지에 대한 추가 정보를 제공할 수 있다. 데이터 프로세싱 시스템(102)은 리뷰 프로세스에서 어떤 분류기가 애플리케이션이 리뷰 또는 디버깅 프로세스에 실패했는지에 대한 추가 정보를 제공할 수 있다.
데이터 프로세싱 시스템(102)은 애플리케이션과 연관된 액션 중 하나 이상이 리뷰 또는 디버깅 프로세스에 실패하더라도 애플리케이션에 전달을 승인하도록 결정할 수 있다. 전달 제어기 컴포넌트(112)는 메시징 객체의 액션에 대해, 제1 분류 점수, 제2 분류 점수 및 제3 분류 점수에 기초하여 분류 실패를 결정할 수 있다. 전달 제어기 컴포넌트(112)는 분류 실패에 응답하여 애플리케이션을 통한 실행을 위한 메시징 객체의 액션을 자동으로 비활성화할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션이 클라이언트 컴퓨팅 디바이스(140)에 전달될 때 액션이 비활성화되고 클라이언트 컴퓨팅 디바이스(140)에서 실행되지 않도록 애플리케이션 전달 서버(110)에 의한 전달을 위해 애플리케이션을 승인할 수 있다. 따라서, 애플리케이션이 어떤 방식으로 사기성, 오도성 또는 오류일 수 있는 액션으로 애플리케이션 개발자(160)에 의해 초기에 구성되었을지라도, 데이터 프로세싱 시스템(102)이 애플리케이션의 액션을 선제적으로 비활성화할 수 있기 때문에 컴퓨팅 리소스 활용의 낭비없이, 데이터 프로세싱 시스템(102)은 클라이언트 컴퓨팅 디바이스(140)로의 전달을 야기하지 않고 애플리케이션을 제공할 수 있고, 그에 따라 사기성, 오도성 또는 잘못된 액션이 수행되는 것을 방지할 수 있다. 애플리케이션 전달 서버(110)는 애플리케이션에 대한 파라미터 데이터 구조(136)에 저장된 전달 제어 파라미터에 기초하여 하나 이상의 액션을 비활성화하도록 결정할 수 있다. 전달 제어 파라미터는 애플리케이션에 대해 승인된 액션을 나열하는 데이터 구조를 포함할 수 있다. 사기 액션을 제거함으로써, 데이터 프로세싱 시스템(102)은 애플리케이션이 그 액션에 응답하여 트리거링되는 것을 방지할 수 있다. 액션을 비활성화하는 다른 예에서, 데이터 프로세싱 시스템(102)은 애플리케이션과 연관된 데이터 파일로부터 무승인 액션을 제거할 수 있다. 데이터 파일은 애플리케이션의 제출과 함께 애플리케이션 개발자 디바이스(160)에 의해 제출된 데이터 파일일 수 있다.
예를 들어, 데이터 프로세싱 시스템(102)은 데이터 파일을 통해 애플리케이션에 대해 설정된 액션을 식별할 수 있다. 데이터 프로세싱 시스템(102)은 각각의 액션에 대한 디버깅 프로세스를 통해 제1 분류 점수, 제2 분류 점수 및 제3 분류 점수를 결정할 수 있다. 데이터 프로세싱 시스템(102)은 디버깅 프로세스에 기초하여 하나 이상의 액션을 비활성화하기 위해 전달 제어 파라미터를 업데이트할 수 있다.
데이터 프로세싱 시스템(102)은 애플리케이션에 대한 액션을 승인하거나 비활성화할 수 있다. 데이터 프로세싱 시스템(102)은 액션이 특정 디지털 표면에서 실행되는 것을 승인하거나 비활성화한다. 디지털 표면은 예를 들어 모바일 컴퓨팅 디바이스 표면, 스마트 스피커 표면, 음성 전용 인터페이스, 디스플레이 표면, 챗봇 표면, 웹 페이지, 내비게이션 애플리케이션 또는 기타 유형의 디지털 표면을 포함할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션의 메시징 객체의 액션을 실행하기 위한 디지털 표면을 식별할 수 있다. 데이터 프로세싱 시스템(102)은 전달 제어 파라미터를 업데이트하여 다수의 디지털 표면의 디지털 표면에서 애플리케이션의 메시징 객체의 액션의 실행을 비활성화한다.
데이터 프로세싱 시스템(102)은 애플리케이션 또는 애플리케이션의 액션에 대한 제1, 제2 및 제3 분류 점수 각각을 결정하기 전에 디버깅 프로세스를 종료하기로 결정할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션 또는 애플리케이션의 액션에 대해 제1 분류기 컴포넌트(116), 제2 분류기 컴포넌트(118) 및 제3 분류기 컴포넌트(120) 각각을 실행하지 않고 디버깅 프로세스를 종료하기로 결정할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 제1 분류 점수 또는 제2 분류 점수 중 하나가 실패 임계치를 만족하지 않는다고 결정할 수 있다. 제1 분류 점수 또는 제2 분류 점수 중 하나가 실패 임계치를 만족하지 않는다는 결정에 응답하여, 데이터 프로세싱 시스템(102)은 데이터 프로세싱 시스템(102)의 컴퓨팅 리소스 이용을 감소시키기 위해 제3 분류 점수 결정을 건너뛰도록 결정할 수 있다.
예를 들어, 데이터 프로세싱 시스템(102)은 애플리케이션에 대한 디버깅 프로세스를 트리거링할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션에 대한 디버깅 프로세스를 통해 애플리케이션에 대한 제1 분류 점수를 결정할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션에 대한 제1 분류 점수와 제1 분류 임계치의 비교에 기초하여 제1 분류 실패를 검출할 수 있다. 제1 분류 임계치는 데이터 저장소(128)에 저장된 임계 데이터 구조(138)로부터 검색될 수 있다. 데이터 프로세싱 시스템(102)은 제1 분류 실패의 검출에 응답하여 애플리케이션에 대한 제2 분류 점수 또는 애플리케이션에 대한 제3 분류 점수를 결정하기 전에 애플리케이션에 대한 디버깅 프로세스를 종료할 수 있다. 데이터 프로세싱 시스템(102)은 데이터 프로세싱 시스템(102)의 관리자 디바이스 또는 애플리케이션 개발자 디바이스(160)에 제1 분류 실패의 알림을 전송할 수 있다. 분류 실패를 검출한 후 디버깅 프로세스를 종료함으로써, 데이터 프로세싱 시스템(102)은 컴퓨팅 리소스 이용을 감소시킬 수 있고 또한 애플리케이션 리뷰를 완료하고 리뷰 결과를 애플리케이션 개발자 디바이스(160)에 제공하는 것을 촉진할 수 있다.
데이터 프로세싱 시스템(102)은 애플리케이션을 위한 딥 링크를 생성하도록 설계, 구성 및 동작하는 딥 링크 빌더 컴포넌트(114)를 포함하거나, 그와 인터페이싱하거나 또는 그에 액세스할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션을 디버깅하거나 리뷰하여 애플리케이션에 대한 딥 링크가 애플리케이션으로 하여금 기능을 수행하거나 요청된 액션에 대한 응답인 콘텐츠 아이템을 제공하는지 여부를 결정할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 애플리케이션을 디버깅하여 애플리케이션의 딥 링크가 원하는 액션에 기초하여 애플리케이션의 적절한 화면이나 상태로 사용자를 실제로 안내하는지 여부를 결정할 수 있다. 딥 링크 빌더 컴포넌트(114)는 애플리케이션에 제공된 액션, 엔터티 및 템플릿에 기초하여 딥 링크를 생성할 수 있다. 딥 링크는 홈페이지 또는 애플리케이션의 초기 상태 또는 화면과는 반대로 애플리케이션의 특정 상태 또는 화면과 같은 특정 콘텐츠 조각에 링크되는 하이퍼링크 또는 기타 참조 또는 포인터를 지칭할 수 있다. 딥 링크는 최상위 홈페이지 또는 화면 또는 상태가 아닌 페이지 또는 콘텐츠를 가리키는 링크를 지칭할 수 있다.
데이터 프로세싱 시스템(102)은 애플리케이션에 대한 딥 링크를 생성할 수 있다(예를 들어, 딥 링크 빌더 컴포넌트(114)를 통해). 데이터 프로세싱 시스템(102)은 예를 들어 특정 목적지로의 승차를 예약하기 위한 딥 링크를 구축할 수 있다. 그러나, 데이터 프로세싱 시스템(102)은 애플리케이션으로의 딥 링크가 사용자의 의도를 이행하기를 원하지 않는 페이지로 사용자를 안내할 수 있다고 결정할 수 있다. 대신 애플리케이션에 대한 딥 링크가 사용자를 악의적인 콘텐츠로 안내할 수 있다. 따라서, 딥 링크 빌더 컴포넌트(114)는 애플리케이션의 템플릿, 액션 및 엔터티에 따라 구성된 딥 링크가 사용자의 의도를 충족시킬 것인지 여부를 결정할 수 있다. 따라서 데이터 프로세싱 시스템(102)은 딥 링크가 사용자를 원하는 액션으로 안내하고 사용자의 의도를 충족시키는데 도움이 되는지 여부를 결정함으로써 품질 리뷰를 수행할 수 있다. 품질 리뷰를 수행하기 위해 데이터 프로세싱 시스템은 애플리케이션에서 제공하는 것으로 주장되는 의도가 실제로 애플리케이션에서 제공되는지 여부를 결정할 수 있다. 예를 들어 음악 스트리밍 서비스 개발자는 아티스트 및 노래에 대한 엔터티를 애플리케이션에 제공할 수 있다. 사용자는 아티스트의 노래를 요청할 수 있으며, 이로 인해 애플리케이션이 애플리케이션 내의 아티스트 페이지로 직접 연결되는 딥 링크를 제공할 수 있다. 그러나, 딥 링크가 사용자를 다른 아티스트의 페이지 또는 다른 유형의 페이지(예를 들어, 오디오북)로 안내하는 경우, 데이터 프로세싱 시스템(102)은 딥 링크가 오류일 수 있다고 결정할 수 있다.
도 2는 애플리케이션을 디버깅하기 위한 시스템(200)의 동작의 예시이다. 시스템(200)의 동작은 도 1에 도시된 시스템(100) 또는 도 4에 도시된 시스템(400)의 하나 이상의 컴포넌트 또는 기능을 포함할 수 있다. 시스템(200)은 데이터 프로세싱 시스템(102)을 포함할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션 개발자 디바이스(160)를 포함하거나, 그와 인터페이싱하거나 또는 그와 인터렉션할 수 있다.
동작(201)에서, 데이터 프로세싱 시스템(102)은 애플리케이션을 수신한다. 데이터 프로세싱 시스템(102)은 애플리케이션 개발자 디바이스(160)로부터 애플리케이션을 수신할 수 있다. 애플리케이션 개발자 디바이스(160)는 사용자 이름 및 인증 자격 증명과 같은 고유한 개발자 계정과 연관될 수 있다. 애플리케이션 개발자 디바이스(160)는 애플리케이션 전달 서버 또는 온라인 애플리케이션 마켓 플레이스를 통한 전달을 위해 애플리케이션을 데이터 프로세싱 시스템(102)에 제출할 수 있다. 데이터 프로세싱 시스템(102)은 메타데이터, 데이터 파일, 액션 목록, 엔터티 인벤토리, 또는 기타 정보와 같은 애플리케이션 데이터와 함께 애플리케이션을 수신할 수 있다.
동작(202)에서, 데이터 프로세싱 시스템(102)은 애플리케이션이 액션으로 구성되었는지 여부를 결정할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션이 액션과 연관되는지 여부를 결정할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션 개발자가 애플리케이션에 대한 액션을 설정했는지 여부를 결정할 수 있다. 개발자는 XML 파일과 같은 데이터 파일을 사용하여 애플리케이션과 함께 액션을 제출할 수 있다. 액션은 애플리케이션에서 실행하기 위해 개발자가 설정하거나 구성할 수 있다. 액션은 애플리케이션의 특정 화면, 웹 페이지 또는 상태에 대한 딥 링크를 포함하거나 트리거링할 수 있다. 딥 링크는 애플리케이션에 대해 설정된 액션을 트리거링하는 사용자의 요청에 응답하여 데이터 프로세싱 시스템(102)의 딥 링크 빌더에 의해 생성될 수 있다.
데이터 프로세싱 시스템(102)은 애플리케이션 데이터 파일 또는 애플리케이션 개발자 디바이스(160)에 의해 제공되는 다른 정보를 파싱하는 것에 기초하여 애플리케이션이 액션으로 구성되었는지 여부를 결정할 수 있다.
데이터 프로세싱 시스템(102)이 애플리케이션이 동작(202)에서 액션으로 구성되지 않았다고 결정하면, 데이터 프로세싱 시스템(102)은 동작(234)로 진행하여 애플리케이션을 전달하도록 승인할 수 있다. 그러나, 데이터 프로세싱 시스템(102)이 동작(202)에서 애플리케이션이 액션으로 구성되었다고 결정하면, 데이터 프로세싱 시스템(102)은 액션에 대한 디버깅 프로세스를 트리거링하기 위해 동작(204)로 진행할 수 있다.
동작(204)에서, 데이터 프로세싱 시스템(102)은 디버깅 프로세스를 트리거링할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션 개발자에 의한 애플리케이션의 제출에 응답하여 또는 지속적으로 디버깅을 트리거링할 수 있다. 데이터 프로세싱 시스템(102)은 동작(208)에서 제1 분류 점수를 생성하기 위해 동작(206)에서 이용 가능한 충분한 이력적 실행 정보가 있다는 결정에 응답하여 디버깅 프로세스를 트리거링할 수 있다. 예를 들어 이력적 실행 정보가 충분하지 않은 경우(예: 10, 20, 30, 50, 100, 150, 200, 300 또는 500개 미만의 사용자 평가, 리뷰 또는 설문 조사 프롬프트에 대한 응답과 같은 제한된 사용자 피드백), 데이터 프로세싱 시스템(102)은 디버깅 프로세스를 트리거링하지 않기로 결정할 수 있고 충분한 사용자 피드백이 있을 때까지 동작(234)에서 애플리케이션을 계속 승인할 수 있다.
데이터 프로세싱 시스템(102)은 동작(206)에서 애플리케이션에 대해 이용 가능한 이력적 실행 정보가 있는지 여부를 결정할 수 있다. 이력적 실행 정보는 애플리케이션과 연관된 사용자 피드백 또는 디버깅 중인 애플리케이션의 액션을 참조하거나 포함할 수 있다. 데이터 프로세싱 시스템(102)은 동작(206)에서 애플리케이션에 대해 이용 가능한 이력적 실행 정보가 있는지를 결정하기 위해 이력 정보를 저장하는 데이터 저장소에 액세스할 수 있다. 데이터 프로세싱 시스템(102)은 동작(206)에서 데이터 저장소(128) 또는 이력 데이터 파상하는 구조(134)에 질의할 수 있다. 데이터 프로세싱 시스템(102)은 일부 경우에 제출되는 애플리케이션이 이전에 제출되지 않은 새로운 애플리케이션인지에 기초하여 이력적 실행 정보가 존재하는지 여부를 결정할 수 있다. 애플리케이션이 이전에 제출되지 않은 새 애플리케이션인 경우 이력적 실행 정보가 없을 수 있다.
이력적 실행 정보가 존재하지 않는 경우, 데이터 프로세싱 시스템(102)은 제2 분류기로 진행하고 제1 분류기를 건너 뛰도록 결정할 수 있다. 이력적 실행 정보가 존재하지 않는 경우, 데이터 프로세싱 시스템(102)은 지연 삽입을 결정하거나 이력 실행 정보가 존재할 때까지 대기할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 애플리케이션 및 그것의 액션이 클라이언트 컴퓨팅 디바이스(140)에 설치되고 실행되게 하기 위해 애플리케이션에 전달을 일시적으로 승인할 수 있다. 애플리케이션은 설치 및 실행될 때 데이터 프로세싱 시스템(102)이 제1 분류 점수를 결정하기 위해 사용할 수 있는 이력적 실행 정보를 생성할 수 있다.
동작(206)에서, 데이터 프로세싱 시스템(102)이 이력적 실행 정보가 이용 가능하다고 결정하면, 데이터 프로세싱 시스템(102)은 동작(208)로 진행하여 제1 분류 점수를 생성할 수 있다. 데이터 프로세싱 시스템(102)(예를 들어, 제1 분류기 컴포넌트(116)를 통해)은 데이터 프로세싱 시스템(102)의 제1 분류기 컴포넌트를 사용하여 제1 분류 점수를 생성할 수 있다. 제1 분류 점수는 이력적 실행 또는 그것의 피드백 데이터에 기초할 수 있다. 제1 분류 점수는 애플리케이션에 제공된 액션이 액션을 트리거하는 사용자의 의도를 충족했는지 여부를 나타낼 수 있다. 제1 분류 점수는 사용자가 제공한 피드백 등급, 설문 조사에 대한 사용자 응답, 사용자 리뷰 또는 사용자가 제공한 기타 피드백일 수 있다.
데이터 프로세싱 시스템(102)은 동작(210)에서 제1 분류 점수에 기초하여 분류 실패가 있는지 여부를 결정할 수 있다. 분류 실패는 임계치에 기초할 수 있다. 동작(210)에서, 데이터 프로세싱 시스템(102)이 제1 분류 점수에 기초하여 분류 실패를 결정하면, 데이터 프로세싱 시스템(102)은 동작(236)으로 진행하여 전달할 애플리케이션을 차단하거나 애플리케이션의 액션을 비활성화하기 위해 파라미터(예를 들어, 전달 제어 파라미터)를 업데이트할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션이 추가 액션으로 구성되었는지 여부를 동작(214)에서 결정할 수 있다. 애플리케이션이 추가 액션으로 구성되면, 데이터 프로세싱 시스템(102)은 동작(204)에서 다음 액션으로 디버깅 프로세스를 트리거링함으로써 다음 액션을 디버깅할 수 있다. 데이터 프로세싱 시스템(102)이 애플리케이션을 리뷰하거나 디버깅할 추가 액션이 없다고 결정하면, 데이터 프로세싱 시스템(102)은 230에서 디버깅 프로세스를 종료할 수 있다. 데이터 프로세싱 시스템(102)은 동작(232)의 파라미터에 기초하여 애플리케이션 전달 서버를 제어할 수 있다.
동작(210)에서, 데이터 프로세싱 시스템(102)이 제1 분류가 분류 실패를 초래하지 않는다고 결정하면, 데이터 프로세싱 시스템(102)은 동작(212)로 진행할 수 있다. 동작(212)에서, 데이터 프로세싱 시스템(102)은 기계 액션을 생성할 수 있다. 기계 액션은 기계 생성 액션을 지칭할 수 있다. 기계 액션은 애플리케이션 데이터 또는 메타데이터에 기초하여 데이터 프로세싱 시스템(102)에 의해 생성된 액션 또는 시뮬레이션 동작을 지칭할 수 있다. 기계 액션 또는 기계 생성 액션은 애플리케이션에 의해 제공된 액션 목록을 사용하지 않는 데이터 프로세싱 시스템(102)에 의해 생성되거나 식별된 액션을 지칭할 수 있다. 기계 액션은 애플리케이션 개발자 디바이스(160)에 의해 제공되는 액션 목록과 무관하게 데이터 프로세싱 시스템(102)에 의해 생성된 액션을 지칭할 수 있다.
동작(212)에서 기계 액션을 생성할 때, 데이터 프로세싱 시스템(102)은 기계 액션에 기초하여 제2 분류 점수를 생성하기 위해 동작(216)로 진행할 수 있다. 데이터 프로세싱 시스템(102)은 (예를 들어, 제2 분류기 컴포넌트(118)를 통해) 애플리케이션 개발자 디바이스(160)에 의해 제공되는 액션과 기계 생성 액션의 비교에 기초하여 제2 분류 점수를 결정할 수 있다. 데이터 프로세싱 시스템(102)은 동작(218)에서 분류 실패가 제2 점수의 결과로 발생하는지 여부를 결정할 수 있다. 분류 실패는 제2 점수가 null 값이거나 최소 실패 임계치를 충족하지 않는 것을 지칭하거나 포함할 수 있다. 분류 실패는 데이터 프로세싱 시스템(102)이 디버깅 프로세스를 종료하게 할 수 있다. 데이터 프로세싱 시스템(102)은 낭비되는 컴퓨팅 리소스 소비를 줄이거나 방지하기 위해 분류 실패에 응답하여 디버깅 프로세스를 종료할 수 있다.
동작(218)에서 데이터 프로세싱 시스템(102)이 제2 점수에 기초하여 분류 실패가 있다고 결정하면, 데이터 프로세싱 시스템은 동작(236)로 진행하여 전달 제어 파라미터를 업데이트하고 애플리케이션 또는 액션을 차단할 수 있다.
그러나, 동작(218)에서 데이터 프로세싱 시스템(102)이 분류 실패가 없다고 결정하면, 데이터 프로세싱 시스템(102)은 동작(220)로 진행하여 매칭 프로그램을 실행할 수 있다. 데이터 프로세싱 시스템(102)은 매칭 프로그램을 실행하기 위해 매칭 엔진 컴포넌트(122)를 사용할 수 있다. 애플리케이션과 유사한 제2 애플리케이션을 식별하기 위해 매칭 프로그램을 실행할 수 있다. 유사성은 예를 들어 통계적 기법을 포함하는 다양한 기법을 사용하여 결정될 수 있다. 유사성은 동일한 카테고리에 있는 애플리케이션, 동일한 유형의 애플리케이션, 유사한 기능 제공, 유사한 서비스 제공 또는 유사한 기능 또는 도구 사용에 기초할 수 있다. 데이터 프로세싱 시스템(102)은 제목, 설명, 메타데이터, 카테고리, 사용자, 리뷰 또는 다른 데이터 소스(예를 들어, 외부 데이터 소스, 서드파티 디바이스(162), 검색 엔진 결과)에 기초하여 유사한 애플리케이션을 선택할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 유사한 애플리케이션을 식별하기 위해 검색 엔진을 활용하거나 이용할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션에 대한 정보를 검색 엔진에 입력하고 검색 결과를 분석하여 유사한 애플리케이션을 식별할 수 있다.
동작(222)에서, 데이터 프로세싱 시스템은 식별자 및 쿼리를 결정할 수 있다. 데이터 프로세싱 시스템(102)이 유사한 애플리케이션을 식별할 수 없는 경우, 데이터 프로세싱 시스템은 동작(236)로 진행하여 제3 분류 점수를 생성하지 않고 전달 제어 파라미터를 업데이트할 수 있다. 데이터 프로세싱 시스템(102)은 제1 분류 점수 및 제2 분류 점수를 사용하여 전달 제어 파라미터를 업데이트할 수 있다. 데이터 프로세싱 시스템(102)은 유사한 애플리케이션이 아직 애플리케이션 전달을 위해 데이터 프로세싱 시스템(102)에 제출되지 않았기 때문에 유사한 애플리케이션을 찾지 못할 수 있다. 데이터 프로세싱 시스템(102)은 액션으로 구성되는 것과 유사한 애플리케이션을 선택할 수 있다. 데이터 프로세싱 시스템(102)은 유사한 애플리케이션이 액션으로 구성되지 않은 경우 유사한 애플리케이션을 찾지 못할 수 있다.
데이터 프로세싱 시스템(102)이 동작(222)에서 액션으로 구성된 유사한 애플리케이션이 있다고 결정하면, 데이터 프로세싱 시스템(102)은 동작(224)로 진행하여 제3 분류 점수를 생성할 수 있다. 데이터 프로세싱 시스템(102)은 제3 분류 점수를 생성하기 위해 제3 분류기 컴포넌트를 사용할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션에 대해 구성된 액션을 유사한 애플리케이션에 대해 구성된 액션과 비교하여 액션 간의 유사성 레벨을 결정할 수 있다. 예를 들어, 데이터 프로세싱 시스템(102)은 디버깅 프로세스를 수행하고 있는 애플리케이션의 액션이 유사한 애플리케이션에 대해 설정된 임의의 액션과 일치하거나 일치하지 않는지 결정할 수 있다. 데이터 프로세싱 시스템(102)이 디버깅 프로세스를 수행하고 있는 액션이 유사한 애플리케이션의 어떤 액션과도 매칭되지 않는다고 결정하면, 데이터 프로세싱 시스템(102)은 동작에 낮은 분류 점수(예를 들어, 0)를 할당할 수 있다. 데이터 프로세싱 시스템(102)이 디버깅 프로세스를 수행하고 있는 애플리케이션의 액션이 유사한 애플리케이션에 대해 설정된 액션 중 하나와 매칭된다고 결정하면, 데이터 프로세싱 시스템(102)은 액션에 높은 제3 분류 점수(예를 들어, 1)를 할당할 수 있다. 따라서, 데이터 프로세싱 시스템(102)은 데이터 프로세싱 시스템(102)에 의해 이미 조사되거나 승인된 유사한 애플리케이션에 대해 설정된 액션과 매칭되는 경우 더 높은 분류 점수를 설정한다.
동작(226)에서, 데이터 프로세싱 시스템(102)은 제3 분류 점수에 기초하여 분류 실패가 있는지 여부를 결정할 수 있다. 데이터 프로세싱 시스템(102)이 제3 분류 점수에 기초하여 분류 실패를 결정하면, 데이터 프로세싱 시스템(102)은 동작(236)으로 진행하여 전달할 애플리케이션의 승인을 차단하거나 애플리케이션에 대한 액션을 비활성화하기 위해 전달 제어 파라미터를 업데이트할 수 있다.
데이터 프로세싱 시스템(102)이 제3 분류 점수가 동작(226)에서 분류 실패를 초래하지 않는다고 결정하면, 데이터 프로세싱 시스템(102)은 동작(228)에서 조합된 분류 점수를 생성하도록 진행할 수 있다. 데이터 프로세싱 시스템(102)은 제1 분류 점수, 제2 분류 점수 및 제3 분류 점수에 기초하여 조합된 분류 점수를 생성할 수 있다. 데이터 프로세싱 시스템(102)은 예를 들어 덧셈, 곱셈, 나눗셈, 내적, 함수, 평균 또는 통계 기법을 포함하는 임의의 기법을 사용하여 분류 점수를 조합할 수 있다.
데이터 프로세싱 시스템(102)은 동작(228)에서 생성된 조합된 점수에 기초하여 동작(236)에서 전달 제어 파라미터를 업데이트할 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션의 전달을 차단하거나, 액션을 비활성화하거나, 전달을 승인하거나 액션을 승인하도록 파라미터를 업데이트할 수 있다. 데이터 프로세싱 시스템(102)은 동작(214)에서 애플리케이션이 추가 액션으로 구성되었는지 여부를 결정할 수 있다. 데이터 프로세싱 시스템(102)이 리뷰할 추가 액션이 있다고 결정하면, 데이터 프로세싱 시스템(102)은 동작(204)로 진행하여 다음 액션을 디버깅하거나 리뷰할 수 있다. 동작(214)에서, 데이터 프로세싱 시스템이 디버깅 프로세스에 입력할 나머지 액션이 없다고 결정하면, 데이터 프로세싱 시스템(102)은 동작(230)으로 진행하여 디버깅 프로세스를 종료할 수 있다.
데이터 프로세싱 시스템(102)은 파라미터에 기초하여 동작(232)에서 애플리케이션 전달 서버(110)를 제어할 수 있다. 예를 들어, 파라미터는 애플리케이션 전달 서버(110)에게 애플리케이션의 전달을 승인하거나 애플리케이션의 전달을 차단하도록 지시할 수 있다. 파라미터는 애플리케이션의 하나 이상의 액션을 비활성화하도록 애플리케이션 전달 서버(110)에 지시할 수 있고 또는 이와 달리 애플리케이션의 전달을 승인할 수 있다. 데이터 프로세싱 시스템(102)은 디버깅 프로세스의 상태 또는 결과를 애플리케이션 개발자 디바이스(160)에 알릴 수 있다. 데이터 프로세싱 시스템(102)은 애플리케이션의 대응하는 양태를 개선함으로써 데이터 프로세싱 시스템(102)에 의해 식별된 낮은 분류 점수를 해결하도록 애플리케이션 개발자 디바이스(160)에 요청할 수 있다.
도 3은 애플리케이션을 디버깅하는 예시적 방법의 도시이다. 방법(300)은 도 1에 도시된 시스템(100), 도 2에 도시된 시스템(200) 또는 도 4에 도시된 시스템(400)의 하나 이상의 컴포넌트, 시스템 또는 엘리먼트에 의해 수행될 트리거라는 수 있다. 예를 들어, 방법(300)은 데이터 프로세싱 시스템에 의해 수행될 수 있다. 동작(302)에서, 데이터 프로세싱 시스템은 애플리케이션의 액션을 식별할 수 있다. 애플리케이션 개발자에 의해 애플리케이션이 제출될 수 있다. 액션은 애플리케이션과 연관된 액션을 수행하기 위해 애플리케이션 개발자가 구성한 메시지 객체일 수 있다. 액션은 예를 들어 보기 액션, 듣기 액션, 콘텐츠 요청 액션, 탐색 액션 또는 기타 유형의 액션을 포함할 수 있다. 액션은 애플리케이션에 의해 수행될 수 있다. 액션은 애플리케이션과 연관된 엔터티에서 수행될 수 있다(예: Artist_1의 Song_A 재생).
동작(304)에서, 데이터 프로세싱 시스템은 제1 분류 점수를 결정할 수 있다. 데이터 프로세싱 시스템은 상기 애플리케이션 개발자에 의해 제공된 상기 메시징 객체의 액션의 이력적 실행에 기초하여 제1 분류 점수를 결정할 수 있다. 데이터 프로세싱 시스템은 사용자 피드백에 기초하여 제1 분류 점수를 결정할 수 있다. 데이터 프로세싱 시스템은 사용자 리뷰에 기초하여 제1 분류 점수를 결정할 수 있다. 데이터 프로세싱 시스템은 사용자 리뷰 또는 피드백의 시맨틱 분석에 기초하여 제1 분류 점수를 결정할 수 있다. 데이터 프로세싱 시스템은 설문 조사 또는 설문 조사에 대한 사용자 응답에 기초하여 제1 분류 점수를 결정할 수 있다. 데이터 프로세싱 시스템은 "애플리케이션이 <액션>을 수행할 수 있습니까?"와 같은 프롬프트에 대한 사용자 응답에 기초하여 제1 분류 점수를 결정할 수 있다. 액션은 애플리케이션 개발자가 애플리케이션이 수행하도록 구성되었음을 나타내는 액션에 해당할 수 있다.
일부 경우에, 데이터 프로세싱 시스템은 애플리케이션이 이력적 실행 정보가 없음을 결정할 수 있다. 데이터 프로세싱 시스템은 제1 분류 점수의 생성을 건너뛰거나 제1 분류 점수에 대해 기본값을 할당하도록 결정할 수 있다. 예를 들어 데이터 프로세싱 시스템은 애플리케이션이 분류 실패 테스트를 통과할 수 있도록 제1 분류 점수에 대한 기본값을 제공할 수 있다. 일부 경우에, 데이터 프로세싱 시스템은 애플리케이션에 대한 사용자 피드백을 얻기 위해 디버깅 프로세스를 일시 중지하고 애플리케이션을 전달하도록 승인할 수 있다.
동작(306)에서, 데이터 프로세싱 시스템은 기계 생성 액션을 생성할 수 있다. 데이터 프로세싱 시스템은 애플리케이션과 연관된 메타데이터에 기초하여 애플리케이션에 대한 기계 생성 액션을 생성할 수 있다. 데이터 프로세싱 시스템은 애플리케이션 개발자가 제출한 액션을 사용하지 않고 기계 생성 액션을 생성할 수 있다. 데이터 프로세싱 시스템은 애플리케이션 개발자가 제출한 액션과 관계없이 기계 생성 액션을 생성할 수 있다. 데이터 프로세싱 시스템은 애플리케이션의 설명 또는 애플리케이션과 연관된 기타 메타데이터에 기초하여 기계 생성 액션을 생성할 수 있다.
동작(308)에서, 데이터 프로세싱 시스템은 제2 분류 점수를 결정할 수 있다. 데이터 프로세싱 시스템은 애플리케이션 개발자가 제공한 액션과 기계 생성 액션을 비교하여 제2 분류 점수를 결정할 수 있다. 개발자가 제공한 액션이 기계 생성 액션과 매칭되면 데이터 프로세싱 시스템은 액션에 높은 제2 분류 점수(예: 1)를 할당할 수 있다. 개발자가 제공한 액션이 기계 생성 액션과 매칭되지 않는 경우 데이터 프로세싱 시스템은 액션에 낮은 제2 분류 점수(예: 0)를 할당할 수 있다. 동작이 기계 생성 액션과 정확히 매칭되지 않지만 유사한 경우 데이터 프로세싱 시스템은 액션에 중간 제2 분류 점수를 할당할 수 있다(예: 0.5). 개발자가 제공하는 액션은 액션이 유사한 도메인이나 카테고리 또는 버티컬에 있는 경우 기계 생성 액션과 유사할 수 있다. 예를 들어 데이터 프로세싱 시스템은 듣기 액션을 보기 액션과 유사한 것으로 간주할 수 있다.
동작(310)에서, 데이터 프로세싱 시스템은 제2 애플리케이션을 선택할 수 있다. 제2 액션은 유사한 애플리케이션일 수 있다. 데이터 프로세싱 시스템은 매칭 프로그램을 사용하여 유사한 액션을 선택할 수 있다. 제2 애플리케이션은 디버깅 프로세스를 수행하는 애플리케이션과 매칭되거나 유사한 것으로 간주될 수 있다. 데이터 프로세싱 시스템은 애플리케이션과 연관된 메타데이터에 기초하여 유사한 애플리케이션을 선택하거나 식별할 수 있다. 데이터 프로세싱 시스템은 여러 유사한 애플리케이션을 식별할 수 있다. 데이터 프로세싱 시스템은 유사성 점수(예를 들어, 통계적 유사성 점수)의 유사성 순위에 기초하여 가장 유사한 애플리케이션을 선택할 수 있다. 데이터 프로세싱 시스템은 액션으로 구성된 유사한 애플리케이션을 선택할 수 있다. 데이터 프로세싱 시스템은 추가 프로세싱을 위해 유사한 애플리케이션을 선택하도록 결정할 수 있다. 예를 들어, 데이터 프로세싱 시스템이 유사한 애플리케이션을 식별하지만 애플리케이션 중 하나만 액션으로 구성된 경우, 데이터 프로세싱 시스템은 액션으로 구성된 애플리케이션을 디버깅 프로세스에 사용될 유사한 애플리케이션(또는 제2 애플리케이션)으로 선택할 수 있다.
동작(312)에서, 데이터 프로세싱 시스템은 제3 분류 점수를 결정할 수 있다. 데이터 프로세싱 시스템은 제2 애플리케이션에 대해 승인된 액션(예를 들어, 선택된 유사한 애플리케이션)과 애플리케이션 개발자에 의한 애플리케이션의 액션의 비교에 기초하여 제3 분류 점수를 결정할 수 있다. 애플리케이션 개발자가 제공한 액션이 유사한 애플리케이션에 대해 구성된 액션과 매칭되면 데이터 프로세싱 시스템은 높은 제3 분류 점수(예: 1)를 설정할 수 있다. 개발자가 제공한 액션이 유사한 애플리케이션에 대해 구성된 액션과 매칭되지 않는 경우 데이터 프로세싱 시스템은 낮은 제3 분류 점수(예: 0)를 설정할 수 있다. 액션이 제2 애플리케이션의 어떤 액션과 정확히 매칭되지 않지만 유사한 경우 데이터 프로세싱 시스템은 액션에 중간 제3 분류 점수를 할당할 수 있다(예: 0.5). 개발자가 제공하는 액션은 액션이 유사한 도메인이나 카테고리 또는 버티컬에 있는 경우 제2 애플리케이션의 액션과 유사할 수 있다. 예를 들어 데이터 프로세싱 시스템은 듣기 액션을 보기 액션과 유사한 것으로 간주할 수 있다.
동작(314)에서, 데이터 프로세싱 시스템은 전달 제어 파라미터를 업데이트할 수 있다. 데이터 프로세싱 시스템은 제1 분류 점수, 제2 분류 점수 및 제3 분류 점수에 기초하여 전달 제어 파라미터를 업데이트할 수 있다. 데이터 프로세싱 시스템은 특정 액션 또는 전체 애플리케이션에 대한 전달 제어 파라미터를 업데이트할 수 있다. 데이터 프로세싱 시스템은 분류 점수 중 하나 또는 분류 점수 조합에 기초하여 전달 제어 파라미터를 업데이트할 수 있다. 예를 들어, 분류 점수 중 하나가 최소 임계치(예: 실패 임계치) 미만인 경우 데이터 프로세싱 시스템은 다른 분류 점수가 만족스러운지 여부에 관계없이 애플리케이션의 전달을 차단할지 아니면 액션을 비활성화할지 결정할 수 있다. 일부 경우에, 데이터 프로세싱 시스템은 세 가지 분류 점수를 조합하여 액션 또는 애플리케이션이 만족스러운지 또는 리뷰 프로세스를 통과하는지 결정할 수 있다. 액션 또는 애플리케이션이 리뷰 프로세스를 통과하면 데이터 프로세싱 시스템이 전달 제어 파라미터를 업데이트하여 애플리케이션 또는 전달을 위한 액션을 승인할 수 있다.
동작(316)에서, 데이터 프로세싱 시스템은 애플리케이션의 전달을 제어할 수 있다. 데이터 프로세싱 시스템은 애플리케이션 전달 서버에 의한 애플리케이션 전달을 제어할 수 있다. 데이터 프로세싱 시스템은 데이터 프로세싱 시스템에 의해 업데이트된 전달 제어 파라미터에 응답하여 전달을 제어할 수 있다. 데이터 프로세싱 시스템은 데이터 프로세싱 시스템에서 내부 또는 원격일 수 있는 애플리케이션 제공 서버에 지시할 수 있다. 데이터 프로세싱 시스템은 온라인 애플리케이션 마켓 플레이스에 애플리케이션의 액션을 비활성화하거나 애플리케이션 제공을 차단하도록 지시할 수 있다. 애플리케이션 전달 차단은 애플리케이션 저장소에서 애플리케이션을 제거하는 것을 포함할 수 있다. 애플리케이션 전달 차단은 애플리케이션을 리뷰 프로세스를 통과한 이전 버전으로 되 돌리는 것을 포함할 수 있다.
데이터 프로세싱 시스템은 디버깅 프로세스의 결과에 대해 애플리케이션 개발자에게 알림을 제공할 수 있다.
따라서, 본 기술 솔루션의 시스템 및 방법은 사기성 또는 오류가 있는 애플리케이션의 전달을 방지하기 위해 애플리케이션을 디버깅하거나 애플리케이션 디버깅 프로세스를 개선할 수 있다. 예를 들어 개발자는 애플리케이션에 대한 애플리케이션 패킷 키트의 일부로 XML 파일을 제공할 수 있다. XML 파일은 애플리케이션에 대한 의도와 엔터티를 포함할 수 있고, 여기서 의도는 애플리케이션이 수행할 수 있는 액션을 지칭할 수 있고 엔터티는 액션을 수행할 수 있는 콘텐츠를 포함하거나 지칭할 수 있다. 개발자는 애플리케이션에 대해 많은 수의 엔터티를 표시할 수 있다(예: 음악 스트리밍 애플리케이션의 경우 수백만 곡). 엔터티에 대한 액션 요청 또는 트리거로 인해 애플리케이션에 대한 딥 링크가 생성될 수 있다. 예를 들어, 클라이언트 컴퓨팅 디바이스는 요청을 감지하고 액션 및 엔터티에 대한 딥 링크를 생성할 수 있다. 딥 링크는 애플리케이션을 특정 상태 또는 특정 웹 페이지로 보낼 수 있다. 따라서 의도의 수 또는 객체 수가 많기 때문에 애플리케이션을 위해 생성된 딥 링크가 사기성인지, 오류인지 또는 오해의 소지가 있거나 잘못된 것인지 여부를 확인하기 위해 애플리케이션을 리뷰하거나 디버그하는 것이 어려울 수 있다.
본 기술 솔루션의 데이터 프로세싱 시스템은 애플리케이션이 실제로 액션을 수행할 수 있는지, 애플리케이션이 실제로 엔터티에 액세스할 수 있는지 또는 실제로 엔터티에 대해 액션을 수행할 수 있는지 여부를 결정할 수 있다.
데이터 프로세싱 시스템은 애플리케이션이 의도를 이행할 수 있는지 여부를 나타내는 하나 이상의 점수를 생성하는 하나 이상의 분류기를 사용할 수 있다. 데이터 프로세싱 시스템은 안정성을 향상시키기 위해 세 가지 분류기를 모두 사용하도록 구성할 수 있다. 예를 들어, 하나의 분류기가 실패하면 데이터 프로세싱 시스템은 애플리케이션을 제거할지 아니면 액션을 비활성화할지 결정할 수 있다. 데이터 프로세싱 시스템은 액션별로 또는 전체 애플리케이션에 대해 리뷰 프로세스를 수행할 수 있다. 데이터 프로세싱 시스템은 실패한 분류기 중 하나에 기초하여 액션을 자동으로 비활성화할 수 있다. 데이터 프로세싱 시스템은 특정 디지털 표면(예: 음성 기반 디지털 어시스턴트, 검색 또는 콘텐츠 요청)에 대한 액션을 자동으로 비활성화할 수 있다. 데이터 프로세싱 시스템은 디버깅 프로세스의 실패 또는 기타 결과를 나타내는 로그 또는 오류 로그를 애플리케이션 개발자에게 제공할 수 있다.
도 4는 예시적 컴퓨터 시스템(400)의 블록도이다. 컴퓨터 시스템 또는 컴퓨팅 디바이스(400)는 시스템(100) 또는 데이터 프로세싱 시스템(102)과 같은 그 컴포넌트들을 포함하거나 이들을 구현하는데 사용될 수 있다. 데이터 프로세싱 시스템(102)은 지능형 개인 어시스턴트 또는 음성 기반 디지털 어시스턴트를 포함할 수 있다. 컴퓨팅 시스템(400)은 정보를 통신하기 위한 버스(405) 또는 다른 통신 컴포넌트 및 정보를 프로세싱하기 위해 버스(405)에 연결된 프로세서(410) 또는 프로세싱 회로를 포함한다. 컴퓨팅 시스템(400)은 또한 정보를 프로세싱하기 위해 버스에 연결된 하나 이상의 프로세서들(410) 또는 프로세싱 회로들을 포함할 수 있다. 컴퓨팅 시스템(400)은 또한 정보 및 프로세서(410)에 의해 실행될 명령어들을 저장하기 위해 버스(405)에 연결된 랜덤 액세스 메모리(RAM) 또는 다른 동적 저장 디바이스와 같은 메인 메모리(415)를 포함한다. 메인 메모리(415)는 데이터 저장소(145)이거나 데이터 저장소(145)를 포함할 수 있다. 메인 메모리(415)는 또한 프로세서(410)에 의한 명령어들의 실행 동안 위치 정보, 임시 변수 또는 다른 중간 정보를 저장하기 위해 사용될 수 있다. 컴퓨팅 시스템(400)은 프로세서(410)를 위한 정적 정보 및 명령어들을 저장하기 위해 버스(405)에 연결된 ROM(read-only memory)(420) 또는 다른 정적 저장 디바이스를 더 포함할 수 있다. 솔리드 스테이트 디바이스(SSD), 자기 디스크 또는 광 디스크와 같은 저장 디바이스(425)는 정보 및 명령어들을 영구적으로 저장하기 위해 버스(405)에 연결될 수 있다. 저장 디바이스(425)는 데이터 저장소(145)를 포함하거나 데이터 저장소(145)의 일부일 수 있다.
컴퓨팅 시스템(400)은 버스(405)를 통해, 사용자에게 정보를 디스플레이하기 위한 액정 디스플레이 또는 액티브 매트릭스 디스플레이와 같은 디스플레이(435)에 연결될 수 있다. 정보 및 명령 선택을 프로세서(410)와 통신하기 위해 영숫자 및 다른 키를 포함하는 키보드와 같은 입력 디바이스(430)가 버스(405)에 연결될 수 있다. 입력 디바이스(430)는 터치 스크린 디스플레이(435)를 포함할 수 있다. 입력 디바이스(430)는 또한 방향 정보 및 명령 선택을 프로세서(410)와 통신하고 디스플레이(435) 상의 커서 움직임을 제어하기 위한 마우스, 트랙볼 또는 커서 방향 키와 같은 커서 제어를 포함할 수 있다. 디스플레이(435)는 예를 들면, 데이터 프로세싱 시스템(102), 클라이언트 컴퓨팅 디바이스(140) 또는 도 1의 다른 컴포넌트의 일부일 수 있다.
본 명세서에 기술된 프로세스, 시스템 및 방법은 프로세서(410)가 메인 메모리(415)에 포함된 명령어들의 배열을 실행하는 것에 응답하여 컴퓨팅 시스템(400)에 의해 구현될 수 있다. 이러한 명령어들은 저장 디바이스(425)와 같은 다른 컴퓨터 판독 가능 매체로부터 메인 메모리(415)로 판독될 수 있다. 메인 메모리(415)에 포함된 명령어들의 배열의 실행은 컴퓨팅 시스템(400)으로 하여금 본 명세서에 기술된 예시적 프로세스들을 수행하게 한다. 멀티-프로세싱 배열에서 하나 이상의 프로세서들은 또한 메인 메모리(415)에 포함된 명령어들을 실행하기 위해 이용될 수 있다. 본 명세서에 기술된 시스템 및 방법과 함께 소프트웨어 명령어들 대신에 또는 소프트웨어 명령어들과 조합하여 유선 회로가 사용될 수 있다. 본 명세서에 기술된 시스템 및 방법은 하드웨어 회로 및 소프트웨어의 임의의 특정 조합으로 한정되지 않는다.
예시적 컴퓨팅 시스템이 도 4에 설명되었지만. 본 명세서에 기술된 동작을 포함하는 본 발명은 본 명세서에 개시된 구조 및 그들의 구조적 균등물 또는 그들 중 하나 이상의 조합을 포함하는 디지털 전자회로 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있다.
본 명세서에서 논의된 시스템들이 사용자들에 관한 개인 정보를 수집하거나 또는 개인 정보를 사용하는 경우들에 있어서, 사용자들에게 프로그램들 또는 구성들이 개인 정보 예를 들면, 사용자의 소셜 네트워크, 소셜 액션들 또는 활동들, 사용자의 선호들 또는 사용자의 위치에 관한 정보를 수집할 것인지 여부를 제어할, 사용자와 더 관련된 콘텐츠 서버 또는 기타 데이터 프로세싱 시스템으로부터의 콘텐츠를 수신할지 또는 어떻게 수신할지 제어할 기회가 제공될 수 있다. 추가로, 특정 데이터는 그것이 저장되거나 사용되기 전에 하나 이상의 다양한 방식들로 익명화되어, 파라미터들을 생성하는 경우 개인적으로 식별가능한 정보는 제거되도록 한다. 예를 들면, 사용자의 신원은 사용자에 관한 개인적으로 식별가능한 정보가 결정될 수 없도록 익명화되거나 또는 사용자의 지리적 위치는 위치 정보가 획득된 곳에서 일반화되어(시, 우편번호 또는 주 레벨로), 사용자의 특정한 위치가 결정될 수 없도록 한다. 따라서, 사용자는 그 또는 그녀에 관한 정보가 어떻게 수집되는지 그리고 콘텐츠 서버에 의해 사용되는지에 관한 제어를 가질 수 있다.
본 발명과 본 명세서에 기술된 동작들은 본 발명에 개시된 구조들 및 그들의 구조적 균등물들 또는 그들 중 하나 이상의 조합들을 포함하는 디지털 전자회로 또는 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어에서 구현될 수 있다. 본 명세서에 기술된 본 발명은 하나 이상의 컴퓨터 프로그램들 예를 들어, 데이터 프로세싱 장치에 의해 실행 또는 데이터 프로세싱 장치의 동작을 제어하기 위한 컴퓨터 저장 매체에 인코딩된 컴퓨터 프로그램 명령어들의 하나 이상의 회로들로서 구현될 수 있다. 대안적으로 또는 추가로, 프로그램 명령어들은 데이터 프로세싱 장치에 의해 실행하기 위한 적절한 수신기 장치에 전송하기 위한 정보를 인코딩하기 위해 생성된 인공적으로 생성된 전파된 신호 즉, 기계-생성 전기, 광학 또는 전자기적 신호에 인코딩될 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 저장 디바이스, 컴퓨터 판독가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 어레이 또는 디바이스 또는 그들 중 하나 이상의 조합이거나 그에 포함될 수 있다. 컴퓨터 저장 매체는 전파된 신호가 아니지만, 컴퓨터 저장 매체는 인공적으로 생성된 전파된 신호에 인코딩된 컴퓨터 프로그램 명령어들의 소스 또는 목적지일 수 있다. 또한, 컴퓨터 저장 매체는 하나 이상의 별개의 컴포넌트들 또는 매체(예를 들면, 다수의 CD들, 디스크들, 또는 다른 저장 디바이스들)이거나 또는 그에 포함될 수 있다. 본 명세서에 기술된 동작들은 하나 이상의 컴퓨터 판독가능 저장 디바이스들에 저장된 또는 다른 소스들로부터 수신된 데이터에서 데이터 프로세싱 장치에 의해 수행되는 동작들로서 구현될 수 있다.
용어 "데이터 프로세싱 시스템", "컴퓨팅 디바이스", "컴포넌트" 또는 "데이터 프로세싱 장치"는 예시로서 프로그래머블 프로세서, 컴퓨터, 시스템 온 칩 또는 앞서 언급된 것들 중 다수의 것들 또는 조합들을 포함하는 데이터를 프로세싱하기 위한 다양한 장치, 디바이스들 및 기계들을 포함한다. 상기 장치는 특수 목적 논리 회로, 예를 들어 FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)을 포함할 수 있다. 또한, 장치는 하드웨어 이외에 문제의 컴퓨터 프로그램에 대한 실행 환경을 생성하는 코드, 예를 들어 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 크로스-플랫폼 런타임(cross-platform runtime) 실행 환경, 가상 머신 또는 그들 중 하나 이상의 조합을 구성하는 코드를 포함할 수 있다. 장치 및 실행 환경은 웹 서비스들, 분산 컴퓨팅 및 그리드 컴퓨팅 인프라와 같은 다양한 컴퓨팅 모델 인프라를 실현할 수 있다. 예를 들면, 다이렉트 액션 API(108) 또는 NLP 컴포넌트(106) 및 다른 데이터 프로세싱 시스템(102) 컴포넌트들은 하나 이상의 데이터 프로세싱 장치, 시스템, 컴퓨팅 디바이스 또는 프로세서를 포함하거나 공유할 수 있다.
컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 앱, 스크립트 또는 코드로도 알려져 있음)은 컴파일된 또는 인터프리트된 언어들, 선언적 또는 절차적 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 작성될 수 있으며, 독립 실행형 프로그램으로서 또는 모듈, 컴포넌트, 서브루틴, 객체로서 또는 컴퓨팅 환경에서 사용하기에 적합한 기타 단위를 포함하는 임의의 형태로 배포될 수 있다. 컴퓨터 프로그램은 파일 시스템의 파일에 대응할 수 있다. 컴퓨터 프로그램은 다른 프로그램들이나 데이터, 예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트들을 가지는 파일의 부분에, 문제되는 프로그램 전용 단일의 파일에 또는 다수의 조정된 파일들, 예를 들어, 하나 이상의 모듈들, 서브프로그램 또는 코드의 일부를 저장하는 파일들에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 또는 하나의 사이트에 위치되어 있거나 다수의 사이트들에 걸쳐서 분산되어 있고 통신 네트워크에 의해 상호연결된 다수의 컴퓨터들에서 실행되도록 배포될 수 있다.
본 명세서에 기술된 프로세스들 및 논리 흐름들은 입력 데이터를 동작하고 출력을 생성함으로써 액션들을 수행하기 위해 하나 이상의 컴퓨터 프로그램들(예: 데이터 프로세싱 시스템(102)의 컴포넌트들)을 실행하는 하나 이상의 프로그래머블 프로세서들에 의해 수행될 수 있다. 프로세스들 및 논리 흐름들은 또한 FPGA 또는 ASIC와 같은 특수 목적 논리 회로에 의해 수행될 수 있고, 장치는 또한 특수 목적 논리 회로로서 구현될 수 있다. 컴퓨터 프로그램 명령어들 및 데이터를 저장하기에 적합한 디바이스들은 예를 들어, EPROM, EEPROM 및 플래시 메모리 디바이스들과 같은 반도체 메모리 디바이스들; 예를 들어, 내부 하드 디스크들 또는 이동식 디스크들과 같은 자기 디스크들; 및 CD-ROM 및 DVD-ROM 디스크들을 포함하는 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스들을 포함한다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보충되거나 그 안에 통합될 수 있다.
본 명세서에서 기술된 발명은 예를 들어 데이터 서버와 같은 백엔드 컴포넌트, 애플리케이션 서버와 같은 미들웨어 컴포넌트 또는 그래픽 사용자 인터페이스를 가지는 사용자 컴퓨터 또는 사용자가 본 명세서에 기술된 본 발명의 구현예와 인터렉션할 수 있는 웹 브라우저와 같은 프론트엔드 컴포넌트 또는 하나 이상의 상기 백엔드, 미들웨어 또는 프론트엔드 컴포넌트들의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은 디지털 데이터 통신의 임의의 형태 또는 매체, 예를 들어 통신 네트워크에 의해 상호연결될 수 있다. 통신 네트워크들의 예는 근거리 통신망("LAN") 및 광역 통신망("WAN"), 인터-네트워크(예를 들어, 인터넷) 및 피어투피어 네트워크(예를 들어, 애드혹 피어투피어 네트워크)를 포함한다.
시스템(100) 또는 시스템(400)과 같은 컴퓨팅 시스템은 클라이언트 및 서버를 포함할 수 있다. 사용자와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크(예: 네트워크(105)를 통해 인터렉션한다. 사용자와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 사용자-서버 관계를 갖는 컴퓨터 프로그램에 의해 발생한다. 일부 구현예에서, 서버는(예를 들어, 사용자 디바이스와 인터렉션하는 사용자에게 데이터를 디스플레이하고 사용자 입력을 수신하기 위해) 사용자 디바이스에 데이터(예를 들어, 디지털 컴포넌트를 표현하는 데이터 패킷들)를 전송한다. 클라이언트 디바이스에서 생성된 데이터(예를 들어, 사용자 인터렉션의 결과)는 서버에서, 클라이언트 디바이스로부터 수신될 수 있다(예를 들어, 클라이언트 컴퓨팅 디바이스(140) 또는 애플리케이션 개발자 디바이스(160) 또는 서드 파티 디바이스(162)으로부터 데이터 프로세싱 시스템(102)에 의해 수신).
동작들이 특정한 순서로 도면에 도시되었지만, 상기 동작들은 도시된 특정한 순서로 또는 시계열적 순서로 수행되어야 함을 요구하는 것이 아니며, 모든 도시된 동작들이 수행되어야만 하는 것은 아니다. 본 명세서에 기술된 액션들은 다른 순서로 수행될 수 있다.
다양한 시스템 컴포넌트들의 분리는 모든 구현예들에서의 분리를 필요로 하지 않으며, 기술된 프로그램 컴포넌트들은 단일 하드웨어 또는 소프트웨어 제품에 포함될 수 있다. 예를 들어, NLP 컴포넌트(106) 또는 다이렉트 액션 API(108)는 단일 컴포넌트, 앱 또는 프로그램, 또는 하나 이상의 프로세싱 회로를 갖는 논리 디바이스이거나 또는 데이터 프로세싱 시스템(102)의 하나 이상의 서버의 일부일 수 있다.
일부 예시적 구현예들을 설명하였지만, 전술한 예는 예시적인 것이며 제한적인 것은 아니며 예시로서 제시되었다. 특히, 본 명세서에 제시된 많은 예들이 방법 동작들 또는 시스템 엘리먼트들의 특정 조합을 포함하지만, 그러한 동작들 및 엘리먼트들은 동일한 목적을 달성하기 위해 다른 방식으로 결합될 수 있다. 하나의 구현예와 관련하여 논의된 동작, 엘리먼트 및 구성들은 다른 구현 또는 구현예들에서 유사한 역할로부터 배제되지 않는다.
본 명세서에서 사용된 문구 및 용어는 설명의 목적을 위한 것이며 제한적인 것으로 간주되어서는 안된다. "포함(including)" "포함(comprising)" "포함(having)" "포함(containing)" "포함(involving)" "포함(characterized by)" "포함(characterized in that)" 및 본 명세서에서 이들의 변형들은 열거된 아이템들, 그 균등물 및 추가 아이템들뿐만 아니라 배타적으로 열거된 아이템들로 구성되는 대안적 구현예들을 포함하는 것을 의미한다. 일 구현예에서, 본 명세서에 기술된 시스템 및 방법은 설명된 엘리먼트들, 동작들 또는 컴포넌트들 중 하나, 하나 이상의 조합 또는 전부로 구성된다.
단수형으로 본 명세서에서 언급된 시스템 및 방법의 구현 또는 엘리먼트에 관한 참조는 이들 엘리먼트들 복수형을 포함하는 구현예들을 포함할 수 있고, 복수형으로 본 명세서에서 언급된 임의의 구현예 또는 엘리먼트에 대한 임의의 참조는 단수형 엘리먼트를 포함하는 구현예들을 포함할 수 있다. 단수 또는 복수 형태의 참조는 현재 개시된 시스템 또는 방법, 그들의 컴포넌트들, 동작 또는 엘리먼트를 단수 또는 복수 구성으로 제한하려는 것이 아니다. 임의의 정보, 동작 또는 엘리먼트에 기초한 임의의 동작 또는 엘리먼트에 대한 참조는 해당 동작 또는 엘리먼트가 적어도 부분적으로 임의의 정보, 동작 또는 엘리먼트에 기초하는 구현예를 포함할 수 있다.
본 명세서에 개시된 임의의 구현예는 임의의 다른 구현예 또는 실시예와 결합될 수 있으며, "구현예", "일부 구현예", "일 구현예" 등은 반드시 상호 배타적이지 않고, 구현예와 관련하여 기술된 특정한 구성, 구조 또는 특성이 적어도 하나의 구현예 또는 실시예에 포함될 수 있음을 나타낸다. 본 명세서에 사용된 용어들은 반드시 모두 동일한 구현예를 지칭하는 것은 아니다. 임의의 구현예는 본 명세서에 개시된 양태들 및 구현예들과 일관된 방식으로 임의의 다른 구현예와 포괄적으로 또는 배타적으로 결합될 수 있다.
"또는"에 대한 참조는 "또는"을 사용하여 기술된 임의의 용어가 기술된 용어들 중 하나, 하나 이상 및 전부를 나타낼 수 있도록 포괄적인 것으로 해석될 수 있다. "A 및 B 중 적어도 하나"에 대한 참조는 A 및 B 뿐만 아니라 A와 B 둘 모두를 포함할 수 있다. "포함하는" 또는 다른 개방 용어와 함께 사용되는 이러한 참조는 추가적 아이템들을 포함할 수 있다.
도면, 상세한 설명 또는 청구범위의 기술적 구성에 참조 부호가 있는 경우, 상기 참조 부호는 도면, 상세한 설명 및 청구 범위의 명료성을 증가시키기 위해 포함되었다. 따라서, 참조 부호들 또는 그것들의 부재는 임의의 청구항 엘리먼트들의 범위에 대해 어떠한 제한 효과도 가지지 않는다.
본 명세서에 기술된 시스템 및 방법은 그 특성을 벗어나지 않고 다른 특정 형태로 구체화될 수 있다. 전술한 구현예들은 기술된 시스템 및 방법을 제한하는 것이라기 보다는 예시적인 것이다. 따라서, 본 명세서에 기술된 시스템 및 방법의 범위는 상술한 설명보다는 첨부된 청구범위에 의해 표시되며, 청구범위의 의미 및 범위 내에서의 변경들도 그 안에 포함된다.
Claims (18)
- 애플리케이션 전달 서버를 통해 전달하기 위해 애플리케이션들을 디버깅하는 시스템으로서,
하나 이상의 프로세서들 및 메모리를 포함하는 데이터 프로세싱 시스템을 포함하며, 상기 데이터 프로세싱 시스템은:
애플리케이션 개발자에 의해 제출된 애플리케이션에 대해, 상기 애플리케이션 개발자의 액션으로 구성된 메시징 객체를 식별하고;
상기 애플리케이션과 연관된 메타데이터에 기초하여, 상기 애플리케이션과 유사한 제2 애플리케이션을 선택하고;
상기 제2 애플리케이션에 대해 승인된 액션과 상기 애플리케이션 개발자에 의해 제공된 상기 메시징 객체의 액션에 기초하여 분류 점수를 결정하고;
상기 분류 점수에 기초하여 전달 제어 파라미터를 업데이트하고, 상기 전달 제어 파라미터는 상기 애플리케이션 전달 서버가 상기 애플리케이션의 전달을 제어하게 하는 표시자를 포함하고; 그리고
상기 데이터 프로세싱 시스템에 의해 업데이트된 상기 전달 제어 파라미터에 응답하여, 상기 애플리케이션 전달 서버에 의한 상기 애플리케이션의 전달을 제어하는, 시스템. - 청구항 1에 있어서, 상기 데이터 프로세싱 시스템은:
애플리케이션 개발자 디바이스로부터 상기 애플리케이션을 수신하고; 그리고
상기 애플리케이션에 대해 상기 애플리케이션 개발자에 의해 설정된 복수의 액션들을 포함하는 상기 애플리케이션과 연관된 데이터 파일을 수신하는, 시스템. - 청구항 1에 있어서, 상기 데이터 프로세싱 시스템은:
상기 애플리케이션이 상기 애플리케이션 전달 서버에 의한 전달을 위해 상기 애플리케이션 개발자에 의해 업로드된 새로운 애플리케이션이라는 표시를 수신하고; 그리고
상기 새로운 애플리케이션의 표시에 응답하여 상기 분류 점수의 결정을 포함하는 디버깅 프로세스를 트리거링하는, 시스템. - 청구항 1에 있어서, 상기 데이터 프로세싱 시스템은:
상기 애플리케이션이 상기 애플리케이션 전달 서버에 의한 전달을 위해 상기 애플리케이션 개발자에 의해 업로드된 상기 애플리케이션의 업데이트된 버전이라는 표시를 수신하고; 그리고
상기 애플리케이션의 업데이트된 버전의 표시에 응답하여, 상기 분류 점수의 결정을 포함하는 디버깅 프로세스를 트리거링하는, 시스템. - 청구항 1에 있어서, 상기 데이터 프로세싱 시스템은:
상기 애플리케이션이 설치된 클라이언트 컴퓨팅 디바이스로부터 상기 애플리케이션에 대한 부정적인 피드백의 표시를 수신하고; 그리고
상기 애플리케이션에 대한 부정적인 피드백의 표시에 응답하여, 상기 분류 점수의 결정을 포함하는 디버깅 프로세스를 트리거링하는, 시스템. - 청구항 1에 있어서,
클라이언트 컴퓨팅 디바이스에 설치하기 위해 상기 애플리케이션을 전달하기 전에 상기 분류 점수를 결정하는 것을 포함하는 디버깅 프로세스를 트리거링하는, 시스템. - 청구항 1에 있어서,
상기 데이터 프로세싱 시스템은 유사성 임계치보다 큰 상기 애플리케이션과 상기 제2 애플리케이션 간의 유사성 점수에 기초하여 상기 애플리케이션이 상기 제2 애플리케이션과 유사한지 결정하는, 시스템. - 청구항 1에 있어서, 상기 데이터 프로세싱 시스템은:
상기 분류 점수에 기초하여 상기 애플리케이션의 전달을 승인하기로 결정하고; 그리고
상기 애플리케이션 전달 서버에 의해 상기 애플리케이션을 전달하도록 상기 전달 제어 파라미터를 업데이트하는, 시스템. - 청구항 1에 있어서, 상기 데이터 프로세싱 시스템은:
상기 분류 점수에 기초하여 분류 실패를 결정하고;
상기 분류 실패에 응답하여, 상기 애플리케이션 전달 서버에 의해 상기 애플리케이션을 전달을 차단하도록 상기 전달 제어 파라미터를 업데이트하고; 그리고
상기 분류 실패에 대한 알림을 상기 애플리케이션 개발자에게 전송하는, 시스템. - 청구항 1에 있어서, 상기 데이터 프로세싱 시스템은:
상기 분류 점수에 기초하여 분류 실패를 결정하고; 그리고
상기 분류 실패에 응답하여, 상기 애플리케이션 개발자로부터 상기 애플리케이션의 업데이트된 버전을 요청하는, 시스템. - 청구항 1에 있어서, 상기 데이터 프로세싱 시스템은:
상기 메시징 객체의 액션에 대해, 상기 분류 점수에 기초하여 분류 실패를 결정하고;
상기 분류 실패에 응답하여, 상기 애플리케이션을 통한 실행을 위한 상기 메시징 객체의 액션을 비활성화하고; 그리고
상기 애플리케이션 전달 서버에 의해 전달하기 위해 상기 애플리케이션을 허가하는, 시스템. - 청구항 1에 있어서, 상기 데이터 프로세싱 시스템은:
상기 애플리케이션에 대해 설정된 복수의 액션들을 식별하고;
상기 복수의 액션들 각각에 대한 디버깅 프로세스를 통해 분류 점수를 결정하고; 그리고
상기 디버깅 프로세스에 기초하여 상기 복수의 액션들 중 하나 이상을 비활성화하도록 상기 전달 제어 파라미터를 업데이트하는, 시스템. - 청구항 1에 있어서, 상기 데이터 프로세싱 시스템은:
상기 애플리케이션의 메시징 객체의 액션을 실행하기 위한 복수의 디지털 표면들을 식별하고; 그리고
상기 복수의 디지털 표면들 중 한 디지털 표면 상에서 상기 애플리케이션의 메시징 객체의 액션의 실행을 비활성화하기 위해 상기 전달 제어 파라미터를 업데이트하는, 시스템. - 청구항 1에 있어서, 상기 데이터 프로세싱 시스템은:
제3 애플리케이션에 대한 디버깅 프로세스를 트리거링하고;
상기 제3 애플리케이션에 대한 디버깅 프로세스를 통해, 상기 제3 애플리케이션에 대한 분류 점수를 결정하고;
상기 제3 애플리케이션에 대한 분류 점수와 제1 분류 임계치의 비교에 기초하여 제1 분류 실패를 검출하고;
상기 제1 분류 실패의 검출에 응답하여, 상기 제3 애플리케이션에 대한 추가 분류 점수를 결정하기 전에 상기 제3 애플리케이션에 대한 디버깅 프로세스를 종료하고; 그리고
상기 제1 분류 실패의 알림을 관리자 디바이스에 전송하는, 시스템. - 청구항 1에 있어서, 상기 전달 제어 파라미터에 포함되는 표시자는 명령어, 숫자 파라미터, 영숫자 값, 플래그 또는 태그인, 시스템.
- 애플리케이션 전달 서버를 통해 전달하기 위해 애플리케이션들을 디버깅하는 방법으로서,
하나 이상의 프로세서 및 메모리를 포함하는 데이터 프로세싱 시스템에 의해, 애플리케이션 개발자에 의해 제출된 애플리케이션에 대해, 상기 애플리케이션 개발자의 액션으로 구성된 메시징 객체를 식별하는 단계;
애플리케이션과 연관된 메타데이터에 기초하여 데이터 프로세싱 시스템에 의해, 상기 애플리케이션과 유사한 제2 애플리케이션을 선택하는 단계;
상기 데이터 프로세싱 시스템에 의해, 상기 제2 애플리케이션에 대해 승인된 액션과 상기 애플리케이션 개발자에 의해 제공된 상기 메시징 객체의 액션에 기초하여 분류 점수를 결정하는 단계;
상기 데이터 프로세싱 시스템에 의해, 상기 분류 점수에 기초하여 전달 제어 파라미터를 업데이트하는 단계, 상기 전달 제어 파라미터는 상기 애플리케이션 전달 서버가 상기 애플리케이션의 전달을 제어하게 하는 표시자를 포함하고; 및
상기 데이터 프로세싱 시스템에 의해, 상기 데이터 프로세싱 시스템에 의해 업데이트된 상기 전달 제어 파라미터에 응답하여, 상기 애플리케이션 전달 서버에 의한 상기 애플리케이션의 전달을 제어하는 단계를 포함하는, 방법. - 청구항 16에 있어서,
상기 데이터 프로세싱 시스템에 의해, 애플리케이션 개발자 디바이스로부터 상기 애플리케이션을 수신하는 단계; 및
상기 데이터 프로세싱 시스템에 의해, 상기 애플리케이션에 대해 상기 애플리케이션 개발자에 의해 설정된 복수의 액션들을 포함하는 상기 애플리케이션과 연관된 데이터 파일을 수신하는 단계를 포함하는, 방법. - 청구항 16에 있어서,
상기 분류 점수에 기초하여, 상기 애플리케이션의 전달을 승인하기로 결정하는 단계; 및
상기 애플리케이션 전달 서버에 의해 상기 애플리케이션을 전달하도록 상기 전달 제어 파라미터를 업데이트하는 단계를 포함하는, 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2019/022051 WO2020185224A1 (en) | 2019-03-13 | 2019-03-13 | Assessing applications for delivery via an application delivery server |
| KR1020217026371A KR102587887B1 (ko) | 2019-03-13 | 2019-03-13 | 애플리케이션 전달 서버를 통해 전달을 위한 애플리케이션 디버깅 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217026371A Division KR102587887B1 (ko) | 2019-03-13 | 2019-03-13 | 애플리케이션 전달 서버를 통해 전달을 위한 애플리케이션 디버깅 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230144664A KR20230144664A (ko) | 2023-10-16 |
| KR102637614B1 true KR102637614B1 (ko) | 2024-02-16 |
Family
ID=65995853
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217026371A KR102587887B1 (ko) | 2019-03-13 | 2019-03-13 | 애플리케이션 전달 서버를 통해 전달을 위한 애플리케이션 디버깅 |
| KR1020237033901A KR102637614B1 (ko) | 2019-03-13 | 2019-03-13 | 애플리케이션 전달 서버를 통해 전달을 위한 애플리케이션 디버깅 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217026371A KR102587887B1 (ko) | 2019-03-13 | 2019-03-13 | 애플리케이션 전달 서버를 통해 전달을 위한 애플리케이션 디버깅 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11385990B2 (ko) |
| EP (2) | EP3729259B1 (ko) |
| KR (2) | KR102587887B1 (ko) |
| CN (1) | CN112912840A (ko) |
| WO (1) | WO2020185224A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240031894A (ko) | 2022-09-01 | 2024-03-08 | 경희대학교 산학협력단 | 푸리에 변환된 값들의 시간에 따른 변화를 인공지능으로 분석하여 모터의 고장을 진단하는 시스템 및 방법 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8135775B1 (en) * | 2007-08-31 | 2012-03-13 | Crimson Corporation | Systems and methods for staged deployment of software |
| US10642364B2 (en) * | 2009-04-02 | 2020-05-05 | Oblong Industries, Inc. | Processing tracking and recognition data in gestural recognition systems |
| US8713684B2 (en) * | 2012-02-24 | 2014-04-29 | Appthority, Inc. | Quantifying the risks of applications for mobile devices |
| KR101416089B1 (ko) * | 2012-08-06 | 2014-07-09 | 인크로스 주식회사 | 웹 어플리케이션 저작을 위한 통합 플랫폼 및 그 저작 방법 |
| WO2014137321A1 (en) | 2013-03-05 | 2014-09-12 | Mcafee, Inc. | Modification of application store output |
| US9098707B2 (en) | 2013-10-14 | 2015-08-04 | International Business Machines Corporation | Mobile device application interaction reputation risk assessment |
| US9223970B2 (en) * | 2014-01-14 | 2015-12-29 | Citrix Systems, Inc. | Evaluating application integrity |
| EP3195127B1 (en) * | 2014-09-15 | 2023-04-05 | PerimeterX, Inc. | Analyzing client application behavior to detect anomalies and prevent access |
| US9454412B2 (en) * | 2014-10-03 | 2016-09-27 | Benefitfocus.Com, Inc. | Systems and methods for classifying and analyzing runtime events |
| EP4155984A1 (en) * | 2014-10-31 | 2023-03-29 | Proofpoint, Inc. | Systems and methods for privately performing application security analysis |
| US10324926B2 (en) * | 2015-05-15 | 2019-06-18 | Microsoft Technology Licensing, Llc | System and method for extracting and sharing application-related user data |
| CN105068921B (zh) * | 2015-07-23 | 2018-04-10 | 清华大学 | 基于App对比分析的Android应用商店可信度的评价方法 |
| US9858410B2 (en) * | 2015-10-26 | 2018-01-02 | Symantec Corporation | Techniques for automated application analysis |
| EP3267349A1 (en) * | 2016-07-04 | 2018-01-10 | Cyan Security Group GmbH | Method and computer system for determining a threat score |
| US10789509B2 (en) * | 2018-01-24 | 2020-09-29 | WeR.AI, Inc. | Systems and methods for generating machine learning applications |
| US10664256B2 (en) * | 2018-06-25 | 2020-05-26 | Microsoft Technology Licensing, Llc | Reducing overhead of software deployment based on existing deployment occurrences |
| US10423403B1 (en) * | 2018-11-29 | 2019-09-24 | Capital One Services, Llc | Utilizing a machine learning model to predict metrics for an application development process |
-
2019
- 2019-03-13 US US16/333,535 patent/US11385990B2/en active Active
- 2019-03-13 EP EP19714914.9A patent/EP3729259B1/en active Active
- 2019-03-13 CN CN201980002163.4A patent/CN112912840A/zh active Pending
- 2019-03-13 KR KR1020217026371A patent/KR102587887B1/ko active IP Right Grant
- 2019-03-13 EP EP23185798.8A patent/EP4235438A3/en active Pending
- 2019-03-13 WO PCT/US2019/022051 patent/WO2020185224A1/en unknown
- 2019-03-13 KR KR1020237033901A patent/KR102637614B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20210114515A (ko) | 2021-09-23 |
| US11385990B2 (en) | 2022-07-12 |
| US20210240598A1 (en) | 2021-08-05 |
| EP3729259B1 (en) | 2023-07-19 |
| EP4235438A2 (en) | 2023-08-30 |
| WO2020185224A1 (en) | 2020-09-17 |
| KR102587887B1 (ko) | 2023-10-10 |
| CN112912840A (zh) | 2021-06-04 |
| EP3729259A1 (en) | 2020-10-28 |
| KR20230144664A (ko) | 2023-10-16 |
| EP4235438A3 (en) | 2023-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11461221B2 (en) | Action validation for digital assistant-based applications | |
| US11599336B2 (en) | Generating and updating voice-based software applications using application templates | |
| US11514896B2 (en) | Interfacing with applications via dynamically updating natural language processing | |
| US20220308987A1 (en) | Debugging applications for delivery via an application delivery server | |
| US20210158814A1 (en) | Interfacing with applications via dynamically updating natural language processing | |
| US20240144928A1 (en) | Systems and methods to verify trigger keywords in acoustic-based digital assistant applications | |
| US11935536B2 (en) | Action validation for digital assistant-based applications | |
| KR102637614B1 (ko) | 애플리케이션 전달 서버를 통해 전달을 위한 애플리케이션 디버깅 | |
| US20240221747A1 (en) | Action validation for digital assistant-based applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |