KR20210091328A

KR20210091328A - 애플릿의 음성 제어방법, 기기 및 저장매체

Info

Publication number: KR20210091328A
Application number: KR1020217020655A
Authority: KR
Inventors: 난성 스; 마린 셰; 린펑 지; 자오 차오
Original assignee: 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date: 2020-06-29
Filing date: 2020-09-24
Publication date: 2021-07-21
Also published as: JP7373063B2; US20210327426A1; JP2022550609A; US11984120B2; EP4170650A1

Abstract

본 출원은 애플릿의 음성 제어방법, 기기 및 저장매체를 개시하는 바, 컴퓨터 기술분야 중의 음성 기술에 관한 것이며, 구체적인 구현 방안은, 음성 수집 기기를 통해 사용자의 스마트 음성 기기의 타겟 애플릿에 대한 음성 제어 명령을 획득하고; 음성 인터랙션 시스템이 음성 제어 명령에 대해 음성 인식과 의도 해석을 수행하여 의도 정보를 획득하고, 의도 정보를 타겟 애플릿에 전송하고; 타겟 애플릿이 의도 정보를 수신하고, 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하고, 타겟 애플릿의 쓰레드가 제어 명령을 실행한다. 본 출원의 실시예는 음성 인터랙션 시스템과 타겟 애플릿 프레임 사이의 인터랙션을 통해 타겟 애플릿에 대한 음성 제어를 구현함으로써, 인터랙션 과정의 편리성을 향상시키고, 사용자가 애플릿을 사용하는 체험을 향상시킨다. 또한 애플릿의 스마트 음성 기기에서의 배포와 사용량에 대해 유력한 지원을 제공한다.

Description

애플릿의 음성 제어방법, 기기 및 저장매체

본 출원의 실시예의 컴퓨터 기술 중의 음성 기술에 관한 것으로, 특히 애플릿의 음성 제어방법, 기기 및 저장매체에 관한 것이다.

본 출원은 2020년 6월 29일에 중국 특허국에 제출한 출원번호가 202010605375.6이고, 출원의 명칭이 "애플릿의 음성 제어방법, 기기 및 저장매체"인 중국 특허 출원의 우선권을 주장하며, 이의 전체 내용은 인용을 통해 본 출원에 결합된다.

인공 지능과 애플릿의 급속한 발전으로 스마트 소프트웨어 및 하드웨어 장치 중에서 애플릿을 중심으로 한 다양한 애플리케이션과 제품이 지속적으로 주목 받고 있다. 다양한 스마트 하드웨어 제품은 애플릿을 내장 및 배포하여 사용자에게 더 많은 서비스를 제공한다.

현재, 스크린 스피커, 차량용 스크린 등과 같은 음성 인터랙션을 지원하는 많은 스마트 음성 기기도 애플릿을 사용할 수 있지만, 애플릿의 배포는 주로 수동 호출에 의존한다. 사용자와 애플릿의 인터랙션 과정도 주로 수동 터치를 통해 인터랙션하며, 예컨대 스크린 스피커의 정보 동영상 애플릿은 수동으로 애플릿 센터를 트리거하고 선택한 후에 호출될 수 있으며, 수동으로 스크롤하고 재생을 클릭하는 등 조작을 수행해야만 브라우징하고 관람할 수 있다.

기존 스마트 음성 기기와 애플릿의 인터랙션 방식은 조작이 불편하다. 터치 방식을 통한 인터랙션은 차량용 스크린, TV 스크린 등 스마트 하드웨어 기기의 경우 더없이 불편하고, 특히 운전 과정에 차량용 응용에 대한 조작은 안전 위험을 일으킬 수 있으며; 스크린을 터치 조작하면 음성 인터랙션이 지속적으로 수행할 수 없게 되어, 주의력의 분산을 일으킨다. 그리고 사용자의 인터랙션의 조작의 분리와 사용의 불편성은 사용자가 중도에서 종료하거나 포기하도록 한다. 프로세스가 너무 길며, 예컨대 소장한 애플릿 등을 찾기 위해 애플릿 센터를 거쳐야만 진입할 수 있으므로, 상술한 요소에 따라 사용자의 체험이 매우 나쁘다.

본 출원은 애플릿의 음성 제어방법, 기기 및 저장매체를 제공하여, 스마트 음성 기기에서 애플릿의 음성 제어를 구현함으로써, 사용자와 애플릿의 인터랙션의 편리성을 향상시키고, 이로부터 인터랙션 체험을 향상시킨다.

본 출원의 일 측면에 따르면, 스마트 음성 기기에 응용되되, 상기 스마트 음성 기기에는 음성 인터랙션 시스템과 타겟 애플릿이 배치되어 있는 애플릿의 음성 제어방법을 제공하는 바, 상기 방법은,

상기 타겟 애플릿이 상기 음성 인터랙션 시스템에서 전송한 의도 정보를 수신하되, 이중, 상기 의도 정보는 상기 음성 인터랙션 시스템이 사용자가 말한 타겟 애플릿에 대한 음성 제어 명령에 대해 음성 인식과 의도 해석을 수행한 후 획득된 것인 단계;

상기 타겟 애플릿이 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하고, 타겟 애플릿의 쓰레드가 상기 제어 명령을 실행하는 단계를 포함한다.

본 출원의 제2 측면에 따르면, 스마트 음성 기기에 응용되되, 상기 스마트 음성 기기에는 음성 인터랙션 시스템과 타겟 애플릿이 배치되어 있는 애플릿의 음성 제어방법을 제공하는 바, 상기 방법은,

상기 음성 인터랙션 시스템이 사용자가 말한 타겟 애플릿의 음성 제어 명령을 획득하는 단계;

상기 음성 인터랙션 시스템이 상기 음성 제어 명령에 대해 음성 인식과 의도 해석을 수행하여 의도 정보를 획득하는 단계;

상기 음성 인터랙션 시스템이 상기 의도 정보를 상기 타겟 애플릿에 전송하여, 상기 타겟 애플릿이 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하고 실행하는 단계를 포함한다.

본 출원의 제3 측면에 따르면, 스마트 음성 기기에 응용되되, 상기 스마트 음성 기기에는 음성 인터랙션 시스템과 타겟 애플릿이 배치되어 있는, 애플릿의 음성 제어방법을 제공하는 바, 상기 방법은,

음성 수집 기기를 통해 사용자의 스마트 음성 기기의 타겟 애플릿에 대한 음성 제어 명령을 획득하는 단계;

음성 인터랙션 시스템이 상기 음성 제어 명령에 대해 음성 인식과 의도 해석을 수행하여 의도 정보를 획득하고, 상기 의도 정보를 타겟 애플릿에 전송하는 단계;

타겟 애플릿이 상기 의도 정보를 수신하고, 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하고, 타겟 애플릿의 쓰레드가 상기 제어 명령을 실행하는 단계를 포함한다.

본 출원의 제4 측면에 따르면, 음성 인터랙션 시스템과 타겟 애플릿이 배치된 스마트 음성 기기를 제공하는 바; 여기서 음성 인터랙션 시스템은,

음성 수집 기기를 통해 사용자의 스마트 음성 기기의 타겟 애플릿에 대한 음성 제어 명령을 획득하는 획득모듈;

상기 음성 제어 명령에 대해 음성 인식과 의도 해석을 수행하여 의도 정보를 획득하고, 상기 의도 정보를 타겟 애플릿에 전송하는 음성 처리모듈을 포함하고;

상기 타겟 애플릿은,

상기 의도 정보를 수신하는 수신모듈;

상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하는 명령 전환모듈;

타겟 애플릿의 쓰레드를 통해 상기 제어 명령을 실행하는 실행모듈을 포함한다.

본 출원의 제6측면에 따르면, 전자기기를 제공하는 바,

적어도 하나의 프로세서; 및

상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하되,

상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1 측면 또는 제2 측면 또는 제3 측면에 따른 방법을 수행할 수 있도록 한다.

컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체를 제공하는 바, 상기 컴퓨터 명령은 상기 컴퓨터가 제1 측면 또는 제2 측면 또는 제3 측면에 따른 방법을 수행하도록 하기 위한 것이다.

본 출원의 실시예에 따른 애플릿의 음성 제어방법, 기기 및 저장매체는, 음성 수집 기기를 통해 사용자의 스마트 음성 기기의 타겟 애플릿에 대한 음성 제어 명령을 획득하고; 음성 인터랙션 시스템이 상기 음성 제어 명령에 대해 음성 인식과 의도 해석을 수행하여 의도 정보를 획득하고, 상기 의도 정보를 타겟 애플릿에 전송하고; 타겟 애플릿이 상기 의도 정보를 수신하고, 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하고, 타겟 애플릿의 쓰레드가 상기 제어 명령을 실행한다. 본 출원의 실시예는 음성 인터랙션 시스템과 타겟 애플릿 프레임 사이의 인터랙션을 통해, 타겟 애플릿에 대한 음성 제어를 구현함으로써, 인터랙션 과정의 편리성을 향상시킬 수 있으며, 터치 방식으로 애플릿 인터랙션 함에 따른 음성 인터랙션의 지속 불가함으로 인한 주의력 분열을 방지하고, 사용자가 애플릿을 사용하는 체험을 향상시키며, 또한 애플릿의 스마트 음성 기기에서의 배포와 사용량에 대해 유력한 지원을 제공한다.

본 부분에서 설명된 내용은 본 출원의 실시예의 핵심 또는 중요한 특징을 식별하기 위한 것이 아니며, 본 출원의 범위를 제한하려는 의도가 아님을 이해해야 한다. 본 출원의 다른 특징은 다음 설명에 의해 쉽게 이해 될 것이다.

도 1은 본 출원의 실시예의 애플릿의 음성 제어방법을 실현하는 시나리오 도면이다.
도 2는 본 출원의 일 실시예에 따른 애플릿의 음성 제어방법의 흐름도이다.
도 3은 본 출원의 다른 실시예에 따른 애플릿의 음성 제어방법의 흐름도이다.
도 4는 본 출원의 다른 실시예에 따른 애플릿의 음성 제어방법의 흐름도이다.
도 5는 본 출원의 다른 실시예에 따른 애플릿의 음성 제어방법의 흐름도이다.
도 6은 본 출원의 다른 실시예에 따른 애플릿의 음성 제어방법의 흐름도이다.
도 7은 본 출원의 다른 실시예에 따른 애플릿의 음성 제어방법의 흐름도이다.
도 8은 본 출원의 일 실시예에 따른 스마트 음성 기기의 블록도이다.
도 9는 본 출원의 실시예의 애플릿의 음성 제어방법을 구현하기 위한 전자기기의 블록도이다.

아래에서는 첨부 도면과 결합하여 본 출원의 예시적인 실시예에 대해 설명하며, 이해를 돕기 위하여 본 출원의 실시예의 다양한 세부 사항을 포함하며, 이들을 단지 예시적인 것으로만 간주되어야 한다. 따라서, 본 분야의 통상적인 지식을 가진 자라면, 여기에 설명된 실시예에 대하여 다양한 변경과 수정을 가할 수 있으며, 이는 본 출원의 범위와 정신을 벗어나지 않음을 이해해야 한다. 마찬가지로, 명확성과 간결성을 위하여, 아래의 설명에서 공지 기능과 구조에 대한 설명을 생략한다.

종래 기술의 스마트 음성 기기 중에서, 특히 스크린 스피커, 차량용 스크린 등과 같은 스크린을 구비한 스마트 음성 기기의 애플릿의 배포는 여전히 주로 수동 호출에 의존한다. 사용자와 애플릿의 인터랙션 과정도 주로 수동 터치를 통해 인터랙션하며, 예컨대 스크린 스피커의 정보 동영상 애플릿은 수동으로 애플릿 센터를 트리거하고 선택한 후에 호출될 수 있으며, 수동으로 스크롤하고 재생을 클릭하는 등 조작을 수행해야만 브라우징하고 관람 등을 할 수 있다. 기존 스마트 음성 기기와 애플릿의 인터랙션 방식은 조작이 불편하다. 터치 방식을 통한 인터랙션은 차량용 스크린, TV 스크린 등 스마트 하드웨어 기기의 경우 더없이 불편하고, 특히 운전 과정에 차량용 응용에 대한 조작은 안전 위험을 일으킬 수 있으며; 스크린을 터치 조작하면 음성 인터랙션이 지속적으로 수행할 수 없게 되며, 주의력의 분산을 일으킨다. 그리고 사용자의 인터랙션의 조작의 분리와 사용의 불편성은 사용자가 중도에서 종료하거나 포기하도록 한다. 프로세스가 너무 길며, 예컨대 소장한 애플릿 등을 찾기 위해 애플릿 센터를 거쳐야만 진입할 수 있으므로, 상술한 요소에 따라 사용자의 체험이 매우 나쁘다.

종래 기술의 상술한 기술문제에 감안하여, 본 출원은 애플릿의 음성 제어방법을 제공하는 바, 컴퓨터 기술 중의 음성 기술에 응용되고, 음성 인터랙션 시스템과 애플릿 프레임 사이의 인터랙션을 통해, 타겟 애플릿에 대한 음성 제어를 구현하고, 인터랙션 과정의 편리성을 향상시키고, 터치 방식으로 애플릿 인터랙션 함에 따른 음성 인터랙션의 지속 불가함으로 인한 주의력 분열을 방지하고, 사용자가 애플릿을 사용하는 체험을 향상시키며, 또한 애플릿의 스마트 음성 기기에서의 배포와 사용량에 대해 유력한 지원을 제공한다. 본 출원은 스크린을 구비한 스마트 음성 기기에 응용할 수 있으며, 물론 스크린이 없는 스마트 음성 기기에도 응용될 수 있다. 물론, 애플릿은 여전히 수동 터치로 호출하고 제어하는 기능을 구비할 수 있다.

본 출원의 실시예는 도1에 도시된 바와 같은 시나리오에 응용되며, 스마트 음성 기기(100)에 음성 인터랙션 시스템(110)과 타겟 애플릿(120)이 배치되고, 음성 인터랙션 시스템(110)은 음성 수집 기기가 수집한 사용자의 타겟 애플릿에 대한 음성 제어 명령에 대해 음성 인식과 의도 해석을 수행하여 의도 정보를 획득할 수 있으며, 상기 의도 정보를 타겟 애플릿(120)에 전송하고, 타겟 애플릿(120)이 상기 의도 정보를 수신하고, 상기 의도 정보를 타겟 애플릿(120)의 쓰레드가 실행 가능한 제어 명령으로 전환하고, 타겟 애플릿(120)의 쓰레드가 상기 제어 명령을 실행한다. 상술한 음성 인터랙션 시스템(110)과 타겟 애플릿(120) 프레임 사이의 인터랙션을 통해 타겟 애플릿에 대한 음성 제어를 구현할 수 있다.

아래 구체적인 실시예와 첨부 도면을 결합하여 본 출원의 애플릿의 음성 제어 과정에 대해 상세하게 소개한다.

본 출원의 일 실시예는 애플릿의 음성 제어방법을 제공하며, 도2는 본 출원의 실시예에 따른 애플릿의 음성 제어방법의 흐름도이다. 상기 실행 주체는 음성 인터랙션 시스템과 타겟 애플릿이 배치된 스마트 음성 기기일 수 있으며; 도 2에 도시된 바와 같이, 상기 애플릿의 음성 제어방법의 구체적인 단계는 아래와 같다.

S201, 음성 수집 기기를 통해 사용자의 스마트 음성 기기의 타겟 애플릿에 대한 음성 제어 명령을 획득한다.

본 실시예에서, 사용자가 스마트 음성 기기의 타겟 애플릿을 제어해야 할 때, 음성 제어 명령을 말할 수 있으며, 예를 들면 사용자가 스마트 스피커에 이미 호출된 동영상 애플릿 A를 제어하여 예능 프로그램 B 예능 프로그램 B를 재생하고자 할 때, 사용자는 "나는 동영상 애플릿 A의 예능 프로그램 B를 보겠습니다"의 음성 제어 명령을 말할 수 있으며, 이로부터 스마트 스피커의 음성 수집 기기, 예컨대 마이크에 의해 사용자의 음성 제어 명령을 수집할 수 있다.

이해할 수 있는 것은, 사용자가 동영상 애플릿 A 및 예능 프로그램 B를 포함하는 음성 제어 명령을 말할 때, 실제로 존재하는 어느 동영상 애플릿과 실제로 존재하는 예능 프로그램일 수 있으며, 여기에서는 보이지 않게 처리하였다.

S202, 음성 인터랙션 시스템이 상기 음성 제어 명령에 대해 음성 인식과 의도 해석을 수행하여 의도 정보를 획득하고, 상기 의도 정보를 타겟 애플릿에 전송한다.

본 실시예에서, 스마트 음성 기기의 음성 인터랙션 시스템은 음성 인식과 의도 해석 기능을 구비하기에, 음성 수집 기기가 타겟 애플릿에 대한 음성 제어 명령을 수집한 후, 음성 인터랙션 시스템의 음성 인식과 의도 해석 기능을 통해 음성 인식과 의도 해석을 수행하고, 이중, 음성 인식은 수집된 음성 제어 명령을 기계가 이해할 수 있는 문자로 전환하고, 의도 해석은 기계 문자를 분석 처리하여 그 중의 관건 정보를 해독하며, 예를 들면 상술한 음성 제어 명령을 해독하여, 키워드인 "애플릿", "동영상 애플릿 A", "예능 프로그램 B" 등을 해석해 낼 수 있으며, 이로부터 사용자의 의도 정보를 획득할 수 있고; 타겟 애플릿에 음성 인식과 의도 해석 기능을 배치할 필요가 없으며, 음성 인터랙션 시스템이 의도 정보를 획득한 후에, 의도 정보를 타겟 애플릿에 전송하기만 하면 가능하다. 즉, 의도 정보를 타겟 애플릿의 쓰레드에 전송한다.

S203, 타겟 애플릿이 상기 의도 정보를 수신하고, 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하고, 타겟 애플릿의 쓰레드가 상기 제어 명령을 실행한다.

본 실시예에서, 서로 다른 애플릿의 개발 과정에 서로 다른 프레임워크 또는 개발 언어를 사용할 수 있으며, 음성 인터랙션 시스템의 것과 차이가 존재할 수 있기에, 음성 인터랙션 시스템이 획득한 의도 정보는 애플릿에 의해 이해 및 실행되지 못할 수 있다. 따라서 스마트 음성 기기에 해당 타겟 애플릿이 이미 호출되었을 때, 타겟 애플릿은 음성 인터랙션 시스템이 전송한 의도 정보를 수신한 후에, 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하여 타겟 애플릿의 쓰레드가 해당 제어 명령을 실행할 수 있으며, 이로부터 사용자가 필요한 의도 또는 기능을 구현한다. 예를 들면, 스마트 스피커에 이미 동영상 애플릿 A가 호출되고, 동영상 애플릿 A가 사용자의 예능 프로그램 B을 재생하고자 하는 관련 의도 정보를 수신한 후, 동영상 애플릿 A가 실행 가능한 리소스 라이브러리 검색 및 재생으로 전환하여, 리소스 라이브러리 검색 및 재생 명령을 실행함으로써, 동영상 애플릿 A에서 예능 프로그램 B를 재생하는 것을 구현한다.

물론, 타겟 애플릿이 현재 호출되지 않았으면, 음성 인터랙션 시스템이 타겟 애플릿을 호출한 후 타겟 애플릿이 상술한 프로세스를 수행해야 한다.

본 실시예에 따른 애플릿의 음성 제어방법은, 음성 수집 기기를 통해 사용자의 스마트 음성 기기의 타겟 애플릿에 대한 음성 제어 명령을 획득하고; 음성 인터랙션 시스템이 상기 음성 제어 명령에 대해 음성 인식과 의도 해석을 수행하여 의도 정보를 획득하고, 상기 의도 정보를 타겟 애플릿에 전송하고; 타겟 애플릿이 상기 의도 정보를 수신하고, 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하고, 타겟 애플릿의 쓰레드가 상기 제어 명령을 실행한다. 본 실시예는 음성 인터랙션 시스템과 타겟 애플릿 프레임워크 사이의 인터랙션을 통해, 타겟 애플릿에 대한 음성 제어를 구현할 수 있으며, 인터랙션 과정의 편리성을 향상시키고, 터치 방식으로 애플릿 인터랙션 함에 따른 음성 인터랙션의 지속 불가함으로 인한 주의력 분열을 방지하고, 사용자가 애플릿을 사용하는 체험을 향상시키며, 또한 애플릿의 스마트 음성 기기에서의 배포와 사용량에 대해 유력한 지원을 제공한다.

상술한 임의의 실시예의 기초상에서, S202 에 따른 음성 인터랙션 시스템이 의도 정보를 획득 시, 구체적으로,

상기 음성 인터랙션 시스템이 의도 해석 결과를 기초로 기설정된 프로토콜에 따라 의도 정보를 생성하는 단계를 포함할 수 있고;

상응하게, 상기 S203에 따른 타겟 애플릿이 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환할 때, 구체적으로,

상기 타겟 애플릿이 상기 의도 정보를 기초로 기설정된 전환 규칙을 확정하고, 상기 기설정된 전환 규칙에 따라 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하는 단계를 포함할 수 있다.

본 실시예에서, 음성 인터랙션 시스템이 의도 해석 결과를 획득한 후에, 기설정된 프로토콜에 따라 의도 해석 결과를 기설정된 프로토콜을 만족하는 의도 정보로 전환할 수 있으며, 이중 기설정된 프로토콜은 구체적으로 프로토콜 헤더와 프로토콜 내용 부분을 포함할 수 있으며, 이중 프로토콜 헤더는 구체적으로 명령의 명명 공간, 명령 명칭, 암호화 유형(시스템 임베디드 프로토콜이면 암호화 전송이 필요없음)을 포함할 수 있지만 이에 한정되지 않고, 프로토콜 내용 부분은 의도에 대응되는 조작 정보 및 타겟 애플릿 정보를 포함할 수 있지만 이에 한정되지 않고, 이중 조작 정보는 조작 유형, 확장 정보를 포함할 수 있지만 이에 한정되지 않고, 확정 정보는 조작 유형에 대한 보충일 수 있으며, 타겟 애플릿 정보는 타겟 애플릿의 애플릿 식별자를 포함할 수 있고; 예를 들면 사용자 의도는 동영상 애플릿 A가 현재 재생 중인 동영상에 대한 패스트 포워드(fast forward)이면 조작 유형은 "패스트 포워드"이고, 애플릿 식별자가 동영상 애플릿 A의 식별자이고, 확장 정보는 패스트 포워드 속도가 예컨대 2배속 패스트 포워드 속도이다.

나아가, 타겟 애플릿이 음성 인터랙션 시스템이 전송한 기설정된 프로토콜을 만족하는 의도 정보를 수신한 후, 해당 의도 정보를 타겟 애플릿이 실행 가능한 제어 명령으로 전환하고, 예를 들면 타겟 애플릿이 SwanJS(Smart Web Application Native JavaScript) 프레임워크이면, 기설정된 프로토콜을 만족하는 의도 정보를 SwanJS 이벤트 명령으로 전환해야 하고, SwanJS는 어느 인터넷 업체의 애플릿 프레임워크의 코어이다. 선택적으로, 명령 전환을 수행할 때, 타겟 애플릿은 의도 정보 중의 프로토콜 헤더를 기초로, 프로토콜 헤더에 대응되는 기설정된 전환 규칙을 획득하고, 이중 기설정된 전환 규칙은 기설정된 조작 정보와 기설정된 제어 명령 사이의 대응 관계를 포함하고; 타겟 애플릿은 기설정된 조작 정보와 기설정된 제어 명령 사이의 대응 관계를 기초로, 의도 정보 중의 프로토콜 내용 부분을 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환한다.

나아가, 우선 프로토콜 헤더 중의 명명 공간에 대응되는 전환 규칙에 따라, 약속된 명령 공간을 해석하고, 명령 공간, 조작 유형, 암호화 유형, 애플릿 식별자 등을 기초로 의도 정보가 타겟 애플릿을 목표로 하는 것인지 여부를 확정하고, 만약 아니면, 의도 정보가 타겟 애플릿에 대해 무효한 것으로 확정하고, 직접 리턴하며, 따라서 후속의 음성 제어 과정을 수행하지 않기에, 애플릿 쓰레드를 점용할 필요가 없어 실행 오버헤드를 감소하며, 만약 그렇다면, 후속의 음성 제어 과정을 계속하고; 프로토콜 내용 부분은 제어 명령이 실행해야 하는 부분이고, 개발자 응용 프로그램의 이벤트 호출을 지원한다. 그리고 프로토콜 내용 부분을 전환 규칙에 따라 SwanJS 프레임워크에서의 제어 명령으로 전환할 수 있으며, 예를 들면 미리 타겟 애플릿 중의 실행 가능한 전부 제어 명령과 각각의 기설정된 제어 명령과 기설정된 조작 유형 사이의 대응 관계를 설정한 후 프로토콜 내용 부분이 어느 제어 명령과 대응되는지 확정할 수 있다.

본 실시예는 애플릿의 어뎁티브 및 구현의 다양성을 고려하여, SwanJS에 대해 단지 인터페이스의 통용 기능을 구현하고, 구체적인 애플릿의 구체적인 시나리오 모드에 대해, 개발자가 인터페이스를 통해 명령 제어 기능을 재 작성할 수 있으며, 예를 들면 패스트 포워드 제어 명령에 대해, SwanJS에서는 단지 인터페이스를 제공하여 패스트 포워드의 통용 기능을 구현하고, 구체적으로 어떤 방식으로 패스트 포워드하는 것은 개발자가 구체적인 시나리오에 따라 배치할 수 있다.

상술한 임의의 실시예의 기초상에서, 도3에 도시된 바와 같이, S203의 상기 타겟 애플릿의 쓰레드가 상기 제어 명령을 실행할 때, 구체적으로 아래의 단계를 더 포함할 수 있다.

S301, 상기 타겟 애플릿이 상기 제어 명령이 서버측과 인터랙션해야 하는지를 판단하고;

S302, 상기 제어 명령이 서버측과 인터랙션을 수행해야 하면, 상기 타겟 애플릿은 타겟 애플릿의 쓰레드를 제어하여 인터랙션해야 하는 관련 내용을 로컬에 임시 저장하고, 비동기 업로드 방식을 사용하여 인터랙션해야 하는 관련 내용을 상기 서버측에 업로드한다.

본 실시예에서, 스마트 음성 기기가, 네트워크가 약하거나 끊겨진 환경에 있을 때, 서버측과 인터랙션해야 하는 일부 제어 명령은 바로 서버측과 인터랙션하지 않아도 될 수 있으며, 이때 타겟 애플릿이 명령 스케줄 과정을 거쳐, 타겟 애플릿 중에서 서버측과 인터랙션해야 하는 관련 내용을 스마트 음성 기기의 로컬에 임시 저장하고, 그 다음 비동기 업로드 방식을 사용하여 서버측에 업로드하고, 예를 들면 스마트 음성 기기가, 네트워크가 약하거나 끊겨진 환경에 있을 때, 제어 명령은 희망 소장 동영상이고, 소장 동영상을 서버측에 기록해야 하고, 이로부터 다음번에 타겟 애플릿을 호출하거나, 또는 기타 기기에서 애플릿을 호출할 때 사용자가 여전히 해당 소장된 동영상을 볼 수 있도록 하고, 이 때 타겟 애플릿은 소장 동영상의 관련 내용을 로컬에 임시 저장한 다음 비동기 업로드할 수 있으며, 예를 들면 네트워크 환경이 보다 좋을 때 서버측에 업로드하거나, 또는 침묵 유휴 업로드 방식으로 서버측에 업로드하여, 사용자의 인터랙션 과정에 타겟 애플릿이 빈번하게 서버측과 인터랙션하는 것을 방지하고, 사용자의 인터랙션 과정에 충족한 대역폭을 확보하여 사용자 체험을 향상시킨다.

물론, 상기 실시예에서, 네트워크 환경이 보다 좋을 때 서버측과 인터랙션해야 하는 제어 명령을 수신할 때 동기화 업로드 방식을 사용할 수도 있다. 이외에, 본 실시예는 비동기와 동기화 업로드 방식을 호환할 수 있으며, 네트워크 환경 등 구체적인 시나리오에 따라 선택할 수 있다. 선택적으로, 제어 명령을 획득한 후에, 서버측과 인터랙션해야 하는지 여부를 판단하고, 인터랙션할 필요가 없으면, 로컬에서 직접 제어 명령을 실행하면 되며; 인터랙션해야 할 때, 로컬에 임시 저장해야 하는지 여부를 판단하고, 로컬에 임시 저장할 필요가 없으면 직접 서버측에 업로드하고, 로컬에 임시 저장해야 하면 먼저 로컬에 임시 저장한 후 서버측에 비동기 업로드한다.

선택적으로, 본 실시예에서, 서버측에 동기화해야 하는 일부 데이터에 대해, 비동기화 업로드 방식을 사용할 수도 있으며, 이로부터 동일한 사용자가 서로 다른 기기에서 동일한 타겟 애플릿을 사용할 때 체험이 일치하도록 확보할 수 있다. 예를 들면, 서로 다른 스마트 스피커의 동일한 타겟 애플릿에서 해당 사용자의 즐겨보기 폴더, 과거 브라우징 기록, 평론, 칭찬, 오더 구매 기록 등 데이터를 볼 수 있다.

상술한 임의의 실시예의 기초상에서, 도4에 도시된 바와 같이, S201에 따른 음성 수집 기기를 통해 사용자의 스마트 음성 기기의 타겟 애플릿에 대한 음성 제어 명령을 획득하는 단계 전에, 아래의 단계를 더 포함할 수 있다.

S401, 상기 음성 수집 기기를 통해 사용자의 타겟 애플릿에 대한 음성 호출 명령을 획득하고;

S402, 상기 음성 인터랙션 시스템이 상기 음성 호출 명령에 대해 음성 인식과 의도 해석을 수행하고, 의도 해석 결과를 기초로 호출될 타겟 애플릿을 확정하고, 상기 타겟 애플릿을 호출한다.

본 실시예에서, S201-S203은 스마트 음성 기기에 이미 해당 타겟 애플릿이 호출된 후 타겟 애플릿에 대한 음성 제어이고, 타겟 애플릿에 대해 음성 제어를 수행하기 전에, 타겟 애플릿을 호출해야 한다. 구체적으로, 호출 과정은 음성 제어의 방식으로 호출할 수도 있으며, 즉 음성 수집 기기를 통해 사용자의 타겟 애플릿에 대한 음성 호출 명령을 획득하고, 예를 들면, 사용자가 "동영상 애플릿 A를 시작"이라는 음성 호출 명령을 말하고, 이때 음성 인터랙션 시스템을 통해 음성 인식과 의도 해석을 수행하여, 사용자의 의도가 타겟 애플릿인 "동영상 애플릿 A"을 호출하고자 하는 것임을 확정하고, 따라서 추가적으로 타겟 애플릿을 호출할 수 있다.

상술한 실시예를 기초로, 도 5에 도시된 바와 같이, S402에 따른 음성 인터랙션 시스템은 상기 타겟 애플릿을 호출할 때, 구체적으로 아래의 단계를 더 포함할 수 있다.

S501, 상기 음성 인터랙션 시스템이 상기 스마트 음성 기기에 기 저장된 상기 타겟 애플릿이 존재하는지 여부를 판단하고;

S502, 상기 스마트 음성 기기에 상기 타겟 애플릿이 존재하지 않는 것으로 확정하면, 서버측으로부터 상기 타겟 애플릿의 애플릿 패키지를 획득하고, 상기 타겟 애플릿을 호출하거나; 또는

S503, 상기 스마트 음성 기기에 이미 상기 타겟 애플릿이 존재하는 것으로 확정하면, 직접 상기 타겟 애플릿을 호출한다.

본 실시예에서, 만약 이전에 타겟 애플릿을 사용한 적이 있고, 타겟 애플릿이 여전히 스마트 음성 기기에 버피링되어 있거나, 또는 이전에 타겟 애플릿을 사용한 적이 없지만, 미리 타겟 애플릿을 버퍼링하였으면, 서버측으로부터 다시 타겟 애플릿의 애플릿 패키지를 획득할 필요가 없고, 타겟 애플릿을 직접 호출할 수 있으며; 그렇지 않고, 스마트 음성 기기에 타겟 애플릿이 존재하지 않으면, 서버측으로부터 타겟 애플릿의 애플릿 패키지를 획득한 후, 그 다음 타겟 애플릿을 호출해야 한다.

선택적으로, 도6에 도시된 바와 같이, S502에 따른 서버측으로부터 상기 타겟 애플릿의 애플릿 패키지를 획득할 때, 구체적으로 아래의 단계를 포함할 수 있다.

S601, 상기 음성 인터랙션 시스템이 상기 스마트 음성 기기가 애플릿과의 음성 인터랙션을 지원하는지 여부를 판단하고;

S602, 상기 스마트 음성 기기가 애플릿과의 음성 인터랙션을 지원하면, 상기 서버측으로부터 상기 타겟 애플릿의 전체 애플릿 패키지를 획득하거나; 또는

S603, 상기 스마트 음성 기기가 애플릿과의 음성 인터랙션을 지원하지 않으면, 상기 서버측으로부터 상기 타겟 애플릿의 부분 애플릿 패키지를 획득하되, 여기서 상기 부분 애플릿 패키지에 음성 인터랙션과 관련된 모듈을 로딩하지 않는다.

본 실시예에서, 음성 인터랙션 시스템이 서버측으로부터 타겟 애플릿의 애플릿 패키지 SDK(소프트웨어 개발 키트)를 획득할 때, 먼저 스마트 음성 기기가 애플릿의 음성 인터랙션 능력을 구비하는지 여부를 판단하고, 스마트 음성 기기가 애플릿의 음성 인터랙션을 지원하면, 서버측으로부터 타겟 애플릿의 전체 SDK 애플릿 패키지를 획득할 수 있으며; 스마트 음성 기기가 애플릿의 음성 인터랙션을 지원하지 않으면, 서버측으로부터 타겟 애플릿의 부분 SDK 애플릿 패키지를 획득할 수 있으며, 부분 SDK 애플릿 패키지는 전체 SDK 애플릿 패키지에 대해 상대적인 것이다. 이중 음성 인터랙션과 관련된 모듈을 로딩하지 않으며, 다시 말하면 이때 타겟 애플릿은 의도 정보를 수신하고, 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하는 능력을 구비하지 않으며, 애플릿 패키지의 사이즈를 줄이고, 로딩 과정에서의 데이터 패킷의 소모를 줄이고, 타겟 애플릿을 호출하는 속도를 향상시킬 수 있다.

상술한 임의의 실시예의 기초상에서, 도 7에 도시된 바와 같이, 상기 의도 해석 결과를 기초로 호출될 타겟 애플릿을 확정하는 단계는 아래의 단계를 포함한다.

S701, 상기 음성 인터랙션 시스템이 상기 의도 해석 결과에 호출될 타겟 애플릿과 사용자가 요청한 리소스 정보를 포함한다는 것으로 확정하면, 상기 타겟 애플릿의 리소스 라이브러리에 상기 리소스 정보에 대응되는 타겟 리소스가 존재하는지 여부를 검색하고;

S702, 존재하지 않으면, 상기 타겟 리소스를 제공할 수 있는 기타 애플릿을 획득하고, 사용자에게 추천하여 후보 타겟 애플릿으로 한다.

본 실시예에서, 사용자가 말한 타겟 애플릿에 대한 음성 호출 명령은 구체적으로 타겟 애플릿 명칭과 요청한 리소스 정보를 포함하며, 예를 들면 스마트 음성 기기가 현재 동영상 애플릿 A를 호출하지 않았을 경우에, 사용자가 "나는 동영상 애플릿 A의 예능 프로그램 B를 보겠습니다"의 음성 명령을 말할 때, 해당 음성 명령을 비 음성 호출 명령으로 하여, 음성 인식과 의도 해석을 수행한 후, 호출될 타겟 애플릿이 동영상 애플릿 A이고, 사용자가 요청한 리소스는 예능 프로그램 B인 것으로 확정할 수 있으며, 이때 서버측에 동영상 애플릿 A의 리소스 라이브러리에 해당 리소스가 존재하는지 여부를 검색할 수 있으며, 만약 해당 리소스가 존재하면, 동영상 애플릿 A를 호출하고, 해당 호출은 직접 호출 또는 애플릿 패키지를 획득한 후 호출을 포함하고; 동영상 애플릿 A의 리소스 라이브러리에 해당 리소스가 존재하지 않으면, 기타의 애플릿의 리소스 라이브러리에 해당 리소스가 존재하는지 검색할 수 있으며, 예를 들면 동영상 애플릿 C의 리소스 라이브러리에 해당 리소스가 존재하면, 동영상 애플릿 C를 사용자에게 추천할 수 있으며, 예를 들면 사용자에게 동영상 애플릿 C를 호출할 것인지를 문의하거나, 또는 직접 동영상 애플릿 C를 타겟 애플릿으로 하여 호출한다.

이외에, 선택적으로, 사용자가 음성 명령을 말할 때 요청한 리소스만 포함하면, 요청한 리소스를 기초로 퍼지 검색을 수행하여 타겟 애플릿을 확정할 수 있으며, 예를 들면 사용자가 "나는 예능 프로그램 B를 보겠습니다"의 음성 명령을 말하면, 어느 애플릿에 해당 리소스가 존재하는지 검색하고 타겟 애플릿으로 확정하여 호출할 수 있다.

상술한 임의의 실시예의 기초상에서, 상기 애플릿의 음성 제어방법은,

상기 음성 인터랙션 시스템이 정기적으로 상기 서버측으로부터 소정 수량의 인기 애플릿의 애플릿 패키지를 획득하고, 버퍼링하는 단계를 더 포함할 수 있다.

본 실시예에서, 음성 인터랙션 시스템은 정기적으로 서버측을 액세스하여 인기 애플릿 관련 정보를 획득할 수 있으며, 음성 인터랙션 시스템은, 사용자가 어느 인기 애플릿을 호출해야 할 때 신속한 호출을 구현할 수 있도록, 인기 애플릿 관련 정보를 기초로 소정 수량의 인기 애플릿을 선택하고, 서버측으로부터 해당 인기 애플릿의 애플릿 패키지를 버퍼링할 수 있다. 물론, 서버측에서 정기적으로 음성 인터랙션 시스템에 인기 애플릿 관련 정보를 푸쉬하고, 이로부터 음성 인터랙션 시스템이 인기 애플릿 관련 정보를 기초로 소정 수량의 인기 애플릿을 선택할 수 있다. 선택적으로, 인기 애플릿을 버퍼링 하는 수량은 스마트 음성 기기의 저장 공간에 따라 확정될 수 있으며; 애플릿의 다운로딩량, 사용자의 취미 등 요소에 따라 어느 인기 애플릿을 버퍼링할 것인지 확정할 수 있다.

상술한 각 실시예에 따른 애플릿의 음성 제어방법은, 음성 인터랙션 시스템과 타겟 애플릿 프레임워크 사이의 인터랙션을 통해, 타겟 애플릿에 대한 음성 제어를 구현할 수 있으며; 이외에, 타겟 애플릿이 호출되지 않았을 때, 음성 제어를 통해 타겟 애플릿에 대한 호출을 구현할 수 있으므로, 애플릿을 호출하는 편의성도 향상시키고, 터치 방식으로 애플릿을 검색, 실행하는 조작 과정을 간소화하고, 사용자가 애플릿을 사용하는 체험을 향상시키며, 또한 애플릿의 스마트 음성 기기에서의 배포와 사용량에 대해 유력한 지원을 제공한다.

본 출원의 일 실시예는 스마트 음성 기기에 응용되되, 상기 스마트 음성 기기에는 음성 인터랙션 시스템과 타겟 애플릿이 배치되어 있는 애플릿의 음성 제어방법을 제공하는 바, 상기 방법은,

상기 타겟 애플릿이 상기 음성 인터랙션 시스템에서 전송한 의도 정보를 수신하되, 이중, 상기 의도 정보는 상기 음성 인터랙션 시스템이 사용자가 말한 타겟 애플릿의 음성 제어 명령에 대해 음성 인식과 의도 해석을 수행한 후 획득된 것인 단계;

상술한 실시예를 기초로, 여기서, 상기 의도 정보는 상기 음성 인터랙션 시스템이 의도 해석 결과를 기초로 기설정된 프로토콜에 따라 생성한 의도 정보이고;

상기 타겟 애플릿이 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하는 단계는,

상기 타겟 애플릿이 상기 의도 정보를 기초로 기설정된 전환 규칙을 확정하고, 상기 기설정된 전환 규칙에 따라 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하는 단계를 포함한다.

상술한 실시예를 기초로, 상기 기설정된 프로토콜은 프로토콜 헤더와 프로토콜 내용을 포함하고, 상기 프로토콜 내용은 의도에 대응되는 조작 정보와 타겟 애플릿 정보를 포함하고;

상기 타겟 애플릿이 상기 의도 정보를 기초로 기설정된 전환 규칙을 확정하고, 상기 기설정된 전환 규칙에 따라 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하는 단계는,

상기 타겟 애플릿이 상기 의도 정보 중의 프로토콜 헤더를 기초로, 상기 프로토콜 헤더에 대응되는 기설정된 전환 규칙을 획득하되, 상기 기설정된 전환 규칙은 기설정된 조작 정보와 기설정된 제어 명령 사이의 대응 관계를 포함하는 단계;

상기 타겟 애플릿이 상기 기설정된 조작 정보와 기설정된 제어 명령 사이의 대응 관계에 따라, 상기 의도 정보 중의 프로토콜 내용 부분을 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하는 단계를 포함한다.

상술한 실시예를 기초로, 상기 타겟 애플릿의 쓰레드가 상기 제어 명령을 실행하는 단계는,

상기 타겟 애플릿이, 상기 제어 명령이 서버측과 인터랙션해야 하는 것으로 확정하면, 상기 타겟 애플릿은 타겟 애플릿의 쓰레드를 제어하여 인터랙션해야 하는 관련 내용을 로컬에 임시 저장하고, 비동기 업로드 방식을 사용하여 인터랙션해야 하는 관련 내용을 상기 서버측에 업로드하는 단계를 포함한다.

상술한 실시예를 기초로, 상기 타겟 애플릿이 상기 음성 인터랙션 시스템에서 애플릿이 상기 음성 인터랙션 시스템에서 전송한 의도 정보를 수신하는 단계 전에,

상기 음성 인터랙션 시스템이 사용자가 말한 타겟 애플릿의 음성 호출 명령을 기초로 상기 타겟 애플릿을 호출하는 단계를 더 포함한다.

상술한 실시예를 기초로, 상기 스마트 음성 기기는 스마트 스피커이다.

본 실시예에 따른 애플릿의 음성 제어방법은 상술한 실시예 중에서 스마트 음성 기기의 타겟 애플릿이 실행하는 프로세스이고, 구체적인 구현 방식과 기술효과는 상술한 실시예를 참조하고, 여기서 더 이상 중복 설명하지 않는다.

상술한 실시예를 기초로, 상기 의도 정보 획득하는 단계는,

상기 음성 인터랙션 시스템이 의도 해석 결과를 기초로 기설정된 프로토콜에 따라 의도 정보를 생성하되, 여기서 상기 기설정된 프로토콜은 프로토콜 헤더와 프로토콜 내용을 포함하고, 상기 프로토콜 내용은 의도에 대응되는 조작 정보와 타겟 애플릿 정보를 포함하는 단계를 포함한다.

상술한 실시예를 기초로, 상기 음성 인터랙션 시스템이 사용자가 말한 타겟 애플릿의 음성 제어 명령을 획득하는 단계 전에,

상기 음성 인터랙션 시스템이 사용자가 말한 타겟 애플릿에 대한 음성 호출 명령을 획득하는 단계;

상기 음성 인터랙션 시스템이 상기 음성 호출 명령에 대해 음성 인식과 의도 해석을 수행하고, 의도 해석 결과를 기초로 호출될 타겟 애플릿을 확정하고, 상기 타겟 애플릿을 호출하는 단계를 더 포함한다.

상술한 실시예를 기초로, 상기 타겟 애플릿을 호출하는 상기 단계는,

상기 음성 인터랙션 시스템이 상기 스마트 음성 기기에 상기 타겟 애플릿이 존재하지 않는 것으로 확정하면, 서버측으로부터 상기 타겟 애플릿의 애플릿 패키지를 획득하고, 상기 타겟 애플릿을 호출하는 단계; 또는

상기 음성 인터랙션 시스템이 상기 스마트 음성 기기에 이미 상기 타겟 애플릿이 존재하는 것으로 확정하면, 직접 상기 타겟 애플릿을 호출하는 단계를 포함한다.

상술한 실시예를 기초로, 서버측으로부터 상기 타겟 애플릿의 애플릿 패키지를 획득하는 상기 단계는,

상기 음성 인터랙션 시스템이 상기 스마트 음성 기기가 애플릿과의 음성 인터랙션을 지원하는 것으로 확정하면, 상기 서버측으로부터 상기 타겟 애플릿의 전체 애플릿 패키지를 획득하는 단계; 또는

상기 음성 인터랙션 시스템이 상기 스마트 음성 기기가 애플릿과의 음성 인터랙션을 지원하지 않는 것으로 확정하면, 상기 서버측으로부터 상기 타겟 애플릿의 부분 애플릿 패키지를 획득하되, 여기서 상기 부분 애플릿 패키지에 음성 인터랙션과 관련된 모듈을 로딩하지 않는 단계를 포함한다.

상술한 실시예를 기초로, 상기 의도 해석 결과를 기초로 호출될 타겟 애플릿을 확정하는 단계는,

상기 음성 인터랙션 시스템이 상기 의도 해석 결과에 호출될 타겟 애플릿과 사용자가 요청한 리소스 정보를 포함한다는 것으로 확정하면, 상기 타겟 애플릿의 리소스 라이브러리에 상기 리소스 정보에 대응되는 타겟 리소스가 존재하는지 여부를 검색하는 단계;

존재하지 않으면, 상기 타겟 리소스를 제공할 수 있는 기타 애플릿을 획득하고, 사용자에게 추천하여 후보 타겟 애플릿으로 하는 단계를 포함한다.

상술한 실시예를 기초로, 상기 방법은,

상기 음성 인터랙션 시스템이 정기적으로 상기 서버측으로부터 소정 수량의 인기 애플릿의 애플릿 패키지를 획득하고, 버퍼링하는 단계를 더 포함한다.

본 실시예에 따른 애플릿의 음성 제어방법은 상술한 실시예에서 스마트 음성 기기의 음성 인터랙션 시스템이 실행하는 프로세스이며, 그 구체적인 구현 방식과 기술효과는 상술한 실시예를 참조하고, 여기서 더 이상 중복 설명하지 않는다.

본 출원의 일 실시예는 스마트 음성 기기를 제공하며, 도8은 본 출원의 실시예에 따른 스마트 음성 기기의 구조도이다. 도8에 도시된 바와 같이, 상기 스마트 음성 기기(800)에는 음성 인터랙션 시스템(810)과 타겟 애플릿(820)이 배치되어 있다.

여기서, 음성 인터랙션 시스템(810)은 획득모듈(811)과 음성 처리모듈(812)을 포함할 수 있으며;

획득모듈(811)은, 음성 수집 기기를 통해 사용자의 스마트 음성 기기의 타겟 애플릿에 대한 음성 제어 명령을 획득하고;

음성 처리모듈(812)은, 상기 음성 제어 명령에 대해 음성 인식과 의도 해석하여 의도 정보를 획득하고, 상기 의도 정보를 타겟 애플릿에 전송하고;

음성 처리모듈(812)은 구체적으로 음성 인식 서브 모듈과 의도 해석 서브 모듈을 포함할 수 있다.

여기서, 상기 타겟 애플릿(820)은 수신모듈(821), 명령 전환모듈(822)과 실행모듈(823)을 포함할 수 있으며;

수신모듈(821)은, 상기 의도 정보를 수신하고;

명령 전환모듈(822)은, 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하고;

실행모듈(823)은, 타겟 애플릿의 쓰레드를 통해 상기 제어 명령을 실행한다.

상술한 임의의 실시예의 기초상에서, 상기 음성 처리모듈(812)은 의도 정보를 획득 시,

의도 해석 결과를 기초로 기설정된 프로토콜에 따라 의도 정보를 생성하고;

상기 명령 전환모듈(822)은 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환 할 때,

상기 의도 정보를 기초로 기설정된 전환 규칙을 확정하고, 상기 기설정된 전환 규칙에 따라 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환한다.

상술한 임의의 실시예의 기초상에서, 상기 실행모듈(823)은 타겟 애플릿의 쓰레드를 통해 상기 제어 명령을 실행할 때,

상기 제어 명령이 서버측과 인터랙션해야 하는지를 판단하고;

상기 제어 명령이 서버측과 인터랙션해야 하면, 타겟 애플릿의 쓰레드를 제어하여 인터랙션해야 하는 관련 내용을 로컬에 임시 저장하고, 비동기 업로드 방식을 사용하여 인터랙션해야 하는 관련 내용을 상기 서버측에 업로드한다.

다시 말하면 실행모듈(823)은 구체적으로 스케줄 서브 모듈과 업로드 서브 모듈을 포함할 수 있다.

상술한 임의의 실시예의 기초상에서, 상기 획득모듈(811)은 상기 음성 수집 기기를 통해 사용자의 스마트 음성 기기의 타겟 애플릿에 대한 음성 제어 명령을 획득하기 전에 또한, 상기 음성 수집 기기를 통해 사용자의 타겟 애플릿에 대한 음성 호출 명령을 획득하고;

상기 음성 인터랙션 시스템(810)은,

상기 음성 호출 명령에 대해 음성 인식과 의도 해석을 수행하고, 의도 해석 결과를 기초로 호출될 타겟 애플릿을 확정하고, 상기 타겟 애플릿을 호출하는 애플릿 호출 모듈(813)을 더 포함한다.

상술한 임의의 실시예의 기초상에서, 상기 애플릿 호출 모듈(813)은 상기 타겟 애플릿을 호출할 때,

상기 스마트 음성 기기에 기 저장된 상기 타겟 애플릿이 존재하는지 여부를 판단하고;

상기 스마트 음성 기기에 상기 타겟 애플릿이 존재하지 않는 것으로 확정하면, 서버측으로부터 상기 타겟 애플릿의 애플릿 패키지를 획득하고, 상기 타겟 애플릿을 호출하거나; 또는

상기 스마트 음성 기기에 이미 상기 타겟 애플릿이 존재하는 것으로 확정하면, 직접 상기 타겟 애플릿을 호출한다.

상술한 임의의 실시예의 기초상에서, 상기 애플릿 호출 모듈(813)은 서버측으로부터 상기 타겟 애플릿의 애플릿 패키지를 획득할 때,

상기 스마트 음성 기기가 애플릿과의 음성 인터랙션을 지원하는지 여부를 판단하고;

상기 스마트 음성 기기가 애플릿과의 음성 인터랙션을 지원하면, 상기 서버측으로부터 상기 타겟 애플릿의 전체 애플릿 패키지를 획득하거나; 또는

상기 스마트 음성 기기가 애플릿과의 음성 인터랙션을 지원하지 않으면, 상기 서버측으로부터 상기 타겟 애플릿의 부분 애플릿 패키지를 획득하되, 여기서 상기 부분 애플릿 패키지에 음성 인터랙션과 관련된 모듈을 로딩하지 않는다.

상술한 임의의 실시예의 기초상에서, 상기 애플릿 호출 모듈(813)은 의도 해석 결과를 기초로 호출될 타겟 애플릿을 확정할 때,

상기 의도 해석 결과에 호출될 타겟 애플릿과 사용자가 요청한 리소스 정보를 포함하는 것으로 확정하면, 상기 타겟 애플릿의 리소스 라이브러리에 상기 리소스 정보에 대응되는 타겟 리소스가 존재하는지 여부를 검색하고;

존재하지 않으면, 상기 타겟 리소스를 제공할 수 있는 기타 애플릿을 획득하고, 사용자에게 추천하여 후보 타겟 애플릿으로 한다.

상술한 임의의 실시예의 기초상에서, 상기 애플릿 호출 모듈(813)은 또한,

정기적으로 상기 서버측으로부터 소정 수량의 인기 애플릿의 애플릿 패키지를 획득하고 버퍼링한다.

본 실시예에 따른 스마트 음성 기기는 구체적으로 상술한 도면에 따른 방법 실시예를 실행할 수 있으며, 구체적인 기능은 여기서 더 이상 중복 설명하지 않는다.

본 실시예에 따른 스마트 음성 기기는, 음성 수집 기기를 통해 사용자의 스마트 음성 기기의 타겟 애플릿에 대한 음성 제어 명령을 획득하고; 음성 인터랙션 시스템이 상기 음성 제어 명령에 대해 음성 인식과 의도 해석을 수행하여 의도 정보를 획득하고, 상기 의도 정보를 타겟 애플릿에 전송하고; 타겟 애플릿이 상기 의도 정보를 수신하고, 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하고, 타겟 애플릿의 쓰레드가 상기 제어 명령을 실행한다. 본 실시예는 음성 인터랙션 시스템과 타겟 애플릿 프레임워크 사이의 인터랙션을 통해, 타겟 애플릿에 대한 음성 제어를 구현할 수 있으며, 인터랙션 과정의 편리성을 향상시키고, 터치 방식으로 애플릿 인터랙션 함에 따른 음성 인터랙션의 지속 불가함으로 인한 주의력 분열을 방지하고, 사용자가 애플릿을 사용하는 체험을 향상시키며, 또한 애플릿의 스마트 음성 기기에서의 배포와 사용량에 대해 유력한 지원을 제공한다.

본 출원의 실시예에 따르면, 본 출원은 전자기기와 판독 가능 저장매체를 더 제공한다.

도 9에 도시된 바와 같이, 본 출원의 실시예의 애플릿의 음성 제어 방법을 위한 전자기기의 블록도이다. 전자기기는 다양한 형태의 디지털 컴퓨터, 예컨대, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크스테이션, 개인 정보 단말기, 서버, 블레이드 서버, 대형 컴퓨터, 및 기타 적합한 컴퓨터를 나타내기 위한 것이다. 전자기기는 다양한 형태의 이동장치, 예컨대, 개인 정보 처리, 셀폰, 스마트 폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치를 더 나타낼 수 있다. 본문에 개시된 부재, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시적인 것이며, 본문에 개시된 것 및/또는 요구하는 본 출원의 구현을 한정하려는 의도가 아니다.

도 9에 도시된 바와 같이, 해당 전자기기는 하나 또는 복수의 프로세서(901), 메모리(902), 및 각 부재를 연결시키기 위한 고속 인터페이스와 저속 인터페이스를 포함하는 인터페이스를 포함한다. 각각의 부재는 서로 다른 버스를 통해 서로 연결되며, 공통 메인보드에 장착되거나 수요에 따라 기타 방식으로 장착될 수 있다. 프로세서는 전자기기 내에서 실행되는 명령을 처리할 수 있으며, 메모리 내 또는 메모리 상에 저장되어 외부 입력/출력 장치(예컨대, 인터페이스에 커플링된 디스플레이 기기) 상에 GUI의 그래픽 정보를 표시하는 명령을 포함할 수 있다. 기타 실시형태에서, 수요에 따라, 복수의 프로세서 및/또는 복수의 버스와 복수의 메모리를 함께 사용할 수 있다. 마찬가지로, 복수의 전자기기를 연결할 수 있으며, 각각의 기기는 부분 필요한 조작(예를 들어, 서버 어레이, 한 세트의 블레이드 서버, 또는 멀티 프로세서 시스템으로서)을 제공한다. 도 9은 하나의 프로세서(901)를 예로 든다.

메모리(902)는 바로 본 출원의 실시예에 따른 비일시적 컴퓨터 판독 가능 저장매체이다. 여기서, 상기 메모리는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어, 상기 적어도 하나의 프로세서가 본 출원의 실시예에 따른 애플릿의 음성 제어 방법을 수행하도록 한다. 본 출원의 실시예의 비일시적 컴퓨터 판독 가능 저장매체는 컴퓨터 명령을 저장하고, 해당 컴퓨터 명령은 컴퓨터가 본 출원의 실시예에 따른 애플릿의 음성 제어 방법을 수행하도록 한다.

메모리(902)는 비일시적 컴퓨터 판독 가능 저장매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램 및 모듈, 예컨대 본 출원의 실시예의 추천 대응되는 프로그램 명령/모듈(예를 들면, 도8에 도시된 각 모듈)을 저장할 수 있다. 프로세서(901)는 메모리(902)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행하여, 서버의 다양한 기능 응용 및 데이터 처리를 수행한다. 즉, 상술한 방법 실시예 중 애플릿의 음성 제어 방법을 구현한다.

메모리(902)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있다. 여기서, 프로그램 저장 영역은 운영체제, 적어도 하나의 기능에 필요한 응용 프로그램을 저장할 수 있다. 데이터 저장 영역은 전자기기의 사용에 따라 구축되는 데이터 등을 저장할 수 있다. 한편, 메모리(902)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 예를 들어 적어도 하나의 자기 저장장치, 플래시 메모리, 또는 기타 비일시적 솔리드 스테이트 저장장치와 같은 비일시적 메모리를 포함할 수도 있다. 일부 실시예에서, 메모리(902)는 선택적으로 프로세서(901)에 대해 원격으로 설치된 메모리를 포함할 수 있다. 이러한 원격 메모리는 네트워크를 통해 전자기기에 연결될 수 있다. 상술한 네트워크의 실예로서 인터넷, 인트라넷, 랜, 이동 통신망 및 그 조합을 포함하지만 이에 한정되지 않는다.

애플릿의 음성 제어 방법을 위한 전자기기는 입력장치(903)와 출력장치(904)를 더 포함할 수 있다. 프로세서(901), 메모리(902), 입력장치(903)와 출력장치(904)는 버스 또는 기타 방식으로 연결될 수 있으며, 도 9은 버스로 연결된 것을 예로 든다.

입력장치(903)는 입력되는 숫자 또는 문자 부호 정보를 수신할 수 있고, 전자기기의 사용자 설정 및 기능 제어에 대한 키 신호 입력을 생성할 수 있다. 예를 들어 터치 스크린, 키패드, 마우스, 트랙패드, 터치패널, 지시레버, 하나 또는 복수의 마우스 버튼, 트랙 볼, 조종 레버 등의 입력장치가 있다. 출력장치(904)는 디스플레이 기기, 보조 조명 장치(예를 들어, LED) 및 촉각 피드백 장치(예를 들어, 진동모터) 등을 포함할 수 있다. 해당 디스플레이 기기는, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이와 플라즈마 디스플레이 등을 포함할 수 있지만 이에 한정되지 않는다. 일부 실시형태에서, 디스플레이 기기는 터치 스크린일 수 있다.

여기에 기재되는 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로 시스템, 집적 회로 시스템, 전용 ASIC(전용 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 구현되는 것을 포함할 수 있고, 해당 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템 상에서 실행 및/또는 해석될 수 있으며, 해당 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력장치, 및 적어도 하나의 출력장치로부터 데이터와 명령을 수신할 수 있으며, 데이터와 명령을 해당 저장 시스템, 해당 적어도 하나의 입력장치, 및 해당 적어도 하나의 출력장치로 전송한다.

이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 응용, 또는 코드라고도 지칭)은 프로그램 가능 프로세서의 기계적 명령을 포함하고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계적 언어를 이용하여 이러한 컴퓨터 프로그램을 실행할 수 있다. 예컨대 본문에서 사용되는 용어 "기계 판독 가능 매체"와 "컴퓨터 판독 가능 매체"는 기계적 명령 및/또는 데이터를 프로그램 가능 프로세서로 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 디바이스(PLD))를 가리키고, 기계 판독 가능 신호인 기계적 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계적 명령 및/또는 데이터를 프로그램 가능 프로세서로 제공하기 위한 임의의 신호를 가리킨다.

사용자와의 인터랙션을 제공하기 위하여, 컴퓨터 상에서 여기에 설명되는 시스템 및 기술을 실시할 수 있으며, 해당 컴퓨터는 사용자에게 정보를 표시하기 위한 표시장치(예를 들어, CRT(캐소드레이 튜브) 또는 LCD(액정 디스플레이) 모니터); 및 키보드 지향 장치(예를 들어, 마우스 또는 트랙볼)를 구비하고, 사용자는 해당 키보드와 해당 지향장치를 통해 입력을 컴퓨터로 제공할 수 있다. 기타 종류의 장치는 또한 사용자와의 인터랙션을 제공할 수도 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백)일 수 있고; 임의의 형태(사운드 입력, 음성 입력 또는 촉각 입력)을 통해 사용자로부터의 입력을 수신할 수 있다.

여기에 설명되는 시스템과 기술은 백그라운드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버로서), 또는 중간부재를 포함하는 컴퓨팅 시스템(예를 들어, 응용 서버), 또는 프론트 엔드 부재를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 유저 인터페이스 또는 인터넷 브라우저를 구비하는 사용자 컴퓨터, 사용자는 해당 그래픽 유저 인터페이스 또는 해당 인터넷 브라우저를 통해 여기에 설명되는 시스템 및 기술의 실시방식과 인터랙션할 수 있다), 또는 이러한 백그라운드 부재, 중간 부재, 또는 프론트 엔드 부재를 포함하는 임의의 컴퓨팅 시스템에서 실시될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신망)을 통해 시스템의 부재를 서로 연결시킬 수 있다. 통신망의 예시로서, 랜(LAN), 광역 통신망(WAN) 및 인터넷을 포함한다.

컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 통상적으로 통신망을 통해 인터랙션한다. 상응한 컴퓨터 상에서 실행되며 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 생성한다.

본 출원의 실시예의 기술방안에 따르면, 음성 수집 기기를 통해 사용자의 스마트 음성 기기의 타겟 애플릿에 대한 음성 제어 명령을 획득하고; 음성 인터랙션 시스템이 상기 음성 제어 명령에 대해 음성 인식과 의도 해석을 수행하여 의도 정보를 획득하고, 상기 의도 정보를 타겟 애플릿에 전송하고; 타겟 애플릿이 상기 의도 정보를 수신하고, 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하고, 타겟 애플릿의 쓰레드가 상기 제어 명령을 실행한다. 본 실시예는 음성 인터랙션 시스템과 타겟 애플릿 프레임워크 사이의 인터랙션을 통해, 타겟 애플릿에 대한 음성 제어를 구현할 수 있으며, 인터랙션 과정의 편리성을 향상시키고, 터치 방식으로 애플릿 인터랙션 함에 따른 음성 인터랙션의 지속 불가함으로 인한 주의력 분열을 방지하고, 사용자가 애플릿을 사용하는 체험을 향상시키며, 또한 애플릿의 스마트 음성 기기에서의 배포와 사용량에 대해 유력한 지원을 제공한다.

상술한 다양한 형태의 프로세스를 사용하여 단계를 재배열, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 출원에 기재된 각 단계는 병열로 수행될 수 있고 순차적으로 수행될 수도 있고 서로 다른 순서로 수행될 수도 있으며, 본 출원에 개시된 기술 솔루션이 원하는 결과를 얻을 수만 있다면, 본문에서는 여기서 한정하지 않는다.

상술한 구체적인 실시형태는, 본 출원의 보호범위에 대한 한정이 아니다. 본 분야의 통상의 지식을 가진 자라면, 설계 수요와 기타 요소를 기초로, 다양한 수정, 조합, 서브 조합 및 대체를 가할 수 있음을 이해할 수 있을 것이다. 본 출원의 정신과 원칙 내에서 이루어진 모든 수정, 동등한 대체와 개진 등은 모두 본 출원의 보호 범위 내에 속한다.

Claims

스마트 음성 기기에 응용되되, 상기 스마트 음성 기기에는 음성 인터랙션 시스템과 타겟 애플릿이 배치되어 있는 애플릿의 음성 제어방법에 있어서, 상기 방법은,
상기 타겟 애플릿이 상기 음성 인터랙션 시스템에서 전송한 의도 정보를 수신하되, 이중, 상기 의도 정보는 상기 음성 인터랙션 시스템이 사용자가 말한 타겟 애플릿의 음성 제어 명령에 대해 음성 인식과 의도 해석을 수행한 후 획득된 것인 단계;
상기 타겟 애플릿이 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하고, 타겟 애플릿의 쓰레드가 상기 제어 명령을 실행하는 단계를 포함하는 방법.
제1항에 있어서, 상기 의도 정보는 상기 음성 인터랙션 시스템이 의도 해석 결과를 기초로 기설정된 프로토콜에 따라 생성한 의도 정보이고;
상기 타겟 애플릿이 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하는 단계는,
상기 타겟 애플릿이 상기 의도 정보를 기초로 기설정된 전환 규칙을 확정하고, 상기 기설정된 전환 규칙에 따라 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하는 단계를 포함하는 방법.
제2항에 있어서, 상기 기설정된 프로토콜은 프로토콜 헤더와 프로토콜 내용을 포함하고, 상기 프로토콜 내용은 의도에 대응되는 조작 정보와 타겟 애플릿 정보를 포함하고;
상기 타겟 애플릿이 상기 의도 정보를 기초로 기설정된 전환 규칙을 확정하고, 상기 기설정된 전환 규칙에 따라 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하는 단계는,
상기 타겟 애플릿이 상기 의도 정보 중의 프로토콜 헤더를 기초로, 상기 프로토콜 헤더에 대응되는 기설정된 전환 규칙을 획득하되, 상기 기설정된 전환 규칙은 기설정된 조작 정보와 기설정된 제어 명령 사이의 대응 관계를 포함하는 단계;
상기 타겟 애플릿이 상기 기설정된 조작 정보와 기설정된 제어 명령 사이의 대응 관계에 따라, 상기 의도 정보 중의 프로토콜 내용 부분을 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하는 단계를 포함하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 타겟 애플릿의 쓰레드가 상기 제어 명령을 실행하는 단계는,
상기 타겟 애플릿이, 상기 제어 명령이 서버측과 인터랙션해야 하는 것으로 확정하면, 상기 타겟 애플릿은 타겟 애플릿의 쓰레드를 제어하여 인터랙션해야 하는 관련 내용을 로컬에 임시 저장하고, 비동기 업로드 방식을 사용하여 인터랙션해야 하는 관련 내용을 상기 서버측에 업로드하는 단계를 포함하는 방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 타겟 애플릿이 상기 음성 인터랙션 시스템에서 전송한 의도 정보를 수신하는 단계 전에,
상기 음성 인터랙션 시스템이 사용자가 말한 타겟 애플릿의 음성 호출 명령을 기초로 상기 타겟 애플릿을 호출하는 단계를 더 포함하는 방법.
제1항 내지 제5항 중 어느 한 항에 있어서, 상기 스마트 음성 기기는 스마트 스피커인 방법.
스마트 음성 기기에 응용되되, 상기 스마트 음성 기기에는 음성 인터랙션 시스템과 타겟 애플릿이 배치되어 있는 애플릿의 음성 제어방법에 있어서, 상기 방법은,
상기 음성 인터랙션 시스템이 사용자가 말한 타겟 애플릿의 음성 제어 명령을 획득하는 단계;
상기 음성 인터랙션 시스템이 상기 음성 제어 명령에 대해 음성 인식과 의도 해석을 수행하여 의도 정보를 획득하는 단계;
상기 음성 인터랙션 시스템이 상기 의도 정보를 상기 타겟 애플릿에 전송하여, 상기 타겟 애플릿이 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하고 실행하는 단계를 포함하는 방법.
제7항에 있어서, 상기 의도 정보 획득하는 단계는,
상기 음성 인터랙션 시스템이 의도 해석 결과를 기초로 기설정된 프로토콜에 따라 의도 정보를 생성하되, 여기서 상기 기설정된 프로토콜은 프로토콜 헤더와 프로토콜 내용을 포함하고, 상기 프로토콜 내용은 의도에 대응되는 조작 정보와 타겟 애플릿 정보를 포함하는 방법.
제7항 또는 제8항에 있어서, 상기 음성 인터랙션 시스템이 사용자가 말한 타겟 애플릿의 음성 제어 명령을 획득하는 단계 전에,
상기 음성 인터랙션 시스템이 사용자가 말한 타겟 애플릿에 대한 음성 호출 명령을 획득하는 단계;
상기 음성 인터랙션 시스템이 상기 음성 호출 명령에 대해 음성 인식과 의도 해석을 수행하고, 의도 해석 결과를 기초로 호출될 타겟 애플릿을 확정하고, 상기 타겟 애플릿을 호출하는 단계를 더 포함하는 방법.
제9항에 있어서, 상기 타겟 애플릿을 호출하는 상기 단계는,
상기 음성 인터랙션 시스템이 상기 스마트 음성 기기에 상기 타겟 애플릿이 존재하지 않는 것으로 확정하면, 서버측으로부터 상기 타겟 애플릿의 애플릿 패키지를 획득하고, 상기 타겟 애플릿을 호출하는 단계; 또는
상기 음성 인터랙션 시스템이 상기 스마트 음성 기기에 이미 상기 타겟 애플릿이 존재하는 것으로 확정하면, 직접 상기 타겟 애플릿을 호출하는 단계를 포함하는 방법.
제10항에 있어서, 서버측으로부터 상기 타겟 애플릿의 애플릿 패키지를 획득하는 상기 단계는,
상기 음성 인터랙션 시스템이 상기 스마트 음성 기기가 애플릿과의 음성 인터랙션을 지원하는 것으로 확정하면, 상기 서버측으로부터 상기 타겟 애플릿의 전체 애플릿 패키지를 획득하는 단계; 또는
상기 음성 인터랙션 시스템이 상기 스마트 음성 기기가 애플릿과의 음성 인터랙션을 지원하지 않는 것으로 확정하면, 상기 서버측으로부터 상기 타겟 애플릿의 부분 애플릿 패키지를 획득하되, 여기서 상기 부분 애플릿 패키지에 음성 인터랙션과 관련된 모듈을 로딩하지 않는 단계를 포함하는 방법.
제9항 내지 제11항 중 어느 한 항에 있어서, 상기 의도 해석 결과를 기초로 호출될 타겟 애플릿을 확정하는 단계는,
상기 음성 인터랙션 시스템이 상기 의도 해석 결과에 호출될 타겟 애플릿과 사용자가 요청한 리소스 정보를 포함한다는 것으로 확정하면, 상기 타겟 애플릿의 리소스 라이브러리에 상기 리소스 정보에 대응되는 타겟 리소스가 존재하는지 여부를 검색하는 단계;
존재하지 않으면, 상기 타겟 리소스를 제공할 수 있는 기타 애플릿을 획득하고, 사용자에게 추천하여 후보 타겟 애플릿으로 하는 단계를 포함하는 방법.
제10항 내지 제12항 중 어느 한 항에 있어서,
상기 음성 인터랙션 시스템이 정기적으로 상기 서버측으로부터 소정 수량의 인기 애플릿의 애플릿 패키지를 획득하고, 버퍼링하는 단계를 더 포함하는 방법.
제7항 내지 제13항 중 어느 한 항에 있어서,
상기 스마트 음성 기기는 스마트 스피커인 방법.
스마트 음성 기기에 응용되되, 상기 스마트 음성 기기에는 음성 인터랙션 시스템과 타겟 애플릿이 배치되어 있는 애플릿의 음성 제어방법에 있어서, 상기 방법은,
음성 수집 기기를 통해 사용자의 타겟 애플릿에 대한 음성 제어 명령을 획득하는 단계;
상기 음성 인터랙션 시스템이 상기 음성 제어 명령에 대해 음성 인식과 의도 해석을 수행하여 의도 정보를 획득하고, 상기 의도 정보를 상기 타겟 애플릿에 전송하는 단계;
상기 타겟 애플릿이 상기 의도 정보를 수신하고, 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하고, 타겟 애플릿의 쓰레드가 상기 제어 명령을 실행하는 단계를 포함하는 방법.
제15항에 있어서, 상기 음성 수집 기기를 통해 사용자의 타겟 애플릿에 대한 음성 제어 명령을 획득하는 단계 전에,
음성 수집 기기를 통해 사용자의 타겟 애플릿에 대한 음성 호출 명령을 획득하는 단계;
상기 음성 인터랙션 시스템이 상기 음성 호출 명령에 대해 음성 인식과 의도 해석을 수행하고, 의도 해석 결과를 기초로 호출될 타겟 애플릿을 확정하고, 상기 타겟 애플릿을 호출하는 단계를 더 포함하는 방법.
음성 인터랙션 시스템과 타겟 애플릿이 배치된 스마트 음성 기기에 있어서,
음성 인터랙션 시스템은,
음성 수집 기기를 통해 사용자의 스마트 음성 기기의 타겟 애플릿에 대한 음성 제어 명령을 획득하는 획득모듈;
상기 음성 제어 명령에 대해 음성 인식과 의도 해석을 수행하여 의도 정보를 획득하고, 상기 의도 정보를 타겟 애플릿에 전송하는 음성 처리모듈을 포함하고;
상기 타겟 애플릿은,
상기 의도 정보를 수신하는 수신모듈;
상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하는 명령 전환모듈;
타겟 애플릿의 쓰레드를 통해 상기 제어 명령을 실행하는 실행모듈을 포함하는 스마트 음성 기기.
제17항에 있어서, 상기 음성 처리모듈은 의도 정보를 획득할 때,
의도 해석 결과를 기초로 기설정된 프로토콜에 따라 의도 정보를 생성하고;
상기 명령 전환모듈은 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환 할 때,
상기 의도 정보를 기초로 기설정된 전환 규칙을 확정하고, 상기 기설정된 전환 규칙에 따라 상기 의도 정보를 타겟 애플릿의 쓰레드가 실행 가능한 제어 명령으로 전환하는 기기.
제17항 또는 제18항에 있어서, 상기 실행모듈은 타겟 애플릿의 쓰레드를 통해 상기 제어 명령을 실행할 때,
상기 제어 명령이 서버측과 인터랙션해야 하는지를 판단하고;
상기 제어 명령이 서버측과 인터랙션해야 하면, 타겟 애플릿의 쓰레드를 제어하여 인터랙션해야 하는 관련 내용을 로컬에 임시 저장하고, 비동기 업로드 방식을 사용하여 인터랙션해야 하는 관련 내용을 상기 서버측에 업로드하는 기기.
제17항 내지 제19항 중 어느 한 항에 있어서, 상기 획득모듈은 상기 음성 수집 기기를 통해 사용자의 스마트 음성 기기의 타겟 애플릿에 대한 음성 제어 명령을 획득한 후에 또한, 상기 음성 수집 기기를 통해 사용자의 타겟 애플릿에 대한 음성 호출 명령을 획득하고;
상기 음성 인터랙션 시스템은,
상기 음성 호출 명령에 대해 음성 인식과 의도 해석을 수행하고, 의도 해석 결과를 기초로 호출될 타겟 애플릿을 확정하고, 상기 타겟 애플릿을 호출하는 애플릿 호출 모듈을 더 포함하는 기기.
제20항에 있어서, 상기 애플릿 호출 모듈은 상기 타겟 애플릿을 호출할 때,
상기 스마트 음성 기기에 기 저장된 상기 타겟 애플릿이 존재하는지 여부를 판단하고;
상기 스마트 음성 기기에 상기 타겟 애플릿이 존재하지 않는 것으로 확정하면, 서버측으로부터 상기 타겟 애플릿의 애플릿 패키지를 획득하고, 상기 타겟 애플릿을 호출하거나; 또는
상기 스마트 음성 기기에 이미 상기 타겟 애플릿이 존재하는 것으로 확정하면, 직접 상기 타겟 애플릿을 호출하는 기기.
제21항에 있어서, 상기 애플릿 호출 모듈은 서버측으로부터 상기 타겟 애플릿의 애플릿 패키지를 획득할 때,
상기 스마트 음성 기기가 애플릿과의 음성 인터랙션을 지원하는지 여부를 판단하고;
상기 스마트 음성 기기가 애플릿과의 음성 인터랙션을 지원하면, 상기 서버측으로부터 상기 타겟 애플릿의 전체 애플릿 패키지를 획득하거나; 또는
상기 스마트 음성 기기가 애플릿과의 음성 인터랙션을 지원하지 않으면, 상기 서버측으로부터 상기 타겟 애플릿의 부분 애플릿 패키지를 획득하되, 여기서 상기 부분 애플릿 패키지에 음성 인터랙션과 관련된 모듈을 로딩하지 않는 기기.
제20항 내지 제22항 중 어느 한 항에 있어서, 상기 애플릿 호출 모듈은 의도 해석 결과를 기초로 호출될 타겟 애플릿을 확정할 때,
상기 의도 해석 결과에 호출될 타겟 애플릿과 사용자가 요청한 리소스 정보를 포함하는 것으로 확정하면, 상기 타겟 애플릿의 리소스 라이브러리에 상기 리소스 정보에 대응되는 타겟 리소스가 존재하는지 여부를 검색하고;
존재하지 않으면, 상기 타겟 리소스를 제공할 수 있는 기타 애플릿을 획득하고, 사용자에게 추천하여 후보 타겟 애플릿으로 하는 기기.
제20항 내지 제23항 중 어느 한 항에 있어서, 상기 애플릿 호출 모듈은 또한,
정기적으로 상기 서버측으로부터 소정 수량의 인기 애플릿의 애플릿 패키지를 획득하고 버퍼링하는 기기.
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하고, 여기서,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제16항 중 어느 한 항에 따른 방법을 수행할 수 있도록 하는 전자기기.
컴퓨터 명령이 저장된 비일시적 컴퓨터 판독 가능 저장매체에 있어서, 상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제16항 중 어느 한 항에 따른 방법을 수행하도록 하는 비일시적 컴퓨터 판독 가능 저장매체.
컴퓨터 프로그램에 있어서,
프로그램 코드를 포함하고, 컴퓨터가 상기 컴퓨터 프로그램을 실행 시, 상기 프로그램 코드는 제1항 내지 제16항 중 어느 한 항에 따른 방법을 수행하는 컴퓨터 프로그램.