KR20210110676A

KR20210110676A - 차량 클라이언트 장치가 온디바이스 기능을 사용하도록 지시

Info

Publication number: KR20210110676A
Application number: KR1020217024333A
Authority: KR
Inventors: 비크람 아가르왈; 비노드 크리슈난
Original assignee: 구글 엘엘씨
Priority date: 2019-02-12
Filing date: 2019-02-12
Publication date: 2021-09-08
Also published as: US20230343335A1; US20220246152A1; EP4339940A2; JP2022185077A; US20200342863A1; US11727934B2; JP2022519478A; EP3891731B1; US11315559B2; CN113424255A; EP4339940A3; WO2020167294A1; JP7155439B2; EP3891731A1; JP7412499B2

Abstract

여기에 설명된 구현은 여전히 동작 중인 차량 컴퓨팅 장치 버전의 유용한 응답성을 보장하면서 차량 컴퓨팅 장치 버전의 단계적 중지에 관한 것이다. 업데이트된 컴퓨팅 장치의 특정 기능은 하드웨어 제한으로 인해 이전 버전의 컴퓨팅 장치에서 사용하지 못할 수 있다. 여기에 설명된 구현은 업그레이드되지 않았거나 업그레이드할 수 없는 이전 버전의 컴퓨팅 장치로 인해 발생하는 충돌 및 낭비적인 데이터 전송을 제거한다. 의도 요청이 차량 컴퓨팅 장치의 특정 버전이 실행할 수 없는 동작과 연관됨에도 불구하고 서버 장치는 차량 컴퓨팅 장치에 제공된 특정 의도 요청에 응답할 수 있다. 이에 응답하여, 서버 장치는 차량 컴퓨팅 장치가 서버 장치에서 리소스를 계속 활용하도록 하기 위해 텍스트 데이터 및/또는 자연어 이해 데이터에 음성을 제공하도록 선택할 수 있다.

Description

차량 클라이언트 장치가 온디바이스 기능을 사용하도록 지시

본 명세서는 차량 클라이언트 장치가 온디바이스 기능을 사용하도록 지시하는 것에 관한 것이다.

인간은 본 문서에서 "자동화된 어시스턴트"("디지털 에이전트", "챗봇", "대화형 개인 어시스턴트", "지능형 개인 어시스턴트", "어시스턴트 애플리케이션", "대화 에이전트" 등이라고도 함)라고 하는 대화형 소프트웨어 애플리케이션을 사용하여 인간 대 컴퓨터 대화에 참여할 수 있다. 예를 들어, 인간(자동화된 어시스턴트와 상호 작용할 때 "사용자"라고 부를 수 있음)은 음성 자연어 입력(즉, 음성 발화)을 사용하여 자동화된 어시스턴트에 명령 및/또는 요청을 제공할 수 있으며, 일부 경우에는 텍스트로 변환된 다음 처리되거나 텍스트(예: 타이핑된) 자연 언어 입력을 제공하여 처리될 수 있다.

자동화된 어시스턴트는 예를 들어 휴대폰, 스마트 홈 장치 및/또는 차량과 같은 다양한 다른 장치에 설치될 수 있다. 휴대폰 및 기타 컴퓨팅 장치와 달리 차량은 소유자가 결국 교체 차량을 구매하기로 결정하기 전에 해당 소유자가 장기간(예: 10년 이상) 동안 사용할 수 있다. 차량 소유 기간 동안 차량에 설치된 소프트웨어가 업데이트될 수 있다. 예를 들어, 차량 컴퓨팅 장치가 최신 스마트 홈 장치 및/또는 최신 이동 전화가 처리할 수 있는 명령에 응답할 수 있도록 업데이트가 차량 컴퓨팅 장치에 제공될 수 있다. 그러나, 사용자는 특정 업데이트를 설치하지 않기로 선택할 수 있으며, 이는 차량 컴퓨팅 장치가 명령에 응답하여 상호작용하는 원격 서버 장치와 차량 컴퓨팅 장치 사이의 비호환성을 초래한다. 또한 일정 기간(예: 3년 이상) 후, 예를 들어 지원 수명 종료, 차량 컴퓨팅 장치의 하드웨어가 새로운 업데이트를 실행할 수 없는 경우 및/또는 기타 요인으로 인해 차량 컴퓨팅 장치에 대한 업데이트가 더 이상 제공되지 않을 수 있다. 이는 또한 차량 컴퓨팅 장치와 원격 서버 장치 사이의 비호환성을 초래할 수 있다. 차량 컴퓨팅 장치와 원격 서버 장치가 호환되지 않을 때, 서버 장치는 차량 컴퓨팅 장치에 의해 더 이상 해석될 수 없는 차량 컴퓨팅 장치로부터의 요청에 응답할 수 있다. 이는 차량 컴퓨팅 장치가 다양한 명령에 적절하게 응답하지 못하게 할 수 있고, 차량 컴퓨팅 장치가 다양한 데이터를 서버 장치로 낭비적으로 전송하고 및/또는 서버 장치가 다양한 데이터를 차량 컴퓨팅 장치로 낭비적으로 전송하게 할 수 있다(일부 서버 장치 응답은 차량 컴퓨팅 장치에서 더 이상 해석할 수 없기 때문에). 일부 기술은 서버 장치가 최신 업데이트 및 이전 버전의 차량 컴퓨팅 장치와 호환되도록 하여 이 문제를 해결하려고 시도한다. 그러나 이러한 이전 버전과의 호환성을 무기한 제공하려면 서버 장치에서 광범위한 스토리지, 메모리 및/또는 프로세서 사용량이 필요할 수 있다.

여기에 설명된 구현은 - 비록 운용 가능한 소프트웨어를 포함하지만 - 서버 장치 및/또는 임의의 다른 지원 시스템에 의해 점진적인 단계적 폐지(단계적 중단)(gradual phasing-out)가 적용되는 버전에 해당하는 차량 컴퓨팅 장치에서 수신된 음성 발화를 처리하기 위한 기술에 관한 것이다. 점진적인 단계적 중단은 하드웨어 및/또는 소프트웨어 버전에 대한 다양한 서버 동작에 대한 지원 범위를 초래할 수 있다. 이러한 서버 동작에는 음성-텍스트(speech-to-text) 처리(프로세싱), 자연어 이해(예: 의도 식별 및/또는 슬롯 값 식별), 액션 생성 및/또는 액션 실행이 포함될 수 있지만 이에 국한되지 않는다. 서버 장치는 새로 출시된 다른 하드웨어 및/또는 소프트웨어에 비해 구식이 되는 하드웨어 및/또는 소프트웨어의 버전에 기초하여 시간이 지남에 따라 하나 이상의 동작의 성능을 점진적으로 제거(중지)하도록 작동할 수 있다. 결과적으로, 특정 버전에 대한 동작 및/또는 슬롯 값 생성과 같은 특정 동작은 단계적 폐지 대상이 되는 특정 버전의 결과로 로컬에서만 독점적으로 수행될 수 있다. 이러한 방식으로, 일반적으로 대부분의 다른 컴퓨팅 장치(예: 차량 컴퓨팅 장치)보다 더 오래 작동하는 컴퓨팅 장치는 최신 버전에 해당하지 않음에도 불구하고 더 오랜 기간 동안 서버 장치로부터 일정량의 지원을 받을 수 있다.

예를 들어, 음성 발화는 사용자가 일반적으로 스마트 홈 장치 및/또는 휴대폰과 같은 장치 중 다른 하나를 제어하는 데 사용하는 자연어 콘텐츠를 포함할 수 있으며 자연어 콘텐츠는 요청된 의도를 지정할 수 있다. 차량 컴퓨팅 장치가 서버 장치에 의해 지원되는 현재 버전에 대응하는 경우, 차량 컴퓨팅 장치는 음성 발화를 서버 장치로 전송할 수 있다. 이에 응답하여, 차량 컴퓨팅 장치는 하나 이상의 전송에서 서버 장치로부터, 음성 발화에서 변환된 텍스트, 텍스트를 기반으로 결정된 하나 이상의 의도(인텐트), 하나 이상의 각각의 의도에 대한 하나 이상의 슬롯 값, 및/또는 하나 이상의 의도에 대한 하나 이상의 액션을 지정하는 데이터를 수신할 수 있다. 일부 구현들에서, 의도 및/또는 액션을 위한 슬롯은 의도 및/또는 액션에 따라 동작을 실행할 때 참조되는 필수 또는 선택적인 파라미터를 지칭할 수 있다. 또한, 슬롯 값은 의도 및/또는 액션의 특정 슬롯에 할당되는 값일 수 있다. 예를 들어, 메시지 의도와 같은 의도는 메시지의 수신자를 지정하기 위한 슬롯을 포함할 수 있으며, 슬롯 값은 이름(예: John Smith) 및/또는 전화 번호(예: 555-555-1234)일 수 있다.

여기에서 자세히 설명된 바와 같이, 차량 컴퓨팅 장치가 현재 버전에 해당할 때 서버 장치에 의해 제공되는 특정 데이터는 음성 발화의 텍스트 및/또는 텍스트에 기초하여 결정된 의도(들)로부터 유도될 수 있는 음성 발화의 유형에 의존할 수 있다. 더욱이, 특정 유형의 음성 발화에 응답하여 제공되는 데이터(데이터가 있는 경우)는 차량 컴퓨팅 장치의 버전이 더 이상 서버 장치에 의해 완전히 지원되는 현재 버전이 아니기 때문에 시간이 지남에 따라 동적으로 변할 수 있다. 예를 들어, 차량 컴퓨팅 장치가 최신 버전이 아닌 버전에 대응하는 경우, 서버 장치는 관계없이 적어도 음성 발화에 대응하는 오디오 데이터의 음성-텍스트 처리를 수행하여 텍스트 데이터를 생성할 수 있다. 텍스트 데이터는 선택적으로 차량 컴퓨팅 장치에 제공되고 차량 컴퓨팅 장치에 의해 활용될 수 있다. 그러나, 서버 장치는 더 이상의 데이터를 제공하지 않을 수 있으며, 대신 사용자에게 오류를 배타적으로 발행하는 것과는 대조적으로 차량 컴퓨팅 장치가 음성 발화(예: "Please update your device(장치를 업데이트하세요)")를 만족시키기 위해 자체 로컬 엔진(예: 로컬 NLU 엔진, 로컬 액션 엔진)에 의존하도록 지시할 수 있다. 이러한 방식으로 차량 컴퓨팅 장치가 음성을 텍스트 데이터로 로컬적으로 변환하는 기능을 가질 수 있지만, 차량 컴퓨팅 장치는 서버가 차량 컴퓨팅 장치의 버전을 더 이상 완전히 지원하지 않음에도 불구하고 더 나은 음성을 텍스트로 변환하기 위해 서버 장치의 처리 능력을 계속 활용할 수 있다.

일부 구현에서, 서버 장치는 차량 컴퓨팅 장치가 유사한 의도 요청을 더 이상 서버 장치에 전송하지 않도록 하는 명령과 함께 텍스트 데이터를 차량 컴퓨팅 장치에 전송할 수 있다. 예를 들어, 차량은 차량 컴퓨팅 장치의 제2 버전을 작동하는 사용자를 위한 자동화된 어시스턴트를 통해 제어될 수 있지만 차량 컴퓨팅 장치의 제1 버전을 작동하는 사용자를 위한 자동화된 어시스턴트를 통해 제어할 수 없는 서브시스템을 포함할 수 있다. 서브시스템은 차량 컴퓨팅 장치에 연결된 유체 센서 네트워크일 수 있지만 이에 국한되지 않는다. 사용자는 "Assistant, send the body shop my fluid sensor readings"와 같은 음성 발화를 제공함으로써 차량 컴퓨팅 장치가 3개의 유체 센서의 네트워크와 관련된 특정 의도를 이행하도록 요청할 수 있다. 서버 장치는 음성 발화에 대응하는 오디오 데이터를 처리할 수 있고, 오디오 데이터 및 버전 정보에 기초하여, 의도에 대응하는 액션(예: 4개의 유체 센서에서 데이터 검색)이 차량 컴퓨팅 장치의 이후 버전(예를 들어, 제2 버전)에 의해서만 지원된다고 결정할 수 있다. 예를 들어, 차량 컴퓨팅 장치의 가장 최신 버전이 지원하는 액션은 4개의 다른 유체 센서로부터 출력 신호를 샘플링하기 위한 액션 구문(action syntax)을 포함할 수 있다. 따라서, 3개의 유체 센서만을 갖는 차량 컴퓨팅 장치가 전술한 액션(동작)을 수신하면, 액션의 구문은 차량 컴퓨팅 장치가 실패하게 하거나 잘못된 액션을 실행하는 데 있어 중요하지 않은 태스크를 수행하도록 할 수 있다. 차량 컴퓨팅 장치로부터 오디오 데이터 및 버전 정보를 수신하는 서버 장치에 응답하여, 서버 장치는 차량 컴퓨팅 장치가 유사한 유형의 의도 요청에 대응하는 오디오 데이터를 더 이상 서버 장치에 전송하지 않게 하기 위해 차량 컴퓨팅 장치에 제공하기 위한 명령(명령어) 및/또는 데이터를 생성할 수 있다. 오히려, 이들 명령어를 사용하여, 차량 컴퓨팅 장치가 사용자가 유사한 유형의 의도 요청을 요청하고 있다고 결정할 때, 차량 컴퓨팅 장치는 요청된 의도에 대한 액션 데이터를 로컬적으로 생성할 수 있다. 이는 서버 장치가 하드웨어 및/또는 소프트웨어 버전 제한으로 인해 특정 차량 컴퓨팅 장치가 실행할 수 없는 액션에 해당하는 의도 요청에 대한 오디오 데이터를 더 이상 처리하지 않기 때문에 계산 리소스 및 네트워크 리소스를 보존할 수 있다.

일부 구현들에서, 사용자로부터의 음성 발화에 대응하는 오디오 데이터는 차량 컴퓨팅 장치 및 서버 장치 모두에서 처리될 수 있다. 그러나, 차량이 사용자에 의해 요청되는 의도를 결정할 수 있을 때, 차량 컴퓨팅 장치는, 서버 장치가 차량 컴퓨팅 장치에게 그러한 의도를 처리하도록 이전에 요청한 경우, 의도 요청에 응답할 수 있다. 또한, 차량 컴퓨팅 장치는 차량 컴퓨팅 장치가 서버 장치와 통신할 수 있도록 하기 위한 네트워크 연결이 있음에도 불구하고 서버 장치로부터의 추가 지원 없이 의도에 대한 액션(동작)을 생성하도록 작동할 수 있다. 일부 구현에서, 차량 컴퓨팅 장치가 특정 의도의 수행을 지원하는 데 더 이상 서버 장치를 포함하지 않는다는 명령을 수신하지 않은 경우, 차량 컴퓨팅 장치는 서버 장치가 차량 컴퓨팅 장치의 특정 버전의 하드웨어 및/또는 소프트웨어의 모든 기능을 지원하지 않음에도 불구하고 여전히 서버 장치의 특정 기능을 활용할 수 있다.

예를 들어, 사용자는 차량의 특정 서브시스템에 대한 정보를 사용하는 의도를 촉진하기 위해 음성 발화를 제공할 수 있다. 음성 발화는 "Assistant, when do I need to buy new tires?(어시스턴트, 언제 새 타이어를 사야 하나요?)"일 수 있다. 차량 컴퓨팅 장치가 서버 장치와 네트워크 연결되어 있을 때, 음성 발화에 대응하는 오디오 데이터는 처리를 위해 서버 장치로 전송될 수 있다. 오디오 데이터를 수신하는 것에 응답하여, 서버 장치는 차량 컴퓨팅 장치와 연관된 버전뿐만 아니라 사용자에 의해 요청되는 의도를 결정할 수 있다. 차량용 컴퓨팅 장치의 버전에 따라, 서버 장치는 타이어 트레드 센서 및 컴퓨팅 장치의 버전에 대응하는 특정 요청이 더 이상 서버 장치에 의해 지원되지 않고, 따라서 서버 장치가 의도 및 버전 결정에 응답하여 의도 데이터를 생성하지 않을 것이라고 결정할 수 있다. 예를 들어 사용자가 최신 버전의 컴퓨팅 장치를 가지고 있다면, 서버 장치는 의도를 특성화(특징화)하는 데이터, 그리고 차량 컴퓨팅 장치의 자동화된 어시스턴트로 하여금 사용자가 타이어 센서의 센서 출력(예: "You should change your tires in about 2 months, or in about 1600 miles."(타이어를 약 2개월 또는 약 1600마일 후에 교체해야 합니다.))에 기초하여 타이어를 교체해야 하는 시기에 대한 추정치를 제공하도록 하는 액견(동작) 및/또는 슬롯 값(들)을 생성할 것이다.

그러나, 차량 컴퓨팅 장치가 완전히 지원되는 버전에 대응하지 않기 때문에, 서버 장치는 오디오 데이터를 처리하는 서버 장치를 기반으로 하는 자연어 콘텐츠 및/또는 기타 데이터를 제공할 수 있다. 예를 들어, 서버 장치는 파생된 요청 데이터를 차량 컴퓨팅 장치에 제공할 수 있고, 파생된 요청 데이터는 적어도 음성 발화(예: "어시스턴트, 새 타이어는 언제 사야 하나요?")의 자연어 콘텐츠를 특성화하고 및/또는 사용자가 장치를 업데이트하도록 요청하는 메시지를 제공할 수 있다. 차량 컴퓨팅 장치를 수신하는 것에 응답하여, 차량 컴퓨팅 장치는 사용자를 돕기 위한 메시지(예: 사용자에게 보내는 메시지에는 "모든 어시스턴트 액션에 대한 액세스 권한을 받으려면 차량 컴퓨팅 장치를 업데이트하십시오."가 포함될 수 있다.)를 제공할 수 있다. 또한, 차량 컴퓨팅 장치는 사용자로부터 요청된 의도를 이행하는 것을 촉진하기 위해 실행할 적절한 액션(동작)을 로컬적으로 생성할 수 있다. 예를 들어, 로컬에서 결정된 액션은 인터넷 검색(예: "WEB_SEARCH_ACTION()")에 해당할 수 있으므로, 차량 컴퓨팅 장치의 가장 최신 버전을 통해 결정되는 액션은 적어도 차량의 서브시스템에서 데이터를 검색하고 표시하는 것에 해당할 수 있다(예: "TIRE_LIFETIME_ESTIMATE_ACTION()").

예로서, 차량 컴퓨팅 장치는 파생된 요청 데이터를 수신하고 차량 컴퓨팅 장치가 네트워크에 연결되어 있으므로 "When do I need to buy new tires?(새 타이어를 언제 사야 하나요?)"라는 문구를 사용하여 인터넷 검색을 수행하는 액션 (예: "WEB_SEARCH_ACTION()")을 수행할 수 있다. 인터넷 검색에 기초하여, 자동화된 어시스턴트는 오류를 제공하거나 차량 컴퓨팅 장치가 요청된 액션을 수행할 수 없음을 배타적으로 표시하는 대신 차량 컴퓨팅 장치의 인터페이스를 통해 자연어 출력을 제공할 수 있다. 예를 들어, 인터넷 검색을 기반으로 자동화된 어시스턴트는 "Some sources say you should change your tires every 5 years or every 50,000 miles(일부 소스에서는 타이어를 5년 또는 50,000마일마다 교체해야 한다고 한다.)"와 같은 가청 자연어 출력을 제공할 수 있다. 이러한 방식으로, 사용자가 수년 동안 동작에 관심을 가지고 있는 차량과 같은 장치는 이러한 장치의 특정 버전이 제조업체 또는 다른 서비스 제공자(예: 해당 및 지원하는 서버 장치를 유지하는 엔티티)에 의해 부분적으로 또는 완전히 지원되지 않음에도 불구하고 특정 기능을 유지할 수 있다.

위의 설명은 본 개시 내용의 일부 구현의 개요로서 제공된다. 이러한 구현 및 다른 구현에 대한 추가 설명은 아래에서 더 자세히 설명된다.

다른 구현은 하나 이상의 프로세서(예를 들어, 중앙 처리 장치(들)(CPU(들)), 그래픽 처리 장치(들)(GPU(들)), 및/또는 텐서 프로세싱 유닛(들)(TPU(들))은 상기 및/또는 본 명세서의 다른 곳에서 설명된 방법들 중 하나 이상과 같은 방법을 수행한다. 또 다른 구현은 하나 이상의 컴퓨터 및/또는 하나 이상의 로봇의 시스템을 포함할 수 있으며, 이 시스템은 상기 및/또는 본 명세서의 다른 곳에서 설명된 방법 중 하나 이상과 같은 방법을 수행하기 위해 저장된 명령(명령어)을 실행하도록 동작할 수 있는 하나 이상의 프로세서를 포함한다.

전술한 개념의 모든 조합과 여기에 더 자세히 설명된 추가 개념은 여기에 개시된 주제의 일부인 것으로 고려된다는 것을 이해해야 한다. 예를 들어, 본 개시의 끝에 나타나는 청구된 요지의 모든 조합은 여기에 개시된 요지의 일부인 것으로 고려된다.

도 1a, 도 1b 및 도 1c는 서버 장치가 특정 버전의 컴퓨팅 장치를 능동적으로 단계적으로 제거함에도 불구하고 다양한 컴퓨팅 장치에 응답하는 서버 장치의 뷰를 예시한다.
도 2는 사용자에 의해 여전히 사용 중인 임의의 컴퓨팅 장치 버전의 유용한 응답성을 보장하면서 컴퓨팅 장치 버전의 단계적 지원을 위한 시스템을 도시한다.
도 3은 여전히 작동 중인 임의의 컴퓨팅 장치 버전의 유용한 응답성을 보장하면서 특정 컴퓨팅 장치 버전의 지원을 단계적으로 중단(폐기)(phasing-out)하는 방법을 도시한다.
도 4는 컴퓨팅 장치가 이전에 응답했던 임의의 요청에 대한 유용한 응답성을 보장하면서 특정 컴퓨팅 장치 요청에 대한 지원을 단계적으로 중단하기 위한 방법을 예시한다.
도 5는 예시적인 컴퓨터 시스템의 블록도이다.

도 1a, 도 1b 및 도 1c는 서버 장치(114)가 차량 컴퓨팅 장치의 특정 버전에 대한 지원을 적극적으로 단계적으로 중단(phasing-out)함에도 불구하고 다양한 차량 컴퓨팅 장치에 응답하는 서버 장치(114)의 뷰(100, 130, 150)를 예시한다. 구체적으로, 도 1a는 서버 장치(114)와 같은 원격 컴퓨팅 장치(112)에 의해 완전히 지원되는 차량 컴퓨팅 장치(106)를 예시한다. 다시 말해서, 차량 컴퓨팅 장치(106)의 하나 이상의 소프트웨어 및/또는 하드웨어 컴포넌트의 버전은 가장 최근에 이용 가능한 버전에 대응할 수 있다. 예로서, 차량 컴퓨팅 장치(106)는 제3 버전에 대응할 수 있고, 다른 이전에 이용가능한 버전은 제1(첫 번째) 버전 및 제2(두 번째) 버전을 포함할 수 있다. 서버 장치(114)는 각 버전에 대해 어느 정도의 지원을 제공하도록 작동할 수 있으며, 제3(세 번째) 버전이 가장 최신 버전임에도 불구하고, 제1 버전 또는 제2 버전에 따라 작동하는 다른 차량 컴퓨팅 장치에서 불필요한 전송 및/또는 액션을 제거한다.

도 1a에 제공된 바와 같이, 사용자는 "Assistant, send my location and arrival time to my destination's phone number(어시스턴트, 내 목적지의 전화번호로 내 위치 및 도착 시간을 보내줘)"와 같은 음성 발화(102)를 제공할 수 있다. 음성 발화는 제3 버전에 따라 동작하는 차량 컴퓨팅 장치에서만 독점적으로 실행 가능한 동작(액션)에 대응할 수 있다. 따라서, 차량(104)의 차량 컴퓨팅 장치(106)가 제3 버전에 대응하기 때문에, 서버 장치(114)는 사용자로부터의 요청에 완전히 응답하도록 동작할 수 있다. 일부 구현에서, 사용자로부터의 요청은 모든 버전(예: 제1 버전, 제2 버전, 제3 버전)에 대해 동일한 의도(인텐트)(intent)에 대응할 수 있지만, 요청된 의도(인텐트)에 대한 특정 액션은 요청을 수신하는 차량 컴퓨팅 장치와 연관된 버전에 따라 다를 수 있다. 즉, 의도에 사용되는 식별자는 소프트웨어 및/또는 하드웨어 모듈의 모든 버전에 대해 공통적일 수 있다. 예를 들어, 음성 발화(102)를 통해 요청된 의도는 MESSAGE_INTENT()로서 식별될 수 있다. 그러나 의도에 따라 실행할 수 있는 액션은 버전마다 다를 수 있으며, 각 액션의 구문은 버전마다 다를 수 있다. 예를 들어, MESSAGE_DESTINATION() 액션은 모든 버전의 차량 컴퓨팅 장치에서 사용할 수 있지만 MESSAGE_DESTINATION() 액션의 특정 구문은 적어도 제1 버전과 관련하여 제3 버전에서 다를 수 있다. 예를 들어, 제3 버전의 액션 구문은 속성, 값, API 및/또는 제1 버전의 동일한 액션에 대한 액션 구문에서 참조하지 않는 기타 데이터를 참조할 수 있다.

일부 구현에서, 차량 컴퓨팅 장치(106)는 서버 장치(114)에 의존하여 차량 컴퓨팅 장치(106)에서의 실행을 위한 특정 액션을 선택할 수 있다. 차량 컴퓨팅 장치(106)는 액션을 선택하기 위해 서버 장치(114)에 의존할지 여부를 로컬적으로(locally) 결정하지 또는 액션을 로컬적으로 결정할 수 있다. 예를 들어, 차량 컴퓨팅 장치(106)가 제3의 최신 버전에 대응하기 때문에, 차량 컴퓨팅 장치(106)는 사용자가 특정 의도를 요청할 때 서버 장치(114)가 액션 데이터 및/또는 슬롯 값 데이터를 제공할 수 있다고 결정할 수 있다. 메시지 의도에 대한 요청을 제공하는 사용자에 대한 응답으로, 차량 컴퓨팅 장치(106)는 음성 발화(102)에 대한 음성-텍스트 처리(speech to text processing)를 수행할 수 있고 및/또는 처리(프로세싱)를 위해 음성 발화(102)에 대응하는 오디오 데이터를 서버 장치(114)에 제공할 수 있다. 오디오 데이터는 셀룰러, 4G, 5G, LTE, 블루투스, Wi-Fi, 하나 이상의 롱 레인지(long range) 프로토콜 및/또는 기타 유선 또는 무선 통신 프로토콜과 같은 무선 통신 프로토콜을 통해 인터넷과 같은 네트워크(108)를 통해 전송될 수 있다.

오디오 데이터를 수신하는 서버 장치(114)에 응답하여, 서버 장치(114) 및/또는 서버 장치(114)와 통신하는 다른 장치는 오디오 데이터에 대해 음성-텍스트 처리를 수행할 수 있다. 음성-텍스트 처리로부터 파생된 결과적인 텍스트 데이터는 음성 발화(102)의 자연어 콘텐츠를 특성화할 수 있다. 일부 예에서, 사용자는 특정 의도를 구체적으로 생성 및/또는 식별하는 하나 이상의 자연어 용어를 포함하는 음성 발화(102)를 제공할 수 있다. 예를 들어, 메시지 의도는 전송, 메시지, 드래프트(draft) 및/또는 전자 메시지와 연관될 수 있는 임의의 다른 자연어 용어(들)와 같은 자연어 용어를 사용하여 식별될 수 있다. 텍스트 데이터는 어시스턴트 데이터(118)로서 서버 장치(114)에 저장될 수 있고, 텍스트 데이터에 대응하는 자연어 이해(NLU) 데이터를 생성하기 위해 어시스턴트 상호작용 엔진(122)을 통해 추가로 처리될 수 있다. 일부 구현들에서, NLU 데이터를 생성함으로써, 어시스턴트 상호작용 엔진(122)은 음성 발화(102)를 통해 사용자에 의해 요청된 의도를 식별할 수 있다.

일부 구현들에서, 차량 컴퓨팅 장치(106)가 사용자로부터 음성 발화를 수신할 때, 차량 컴퓨팅 장치(106)는 버전 데이터와 함께 음성 발화에 대응하는 오디오 데이터를 서버 장치(114)에 전송할 수 있다. 버전 데이터 수신에 응답하여, 서버 장치(114)의 버전 엔진(120)은 차량 컴퓨팅 장치(106)에 대응하는 버전을 결정할 수 있다. 일부 구현에서, 버전은 차량 컴퓨팅 장치(106)의 하나 이상의 하드웨어 컴포넌트, 차량 컴퓨팅 장치(106)에서 작동하는 하나 이상의 소프트웨어 모듈, 차량 컴퓨팅 장치(106)를 통해 액세스할 수 있는 자동화된 어시스턴트, 및/또는 차량 컴퓨팅 장치(106)와 연관될 수 있는 임의의 다른 특성에 기초할 수 있다.

차량 컴퓨팅 장치(106)에 대응하는 버전 및 요청된 의도를 식별하는 것에 기초하여, 서버 장치(114)는 차량 컴퓨팅 장치(106)가 실행할 적절한 동작(액션)을 생성할 수 있다. 대안적으로, 또는 추가적으로, 서버 장치(114)는 또한 식별된 동작의 생성 동안 사용될 수 있는 의도에 대한 하나 이상의 슬롯 값을 식별할 수 있다. 서버 장치(114)는 차량 컴퓨팅 장치(106)를 사용하여 실행될 수 있는 하나 이상의 동작을 식별하기 위해 버전 데이터(116)를 사용할 수 있다. 예를 들어, 차량 컴퓨팅 장치(106)에 대응하는 제3 버전은 메시지에 대한 슬롯 값을 생성하기 위해 다른 애플리케이션으로부터 애플리케이션 데이터를 검색하는 것을 지원할 수 있다. 따라서 사용자가 목적지와 연결된 전화 번호로 자신의 위치와 도착 시간을 보내달라고 요청했기 때문에, 서버 장치는 사용자 권한으로 현재 위치(예: "SLOT_VALUE_X"), 예상 도착 시간(예: "SLOT_VALUE_Y") 및 사용자의 목적지와 연결된 전화 번호(예: "SLOT_VALUE_Z")를 식별하는 다른 애플리케이션 데이터에 액세스할 수 있다. 이러한 유형의 메시지에 해당하는 액션은 예를 들어 다중 소스 메시지 액션(예: "ACTION_N")으로 식별될 수 있다. 이 특정 액션은 적어도 차량 컴퓨팅 장치(106)가 제3 버전에 대응할 때 차량 컴퓨팅 장치(106)에서의 실행을 위해 서버 장치(114)에 의해 선택될 수 있다.

따라서, 차량 컴퓨팅 장치(106)가 음성 발화(102)를 수신하고 차량 컴퓨팅 장치(106)가 오디오 데이터 및 버전 데이터를 서버 장치(114)에 제공하는 것에 응답하여, 서버 장치(114)는 차량 컴퓨팅 장치(106)에 의도 데이터(124)를 제공할 수 있다. 의도 데이터(124)는 의도(예: "INTENT()"), 서버 선택 액션(ACTION_N), 및 음성 발화(102) 및/또는 임의의 다른 적절한 데이터 소스에 기초하여 서버 장치(114)에 의해 식별된 임의의 슬롯 값을 식별할 수 있다. 다만, 차량용 컴퓨팅 장치가 3차 버전에 해당하지 않는 경우, 서버 장치(114) 및/또는 차량 컴퓨팅 장치는 유사한 음성 발화를 상이하게 처리할 수 있지만, 음성 발화에 대한 자동화된 어시스턴트 또는 다른 애플리케이션의 응답성을 보장하는 방식으로 처리할 수 있다.

다양한 구현들에서, 차량 컴퓨팅 장치(106)는 차량과 통합되고 또한 차량과 통합되는 차량 스피커(들)를 직접 구동한다. 차량 컴퓨팅 장치(106)는 차량의 원래 장비일 수 있거나 애프터마켓에 설치된 액세서리일 수 있다. 차량 컴퓨팅 장치(106)는 차량 스피커(들)를 직접 구동하고 및/또는 특별한 도구의 사용을 필요로 하지 않고 및/또는 상당한 시간 및/또는 전문 지식을 요구하지 않고 차량에서 제거될 수 없다는 점에서 통합된다. 예를 들어, 차량 컴퓨팅 장치(102)는 차량의 CAN(controller area network) 버스에 연결될 수 있고 및/또는 차량 고유의 커넥터(예: 12V 차량 콘센트 및 쉽게 접근할 수 있는 보조 표준 플러그가 아님)를 통해 전력이 공급될 수 있다.

도 1b는 제2 버전에 대응하는 차량 컴퓨팅 장치(140)에 음성 발화(132)를 제공하는 사용자의 뷰(130)를 예시한다. 차량 컴퓨팅 장치(140) 및/또는 본 명세서에서 논의되는 임의의 다른 차량 컴퓨팅 장치는 하나 이상의 메모리 장치 및 하나 이상의 프로세서를 포함할 수 있다. 음성 발화(132)를 수신하는 것에 응답하여, 차량 컴퓨팅 장치(140)는 인터넷과 같은 네트워크(126)를 통해 원격 컴퓨팅 장치(112)와 통신할 수 있다. 음성 발화(132)는 도 1a의 음성 발화(102)와 유사할 수 있으며, 적어도 차이점과 서버 장치(114)가 다른 버전에 대한 유사한 음성 발화를 처리할 수 있는 방법을 설명한다.

예를 들어, 차량 컴퓨팅 장치(140)는 제2 버전에 해당하고, 제3 버전은 최신 버전이므로, 서버 장치(114)는 차량 컴퓨팅 장치(140)에 적어도 도 1a에 예시된 응답에 대해 상이하게 응답할 수 있다. 차량 컴퓨팅 장치(140)는 음성 발화(132)를 특성화(특징화)(characterize)하는 오디오 데이터와 제2 버전에 대응하는 것으로 차량 컴퓨팅 장치(140)를 특성화하는 버전 데이터를 전달할 수 있다. 일부 구현에서, 차량 컴퓨팅 장치(140)는 서버 장치(114)가 음성 발화(132)에 의해 구현된 특정 의도 요청에 응답하는 데 있어서 차량 컴퓨팅 장치(140)를 지원할 수 있는 정도(extent)를 로컬적으로 결정할 수 있다. 추가적으로 또는 대안적으로, 서버 장치(114)는, 적어도 서버 장치(114)에 액세스 가능한 버전 데이터(116)에 기초하여, 서버 장치(114)가 특정 의도 요청에 응답하는 데 있어서 차량 컴퓨팅 장치를 지원할 수 있는 정도를 결정할 수 있다. 차량 컴퓨팅 장치(140)는 음성 발화(132)가 MESSAGE_INTENT에 대응하는 의도 요청을 포함하고 차량 컴퓨팅 장치(140)의 제2 버전이 MESSAGE_INTENT와 관련하여 최소한 부분적으로 지원된다는 결정에 응답하여 오디오 데이터 및 버전 데이터를 서버 장치(114)에 제공할 수 있다.

예로서, 서버 장치(114)는 오디오 데이터 및 버전 데이터를 수신할 수 있고, 버전 엔진(120)은 서버 장치(114)가 제2 버전을 갖는 차량 컴퓨팅 장치(140)를 지원할 수 있는 정도(extent)를 결정할 수 있다. 버전 엔진(120)은 서버 장치(114)가 차량 컴퓨팅 장치(140)를 지원할 수 있는 정도를 특성화하는 데이터를 생성하기 위해 차량 컴퓨팅 장치(140)로부터의 버전 데이터를 버전 데이터(116)와 비교할 수 있다. 대안적으로, 또는 추가적으로, 서버 장치(114)는 음성 발화(132)에 대한 자연어 이해 데이터를 생성하기 위해 음성 발화(132)의 자연어 콘텐츠를 특성화하는 텍스트 데이터에 액세스할 수 있다.

어시스턴트 상호작용 엔진(122)은 텍스트 데이터를 사용하여 MESSAGE_INTENT를 특성화하는 NLU 데이터, 및 선택적으로 의도 요청을 이행하기 위한 하나 이상의 슬롯 값을 생성할 수 있다. 일부 구현에서, 의도 및/또는 하나 이상의 슬롯 값은 서버 장치(114)에 액세스 가능한 어시스턴트 데이터(118)에 기초하여 생성될 수 있다.

차량 컴퓨팅 장치(140)가 제2 버전에 대응한다고 결정하는 서버 장치(114)에 기초하여, 서버 장치(114)는 데이터(128)를 차량 컴퓨팅 장치로 전송할 수 있고, 데이터(128)는 의도(예를 들어, INTENT()) 및 음성을 텍스트 데이터(예: STT_DATA("Assistant, send ..."))로 식별할 수 있으며, 이는 음성 발화(132)의 자연어 콘텐츠를 특성화할 수 있다. 음성을 텍스트 데이터로 제공함으로써, 차량 컴퓨팅 장치(140)가 제3 버전이 아닌 제2 버전에 대응함에도 불구하고, 음성 발화(132)의 임의의 로컬 처리가 계속 진행 중인 경우, 차량 컴퓨팅 장치(140)에서 계산 자원이 보존될 수 있다. 또한, 서버 장치(114)가 제3 버전에 대응하는 액션 데이터 전송을 바이패스하도록 함으로써, 네트워크(126)를 통해 전송되는 데이터가 적기 때문에 네트워크 대역폭이 보존될 수 있다. 또한, 차량 컴퓨팅 장치(140)가 제3 버전에 대응하는 액션 데이터를 수신하고 이를 처리하려고 시도했다면, 그러한 처리는 적어도 메시지 의도의 이행을 촉진하는 것과 관련하여 중요하지 않았을 것이다.

차량 컴퓨팅 장치(140)가 데이터(128)를 수신할 때, 차량 컴퓨팅 장치(140)는 의도에 대한 적절한 동작(액션)을 로컬적으로 선택할 수 있다. 예를 들어, 다중 소스 동작 의도를 식별 및/또는 생성하는 대신, 차량 컴퓨팅 장치(140)는 차량 컴퓨팅 장치(140)를 통해 액세스 가능한 하나 이상의 애플리케이션에 의해 지원되는 액션(동작)을 식별할 수 있다. 예를 들어, 차량 컴퓨팅 장치(140)는 자동화된 어시스턴트의 도움으로 지도 애플리케이션에 의해 수행될 수 있는 LOCATION_MESSAGE 액션을 생성할 수 있다. 예를 들어, LOCATION_MESSAGE 액션에 대한 슬롯 값에는 지도 애플리케이션에서 생성할 수 있는 현재 위치 및 예상 도착 시간이 포함될 수 있다. 그러나, 차량 컴퓨팅 장치(140)는 제2 버전에 대응하므로, 차량 컴퓨팅 장치(140)는 매핑된 목적지에 대한 전화번호를 제공할 수 있는 애플리케이션을 지원하지 못할 수 있다. 따라서, 음성 발화(132)에 응답하고 데이터(128)에 기초하여, 자동화된 어시스턴트는 "Ok, I'm sending a message with your location and estimated arrival time(오케이, 당신의 위치와 예상 도착 시간이 포함된 메시지를 보내겠습니다. 이 메시지를 누구에게 보내시겠습니까?)"와 같은 응답(142)을 제공할 수 있다. 이에 응답하여, 그리고 나머지 슬롯 값을 충족시키기 위해, 사용자는 "Albert Smith(알버트 스미스)"와 같은 또 다른 음성 발화(132)를 제공할 수 있다. LOCATION_MESSAGE 액션에 대한 모든 슬롯 값이 결정되면, 액션은 차량 컴퓨팅 장치(140)에서 실행될 수 있다. 이러한 방식으로, 제3 버전에 비해 구식인 제2 버전에 대응하는 차량 컴퓨팅 장치(140)에도 불구하고, 자동화된 어시스턴트 및/또는 차량 컴퓨팅 장치(140)는 계산 자원을 낭비하지 않고 요청된 의도에 여전히 응답할 수 있다.

도 1c는 서버 장치(114)에 의해 지원되는 제1 버전에 대응하는 차량(154)의 차량 컴퓨팅 장치(156)에 음성 발화(152)를 제공하는 사용자의 뷰(150)를 예시한다. 구체적으로, 도 1c는 요청된 의도가 가장 최근의 제1 버전의 동작(액션)과 연관되어 있음에도 불구하고 서버 장치(114)가 차량 컴퓨팅 장치(156)로 하여금 사용자에게 응답하도록 하는 시나리오를 예시한다. 또한, 도 1c는 차량 컴퓨팅 장치(156)가 후속적으로 특정 의도 요청에 대응하는 특정 데이터의 전송을 바이패스하게 할 수 있는 명령 데이터를 서버 장치(114)가 제공할 수 있는 방법을 예시한다.

도 1c에 따르면, 사용자는 "Assistant, send my location and estimated arrival time to my destinations phone number(어시스턴트, 내 목적지 전화번호에 대한 내 위치 및 예상 도착 시간을 보내줘)"와 같은 음성 발화(152)를 제공할 수 있다. 도 1a 및 1b에 대해 설명된 바와 같이, 전술한 음성 발화는 서버 장치(114)에 의해 완전히 지원되거나 서버 장치(114)에 의해 부분적으로 지원될 수 있다. 그러나, 일부 상황에서, 서버 장치(114)는 버전 엔진(120) 및 버전 데이터(116)를 사용하여 서버 장치(114)가 하나 이상의 요청된 의도를 더 이상 지원하지 않는다고 결정할 수 있다. 예를 들어, 음성 발화(152)를 특성화하는 오디오 데이터를 수신하는 것에 응답하여, 서버 장치(114)는 차량 컴퓨팅 장치(156)가 제1 버전에 대응한다고 결정할 수 있고, 음성 발화(152)를 통해 사용자에 의해 요청된 하나 이상의 의도를 식별할 수 있다. 식별된 의도가 최신 버전(예: 제3 버전)에서 더 이상 지원되지 않는 의도에 해당하는 경우, 서버 장치(114)는 차량 컴퓨팅 장치(156)가 서버 장치(114)에 이러한 요청을 제출하는 능력을 제한하는 것에 관한 명령 데이터를 수신했는지 여부를 추가로 결정할 수 있다. 대안적으로 또는 추가적으로, 차량 컴퓨팅 장치(156)는 네트워크(158)를 통해 오디오 데이터, 버전 데이터, 및/또는 특정 의도와 관련하여 차량 컴퓨팅 장치(156)의 제한을 특성화하는 데이터를 전송할 수 있다. 제한 데이터를 수신하는 것에 응답하여, 서버 장치(114)는 서버 장치(114)가 차량 컴퓨팅 장치(156)로부터의 데이터에 응답해야 하고 및/또는 응답할 정도를 결정할 수 있다.

예를 들어, 오디오 데이터, 데이터 및 제한을 특성화하는 데이터의 수신에 응답하여, 서버 장치(114)는 차량 컴퓨팅 장치(156)가 제1 버전에 따라 작동하고 있고, 그리고 차량 컴퓨팅 장치(156)가 하나 이상의 의도 및/또는 하나 이상의 액션에 대한 의도 데이터, 액션 데이터 및/또는 슬롯 데이터를 더 이상 요청하지 않도록 지시받았다고 결정할 수 있다. 서버 장치(114)는 사용자에 의해 요청된 하나 이상의 의도를 특성화할 수 있는 자연어 이해 데이터를 생성하기 위해 오디오 데이터를 처리(프로세싱)할 수 있다. 하나 이상의 특성화된 의도가 제한 데이터에 의해 식별된 하나 이상의 의도에 해당하는 경우, 서버 장치(114)는 적어도 하나 이상의 특성화된 의도와 관련하여 차량 컴퓨팅 장치(156)에 대한 의도 데이터, 액션 데이터, 및/또는 슬롯 데이터를 생성하는 것을 바이패스할 수 있다. 또한, 의도 데이터, 액션 데이터, 및/또는 슬롯 데이터를 생성할 때 리소스를 사용하는 서버 장치(114) 대신에, 서버 장치(114)는 음성-텍스트 데이터(speech-to-text data)를 생성할 수 있다. 로컬 차량 컴퓨팅 장치(156)의 처리 능력 및/또는 얼마나 많은 애플리케이션이 차량 컴퓨팅 장치(156)에서 동시에 실행되고 있는지에 따라, 서버 장치(114)로부터의 음성-텍스트 데이터가 제공되는 것은 차량 컴퓨팅 장치(156)에서 처리 대역폭을 보존할 수 있다.

일부 구현에서, 서버 장치(114)가 차량 컴퓨팅 장치(156)에 대응하는 버전이 단계적 중지 대상이지만 명령 데이터가 제공되지 않은 것으로 결정하면, 서버 장치(114)는 데이터(160)를 차량 컴퓨팅 장치(156)로 전송할 수 있고, 데이터(160)는 음성-텍스트 데이터 및/또는 차량 컴퓨팅 장치(156)와 연관된 특정 버전에 대한 제한을 특성화하는 명령 데이터를 포함할 수 있다. 명령 데이터 수신에 대한 응답으로, 차량 컴퓨팅 장치(156)는 특정 의도 데이터, 액션 데이터, 및/또는 슬롯 데이터에 대해 서버 장치(114)에 의존 및/또는 쿼리하는 것을 차후에 바이패스하게 하는 것과 같이 구성(configuration)을 업데이트할 수 있다.

서버 장치(114)가 차량 컴퓨팅 장치(156) 버전의 한계(제한)를 인정하는 상황에서, 그리고 서버 장치(114)가 음성-텍스트 데이터를 제공하는 경우, 차량 컴퓨팅 장치(156)는 음성-텍스트 데이터, 또는 로컬적으로 생성된 음성-텍스트 데이터를 사용하여 사용자에게 응답하고 및/또는 요청된 의도를 달리 이행할 수 있다. 예를 들어, 차량 컴퓨팅 장치(156)는 음성-텍스트(speech to text) 데이터에 기초하여 사용자가 특정 의도를 요청했음을 결정할 수 있다. 또한, 서버 장치(114)가 의도에 대한 특정 액션을 선택하지 않았기 때문에, 차량 컴퓨팅 장치(156)는 NEW_MESSAGE 액션과 같은 액션을 로컬적으로 생성할 수 있다. 또한, 차량 컴퓨팅 장치(156)는 NEW_MESSAGE 액션에 필요한 하나 이상의 슬롯이 슬롯 값을 할당받았는지 여부를 결정할 수 있다. 예를 들어, "MESSAGE_BODY()" 슬롯 값이 없거나, 음성-텍스트 데이터를 사용하여 차량 컴퓨팅 장치(156)에 의해 식별될 수 없는 경우, 차량 컴퓨팅 장치(156)는 사용자에게 쿼리(162)를 제공할 수 있다. 이에 응답하여, 차량 컴퓨팅 장치(156)는 "OK, what would you like the message to say?(오케이, 어떤 메시지를 원하십니까?)"와 같은 자연어 출력을 제공할 수 있다. 그 후, 사용자는 "I’m on my way."와 같은 또 다른 음성 발화(152)를 제공할 수 있다. 사용자와 차량 컴퓨팅 장치(156) 사이의 이러한 상호작용은 모든 필요한 슬롯에 슬롯 값이 할당될 때까지 및/또는 액션이 차량 장치(156)를 통해 수행될 때까지 계속될 수 있다. 이러한 방식으로, 차량 컴퓨팅 장치(156)가 제1 버전에 대응하거나 그렇지 않으면 최신 버전이 아닌 버전에도 불구하고, 차량 컴퓨팅 장치(156)는 적어도 사용자에게 응답하고 서버 장치(114)의 특정 기능을 활용할 수 있다. 이는 차량 컴퓨팅 장치(156)가 더 긴 사용 기간 동안 사용자에게 응답할 수 있게 하는 동시에 낭비적인 네트워크 통신 및/또는 메모리 및/또는 처리 대역폭과 같은 계산 자원의 비효율적인 사용을 제거한다.

도 2는 여전히 작동 중인 임의의 컴퓨팅 장치 버전의 유용한 응답성을 보장하면서 컴퓨팅 장치(예를 들어, 차량 컴퓨팅 장치 및/또는 임의의 다른 클라이언트 장치) 버전을 단계적으로 중단하기 위한 시스템(200)을 도시한다. 자동화된 어시스턴트(204)는 클라이언트 장치(218) 및/또는 서버 장치(202)와 같은 하나 이상의 컴퓨팅 장치에서 제공되는 자동화된 어시스턴트 애플리케이션의 일부로서 동작할 수 있다. 사용자는 하나 이상의 어시스턴트 인터페이스(220)를 통해 자동화된 어시스턴트(204)와 상호작용할 수 있고, 이는 마이크로폰, 카메라, 터치 스크린 디스플레이, 사용자 인터페이스, 및/또는 사용자와 애플리케이션 사이에 인터페이스를 제공할 수 있는 임의의 다른 장치 중 하나 이상을 포함할 수 있다. 예를 들어, 사용자는 자동화된 어시스턴트(204)가 기능(예: 데이터 제공, 주변기기 제어, 에이전트 접속 등)을 수행하게 하기 위해 어시스턴트 인터페이스에 언어, 텍스트 또는 그래픽 입력을 제공함으로써 자동화된 어시스턴트(204)를 초기화할 수 있다. 클라이언트 장치(218)는 디스플레이 장치를 포함할 수 있고, 이는 터치 입력을 수신하기 위한 터치 인터페이스 및/또는 사용자가 터치 인터페이스를 통해 클라이언트 장치(218) 및/또는 서버 장치(202)의 애플리케이션을 제어할 수 있도록 하는 제스처를 포함하는 디스플레이 패널일 수 있다.

일부 구현에서, 클라이언트 장치(218)는 디스플레이 장치가 부족할 수 있지만 오디오 인터페이스(예를 들어, 스피커 및/또는 마이크)를 포함할 수 있고, 따라서 그래픽 사용자 인터페이스 출력을 제공하지 않고 가청 사용자 인터페이스 출력을 제공할 뿐만 아니라 사용자로부터 음성 자연어 입력을 수신하기 위한 마이크로폰과 같은 사용자 인터페이스를 제공한다. 예를 들어, 일부 구현에서, 클라이언트 장치(218)는 하나 이상의 버튼과 같은 하나 이상의 촉각 입력 인터페이스를 포함할 수 있고, 그래픽 처리 장치(GPU)로부터 그래픽 데이터가 제공되는 디스플레이 패널을 생략할 수 있다. 이러한 방식으로 디스플레이 패널과 GPU를 포함하는 컴퓨팅 장치에 비해 상당한 에너지 및 처리 리소스를 절약할 수 있다.

클라이언트 장치(218)는 인터넷과 같은 네트워크(240)를 통해 서버 장치(202)와 통신할 수 있다. 클라이언트 장치(218)는 클라이언트 장치(218)에서 계산 자원을 보존하기 위해 계산 액션을 서버 장치(202)로 오프로드할 수 있다. 예를 들어, 서버 장치(202)는 자동화된 어시스턴트(204)를 호스팅할 수 있고, 클라이언트 장치(218)는 하나 이상의 어시스턴트 인터페이스(220)에서 수신된 입력을 서버 장치(202)로 전송할 수 있다. 그러나, 일부 구현에서, 자동화된 어시스턴트(204)는 클라이언트 장치(218)에서 호스팅될 수 있다. 다양한 구현들에서, 자동화된 어시스턴트(204)의 모든 양태들보다 적은 양태들이 원격 컴퓨팅 장치(242) 및/또는 클라이언트 장치(218) 상에서 구현될 수 있다. 이들 구현들 중 일부에서, 자동화된 어시스턴트(204)의 양태들은 클라이언트 장치(218)의 로컬 자동화된 어시스턴트(222) 및 자동화된 어시스턴트(204)의 다른 양태들을 구현할 수 있는 서버 장치(202)와의 인터페이스를 통해 구현된다. 서버 장치(202)는 다중 스레드를 통해 복수의 사용자 및 그들의 연관된 어시스턴트 애플리케이션을 선택적으로 서비스할 수 있다. 자동화된 어시스턴트(204)의 모든 양태들 또는 그보다 적은 양태들이 클라이언트 장치(218)의 로컬 자동화된 어시스턴트(222)를 통해 구현되는 구현들에서, 로컬 자동화된 어시스턴트(222)는 클라이언트 장치(218)(예: 운영 체제의 "상단(on top)에" 설치됨)의 운영 체제와 별개인 애플리케이션일 수 있거나 대안적으로 클라이언트 장치(218)의 운영 체제에 의해 직접 구현될 수 있다(예: 운영 체제의 애플리케이션으로 간주되지만 운영 체제와 통합됨).

일부 구현에서, 자동화된 어시스턴트(204) 및/또는 자동화된 어시스턴트(222)는 클라이언트 장치(218)에 대한 입력 및/또는 출력을 처리하기 위해 다수의 다른 모듈을 사용할 수 있는 입력 처리 엔진(206)을 포함할 수 있다. 예를 들어, 입력 처리 엔진(206)은 오디오 데이터에 구현된 텍스트를 식별하기 위해 어시스턴트 인터페이스(220)에서 수신된 오디오 데이터를 처리할 수 있는 음성 처리 엔진(208)을 포함할 수 있다. 오디오 데이터는 예를 들어 클라이언트 장치(218)에서 계산 자원을 보존하기 위해 클라이언트 장치(218)로부터 서버 장치(202)로 전송될 수 있다.

오디오 데이터를 텍스트로 변환하는 프로세스는 신경망을 사용할 수 있는 음성 인식 알고리즘, 및/또는 단어 또는 구에 대응하는 오디오 데이터 그룹을 식별하기 위한 통계 모델을 포함할 수 있다. 오디오 데이터로부터 변환된 텍스트는 자연어 이해(NLU)/의도 엔진(210)에 의해 파싱될 수 있고. 사용자에 의해 요청된 하나 이상의 의도를 식별하는 데 사용될 수 있는 데이터로서 자동화된 어시스턴트(204)에 이용가능하게 될 수 있다. 일부 구현에서, NLU/의도 엔진(210)에 의해 제공되는 출력 데이터는,

사용자가 특정 액션 및/또는 자동화 어시스턴트(204)에 의해 수행될 수 있는 루틴 및/또는 자동 어시스턴트(204)에 의해 액세스될 수 있는 애플리케이션 또는 에이전트에 대응하는 입력을 제공했는지 여부를 결정하기 위해 액션 엔진(214)에 제공될 수 있다. 예를 들어, 어시스턴트 데이터(216)는 클라이언트 데이터(230)로서 서버 장치(202) 및/또는 클라이언트 장치(218)에 저장될 수 있고, 자동화된 어시스턴트(204) 및/또는 자동화된 어시스턴트(222)에 의해 수행될 수 있는 하나 이상의 액션뿐만 아니라 이러한 액션을 수행하는 데 연관된 임의의 슬롯 값 및/또는 기타 파라미터를 정의하는 데이터를 포함할 수 있다.

입력 처리 엔진(206)이 사용자가 특정 의도, 루틴 및/또는 액션이 이행되고 및/또는 수행되도록 요청했다고 결정한 경우, 슬롯 엔진(212)은 액션 및/또는 특정 의도의 슬롯에 대한 하나 이상의 슬롯 값을 결정할 수 있고, 그 다음, 액션 엔진(214)은 특정 의도, 액션, 루틴, 및/또는 하나 이상의 슬롯 값에 기초하여 사용자에게 출력을 제공할 수 있다. 예를 들어, 일부 구현에서, 차량(238)의 클라이언트 장치(218)의 어시스턴트 인터페이스(220)로 향하는 제스처와 같은 사용자 입력에 응답하여, 자동화된 어시스턴트(222)는 데이터를 유발할 수 있고, 이는 서버 장치(202)에 전송될 제스처를 특성화하여, 사용자가 자동화된 어시스턴트(204) 및/또는 자동화된 어시스턴트(222)가 수행하도록 의도한 의도 및/또는 액션을 서버 장치가 결정할 수 있게 한다.

일부 구현에서, 클라이언트 장치(218)는 데스크톱 컴퓨터, 랩톱 컴퓨터, 휴대 전화기와 같은 휴대용 컴퓨팅 장치, 태블릿 컴퓨팅 장치, 스마트 홈 장치, 및/또는 서버 장치와 직접 또는 간접적으로 통신한다. 클라이언트 장치(218)는 시간이 지남에 따라 변할 수 있는 특정 버전에 대응할 수 있다. 예를 들어, 클라이언트 장치(218)는 서버 장치(202)로부터 지원을 수신하기 위한 가장 최근 버전에 대응할 수 있거나, 클라이언트 장치(218)는 서버 장치(202)로부터 지원을 받기 위한 가장 최근 버전이 아닌 버전에 대응할 수 있다. 버전은 클라이언트 장치(218)의 하나 이상의 물리적 하드웨어 컴포넌트, 클라이언트 장치(218)의 운영 체제, 클라이언트 장치(218)에서 이용 가능한 하나 이상의 애플리케이션, 자동화된 어시스턴트(222), 및/또는 클라이언트 장치(218)와 연관될 수 있는 임의의 다른 장치 또는 모듈에 대응할 수 있다.

서버 장치(202)가 특정 버전에 대한 지원을 단계적으로 중단하기 위해, 서버 장치(202)는 버전 엔진(234)을 포함할 수 있으며, 여기서 서버 장치(202)는 특정 버전에 대한 지원에 대한 제한을 결정할 수 있다. 예를 들어, 버전 엔진(234) 및/또는 서버 데이터(236)를 사용하여, 서버 장치(202)는 클라이언트 장치(218)가 서버 장치(202)에 의해 완전히 지원되는 버전에 대응한다고 결정할 수 있다. 다시 말해, 적어도 다른 버전에 비해 클라이언트 장치(218)로부터의 특정 의도 요청에 응답하는 데 제한이 없을 때 버전이 완전히 지원될 수 있다.

예를 들어, 클라이언트 장치(218)가 완전히 지원되는 버전에 대응하고 사용자가 특정 의도를 위해 클라이언트 장치(218)의 어시스턴트 인터페이스(220)에 음성 발화를 제공하는 경우, 서버 장치(202)는 의도를 특성화하고, 특정 의도를 이행하기 위해 클라이언트 장치(218)에 의해 사용될 수 있는 적절한 액션 및 선택적으로 슬롯 값을 생성하는 임무를 맡을 수 있다. 대안적으로, 클라이언트 장치(218)가 부분적으로 지원되는 버전에 대응하고 사용자가 그 특정 의도에 대해 어시스턴트 인터페이스(220)에 음성 발생을 제공할 때, 서버 장치(202)는 의도를 특성화하고 선택적으로 슬롯 값을 생성하는 임무를 맡을 수 있다. 의도 및/또는 슬롯 값을 특성화하는 결과 데이터는 클라이언트 장치(218)에 다시 제공될 수 있으며, 특정 의도에 대응하는 액션(동작)을 생성하기 위해 액션 엔진(228)을 사용할 수 있고 또한 클라이언트 장치(218)의 버전에 의해 지원된다.

일부 구현들에서, 버전 엔진(234)은 클라이언트 장치(218)가 서버 장치(202)에 의해 더 이상 지원되지 않는 버전에 대응한다고 결정할 수 있다. 예를 들어, 어시스턴트 인터페이스(220)에서 사용자로부터 음성 발화를 수신하는 것에 응답하여, 클라이언트 장치(218)는 음성 발화에 대응하는 오디오 데이터, 및 버전 데이터(232)를 서버 장치(202)에 전송할 수 있다. 클라이언트 장치(218)에 저장된 버전 데이터(232)는 클라이언트 장치(218)에 대응하는 하나 이상의 버전, 및/또는 하나 이상의 서버 장치에 의해 설정된 하나 이상의 제한(limitation)을 나타낼 수 있다. 제한은 클라이언트 장치(218)가 의도 데이터, 액션 데이터, 슬롯 데이터, 및/또는 사용자로부터의 특정 요청에 대응하는 임의의 다른 데이터를 제공하기 위해 서버 장치(202)에 의존하지 않도록 하는 명령을 포함할 수 있지만 이에 제한되지 않는다. 버전 데이터를 사용하여, 서버 장치(202)는 클라이언트 장치(218)가 서버 장치(202)에 의해 완전히 지원되는지, 부분적으로 지원되는지 또는 더 이상 지원되지 않는 버전에 대응하는지 여부를 결정할 수 있다.

클라이언트 장치(218)가 서버 장치(202)에 대해 더 이상 지원되지 않는 버전에 해당하는 경우, 서버 장치(202)는 클라이언트 장치(218)로부터 수신된 오디오 데이터를 처리하고, 음성 발화의 자연어 콘텐츠를 특성화하는 텍스트 데이터를 클라이언트 장치(218)에 다시 제공할 수 있다. 따라서, 의도, 액션 및/또는 슬롯 값 지원은 클라이언트 장치(219)에 제공되지 않을 것이지만, 클라이언트 장치(218)와 원격 컴퓨팅 장치(242) 사이의 네트워크 연결이 이용 가능할 때, 음성-텍스트 서비스는 여전히 클라이언트 장치(218)에 이용 가능하다. 이는 서버 장치(202)보다 적은 메모리를 가질 수 있는 클라이언트 장치(218)에서의 낭비적인 프로세싱을 제거할 수 있다. 예를 들어, 클라이언트 장치(218)가 하드웨어의 다소 오래된 버전에 해당하므로 200MB의 RAM만 포함하지만 서버 장치(202)는 8GB의 RAM을 포함할 때, 서버 장치(202)는 클라이언트 장치(218)가 음성-텍스트 프로세싱을 수행할 수 있는 것보다 더 짧은 시간에 오디오 데이터에 대한 음성-텍스트 프로세싱을 완료할 수 있을 것이다. 결과적으로, 클라이언트 장치(218)가 오디오 데이터를 텍스트 데이터로 변환하기 위해 음성-텍스트 엔진(224)을 사용하는 동안, 클라이언트 장치(218)는 서버 장치(202)로부터 결과적인 텍스트 데이터를 수신할 수 있다. 그 다음 클라이언트 장치(218)는 적어도 서버 장치(202)에 의해 생성된 텍스트 데이터로 인해 진행중인 로컬 음성-텍스트 처리를 종료하도록 선택할 수 있다.

일부 구현들에서, 서버 장치(202)에 의해 부분적으로 지원되는 버전에 대응하는 클라이언트 장치(218)는 음성 발화에 대한 오디오 데이터를 로컬적으로 처리할 수 있고, 또한 처리를 위해 오디오 데이터를 서버 장치(202)에 전송할 수 있다. 오디오 데이터를 사용한 로컬 프로세싱은 음성 발화의 자연어 콘텐츠를 특성화하는 텍스트 데이터로부터 자연어 이해(NLU) 데이터를 생성할 수 있는 NLU/의도 엔진(226)에 의해 수행될 수 있다. 자연어 이해 데이터는 하나 이상의 요청된 의도를 특성화할 수 있다. 서버 장치(202)가 클라이언트 장치(218)보다 짧은 기간에 자연어 이해 데이터를 생성하는 경우, 클라이언트 장치(218)는 자연어 이해 데이터에 대해 서버 장치(202)에 의존할 수 있다. 그러나, 그 후에, 클라이언트 장치(218)는 적어도 그 버전의 클라이언트 장치(218)에 의해 수행될 수 있는 적절한 액션을 생성하기 위해 액션 엔진(228)이 서버 장치(202)로부터의 자연어 이해 데이터를 처리하게 할 수 있다. 버전 데이터는 하나 이상의 하드웨어 컴포넌트, 하나 이상의 소프트웨어 컴포넌트 및/또는 클라이언트 장치의 임의의 다른 기능의 하나 이상의 특성을 특성화할 수 있다. 예를 들어, 일부 구현에서 버전 데이터는 클라이언트 장치의 하나 이상의 운영 사양(operating specification)을 특성화할 수 있다. 대안적으로, 또는 추가적으로, 버전 데이터는 클라이언트 장치(218)의 애플리케이션 및/또는 운영 체제의 하나 이상의 운영 사양을 특성화할 수 있다. 대안적으로 또는 추가적으로, 버전 데이터는 클라이언트 장치(218)의 제조업체, 클라이언트 장치의 컴포넌트, 및/또는 클라이언트 장치(218)의 애플리케이션 또는 운영 체제의 소프트웨어 제조업체에 의해 지정될 수 있다. 일부 구현에서, 버전 데이터는 한 명 이상의 사용자에 대응하는 계정 및/또는 가입 티어(tier)를 특성화할 수 있다. 예를 들어, 버전 데이터는

하나 이상의 계정 티어(account tier)(예: 완전한 멤버십 및/또는 전체 서비스 티어)에 대응하는 것으로 하나 이상의 장치를 특성화할 수 있고, 다른 버전 데이터는 하나 이상의 다른 계정 티어(예: 제한된 멤버십 및/또는 제한된 서비스 티어) 에 대응하는 것으로 하나 이상의 다른 장치를 특성화할 수 있다.

도 3은 여전히 작동 중인 임의의 컴퓨팅 장치 버전의 유용한 응답성을 보장하면서 특정 컴퓨팅 장치 버전의 지원을 단계적으로 중단하기 위한 방법(300)을 예시한다. 방법(300)은 하나 이상의 컴퓨팅 장치, 애플리케이션, 및/또는 자동화된 어시스턴트와 연관될 수 있는 임의의 다른 장치 또는 모듈에 의해 수행될 수 있다. 방법(300)은 음성 발화가 컴퓨팅 장치에서 검출되었는지 여부를 결정하는 동작(302)을 포함할 수 있다. 컴퓨팅 장치는 차량 컴퓨팅 장치, 모바일 컴퓨팅 장치, 데스크탑 컴퓨팅 장치, 셀룰러 장치(디바이스), 서버 장치, 및/또는 컴퓨팅 장치로서 동작할 수 있는 임의의 다른 장치일 수 있지만, 이에 제한되지는 않는다. 음성 발화는 컴퓨팅 장치의 사용자로부터의 음성 자연 언어 입력일 수 있다. 음성 발화는 예를 들어 "Assistant, stream music(어시스턴트, 음악 스트리밍)"일 수 있다.

방법(300)은 동작(302)으로부터 컴퓨팅 장치에 대응하는 버전을 결정하는 것을 포함할 수 있는 동작(304)으로 진행할 수 있다. 대안적으로, 음성 발화가 검출되지 않으면, 동작(302)은 음성 발화가 컴퓨팅 장치에서 검출될 때까지 반복될 수 있다. 그러나 동작(304)과 관련하여, 컴퓨팅 장치에 대응하는 버전은 전체 컴퓨팅 장치, 컴퓨팅 장치의 하나 이상의 하드웨어 컴포넌트, 컴퓨팅 장치의 하나 이상의 소프트웨어 컴포넌트, 및/또는 버전에 의해 특징지어질 수 있는 컴퓨팅 장치의 임의의 다른 특징에 대한 버전일 수 있다. 예를 들어, 컴퓨팅 장치는 특정 버전에 대응할 수 있는 로컬 자동화된 어시스턴트를 작동할 수 있다. 따라서 로컬 자동화된 어시스턴트는 로컬 자동화된 어시스턴트가 있는 버전에 따라 다르게 응답할 수 있다. 유사하게, 전체 컴퓨팅 장치는 선택적으로 차량에 통합될 수 있는 전체 컴퓨팅 장치에 대응하는 특정 버전에 따라 다르게 응답할 수 있다.

방법(300)은 동작(304)로부터 컴퓨팅 장치의 버전이 서버 장치에 의해 완전히 지원되는지 여부를 결정하는 것을 포함할 수 있는 동작(306)으로 진행할 수 있다. 동작(306)은, 컴퓨팅 장치로부터 버전 데이터를 수신할 수 있거나, 그렇지 않으면 음성 발화가 컴퓨팅 장치에서 검출되었다는 결정에 응답하여 버전 데이터에 액세스할 수 있는 서버 장치에 의해 수행될 수 있다. 컴퓨팅 장치에 대응하는 버전이 서버 장치에 의해 완전히 지원되는 것으로 결정되면, 방법(300)은 동작(308)으로 진행할 수 있다. 또는, 컴퓨팅 장치에 대응하는 버전이 서버 장치에서 완전히 지원되지 않는 것으로 결정되는 경우, 방법(300)은 동작(310)으로 진행할 수 있다.

동작(308)은 음성 발화의 자연어 콘텐츠에 기초하여 액션 데이터를 생성하는 것을 포함할 수 있다. 액션 데이터는 컴퓨팅 장치의 특정 버전에 의해 수행될 수 있고 또한 현재 서버 장치에 의해 지원되는 하나 이상의 액션을 특성화할 수 있다. 예를 들어, 적어도 전술한 예(예: '어시스턴트, 음악 스트리밍')에 대응하여, 액션 데이터는 PLAY_MUSIC 의도에 대응할 수 있는 STREAM_MUSIC 액션을 생성할 수 있다.

동작(310)은 컴퓨팅 장치에 대응하는 버전이 서버 장치에 의해 적어도 부분적으로 지원되는지 여부를 결정하는 것을 포함할 수 있다. 컴퓨팅 장치에 대응하는 버전이 서버 장치에 의해 적어도 부분적으로 지원되는 것으로 결정되면, 방법(300)은 동작(312)으로 진행할 수 있다. 동작(312)은 자연어 콘텐츠에 기초하여 의도/NLU 데이터 및/또는 슬롯 데이터를 생성하는 것을 포함할 수 있다. 의도/NLU 데이터는 음성 발화를 통해 사용자가 요청한 의도를 특성화할 수 있고, 슬롯 데이터는 컴퓨팅 장치가 하나 이상의 액션을 수행할 때 사용할 수 있는 하나 이상의 슬롯 값을 특성화할 수 있다. 예를 들어, 사용자가 자신의 음성 발화에서 재생할 아티스트를 지정했다면 슬롯 데이터는 아티스트 이름을 특성화할 수 있다. 이와 같이, 서버 장치가 컴퓨팅 장치에 해당하는 버전을 완벽하게 지원하지 않음에도 불구하고, 서버 장치는 컴퓨팅 장치에서 계산 자원의 낭비를 제거하기 위해 유용한 정보를 컴퓨팅 장치에 제공할 수 있다.

컴퓨팅 장치에 대응하는 버전이 서버 장치에 의해 적어도 부분적으로 지원되지 않는 경우, 방법(300)은 동작(314)으로 진행할 수 있다. 동작(314)은 음성 발화의 자연어 콘텐츠에 기초하여 텍스트 데이터를 생성하는 것을 포함할 수 있다. 컴퓨팅 장치는 적어도 서버 장치에 비해 제한된 처리 대역폭 및/또는 메모리를 가질 수 있기 때문에, 그럼에도 불구하고 컴퓨팅 장치의 계산 자원은 적어도 음성-텍스트 처리를 위해 서버 장치에 의존함으로써 보존될 수 있다.

컴퓨팅 장치에 대응하는 버전이 서버 장치에 의해 완전히 지원될 때, 동작(308), 동작(312), 및/또는 동작(314)는 그 특정 버전에 대해 서버 장치에 의해 수행될 수 있다는 점에 유의해야 한다. 또한, 컴퓨팅 장치에 대응하는 버전이 서버 장치에 의해 적어도 부분적으로 지원되는 것으로 결정될 때, 동작(312) 및/또는 동작(314)은 그 특정 버전에 대한 서버 장치에 의해 수행될 수 있다.

방법(300)은 동작(314)으로부터 생성된 데이터를 컴퓨팅 장치에 제공하기 위한 동작(316)으로 진행할 수 있다. 생성된 데이터는 서버 장치가 컴퓨팅 장치에 해당하는 버전을 지원하는 정도에 따라 액션 데이터, 의도/NLU 데이터, 슬롯 데이터 및/또는 텍스트 데이터에 해당할 수 있다. 따라서, 서버 장치가 특정 버전을 완전히 또는 부분적으로 지원하지 않을 수 있지만, 그럼에도 불구하고 서버 장치는 사용자로부터의 음성 발화를 처리하는 데 있어서 컴퓨팅 장치를 보조할 어느 정도의 데이터를 제공할 수 있다. 서버 장치가 더 이상 컴퓨팅 장치에 해당하는 버전을 지원하지 않는 경우, 컴퓨팅 장치는 서버 장치에서 제공된 음성-텍스트 데이터를 사용하여 사용자의 요청을 이행하기 위한 우리의 액션들 중 하나를 로컬적으로 선택할 수 있다. 예를 들어, 전술한 예와 관련하여, 서버 장치가 컴퓨팅 장치에 해당하는 버전을 완전히 또는 부분적으로 지원하지 않는 경우, 서버 장치는 음성 발화의 자연어 콘텐츠를 특성화하는 텍스트 데이터(예: "STT_DATA('Assistant, stream music')")를 제공할 수 있다. 이에 응답하여, 컴퓨팅 장치는 사용자가 요청한 의도(예: "PLAY_MUSIC")를 결정할 수 있고, 컴퓨팅 장치를 통해 이용 가능한 액션(예: "SHUFFLE_MUSIC()")을 선택할 수 있다. 이러한 방식으로 서버 장치와 컴퓨팅 장치 간의 불필요한 통신을 제거할 수 있으며, 또한 사용자에게 응답성을 제공한다. 이러한 이점은 사용자가 가장 최신 버전인 버전 또는 서버 장치에서 적어도 부분적으로 지원하지 않는 버전에 해당하는 컴퓨팅 장치를 사용하지 않음에도 불구하고 실현될 수 있다. 서버 장치에 의한 지원은 의도 특정 지원(intent specific support)을 참조할 수 있지만 음성-텍스트 처리와 같은 IAS(intent agnostic support)는 포함되지 않으며, 이는 사용자의 음성 발화의 자연어 콘텐츠에 관계없이 서버 장치에 의해 수행될 수 있다.

도 4는 컴퓨팅 장치가 이전에 응답했던 임의의 요청에 대한 유용한 응답성을 보장하면서 특정 요청에 대한 지원을 단계적으로 중단하기 위한 방법(400)을 예시한다. 방법(400)은 하나 이상의 컴퓨팅 장치, 애플리케이션, 및/또는 자동화된 어시스턴트와 연관될 수 있는 임의의 다른 장치 또는 모듈에 의해 수행될 수 있다. 방법(400)은 음성 발화가 컴퓨팅 장치에서 검출되었는지 여부를 결정하는 동작(402)을 포함할 수 있다. 컴퓨팅 장치는 차량 컴퓨팅 장치, 모바일 컴퓨팅 장치, 데스크탑 컴퓨팅 장치, 셀룰러 디바이스, 서버 장치, 및/또는 컴퓨팅 장치로서 동작할 수 있는 임의의 다른 장치일 수 있지만, 이에 제한되지는 않는다. 음성 발화는 컴퓨팅 장치의 사용자로부터의 음성 자연어 입력일 수 있다. 예를 들어, 음성 발화는 IoT 장치와 같은 주변 장치를 제어하기 위한 컴퓨팅 장치에 대한 요청(예: "Assistant, turn down the backlight of my smart TV.(어시스턴트, 내 스마트 TV의 백라이트를 꺼줘)"을 포함할 수 있다.

방법(400)은 동작(402)로부터 음성 발화를 통해 요청된 의도를 결정하는 것을 포함할 수 있는 동작(404)로 진행할 수 있다. 의도는 사용자로부터의 요청을 특성화할 수 있고 및/또는 다른 각각의 컴퓨팅 장치에 의해 수행될 수 있는 하나 이상의 다른 액션과 연관될 수 있다. 예를 들어, "Assistant, turn down the back light of my smart TV(어시스턴트, 내 스마트 TV 백라이트 좀 꺼줘)"라는 음성 발화에 대응하는 의도는 ADJUST_TV_SETTING 의도와 같은 의도에 대응할 수 있다. 컴퓨팅 장치에 해당하는 적어도 일부 버전은 BACKLIGHT_ADJUST 액션과 같은 의도에 대한 액션을 지원할 수 있는 반면, 컴퓨팅 장치에 해당하는 다른 버전은 BACKLIGHT_ADJUST 액션을 지원하지 않고 오히려 SETTING_ADJUST 액션을 실행할 수 있다.

방법(400)은 동작(404)에서 동작(406)으로 진행할 수 있으며, 이는 자연어 콘텐츠에 기초하여 텍스트 또는 데이터를 생성 및/또는 수신하는 것을 포함할 수 있다. 일부 구현들에서, 컴퓨팅 장치 및 서버 장치 모두는 컴퓨팅 장치가 음성 발화를 검출하는 것에 응답하여 음성-텍스트 처리를 수행할 수 있다. 구체적으로, 컴퓨팅 장치는 음성 발화 수신에 응답하여 오디오 데이터를 생성하고 사용자의 허가를 받아 오디오 데이터를 서버 장치에 제공할 수 있으며 또한 오디오 데이터를 로컬적으로 처리할 수 있다. 서버 장치가 오디오 데이터의 제공에 응답하지 않는 경우, 컴퓨팅 장치는 음성 발화의 자연어 콘텐츠를 특성화하는 텍스트 데이터를 생성하기 위해 오디오 데이터를 로컬적으로 처리할 수 있다. 서버 장치 및/또는 컴퓨팅 장치로부터 수신된 컨텍스트 데이터는 이행되도록 요청된 하나 이상의 의도를 식별하기 위해 추가로 처리될 수 있다.

방법(400)은 하나 이상의 식별된 의도가 서버 장치에 의해 완전히 지원되는지 여부를 결정하는 것을 포함할 수 있는 동작(408)에서 동작(410)으로 진행할 수 있다. 일부 구현들에서, 동작(408)은 음성 발화의 자연어 콘텐츠로부터 식별된 하나 이상의 의도에 대한 지원을 더 이상 요청하지 않도록 컴퓨팅 장치가 지시받았는지 여부를 결정하는 것을 포함할 수 있다. 컴퓨팅 장치가 하나 이상의 의도가 서버 장치에 의해 완전히 지원되거나 컴퓨팅 장치가 하나 이상의 의도에 대한 지원을 요청하는 것이 완전히 방지되지 않았다고 결정할 때, 방법(400)은 동작(408)에서 동작(410)으로 진행할 수 있다. 대안적으로, 컴퓨팅 장치가, 하나 이상의 의도가 서버 장치에 의해 적어도 부분적으로 지원되지 않거나 컴퓨팅 장치가 하나 이상의 의도에 대한 지원을 요청하는 것이 완전히 방지되었다고 결정할 때, 방법(400)은 동작(408)에서 동작(412)으로 진행할 수 있다.

동작(410)은 자연어 콘텐츠, 및/또는 자연어 콘텐츠로부터 식별된 하나 이상의 의도에 기초하여 액션 데이터를 요청하는 것을 포함할 수 있다. 예를 들어, 컴퓨팅 장치는 ADJUST_TV_SETTING 의도를 식별할 수 있고, 컴퓨팅 장치에 대응하는 버전이 주어진 서버 장치에 의해 의도가 완전히 지원된다는 결정에 응답하여, 컴퓨팅 장치는 서버 장치로부터 액션 데이터를 요청할 수 있다. 예를 들어, 액션 데이터는 다른 컴퓨팅 장치를 통해 작동하는 다른 버전에 비해 가장 최근 버전에서 실행될 수 있는 BACKLIGHT_ADJUST 액션을 특성화할 수 있다.

방법(400)은 하나 이상의 식별된 의도가 서버 장치에 의해 부분적으로 지원되는지 여부를 결정하는 것을 포함할 수 있는 동작(408)으로부터 동작(412)으로 진행할 수 있다. 일부 구현들에서, 동작(412)은 음성 발화의 자연어 콘텐츠로부터 식별된 하나 이상의 의도에 대한 특정 지원만을 요청하도록 컴퓨팅 장치가 지시받았는지 여부를 결정하는 것을 포함할 수 있다. 컴퓨팅 장치가 하나 이상의 의도가 서버 장치에 의해 적어도 부분적으로 지원되거나 컴퓨팅 장치가 하나 이상의 의도에 대한 지원 유형이 제한되지 않았다고 결정할 때, 방법(400)은 동작(412)에서 동작(414)으로 진행할 수 있다. 대안적으로, 컴퓨팅 장치가 하나 이상의 의도가 서버 장치에 의해 적어도 부분적으로 지원되지 않거나 컴퓨팅 장치가 하나 이상의 의도에 대한 지원을 요청하는 데 제한되어 있다고 결정할 때, 방법(400)은 동작(412)에서 동작(416)으로 진행할 수 있다.

동작(414)은 서버 장치로부터 의도/NLU 데이터 및/또는 슬롯 데이터를 요청하는 것을 포함할 수 있다. 의도/NLU 데이터 및/또는 슬롯 데이터는 컴퓨팅 장치에 대응하는 버전을 통해 실행 가능한 상태로 남아 있는 특정 기능을 식별하기 위해 컴퓨팅 장치에 의해 사용될 수 있다. 예를 들어, 서버 장치 및/또는 컴퓨팅 장치는 의도 ADJUST_TV_SETTING을 식별할 수 있고, 서버 장치는 컴퓨팅 장치에 의해 선택될 액션에 대한 슬롯 데이터를 식별할 수 있다. 예를 들어, 슬롯 데이터는 적어도 음성 발화의 자연어 콘텐츠에 기초하여 "backlight(백라이트)"와 같은 슬롯 값을 포함할 수 있다.

의도가 서버 장치에 의해 더 이상 지원되지 않는 것으로 결정되면, 적어도 컴퓨팅 장치에 대응하는 버전에 대해, 방법(400)은 동작(412)에서 동작(416)으로 진행할 수 있다. 동작(416)은 요청된 의도를 채우기 위한 액션을 로컬적으로 선택하는 것을 포함한다. 예를 들어, 컴퓨팅 장치는 ADJUST_TV_SETTING 의도(intent)에 대한 지원을 요청하기 위해 컴퓨팅 장치의 능력을 완전히 제한하기 위한 명령을 서버 장치가 이전에 제공했다고 결정할 수 있다. 이 결정에 기초하여, 컴퓨팅 장치는 액션 SETTING_ADJUST()를 로컬적으로 선택할 수 있고, 이는 실행될 때 사용자가 TV의 설정을 조정할 수 있도록 하기 위해 메뉴가 TV에 나타나게 할 수 있다.

일부 구현들에서, 방법(400)은 컴퓨팅 장치가 서버 장치로부터의 지원을 활용하기 위해 동작(410)에서 동작(414)으로 진행할 수 있다. 방법(400)은 동작(414) 및/또는 동작(416)으로부터 동작(418)으로 진행할 수 있다. 동작(418)은 요청된 의도를 이행하는 것을 촉진하는 액션을 수행하는 것을 포함할 수 있다. 액션이 컴퓨팅 장치에서 로컬적으로 식별될 때, 수행(performance)은 로컬적으로 선택된 액션을 실행하는 것을 포함할 수 있다. 액션이 서버 장치에 의해 식별될 때 수행에는 원격으로 선택된 액션의 실행이 포함될 수 있다. 이와 같이, 컴퓨팅 장치에 해당하는 버전이 최신 버전이든 최신 버전이 아니든 상관없이, 그럼에도 불구하고 컴퓨팅 장치는 사용자에게 유용한 방식으로 사용자의 음성 발화에 응답하는 동시에 계산 리소스의 낭비도 제거한다. 예를 들어 원격으로 선택한 액션으로 인해 BACKLIGHT_ADJUST 액션이 수행될 수 있다. 또는 로컬적으로 선택된 액션 컴퓨터로 인해 SETTING_ACTION_ADJUST 액션이 수행되어 메뉴가 TV 또는 다른 장치에 표시될 수 있다. 버전이 특정 의도에 대해 서버 장치에 의해 적어도 부분적으로 지원되고 서버 장치가 슬롯 데이터를 제공하는 경우, 로컬에서 선택한 액션은 메뉴를 표시하고 메뉴의 백라이트 조정 부분을 식별하는 하위 메뉴를 표시할 수 있다. 이러한 방식으로, 부분 지원은 컴퓨팅 장치가 가장 최신 버전에 따라 작동하지 않음에도 불구하고 컴퓨팅 장치가 서버 장치의 계산 프로세스를 계속 활용할 수 있도록 한다.

도 5는 예시적인 컴퓨터 시스템(510)의 블록도이다. 컴퓨터 시스템(510)은 일반적으로 버스 서브시스템(512)을 통해 다수의 주변 장치와 통신하는 적어도 하나의 프로세서(514)를 포함한다. 이러한 주변 장치는 예를 들어 메모리(525) 및 파일 저장 서브시스템(526), 사용자 인터페이스 출력 장치(520), 사용자 인터페이스 입력 장치(522) 및 네트워크 인터페이스 서브시스템(네트워크 인터페이스)(516)을 포함하는 저장 서브시스템(524)을 포함할 수 있다. 입력 및 출력 장치는 컴퓨터 시스템(510)과 사용자 상호 작용을 허용한다. 네트워크 인터페이스 서브시스템(516)은 외부 네트워크에 대한 인터페이스를 제공하고 다른 컴퓨터 시스템의 대응하는 인터페이스 장치에 연결된다.

사용자 인터페이스 입력 장치(522)는 키보드, 마우스, 트랙볼, 터치 패드 또는 그래픽 태블릿과 같은 포인팅 장치, 스캐너, 디스플레이에 통합된 터치 스크린, 음성 인식 시스템과 같은 오디오 입력 장치, 마이크로폰 및/또는 기타 유형의 입력 장치를 포함할 수 있다. 일반적으로, "입력 장치"라는 용어의 사용은 컴퓨터 시스템(510) 또는 통신 네트워크에 정보를 입력하는 모든 가능한 유형의 장치 및 방법을 포함하도록 의도된다.

사용자 인터페이스 출력 장치(520)는 디스플레이 서브시스템, 프린터, 팩스 기계, 또는 오디오 출력 장치와 같은 비-시각적 디스플레이를 포함할 수 있다. 디스플레이 서브시스템은 음극선 관(CRT), 액정 디스플레이(LCD)와 같은 평판 장치, 프로젝션 장치, 또는 가시적 이미지를 생성하기 위한 다른 메커니즘을 포함할 수 있다. 디스플레이 서브시스템은 또한 오디오 출력 장치를 통해 비-시각적 디스플레이를 제공할 수 있다. 일반적으로, "출력 장치"라는 용어의 사용은 모든 가능한 유형의 장치 및 컴퓨터 시스템(510)에서 사용자 또는 다른 기계 또는 컴퓨터 시스템으로 정보를 출력하는 방법을 포함하도록 의도된다.

저장(스토리지) 서브시스템(524)은 본 명세서에 설명된 모듈의 일부 또는 전부의 기능을 제공하는 프로그래밍 및 데이터 구성을 저장한다. 예를 들, 스토리지 서브시스템(524)은 방법(300), 방법(400), 및/또는 서버 장치(114), 차량 컴퓨팅 장치(106), 차량(104), 차량 컴퓨팅 장치(140), 차량(134), 원격 컴퓨팅 장치(112), 차량 컴퓨팅 장치(156), 차량(154), 서버 장치(202), 클라이언트 장치(218), 및/또는 본 명세서에서 설명된 임의의 다른 장치, 모듈, 및/또는 엔진 중 선택된 양태를 수행하기 위한 로직을 포함할 수 있다.

이러한 소프트웨어 모듈은 일반적으로 프로세서(514)에 의해 단독으로 또는 다른 프로세서와 결합하여 실행된다. 저장 서브시스템(524)에서 사용되는 메모리(메모리 서브시스템)(525)는 프로그램 실행 동안 명령어 및 데이터의 저장을 위한 메인 랜덤 액세스 메모리(RAM)(530) 및 고정 명령어가 저장되는 읽기 전용 메모리(ROM)(532)를 포함하는 다수의 메모리를 포함할 수 있다. 파일 저장 서브시스템(526)은 프로그램 및 데이터 파일을 위한 영구 저장을 제공할 수 있으며, 하드 디스크 드라이브, 플로피 디스크 드라이브와 연관된 이동식 미디어, CD-ROM 드라이브, 광학 드라이브 또는 이동식 미디어 카트리지를 포함할 수 있다. 특정 구현의 기능을 구현하는 모듈은 저장 서브시스템(524)의 파일 저장 서브시스템(526)에 의해 또는 프로세서(들)(514)에 의해 액세스 가능한 다른 기계에 저장될 수 있다.

버스 서브시스템(512)은 컴퓨터 시스템(510)의 다양한 컴포넌트 및 서브시스템이 의도된대로 서로 통신하게 하는 메커니즘을 제공한다. 버스 서브시스템(512)이 단일 버스로서 개략적으로 도시되어 있지만, 버스 서브시스템의 대안적인 구현은 다중 버스를 사용할 수 있다.

컴퓨터 시스템(510)은 워크 스테이션, 서버, 컴퓨팅 클러스터, 블레이드 서버, 서버 팜, 또는 임의의 다른 데이터 처리 시스템 또는 컴퓨팅 장치를 포함하는 다양한 유형일 수 있다. 컴퓨터 및 네트워크의 끊임없이 변화하는 특성으로 인해,도 5에 도시된 컴퓨터 시스템(510)에 대한 설명은 일부 구현을 설명하기 위한 특정 예로서만 의도된다. 컴퓨터 시스템(510)의 많은 다른 구성은 도 5에 도시된 컴퓨터 시스템보다 더 많거나 더 적은 컴포넌트를 가질 수 있다.

여기에 설명된 시스템이 사용자(또는 여기에서 "참가자"라고도 함)에 대한 개인 정보를 수집하는 상황에서, 또는 개인 정보를 사용할 수 있는 경우, 사용자는 프로그램 또는 기능이 사용자 정보(예: 사용자의 소셜 네트워크, 소셜 활동 또는 활동, 직업, 사용자의 선호도 또는 사용자의 현재 지리적 위치에 대한 정보)를 수집하는지 여부를 제어하거나 사용자와 더 관련이 있을 수 있는 콘텐츠 서버로부터 콘텐츠를 수신할지 여부 및/또는 방법을 제어할 수 있는 기회를 제공받을 수 있다. 또한 특정 데이터는 저장 또는 사용되기 전에 하나 이상의 방식으로 처리되어 개인 식별 정보가 제거될 수 있다. 예를 들면, 사용자에 대한 개인 식별 정보를 확인할 수 없도록 사용자의 신원을 처리하거나 지리적 위치 정보를 획득한 사용자의 지리적 위치(예: 도시, 우편 번호 또는 주 수준)를 일반화하여 사용자의 특정 지리적 위치를 확인할 수 없다. 따라서 사용자는 사용자에 대한 정보 수집 및/또는 사용 방법을 제어할 수 있다.

일부 구현에서, 하나 이상의 프로세서에 의해 구현된 방법은 서버 장치에서 프로세싱되고 있는 오디오 데이터에 기초하여, 사용자가 차량에 연결된 차량 컴퓨팅 장치의 자동화된 어시스턴트 인터페이스에 음성 발화를 제공했다고 결정하는 것과 같은 동작을 포함하는 것으로 설명된다. 방법은 사용자가 음성 발화를 제공했다는 결정에 응답하여, 차량 컴퓨팅 장치와 연관된 버전 정보에 액세스하는 단계를 더 포함할 수 있으며, 상기 버전 정보는 차량 컴퓨팅 장치가 특정 버전에 대응한다는 것을 표시한다. 이 방법은 상기 오디오 데이터를 프로세싱하는 것에 기초하여, 사용자에 의해 제공된 음성 발화의 자연어 콘텐츠를 특성화(characterizing)하는 단계를 더 포함할 수 있다. 방법은 음성 발화의 자연어 콘텐츠를 특성화하는 것에 기초하여, 자연어 콘텐츠의 적어도 일부가 특정 버전에 대한 서버 장치에 의해 완전히 지원되는지 여부를 결정하는 단계를 더 포함할 수 있다. 방법은, 적어도 상기 버전 정보에 기초하여, 자연어 콘텐츠의 적어도 일부가 특정 버전에 대한 서버 장치에 의해 완전히 지원되지 않는다는 결정에 응답하여: 차량 컴퓨팅 장치에, 사용자에 의해 제공된 음성 발화의 자연어 콘텐츠를 특성화하는 텍스트 데이터를 제공하는 단계; 그리고 차량 컴퓨팅 장치로 하여금 자연어 콘텐츠에 기초하여 차량 컴퓨팅 장치에 의해 로컬적으로 생성된 액션을 로컬적으로 수행하게 하는 단계를 더 포함할 수 있다.

일부 구현들에서, 상기 자연어 콘텐츠의 적어도 일부가 상기 특정 버전에 대해 상기 서버 장치에 의해 완전히 지원되는지 여부를 결정하는 단계는, 자연어 콘텐츠의 적어도 일부가 서버 장치에 의해 완전히 지원되지 않는 것으로, 서버 장치에서 표시된 하나 이상의 의도(intent)에 대응하는 하나 이상의 자연어 용어를 포함하는지 여부를 결정하는 단계를 포함하며, 상기 하나 이상의 의도는 차량 컴퓨팅 장치의 특정 버전을 포함하지 않는 다른 차량 컴퓨팅 장치 버전에 대해 완전히 지원되는 것으로서 서버 장치에서 표시된다. 일부 구현에서, 텍스트 데이터는 하나 이상의 자연어 용어를 포함하는 자연어 콘텐츠의 부분을 특성화한다. 일부 구현들에서, 방법은 자연어 콘텐츠의 적어도 일부가 특정 버전에 대한 서버 장치에 의해 완전히 지원된다는 결정에 응답하여: 서버 장치에서, 사용자에 의해 요청된 의도를 식별하는 액션 데이터, 및 차량 컴퓨팅 장치의 특정 버전에 의해 지원되는 다른 액션을 생성하는 단계; 그리고 차량 컴퓨팅 장치에 액션 데이터를 제공하는 단계를 더 포함할 수 있다. 일부 구현들에서, 차량 컴퓨팅 장치에 액션 데이터를 제공하는 단계는 차량 컴퓨팅 장치로 하여금 상기 제공된 액션 데이터를 사용하여 다른 액션을 수행하게 한다.

일부 구현들에서, 방법은, 자연어 콘텐츠의 적어도 일부가 적어도 버전 정보와 관련하여 특정 버전에 대해 서버 장치에 의해 완전히 지원되지 않는다는 결정에 응답하여: 요청된 의도와 관련하여 차량 컴퓨팅 장치에 대한 제한을 특성화하는 명령 데이터를 생성하는 단계; 그리고 차량 컴퓨팅 장치에 상기 명령 데이터를 제공하는 단계를 더 포함한다. 상기 명령 데이터는 차량 컴퓨팅 장치로 하여금 후속 사용자 입력에 응답하여, 요청된 의도의 다른 인스턴스에 대응하는 특정 액션을 생성하도록 요청하는 것을 바이패스하도록 한다. 일부 구현들에서, 방법은 자연어 콘텐츠의 적어도 일부가 특정 버전에 대한 서버 장치에 의해 완전히 지원되지 않는다는 결정에 응답하여, 그리고 차량 컴퓨팅 장치에 상기 명령 데이터를 제공한 후에: 요청된 의도와 연관된 또 다른 음성 발화가 차량 컴퓨팅 장치의 자동화된 어시스턴트 인터페이스에서 수신되었음을 결정하는 단계; 그리고 차량 컴퓨팅 장치에 다른 텍스트 데이터를 제공하는 단계를 더 포함하며, 다른 텍스트 데이터는 다른 음성 발화의 다른 자연어 콘텐츠를 특성화하고 그리고 요청된 의도에 대한 특정 액션을 특성화하는 데이터를 생략한다.

일부 구현들에서, 방법은, 자연어 콘텐츠의 적어도 일부가 적어도 버전 정보와 관련하여, 특정 버전에 대해 서버 장치에 의해 부분적으로 지원된다는 결정에 응답하여: 차량 컴퓨팅 장치에, 음성 발화를 통해 사용자에 의해 요청된 특정 의도를 특성화하는 자연어 이해(NLU) 데이터를 제공하는 단계를 더 포함한다. 일부 구현들에서, 방법은, 자연어 콘텐츠의 적어도 일부가 적어도 버전 정보와 관련하여 특정 버전에 대해 서버 장치에 의해 부분적으로 지원된다는 결정에 응답하여: 특정 의도에 대한 하나 이상의 슬롯 값을 특성화하는 슬롯 데이터를 차량 컴퓨팅 장치에 제공하는 단계; 그리고 차량 컴퓨팅 장치로 하여금 하나 이상의 슬롯 값을 사용하여 액션을 수행하게 하는 단계를 더 포함하며, 상기 액션은 특정 의도 및 슬롯 값에 기초하여 차량 컴퓨팅 장치에 의해 로컬적으로 식별된다. 일부 구현들에서, 상기 음성 발화는 차량의 하드웨어 서브시스템과 연관되고, 상기 음성 발화는 사용자가 차량에 탑승하거나 및/또는 운전할 때 자동화된 어시스턴트 인터페이스에서 수신된다. 일부 구현들에서, 방법은 사용자가 음성 발화를 제공했다고 결정한 후, 현재 지원되는 버전에 따라 동작하는 별도의 차량 컴퓨팅 장치에서 다른 음성 발화를 수신했다고 결정하는 단계; 그리고 다른 음성 발화의 다른 자연어 콘텐츠에 기초하여, 요청된 의도를 특성화하는 NLU 데이터, 요청된 의도에 대한 하나 이상의 슬롯 값을 특성화하는 슬롯 데이터, 및 별도의 차량 컴퓨팅 장치에 의해 수행될 별도의 액션을 특성화하는 액션 데이터를 제공하는 단계를 더 포함한다.

일부 구현들에서, 방법은 사용자가 음성 발화를 제공했다고 결정하기 전에, 차량 컴퓨팅 장치와 통신하는 서버 장치에 의해 이전에 완전히 지원되었던 특정 버전이 서버 장치에 의해 완전히 지원된다고 결정하는 단계를 더 포함한다. 일부 구현에서, 자연어 콘텐츠의 적어도 일부가 특정 버전에 의해 완전히 지원되는지 여부를 결정하는 단계는 특정 버전이 서버 장치에 의해 지원되는 정도(extent)를 결정하는 단계를 포함한다.

또 다른 구현에서, 하나 이상의 프로세서에 의해 구현되는 방법은 제1 차량 컴퓨팅 장치에서 수신된, 음성 발화에 포함된 자연어 콘텐츠가 제1 의도 요청에 대응한다고 결정하는 것과 같은 동작을 포함하는 것으로 설명된다. 방법은 자연어 콘텐츠가 제1 의도 요청에 대응한다는 결정에 기초하여, 제1 의도 요청이 제1 차량 컴퓨팅 장치에 대응하는 버전에 대해 서버 장치에 의해 지원되는 정도(extent)를 결정하는 단계를 더 포함할 수 있다. 방법은 제1 의도 요청이 서버 장치에 의해 지원되는 정도에 기초하여, 사용자에 의해 요청된 의도를 특성화하는 제1 데이터를 생성하는 단계를 더 포함할 수 있다. 방법은 제2 차량 컴퓨팅 장치에서 수신된, 다른 음성 발화에 포함된 다른 자연어 콘텐츠가 제2 의도 요청에 대응한다고 결정하는 단계를 더 포함할 수 있다. 방법은 다른 자연어 콘텐츠가 제2 의도 요청을 포함한다는 결정에 기초하여, 제2 차량 컴퓨팅 장치에 대응하는 다른 버전에 대해 제2 의도 요청이 서버 장치에 의해 지원되는 다른 정도를 결정하는 단계를 더 포함할 수 있고, 상기 버전은 상기 다른 버전과 다르다. 방법은 제2 의도 요청이 서버 장치에 의해 지원되는 다른 정도에 기초하여, 다른 음성 발화의 다른 자연어 콘텐츠를 특성화하는 제2 데이터를 생성하는 단계를 더 포함할 수 있다. 방법은 제1 차량 컴퓨팅 장치로 하여금 제1 의도 요청을 이행하게 하는 것을 촉진하기 위해 제1 데이터를 제1 차량 컴퓨팅 장치에 제공하는 단계; 그리고 제2 차량 컴퓨팅 장치로 하여금 제2 의도 요청을 이행하게 하는 것을 촉진하기 위해 제2 데이터를 제2 차량 컴퓨팅 장치에 제공하는 단계를 포함한다. 일부 구현들에서, 제2 차량 컴퓨팅 장치에 대응하는 다른 버전은 제1 차량 컴퓨팅 장치에 대응하는 버전이 초기에 서버 장치에 의해 지원되었던 시간 이후에 서버 장치에 의해 초기에 지원된다.

일부 구현에서, 제1 의도 요청 및 제2 의도 요청은 차량 하드웨어 장치의 유형에 대응하고, 제1 데이터는 의도에 대응하는 액션 및 차량 하드웨어 의도의 유형에 의해 수행될 수 있는 동작을 추가로 특성화한다. 일부 구현들에서, 제2 차량 컴퓨팅 장치가 제2 데이터를 수신하는 것에 응답하여, 제2 데이터는 차량 하드웨어 장치의 유형이 상기 동작 및/또는 다른 동작을 수행하게 한다. 일부 구현에서, 상기 차량 하드웨어 장치의 유형은 하나 이상의 센서, 하나 이상의 다른 컴퓨팅 장치, 및/또는 하나 이상의 전기 기계 장치를 포함한다.

또 다른 구현에서, 하나 이상의 프로세서에 의해 구현된 방법은 차량의 차량 컴퓨팅 장치와 통신하는 인터페이스를 통해, 사용자가 인터페이스에 제공한 음성 발화를 특성화하는 데이터를 수신하는 것과 같은 동작을 포함하는 것으로 설명된다. 음성 발화는 차량 컴퓨팅 장치가 특정 의도를 이행하라는 요청에 대응한다. 이 방법은 적어도 사용자에 의해 제공된 음성 발화를 특성화하는 데이터에 기초하여, 음성 발화의 자연어 콘텐츠를 결정하는 단계를 더 포함할 수 있으며, 자연어 콘텐츠는 특정 의도에 대응하는 하나 이상의 용어를 포함한다. 방법은 자연어 콘텐츠의 하나 이상의 용어 및 차량 컴퓨팅 장치에 대응하는 버전에 적어도 기초하여, 하나 이상의 용어가 버전에 대해 서버 장치에 의해 지원되는 정도(extent)를 결정하는 단계를 더 포함할 수 있다. 방법은 자연어 콘텐츠의 하나 이상의 용어가 버전에 대한 서버 장치에 의해 완전히 지원된다는 결정에 응답하여: 차량 컴퓨팅 장치와 통신하는 서버 장치에 액션 데이터에 대한 요청을 제공하는 단계; 서버 장치가 상기 요청을 수신한 후, 서버 장치로부터 액션 데이터를 수신하는 단계; 차량 컴퓨팅 장치가 액션 데이터에 의해 특성화된 액션을 수행하게 하는 단계를 더 포함할 수 있다. 방법은 자연어 콘텐츠의 하나 이상의 용어가 버전에 대한 서버 장치에 의해 부분적으로 지원된다는 결정에 응답하여: 서버 장치로부터 적어도 의도 데이터에 대한 다른 요청을 제공하는 단계; 다른 요청을 수신한 서버 장치에 응답하여, 서버 장치로부터 의도 데이터를 수신하는 단계 -의도 데이터는 특정 의도를 특성화함-; 그리고 의도 데이터에 기초하여, 차량 컴퓨팅 장치가 특정 의도와 연관된 다른 액션을 수행하게 하는 단계를 포함한다.

일부 구현에서, 액션은 애플리케이션에 대응하고 다른 액션은 다른 애플리케이션에 대응한다. 일부 구현에서, 액션과 다른 액션은 모두 차량의 하드웨어 서브시스템에 대응한다. 일부 구현에서, 방법은 자연어 콘텐츠의 하나 이상의 용어가 버전에 대해 서버 장치에서 더 이상 지원되지 않는다는 결정에 응답하여: 서버 장치로부터 적어도 텍스트 데이터에 대한 별도의 요청을 제공하는 단계, 서버 장치가 별도의 요청을 수신하는 것에 응답하여, 서버 장치로부터 텍스트 데이터를 수신하는 단계 -텍스트 데이터는 음성 발화의 자연어 콘텐츠를 특성화함-, 텍스트 데이터에 기초하여, 차량 컴퓨팅 장치로 하여금 차량 컴퓨팅 장치에서 실행할 특정 액션을 선택하게 하는 단계를 포함할 수 있다.

여러 구현이 여기에 설명되고 예시되었지만, 기능을 수행하고 및/또는 여기에 설명된 결과 및/또는 하나 이상의 이점을 얻기 위한 다양한 다른 수단 및/또는 구조가 활용될 수 있으며, 각각의 이러한 변형 및/또는 수정은 여기에 설명된 구현의 범위 내에 있는 것으로 간주된다. 보다 일반적으로, 본 명세서에 설명된 모든 파라미터, 치수, 재료 및 구성은 예시적인 것이며 실제 파라미터, 치수, 재료 및/또는 구성은 교시가 사용되는 특정 응용 또는 응용에 의존할 것이라는 것을 의미한다. 당업자는 단지 일상적인 실험을 사용하여 본 명세서에 설명된 특정 구현에 대한 많은 등가물을 인식하거나 확인할 수 있을 것이다. 따라서, 전술한 구현은 단지 예로서 제시된 것이며, 첨부된 청구 범위 및 그 균등물의 범위 내에서 구현이 구체적으로 설명되고 청구된 것과 달리 실행될 수 있다는 것을 이해해야 한다. 본 개시 내용의 구현은 본원에 기재된 각각의 개별적인 특징, 시스템, 물품, 재료, 키트 및/또는 방법에 관한 것이다. 둘 이상의 이러한 특징, 시스템, 물품, 재료, 키트 및/또는 방법의 임의의 조합(이러한 특징, 시스템, 물품, 재료, 키트 및/또는 방법이 서로 일치하지 않는 경우)은 본 개시의 범위 내에 포함된다.

Claims

하나 이상의 프로세서에 의해 구현되는 방법으로서,
서버 장치에서 프로세싱되고 있는 오디오 데이터에 기초하여, 사용자가 차량에 연결된 차량 컴퓨팅 장치의 자동화된 어시스턴트 인터페이스에 음성 발화를 제공했다고 결정하는 단계;
사용자가 음성 발화를 제공했다는 결정에 응답하여, 차량 컴퓨팅 장치와 연관된 버전 정보에 액세스하는 단계 -상기 버전 정보는 차량 컴퓨팅 장치가 특정 버전에 대응한다는 것을 표시함-;
상기 오디오 데이터를 프로세싱하는 것에 기초하여, 사용자에 의해 제공된 음성 발화의 자연어 콘텐츠를 특성화(characterizing)하는 단계;
음성 발화의 자연어 콘텐츠를 특성화하는 것에 기초하여, 자연어 콘텐츠의 적어도 일부가 특정 버전에 대한 서버 장치에 의해 완전히 지원되는지 여부를 결정하는 단계; 그리고
적어도 상기 버전 정보에 기초하여, 자연어 콘텐츠의 적어도 일부가 특정 버전에 대한 서버 장치에 의해 완전히 지원되지 않는다는 결정에 응답하여:
차량 컴퓨팅 장치에, 사용자에 의해 제공된 음성 발화의 자연어 콘텐츠를 특성화하는 텍스트 데이터를 제공하는 단계; 그리고
차량 컴퓨팅 장치로 하여금 자연어 콘텐츠에 기초하여 차량 컴퓨팅 장치에 의해 로컬적으로 생성된 액션을 로컬적으로 수행하게 하는 단계를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
제1항에 있어서, 상기 자연어 콘텐츠의 적어도 일부가 상기 특정 버전에 대해 상기 서버 장치에 의해 완전히 지원되는지 여부를 결정하는 단계는,
자연어 콘텐츠의 적어도 일부가 서버 장치에 의해 완전히 지원되지 않는 것으로, 서버 장치에서 표시된 하나 이상의 의도(intent)에 대응하는 하나 이상의 자연어 용어를 포함하는지 여부를 결정하는 단계를 포함하며, 상기 하나 이상의 의도는 차량 컴퓨팅 장치의 특정 버전을 포함하지 않는 다른 차량 컴퓨팅 장치 버전에 대해 완전히 지원되는 것으로서 서버 장치에서 표시되는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
제2항에 있어서, 텍스트 데이터는 하나 이상의 자연어 용어를 포함하는 자연어 콘텐츠의 부분을 특성화하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서, 상기 방법은,
자연어 콘텐츠의 적어도 일부가 특정 버전에 대한 서버 장치에 의해 완전히 지원된다는 결정에 응답하여:
서버 장치에서, 사용자에 의해 요청된 의도를 식별하는 액션 데이터, 및 차량 컴퓨팅 장치의 특정 버전에 의해 지원되는 다른 액션을 생성하는 단계; 그리고
차량 컴퓨팅 장치에 액션 데이터를 제공하는 단계를 더 포함하며,
차량 컴퓨팅 장치에 액션 데이터를 제공하는 단계는 차량 컴퓨팅 장치로 하여금 상기 제공된 액션 데이터를 사용하여 다른 액션을 수행하게 하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
선행하는 청구항 중 어느 한 항에 있어서, 상기 방법은,
자연어 콘텐츠의 적어도 일부가 적어도 버전 정보와 관련하여 특정 버전에 대해 서버 장치에 의해 완전히 지원되지 않는다는 결정에 응답하여:
요청된 의도와 관련하여 차량 컴퓨팅 장치에 대한 제한을 특성화하는 명령 데이터를 생성하는 단계; 그리고
차량 컴퓨팅 장치에 상기 명령 데이터를 제공하는 단계를 더 포함하며, 상기 명령 데이터는 차량 컴퓨팅 장치로 하여금 후속 사용자 입력에 응답하여, 요청된 의도의 다른 인스턴스에 대응하는 특정 액션을 생성하도록 요청하는 것을 바이패스하도록 하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
선행하는 청구항 중 어느 한 항에 있어서, 상기 방법은,
자연어 콘텐츠의 적어도 일부가 특정 버전에 대한 서버 장치에 의해 완전히 지원되지 않는다는 결정에 응답하여, 그리고 차량 컴퓨팅 장치에 상기 명령 데이터를 제공한 후에:
요청된 의도와 연관된 또 다른 음성 발화가 차량 컴퓨팅 장치의 자동화된 어시스턴트 인터페이스에서 수신되었음을 결정하는 단계; 그리고
차량 컴퓨팅 장치에 다른 텍스트 데이터를 제공하는 단계를 더 포함하며, 다른 텍스트 데이터는 다른 음성 발화의 다른 자연어 콘텐츠를 특성화하고 그리고 요청된 의도에 대한 특정 액션을 특성화하는 데이터를 생략하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
제1항 내지 제4항 중 어느 한 항에 있어서, 상기 방법은,
자연어 콘텐츠의 적어도 일부가 적어도 버전 정보와 관련하여, 특정 버전에 대해 서버 장치에 의해 부분적으로 지원된다는 결정에 응답하여:
차량 컴퓨팅 장치에, 음성 발화를 통해 사용자에 의해 요청된 특정 의도를 특성화하는 자연어 이해(NLU) 데이터를 제공하는 단계를 더 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
제7항에 있어서, 상기 방법은,
자연어 콘텐츠의 적어도 일부가 적어도 버전 정보와 관련하여 특정 버전에 대해 서버 장치에 의해 부분적으로 지원된다는 결정에 응답하여:
특정 의도에 대한 하나 이상의 슬롯 값을 특성화하는 슬롯 데이터를 차량 컴퓨팅 장치에 제공하는 단계; 그리고
차량 컴퓨팅 장치로 하여금 하나 이상의 슬롯 값을 사용하여 액션을 수행하게 하는 단계를 더 포함하며, 상기 액션은 특정 의도 및 슬롯 값에 기초하여 차량 컴퓨팅 장치에 의해 로컬적으로 식별되는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
선행하는 청구항 중 어느 한 항에 있어서,
상기 음성 발화는 차량의 하드웨어 서브시스템과 연관되고, 상기 음성 발화는 사용자가 차량에 탑승하거나 및/또는 운전할 때 자동화된 어시스턴트 인터페이스에서 수신되는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
선행하는 청구항 중 어느 한 항에 있어서, 상기 방법은,
사용자가 음성 발화를 제공했다고 결정한 후, 현재 지원되는 버전에 따라 동작하는 별도의 차량 컴퓨팅 장치에서 다른 음성 발화를 수신했다고 결정하는 단계; 그리고
다른 음성 발화의 다른 자연어 콘텐츠에 기초하여, 요청된 의도를 특성화하는 NLU 데이터, 요청된 의도에 대한 하나 이상의 슬롯 값을 특성화하는 슬롯 데이터, 및 별도의 차량 컴퓨팅 장치에 의해 수행될 별도의 액션을 특성화하는 액션 데이터를 제공하는 단계를 더 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
선행하는 청구항 중 어느 한 항에 있어서, 상기 방법은,
사용자가 음성 발화를 제공했다고 결정하기 전에, 차량 컴퓨팅 장치와 통신하는 서버 장치에 의해 이전에 완전히 지원되었던 특정 버전이 서버 장치에 의해 완전히 지원된다고 결정하는 단계를 더 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
제11항에 있어서,
자연어 콘텐츠의 적어도 일부가 특정 버전에 의해 완전히 지원되는지 여부를 결정하는 단계는 특정 버전이 서버 장치에 의해 지원되는 정도(extent)를 결정하는 단계를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
하나 이상의 프로세서에 의해 구현되는 방법으로서,
제1 차량 컴퓨팅 장치에서 수신된, 음성 발화에 포함된 자연어 콘텐츠가 제1 의도 요청에 대응한다고 결정하는 단계;
자연어 콘텐츠가 제1 의도 요청에 대응한다는 결정에 기초하여, 제1 의도 요청이 제1 차량 컴퓨팅 장치에 대응하는 버전에 대해 서버 장치에 의해 지원되는 정도(extent)를 결정하는 단계;
제1 의도 요청이 서버 장치에 의해 지원되는 정도에 기초하여, 사용자에 의해 요청된 의도를 특성화하는 제1 데이터를 생성하는 단계;
제2 차량 컴퓨팅 장치에서 수신된, 다른 음성 발화에 포함된 다른 자연어 콘텐츠가 제2 의도 요청에 대응한다고 결정하는 단계;
다른 자연어 콘텐츠가 제2 의도 요청을 포함한다는 결정에 기초하여, 제2 차량 컴퓨팅 장치에 대응하는 다른 버전에 대해 제2 의도 요청이 서버 장치에 의해 지원되는 다른 정도를 결정하는 단계 -상기 버전은 상기 다른 버전과 다름-;
제2 의도 요청이 서버 장치에 의해 지원되는 다른 정도에 기초하여, 다른 음성 발화의 다른 자연어 콘텐츠를 특성화하는 제2 데이터를 생성하는 단계;
제1 차량 컴퓨팅 장치로 하여금 제1 의도 요청을 이행하게 하는 것을 촉진하기 위해 제1 데이터를 제1 차량 컴퓨팅 장치에 제공하는 단계; 그리고
제2 차량 컴퓨팅 장치로 하여금 제2 의도 요청을 이행하게 하는 것을 촉진하기 위해 제2 데이터를 제2 차량 컴퓨팅 장치에 제공하는 단계를 포함하며,
제2 차량 컴퓨팅 장치에 대응하는 다른 버전은 제1 차량 컴퓨팅 장치에 대응하는 버전이 초기에 서버 장치에 의해 지원되었던 시간 이후에 서버 장치에 의해 초기에 지원되는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
제13항에 있어서,
제1 의도 요청 및 제2 의도 요청은 차량 하드웨어 장치의 유형에 대응하고,
제1 데이터는 의도에 대응하는 액션 및 차량 하드웨어 의도의 유형에 의해 수행될 수 있는 동작을 추가로 특성화하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
제14항에 있어서,
제2 차량 컴퓨팅 장치가 제2 데이터를 수신하는 것에 응답하여, 제2 데이터는 차량 하드웨어 장치의 유형이 상기 동작 및/또는 다른 동작을 수행하게 하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
제14항 또는 제15항에 있어서,
상기 차량 하드웨어 장치의 유형은 하나 이상의 센서, 하나 이상의 다른 컴퓨팅 장치, 및/또는 하나 이상의 전기 기계 장치를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
하나 이상의 프로세서에 의해 구현되는 방법으로서,
차량의 차량 컴퓨팅 장치와 통신하는 인터페이스를 통해, 사용자가 인터페이스에 제공한 음성 발화를 특성화하는 데이터를 수신하는 단계 -음성 발화는 차량 컴퓨팅 장치가 특정 의도를 이행하라는 요청에 대응함-;
적어도 사용자에 의해 제공된 음성 발화를 특성화하는 데이터에 기초하여, 음성 발화의 자연어 콘텐츠를 결정하는 단계 -자연어 콘텐츠는 특정 의도에 대응하는 하나 이상의 용어를 포함함-;
자연어 콘텐츠의 하나 이상의 용어 및 차량 컴퓨팅 장치에 대응하는 버전에 적어도 기초하여, 하나 이상의 용어가 버전에 대해 서버 장치에 의해 지원되는 정도(extent)를 결정하는 단계;
자연어 콘텐츠의 하나 이상의 용어가 버전에 대한 서버 장치에 의해 완전히 지원된다는 결정에 응답하여:
차량 컴퓨팅 장치와 통신하는 서버 장치에 액션 데이터에 대한 요청을 제공하는 단계;
서버 장치가 상기 요청을 수신한 후, 서버 장치로부터 액션 데이터를 수신하는 단계;
차량 컴퓨팅 장치가 액션 데이터에 의해 특성화된 액션을 수행하게 하는 단계; 그리고
자연어 콘텐츠의 하나 이상의 용어가 버전에 대한 서버 장치에 의해 부분적으로 지원된다는 결정에 응답하여:
서버 장치로부터 적어도 의도 데이터에 대한 다른 요청을 제공하는 단계;
다른 요청을 수신한 서버 장치에 응답하여, 서버 장치로부터 의도 데이터를 수신하는 단계 -의도 데이터는 특정 의도를 특성화함-; 그리고
의도 데이터에 기초하여, 차량 컴퓨팅 장치가 특정 의도와 연관된 다른 액션을 수행하게 하는 단계를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
제17항에 있어서, 상기 액션은 애플리케이션에 대응하고, 상기 다른 액션은 다른 애플리케이션에 대응하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
제17항에 있어서, 상기 액션 및 다른 액션은 모두 차량의 하드웨어 서브시스템에 대응하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
제17항 내지 제19항 중 어느 한 항에 있어서, 상기 방법은,
자연어 콘텐츠의 하나 이상의 용어가 버전에 대해 서버 장치에서 더 이상 지원되지 않는다는 결정에 응답하여:
서버 장치로부터 적어도 텍스트 데이터에 대한 별도의 요청을 제공하는 단계,
서버 장치가 별도의 요청을 수신하는 것에 응답하여, 서버 장치로부터 텍스트 데이터를 수신하는 단계 -텍스트 데이터는 음성 발화의 자연어 콘텐츠를 특성화함-,
텍스트 데이터에 기초하여, 차량 컴퓨팅 장치로 하여금 차량 컴퓨팅 장치에서 실행할 특정 액션을 선택하게 하는 단계를 포함하는 것을 특징으로 하는 하나 이상의 프로세서에 의해 구현되는 방법.
하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금 선행하는 청구항 중 어느 한 항의 방법을 수행하게 하는 명령어를 포함하는 컴퓨터 프로그램.
하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금 선행하는 제1항 내지 제20항 중 어느 한 항의 방법을 수행하게 하는 명령어를 포함하는 컴퓨터 판독가능 저장 매체.
제1항 내지 제20항 중 어느 한 항의 방법을 수행하기 위한 하나 이상의 프로세서를 포함하는 시스템.