KR20190067697A - 프라이버시-보존 음성 상호작용을 위한 디바이스 및 방법 - Google Patents

프라이버시-보존 음성 상호작용을 위한 디바이스 및 방법 Download PDF

Info

Publication number
KR20190067697A
KR20190067697A KR1020180154627A KR20180154627A KR20190067697A KR 20190067697 A KR20190067697 A KR 20190067697A KR 1020180154627 A KR1020180154627 A KR 1020180154627A KR 20180154627 A KR20180154627 A KR 20180154627A KR 20190067697 A KR20190067697 A KR 20190067697A
Authority
KR
South Korea
Prior art keywords
speaker
obfuscated
name
audio signal
privacy
Prior art date
Application number
KR1020180154627A
Other languages
English (en)
Inventor
빠트릭 퐁뗀느
빠트릭 퐁뗀느
크리스또프 느만
Original Assignee
인터디지털 씨이 페이튼트 홀딩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 씨이 페이튼트 홀딩스 filed Critical 인터디지털 씨이 페이튼트 홀딩스
Publication of KR20190067697A publication Critical patent/KR20190067697A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/08—Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/87—Detection of discrete points within a voice signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42008—Systems for anonymous communication between parties, e.g. by use of disposal contact identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/02—Protecting privacy or anonymity, e.g. protecting personally identifiable information [PII]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Bioethics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Respiratory Apparatuses And Protective Means (AREA)

Abstract

프라이버시-보존 음성 상호작용을 위한 홈 지원 디바이스(100') 및 방법. 마이크로폰(102)은 음성 사용자 질의에 대응하는 오디오 신호(102)를 캡처한다. 스피커의 아이덴티티(122)가 결정되고, 난독화된 이름(126)이 식별된 스피커에 대응하여 생성된다. 오디오 신호는 사용자의 의도(123)를 결정하도록 분석되고, 개인화된 응답(124)은 난독화된 이름과 결합하여 생성된다. 그 후 이러한 응답은 스피커 이름을 재도입함으로써 탈-난독화된다. 탈-난독화된 응답(127)은 스피커에 랜더링된다.

Description

프라이버시-보호 음성 상호 작용을 위한 디바이스 및 방법{DEVICE AND METHOD FOR PRIVACY-PRESERVING VOCAL INTERACTION}
본 개시내용은 음성 상호 작용들의 분야에 관한 것으로, 더 구체적으로, 다중-사용자 홈 어시스턴트 환경에서 사용자들의 프라이버시를 보호한다.
이 섹션은 본 기술분야의 다양한 양태들을 독자에게 소개하도록 의도되며, 그 다양한 양태들은 아래에서 설명되고 그리고/또는 청구되는 본 개시내용의 다양한 양태들에 관련될 수 있다. 이 논의는 본 개시내용의 다양한 양태들의 더 양호한 이해를 용이하게 하기 위해 배경 정보를 동작에게 제공하는 데 유용할 것으로 믿는다. 따라서, 이들 진술들은 그러한 관점에서 읽혀야 하고, 종래 기술을 허용하는 것으로 읽히지 않아야 한다.
홈 어시스턴트 디바이스들, 이를테면 아마존 에코(Amazon Echo) 또는 구글 홈(Google Home) 뿐만 아니라 홈 어시스턴트 서비스들, 이를테면 마이크로소프트 코타나(Microsoft Cortana) 또는 애플 시리(Apple Siri)를 통한 주거 환경에서의 음성 제어의 사용은 대량 시장 현실이 되었으며; 그러한 디바이스들 또는 서비스들은 수백만 가정들에서 사용된다. 홈 어시스턴트 디바이스는 마이크로폰들을 통해 가구의 사용자들로부터 자연스러운 스피치를 캡처하고, 사용자 질의를 분석하며, 적절한 응답 또는 서비스를 제공한다. 수행될 질의들은 집-내부 디바이스들을 사용할 수 있을 뿐만 아니라(예컨대, TV의 소리를 끄는 것, 셔터들을 폐쇄하는 것 등) 집-외부 서비스들을 사용할 수 있다(예컨대, 일기 예보 또는 주가들을 검색하는 것, 디바이스 고장에 대해 도움을 받는 것 등). 부가하여, 최신 세대의 홈 어시스턴트 디바이스는 또한 화자 인식을 수행한다. 그러한 인식은 다수의 특징들, 이를테면, 액세스 제어(예컨대, 아이는 홈 네트워크를 구성할 수 없음, 성인 영화들에 액세스할 수 없음 등), 상호 작용들의 개인화(예컨대, 상호 작용의 어휘는 어린 아이들, 청소년들, 성인들, 또는 고령자들 중에서 선택되는 화자의 카테고리에 적응될 수 있음)를 가능하게 한다. 그러나, 이는 사용자 프라이버시를 감소시키는 대가로 발생된다. 사실상, 이들 음성 상호 작용 에코시스템들에서 사용되는 스피치 분석들 및 대화 로직은 가정 환경 외부, 전형적으로는 클라우드에서 통상적으로 동작된다.
따라서, 종래 기술의 문제들 중 적어도 일부를 해소하는 주거 화자 인식을 위한 해법이 필요하다는 것이 이해될 수 있다. 본 개시내용은 그러한 해법을 제공한다.
본 개시내용은 프라이버시-보호 음성 상호 작용들을 위한 홈 어시스턴트 디바이스 및 방법을 설명한다. 마이크로폰은 음성 사용자 질의에 대응하는 오디오 신호를 캡처한다. 화자의 아이덴티티가 결정되고, 식별된 화자에 대응하여 난독화된 이름이 생성된다. 사용자의 의도를 결정하기 위해 오디오 신호가 분석되고, 난독화된 이름과 조합되어 개인화된 회답이 생성된다. 이어서, 이 회답은 화자 이름을 재도입함으로써 역-난독화된다. 이어서, 역-난독화된 회답은 화자에게 렌더링된다.
제1 양태에서, 본 개시내용은 프라이버시-보호 음성 상호 작용들을 수행하기 위한 디바이스에 관한 것이며, 이 디바이스는, 화자로부터의 질의에 대한 음성 발화를 표현하는 오디오 신호를 캡처하도록 구성된 마이크로폰; 캡처된 오디오 신호로부터 화자의 아이덴티티를 결정하도록 구성된 화자 식별자; 식별된 화자에 대응하는 난독화된 화자 이름을 생성하고, 화자 이름들과 난독화된 화자 이름들 간의 대응관계들의 리스트를 저장하도록 구성된 프라이버시 인포서; 통신 인터페이스를 포함하며, 이 통신 인터페이스는, 캡처된 오디오 신호 및 난독화된 화자 이름을 외부 디바이스에 제공하고; 외부 디바이스로부터 화자 질의에 대한 회답을 수신하도록 구성되고, 여기서, 프라이버시 인포서는 추가로, 수신된 회답이 리스트의 난독화된 화자 이름을 포함하는지를 결정하고, 이러한 경우, 수신된 회답에서, 난독화된 화자 이름을 대응하는 이름으로 교체함으로써 역-난독화된 회답을 생성하도록 구성된다.
제1 양태의 제1 변형예에서, 수신된 회답은 텍스트 형태이며, 디바이스는 역-난독화된 회답을 텍스트 형태로부터 오디오 신호로 변환하도록 구성된 텍스트-대-스피치 변환기를 더 포함한다.
제1 양태의 제2 변형예에서, 수신된 회답은 오디오 포맷이며, 프라이버시 인포서는 추가로, 리스트의 화자 이름을 검출하고, 대응하는 난독화된 화자 이름을 표현하는 오디오 신호로 캡처된 오디오 신호를 교체함으로써, 캡처된 오디오 신호를 난독화하도록 구성된다.
제1 양태의 제3 변형예에서, 프라이버시 인포서는 익명 모드를 턴온하거나 또는 턴오프하기 위한 세팅을 더 포함하며, 제1 경우에, 프라이버시 인포서는 화자 이름을 제공하기 전에 화자 이름을 난독화하고, 수신된 회답이 난독화된 화자 이름을 포함할 때 수신된 회답을 역-난독화하고, 제2 경우에, 프라이버시 인포서는 화자 이름을 더 이상 난독화하지 않고, 수신된 회답이 난독화된 화자 이름을 포함하는지를 더 이상 결정하지 않는다.
제2 양태에서, 본 개시내용은 프라이버시 보호 음성 상호 작용들을 수행하기 위한 방법에 관한 것이며, 이 방법은, 화자로부터의 질의에 대한 음성 발화를 표현하는 오디오 신호를 캡처하는 단계; 캡처된 오디오 신호로부터 화자를 식별하는 단계; 식별된 화자에 대응하는 난독화된 화자 이름을 생성하고, 화자 이름들과 난독화된 화자 이름들 간의 대응관계의 리스트를 저장하는 단계; 캡처된 오디오 신호와 난독화된 화자 이름을 외부 디바이스에 제공하는 단계; 외부 디바이스로부터 질의에 대한 회답을 획득하는 단계; 수신된 회답이 리스트의 난독화된 화자 이름을 포함하는지를 결정하고, 이러한 경우, 수신된 회답에서, 난독화된 화자 이름을 대응하는 이름으로 교체함으로써 역-난독화된 회답을 생성하는 단계; 및 화자에게 회답을 제공하는 단계를 포함한다.
제2 양태의 제1 변형예에서, 수신된 회답은 텍스트 형태이며, 방법은 리스트의 화자 이름을 검출하고, 대응하는 난독화된 화자 이름을 표현하는 오디오 신호로 캡처된 오디오 신호를 교체하는 단계를 더 포함한다.
제2 양태의 제2 변형예는, 익명 모드를 턴온하거나 또는 턴오프하기 위한 세팅을 더 포함하며, 제1 경우에, 화자 이름을 제공하기 전에 화자 이름을 난독화하고, 수신된 회답이 난독화된 화자 이름을 포함할 때 수신된 회답을 역-난독화하고, 제2 경우에, 화자 이름을 더 이상 난독화하지 않고, 수신된 회답이 난독화된 화자 이름을 포함하는지를 더 이상 결정하지 않는다.
제2 양태의 제3 변형예는 난독화된 화자 이름들을 갱신하는 단계를 포함한다.
제3 양태에서, 본 개시내용은, 제2 양태의 방법의 임의의 실시예를 구현하기 위해 프로세서에 의해 실행가능한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램에 관한 것이다.
제4 양태에서, 본 개시내용은, 비-일시적 컴퓨터 판독가능 매체 상에 저장되고, 제2 양태의 방법의 임의의 실시예를 구현하기 위해 프로세서에 의해 실행가능한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품에 관한 것이다.
이제, 본 개시내용의 바람직한 특징들이 첨부 도면들을 참조하여 비-제한적인 예로서 설명될 것이다.
도 1a는 종래 기술에 따른 예시적인 홈 어시스턴트 에코시스템을 예시한다.
도 1b는 본 개시내용의 적어도 일부가 구현될 수 있는 예시적인 홈 어시스턴트 에코시스템을 예시한다.
도 2는 본 개시내용의 실시예에 따른 프라이버시-보호 음성 상호 작용의 방법의 예시적인 흐름도를 예시한다.
도 1a는 종래 기술에 따른 예시적인 홈 어시스턴트 에코시스템을 예시한다. 본 기술분야의 통상의 기술자는 예시된 디바이스가 명료성의 이유들로 단순화된 것을 이해할 것이다. 홈 어시스턴트 에코시스템은 통신 인터페이스(120)를 통해 서비스 제공자들과 상호 작용하는 적어도 하나의 홈 어시스턴트 디바이스(100)를 포함한다. 서비스 제공자들은 사용자에게 복수의 서비스들을 제안하며, 특히, 서비스들은 음성 상호 작용들에 기초하고, 개별 사용자들에 대해 개인화된다. 서비스들은 화자의 요청에 회답하기 위해 협력하는 전용 소프트웨어 애플리케이션들에 의해 제공된다. 이들 소프트웨어 애플리케이션들은 통상적으로 집-외부 디바이스들 상에서, 전형적으로는 클라우드에서 실행되며, 도 1a에 예시된 바와 같은 단일 서비스 오퍼레이터(140)에 의해 동작될 수 있거나, 또는 협력하는 복수의 서비스 제공자들 간에 분할될 수 있다.
홈 어시스턴트 디바이스는 음성 질의를 행하는 사용자에 의해 생성되는 음성 발화들을 캡처하기 위해 그리고 대응 오디오 신호(121)를 생성하기 위해 마이크로폰(102)을 포함한다. 화자 식별자 모듈(104)은 가구의 사용자들의 세트 중에서 화자를 식별하기 위해 오디오 신호(121)를 분석하고, 서비스 제공자(140)에게 화자 아이덴티티(122)를 제공한다. 스피치-대-의도(150)는 오디오 신호(121)를 수신하고, 오디오 신호(121)를 분석하고, 오디오 신호(121)를 텍스트로 변환하고, 의도를 생성한다. "스피치-대-의도" 기능은 "스피치-대-텍스트" 기능과 상이하다. 사실상, 의도는 의미에 대응하며, 단순한 인식되는 단어보다 더 일반적이다. 예컨대, 화자들이 "guten Tag", "bonjour", "hi" 등을 발언하는 경우, 의도는 "hello"일 수 있다. 대화 로직(160)은 의도(123) 및 화자 아이덴티티(122)를 수신한다. 화자와의 이전의 상호 작용들을 알고 있는 상태로, 대화 로직(160)은 최근의 의도에 대한 응답으로 적절한 회답(124)을 생성한다. 대화 로직이 화자 아이덴티티를 알고 있기 때문에, 대화 로직은, 예컨대 응답에 화자의 이름을 삽입함으로써 회답을 개인화한다. 회답(124)은 텍스트 스트링이고, 텍스트-대-스피치(160)에 제공되며, 그 텍스트-대-스피치(160)는 회답(124)을 오디오 신호(125)로 변환하고, 그 오디오 신호(125)는 홈 어시스턴트 디바이스에 전달되고, 라우드스피커(110) 상에서 렌더링된다.
예컨대, 도 1a에 예시된 바와 같이, 사용자 Bob이 에코시스템과 상호 작용하기를 원하는 경우, 아마존 에코시스템의 경우에, 그는 간단한 질의 "Alexa, bonjour!"로 시작한다. 에코시스템은 "Bonjour Bob"을 발언하여, 그에 따라, 인식된 화자의 이름을 삽입함으로써 응답을 개인화하여 회답할 것이다.
그러한 셋업으로, 홈 어시스턴트 디바이스(100)는 화자의 아이덴티티를 서비스 제공자들에게 제공한다. 그러나, 사용자들이 항상 이들의 아이덴티티가 공개되기를 원하지는 않으며, 이들의 프라이버시에 관한 개선들을 기대한다.
도 1b는 본 개시내용의 적어도 일부가 구현될 수 있는 예시적인 홈 어시스턴트 에코시스템을 예시한다. 홈 어시스턴트 에코시스템은 프라이버시-친화적 홈 어시스턴트 디바이스(100')를 포함하며, 화자의 프라이버시를 개선하면서, 도 1a에서 설명된 종래 기술 시스템에서와 정확히 동일한 서비스 오퍼레이터 환경(140)과 함께 동작할 수 있다.
홈 어시스턴트 디바이스(100')는 사용자들로부터의 오디오를 캡처하도록 구성된 마이크로폰(102), 가구 사용자들 중에서 화자의 아이덴티티를 검출하도록 구성된 화자 식별자(104), 화자 이름을 임시 이름으로 교체함으로써 발신 데이터에서 화자의 아이덴티티를 난독화하고, 착신 데이터에서 화자 이름을 다시 삽입하도록 구성된 프라이버시 인포서(106), 텍스트 회답들을 음성 신호로 변환하도록 구성된 선택적인 텍스트-대-스피치 변환기(108), 오디오 신호를 출력하도록 구성된 라우드스피커(110), 및 통신 인터페이스(120)를 포함한다. 홈 어시스턴트 디바이스(100')는 또한, 본 발명에 관련되지 않기 때문에 예시되지 않았으나 디바이스를 동작시키는 데 필수적인 다른 엘리먼트들(이를테면, 시스템을 구성하기 위한 버튼들, 전자 컴포넌트들을 동작시키기 위한 전원, 라우드스피커를 구동시키기 위한 오디오 증폭기 등)을 포함한다. 홈 어시스턴트 디바이스(100')는 독립형 디바이스로서 구현될 수 있거나, 또는 통상적인 소비자 디바이스, 이를테면 셋-톱 박스, 게이트웨이, 텔레비전, 컴퓨터, 스마트폰, 태블릿 등에 통합될 수 있다.
통신 인터페이스(120)는 적어도 스피치-대-의도 및 대화 로직 기능들을 수행하는 클라우드 내의 데이터 서버들 및 프로세서들과 같은 집-외부 디바이스들과 상호 작용하도록 구성된다. ADSL 케이블 모뎀, 3G 또는 4G가 이러한 목적을 위해 사용될 수 있는 통신 인터페이스들의 예들이다. 다른 통신 인터페이스들이 사용될 수 있다.
홈 어시스턴트 디바이스(100')는, 대화 로직에 의해 홈 어시스턴트 디바이스(100')에 제공되는 회답의 타입에 따라, 2개의 모드들 중 하나로 동작한다. 제1 모드는 대화 로직(160)이 텍스트 포맷으로 회답을 전달하는 경우 사용된다. 이 경우에, 서비스 제공자(140)의 텍스트-대-스피치 변환기(170)는 사용되지 않으며, 오디오로의 변환은 텍스트-대-스피치 변환기(108)에 의해 홈 어시스턴트 디바이스(100') 내에서 행해진다. 제2 모드는 레거시 서비스 제공자들과 함께 사용되며, 여기서, 회답은 오디오 신호로서 전달되고, 그에 따라, 서비스 제공자(140)의 텍스트-대-스피치 변환기(170)가 사용된다.
바람직한 실시예에 따르면, 홈 어시스턴트 에코시스템은 제1 모드로 동작한다. 화자는 음성 질의, 이를테면 "Alexa, what's the weather today?"를 행하기 위해 음성 발화를 생성한다. 마이크로폰(102)은 그 음성 발화를 캡처하고, 대응 오디오 신호(121)를 생성한다. 화자 식별자 모듈(104)은 오디오 신호(121)를 분석하고, 화자의 식별자가 XYZ-002이고 화자의 이름이 Bob인 것으로 화자를 식별한다. 예컨대, 그러한 식별은 통상적인 화자 인식 기술들, 이를테면, GMM-UBM(Gaussian Mixture Model - Universal Background Model) 모델들을 사용하는 유형을 사용하여 행해진다. 화자가 식별되었으면, 화자 이름(122)은 프라이버시 인포서(106)에 제공되며, 그 프라이버시 인포서(106)는 임시 이름(126)(도 1b의 예에서는 "tak")을 생성하고, 임시 이름(126)을 서비스 제공자(140)에게 제공함으로써, 화자의 실제 이름 및 아이덴티티를 난독화한다. 프라이버시 인포서(106)는 난독화된 이름(126)과 화자 식별자 간의 관계를 저장한다. 예컨대, 이는 식별된 화자의 이름(또는 그 이름의 로컬 식별자/프로파일)과 난독화된 이름 간의 연관을 매핑 테이블에 저장함으로써 이루어진다. 표 1은 그러한 매핑 테이블의 예를 도시한다.
Figure pat00001
표 1: 매핑 테이블
가구의 이름들과 상이한 랜덤 텍스트들의 리스트에서 하나의 엘리먼트를 랜덤으로 선택하는 것 또는 랜덤 텍스트 스트링을 생성하는 것과 같이, 난독화된 이름을 생성하기 위해, 다수의 기법들이 사용될 수 있다. 난독화된 이름은 통상적인 이름 또는 통상적인 단어에 대응하지 않는 것이 바람직하다. 이를 보장하기 위해, 생성된 랜덤 텍스트가 이름들의 딕셔너리 및 통상적인 딕셔너리의 일부가 아닌 경우에만, 그 생성된 랜덤 텍스트가 사용될 수 있다. 그렇지 않은 경우, 새로운 생성이 행해져야만 한다.
이어서, 프라이버시 인포서(106)는 오디오 신호(121') 및 난독화된 이름(126)을 서비스 오퍼레이터(140)에게 제공한다. 스피치-대-의도(150)는 수신된 오디오 신호(121')를 분석하고, 대응 의도(123)를 생성한다. 이어서, 대화 로직(160)은 의도(123)를 분석하고, 예컨대 난독화된 이름을 포함하는 개인화된 회답(124)을 생성한다. 이어서 그 회답은 텍스트 형태로 홈 어시스턴트 디바이스(100')로 바로 되돌려 전송된다. 프라이버시 인포서(106)는 수신된 회답(124)을 분석하고, 그 수신된 회답(124)이 매핑 테이블의 난독화된 이름들의 리스트의 난독화된 이름을 포함하는지 체크한다. 해당되는 경우, 검출된 난독화된 이름은 대응 화자 이름으로 교체됨으로써, 역-난독화된 회답(124')이 생성되며, 그 역-난독화된 회답(124')은 텍스트-대-스피치 변환기(108)에 의해 오디오 신호(127)로 변환되고, 라우드스피커(110)에 의해 렌더링된다.
도 1b에 예시된 예에서, Bob는 "Alexa, what's the weather today?"라고 발언한다. 화자는 "Bob"로서 식별되고, 그에 따라, 대응하는 난독화된 이름은 "tak"이다. 오디오 분석은 의도가 "weather today"였던 것을 밝힌다. 이어서, 오늘의 기상 통보가 인출되고, 회답은, "Hello tak. The weather today is …"와 같이, 화자의 이름을 부가함으로써 개인화되며, 여전히 난독화된 화자 이름을 포함한다. 회답이 분석되는 경우, 리스트의 난독화된 화자 이름들 중 하나의 난독화된 화자 이름("tak")이 검출된다. 그 하나의 난독화된 화자 이름은 대응 실제 화자 이름("Bob")로 교체되고, 그에 따라, "Hello Bob. The weather today is …"와 같이, 최종 응답이 생성된다. 그 결과, 화자 이름이 홈 어시스턴트 디바이스(100') 외부에 공개되지 않았고, 그에 따라, 홈 어시스턴트 디바이스의 복수의 사용자들의 프라이버시가 보호되었다.
대안적인 실시예에 따르면, 홈 어시스턴트 에코시스템은 제2 모드로 동작한다. 제1 모드와의 차이는, 대화 로직이 회답(124)을 생성하는 경우, 그 회답이 홈 어시스턴트 디바이스(100')에 텍스트 형태로 바로 제공되는 것이 아니라, 오디오 형태로 제공되는데, 이는 서비스 제공자(140)의 텍스트-대-스피치 변환기(170)에 의해 오디오 신호(125)가 생성되기 때문이다. 따라서, 홈 어시스턴트 디바이스(100')가 회답(125)을 수신하는 경우, 프라이버시 인포서(106)는 오디오 신호(125)를 분석하여, 난독화된 이름을 검출한다. 그러한 목적을 위해, 프라이버시 인포서는 난독화된 이름들의 오디오 표현들을 획득하고, 예컨대 2개의 오디오 신호들의 교차-상관을 사용하여, 오디오 도메인에서 오디오 신호(125) 내의 이들 표현들을 탐색한다. 난독화된 이름이 발견된 경우, 그 난독화된 이름은 대응 화자 이름으로 교체되고, 그에 따라, 라우드스피커(110)에 의해 렌더링되는 역-난독화된 회답(127)이 생성된다.
이러한 제2 모드에서, 선택된 난독화된 이름은 표 1에 예시된 바와 같이 화자 이름과 유사한 길이를 가질 수 있다. 대안적으로, 선택된 난독화된 이름은 또한, 가구의 사람들의 수를 결정하는 데 사용될 수 있는 정보를 제공하는 것을 피하기 위해 고정된 길이를 가질 수 있다. 그러한 난독화된 이름을 생성하기 위한 기법의 일 예는 고정된 수의 문자들에 걸쳐 랜덤 자음과 랜덤 모음을 교체하는 것이다. 이러한 경우에, 표 1에 대한 난독화된 이름들의 예는 "kadopabo", "jilybelo", "gatekomu" 및 "dagopasa"일 수 있다.
대안적인 실시예에서, 개선된 프라이버시를 위해, 레코딩된 오디오 신호(121)는 프라이버시 인포서에 의해 다른 오디오 신호(121')로 변형되고, 그에 따라, 레코딩된 음성의 음성 특성들이 인식될 수 없게 된다. 이는, 임의의 음성 변환 알고리즘(음성 모핑, 운율 변형, 또는 심지어, 스피치-대-텍스트에 이은 텍스트-대-스피치의 적용 등)을 사용하여 행해지고, 그에 따라, 발언된 텍스트를 변경하지 않으면서 특성들이 변환된다. 그러한 변환의 결과로, 홈 네트워크에서 나가는 모든 음성들이 동일하게 될 것이고, 그에 따라, 구별하는 것이 불가능하게 될 것이다. 이러한 부가적인 세이프가드는 모드들 둘 모두에 적용된다.
대안적인 실시예에서, 프라이버시 인포서는 또한, 레코더 오디오 신호(121)로부터 발신 오디오 신호(121')의 텍스트를 난독화한다. 이는, 예컨대 표 1의 매핑 테이블에 열거된 바와 같은, 가구의 화자들의 이름들 중 하나를 오디오 신호 내에서 검출함으로써 행해진다. 화자 이름이 발견된 경우, 그 화자 이름은 대응하는 난독화된 이름으로 교체된다. 이 실시예는 일부 상황들에서 성공적이지 않은 질의들을 초래할 수 있으므로 선택적이다. 예컨대, 이 특징이 활성화되는 경우에, 위의 표 1의 경우, 영화 "Alice in Wonderland"를 관람하는 것이 가능하지 않게 될 것인데, 이는 질의가 "okul in Wonderland"로 변환될 것이기 때문이다.
대안적인 실시예에서, 난독화는 디폴트 세팅, 사용자 선택, 또는 사용자 선호도들의 세팅의 제어 하에서, 주기적으로, 예컨대, 디바이스의 각각의 시동 시마다, 매일, 매 15분마다, 각각의 질의에 대해 등으로 갱신된다. 각각의 질의에 대해 난독화가 갱신되는 경우는 2개의 연속적인 요청들 간의 불연계성을 개선한다. 그러나, 이는 질의의 컨텍스트화가 감소되는 단점이 있는데, 이는, 추정상 새로운 화자에 의해 질의가 수행되기 때문에, 각각의 갱신 후 대화 로직이 항상 빈 컨텍스트로부터 시작할 것이기 때문이다.
실시예에 따르면, 프라이버시 인포서(106)는, 예컨대, 사용자 선택 또는 사용자 선호도들의 세팅의 제어 하에서, 턴온 또는 턴오프될 수 있다. 이는 프라이버시 인포서에 의해 제공되는 프라이버시의 레벨을 제어하고, 그에 따라, 프라이버시 레벨 세팅이라고 호칭된다. 프라이버시 레벨 세팅이 "NO_PRIVACY"인 경우, 프라이버시 인포서(106)는 완전히 투명하며: 프라이버시 인포서(106)는 홈 어시스턴트 디바이스(100')의 발신 질의에 영향을 미치지 않고, 착신 결과들을 변형시키지 않는다. 프라이버시 레벨 세팅이 "INCOGNITO"인 경우, 프라이버시 인포서(106)는 완전히 활성되고, 프라이버시 인포서(106)는 질의 내의 화자 이름을 난독화하기 위해 발신 질의들을 분석하고, 오디오로부터 어떠한 화자 이름도 제거하고, 발신 음성 질의를 변환하며, 착신 결과들 내의 화자 이름을 복원한다. 다른 중간 프라이버시 레벨 세팅들, 예컨대 음성 변환을 수행하지 않는 프라이버시 레벨 세팅이 또한 가능하다.
실시예에 따르면, 프라이버시 레벨 세팅은, 프라이버시 인포서를 인에이블하기 위한 "프라이빗 모드 시작", "익명 모드 시작", "나의 아이덴티티를 숨김" 등, 및 프라이버시 인포서를 바이패스하기 위한 "프라이빗 모드 중지", "익명 모드 중지" 등과 같이, 오디오 질의 그 자체를 사용하여 조정될 수 있다. 이러한 질의는 그에 따라 자신의 거동을 조정하는 프라이버시 인포서에 의해 검출된다.
도 2는 본 개시내용의 실시예에 따른 프라이버시-보호 음성 상호 작용의 방법의 예시적인 흐름도를 예시한다. 단계(200)에서, 마이크로폰은 음성 질의를 형성하는 사용자에 의해 수행된 음성 발화들을 캡처하고, 대응 오디오 신호를 생성한다. 단계(202)에서, 화자 식별자는 캡처된 오디오 신호의 화자의 아이덴티티를 식별하고, 단계(204)에서, 프라이버시 인포서는 난독화된 화자 이름을 생성한다. 선택적으로, 병렬 단계(206)에서, 프라이버시 인포서는 오디오 신호를 난독화한다. 단계(208)에서, 오디오 신호가 획득되고, 분석되며, 대응 의도가 생성된다. 단계(210)에서, 난독화된 화자 이름을 획득한 후, 개인화된 응답이 생성된다. 단계(212)에서, 응답은 프라이버시 인포서에 의해 분석되고, 그 프라이버시 인포서는 응답의 난독화된 이름들을 대응 화자 이름들로 교체한다. 단계(214)에서, 라우드스피커들이 역-난독화된 응답을 렌더링한다. 난독화 단계들(204 및 206) 및 역-난독화 단계(212)는 프라이버시 레벨 세팅들의 제어 하에 있고, 세팅들이 "NO_PRIVACY"인 경우 바이패스된다.
본 기술분야의 통상의 기술자에 의해 이해될 바와 같이, 위에서 설명된 본 원리들 및 특징들의 양태들은 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로-코드 등), 또는 하드웨어와 소프트웨어 양태들을 조합한 실시예의 형태를 취할 수 있다. 예컨대, 화자 식별자(104), 프라이버시 인포서(106), 및 텍스트-대-스피치 변환기(108)에 대해 하드웨어 컴포넌트들을 사용하여 설명이 이루어지지만, 이들 엘리먼트들은 본 개시내용의 적어도 하나의 실시예의 방법을 실행하도록 구성된 적어도 하나의 하드웨어 프로세서, 본 개시내용의 적어도 하나의 실시예의 방법을 실행하는 데 필요한 데이터를 저장하도록 구성된 메모리, 및 본 개시내용의 적어도 하나의 실시예를 수행하기 위해 프로세서에 의해 실행가능한 컴퓨터 판독가능 프로그램 코드를 사용하여 소프트웨어 컴포넌트들로서 구현될 수 있다. 따라서, 그러한 구현에서, 하드웨어 프로세서는, 적어도, 화자 식별자(104), 프라이버시 인포서(106), 및 텍스트-대-스피치 변환기(108)의 기능들을 구현하도록, 그리고 통신 인터페이스(120)를 통해 서비스 제공자와 인터페이스하도록 구성된다. 그러한 목적을 위해, 하드웨어 프로세서는, 사용자 식별 단계(202), 이름 난독화 단계(204), 오디오 질의 난독화 단계(206), 역-난독화 단계(212), 및 회답 렌더링 단계(214)를 포함하는, 적어도 도 2의 단계들을 구현하도록 구성된다.
게다가, 상이한 대안적인 실시예들이 개별적으로 설명되었지만, 이들은 임의의 형태로 함께 조합될 수 있다.

Claims (15)

  1. 프라이버시-보호 음성 상호 작용들을 수행하기 위한 디바이스(100')로서,
    - 화자로부터의 질의에 대한 음성 발화를 표현하는 오디오 신호(121)를 캡처하도록 구성된 마이크로폰(102);
    - 상기 캡처된 오디오 신호(121)로부터 화자의 아이덴티티를 결정하도록 구성된 화자 식별자(speaker identifier)(104);
    - 상기 식별된 화자에 대응하는 난독화된 화자 이름(122)을 제공하고, 화자 이름들과 난독화된 화자 이름들 간의 대응관계들의 리스트를 저장하도록 구성된 프라이버시 인포서(privacy enforcer)(106);
    - 통신 인터페이스(120)
    를 포함하며, 상기 통신 인터페이스(120)는,
    - 상기 캡처된 오디오 신호(121) 및 상기 난독화된 화자 이름(122)을 외부 디바이스에 제공하고;
    - 외부 디바이스로부터 상기 화자 질의에 대한 회답(124, 125)을 수신하도록 구성되고,
    상기 프라이버시 인포서는 추가로, 상기 수신된 회답이 상기 리스트의 난독화된 화자 이름을 포함하는지를 결정하고, 이러한 경우, 상기 수신된 회답에서, 상기 난독화된 화자 이름을 상기 대응하는 이름으로 교체하도록 구성되는, 디바이스.
  2. 제1항에 있어서,
    상기 화자에게 상기 회답을 제공하는 것을 더 포함하는, 디바이스.
  3. 제1항에 있어서,
    상기 수신된 회답(124)은 텍스트 형태인, 디바이스.
  4. 제3항에 있어서,
    역-난독화된 회답(de-obfuscated answer)(124')을 텍스트 형태로부터 오디오 신호(127)로 변환하도록 구성된 텍스트-대-스피치 변환기(108)를 더 포함하는, 디바이스.
  5. 제1항에 있어서,
    상기 수신된 회답(124)은 오디오 포맷인, 디바이스.
  6. 제1항에 있어서,
    상기 프라이버시 인포서는 추가로, 상기 리스트의 화자 이름을 검출하고 상기 캡처된 오디오 신호(121)를 상기 대응하는 난독화된 화자 이름을 표현하는 오디오 신호로 교체함으로써, 상기 캡처된 오디오 신호(121)를 난독화하도록 구성되는, 디바이스.
  7. 제1항에 있어서,
    상기 프라이버시 인포서는 익명 모드를 턴온하거나 또는 턴오프하기 위한 세팅을 더 포함하며, 제1 경우에, 상기 프라이버시 인포서는 상기 화자 이름을 제공하기 전에 상기 화자 이름을 난독화하고, 상기 수신된 회답이 난독화된 화자 이름을 포함할 때 상기 수신된 회답을 역-난독화하고, 제2 경우에, 상기 프라이버시 인포서는 상기 화자 이름을 더 이상 난독화하지 않고, 상기 수신된 회답이 난독화된 화자 이름을 포함하는지를 더 이상 결정하지 않는, 디바이스.
  8. 프라이버시 보호 음성 상호 작용들을 수행하기 위한 방법으로서,
    - 화자로부터의 질의에 대한 음성 발화를 표현하는 오디오 신호를 캡처하는 단계(200);
    - 상기 캡처된 오디오 신호로부터 화자를 식별하는 단계(202);
    - 상기 식별된 화자에 대응하는 난독화된 화자 이름을 생성하고, 화자 이름들과 난독화된 화자 이름들 간의 대응관계의 리스트를 저장하는 단계(204);
    - 상기 캡처된 오디오 신호와 상기 난독화된 화자 이름을 외부 디바이스에 제공하는 단계;
    - 외부 디바이스로부터 상기 질의에 대한 회답을 획득하는 단계; 및
    - 상기 수신된 회답이 상기 리스트의 난독화된 화자 이름을 포함하는지를 결정하고, 이러한 경우, 상기 수신된 회답에서, 상기 난독화된 화자 이름을 상기 대응하는 이름으로 교체하는 단계(212)
    를 포함하는, 방법.
  9. 제8항에 있어서,
    상기 화자에게 상기 회답을 제공하는 단계를 더 포함하는, 방법.
  10. 제8항에 있어서,
    상기 수신된 회답(124)은 텍스트 형태 또는 오디오 형태인, 방법.
  11. 제8항에 있어서,
    상기 리스트의 화자 이름을 검출하고 상기 캡처된 오디오 신호(121)를 상기 대응하는 난독화된 화자 이름을 표현하는 오디오 신호로 교체함으로써, 상기 캡처된 오디오 신호(121)를 난독화하는 단계를 더 포함하는, 방법.
  12. 제8항에 있어서,
    익명 모드를 턴온하거나 또는 턴오프하기 위한 세팅을 더 포함하며, 제1 경우에, 상기 화자 이름을 제공하기 전에 상기 화자 이름을 난독화하고, 상기 수신된 회답이 난독화된 화자 이름을 포함할 때 상기 수신된 회답을 역-난독화하고, 제2 경우에, 상기 화자 이름을 더 이상 난독화하지 않고, 상기 수신된 회답이 난독화된 화자 이름을 포함하는지를 더 이상 결정하지 않는, 방법.
  13. 제8항에 있어서,
    상기 리스트의 난독화된 화자 이름들을 갱신하는 단계를 더 포함하는, 방법.
  14. 제8항 내지 제13항 중 적어도 하나의 항에 따른 방법의 단계들을 구현하기 위해 프로세서에 의해 실행가능한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램.
  15. 비-일시적 컴퓨터 판독가능 매체 상에 저장되고, 제8항 내지 제13항 중 적어도 하나의 항에 따른 방법의 단계들을 구현하기 위해 프로세서에 의해 실행가능한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품.
KR1020180154627A 2017-12-07 2018-12-04 프라이버시-보존 음성 상호작용을 위한 디바이스 및 방법 KR20190067697A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17306719.0A EP3496090A1 (en) 2017-12-07 2017-12-07 Device and method for privacy-preserving vocal interaction
EP17306719.0 2017-12-07

Publications (1)

Publication Number Publication Date
KR20190067697A true KR20190067697A (ko) 2019-06-17

Family

ID=60811978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180154627A KR20190067697A (ko) 2017-12-07 2018-12-04 프라이버시-보존 음성 상호작용을 위한 디바이스 및 방법

Country Status (8)

Country Link
US (1) US11069362B2 (ko)
EP (2) EP3496090A1 (ko)
JP (1) JP7166900B2 (ko)
KR (1) KR20190067697A (ko)
BR (1) BR102018075377B1 (ko)
CA (1) CA3026205A1 (ko)
MX (1) MX2018015218A (ko)
RU (1) RU2768506C2 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909978B2 (en) * 2017-06-28 2021-02-02 Amazon Technologies, Inc. Secure utterance storage
EP3496090A1 (en) * 2017-12-07 2019-06-12 Thomson Licensing Device and method for privacy-preserving vocal interaction
DE102018202018B3 (de) * 2018-02-09 2019-05-09 Siemens Schweiz Ag Verfahren und System zum Bereitstellen eines sprachbasierten Dienstes, insbesondere für die Ansteuerung von Raumbedienelementen in Gebäuden
US11769496B1 (en) * 2019-12-12 2023-09-26 Amazon Technologies, Inc. Predictive deletion of user input
EP4136637A4 (en) * 2020-04-15 2024-04-17 Pindrop Security, Inc. PASSIVE, CONTINUOUS MULTI-SPEAKER VOICE BIOMETRICS
US11217223B2 (en) * 2020-04-28 2022-01-04 International Business Machines Corporation Speaker identity and content de-identification
US11449674B2 (en) 2020-04-28 2022-09-20 International Business Machines Corporation Utility-preserving text de-identification with privacy guarantees
EP3905631B1 (en) * 2020-05-01 2024-05-29 Avago Technologies International Sales Pte. Limited Systems and methods for speaker anonymization
CN111597580B (zh) * 2020-05-13 2023-04-14 贵州大学 机器人听觉隐私信息监听处理方法
CN113066485B (zh) * 2021-03-25 2024-05-17 支付宝(杭州)信息技术有限公司 一种语音数据处理方法、装置及设备
US20220399009A1 (en) * 2021-06-09 2022-12-15 International Business Machines Corporation Protecting sensitive information in conversational exchanges
CN113782027B (zh) * 2021-09-01 2024-06-21 维沃移动通信（杭州）有限公司 音频处理方法及音频处理装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7050977B1 (en) * 1999-11-12 2006-05-23 Phoenix Solutions, Inc. Speech-enabled server for internet website and method
US7920682B2 (en) * 2001-08-21 2011-04-05 Byrne William J Dynamic interactive voice interface
US6839417B2 (en) * 2002-09-10 2005-01-04 Myriad Entertainment, Inc. Method and apparatus for improved conference call management
US8473451B1 (en) 2004-07-30 2013-06-25 At&T Intellectual Property I, L.P. Preserving privacy in natural language databases
CA2618623C (en) * 2005-08-09 2015-01-06 Mobilevoicecontrol, Inc. Control center for a voice controlled wireless communication device system
US9330668B2 (en) * 2005-12-20 2016-05-03 International Business Machines Corporation Sharing voice application processing via markup
RU2337020C1 (ru) * 2007-09-26 2008-10-27 Общество с ограниченной ответственностью "АЛЬТОНИКА" (ООО"АЛЬТОНИКА") Система голосового распознавания пользователя транспортного средства
JP5621993B2 (ja) 2009-10-28 2014-11-12 日本電気株式会社 音声認識システム、音声認識要求装置、音声認識方法、及び音声認識用プログラム
US9542956B1 (en) * 2012-01-09 2017-01-10 Interactive Voice, Inc. Systems and methods for responding to human spoken audio
US9131369B2 (en) 2013-01-24 2015-09-08 Nuance Communications, Inc. Protection of private information in a client/server automatic speech recognition system
US9437207B2 (en) 2013-03-12 2016-09-06 Pullstring, Inc. Feature extraction for anonymized speech recognition
US9514741B2 (en) 2013-03-13 2016-12-06 Nuance Communications, Inc. Data shredding for speech recognition acoustic model training under data retention restrictions
US9472206B2 (en) 2013-06-17 2016-10-18 Google Technology Holdings LLC Privacy mode for always-on voice-activated information assistant
US9881613B2 (en) 2015-06-29 2018-01-30 Google Llc Privacy-preserving training corpus selection
US10333904B2 (en) * 2015-08-08 2019-06-25 Peter J. Tormey Voice access and control
US20180053504A1 (en) * 2016-08-19 2018-02-22 Otis Elevator Company Intention recognition for triggering voice recognition system
EP3577646B1 (en) * 2017-05-16 2021-07-21 Google LLC Handling calls on a shared speech-enabled device
EP3496090A1 (en) * 2017-12-07 2019-06-12 Thomson Licensing Device and method for privacy-preserving vocal interaction

Also Published As

Publication number Publication date
JP2019109503A (ja) 2019-07-04
RU2018142910A3 (ko) 2021-08-17
CA3026205A1 (en) 2019-06-07
US20190180759A1 (en) 2019-06-13
CN110033774A (zh) 2019-07-19
BR102018075377B1 (pt) 2022-08-02
MX2018015218A (es) 2019-07-04
US11069362B2 (en) 2021-07-20
RU2768506C2 (ru) 2022-03-24
EP3496091B1 (en) 2020-07-01
EP3496090A1 (en) 2019-06-12
EP3496091A1 (en) 2019-06-12
BR102018075377A2 (pt) 2019-06-25
JP7166900B2 (ja) 2022-11-08
RU2018142910A (ru) 2020-06-05

Similar Documents

Publication Publication Date Title
KR20190067697A (ko) 프라이버시-보존 음성 상호작용을 위한 디바이스 및 방법
US11527243B1 (en) Signal processing based on audio context
CN107112014B (zh) 在基于语音的系统中的应用焦点
KR101883301B1 (ko) 인공 지능 자동 화자 식별 방법을 이용하는 개인 맞춤형 음성 인식 서비스 제공 방법 및 이에 사용되는 서비스 제공 서버
US10991380B2 (en) Generating visual closed caption for sign language
CN103974109B (zh) 语音识别设备和用于提供响应信息的方法
US20210142796A1 (en) Information processing apparatus, information processing method, and program
TW201716929A (zh) 語音控制方法及語音控制系統
JP2017535809A (ja) サウンド検出モデルを生成するためのサウンドサンプル検証
JP6783339B2 (ja) 音声を処理する方法及び装置
US20150149169A1 (en) Method and apparatus for providing mobile multimodal speech hearing aid
CN102117614A (zh) 个性化文本语音合成和个性化语音特征提取
JP2022546185A (ja) 音声コマンドの識別
WO2019225201A1 (ja) 情報処理装置及び情報処理方法、並びに情報処理システム
WO2019155716A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US11783836B2 (en) Personal electronic captioning based on a participant user's difficulty in understanding a speaker
EP3113175A1 (en) Method for converting text to individual speech, and apparatus for converting text to individual speech
KR20200016547A (ko) 등록된 사용자에 의한 인증을 통해 새로운 사용자를 등록하기 위한 전자 장치 및 방법
KR102000161B1 (ko) 사용자 의도 맞춤형 사물기기간 협업 장치, 그를 포함한 시스템 및 그 방법
US11216242B2 (en) Audio output system, audio output method, and computer program product
CN110033774B (zh) 用于隐私保护型语音交互的设备和方法
JPWO2014203370A1 (ja) 音声合成辞書作成装置及び音声合成辞書作成方法
US20210193132A1 (en) Communication apparatuses
CN108831475B (zh) 一种文本消息提取方法及系统
WO2019017033A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal