KR20230131015A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20230131015A
KR20230131015A KR1020220028350A KR20220028350A KR20230131015A KR 20230131015 A KR20230131015 A KR 20230131015A KR 1020220028350 A KR1020220028350 A KR 1020220028350A KR 20220028350 A KR20220028350 A KR 20220028350A KR 20230131015 A KR20230131015 A KR 20230131015A
Authority
KR
South Korea
Prior art keywords
candidate
suitability
utterance
electronic device
identifying
Prior art date
Application number
KR1020220028350A
Other languages
English (en)
Inventor
이경민
김상윤
김현식
아환 쿠두물라
한영호
한창우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020220028350A priority Critical patent/KR20230131015A/ko
Priority to PCT/KR2022/020489 priority patent/WO2023167399A1/ko
Priority to US18/119,007 priority patent/US20230282208A1/en
Publication of KR20230131015A publication Critical patent/KR20230131015A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Machine Translation (AREA)

Abstract

전자 장치 및 그 제어 방법이 개시된다. 전자 장치의 제어 방법은 디스플레이된 컨텐츠와 관련된 전용 언어 모델을 식별하는 단계, 사용자의 발화를 입력받는 단계, 입력된 발화를 인식하여 인식된 발화의 후보 텍스트를 식별하는 단계, 인식된 발화와 식별된 후보 텍스트 간의 유사도를 식별하는 단계, 식별된 전용 언어 모델 및 기 설정된 임계값에 기초하여 후보 텍스트 중 식별된 유사도가 높은 기 설정된 개수의 후보 텍스트의 적합도를 식별하는 단계 및 식별된 적합도가 기 설정된 적합 범위 외인 경우 입력된 사용자의 발화를 무시하고, 식별된 적합도가 기 설정된 적합 범위 내에 포함되는 경우 후보 텍스트 중 적합도가 가장 높은 하나의 후보 텍스트를 입력된 사용자의 발화로 식별하여 대응되는 동작을 수행하는 단계를 포함한다.

Description

전자 장치 및 그 제어 방법{ELECTRONIN APPARATUS AND CONTROLLING METHDO THEREOF}
본 개시는 전자 장치 및 그 제어 방법에 관한 것으로, 구체적으로, 호출어 없이 사용자의 발화 중 전자 장치에 대한 명령 발화를 인식하여 동작하는 전자 장치 및 그 제어 방법에 관한 것이다.
최근 전자 기술의 발전에 따라 다양한 기능을 포함하는 전자 장치가 개발되고 있다. 다양한 기능 중 하나는 음성 인식 기능이다. 일반적으로 전자 장치는 특정한 호출어를 인식하는 경우 음성 인식 모드로 동작한다. 전자 장치는 호출어를 입력받고 음성 인식 모드로 동작함으로써 전자 장치의 기능과 관련없는 사용자의 발화에 의한 오동작을 방지할 수 있다.
그러나, 사용자는 전자 장치의 음성 인식 기능을 사용하기 위해서 매번 호출어를 발화해야 하는 불편함이 존재한다. 이러한 불편함을 해소하기 위해 호출어 없이 사용자의 발화를 인식하여 전자 장치가 동작하는 기술이 개발되었다. 그러나, 전자 장치가 호출어 없이 사용자의 발화를 인식하는 경우, 전자 장치의 기능과 관련없는 사용자의 발화에 대해서도 동작을 수행하는 오동작이 많이 발생하고 있다.
따라서, 호출어 없는 사용자의 발화 중에서 전자 장치의 기능에 대한 발화를 구별하여 오동작을 줄이는 기술에 대한 필요성이 존재한다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 호출어 없는 사용자의 발화 중에서 전자 장치의 동작과 관련된 발화를 식별하여 동작함으로써 오동작을 줄이는 전자 장치 및 그 제어 방법을 제공하기 위한 것이다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은 디스플레이된 컨텐츠와 관련된 전용 언어 모델을 식별하는 단계, 사용자의 발화를 입력받는 단계, 상기 입력된 발화를 인식하여 상기 인식된 발화의 후보 텍스트를 식별하는 단계, 상기 인식된 발화와 상기 식별된 후보 텍스트 간의 유사도를 식별하는 단계, 상기 식별된 전용 언어 모델 및 기 설정된 임계값에 기초하여 상기 후보 텍스트 중 식별된 유사도가 높은 기 설정된 개수의 후보 텍스트의 적합도를 식별하는 단계 및 상기 식별된 적합도가 기 설정된 적합 범위 외인 경우 상기 입력된 사용자의 발화를 무시하고, 상기 식별된 적합도가 기 설정된 적합 범위 내에 포함되는 경우 상기 후보 텍스트 중 적합도가 가장 높은 하나의 후보 텍스트를 상기 입력된 사용자의 발화로 식별하여 대응되는 동작을 수행하는 단계를 포함한다.
본 개시의 일 실시 예에 따른 전자 장치는 컨텐츠를 표시하는 디스플레이, 사용자의 발화를 입력받는 마이크 및 프로세서를 포함하고, 상기 프로세서는 디스플레이된 컨텐츠와 관련된 전용 언어 모델을 식별하고, 상기 입력된 발화를 인식하여 상기 인식된 발화의 후보 텍스트를 식별하며, 상기 인식된 발화와 상기 식별된 후보 텍스트 간의 유사도를 식별하고, 상기 식별된 전용 언어 모델 및 기 설정된 임계값에 기초하여 상기 후보 텍스트 중 식별된 유사도가 높은 기 설정된 개수의 후보 텍스트의 적합도를 식별하며, 상기 식별된 적합도가 기 설정된 적합 범위 외인 경우 상기 입력된 사용자의 발화를 무시하고, 상기 식별된 적합도가 기 설정된 적합 범위 내에 포함되는 경우 상기 후보 텍스트 중 적합도가 가장 높은 하나의 후보 텍스트를 상기 입력된 사용자의 발화로 식별하여 대응되는 동작을 수행한다.
본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 수행하는 프로그램이 기록된 비일시적 컴퓨터 판독 가능 저장 매체는 디스플레이된 컨텐츠와 관련된 전용 언어 모델을 식별하는 단계, 사용자의 발화를 입력받는 단계, 상기 입력된 발화를 인식하고 상기 인식된 발화의 후보 텍스트를 식별하는 단계, 상기 인식된 발화와 상기 식별된 후보 텍스트 간의 유사도를 식별하는 단계, 상기 식별된 전용 언어 모델 및 기 설정된 임계값에 기초하여 상기 후보 텍스트 중 식별된 유사도가 높은 기 설정된 개수의 후보 텍스트의 적합도를 식별하는 단계 및 상기 식별된 적합도가 기 설정된 적합 범위 외인 경우 상기 입력된 사용자의 발화를 무시하고, 상기 식별된 적합도가 기 설정된 적합 범위 내에 포함되는 경우 상기 후보 텍스트 중 적합도가 가장 높은 하나의 후보 텍스트를 상기 입력된 사용자의 발화로 식별하여 대응되는 동작을 수행하는 단계를 포함한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하는 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구체적인 구성을 설명하는 블록도이다.
도 3 및 도 4는 본 개시의 일 실시 예에 따른 사용자의 발화에 따른 동작 수행 여부를 판단하는 과정을 설명하는 도면이다.
도 5a는 종래의 사용자의 발화에 따라 오동작하는 전자 장치의 예를 설명하는 도면이다.
도 5b는 본 개시의 일 실시 예에 따른 사용자의 발화에 따라 정상적은 동작을 수행하는 전자 장치를 설명하는 도면이다.
도 6은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하는 흐름도이다.
이하에서는 첨부된 도면을 참조하여 다양한 실시 예를 보다 상세하게 설명한다. 본 명세서에 기재된 실시 예는 다양하게 변형될 수 있다. 특정한 실시 예가 도면에서 묘사되고 상세한 설명에서 자세하게 설명될 수 있다. 그러나, 첨부된 도면에 개시된 특정한 실시 예는 다양한 실시 예를 쉽게 이해하도록 하기 위한 것일 뿐이다. 따라서, 첨부된 도면에 개시된 특정 실시 예에 의해 기술적 사상이 제한되는 것은 아니며, 개시의 사상 및 기술 범위에 포함되는 모든 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 상술한 용어에 의해 한정되지는 않는다. 상술한 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
한편, 본 명세서에서 사용되는 구성요소에 대한 "모듈" 또는 "부"는 적어도 하나의 기능 또는 동작을 수행한다. 그리고, "모듈" 또는 "부"는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 기능 또는 동작을 수행할 수 있다. 또한, 특정 하드웨어에서 수행되어야 하거나 적어도 하나의 프로세서에서 수행되는 "모듈" 또는 "부"를 제외한 복수의 "모듈들" 또는 복수의 "부들"은 적어도 하나의 모듈로 통합될 수도 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉, 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행단계로 설명된 과정보다 앞서서 수행되더라도 개시의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다. 그리고 본 명세서에서 "A 또는 B"라고 기재한 것은 A와 B 중 어느 하나를 선택적으로 가리키는 것뿐만 아니라 A와 B 모두를 포함하는 것도 의미하는 것으로 정의된다. 또한, 본 명세서에서 "포함"이라는 용어는 포함하는 것으로 나열된 요소 이외에 추가로 다른 구성요소를 더 포함하는 것도 포괄하는 의미를 가진다.
본 명세서에서는 본 개시의 설명에 필요한 필수적인 구성요소만을 설명하며, 본 개시의 본질과 관계가 없는 구성요소는 언급하지 아니한다. 그리고 언급되는 구성요소만을 포함하는 배타적인 의미로 해석되어서는 아니되며 다른 구성요소도 포함할 수 있는 비배타적인 의미로 해석되어야 한다.
그 밖에도, 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다. 한편, 각 실시 예는 독립적으로 구현되거나 동작될 수도 있지만, 각 실시 예는 조합되어 구현되거나 동작될 수도 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하는 블록도이다.
도 1을 참조하면, 전자 장치(100)는 마이크(110), 프로세서(120) 및 디스플레이(130)를 포함할 수 있다.
마이크(110)는 사용자의 발화를 입력받을 수 있다. 전자 장치(100)에 한 개의 마이크(110)를 포함할 수 있고, 복수의 마이크(110)를 포함할 수 있다. 예를 들어, 마이크(110)는 일반 마이크, 서라운드 마이크, 지향성 마이크 등을 포함할 수 있다.
프로세서(120)는 전자 장치(100)의 각 구성을 제어할 수 있다. 예를 들어, 프로세서(120)는 사용자의 발화를 입력받도록 마이크(110)를 제어할 수 있고, 컨텐츠를 출력하도록 디스플레이(130)를 제어할 수 있다. 프로세서(120)는 디스플레이된 컨텐츠와 관련된 전용 언어 모델을 식별할 수 있다. 예를 들어, 프로세서(120)는 디스플레이된 컨텐츠의 종류, 디스플레이된 메뉴, 디스플레이된 입력 명령의 종류 등에 기초하여 전용 언어 모델을 식별할 수 있다. 일 실시 예로서, 디스플레이된 컨텐츠가 광고 컨텐츠인 경우, 프로세서(120)는 광고의 스킵, 광고 재생 중단 등을 인식할 수 있는 광고 컨텐츠를 위한 전용 언어 모델을 식별할 수 있다. 또는, 디스플레이된 컨텐츠가 컨텐츠의 리스트를 포함하는 경우, 프로세서(120)는 컨텐츠 이름, 선택 명령, 컨텐츠의 카테고리 등을 인식할 수 있는 컨텐츠의 메뉴를 위한 전용 언어 모델을 식별할 수 있다. 또는, 디스플레이된 컨텐츠에 재생, 일시 정지, 포워딩, 리워딩 등의 메뉴를 포함하는 경우, 프로세서(120)는 재생, 일시 정지, 포워딩, 리워딩 등을 인식할 수 있는 입력 명령을 위한 전용 언어 모델을 식별할 수 있다.
전자 장치(100)는 컨텐츠를 재생하는 중에 사용자로부터 발화를 입력받을 수 있다. 입력되는 사용자의 발화는 하나 이상의 단어, 하나 이상의 어절 또는 문장일 수 있다. 프로세서(120)는 입력된 발화를 인식하여 인식된 발화의 후보 텍스트를 식별할 수 있다. 예를 들어, 프로세서(120)는 입력된 발화 음성을 텍스트로 변환하고, 변환된 텍스트의 후보 텍스트를 식별할 수 있다. 프로세서(120)는 입력된 발화에 포함된 단어, 어절, 어근 등에 기초하여 후보 단어, 후보 어절, 후보 어근을 식별할 수 있다. 그리고, 프로세서(120)는 식별된 후보 단어, 후보 어절 또는 후보 어근을 조합하여 후보 텍스트를 식별할 수 있다.
프로세서(120)는 인식된 발화와 식별된 후보 텍스트 간의 유사도를 식별할 수 있다. 예를 들어, 프로세서(120)는 범용 텍스트 데이터베이스에 기초하여 유사도를 식별하고, 유사도가 높은 기 설정된 개수의 후보 텍스트를 식별할 수 있다. 그리고, 프로세서(120)는 식별된 전용 언어 모델 및 기 설정된 임계값에 기초하여 후보 텍스트 중 식별된 유사도가 높은 기 설정된 개수의 후보 텍스트의 적합도를 식별할 수 있다. 일 실시 예로서, 프로세서(120)는 식별된 전용 언어 모델에 기초하여 기 설정된 개수의 후보 텍스트 각각에 대해 후보 텍스트에 포함된 단어가 나타날 엔트로피의 단어별 기하 평균을 산출할 수 있다. 프로세서(120)는 기 설정된 임계값과 기 설정된 개수의 후보 텍스트 각각에 대해 산출된 단어별 기하 평균에 기초하여 기 설정된 개수의 후보 텍스트가 적합 범위에 포함되는지 판단하여 적합도를 식별할 수 있다. 그리고, 프로세서(120)는 산출된 단어별 기하 평균이 가장 낮은 하나의 후보 텍스트를 식별할 수 있다.
일 실시 예로서, 식별된 후보 텍스트에 대한 유사도 및 적합도는 학습된 인공지능 모델에 기초하여 식별될 수 있다. 프로세서(120)는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서(120)는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서(120)가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다. 프로세서(120)가 유사도 및 적합도를 식별하는 구체적인 과정은 후술한다.
프로세서(120)는 식별된 적합도가 기 설정된 적합 범위 외인 경우, 입력된 사용자의 발화를 무시할 수 있다. 또는, 프로세서(120)는 식별된 적합도가 기 설정된 적합 범위 내에 포함되는 경우, 후보 텍스트 중 적합도가 가장 높은 하나의 후보 텍스트를 입력된 사용자의 발화로 식별하고 대응되는 동작을 수행할 수 있다. 또한, 프로세서(120)는 무시된 사용자의 발화에 기초하여 별도의 언어 모델을 생성할 수 있다. 프로세서(120)는 무시된 사용자의 발화를 포함하는 필터링 언어 모델을 생성할 수 있다. 예를 들어, 상술한 전용 언어 모델은 포지티브 언어 모델(positive Language Model(LM))일 수 있고, 필터링 언어 모델은 네거티브 언어 모델(negative Language Model(LM))일 수 있다. 프로세서(120)는 인식된 발화가 필터링 언어 모델에 포함된 발화에 포함되는 경우, 인식된 발화를 무시할 수 있다. 또한, 프로세서(120)는 계속적으로 무시된 사용자의 발화에 기초하여 필터링 언어 모델을 업데이트할 수 있다. 프로세서(120)가 포지티브 언어 모델 및 네거티브 언어 모델을 이용하여 입력된 발화를 처리하는 구체적인 과정은 후술한다.
디스플레이(130)는 프로세서(120)에서 처리된 데이터를 영상으로 출력할 수 있다. 디스플레이(130)는 컨텐츠를 표시할 수 있고, 인식된 사용자의 명령에 대응되는 화면을 출력할 수 있다. 예를 들어, 디스플레이(130)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 플렉서블 디스플레이, 터치 스크린 등으로 구현될 수 있다. 디스플레이(130)가 터치 스크린으로 구현되는 경우, 전자 장치(100)는 터치 스크린을 통해 제어 명령을 입력받을 수도 있다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구체적인 구성을 설명하는 블록도이다.
도 2를 참조하면, 전자 장치(100)는 마이크(110), 프로세서(120), 디스플레이(130), 입력 인터페이스(140), 통신 인터페이스(150), 카메라(160), 메모리(170), 스피커(180) 및 센서(190)를 포함할 수 있다. 마이크(110) 및 디스플레이(130)는 도 1에서 설명한 바와 동일하므로 구체적인 설명을 생략한다.
입력 인터페이스(140)는 사용자로부터 제어 명령을 입력받을 수 있다. 예를 들어, 입력 인터페이스(140)는 키 패드, 터치 패드, 터치 스크린 등을 포함할 수 있다. 또는, 입력 인터페이스(140)는 입출력 포트를 포함하여 데이터를 입력받을 수 있다. 예를 들면, 입력 인터페이스(140)는 사운드와 이미지를 포함하는 동영상을 입력받을 수 있다. 입력 인터페이스(140)가 입출력 포트를 포함하는 경우, 입출력 포트는 HDMI(High-Definition Multimedia Interface), DP(DisplayPort), RGB, DVI(Digital Visual Interface), USB(Universal Serial Bus), 썬더볼트, LAN, AUX 등의 포트를 포함할 수 있다. 입력 인터페이스(140)는 입력 장치, 입력부, 입력 모듈 등으로 불릴 수도 있다. 입력 인터페이스(140)가 입출력 기능을 수행하는 경우, 입출력 장치, 입출력부, 입출력 모듈 등으로 불릴 수도 있다.
통신 인터페이스(150)는 외부 장치와 통신을 수행할 수 있다. 예를 들어, 통신 인터페이스(150)는 Wi-Fi, Wi-Fi 다이렉트, 블루투스, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project) 및 LTE(Long Term Evoloution)의 통신 방식 중 적어도 하나 이상의 통신 방식으로 외부 장치와 통신을 수행할 수 있다. 통신 인터페이스(150)는 외부 장치로부터 컨텐츠 및 컨텐츠와 관련된 메뉴, 입력 명령 등에 대한 데이터 등을 수신할 수 있다. 상술한 통신 인터페이스(150)는 통신 장치, 통신부, 통신 모듈, 송수신부 등으로 지칭될 수 있다.
카메라(160)는 전자 장치(100)의 주변 환경을 촬영할 수 있다. 또는, 카메라(160)는 사용자의 표정, 동작 등을 촬영할 수 있다. 프로세서(120)는 카메라(160)에서 촬영된 이미지에 기초하여 주변 환경에 대한 정보를 획득하거나 사용자의 표정, 동작 등에 대응되는 동작을 수행할 수 있다. 일 실시 예로서, 전자 장치(100)에는 서로 다른 기능을 수행하는 다양한 종류의 카메라가 배치될 수 있다. 또는, 동일한 종류의 카메라(110)가 전자 장치(100) 한 개 이상 배치될 수 있다. 예를 들어, 카메라(160)는 CCD 센서, CMOS 센서를 포함할 수 있다. 또한, 카메라(160)는 RGB 카메라, 뎁스 카메라, 광각 카메라, 망원 카메라 등을 포함할 수 있다.
메모리(170)는 전자 장치(100)의 기능을 수행하는 데이터, 알고리즘 등을 저장하고, 전자 장치(100)에서 구동되는 프로그램, 명령어 등을 저장할 수 있다. 예를 들어, 메모리(170)는 음성 인식을 위한 인공지능 알고리즘 등을 저장할 수 있다. 프로세서(120)는 음성 인식을 위한 인공지능 알고리즘을 이용하여 입력된 사용자의 발화 음성을 인식하고 제어 명령에 대응되는 발화 음성인지 제어 명령과 관련없는 발화 음성인지 판단할 수 있다. 메모리(170)에 저장된 알고리즘은 프로세서(120)의 제어에 의해 프로세서(120)에 로딩되어 오브젝트 식별 과정 또는 사운드 처리 과정을 수행할 수 있다. 예를 들어, 메모리(170)는 롬, 램, HDD, SSD, 메모리 카드 등의 타입으로 구현될 수 있다.
스피커(180)는 사운드 신호를 출력할 수 있다. 예를 들어, 스피커(180)는 사용자의 입력 명령에 대한 정보, 전자 장치(100)의 상태 관련 정보 또는 동작 관련 정보 등을 음성이나 알림음으로 출력할 수 있다.
센서(190)는 전자 장치(100) 주변의 물체를 감지할 수 있다. 프로세서(120)는 감지된 신호에 기초하여 제어 명령을 인식하고, 인식된 제어 명령에 대응되는 제어 동작을 수행할 수 있다. 또한, 센서(190)는 전자 장치(100)의 주변 환경 정보를 감지할 수 있다. 프로세서(120)는 센서(190)에서 감지된 주변 환경 정보에 기초하여 대응되는 제어 동작을 수행할 수 있다. 예를 들어, 센서(190)는 가속도 센서, 중력 센서, 자이로 센서, 지자기 센서, 방향 센서, 모션 인식 센서, 근접 센서, 전압계, 전류계, 기압계, 습도계, 온도계, 조도 센서, 열 감지 센서, 터치 센서, 적외선 센서, 초음파 센서 등을 포함할 수 있다.
지금까지, 전자 장치(100)의 구성을 설명하였다. 아래에서는 입력된 사용자의 발화를 처리하고 판단하는 과정을 설명한다.
도 3 및 도 4는 본 개시의 일 실시 예에 따른 사용자의 발화에 따른 동작 수행 여부를 판단하는 과정을 설명하는 도면이다. 도 3 및 도 4를 함께 참조하여 설명한다.
도 3 및 도 4를 참조하면, 전자 장치는 자동 음성 인식(Automatic Speech Recognition, ASR) 기능을 통해 입력된 사용자의 발화 음성을 인식할 수 있다(S310, S410). 예를 들어, 도 4에 도시된 바와 같이, 사용자가 “스퀴드 게임 보여줘”라고 발화한 경우, 전자 장치는 발화 음성을 인식하여 인식된 발화의 후보 텍스트를 식별할 수 있다. 일 실시 예로서, 전자 장치는 입력된 발화에 포함된 단어, 어절, 어근 등에 기초하여 후보 단어, 후보 어절, 후보 어근 등을 식별할 수 있다. 그리고, 전자 장치는 식별된 후보 단어, 후보 어절, 후보 어근 등을 조합하여 복수 개의 후보 텍스트를 생성할 수 있다. 예를 들어, 상술한 사용자의 발화 음성의 후보 텍스트는 “스피드 게임 보여줘”, “스피드 겜 보여줘”, “스퀴드 게임 보여줘” 등의 텍스트를 포함할 수 있다. 또는, 사용자가 “재미있는게 뭐가 있지”라고 발화한 경우, 전자 장치는 발화 음성을 인식하고, “재미있는게 뭐가 있지”, “재밌는게 뭐가 있지”, “재민는게 뭐가 이찌” 등의 텍스트를 포함할 수 있다.
전자 장치는 범용 텍스트 데이터베이스(또는, 범용 언어 모델)에 기초하여 유사도(발화 음성과 일치 확률)를 식별하고, 유사도가 높은 기 설정된 개수의 후보 텍스트를 식별할 수 있다. 범용 텍스트 데이터베이스는 특정 목적을 위한 데이터베이스(또는, 모델)가 아니라 일반적인 모든 언어를 판단할 수 있는 데이터베이스를 의미한다.
일 실시 예로서, 전자 장치는 발화 음성을 입력받고, 입력된 발화 음성을 디코딩할 수 있다. 전자 장치는 음성 신호 x의 출현 확률 p(x)가 동일하다고 가정하고, 베이즈 정리(bayesian theorem)에 기초하여 발화 음성의 확률(유사도)를 식별할 수 있다. 전자 장치는 발화 음성의 확률을 식별할 때 범용 텍스트 데이터베이스(범용 언어 모델)를 이용할 수 있다. 즉, 전자 장치는 입력된 발화 음성으로부터 인식되는 가능성이 높은(확률이 높은) 단어(또는, 음절, 어절 등) 등을 식별하고, 범용 텍스트 데이터베이스에 포함된 단어 중 식별된 단어와 일치 확률이 높은 단어를 발화 음성의 단어로 식별할 수 있다. 또는, 전자 장치는 학습된 인공 지능 신경망 모델 및 범용 텍스트 데이터베이스를 이용하여 발화 음성의 확률을 식별할 수도 있다. 즉, 전자 장치는 학습된 인공 지능 신경망에 기초하여 발화 음성으로부터 가능성이 높은 단어 등을 식별하고, 범용 텍스트 데이터베이스에 포함된 단어 중 식별된 단어와 일치 확률이 높은 단어를 발화 음성의 단어로 식별할 수 있다, 전자 장치는 상술한 과정을 통해 유사도가 높은 후보 텍스트를 식별할 수 있다.
일 실시 예로서, 전자 장치는 발화 음성의 유사도를 식별할 때, n-best 방식을 이용할 수 있다. 즉, 전자 장치는 유사도가 높은 n개의 후보 텍스트를 판단할 수 있다. 각각의 후보 텍스트는 발화 음성과 일치 확률이 다르므로 확률이 높은 순서로 후보 텍스트를 식별할 수 있다. 유사도는 범용 텍스트 데이터베이스를 기초로 판단되었기 때문에 유사도가 가장 높다고 식별된 후보 텍스트와 인식된 발화 음성과는 차이가 있을 수 있다.
전자 장치는 n 개의 후보 텍스트를 식별한 후 후처리 과정으로 리스코어링(rescoring) 과정을 수행할 수 있다(S320). 전자 장치는 n 개의 후보 텍스트에 대해서 리스코어링 과정을 수행하여 후보 텍스트의 유사도를 다시 계산할 수 있다. 전자 장치는 n 번의 점수 만이 계산되므로 긴 지연 시간없이 후처리 과정을 수행할 수 있다.
전자 장치는 유사도가 높은 n 개의 후보 텍스트 중 유사도가 높은 기 설정된 m 개의 후보 텍스트에 대하여 식별된 전용 언어 모델 및 기 설정된 임계 값에 기초하여 적합도를 평가(발화 평가)할 수 있다(S330, S420). 일 실시 예로서, 적합도 평가는 PPL(Perplexity) 방식으로 평가될 수 있다. PPL은 각 단어가 등장할 엔트로피의 단어별 기하 평균을 의미하며, 낮을수록 더 적합하다는 것을 의미한다. 전자 장치는 m 개의 후보 텍스트, 즉, [w1, w2,.., wm] 에 대해 Entropy H를 산출 한다. 이때, 전자 장치는 모집단을 아는 것은 불가능하므로 샘플링된 텍스트 내에서 아래와 같이 산출한 근사 값 을 사용할 수 있다.
적합도는 와 같이 산출될 수 있다. PPL은 양의 실수 값으로 나타나며, 작은 값일수록 전용 언어 모델에 적합하다는 것을 의미한다. 그리고, 기 설정된 임계 값에 기초하여 전자 장치가 처리해야 할 발화인지 여부를 판단할 수 있다.
일 실시 예로서, 상술한 “스퀴드 게임 보여줘”라는 사용자의 발화와 관련하여, 전자 장치는 PPL(“스피드 게임 보여줘”) = 1.5, PPL(“스피드 겜 보여줘”) = 2, PPL(“스퀴드 게임 보여줘”) = 1 과 같이 판단할 수 있다. 그리고 설정된 임계 값은 10일 수 있다. 본 개시의 설정 임계 값은 일 실시 예이며, 임계 값은 적절한 값으로 설정될 수 있다.
전자 장치는 설정된 임계 값에 기초하여 판단된 적합도가 적합 범위 내인지 판단할 수 있다(S430). PPL의 총 합은 4.5로서 임계 값 10보다 낮으므로 전자 장치는 식별된 적합도가 설정된 적합 범위 내에 포함되는 것으로 판단할 수 있다. 그리고, 전자 장치는 PPL이 가장 낮은 “스퀴드 게임 보여줘”의 후보 텍스트를 입력된 사용자의 발화로 식별하여 대응되는 동작을 수행할 수 있다.
또는, “재미있는게 뭐가 있지”라는 사용자의 발화와 관련하여, 전자 장치는 PPL(“재미있는게 뭐가 있지”) = 10, PPL(“재밌는게 뭐가 있지”) = 10, PPL(“재민는게 뭐가 이찌”) = 10 과 같이 판단할 수 있다. PPL의 총 합은 30으로서 임계 값 10보다 높으므로 전자 장치는 식별된 적합도가 설정된 적합 범위 외라고 판단할 수 있다. 따라서, 전자 장치는 입력된 사용자의 발화를 무시하고 인식을 종료할 수 있다.
상술한 적합도 판단 방법은 일 실시 예이며, 다양한 방식으로 후보 텍스트의 적합도를 평가할 수 있다. 예를 들어, 전자 장치는 언어 모델에 포함된 텍스트와 일치 확률에 기초하여 적합도를 평가할 수도 있다. 상술한 예에서는 평가된 적합도의 총 합을 기준으로 임계 값과 비교하였으나, 평가된 적합도의 평균을 기준으로 임계 값과 비교할 수 있다. 또는, 상술한 예에서, 평가된 적합도가 임계 값보다 작은 경우, 전자 장치가 적합 범위로 판단하였으나, 적합도 평가 방식에 따라 평가된 적합도가 임계 값보다 큰 경우, 적합 범위로 판단될 수도 있다.
상술한 실시 예는 전용 언어 모델을 이용하여 후보 텍스트를 판단하는 과정을 설명하였다. 전용 언어 모델은 포지티브 언어 모델일 수 있다. 즉, 전자 장치는 포지티브 언어 모델만을 이용하여 후보 텍스트의 적합도를 판단할 수 있다.
또는, 전자 장치는 전용 언어 모델 및 필터링 언어 모델을 이용하여 후보 텍스트의 적합도를 평가할 수 있다. 전용 언어 모델은 포지티브 언어 모델이고, 필터링 언어 모델은 네거티브 언어 모델일 수 있다. 예를 들어, 전자 장치는 전용 언어 모델에 기초하여 후보 텍스트의 적합도를 평가할 수 있다. 전자 장치는 언어 모델에 기초하여 일치 확률에 따라 평가 값을 더하거나 빼는 방식으로 적합도를 평가할 수 있다.
전자 장치는 상술한 과정과 동시에 또는 순차적으로 필터링 언어 모델에 기초하여 부적합도를 평가할 수 있다. 전자 장치는 평가 대상 후보 텍스트에 대해 전용 언어 모델에 포함된 텍스트와 일치 여부에 따라 적합 평가 값을 산출하고, 필터링 언어 모델에 포함된 텍스트와 일치 여부에 따라 부적합 평가 값을 산출할 수 있다. 전자 장치는 산출된 적합 평가 값 및 부적합 평가 값에 기초하여 후보 텍스트의 적합도를 평가할 수 있다. 일 실시 예로서, 적합도가 포지티브 방식으로 평가되는 경우, 전자 장치는 적합 평가 값을 더하고 부적합 평가 값을 빼는 방식으로 후보 텍스트의 적합도를 평가할 수 있다. 또는, 적합도가 네거티브 방식으로 평가되는 경우, 전자 장치는 적합 평가 값을 빼고 부적합 평가 값을 더하는 방식으로 후보 텍스트의 적합도를 평가할 수 있다.
도 5a는 종래의 사용자의 발화에 따라 오동작하는 전자 장치의 예를 설명하는 도면이고, 도 5b는 본 개시의 일 실시 예에 따른 사용자의 발화에 따라 정상적은 동작을 수행하는 전자 장치를 설명하는 도면이다. 도 5a 및 도 5b를 함께 참조하여 설명한다.
도 5a 및 도 5b를 참조하면, 전자 장치는 광고 컨텐츠를 표시하고 있다. 전자 장치는 표시된 광고 컨텐츠와 관련된 전용 언어 모델(LM1)을 선택할 수 있다. 예를 들어, LM1은 광고 건너뛰기, 스킵, 넘어가기 등의 발화를 인식할 수 있다. 사용자는 제어 명령과 관련없는 “배고파”라는 발화를 할 수 있다.
도 5a에 도시된 종래 기술의 경우, 음성 인식 모델에 기초하여 사용자가 발화한 “배고파”라는 발화 음성과 가장 유사한 텍스트를 인식하였다. 일 실시 예로서, 전자 장치는 “배고파”라는 사용자의 발화 음성이 “광고 스킵”이라는 텍스트와 가장 유사하다고 판단할 수 있다. 따라서, 전자 장치는 사용자의 발화 음성에 대응하여 광고를 스킵하는 오동작을 수행하였다.
그러나, 도 5b에 도시된 본 개시의 경우, 상술한 바와 같이, 전자 장치는 범용 텍스트 데이터베이스(모델)에 기초하여 후보 텍스트 및 유사도를 식별할 수 있다. 그리고, 식별된 유사도에 기초하여 m 개의 후보 텍스트 및 전용 언어 모델에 기초하여 적합도를 식별할 수 있다. 전자 장치는 “배고파”라는 사용자의 발화 음성의 적합도가 낮다고 판단하여 입력된 사용자의 발화 음성을 무시하고 인식을 종료할 수 있다. 따라서, 전자 장치는 재생 중인 광고를 계속 재생할 수 있다. 즉, 본 개시의 전자 장치는 전용 언어 모델을 이용하여 재인식 과정을 수행하므로 사용자의 발화 음성의 인식률의 정확도를 높일 수 있고, 호출어를 입력하지 않는 음성 인식 환경에서 오동작을 줄일 수 있는 효과가 있다.
한편, 전자 장치는 무시된 사용자의 발화를 포함하는 필터링 언어 모델을 생성할 수 있다. 전자 장치는 입력된 사용자의 발화가 필터링 언어 모델에 포함된 발화라고 판단하는 경우, 입력된 사용자의 발화를 무시할 수 있다. 또한, 전자 장치는 무시된 사용자의 발화가 많아질수록 필터링 언어 모델을 업데이트할 수 있다. 따라서, 본 개시의 전자 장치는 동작과 관련없는 사용자의 발화를 더욱 정확히 판단할 수 있다.
지금까지 사용자의 발화를 정확하게 인식하여 오동작을 줄이는 다양한 실시 예를 설명하였다. 아래에서는 전자 장치의 제어 방법을 설명한다.
도 6은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하는 흐름도이다.
도 6을 참조하면, 전자 장치는 디스플레이된 컨텐츠와 관련된 전용 언어 모델을 식별한다(S610). 예를 들어, 전자 장치는 디스플레이된 컨텐츠의 종류, 디스플레이된 메뉴, 디스플레이된 입력 명령의 종류 등에 기초하여 전용 언어 모델을 식별할 수 있다.
전자 장치가 사용자의 발화를 입력받으면(S620), 전자 장치는 입력된 발화를 인식하여 인식된 발화의 후보 텍스트를 식별한다(S630). 예를 들어, 전자 장치는 입력된 발화에 포함된 단어, 어절, 어근 등에 기초하여 후보 단어, 후보 어절, 후보 어근 등을 식별할 수 있다. 그리고, 전자 장치는 식별된 후보 단어, 후보 어절 또는 후보 어근을 조합하여 후보 텍스트를 식별할 수 있다.
전자 장치는 인식된 발화와 식별된 후보 텍스트 간의 유사도를 식별한다(S640). 예를 들어, 전자 장치는 범용 텍스트 데이터베이스(범용 언어 모델)에 기초하여 유사도를 식별하고, 유사도가 높은 기 설정된 개수의 후보 텍스트를 식별할 수 있다.
전자 장치는 식별된 전용 언어 모델 및 기 설정된 임계값에 기초하여 후보 텍스트 중 식별된 유사도가 높은 기 설정된 개수의 후보 텍스트의 적합도를 식별한다(S650). 예를 들어, 전자 장치는 식별된 전용 언어 모델에 기초하여 기 설정된 개수의 후보 텍스트 각각에 대해 후보 텍스트에 포함된 단어가 나타날 엔트로피의 단어별 기하 평균을 산출할 수 있다. 전자 장치는 기 설정된 임계값과 기 설정된 개수의 후보 텍스트 각각에 대해 산출된 단어별 기하 평균에 기초하여 기 설정된 개수의 후보 텍스트가 적합 범위에 포함되는지 판단할 수 있다. 일 실시 예로서, 전자 장치는 산출된 단어별 기하 평균이 가장 낮은 하나의 후보 텍스트를 식별할 수 있다.
전자 장치는 식별된 적합도가 기 설정된 적합 범위 외인 경우 입력된 사용자의 발화를 무시한다. 그리고, 전자 장치는 식별된 적합도가 기 설정된 적합 범위 내에 포함되는 경우 후보 텍스트 중 적합도가 가장 높은 하나의 후보 텍스트를 입력된 사용자의 발화로 식별하여 대응되는 동작을 수행한다(S660).
또한, 전자 장치는 무시된 사용자의 발화를 포함하는 필터링 언어 모델을 생성할 수 있다. 전자 장치는 인식된 발화가 필터링 언어 모델에 포함된 발화에 포함되는 경우, 인식된 발화를 무시할 수 있다.
상술한 다양한 실시 예에 따른 전자 장치의 제어 방법은 컴퓨터 프로그램 제품으로 제공될 수도 있다. 컴퓨터 프로그램 제품은 S/W 프로그램 자체 또는 S/W 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)를 포함할 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 전자 장치 110: 마이크
120: 프로세서 130: 디스플레이

Claims (17)

  1. 디스플레이된 컨텐츠와 관련된 전용 언어 모델을 식별하는 단계;
    사용자의 발화를 입력받는 단계;
    상기 입력된 발화를 인식하여 상기 인식된 발화의 후보 텍스트를 식별하는 단계;
    상기 인식된 발화와 상기 식별된 후보 텍스트 간의 유사도를 식별하는 단계;
    상기 식별된 전용 언어 모델 및 기 설정된 임계값에 기초하여 상기 후보 텍스트 중 식별된 유사도가 높은 기 설정된 개수의 후보 텍스트의 적합도를 식별하는 단계; 및
    상기 식별된 적합도가 기 설정된 적합 범위 외인 경우 상기 입력된 사용자의 발화를 무시하고, 상기 식별된 적합도가 기 설정된 적합 범위 내에 포함되는 경우 상기 후보 텍스트 중 적합도가 가장 높은 하나의 후보 텍스트를 상기 입력된 사용자의 발화로 식별하여 대응되는 동작을 수행하는 단계;를 포함하는 전자 장치의 제어 방법.
  2. 제1항에 있어서,
    상기 전용 언어 모델을 식별하는 단계는,
    디스플레이된 컨텐츠의 종류, 디스플레이된 메뉴 및 디스플레이된 입력 명령의 종류 중 적어도 하나에 기초하여 상기 전용 언어 모델을 식별하는, 전자 장치의 제어 방법.
  3. 제1항에 있어서,
    상기 인식된 발화의 후보 텍스트를 식별하는 단계는,
    상기 입력된 발화에 포함된 단어, 어절 및 어근 중 적어도 하나에 기초하여 후보 단어, 후보 어절 및 후보 어근 중 적어도 하나를 식별하고, 상기 식별된 후보 단어, 후보 어절 또는 후보 어근을 조합하여 상기 후보 텍스트를 식별하는, 전자 장치의 제어 방법.
  4. 제1항에 있어서,
    상기 유사도를 식별하는 단계는,
    범용 텍스트 데이터베이스에 기초하여 상기 유사도를 식별하고, 상기 유사도가 높은 기 설정된 개수의 후보 텍스트를 식별하는, 전자 장치의 제어 방법.
  5. 제1항에 있어서,
    상기 적합도를 식별하는 단계는,
    상기 식별된 전용 언어 모델에 기초하여 상기 기 설정된 개수의 후보 텍스트 각각에 대해 상기 후보 텍스트에 포함된 단어가 나타날 엔트로피의 단어별 기하 평균을 산출하는, 전자 장치의 제어 방법.
  6. 제5항에 있어서,
    상기 적합도를 식별하는 단계는,
    상기 기 설정된 임계값과 상기 기 설정된 개수의 후보 텍스트 각각에 대해 산출된 단어별 기하 평균에 기초하여 상기 기 설정된 개수의 후보 텍스트가 적합 범위에 포함되는지 판단하여 상기 적합도를 식별하는, 전자 장치의 제어 방법.
  7. 제6항에 있어서,
    상기 적합도를 식별하는 단계는,
    상기 산출된 단어별 기하 평균이 가장 낮은 하나의 후보 텍스트를 식별하는, 전자 장치의 제어 방법.
  8. 제1항에 있어서,
    상기 무시된 사용자의 발화를 포함하는 필터링 언어 모델을 생성하는 단계; 및
    상기 인식된 발화가 상기 필터링 언어 모델에 포함된 발화에 포함되는 경우, 상기 인식된 발화를 무시하는 단계;를 더 포함하는 전자 장치의 제어 방법.
  9. 컨텐츠를 표시하는 디스플레이;
    사용자의 발화를 입력받는 마이크; 및
    프로세서;를 포함하고,
    상기 프로세서는,
    디스플레이된 컨텐츠와 관련된 전용 언어 모델을 식별하고,
    상기 입력된 발화를 인식하여 상기 인식된 발화의 후보 텍스트를 식별하며,
    상기 인식된 발화와 상기 식별된 후보 텍스트 간의 유사도를 식별하고,
    상기 식별된 전용 언어 모델 및 기 설정된 임계값에 기초하여 상기 후보 텍스트 중 식별된 유사도가 높은 기 설정된 개수의 후보 텍스트의 적합도를 식별하며,
    상기 식별된 적합도가 기 설정된 적합 범위 외인 경우 상기 입력된 사용자의 발화를 무시하고, 상기 식별된 적합도가 기 설정된 적합 범위 내에 포함되는 경우 상기 후보 텍스트 중 적합도가 가장 높은 하나의 후보 텍스트를 상기 입력된 사용자의 발화로 식별하여 대응되는 동작을 수행하는, 전자 장치.
  10. 제9항에 있어서,
    상기 프로세서는,
    디스플레이된 컨텐츠의 종류, 디스플레이된 메뉴 및 디스플레이된 입력 명령의 종류 중 적어도 하나에 기초하여 상기 전용 언어 모델을 식별하는, 전자 장치.
  11. 제9항에 있어서,
    상기 프로세서는,
    상기 입력된 발화에 포함된 단어, 어절 및 어근 중 적어도 하나에 기초하여 후보 단어, 후보 어절 및 후보 어근 중 적어도 하나를 식별하고, 상기 식별된 후보 단어, 후보 어절 또는 후보 어근을 조합하여 상기 후보 텍스트를 식별하는, 전자 장치.
  12. 제9항에 있어서,
    상기 프로세서는,
    범용 텍스트 데이터베이스에 기초하여 상기 유사도를 식별하고, 상기 유사도가 높은 기 설정된 개수의 후보 텍스트를 식별하는, 전자 장치.
  13. 제9항에 있어서,
    상기 프로세서는,
    상기 식별된 전용 언어 모델에 기초하여 상기 기 설정된 개수의 후보 텍스트 각각에 대해 상기 후보 텍스트에 포함된 단어가 나타날 엔트로피의 단어별 기하 평균을 산출하는, 전자 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 기 설정된 임계값과 상기 기 설정된 개수의 후보 텍스트 각각에 대해 산출된 단어별 기하 평균에 기초하여 상기 기 설정된 개수의 후보 텍스트가 적합 범위에 포함되는지 판단하여 상기 적합도를 식별하는, 전자 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 산출된 단어별 기하 평균이 가장 낮은 하나의 후보 텍스트를 식별하는, 전자 장치.
  16. 제9항에 있어서,
    상기 프로세서는,
    상기 무시된 사용자의 발화를 포함하는 필터링 언어 모델을 생성하고, 상기 인식된 발화가 상기 필터링 언어 모델에 포함된 발화에 포함되는 경우 상기 인식된 발화를 무시하는, 전자 장치.
  17. 디스플레이된 컨텐츠와 관련된 전용 언어 모델을 식별하는 단계;
    사용자의 발화를 입력받는 단계;
    상기 입력된 발화를 인식하고 상기 인식된 발화의 후보 텍스트를 식별하는 단계;
    상기 인식된 발화와 상기 식별된 후보 텍스트 간의 유사도를 식별하는 단계;
    상기 식별된 전용 언어 모델 및 기 설정된 임계값에 기초하여 상기 후보 텍스트 중 식별된 유사도가 높은 기 설정된 개수의 후보 텍스트의 적합도를 식별하는 단계; 및
    상기 식별된 적합도가 기 설정된 적합 범위 외인 경우 상기 입력된 사용자의 발화를 무시하고, 상기 식별된 적합도가 기 설정된 적합 범위 내에 포함되는 경우 상기 후보 텍스트 중 적합도가 가장 높은 하나의 후보 텍스트를 상기 입력된 사용자의 발화로 식별하여 대응되는 동작을 수행하는 단계;를 포함하는 전자 장치의 제어 방법을 수행하는 프로그램이 기록된 비일시적 컴퓨터 판독 가능 저장 매체.
KR1020220028350A 2022-03-04 2022-03-04 전자 장치 및 그 제어 방법 KR20230131015A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020220028350A KR20230131015A (ko) 2022-03-04 2022-03-04 전자 장치 및 그 제어 방법
PCT/KR2022/020489 WO2023167399A1 (ko) 2022-03-04 2022-12-15 전자 장치 및 그 제어 방법
US18/119,007 US20230282208A1 (en) 2022-03-04 2023-03-08 Electronic apparatus and controlling method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220028350A KR20230131015A (ko) 2022-03-04 2022-03-04 전자 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
KR20230131015A true KR20230131015A (ko) 2023-09-12

Family

ID=87883931

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220028350A KR20230131015A (ko) 2022-03-04 2022-03-04 전자 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20230131015A (ko)
WO (1) WO2023167399A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100848148B1 (ko) * 2007-02-20 2008-07-28 고려대학교 산학협력단 음절 단위의 음성 인식 장치, 음절 단위의 음성 인식을이용한 문자 입력 장치, 그 방법 및 기록 매체
KR20140022320A (ko) * 2012-08-14 2014-02-24 엘지전자 주식회사 영상표시장치와 서버의 동작 방법
KR102346026B1 (ko) * 2019-02-11 2021-12-31 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102577589B1 (ko) * 2019-10-22 2023-09-12 삼성전자주식회사 음성 인식 방법 및 음성 인식 장치
KR102395760B1 (ko) * 2020-04-22 2022-05-10 한국외국어대학교 연구산학협력단 다중 디바이스의 음성인식 제어를 위한 다채널 보이스 트리거 시스템 및 그 제어 방법

Also Published As

Publication number Publication date
WO2023167399A1 (ko) 2023-09-07

Similar Documents

Publication Publication Date Title
US11556302B2 (en) Electronic apparatus, document displaying method thereof and non-transitory computer readable recording medium
KR102211939B1 (ko) 질의 응답 장치 및 방법
US9842585B2 (en) Multilingual deep neural network
KR20190105403A (ko) 전자 장치, 전자 장치와 결합 가능한 외부 디바이스 및 이의 디스플레이 방법
KR20200040097A (ko) 전자 장치 및 그 제어 방법
US11763690B2 (en) Electronic apparatus and controlling method thereof
WO2021085242A1 (ja) 情報処理装置、及びコマンド処理方法
US11404050B2 (en) Electronic apparatus and method for controlling thereof
US20210134302A1 (en) Electronic apparatus and method thereof
US11488607B2 (en) Electronic apparatus and control method thereof for adjusting voice recognition recognition accuracy
US20200379262A1 (en) Depth map re-projection based on image and pose changes
KR20210063698A (ko) 전자장치와 그의 제어방법, 및 기록매체
KR20230131015A (ko) 전자 장치 및 그 제어 방법
US20230282208A1 (en) Electronic apparatus and controlling method thereof
KR20130050132A (ko) 오류 발음 검출을 위한 단말 및 음성 인식 장치, 그리고 그의 음향 모델 학습 방법
KR20220155889A (ko) 전자 장치 및 그 제어 방법
CN116368490A (zh) 电子装置及其控制方法
Roy et al. Multimodal adaptive interfaces
US20230223013A1 (en) Electronic apparatus and controlling method thereof
KR102632388B1 (ko) 전자장치 및 그 제어방법
US20230095334A1 (en) Electronic device and control method thereof
US11997445B2 (en) Systems and methods for live conversation using hearing devices
US20220366157A1 (en) Electronic apparatus and method for controlling thereof
KR102479400B1 (ko) 영상을 활용한 딥러닝 모델 기반의 실시간 립리딩 인터페이스 시스템
KR20220112563A (ko) 전자 장치 및 그 제어 방법