KR20240031784A - 음성 인식 모델을 학습시키기 위한 전자 장치 및 이의 제어 방법 - Google Patents

음성 인식 모델을 학습시키기 위한 전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR20240031784A
KR20240031784A KR1020220111001A KR20220111001A KR20240031784A KR 20240031784 A KR20240031784 A KR 20240031784A KR 1020220111001 A KR1020220111001 A KR 1020220111001A KR 20220111001 A KR20220111001 A KR 20220111001A KR 20240031784 A KR20240031784 A KR 20240031784A
Authority
KR
South Korea
Prior art keywords
recognition model
learning
layers
speech recognition
electronic device
Prior art date
Application number
KR1020220111001A
Other languages
English (en)
Inventor
김찬우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020220111001A priority Critical patent/KR20240031784A/ko
Priority to PCT/KR2023/011062 priority patent/WO2024049025A1/ko
Publication of KR20240031784A publication Critical patent/KR20240031784A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Abstract

음성 인식 모델을 학습시키기 위한 전자 장치 및 이의 제어 방법이 제공된다. 음성 인식 모델을 학습시키기 위한 전자 장치의 제어 방법은 복수의 레이어를 포함하는 음성 인식 모델에 학습 음성 시퀀스를 입력하는 단계, 복수의 레이어 각각의 출력단에서 복수의 손실값을 획득하는 단계 및 복수의 손실값에 기초하여 음성 인식 모델을 학습하는 단계를 포함한다.

Description

음성 인식 모델을 학습시키기 위한 전자 장치 및 이의 제어 방법{Electronic device for training speech recognition model and control method thereof}
본 개시는 종단간(end-to-end) 음성 인식 모델을 학습시키기 위한 전자 장치 및 이의 제어 방법에 관한 것이다.
근래에는 인공 지능 관련 기술의 발달에 따라, 사용자에 의해 발화된 음성을 인식하기 위한 음성 인식 기술이 발달하고 있다.
종래의 음성 인식 시스템은 일반적으로, 음향 특징을 추출하고 음소와 같은 서브 워드(sub-word)를 예측하는 AM(Acoustic Model), 음소 시퀀스를 단어 시퀀스에 매핑하는 PM(Pronunciation Model), 단어 시퀀스에 확률을 지정하는 LM(Language Model)을 포함할 수 있다. 그리고, 종래의 음성 인식 시스템에서는 AM, PM 및 LM이 서로 다른 데이터 세트에서 독립적으로 학습되는 것이 일반적이었다.
그러나, 근래에는 AM, PM 및 LM의 구성요소를 단일 신경망으로 결합하는 방식인 종단간(end-to-end) 음성 인식 모델이 개발되고 있다.
본 개시의 일 실시예에 따른, 음성 인식 모델을 학습시키기 위한 전자 장치의 제어 방법은, 복수의 레이어를 포함하는 음성 인식 모델에 학습 음성 시퀀스를 입력하는 단계; 상기 복수의 레이어 각각의 출력단에서 복수의 손실값을 획득하는 단계; 및 상기 복수의 손실값에 기초하여 상기 음성 인식 모델을 학습하는 단계;를 포함한다.
본 개시의 일 실시예에 따른, 음성 인식 모델을 학습시키기 위한 전자 장치는 음성 인식 모델에 대한 데이터를 저장하는 메모리; 및 적어도 하나의 프로세서를 포함한다. 상기 적어도 하나의 프로세서는, 복수의 레이어를 포함하는 음성 인식 모델에 학습 음성 시퀀스가 입력되면, 상기 복수의 레이어 각각의 출력단에서 복수의 손실값을 획득한다. 그리고, 적어도 하나의 프로세서는 상기 복수의 손실값에 기초하여 상기 음성 인식 모델을 학습시킨다.
본 개시의 일 실시예에 따른, 음성 인식 모델을 학습시키기 위한 전자 장치의 제어 방법을 실행시키기 위한 프로그램을 포함하는 비일시적인 컴퓨터 판독가능한 기록매체에 있어서, 상기 제어 방법은, 복수의 레이어를 포함하는 음성 인식 모델에 학습 음성 시퀀스를 입력하는 단계; 상기 복수의 레이어 각각의 출력단에서 복수의 손실값을 획득하는 단계; 및 상기 복수의 손실값에 기초하여 상기 음성 인식 모델을 학습하는 단계;를 포함한다.
도 1은 본 개시의 일 실시예에 따른, 전자 장치의 구성을 도시한 블록도,
도 2는 본 개시의 일 실시예에 따른, 음성 인식 모델을 간략하게 설명하기 위한 도면,
도 3a는 CTC 모델을 도시한 도면,
도 3b는 RNN-T 모델을 도시한 도면,
도 3c는 AED 모델을 도시한 도면,
도 4a는 본 개시의 일 실시예에 따른, CTC 모델을 학습하는 방법을 설명하기 위한 도면,
도 4b는 본 개시의 일 실시예에 따른, RNN-T 모델을 학습하는 방법을 설명하기 위한 도면,
도 4c는 본 개시의 일 실시예에 따른, AED 모델을 학습하는 방법을 설명하기 위한 도면,
도 5는 본 개시의 일 실시예에 따른, 음성 인식 모델을 학습시키기 위한 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.
대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.
이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 간략하게 나타내는 블록도이다. 본 개시에 따른 '전자 장치(100)'는 사용자 음성에 대응되는 음성 시퀀스를 입력하여 음성 시퀀스에 대응되는 텍스트 시퀀스를 획득할 수 있는 음성 인식 모델을 학습시킬 수 있는 장치를 말한다. 예를 들어, 전자 장치(100)는 서버와 같은 장치일 수 있으나, 스마트폰, 태블릿 PC 등과 같은 사용자 단말일 수 있다.
도 1 에 도시된 바와 같이, 본 개시의 일 실시예에 따른 전자 장치(100)는 메모리(110) 및 적어도 하나의 프로세서(120)를 포함할 수 있다. 다만, 도 1에 도시된 구성은 일 실시예에 불과할 뿐, 전자 장치(100)의 유형에 따라 다른 구성이 추가될 수 있음은 물론이다. 예를 들어, 전자 장치(100)가 서버로 구현된 경우, 학습 데이터(예로, 학습 음성 시퀀스, 학습 음성 신호 등)를 획득하기 위한 통신 인터페이스를 더 포함할 수 있으며, 전자 장치(100)가 사용자 단말로 구현될 경우, 학습 데이터를 획득하기 위한 통신 인터페이스, 입력 인터페이스(예로, 마이크) 등을 더 포함할 수 있음은 물론이다.
메모리(110)에는 전자 장치(100)를 제어하기 위한 적어도 하나의 인스트럭션(instruction)이 저장될 수 있다. 그리고, 메모리(110)에는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(110)에는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 그리고, 메모리(110)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.
구체적으로, 메모리(110)에는 본 개시의 다양한 실시 예에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 모듈이 저장될 수 있으며, 적어도 하나의 프로세서(120)는 메모리(110)에 저장된 각종 소프트웨어 모듈을 실행하여 전자 장치(100)의 동작을 제어할 수 있다. 즉, 메모리(110)는 적어도 하나의 프로세서(120)에 의해 액세스되며, 프로세서(130)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
한편, 본 개시에서 메모리(110)라는 용어는 메모리(110), 프로세서(120) 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하는 의미로 사용될 수 있다.
특히, 본 개시에 따른 다양한 실시 예에 있어서, 메모리(110)에는 음성 인식 모델에 대한 데이터가 저장될 수 있다. 여기서, 음성 인식 모델에 대한 데이터라 함은 음성 인식 모델에 포함되는 신경망을 구성하는 가중치, 각종 파라미터 및 노드 등에 대한 정보를 포함할 수 있으며, 음성 인식 모델을 학습시키기 위한 학습 데이터, 음성 인식 모델에 대한 입출력 데이터, 음성 인식 모델에 포함된 모듈들의 입출력 데이터 등을 포함할 수도 있다. 또한, 메모리(110)에는 사용자 음성에 대응되는 음성 신호와 음성 시퀀스에 대한 정보 및 음성 시퀀스에 대응되는 텍스트 시퀀스에 대한 정보가 저장될 수 있다.
그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(110)에 저장될 수 있으며, 메모리(110)에 저장된 정보는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.
적어도 하나의 프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 적어도 하나의 프로세서(120)는 메모리(110)를 포함하는 전자 장치(100)의 구성과 연결되며, 상술한 바와 같은 메모리(120)에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 전자 장치(100)의 동작을 전반적으로 제어할 수 있다.
적어도 하나의 프로세서(120)는 사용자 음성에 대응되는 음성 시퀀스를 입력하여 음성 시퀀스에 대응되는 텍스트 시퀀스를 획득할 수 있는 음성 인식 모델을 학습시킬 수 있다. 특히, 본 개시의 일 실시예에 있어서, 복수의 레이어를 포함하는 음성 인식 모델에 학습 음성 시퀀스가 입력되면, 적어도 하나의 프로세서(120)는 복수의 레이어 각각의 출력단에서 복수의 손실값을 획득하고, 복수의 손실값에 기초하여 음성 인식 모델을 학습시킬 수 있다.
여기서, '음성 인식 모델'은 사용자 음성을 인식하여 사용자 음성에 대응되는 텍스트 데이터를 획득하도록 학습된 신경망 모델을 말한다. 특히, 본 개시에 따른 음성 인식 모델은 기설정된 언어에 대한 음성 인식을 수행할 수 있도록 구성될 수 있다. 음성 인식 모델은 ASR(automatic speech recognition) 모델이라고 지칭될 수 있다. 특히, 본 개시의 일 실시예에 따른, 음성 인식 모델은 입력된 음성 시퀀스에 대응되는 텍스트 시퀀스(예: 음소 시퀀스, 단어 시퀀스 등)를 직접적으로 예측하는 종단간(end-to-end) 음성 인식 모델일 수 있다.
여기서, '음성 시퀀스'라는 용어는 사용자의 발화에 의한 사용자 음성이 입력 수단(예로, 마이크)를 통해 음성 신호의 형태로 순차적으로 수신되는 경우, 그 순차적으로 수신되는 음성 신호의 집합을 특정하기 위한 용어로 사용된다. 이때, 음성 시퀀스는 음성 전처리(예를 들어, 노이즈 제거, 시간-주파수 변환 등)가 된 신호일 수 있다.
도 2는 본 개시의 일 실시예에 따른, 음성 인식 모델을 간략하게 설명하기 위한 도면이다. 구체적으로, 본 개시의 일 실시예에 따른, 음성 인식 모델은 음성 시퀀스에 대응되는 히든 벡터(hidden vector)를 획득하기 위한 인코더(210) 및 히든 벡터에 기초하여 텍스트 시퀀스를 획득하기 위한 디코더(220)를 포함하는 시퀀스 투 시퀀스(sequence-to-sequence) 모델일 수 있다.
인코더(210)는 기설정된 언어(예로, 영어 또는 한국어 등)로 이루어진 학습 데이터에 기초하여 학습될 수 있으며, 입력되는 음성 시퀀스에 대응되는 히든 벡터를 출력하도록 학습될 수 있다. 이때, 인코더(210)에는 음성 시퀀스에 대응되는 히든 벡터를 획득하기 위한 복수의 레이어를 포함할 수 있다. 이때, 레이어는 LSTM(Long Short-Term Memory)으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, GRU(Gated Recurrent Units), Conformer, CNN(Convolutional Neural Network), Transformer등으로 구현될 수 있다.
디코더(220)는 인코더(210)의 출력 값인 히든 벡터에 기초하여 음성 시퀀스에 대응되는 텍스트 시퀀스를 출력할 수 있다. 이때, 디코더(220)는 음성 인식의 유형에 따라 다양한 유형의 모듈을 포함할 수 있다. 이에 대해서는 도 3a 내지 도 3c를 참조하여 설명하기로 한다.
특히, 기본적으로 디코더(220)보다는 인코더(210)의 성능에 따라 음성 인식 모델의 성능이 결정된다. 일반적으로 음성 인식 모델의 인코더는 5~20개의 레이어를 포함하지만, 음성 인식 모델의 디코더는 1~2개의 레이어를 포함한다. 다만, 음성 인식 모델의 인코더에 포함된 레이어의 수를 너무 늘리면, 레이어의 파라미터가 수렴(converge)되지 않는 문제점이 있다.
도 3a 내지 도 3c는 다양한 실시예에 따른 음성 인식 모델을 설명하기 위한 도면이다.
도 3a는 CTC(connectionist temporal classification) 모델을 설명하기 위한 도면이다. CTC 모델은 입력 음성 시퀀스와 텍스트 시퀀스 간에 명시적인 얼라인먼트(alignment) 정보 없이도 음성 시퀀스를 입력하여 텍스트 시퀀스를 획득할 수 있는 음성 인식 모델이다.
CTC 모델은 도 3a에 도시된 바와 같이, 복수의 레이어(310-1,310-2,...310-n)를 포함하는 인코더(210)와 소프트맥스 모듈(320)을 포함하는 디코더(220)를 포함할 수 있다. 인코더(210)는 복수의 레이어(310-1,310-2,...310-n)를 통해 입력된 음성 시퀀스에 대응되는 히든 벡터를 획득할 수 있다. 디코더(210)는 소프트맥스 모듈(softmax module)(320)을 통해 입력된 히든 벡터에 기초하여 현재 시점의 음성 시퀀스에 대응되는 텍스트 시퀀스를 출력할 수 있다. 구체적으로, 소프트맥스 모듈(320)은 입력된 히든 벡터를 0 내지 1사이의 값으로 정규화함으로써 복수의 클래스 중 현재 시점의 음성 시퀀스에 대응되는 클래스를 식별하고, 식별 결과에 따라 음성 시퀀스에 대응되는 텍스트 시퀀스를 출력할 수 있다.
도 3b는 RNN-T(recurrent neural network-Transducer) 모델을 설명하기 위한 도면이다. RNN-T 모델은 도 3b에 도시된 바와 같이, 복수의 레이어(330-1,330-2,...,330-n)을 포함하는 인코더(210), 및 예측 모듈(340), 조인트 모듈(350)과 소프트맥스 모듈(360)을 포함하는 디코더(220)를 포함할 수 있다.
인코더(210)는 복수의 레이어(330-1,330-2,...330-n)를 통해 입력된 음성 시퀀스에 대응되는 히든 벡터를 획득할 수 있다.
디코더(220)의 예측 모듈(prediction module)(340)은 적어도 하나의 레이어를 포함할 수 있으며, t-1 시점(또는 이전 시점)의 텍스트 시퀀스를 히든 벡터로 변환하여 출력할 수 있다. 예를 들어, 인코더(210)에 의해 t 시점(또는 현재 시점)의 음성 시퀀스가 제1 히든 벡터로 변환되어 출력되는 경우, 예측 모듈(340)은 t-1 시점의 텍스트 시퀀스를 제2 히든 벡터로 변환하여 출력할 수 있다. 여기서. '제1 히든 벡터'와 '제2 히든 벡터'라는 용어는 인코더(210)를 통해 출력되는 히든 벡터와 예측 모듈(340)을 통해 출력되는 히든 벡터를 구별하여 특정하기 위한 용어로 사용된다. 예측 모듈(340)이라는 용어는 '예측 네트워크 모듈(prediction network module)'이라는 용어로 대체될 수 있다.
디코더(220)의 조인트 모듈(joint module)(350)은 인코더(210)를 통해 출력되는 히든 벡터와 예측 모듈(340)을 통해 출력되는 히든 벡터에 기초하여 t 시점의 음성 시퀀스에 대응되는 로짓(logit) 벡터를 출력할 수 있다. 예를 들어, 인코더(210)를 통해 제1 히든 벡터가 출력되고 예측 모듈(340)을 통해 제2 히든 벡터가 출력되면, 조인트 모듈(350)은 제1 히든 벡터 및 제2 히든 벡터에 기초하여 t 시점의 음성 시퀀스에 대응되는 로짓 벡터를 출력할 수 있다. 조인트 모듈(350)이라는 용어는 '조인트 네트워크 모듈(joint network module)'이라는 용어로 대체될 수 있다.
디코더(220)의 소프트맥스 모듈(softmax module)(360)은 입력된 로짓 벡터에 기초하여 t 시점의 음성 시퀀스에 대응되는 텍스트 시퀀스를 출력할 수 있다. 구체적으로, 소프트맥스 모듈(360)은 입력된 로짓 벡터를 0 내지 1사이의 값으로 정규화함으로써 복수의 클래스 중 현재 시점의 음성 시퀀스에 대응되는 클래스를 식별하고, 식별 결과에 따라 음성 시퀀스에 대응되는 텍스트 시퀀스를 출력할 수 있다.
도 3c는 AED(attention-based encoder-decoder) 모델을 설명하기 위한 도면이다. AED 모델은 도 3c에 도시된 바와 같이, 복수의 레이어(370-1,370-2,...,370-n)와 어텐션 모듈(380)을 포함하는 인코더(210), 및 디코딩 모듈(390)과 소프트맥스 모듈(395)을 포함하는 디코더(220)를 포함할 수 있다.
인코더(210)는 복수의 레이어(370-1,370-2,...370-n)를 통해 입력된 음성 시퀀스에 대응되는 히든 벡터를 획득할 수 있다.
어텐션 모듈(attention module)(380)은 복수의 레이어(370-1,370-2,...370-n)를 통해 획득된 t 시점의 히든 벡터와 디코딩 모듈(390)에 의해 t-1 시점의 히든 벡터에 기초하여 어텐션 정보(예로, convex vector)를 획득할 수 있다. 그리고, 어텐션 모듈(380)은 어텐션 정보를 디코딩 모듈(390)로 출력할 수 있다.
디코딩 모듈(decoding module)(390)은 t 시점에 획득된 어텐션 정보와 t-1 시점에 획득된 히든 벡터에 기초하여 t 시점의 음성 시퀀스에 대응되는 로짓 벡터를 출력할 수 있다.
소프트맥스 모듈(softmax module)(395)은 입력된 로짓 벡터에 기초하여 t 시점의 음성 시퀀스에 대응되는 텍스트 시퀀스를 출력할 수 있다. 구체적으로, 소프트맥스 모듈(395)은 입력된 로짓 벡터를 0 내지 1사이의 값으로 정규화함으로써 복수의 클래스 중 현재 시점의 음성 시퀀스에 대응되는 클래스를 식별하고, 식별 결과에 따라 음성 시퀀스에 대응되는 텍스트 시퀀스를 출력할 수 있다.
한편, 종래에는 도 3a 내지 도 3c의 음성 인식 모델을 학습할 경우, 디코더(220)의 출력단 또는 인코더(210)의 출력단에서 획득된 손실값(loss)을 이용하여 음성 인식 모델을 학습하였다. 이때, 인코더(210)의 출력단에서 획득되는 손실값은 CTC 손실값일 수 있으며, 디코더(220)의 출력단에서 획득되는 손실값은 Transducer loss(음성 인식 모델이 RNN-T 모델인 경우) 또는 CE loss(cross-entropy loss)(음성 인식 모델이 AED 모델인 경우)일 수 있으나, 이에 한정되는 것은 아니다.
그러나, 본 개시의 일 실시예에 의하면, 적어도 하나의 프로세서(120)는 음성 인식 모델에 포함된 복수의 레이어의 출력단에서 획득된 복수의 손실값에 기초하여 음성 인식 모델을 학습시킬 수 있다. 이때, 복수의 레이어는 음성 인식 모델에 포함된 인코더(210)를 구성하는 레이어일 수 있다.
그리고, 복수의 레이어 각각은 출력단에 소프트맥스 모듈을 포함하며, 적어도 하나의 프로세서(210)는 복수의 레이어 각각의 출력단에 포함된 소프트맥스 모듈에 의해 복수의 손실값을 획득할 수 있다.
구체적으로, 음성 인식 모델이 CTC 모델인 경우, 도 4a에 도시된 바와 같이, 복수의 레이어(310-1,310-2,...310-(n-1))의 출력단 각각에 소프트맥스 모듈(410-1,410-2,...410-(n-1))이 포함될 수 있다. 그리고, 각각의 소프트맥스 모듈(410-1,410-2,...410-(n-1))에 의해 손실값(특히, CTC 손실값)이 획득될 수 있다.
음성 인식 모델이 RNN-T 모델인 경우, 도 4b에 도시된 바와 같이, 인코더(210)에 포함된 복수의 레이어(330-1,330-2,...330-(n-1))의 출력단 각각에 소프트맥스 모듈(420-1,420-2,...420-(n-1))이 포함될 수 있다. 그리고, 각각의 소프트맥스 모듈(420-1,420-2,...420-(n-1))에 의해 손실값(특히, CTC 손실값)이 획득될 수 있다.
음성 인식 모델이 AED 모델인 경우, 도 4c에 도시된 바와 같이, 인코더(210)에 포함된 복수의 레이어(370-1,370-2,...370-(n-1))의 출력단 각각에 소프트맥스 모듈(430-1,430-2,...430-(n-1))이 포함될 수 있다. 그리고, 각각의 소프트맥스 모듈(430-1,430-2,...430-(n-1))에 의해 손실값(특히, CTC 손실값)이 획득될 수 있다.
적어도 하나의 프로세서(120)는 획득된 복수의 손실값에 기초하여 음성 인식 모델을 학습시킬 수 있다. 이때, 획득된 복수의 손실값은 복수의 레이어의 출력단에서 획득된 CTC 손실값일 수 있다.
예를 들어, 적어도 하나의 프로세서(120)는 복수의 레이어의 출력단에서 획득한 복수의 손실값을 더한 최종 손실값이 감소하도록 음성 인식 모델을 학습시킬 수 있다.
구체적으로, 적어도 하나의 프로세서(120)는 아래의 수식에 의해 획득된 최종 손실값(Ltotal)이 감소하도록 음성 인식 모델을 학습시킬 수 있다.
Figure pat00001
이때, LCTC(N-1)는 N번째 레이어의 출력단에서 획득된 CTC 손실값일 수 있다.
또한, 적어도 하나의 프로세서(120)는 아래의 수학식에 의해 획득된 최종 손실값(Ltotal)이 감소하도록 음성 인식 모델을 학습시킬 수 있다.
Figure pat00002
이때, LCTC(N-1)은 N 번째 레이어의 출력단에서 획득한 CTC 손실값, A는 0과 1사이의 파라미터임.
이때, A는 학습이 진행될수록 0으로 수렴할 수 있다. 구체적으로, 음성 인식 모델이 어느정도 학습이 진행되면 레이어의 파라미터가 수렴하게 되므로, 중간 이하의 레이어의 출력단에서 획득되는 손실값의 비율을 점차 줄이는 것이 음성 인식 모델의 성능 개선에 도움이 될 수 있다.
또한, 최종 손실값이 임계값보다 작아지면, 적어도 하나의 프로세서(120)는 A를 감소시켜 음성 인식 모델을 학습시킬 수 있다. 일 예로, A 값을 0.7로 적용하여 음성 인식 모델을 학습하는 동안 최종 손실값이 제1 임계값(예로, 0.2) 이하로 떨어지면, 적어도 하나의 프로세서(120)는 A를 0.5로 적용하여 음성 인식 모델을 학습시킬 수 있다. 또한, A를 0.5로 적용하여 음성 인식 모델을 학습하는 동안 최종 손실값이 제2 임계값(예로, 0.1) 이하로 떨어지면, 적어도 하나의 프로세서(120)는 A를 0.3으로 적용하여 음성 인식 모델을 학습시킬 수 있다.
즉, 적어도 하나의 프로세서(120)는 최종 손실값을 복수의 임계값과 비교하여 A 값을 감소시킴으로써, 음성 인식 모델의 학습이 진행될 수록 A 값을 감소시킬 수 있다.
도 5는 본 개시의 일 실시예에 따른, 음성 인식 모델을 학습시키기 위한 전자 장치(100)의 제어 방법을 설명하기 위한 도면이다.
우선, 전자 장치(100)는 복수의 레이어를 포함하는 음성 인식 모델에 학습 음성 시퀀스를 입력받는다(S510). 이때, 음성 인식 모델은 CTC 모델, RNN-T 모델 및 AED 모델 중 하나일 수 있으나, 이에 한정되는 것은 아니다. 또한, 복수의 레이어는 음성 인식 모델에 포함된 인코더를 구성하는 레이어일 수 있다.
전자 장치(100)는 복수의 레이어 각각의 출력단에서 복수의 손실값을 획득한다(S520). 구체적으로, 복수의 레이어 각각의 출력단에는 소프트맥스 모듈이 포함될 수 있으며, 각각의 소프트맥스 모듈의 출력 결과에 따라 복수의 손실값이 획득될 수 있다. 이때, 손실값은 CTC 손실값일 수 있다.
전자 장치(100)는 복수의 손실값에 기초하여 음성 인식 모델을 학습시킨다(S530). 구체적으로, 전자 장치(100)는 복수의 손실값을 더한 최종 손실값이 감소하도록 음성 인식 모델을 학습시킬 수 있다. 또는, 전자 장치(100)는 아래의 수학식 2에 의해 획득된 최종 손실값이 감소하도록 음성 인식 모델을 학습시킬 수 있다. 이때, 학습이 진행될수록 수학식 2의 A가 0으로 수렴될 수 있다. 또는 최종 손실값이 임계값보다 작아지면, 전자 장치(100)는 수학식 2의 A를 감소시켜 음성 인식 모델을 학습시킬 수 있다.
상술한 바와 같이, Layerwise loss를 이용하면, 음성 인식 모델의 학습시 파라미터의 수렴(converge)이 더욱 용이해지며, 이로 인해 음성 인식 모델은 매우 깊은(즉, 많은 수의) layer를 포함할 수 있게 된다. 따라서, 음성 인식 모델의 음성 인식 성능이 더욱 개선될 수 있다.
본 개시에 따른 인공지능과 관련된 기능은 전자 장치(100)의 프로세서와 메모리를 통해 동작된다.
프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU(Central Processing Unit), GPU(Graphic Processing Unit), NPU(Neural Processing Unit) 중 적어도 하나를 포함할 수 있으나 전술한 프로세서의 예시에 한정되지 않는다.
CPU는 일반 연산뿐만 아니라 인공지능 연산을 수행할 수 있는 범용 프로세서로서, 다계층 캐시(Cache) 구조를 통해 복잡한 프로그램을 효율적으로 실행할 수 있다. CPU는 순차적인 계산을 통해 이전 계산 결과와 다음 계산 결과의 유기적인 연계가 가능하도록 하는 직렬 처리 방식에 유리하다. 범용 프로세서는 전술한 CPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
GPU는 그래픽 처리에 이용되는 부동 소수점 연산 등과 같은 대량 연산을 위한 프로세서로서, 코어를 대량으로 집적하여 대규모 연산을 병렬로 수행할 수 있다. 특히, GPU는 CPU에 비해 컨볼루션(Convolution) 연산 등과 같은 병렬 처리 방식에 유리할 수 있다. 또한, GPU는 CPU의 기능을 보완하기 위한 보조 프로세서(co-processor)로 이용될 수 있다. 대량 연산을 위한 프로세서는 전술한 GPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
NPU는 인공 신경망을 이용한 인공지능 연산에 특화된 프로세서로서, 인공 신경망을 구성하는 각 레이어를 하드웨어(예로, 실리콘)로 구현할 수 있다. 이때, NPU는 업체의 요구 사양에 따라 특화되어 설계되므로, CPU나 GPU에 비해 자유도가 낮으나, 업체가 요구하기 위한 인공지능 연산을 효율적으로 처리할 수 있다. 한편, 인공지능 연산에 특화된 프로세서로, NPU 는 TPU(Tensor Processing Unit), IPU(Intelligence Processing Unit), VPU(Vision processing unit) 등과 같은 다양한 형태로 구현 될 수 있다. 인공 지능 프로세서는 전술한 NPU로 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
또한, 하나 또는 복수의 프로세서는 SoC(System on Chip)으로 구현될 수 있다. 이때, SoC에는 하나 또는 복수의 프로세서 이외에 메모리, 및 프로세서와 메모리 사이의 데이터 통신을 위한 버스(Bus)등과 같은 네트워크 인터페이스를 더 포함할 수 있다.
전자 장치에 포함된 SoC(System on Chip)에 복수의 프로세서가 포함된 경우, 전자 장치는 복수의 프로세서 중 일부 프로세서를 이용하여 인공지능과 관련된 연산(예를 들어, 인공지능 모델의 학습(learning)이나 추론(inference)에 관련된 연산)을 수행할 수 있다. 예를 들어, 전자 장치는 복수의 프로세서 중 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공지능 연산에 특화된 GPU, NPU, VPU, TPU, 하드웨어 가속기 중 적어도 하나를 이용하여 인공지능과 관련된 연산을 수행할 수 있다. 다만, 이는 일 실시예에 불과할 뿐, CPU 등과 범용 프로세서를 이용하여 인공지능과 관련된 연산을 처리할 수 있음은 물론이다.
또한, 전자 장치는 하나의 프로세서에 포함된 멀티 코어(예를 들어, 듀얼 코어, 쿼드 코어 등)를 이용하여 인공지능과 관련된 기능에 대한 연산을 수행할 수 있다. 특히, 전자 장치는 프로세서에 포함된 멀티 코어를 이용하여 병렬적으로 컨볼루션 연산, 행렬 곱 연산 등과 같은 인공 지능 연산을 수행할 수 있다.
하나 또는 복수의 프로세서는, 메모리에 저장된 기정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.
여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 적어도 하나의 레이어는 적어도 하나의 가중치(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 적어도 하나의 정의된 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks), Transformer가 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.
한편, 본 개시의 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 개시의 다양한 실시 예에 따른 방법은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: TV)를 포함할 수 있다.
한편, 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
110: 메모리 120: 적어도 하나의 프로세서

Claims (16)

  1. 음성 인식 모델을 학습시키기 위한 전자 장치(100)의 제어 방법에 있어서,
    복수의 레이어를 포함하는 음성 인식 모델에 학습 음성 시퀀스를 입력하는 단계;
    상기 복수의 레이어 각각의 출력단에서 복수의 손실값을 획득하는 단계; 및
    상기 복수의 손실값에 기초하여 상기 음성 인식 모델을 학습하는 단계;를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 복수의 레이어는 상기 음성 인식 모델에 포함된 인코더를 구성하는 레이어인 것을 특징으로 하는 제어 방법.
  3. 제1항에 있어서,
    상기 복수의 레이어 각각은 출력단에 소프트맥스 모듈을 포함하며,
    상기 획득하는 단계는,
    상기 복수의 레이어 각각의 출력단에 포함된 상기 소프트맥스 모듈에 의해 복수의 손실값을 획득하는 제어 방법.
  4. 제3항에 있어서,
    상기 손실값은 CTC(connectionist temporal classification) 손실 값인 것을 특징으로 하는 제어 방법.
  5. 제4항에 있어서,
    상기 학습하는 단계는,
    상기 복수의 손실값을 더한 최종 손실값이 감소하도록 상기 음성 인식 모델을 학습하는 제어 방법.
  6. 제4항에 있어서,
    상기 학습하는 단계는,
    아래의 수학식에 의해 획득된 최종 손실값이 감소하도록 상기 음성 인식 모델을 학습하는 제어 방법
    [수학식]
    Figure pat00003

    Ltotal은 최종 손실값을 나타내며, LCTC(N)은 N 번째 레이어의 출력단에서 획득한 CTC 손실값, A는 0과 1사이의 파라미터임.
  7. 제6항에 있어서,
    학습이 진행될수록 상기 A가 0으로 수렴되는 것을 특징으로 하는 제어 방법.
  8. 제6항에 있어서,
    상기 최종 손실값이 임계값보다 작아지면, 상기 A를 감소시켜 상기 음성 인식 모델을 학습하는 제어 방법.
  9. 음성 인식 모델을 학습시키기 위한 전자 장치(100)에 있어서,
    음성 인식 모델에 대한 데이터를 저장하는 메모리(110); 및
    적어도 하나의 프로세서(120);를 포함하며,
    상기 적어도 하나의 프로세서(120)는,
    복수의 레이어를 포함하는 음성 인식 모델에 학습 음성 시퀀스가 입력되면, 상기 복수의 레이어 각각의 출력단에서 복수의 손실값을 획득하고,
    상기 복수의 손실값에 기초하여 상기 음성 인식 모델을 학습시키는 전자 장치.
  10. 제9항에 있어서,
    상기 복수의 레이어는 상기 음성 인식 모델에 포함된 인코더를 구성하는 레이어인 것을 특징으로 하는 전자 장치.
  11. 제9항에 있어서,
    상기 복수의 레이어 각각은 출력단에 소프트맥스 모듈을 포함하며,
    상기 적어도 하나의 프로세서(120)는,
    상기 복수의 레이어 각각의 출력단에 포함된 상기 소프트맥스 모듈에 의해 복수의 손실값을 획득하는 전자 장치.
  12. 제11항에 있어서,
    상기 손실값은 CTC(connectionist temporal classification) 손실 값인 것을 특징으로 하는 전자 장치.
  13. 제12항에 있어서,
    상기 적어도 하나의 프로세서(120)는,
    상기 복수의 손실값을 더한 최종 손실값이 감소하도록 상기 음성 인식 모델을 학습시키는 전자 장치.
  14. 제13항에 있어서,
    상기 적어도 하나의 프로세서(120)는,
    아래의 수학식에 의해 획득된 최종 손실값이 감소하도록 상기 음성 인식 모델을 학습시키는 전자 장치
    [수학식]
    Figure pat00004

    Ltotal은 최종 손실값을 나타내며, LCTC(N)은 N 번째 레이어의 출력단에서 획득한 CTC 손실값, A는 0과 1사이의 파라미터임.
  15. 제14항에 있어서,
    학습이 진행될수록 상기 A가 0으로 수렴되는 것을 특징으로 하는 전자 장치.
  16. 제15항에 있어서,
    상기 적어도 하나의 프로세서(120)는,
    상기 최종 손실값이 임계값보다 작아지면, 상기 A를 감소시켜 상기 음성 인식 모델을 학습시키는 전자 장치.
KR1020220111001A 2022-09-01 2022-09-01 음성 인식 모델을 학습시키기 위한 전자 장치 및 이의 제어 방법 KR20240031784A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220111001A KR20240031784A (ko) 2022-09-01 2022-09-01 음성 인식 모델을 학습시키기 위한 전자 장치 및 이의 제어 방법
PCT/KR2023/011062 WO2024049025A1 (ko) 2022-09-01 2023-07-28 음성 인식 모델을 학습시키기 위한 전자 장치 및 이의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220111001A KR20240031784A (ko) 2022-09-01 2022-09-01 음성 인식 모델을 학습시키기 위한 전자 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
KR20240031784A true KR20240031784A (ko) 2024-03-08

Family

ID=90098135

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220111001A KR20240031784A (ko) 2022-09-01 2022-09-01 음성 인식 모델을 학습시키기 위한 전자 장치 및 이의 제어 방법

Country Status (2)

Country Link
KR (1) KR20240031784A (ko)
WO (1) WO2024049025A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102415506B1 (ko) * 2016-10-26 2022-07-01 삼성전자주식회사 뉴럴 네트워크 간소화 방법 및 장치
KR102051390B1 (ko) * 2017-08-04 2019-12-03 한국항공대학교산학협력단 심층 신경망 학습 장치 및 방법
KR102106700B1 (ko) * 2018-05-23 2020-05-28 한국과학기술원 사용자의 음성 신호를 기반으로 감정, 나이 및 성별을 동시에 인식하는 방법 및 시스템
KR20210028041A (ko) * 2019-09-03 2021-03-11 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20220096021A (ko) * 2020-12-30 2022-07-07 삼성전자주식회사 전자 장치 및 이의 제어 방법

Also Published As

Publication number Publication date
WO2024049025A1 (ko) 2024-03-07

Similar Documents

Publication Publication Date Title
US11158305B2 (en) Online verification of custom wake word
US11798535B2 (en) On-device custom wake word detection
Wiesler et al. Mean-normalized stochastic gradient for large-scale deep learning
JP7170405B2 (ja) ニューラルネットワークを用いた認識方法及び装置並びにトレーニング方法
US7228276B2 (en) Sound processing registering a word in a dictionary
US11113596B2 (en) Select one of plurality of neural networks
WO2012036934A1 (en) Deep belief network for large vocabulary continuous speech recognition
US20230186905A1 (en) System and method for tone recognition in spoken languages
CN115552416A (zh) 电子设备及其控制方法
US11468892B2 (en) Electronic apparatus and method for controlling electronic apparatus
KR20220130565A (ko) 키워드 검출 방법 및 장치
KR20210042696A (ko) 모델 학습 방법 및 장치
KR20210014949A (ko) 음성 인식을 위한 인공신경망에서의 디코딩 방법 및 장치
KR20240031784A (ko) 음성 인식 모델을 학습시키기 위한 전자 장치 및 이의 제어 방법
Deng et al. History utterance embedding transformer lm for speech recognition
KR102292921B1 (ko) 언어 모델 학습 방법 및 장치, 음성 인식 방법 및 장치
CN113270091B (zh) 音频处理系统和方法
JP2024506580A (ja) 適応勾配クリッピングを用いるニューラルネットワーク
JP7291099B2 (ja) 音声認識方法及び装置
KR20240034470A (ko) 음성 인식 모델을 학습시키기 위한 전자 장치 및 이의 제어 방법
US20240078391A1 (en) Electronic device for training speech recognition model and control method thereof
KR20220021470A (ko) 시퀀싱 및 플래닝을 위한 시스템
KR20200117826A (ko) 음성 인식 방법 및 장치
KR102576754B1 (ko) 딥러닝 기반 구음 장애 음성 개선 변환 장치, 시스템의 제어 방법, 및 컴퓨터 프로그램
Moons et al. Resource aware design of a deep convolutional-recurrent neural network for speech recognition through audio-visual sensor fusion