KR20220053491A - 전자 장치 및 전자 장치의 제어 방법 - Google Patents

Abstract

전자 장치 및 전자 장치의 제어 방법이 개시된다. 특히, 전자 장치는 마이크, 음성 인식 모델에 대한 데이터를 저장하는 메모리 및 마이크를 통해 사용자 음성에 대응되는 음성 시퀀스가 획득되면, 서로 다른 복수의 언어에 대한 음성 인식을 수행할 수 있는 음성 인식 모델에 음성 시퀀스를 입력하여 음성 시퀀스에 대응되는 텍스트 시퀀스를 획득하는 프로세서를 포함하고, 음성 인식 모델은 음성 시퀀스에 대응되는 히든 벡터(hidden vector)를 획득하기 위한 공통 인코더 및 히든 벡터에 기초하여 텍스트 시퀀스를 획득하기 위한 복수의 개별 디코더를 포함하고, 복수의 개별 인코더 각각은 복수의 언어 각각에 대응되며, 공통 인코더는 복수의 언어에 공통적으로 이용된다. 그 밖에도 다양한 실시 예가 가능하다.

Description

전자 장치 및 전자 장치의 제어 방법{ELECTRONIC DEVICE AND CONTROLLING METHOD OF ELECTRONIC DEVICE}

본 개시는 전자 장치 및 전자 장치의 제어 방법에 관한 것으로서, 구체적으로는 학습된 음성 인식 모델을 이용하여 서로 다른 복수의 언어에 대한 음성 인식을 수행할 수 있는 전자 장치 및 이의 제어 방법에 관한 것이다.

근래에는 인공 지능 관련 기술의 발달에 따라, 사용자에 의해 발화된 음성을 인식하기 위한 음성 인식 기술이 발달하고 있다.

특히, 음성 인식 분야에 있어서, 사용자 음성의 인식 과정 및 언어의 이해 과정은 전자 장치와 연결되는 서버를 통해 수행될 수도 있으나, 최근에는 온 디바이스(on-device) 방식의 음성 인식 기술이 주목받고 있다. 온 디바이스 방식으로 방식으로 음성 인식 기술을 구현하는 경우, 다양한 언어로 입력되는 사용자 음성을 효과적으로 처리하면서도, 음성 인식 시스템의 크기를 최소화시켜야 한다는 과제에 직면하게 된다.

다양한 언어를 처리할 수 있는 음성 인식 모델을 구축하기 위한 방법에 있어서, 종래 기술은 각각의 언어 별로 인코더 및 디코더를 학습시킨 후 사용자가 선택한 언어에 대응되는 인코더 및 디코더를 구동하여 음성 인식을 수행하거나, 사용자 음성에 대응되는 언어를 식별하고 그 식별된 언어에 대응되는 인코더 및 디코더를 구동하여 음성 인식을 수행한다.

그러나, 종래 기술에 따르면, 서로 다른 복수의 언어 각각에 대한 방대한 양의 학습 데이터가 필요하며, 특히 전자 장치에 온 디바이스로 구현하기에는 메모리 요구량과 계산량이 매우 크다는 문제점이 있다.

본 개시는 상술한 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로서, 본 개시의 목적은 효과적이고도 효율적인 방법으로 다양한 언어의 사용자 음성에 대한 음성 인식을 수행할 수 있는 전자 장치 및 전자 장치의 제어 방법을 제공함에 있다.

상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치는 마이크, 음성 인식 모델에 대한 데이터를 저장하는 메모리 및 상기 마이크를 통해 사용자 음성에 대응되는 음성 시퀀스가 획득되면, 서로 다른 복수의 언어에 대한 음성 인식을 수행할 수 있는 음성 인식 모델에 상기 음성 시퀀스를 입력하여 상기 음성 시퀀스에 대응되는 텍스트 시퀀스를 획득하는 프로세서를 포함하고, 상기 음성 인식 모델은 상기 음성 시퀀스에 대응되는 히든 벡터(hidden vector)를 획득하기 위한 공통 인코더 및 상기 히든 벡터에 기초하여 상기 텍스트 시퀀스를 획득하기 위한 복수의 개별 디코더를 포함하고, 상기 복수의 개별 인코더 각각은 상기 복수의 언어 각각에 대응되며, 상기 공통 인코더는 상기 복수의 언어에 공통적으로 이용된다.

여기서, 상기 프로세서는 상기 음성 시퀀스가 획득되면, 상기 복수의 언어 중 상기 획득된 음성 시퀀스에 대응되는 언어를 식별하고, 상기 복수의 개별 디코더 중 상기 식별된 언어에 대응되는 개별 디코더 및 상기 공통 인코더를 이용하여 상기 텍스트 시퀀스를 획득할 수 있다.

한편, 상기 공통 인코더는 현재 시점의 음성 시퀀스를 제1 히든 벡터로 변환하고, 상기 복수의 개별 디코더 각각은 예측 모듈(prediction network module), 조인트 모듈(joint module) 및 소프트맥스 모듈(softmax module)을 포함하며, 상기 예측 모듈은 상기 현재 시점 이전의 텍스트 시퀀스를 제2 히든 벡터로 변환하고, 상기 조인트 모듈은 상기 공통 인코더를 통해 출력된 제1 히든 벡터 및 상기 예측 모듈을 통해 출력된 제2 히든 벡터에 기초하여 상기 현재 시점의 음성 시퀀스에 대응되는 로짓(logit) 벡터를 출력하며, 상기 소프트맥스 모듈은 상기 로짓 벡터에 기초하여 상기 현재 시점의 음성 시퀀스에 대응되는 텍스트 시퀀스를 출력할 수 있다.

한편, 상기 음성 인식 모델은 상기 텍스트 시퀀스를 발음 시퀀스로 변환하기 위한 발음 시퀀스 획득 모듈을 더 포함하고, 상기 공통 인코더는 상기 발음 시퀀스를 상기 개별 디코더에 입력한 결과에 따른 손실 값에 기초하여 학습될 수 있다.

한편, 상기 공통 인코더는 대조 손실 값(contrastive loss)에 기초하여 비지도 학습 방법 또는 준지도 학습 방법에 따라 학습되고, 상기 복수의 디코더는 상기 공통 인코더의 학습이 완료되면, 상기 공통 인코더와 결합된 후 상기 대조 손실 값에 기초하여 준지도 학습 방법에 따라 학습될 수 있다.

한편, 상기 음성 인식 모델은 상기 복수의 개별 인코더 각각에 대응되는 복수의 개별 디코더 및 상기 공통 인코더에 대응되는 공통 디코더를 더 포함하고, 상기 프로세서는 상기 음성 시퀀스가 획득되면, 상기 음성 시퀀스가 상기 복수의 언어 중 하나의 언어에 대응되는 정도에 대한 신뢰도 값을 산출하고, 상기 신뢰도 값이 기 설정된 임계 값 미만이면, 상기 공통 인코더 및 상기 공통 디코더를 이용하여 상기 텍스트 시퀀스를 획득하고, 상기 신뢰도 값이 상기 기 설정된 임계 값 이상이면, 상기 복수의 개별 인코더 중 상기 하나의 언어에 대응되는 개별 인코더 및 상기 복수의 개별 디코더 중 상기 하나의 언어에 대응되는 개별 디코더를 이용하여 상기 텍스트 시퀀스를 획득할 수 있다.

여기서, 상기 복수의 개별 인코더는 상기 복수의 개별 인코더의 출력에 따른 확률 분포 값이 상기 공통 인코더의 출력에 따른 확률 분포 값에 대응되도록 학습될 수 있다.

한편, 상기 음성 인식 모델은 상기 공통 인코더를 통해 출력되는 히든 벡터를 상기 복수의 개별 디코더에 대응되는 히든 벡터로 변환하기 위한 변환 모듈을 더 포함할 수 있다.

한편, 상기 음성 인식 모델은 상기 텍스트 시퀀스보다 작은 단위의 텍스트 시퀀스 및 상기 음성 시퀀스에 대응되는 언어에 대한 정보를 획득하기 위한 서브 모듈을 더 포함하고, 상기 프로세서는 상기 작은 단위의 텍스트 시퀀스 및 상기 음성 시퀀스에 대응되는 언어에 대한 정보를 상기 공통 인코더에 입력하여 상기 공통 디코더를 통해 상기 텍스트 시퀀스를 획득할 수 있다.

상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법은 사용자 음성에 대응되는 음성 시퀀스를 획득하는 단계 및 서로 다른 복수의 언어에 대한 음성 인식을 수행할 수 있는 음성 인식 모델에 상기 음성 시퀀스를 입력하여 상기 음성 시퀀스에 대응되는 텍스트 시퀀스를 획득하는 단계를 포함하고, 상기 음성 인식 모델은 상기 음성 시퀀스에 대응되는 히든 벡터(hidden vector)를 획득하기 위한 공통 인코더 및 상기 히든 벡터에 기초하여 상기 텍스트 시퀀스를 획득하기 위한 복수의 개별 디코더를 포함하고, 상기 복수의 개별 인코더 각각은 상기 복수의 언어 각각에 대응되며, 상기 공통 인코더는 상기 복수의 언어에 공통적으로 이용될 수 있다.

여기서, 상기 전자 장치의 제어 방법은 상기 음성 시퀀스가 획득되면, 상기 복수의 언어 중 상기 획득된 음성 시퀀스에 대응되는 언어를 식별하는 단계 및 상기 복수의 개별 디코더 중 상기 식별된 언어에 대응되는 개별 디코더 및 상기 공통 인코더를 이용하여 상기 텍스트 시퀀스를 획득하는 단계를 더 포함할 수 있다.

한편, 상기 공통 인코더는 현재 시점의 음성 시퀀스를 제1 히든 벡터로 변환하고, 상기 복수의 개별 디코더 각각은 예측 모듈(prediction network module), 조인트 모듈(joint module) 및 소프트맥스 모듈(softmax module)을 포함하며, 상기 예측 모듈은 상기 현재 시점 이전의 텍스트 시퀀스를 제2 히든 벡터로 변환하고, 상기 조인트 모듈은 상기 공통 인코더를 통해 출력된 제1 히든 벡터 및 상기 예측 모듈을 통해 출력된 제2 히든 벡터에 기초하여 상기 현재 시점의 음성 시퀀스에 대응되는 로짓(logit) 벡터를 출력하며, 상기 소프트맥스 모듈은 상기 로짓 벡터에 기초하여 상기 현재 시점의 음성 시퀀스에 대응되는 텍스트 시퀀스를 출력할 수 있다.

한편, 상기 음성 인식 모델은 상기 텍스트 시퀀스를 발음 시퀀스로 변환하기 위한 발음 시퀀스 획득 모듈을 더 포함하고, 상기 공통 인코더는 상기 발음 시퀀스를 상기 개별 디코더에 입력한 결과에 따른 손실 값에 기초하여 학습될 수 있다.

한편, 상기 공통 인코더는 대조 손실 값(contrastive loss)에 기초하여 비지도 학습 방법 또는 준지도 학습 방법에 따라 학습되고, 상기 복수의 디코더는 상기 공통 인코더의 학습이 완료되면, 상기 공통 인코더와 결합된 후 상기 대조 손실 값에 기초하여 준지도 학습 방법에 따라 학습될 수 있다.

한편, 상기 음성 인식 모델은 상기 복수의 개별 인코더 각각에 대응되는 복수의 개별 디코더 및 상기 공통 인코더에 대응되는 공통 디코더를 더 포함하고, 상기 전자 장치의 제어 방법은 상기 음성 시퀀스가 획득되면, 상기 음성 시퀀스가 상기 복수의 언어 중 하나의 언어에 대응되는 정도에 대한 신뢰도 값을 산출하는 단계, 상기 신뢰도 값이 기 설정된 임계 값 미만이면, 상기 공통 인코더 및 상기 공통 디코더를 이용하여 상기 텍스트 시퀀스를 획득하는 단계 및 상기 신뢰도 값이 상기 기 설정된 임계 값 이상이면, 상기 복수의 개별 인코더 중 상기 하나의 언어에 대응되는 개별 인코더 및 상기 복수의 개별 디코더 중 상기 하나의 언어에 대응되는 개별 디코더를 이용하여 상기 텍스트 시퀀스를 획득하는 단계를 더 포함할 수 있다.

여기서, 상기 복수의 개별 인코더는 상기 복수의 개별 인코더의 출력에 따른 확률 분포 값이 상기 공통 인코더의 출력에 따른 확률 분포 값에 대응되도록 학습될 수 있다.

한편, 상기 음성 인식 모델은 상기 공통 인코더를 통해 출력되는 히든 벡터를 상기 복수의 개별 디코더에 대응되는 히든 벡터로 변환하기 위한 변환 모듈을 더 포함할 수 있다.

한편, 상기 음성 인식 모델은 상기 텍스트 시퀀스보다 작은 단위의 텍스트 시퀀스 및 상기 음성 시퀀스에 대응되는 언어에 대한 정보를 획득하기 위한 서브 모듈을 더 포함하고, 상기 전자 장치의 제어 방법은 상기 작은 단위의 텍스트 시퀀스 및 상기 음성 시퀀스에 대응되는 언어에 대한 정보를 상기 공통 인코더에 입력하여 상기 공통 디코더를 통해 상기 텍스트 시퀀스를 획득하는 단계를 더 포함할 수 있다.

상술한 바와 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따르면, 전자 장치의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서, 상기 전자 장치의 제어 방법은 사용자 음성에 대응되는 음성 시퀀스를 획득하는 단계 및 서로 다른 복수의 언어에 대한 음성 인식을 수행할 수 있는 음성 인식 모델에 상기 음성 시퀀스를 입력하여 상기 음성 시퀀스에 대응되는 텍스트 시퀀스를 획득하는 단계를 포함하고, 상기 음성 인식 모델은 상기 음성 시퀀스에 대응되는 히든 벡터(hidden vector)를 획득하기 위한 공통 인코더 및 상기 히든 벡터에 기초하여 상기 텍스트 시퀀스를 획득하기 위한 복수의 개별 디코더를 포함하고, 상기 복수의 개별 인코더 각각은 상기 복수의 언어 각각에 대응되며, 상기 공통 인코더는 상기 복수의 언어에 공통적으로 이용된다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 간략하게 나타내는 블록도,
도 2는 본 개시의 일 실시 예에 따른 공통 인코더를 포함하는 음성 인식 모델의 구성을 나타내는 도면,
도 3은 본 개시의 일 실시 예에 따른 발음 시퀀스 획득 모듈을 포함하는 음성 인식 모델의 구성을 나타내는 도면,
도 4는 본 개시의 일 실시 예에 따른 복수의 개별 인코더 및 공통 디코더를 더 포함하는 음성 인식 모델의 구성을 나타내는 도면,
도 5는 본 개시의 일 실시 예에 따른 공통 인코더를 이용하여 개별 인코더를 학습시키는 방법에 대해 설명하기 위한 도면,
도 6은 본 개시의 일 실시 예에 따른 공통 인코더를 이용하여 개별 디코더를 학습시키는 방법에 대해 설명하기 위한 도면,
도 7은 본 개시의 일 실시 예에 따른 음성 인식 모델이 복수의 변환 모듈을 더 포함하는 음성 인식 모델의 구성을 나타내는 도면,
도 8은 음성 인식 모델이 계층적인 복수의 인코더 및 복수의 디코더를 포함하도록 구현되는 실시 예를 설명하기 위한 도면,
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 상세하게 나타내는 블록도,
도 10은 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 나타내는 흐름도,
도 11은 본 개시의 다른 실시 예에 따른 전자 장치의 제어 방법을 나타내는 흐름도, 그리고,
도 12는 본 개시의 또 다른 실시 예에 따른 전자 장치의 제어 방법을 나타내는 흐름도이다.

본 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.

본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.

덧붙여, 하기 실시 예는 여러 가지 다른 형태로 변형될 수 있으며, 본 개시의 기술적 사상의 범위가 하기 실시 예에 한정되는 것은 아니다. 오히려, 이들 실시 예는 본 개시를 더욱 충실하고 완전하게 하고, 당업자에게 본 개시의 기술적 사상을 완전하게 전달하기 위하여 제공되는 것이다.

본 개시에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 권리범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 개시에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.

반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다.

대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

실시 예에 있어서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.

한편, 도면에서의 다양한 요소와 영역은 개략적으로 그려진 것이다. 따라서, 본 발명의 기술적 사상은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되지 않는다.

이하에서는 첨부한 도면을 참고하여 본 개시에 따른 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 간략하게 나타내는 블록도이다. 도 2는 본 개시의 일 실시 예에 따른 공통 인코더(210)를 포함하는 음성 인식 모델의 구성을 나타내는 도면이다. 이하에서는 도 1 및 도 2를 함께 참조하여 본 개시의 다양한 실시 예에 대해 설명한다.

본 개시에 따른 '전자 장치(100)'는 사용자 음성에 대응되는 음성 시퀀스를 음성 인식 모델에 입력하여 음성 시퀀스에 대응되는 텍스트 시퀀스를 획득할 수 있는 장치를 말한다. 예를 들어, 전자 장치(100)는 스마트폰, 태블릿 PC 등과 같은 사용자 단말일 수 있으며, 서버와 같은 장치일 수도 있다. 본 개시에 따른 전자 장치(100)의 유형에 특별한 제한이 따르는 것은 아니다.

도 1에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 전자 장치(100)는 마이크(110), 메모리(120) 및 프로세서(130)를 포함할 수 있다.

마이크(110)는 전자 장치(100)의 외부에서 발생된 사운드(sound) 또는 음성(voice)에 대한 신호를 획득할 수 있다. 구체적으로, 마이크(110)는 전자 장치(100)의 외부에서 발생된 사운드 또는 음성에 따른 진동을 획득하고, 획득된 진동을 전기적인 신호로 변환할 수 있다.

특히, 본 개시에 따른 마이크(110)는 사용자의 발화에 의해 발생된 사용자 음성에 대한 음성 신호를 획득할 수 있다. 그리고, 획득된 신호는 디지털 형태의 신호로 변환되어 메모리(120)에 저장될 수 있다. 마이크(110)는 A/D 컨버터(Analog to Digital Converter)를 포함할 수 있으며, 마이크(110) 외부에 위치한 A/D 컨버터와 연동하여 동작할 수도 있다.

메모리(120)에는 전자 장치(100)에 관한 적어도 하나의 인스트럭션(instruction)이 저장될 수 있다. 그리고, 메모리(120)에는 전자 장치(100)를 구동시키기 위한 O/S(Operating System)가 저장될 수 있다. 또한, 메모리(120)에는 본 개시의 다양한 실시 예들에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 애플리케이션이 저장될 수도 있다. 그리고, 메모리(120)는 플래시 메모리(Flash Memory) 등과 같은 반도체 메모리나 하드디스크(Hard Disk) 등과 같은 자기 저장 매체 등을 포함할 수 있다.

구체적으로, 메모리(120)에는 본 개시의 다양한 실시 예에 따라 전자 장치(100)가 동작하기 위한 각종 소프트웨어 모듈이 저장될 수 있으며, 프로세서(130)는 메모리(120)에 저장된 각종 소프트웨어 모듈을 실행하여 전자 장치(100)의 동작을 제어할 수 있다. 즉, 메모리(120)는 프로세서(130)에 의해 액세스되며, 프로세서(130)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.

한편, 본 개시에서 메모리(120)라는 용어는 메모리(120), 프로세서(130) 내 롬(미도시), 램(미도시) 또는 전자 장치(100)에 장착되는 메모리 카드(미도시)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하는 의미로 사용될 수 있다.

특히, 본 개시에 따른 다양한 실시 예에 있어서, 메모리(120)에는 음성 인식 모델에 대한 데이터가 저장될 수 있다. 여기서, 음성 인식 모델에 대한 데이터라 함은 음성 인식 모델에 포함되는 신경망을 구성하는 가중치, 각종 파라미터 및 노드 등에 대한 정보를 포함할 수 있으며, 음성 인식 모델을 학습시키기 위한 학습 데이터, 음성 인식 모델에 대한 입출력 데이터, 음성 인식 모델에 포함된 모듈들의 입출력 데이터 등을 포함할 수도 있다. 또한, 메모리(120)에는 사용자 음성에 대응되는 음성 신호와 음성 시퀀스에 대한 정보 및 음성 시퀀스에 대응되는 텍스트 시퀀스에 대한 정보가 저장될 수 있다.

그 밖에도 본 개시의 목적을 달성하기 위한 범위 내에서 필요한 다양한 정보가 메모리(120)에 저장될 수 있으며, 메모리(120)에 저장된 정보는 외부 장치로부터 수신되거나 사용자에 의해 입력됨에 따라 갱신될 수도 있다.

프로세서(130)는 전자 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 프로세서(130)는 마이크(110) 및 메모리(120)를 포함하는 전자 장치(100)의 구성과 연결되며, 상술한 바와 같은 메모리(120)에 저장된 적어도 하나의 인스트럭션을 실행함으로써, 전자 장치(100)의 동작을 전반적으로 제어할 수 있다.

프로세서(130)는 다양한 방식으로 구현될 수 있다. 예를 들어, 프로세서(130)는 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 임베디드 프로세서, 마이크(110)로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 기계(hardware Finite State Machine, FSM), 디지털 신호 프로세서(Digital Signal Processor, DSP) 중 적어도 하나로 구현될 수 있다. 한편, 본 개시에서 프로세서(130)라는 용어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 및 MPU(Main Processing Unit)등을 포함하는 의미로 사용될 수 있다.

특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(130)는 사용자 음성에 대응되는 음성 시퀀스를 음성 인식 모델에 입력하여 음성 시퀀스에 대응되는 텍스트 시퀀스를 획득할 수 있다. 구체적으로, 사용자 음성에 대응되는 음성 시퀀스가 순차적으로 획득되면, 프로세서(130)는 획득되는 음성 시퀀스를 순차적으로 음성 인식 모델에 입력하여 음성 시퀀스에 대응되는 텍스트 시퀀스를 실시간으로 획득할 수 있다.

여기서, '음성 인식 모델'은 사용자 음성을 인식하여 사용자 음성에 대응되는 텍스트 데이터를 획득하도록 학습된 신경망 모델을 말한다. 특히, 본 개시에 따른 음성 인식 모델은 서로 다른 복수의 언어에 대한 음성 인식을 수행할 수 있도록 구성될 수 있다. 음성 인식 모델은 ASR(automatic speech recognition) 모델이라고 지칭될 수 있으며, 음성 인식 모델을 구성하는 신경망은 특히 순환 신경망(Recurrent Neural Network, RNN)일 수 있다. 다만, 본 개시에 따른 음성 인식 모델을 구성하는 신경망의 종류에 특별한 제한이 따르는 것은 아니다.

특히, 음성 인식 모델은 종단간(end-to-end) 음성 인식 모델일 수 있다. 종래의 음성 인식 시스템은 일반적으로, 음향 특징을 추출하고 음소와 같은 서브 워드(sub-word)를 예측하는 AM(Acoustic Model), 음소 시퀀스를 단어 시퀀스에 매핑하는 PM(Pronunciation Model), 단어 시퀀스에 확률을 지정하는 LM(Language Model)을 포함할 수 있다. 그리고, 종래의 음성 인식 시스템에서는 AM, PM 및 LM이 서로 다른 데이터 세트에서 독립적으로 학습되는 것이 일반적이었다. 그런데, 근래에는 AM, PM 및 LM의 구성요소를 단일 신경망으로 결합하는 방식인 종단간(end-to-end) 음성 인식 모델이 개발되었는바, 본 개시에 따른 음성 인식 모델은 입력된 음성 시퀀스에 대응되는 텍스트 시퀀스(예: 음소 시퀀스, 단어 시퀀스 등)를 직접적으로 예측하는 종단간 음성 인식 모델일 수 있다.

구체적으로, 종단간 음성 인식 모델은 음성 시퀀스에 대응되는 히든 벡터(hidden vector)를 획득하기 위한 인코더 및 히든 벡터에 기초하여 텍스트 시퀀스를 획득하기 위한 디코더를 포함하는 시퀀스 투 시퀀스(sequence-to-sequence) 모델일 수 있다. 이하에서는 일 예로서, 음성 인식 모델이 RNN-T(recurrent neural network transducer) 모델에 기반한 신경망 모델인 경우를 전제로 설명한다. 다만, 실시 예에 따라서는 음성 인식 모델이 AED(attention-based encoder-decoder) 모델 등과 같은 모델로 구현될 수 있으며, 이 경우에도 본 개시에 따른 다양한 실시 예가 마찬가지로 적용될 수 있다.

도 2를 참조하면, 음성 인식 모델은 공통 인코더(210) 및 복수의 개별 인코더(210)를 포함할 수 있다. 그리고, 음성 인식 모델이 RNN-T인 경우를 전제로 할 때, 복수의 개별 인코더(210) 각각은 예측 모듈, 조인트 모듈 및 소프트맥스 모듈을 포함할 수 있다.

'공통 인코더(universal encoder, 210)'는 복수의 언어에 공통적으로 이용되는 인코더(210)를 말한다. 구체적으로, 공통 인코더(210)는 복수의 언어로 이루어진 학습 데이터에 기초하여 학습될 수 있으며, 그에 따라 입력되는 음성 시퀀스의 언어가 무엇인지에 관계 없이 음성 시퀀스에 대응되는 히든 벡터를 출력하도록 학습될 수 있다. 다시 말해, 본 개시에 따른 공통 인코더(210)는 입력되는 음성 시퀀스의 언어에 독립적으로 히든 벡터를 출력할 수 있는 언어 독립적인 모듈이라고 할 수 있다. 예를 들어, 공통 인코더(210)는 현재 시점의 음성 시퀀스를 제1 히든 벡터로 변환하여 출력할 수 있다.

'복수의 개별 디코더(individual encoder, 220)'는 복수의 언어 각각에 대응되는 디코더(220)를 말한다. 구체적으로, 복수의 개별 디코더(220)는 제1 언어의 텍스트 시퀀스를 출력할 수 있는 제1 개별 디코더(220-1), 제2 언어의 텍스트 시퀀스를 출력할 수 있는 제2 개별 디코더(220-2) 및 제1 언어의 텍스트 시퀀스를 출력할 수 있는 제1 개별 디코더(220-3)를 포함할 수 있다. 예를 들어, 음성 인식 모델이 한국어, 영어 및 일본어에 대한 음성 인식을 수행할 수 있도록 구성되는 경우, 복수의 개별 디코더(220)는 각각 한국어, 영어 및 일본어에 대한 음성 인식을 수행할 수 있도록 구성된 3 개의 디코더(220)일 수 있다.

복수의 개별 디코더(220) 각각은 도 2에 도시된 바와 같이 하나의 공통 인코더(210)에 결합되며, 인코더(210)의 출력 값인 히든 벡터에 기초하여 음성 시퀀스에 대응되는 텍스트 시퀀스를 출력할 수 있다. 공통 인코더(210)가 입력되는 음성 시퀀스의 언어에 독립적인 것과는 반대로, 복수의 개별 인코더(210) 각각은 입력되는 음성 시퀀스의 언어에 종속적인 모듈이라고 할 수 있다. 다시 말해, 복수의 개별 인코더(210) 각각은 그에 대응되는 언어로 이루어진 학습 데이터에 기초하여 해당 언어의 텍스트 시퀀스를 출력하도록 학습될 수 있다.

'예측 모듈(prediction module)'은 현재 시점 이전의 텍스트 시퀀스를 히든 벡터로 변환하여 출력할 수 있다. 예를 들어, 전술한 예와 같이 공통 인코더(210)에 의해 현재 시점의 음성 시퀀스가 제1 히든 벡터로 변환되어 출력되는 경우, 예측 모듈은 그 현재 시점 이전의 텍스트 시퀀스를 제2 히든 벡터로 변환하여 출력할 수 있다. 여기서. '제1 히든 벡터'와 '제2 히든 벡터'라는 용어는 공통 인코더(210)를 통해 출력되는 히든 벡터와 예측 모듈을 통해 출력되는 히든 벡터를 구별하여 특정하기 위한 용어로 사용된다. 예측 모듈이라는 용어는 '예측 네트워크 모듈(prediction network module)'이라는 용어로 대체될 수 있다.

'조인트 모듈(joint module)'은 인코더(210)를 통해 출력되는 히든 벡터와 예측 모듈을 통해 출력되는 히든 벡터에 기초하여 현재 시점의 음성 시퀀스에 대응되는 로짓(logit) 벡터를 출력할 수 있는 모듈을 말한다. 예를 들어, 전술한 예와 같이, 공통 인코더(210)를 통해 제1 히든 벡터가 출력되고 예측 모듈을 통해 제2 히든 벡터가 출력되면, 조인트 모듈은 제1 히든 벡터 및 제2 히든 벡터에 기초하여 현재 시점의 음성 시퀀스에 대응되는 로짓 벡터를 출력할 수 있다. 조인트 모듈이라는 용어는 '조인트 네트워크 모듈(joint network module)'이라는 용어로 대체될 수 있다.

'소프트맥스 모듈(softmax module)'은 입력된 로짓 벡터에 기초하여 현재 시점의 음성 시퀀스에 대응되는 텍스트 시퀀스를 출력할 수 있다. 구체적으로, 소프트맥스 모듈은 입력된 로짓 벡터를 0 내지 1사이의 값으로 정규화함으로써 복수의 클래스 중 현재 시점의 음성 시퀀스에 대응되는 클래스를 식별하고, 식별 결과에 따라 음성 시퀀스에 대응되는 텍스트 시퀀스를 출력할 수 있다.

전술한 바와 같이, 프로세서(130)는 서로 다른 복수의 언어로 이루어진 학습 데이터에 기초하여 공통 인코더(210)를 학습시킬 수 있다. 구체적으로, 공통 인코더(210)는 멀티 태스킹(multi-tasking) 학습에 따라 복수의 언어로 이루어진 학습 데이터로 동시에 학습될 수 있으며, 학습 결과 공통 인코더(210)는 언어에 독립적인 인코더(210)가 될 수 있다.

공통 인코더(210)가 학습되면, 프로세서(130)는 공통 인코더(210)의 학습은 프리징(freezing)시키고, 언어에 종속적인 복수의 개별 인코더(210)를 공통 인코더(210)에 결합한 후 복수의 개별 인코더(210)를 학습시킬 수 있다.

일 실시 예에 따르면, 공통 인코더(210)는 정답이 되는 레이블을 포함하는 학습 데이터에 기초하여 지도 학습(supervised learning, SL) 방법에 따라 학습될 수 있다.

다른 실시 예에 따르면, 공통 인코더(210)는 대조 손실 값(contrastive loss)에 기초하여 비지도 학습(unsupervised learning, UL) 방법 또는 준지도 학습(semi-supervised learning, SSL) 방법에 따라 학습될 수 있다. 예를 들어, 공통 인코더(210)는 공통 인코더(210)의 출력과 특정 클래스에 대한 거리에 기초하여 공통 인코더(210)의 출력을 군집화함으로써, 레이블 없이 학습될 수 있다. 즉, 공통 인코더(210)는 레이블된 학습 데이터가 없거나 부족한 경우에도 학습될 수 있다. 공통 인코더(210)의 학습이 완료되면, 복수의 디코더(220)는 공통 인코더(210)와 결합된 후 학습될 수 있다. 복수의 디코더(220)의 학습 또한 지도 학습, 비지도 학습 또는 준지도 학습 방법을 통해 수행될 수 있다.

상술한 바와 같은 학습 과정은 전자 장치(100)에 의해 on-device로 수행될 수도 있으나, 본 개시가 이에 국한되는 것은 아니다. 즉, 본 개시에 따른 음성 인식 모델과 그에 포함되는 모듈들의 학습은 외부 서버 또는 외부 장치에 의해 수행될 수 있으며, 전자 장치(100)는 외부 서버 또는 외부 장치에 의해 학습된 음성 인식 모델 또는 그에 포함되는 모듈들에 대한 데이터를 수신할 수도 있다.

상술한 바와 같이 공통 인코더(210) 및 복수의 개별 인코더(210)가 학습되면, 프로세서(130)는 학습된 공통 인코더(210) 및 학습된 복수의 개별 인코더(210)를 포함하는 음성 인식 모델을 이용하여 음성 인식 과정을 수행할 수 있다.

구체적으로, 프로세서(130)는 마이크(110)를 통해 사용자 음성에 대응되는 음성 시퀀스를 획득할 수 있다. 여기서, 음성 시퀀스라는 용어는 사용자의 발화에 의한 사용자 음성이 마이크(110)를 통해 음성 신호의 형태로 순차적으로 수신되는 경우, 그 순차적으로 수신되는 음성 신호의 집합을 특정하기 위한 용어로 사용된다. 한편, 이하에서는 전자 장치(100)에 포함된 마이크(110)를 통해 사용자 음성에 대응되는 음성 시퀀스가 획득되는 경우를 전제로 설명할 것이지만, 실시 예에 따라서는 외부 장치에 의해 음성 시퀀스가 획득되고, 전자 장치(100)가 외부 장치로부터 음성 시퀀스에 대한 정보를 수신함으로써 사용자 음성에 대응되는 음성 시퀀스가 획득될 수도 있다.

사용자 음성에 대응되는 음성 시퀀스가 획득되면, 프로세서(130)는 음성 인식 모델에 음성 시퀀스를 입력하여 음성 시퀀스에 대응되는 텍스트 시퀀스를 획득할 수 있다. 그리고, 음성 시퀀스가 획득되면, 프로세서(130)는 복수의 언어 중 획득된 음성 시퀀스에 대응되는 언어를 식별하고, 복수의 개별 디코더(220) 중 식별된 언어에 대응되는 개별 디코더(220) 및 공통 인코더(210)를 이용하여 텍스트 시퀀스를 획득할 수 있다. 예를 들어, 음성 시퀀스에 대응되는 언어가 한국어인 것으로 식별되면, 프로세서(130)는 복수의 개별 디코더(220) 중 한국어에 대응되는 개별 디코더(220)와 함께 언어 독립적인 공통 인코더(210)를 이용하여 텍스트 시퀀스를 획득할 수 있다.

여기서, 복수의 언어 중 획득된 음성 시퀀스에 대응되는 언어를 식별하는 과정은 음성 시퀀스가 복수의 언어 각각에 대응되는 정도에 대한 신뢰도 값(confidence score), 가능도(likelihood) 값 및 확률 중 적어도 하나를 산출하는 과정을 통해 수행될 수 있다.

한편, 이상에서는 학습된 공통 인코더(210) 및 학습된 복수의 개별 디코더(220)를 포함하는 음성 인식 모델을 이용하여 음성 인식 과정이 수행되는 실시 예에 대해 설명하였으나, 음성 인식 모델은 학습된 공통 인코더(210) 및 사용자에 의해 선택된 언어에 대응되는 개별 디코더(220)를 포함하는 형태로 메모리(120)에 저장될 수도 있다.

구체적으로, 공통 인코더(210) 및 복수의 개별 디코더(220)가 외부 서버에 의해 학습된 경우, 프로세서(130)는 적어도 하나의 언어를 선택하기 위한 사용자 입력을 수신할 수 있다. 그리고, 프로세서(130)는 복수의 개별 디코더(220) 중 사용자 입력에 대응되는 개별 디코더(220)에 대한 정보만을 서버로부터 수신하고, 그에 따라 공통 디코더(220) 및 사용자에 의해 선택된 언어에 대응되는 개별 디코더(220)를 포함하는 음성 인식 모델을 on-device로 구현할 수도 있다.

도 1 및 도 2를 참조하여 상술한 실시 예에 따르면, 음성 인식 모델에 서로 다른 복수의 언어에 공통적으로 이용되는 공통 인코더(210)가 포함됨에 따라 음성 인식 시스템을 간소화할 수 있게 된다.

특히, 음성 인식 모델에 있어서 언어에 독립적인 부분은 언어에 종속적인 부분에 비해 데이터의 크기가 훨씬 큰 것이 일반적이기 때문에, 본 개시에 따른 일 실시 예와 같이 복수의 개별 인코더(210)가 하나의 공통 인코더(210)를 공유하게 되면, 음성 인식 모델의 크기를 줄일 수 있고 그에 따라 음성 인식 시스템의 효율성이 현저하게 향상될 수 있다.

또한, 사용자가 특정 언어를 선택하는 경우, 전자 장치(100)는 그 선택된 언어에 대응되는 개별 디코더(220)만을 학습시키거나 서버로부터 선택된 언어에 대응되는 개별 디코더(220)에 대한 정보만을 수신하고, 선택된 언어에 대응되는 개별 디코더(220)를 공통 인코더(210)에 결합하여 사용자가 필요로 하는 음성 인식 모델을 구현할 수 있는바, 사용성 면에서도 장점이 있다.

도 3은 본 개시의 일 실시 예에 따른 발음 시퀀스 획득 모듈을 포함하는 음성 인식 모델의 구성을 나타내는 도면이다.

도 3을 참조하면, 본 개시에 따른 음성 인식 모델은 인코더(310) 및 디코더(320)뿐만 아니라 발음 시퀀스 획득 모듈을 더 포함할 수 있다. 도 3에서는 하나의 공통 인코더(310) 및 하나의 개별 인코더(310)를 포함하는 음성 인식 모델에 대해 도시하였으나, 이는 설명의 편의를 위한 것일 뿐이며, 발음 시퀀스 획득 모듈은 본 개시에 따른 다양한 음성 인식 모델의 구성에 포함될 수 있다.

'발음 시퀀스 획득 모듈(pronunciation sequence acquisition module)'은 텍스트 시퀀스를 발음 시퀀스로 변환할 수 있는 모듈을 말한다. 예를 들어, 발음 시퀀스 획득 모듈은 그래핌(graphem)을 음소(phoneme)으로 변환할 수 있는 G2P(graphem to phoneme) 모듈일 수 있다. 발음 시퀀스 획득 모듈은 학습 데이터에 포함된 음성 시퀀스에 기초하여 그 음성 시퀀스에 대응되는 발음 시퀀스, 예를 들어 전세계 모든 언어에 대한 발음 표준이라고 할 수 있는 global phone(예: international　phonetic alphabet, IPA)을 획득할 수 있다.

발음 시퀀스가 획득되면, 프로세서(130)는 학습 데이터에 포함된 음성 시퀀스 및 획득된 발음 시퀀스를 개별 디코더(320)에 입력한 결과에 따른 손실 값에 기초하여, 공통 인코더(310)를 학습시킬 수 있다. 예를 들어, 손실 값은 CTC(connectionist temporal classification) 손실 값일 수 있으며, 뿐만 아니라 크로스 엔트로피(cross entropy) 손실 값 또는 CTC 손실 값과 크로스 엔트로피 손실 값 양 자의 결합에 따른 조인트 손실 값일 수도 있다.

도 3을 참조하여 상술한 실시 예에 따르면, 언어의 종류에 상관 없이 표준적인 기준에 따른 발음 시퀀스에 기초하여 공통 인코더(310)를 학습시킴으로써, 다양한 언어에 대한 학습 데이터 없이도 인코더(310)를 학습시킬 수 있게 된다. 다시 말해, 전자 장치(100)는 적은 수의 언어 종류를 갖는 학습 데이터 또는 단일 언어로 이루어진 학습 데이터에 기초하여 공통 인코더(310)를 학습시킬 수 있게 된다.

도 4는 본 개시의 일 실시 예에 따른 복수의 개별 인코더(410-1, 410-2, 410-3) 및 공통 디코더(420-4)를 더 포함하는 음성 인식 모델의 구성을 나타내는 도면이다.

도 4에 도시된 바와 같이, 본 개시에 따른 음성 인식 모델은 공통 인코더(410-4) 및 복수의 개별 디코더(420-1, 420-2, 420-3)뿐만 아니라, 복수의 개별 인코더(410-1, 410-2, 410-3) 및 공통 디코더(420-4)를 더 포함할 수 있다. 여기서, '복수의 개별 인코더(410-1, 410-2, 410-3)'는 복수의 개별 디코더(420-1, 420-2, 420-3) 각각에 대응되는 인코더(410)를 말하며, '공통 디코더(420-4)'는 공통 인코더(410-4)에 대응되는 디코더(420)를 말한다.

즉, 도 4의 실시 예에 따르면, 본 개시에 따른 음성 인식 모델은 복수의 언어 각각에 대응되는 개별 인코더(410-1, 410-2, 410-3)와 개별 디코더(420-1, 420-2, 420-3), 그리고 복수의 언어에 공통적으로 이용되는 공통 인코더(410-4)와 공통 디코더(420-4)를 모두 포함할 수 있다. 도 4의 예시를 참조하면, 음성 인식 모델은 영어에 대응되는 개별 인코더(410-1) 및 개별 디코더(420-1), 영어에 대응되는 개별 인코더(410-2) 및 개별 디코더(420-2), 영어에 대응되는 개별 인코더(410-3) 및 개별 디코더(420-3), 그리고, 언어에 무관한 공통 인코더(410-4) 및 공통 디코더(420-4)를 포함할 수 있다.

음성 인식 모델이 도 4와 같이 구현되는 경우, 프로세서(130)는 음성 시퀀스의 언어에 대응되는 개별 인코더(410-1, 410-2, 410-3) 및 개별 디코더(420-1, 420-2, 420-3)를 이용하여 텍스트 시퀀스를 획득하거나, 음성 시퀀스의 언어에 관계 없이 이용될 수 있는 공통 인코더(410-4) 및 공통 디코더(420-4)를 이용하여 텍스트 시퀀스를 획득할 수 있다.

구체적으로, 음성 시퀀스가 획득되면, 프로세서(130)는 음성 시퀀스가 복수의 언어 중 하나의 언어에 대응되는 정도에 대한 신뢰도 값을 산출할 수 있다. 여기서, 신뢰도 값은 음성 시퀀스의 언어가 무엇인지를 나타내는 지표를 말하며, 전술한 바와 같이 신뢰도 값 대신 가능도 값 및 확률 등과 같은 다양한 종류의 공지된 지표가 이용될 수도 있다.

신뢰도 값이 기 설정된 임계 값 미만이면, 프로세서(130)는 공통 인코더(410-4) 및 공통 디코더(420-4)를 이용하여 텍스트 시퀀스를 획득할 수 있다. 다시 말해, 음성 시퀀스의 언어가 무엇인지 명확하게 특정하기 어려운 경우라면, 프로세서(130)는 음성 시퀀스의 언어에 관계 없이 이용될 수 있는 공통 인코더(410-4) 및 공통 디코더(420-4)를 이용하여 텍스트 시퀀스를 획득할 수 있다.

신뢰도 값이 기 설정된 임계 값 이상이면, 프로세서(130)는 복수의 개별 인코더(410-1, 410-2, 410-3) 중 하나의 언어에 대응되는 개별 인코더(410-1, 410-2, 410-3) 및 복수의 개별 디코더(420-1, 420-2, 420-3) 중 하나의 언어에 대응되는 개별 디코더(420-1, 420-2, 420-3)를 이용하여 텍스트 시퀀스를 획득할 수 있다. 다시 말해, 음성 시퀀스의 언어가 무엇인지 명확하게 특정할 수 있는 경우라면, 프로세서(130)는 음성 시퀀스의 언어에 대응되는 개별 인코더(410-1, 410-2, 410-3) 및 개별 디코더(420-1, 420-2, 420-3)를 이용하여 텍스트 시퀀스를 획득할 수 있다.

한편, 상술한 바와 같이 음성 시퀀스에 대응되는 언어를 식별하는 과정과 식별 결과에 따른 과정은 실시간으로 수행될 수 있다. 그리고, 개별 디코더(420-1, 420-2, 420-3)의 출력과 공통 디코더(420-4)의 출력을 함께 이용하여 음성 인식 모델을 학습시키거나 음성 인식 모델에 따른 추론 과정을 수행하면, 보다 높은 정확도를 갖는 음성 인식을 수행할 수도 있다.

도 4를 참조하여 상술한 실시 예에 따르면, 음성 시퀀스의 언어가 무엇인지 명확하게 특정하기 어려운 경우에는 공통 인코더(410-4) 및 공통 디코더(420-4)를 이용하여 음성 시퀀스에 대응되는 텍스트 시퀀스를 획득함으로써 음성 인식 과정의 지연 시간(latency)를 감소시킬 수 있으며, 음성 시퀀스의 언어가 무엇인지 명확하게 특정할 수 있는 경우에는 더 높은 음성 인식의 성능을 가질 수 있는 개별 디코더(420-1, 420-2, 420-3)를 이용함으로써 음성 인식의 효과를 높일 수 있다.

도 5는 본 개시의 일 실시 예에 따른 공통 인코더(510-2)를 이용하여 개별 인코더(510-1)를 학습시키는 방법에 대해 설명하기 위한 도면이다. 그리고, 도 6은 본 개시의 일 실시 예에 따른 공통 인코더(510-2)를 이용하여 개별 디코더를 학습시키는 방법에 대해 설명하기 위한 도면이다.

도 5에서는 하나의 개별 인코더(510-1)만을 도시하였고, 도 6에서는 하나의 개별 인코더(610-1)와 하나의 개별 디코더(620)에 대해 도시하였으나, 실시 예에 따라서는 복수의 개별 인코더 및 복수의 개별 디코더를 포함할 수 있다. 따라서, 이하에서는 복수의 개별 인코더 및 복수의 개별 디코더라는 용어를 사용하여 설명한다.

복수의 개별 인코더(510-1)는 복수의 개별 인코더(510-1)에 대응되는 언어로 구성된 학습 데이터에 기초하여 학습될 수 있다. 그런데, 특정 언어에 대한 학습 데이터가 구축되지 않거나 그 양이 부족한 반면, 공통 인코더(510-2)는 충분히 학습된 경우가 있을 수 있다. 이 경우, 프로세서(130)는 공통 인코더(510-2)를 이용하여 개별 인코더(510-1)를 학습시킬 수 있다.

도 5를 참조하면, 프로세서(130)는 프로세서(130)는 공통 인코더(510-2)를 선생(teacher)으로 하고 특정 언어(도 5의 예시에 따르면, 일어)에 대응되는 개별 인코더(510-1)를 학생(student)으로 하는 지식 증류(knowledge distillation) 기법을 수행할 수 있다. 구체적으로, 프로세서(130)는 복수의 개별 인코더(510-1)의 출력에 따른 확률 분포 값이 공통 인코더(510-2)의 출력에 따른 확률 분포 값에 대응되도록 하는 지식 증류 기법을 이용하여 복수의 개별 인코더(510-1)를 학습시킬 수 있다.

한편, 복수의 개별 인코더(610-1)뿐만 아니라, 복수의 개별 디코더(620) 또한 복수의 개별 디코더(620)에 대응되는 언어로 구성된 학습 데이터에 기초하여 학습될 수 있다. 그런데, 전술한 바와 같이 그런데, 특정 언어에 대한 학습 데이터가 구축되지 않거나 그 양이 부족한 반면, 공통 인코더(610-2)는 충분히 학습된 경우가 있을 수 있다. 이 경우, 프로세서(130)는 공통 인코더(610-2)의 출력을 특정 언어에 대응되도록 변환하고, 변환된 출력을 특정 언어에 대응되는 개별 디코더(620)의 학습에 이용할 수 있다. 개별 디코더(620)가 학습되는 동안 공통 인코더(610-2)의 학습은 중지될 수 있다.

구체적으로, 도 6을 참조하면, 본 개시에 따른 음성 인식 모델은 변환 모듈(630)을 더 포함할 수 있다. '변환 모듈(conversion module, 630)'은 공통 인코더(610-2)를 통해 출력되는 히든 벡터를 복수의 개별 디코더(620)에 대응되는 히든 벡터로 변환하기 위한 모듈을 말한다. 변환 모듈(630)은 입력된 히든 벡터를 특정 언어에 적합한 히든 벡터로 변환하여 출력하도록 학습된 신경망을 포함할 수 있다. 프로세서(130)는 변환 모듈(630)을 통해 공통 인코더(610-2)의 출력을 특정 언어에 대응되도록 변환하고, 변환된 출력을 특정 언어에 대응되는 개별 디코더(620)의 학습에 이용할 수 있다.

도 5 및 도 6을 참조하여 상술한 실시 예에 따르면, 특정 언어에 대한 학습 데이터가 구축되지 않거나 그 양이 부족한 반면, 공통 인코더는 충분히 학습된 경우, 공통 인코더를 이용하여 개별 인코더 또는 개별 디코더를 효율적으로 학습시킬 수 있게 된다.

도 7은 본 개시의 일 실시 예에 따른 음성 인식 모델이 복수의 변환 모듈(730)을 더 포함하는 음성 인식 모델의 구성을 나타내는 도면이다.

도 7에 도시된 바와 같이, 본 개시에 따른 음성 인식 모델은 복수의 언어에 공통적으로 이용되는 공통 인코더(710), 복수의 언어 각각에 대응되는 복수의 개별 디코더(720)뿐만 아니라, 복수의 언어 각각에 대응되는 복수의 변환 모듈(730)을 더 포함할 수 있다. 예를 들어, 음성 인식 모델은 복수의 언어에 공통적으로 이용되는 공통 인코더(710)를 포함하며, 또한 영어에 대응되는 변환 모듈(730-1) 및 개별 디코더(720-1), 국어에 대응되는 변환 모듈(730-2) 및 개별 디코더(720-2), 그리고 일어에 대응되는 변환 모듈(730-3) 및 개별 디코더(720-3)를 더 포함할 수 있다.

도 6을 참조하여 전술한 바와 같이, 복수의 변환 모듈(730)은 공통 인코더(710)를 통해 출력되는 히든 벡터를 복수의 개별 디코더(720)에 대응되는 히든 벡터로 변환할 수 있다. 복수의 변환 모듈(730)은 입력된 히든 벡터를 특정 언어에 적합한 히든 벡터로 변환하여 출력하도록 학습된 신경망을 포함할 수 있다. 예를 들어, 영어에 대응되는 변환 모듈(730)은 공통 인코더(710)를 통해 출력되는 히든 벡터를 영어에 대응되는 개별 디코더(720)에 적합한 히든 벡터로 변환하도록 학습될 수 있으며, 국어에 대응되는 변환 모듈(730)은 공통 인코더(710)를 통해 출력되는 히든 벡터를 국어에 대응되는 개별 디코더(720)에 적합한 히든 벡터로 변환하도록 학습될 수 있고, 일어에 대응되는 변환 모듈(730)은 공통 인코더(710)를 통해 출력되는 히든 벡터를 일어에 대응되는 개별 디코더(720)에 적합한 히든 벡터로 변환하도록 학습될 수 있다.

공통 인코더(710)를 통해 출력되는 히든 벡터가 복수의 개별 디코더(720)에 대응되는 언어에 적합한 히든 벡터로 변환되면, 프로세서(130)는 변환된 히든 벡터를 그에 대응되는 개별 디코더(720)에 입력함으로써 음성 시퀀스에 대응되는 텍스트 시퀀스를 획득할 수 있다.

도 7을 참조하여 상술한 실시 예에 따르면, 공통 인코더(710)를 통해 출력되는 히든 벡터를 각각의 언어에 적합한 히든 벡터로 변환하여 각각의 개별 디코더(720)에 입력함으로써, 음성 인식의 성능을 향상시킬 수 있게 된다.

구체적으로, 공통 인코더(710)가 충분히 학습된 경우에는 공통 인코더(710)를 통해 출력되는 히든 벡터를 복수의 개별 디코더(720)에 입력하더라도 음성 인식의 성능이 담보될 수 있다. 그러나, 공통 인코더(710)가 충분히 학습되지 않은 경우에는 공통 인코더(710)를 통해 출력되는 히든 벡터를 복수의 개별 디코더(720)에 입력하면 만족할 만한 음성 인식이 수행되지 않을 수 있다.

이 경우, 공통 인코더(710)를 통해 출력되는 히든 벡터를 복수의 개별 디코더(720)에 대응되는 언어에 적합한 히든 벡터로 변환하고, 변환된 히든 벡터를 복수의 개별 디코더(720)에 입력하면, 음성 인식의 성능을 향상시킬 수 있다. 다시 말해, 프로세서(130)는 언어 독립적인 공통 인코더(710)를 통해 출력되는 히든 벡터를 특정 언어에 종속시키기 위해 특정 언어에 대응되는 히든 벡터로 변환한 후 언어 종속적인 개별 디코더(720)를 통해 음성 시퀀스에 대응되는 텍스트 시퀀스를 획득할 수 있다.

도 8은 음성 인식 모델이 계층적인 복수의 인코더(810) 및 복수의 디코더(820)를 포함하도록 구현되는 실시 예를 설명하기 위한 도면이다.

이상에서는 음성 인식 모델이 하나의 인코더(810)만을 포함하는 실시 예(도 2, 도 3 및 도 7 참조), 그리고 복수의 인코더(810)를 포함하더라도 복수의 인코더(810)가 서로 다른 복수의 언어(또는 언어 공통) 각각에 대응되도록 병렬적으로 구성되는 실시 예(도 4 내지 도 6)에 대해 상술한 바 있다. 그런데, 본 개시의 일 실시 예에 따르면, 음성 인식 모델은 계층적으로 구현된 복수의 인코더(810) 및 복수의 디코더(820)를 포함할 수 있다.

도 8을 참조하면, 본 개시에 따른 음성 인식 모델은 제1 인코더(810-1), 제1 디코더(820-1), 제1 중간 인코더(830-1), 제2 인코더(810-2), 제2 디코더(820-2), ?? , 제n-1 중간 인코더(830-2), 제n 인코더(810-3) 및 제n 디코더(820-3)를 포함할 수 있다.

구체적으로, 제1 인코더(810-1) 및 제1 디코더(820-1)의 쌍은 음성 시퀀스에 기초하여 제1 단위의 텍스트 시퀀스를 획득할 수 있다. 예를 들어, 제1 단위의 텍스트 시퀀스는 도 8의 예시와 같이 음소(phoneme) 단위의 텍스트 시퀀스일 수 있다. 제1 인코더(810-1) 및 제1 디코더(820-1)의 쌍을 통해 획득된 제1 단위의 텍스트 시퀀스는 제1 중간 인코더(830-1)를 통해 제2 디코더(820-2)에 입력될 수 있다. 한편, 제1 인코더(810-1) 및 제1 디코더(820-1)의 쌍을 통해 획득된 제1 단위의 텍스트 시퀀스는 스트리밍 디코딩을 통해 출력될 수도 있다.

제2 인코더(810-2) 및 제2 디코더(820-2)의 쌍은 음성 시퀀스 및 제1 단위의 텍스트 시퀀스에 기초하여 제2 단위의 텍스트 시퀀스를 획득할 수 있다. 여기서, 제2 단위의 텍스트 시퀀스는 제1 단위의 시퀀스보다 큰 텍스트의 단위를 말하며, 도 8의 예시와 같이 음절(syllable)과 같은 단위일 수 있다.

한편, 제1 인코더(810-1) 및 제1 디코더(820-1)의 쌍은 음성 시퀀스에 대응되는 언어에 대한 식별 정보(도 8의 언어 ID)를 획득할 수 있다. 제1 인코더(810-1) 및 제1 디코더(820-1)의 쌍을 통해 획득된 언어에 대한 식별 정보는 제2 인코더(810-2) 및 제2 디코더(820-2)에 입력될 수 있으며, 이에 따라 제2 인코더(810-2) 및 제2 디코더(820-2)가 음성 시퀀스의 언어에 기초하여 동작할 수 있게 된다.

제n-1 중간 인코더(830-2), 제n 인코더(810-3) 및 제n 디코더(820-3)에 의해 수행되는 동작은 제1 중간 인코더(830-1), 제2 인코더(810-2) 및 제2 디코더(820-2)에 의해 수행되는 동작과 마찬가지이며, 다만 출력되는 텍스트의 단위가 제2 인코더(810-2) 및 제2 디코더(820-2)의 경우에 비해 크도록 구성될 뿐인바, 동일한 내용에 대한 중복 설명은 생략한다.

한편, 도 8과 같은 음성 인식 모델에서, 제1 인코더(810-1), 제1 디코더(820-1), 제2 인코더(810-2), 제2 디코더(820-2), ?? , 제n 인코더(810-3) 및 제n 디코더(820-3) 중 적어도 하나는 본 개시에 따른 공통 인코더 또는 공통 디코더로 구현될 수 있다. 예를 들어, 제2 인코더(810-2) 및 제2 디코더(820-2)는 본 개시에 따른 공통 인코더 및 공통 디코더일 수 있으며, 제1 인코더(810-1) 및 제1 디코더(820-1)는 제2 인코더(810-2) 및 제2 디코더(820-2)를 위한 서브 모듈의 역할을 수행할 수 있다.

즉, 본 개시에 따른 음성 인식 모델은 최종적으로 출력되는 텍스트 시퀀스보다 작은 단위의 텍스트 시퀀스, 그리고 음성 시퀀스에 대응되는 언어에 대한 정보를 획득하기 위한 서브 모듈을 더 포함할 수 있다. 그리고, 프로세서(130)는 작은 단위의 텍스트 시퀀스 및 음성 시퀀스에 대응되는 언어에 대한 정보를 공통 인코더(810)에 입력하여 공통 디코더(820)를 통해 텍스트 시퀀스를 획득할 수 있다.

한편, 최종적인 디코더(820-3)는 모든 언어에 공통적인 공통 디코더로 구현될 수 있을 뿐만 아니라, 각 언어에 대응되는 개별 디코더로 분할될 수 있다.

도 8을 참조하여 상술한 실시 예에 따르면, 전자 장치(100)는 계층적인 복수의 인코더(810) 및 복수의 디코더(820)를 이용하여 작은 단위의 텍스트 시퀀스와 큰 단위의 텍스트 시퀀스를 획득하고, 이를 이용하여 음성 인식을 수행할 수 있는바, 이에 따르면 개별적인 언어에 종속적인 인코더(810) 및 디코더(820)를 포함하는 경우에 비해 음성 인식 모델의 크기가 감소될 수 있으며, 음성 인식의 성능 또한 향상될 수 있고, 언어 간 코드의 전환이 용이해 질 수 있다.

또한, 하위 계층의 인코더(810-1) 및 디코더(820-1)를 이용하여 음성 시퀀스의 언어에 대한 식별 정보를 획득하고 이를 상위 계층의 인코더(810-2, 810-n) 및 디코더(820-2, 820-n)에서 이용함으로써, 상위 계층의 인코더(810) 및 디코더(820)의 성능이 더욱 향상될 수 있다.

도 9는 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 상세하게 나타내는 블록도이다.

도 9에 도시된 바와 같이, 본 개시의 일 실시 예에 따른 전자 장치(100)는 마이크(110), 메모리(120) 및 프로세서(130)뿐만 아니라, 통신부(140), 입력부(150) 및 출력부(160)를 더 포함할 수 있다. 그러나, 도 1 및 도 9에 도시된 바와 같은 구성들은 예시적인 것에 불과할 뿐이며, 본 개시를 실시함에 있어 도 1 및 도 9에 도시된 바와 같은 구성에 더하여 새로운 구성이 추가되거나 일부 구성이 생략될 수 있음은 물론이다.

통신부(140)는 회로를 포함하며, 외부 장치와의 통신을 수행할 수 있다. 구체적으로, 프로세서(130)는 통신부(140)를 통해 연결된 외부 장치로부터 각종 데이터 또는 정보를 수신할 수 있으며, 외부 장치로 각종 데이터 또는 정보를 전송할 수도 있다.

통신부(140)는 WiFi 모듈, Bluetooth 모듈, 무선 통신 모듈, NFC 모듈 및 및 UWB 모듈(Ultra Wide Band) 중 적어도 하나를 포함할 수 있다. 구체적으로, WiFi 모듈과 Bluetooth 모듈 각각은 WiFi 방식, Bluetooth 방식으로 통신을 수행할 수 있다. WiFi 모듈이나 Bluetooth 모듈을 이용하는 경우에는 SSID 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다.

또한, 무선 통신 모듈은 IEEE, Zigbee, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), 5G(5th Generation) 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다. 그리고, NFC 모듈은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 통신을 수행할 수 있다. 또한, UWB 모듈은 UWB 안테나 간 통신을 통하여, 펄스가 목표물에 도달하는 시간인 ToA(Time of Arrival), 송신 장치에서의 펄스 도래각인 AoA(Ange of Arrival)을 정확히 측정할 수 있고, 이에 따라 실내에서 수십 cm 이내의 오차 범위에서 정밀한 거리 및 위치 인식이 가능하다.

특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(130)는 통신부(140)를 통해 외부 장치로부터 음성 인식 모델에 대한 데이터, 예를 들어, 음성 인식 모델에 포함되는 신경망을 구성하는 가중치, 각종 파라미터 및 노드 등에 대한 정보를 수신할 수 있다. 또한, 프로세서(130)는 통신부(140)를 통해 외부 장치로부터 음성 인식 모델을 학습시키기 위한 학습 데이터, 음성 인식 모델에 대한 입출력 데이터, 음성 인식 모델에 포함된 모듈들의 입출력 데이터 등을 수신할 수도 있다.

입력부(150)는 회로를 포함하며, 프로세서(130)는 입력부(150)를 통해 전자 장치(100)의 동작을 제어하기 위한 사용자 명령을 수신할 수 있다. 구체적으로, 입력부(150)는 카메라(미도시), 및 리모컨 신호 수신부(미도시) 등과 같은 구성으로 이루어 질 수 있다. 그리고, 입력부(150)는 터치 스크린으로서 디스플레이에 포함된 형태로 구현될 수도 있다.

특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(130)는 입력부(150)를 통해 적어도 하나의 언어를 선택하기 위한 사용자 입력을 수신할 수 있다. 그리고, 프로세서(130)는 복수의 개별 디코더 중 사용자 입력에 대응되는 개별 디코더에 대한 정보만을 서버로부터 수신하고, 그에 따라 공통 디코더 및 사용자에 의해 선택된 언어에 대응되는 개별 디코더를 포함하는 음성 인식 모델을 on-device로 구현할 수 있다.

출력부(160)는 회로를 포함하며, 프로세서(130)는 출력부(160)를 통해 전자 장치(100)가 수행할 수 있는 다양한 기능을 출력할 수 있다. 그리고, 출력부(160)는 디스플레이, 스피커 및 인디케이터 중 적어도 하나를 포함할 수 있다.

디스플레이는 프로세서(130)의 제어에 의하여 영상 데이터를 출력할 수 있다. 구체적으로, 디스플레이는 프로세서(130)의 제어에 의하여 메모리(120)에 기 저장된 영상을 출력할 수 있다. 특히, 본 개시의 일 실시 예에 따른 디스플레이는 메모리(120)에 저장된 사용자 인터페이스(User Interface)를 표시할 수도 있다. 디스플레이는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으며, 또한 디스플레이는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다. 다만, 본 개시에 따른 디스플레이가 특정한 종류에 한정되는 것은 아니다.

스피커는 프로세서(130)의 제어에 의하여 오디오 데이터를 출력할 수 있으며, 인디케이터는 프로세서(130)의 제어에 의하여 점등될 수 있다.

특히, 본 개시에 따른 다양한 실시 예에 있어서, 프로세서(130)는 음성 시퀀스에 대응되는 텍스트 시퀀스를 표시하도록 디스플레이를 제어할 수 있다. 프로세서(130)는 음성 인식 과정이 수행되고 있음은 나타내는 알림 또는 음성 인식이 완료되었음을 나타내는 알림 등과 같은 알림을 표시하도록 인디케이터를 제어할 수 있다. 프로세서(130)는 자연어 이해(natural　language understanding, NLU)　모델을 이용하여 텍스트 시퀀스에 대한 응답 시퀀스를 획득하고, 획득된 응답 시퀀스를 표시하도록 디스플레이를 제어할 수 있다. 그리고, 프로세서(130)는 음성 합성(text-to-speech, TTS) 모델을 이용하여 응답 시퀀스에 대응되는 음성 신호를 획득하고, 획득된 음성 신호를 출력하도록 스피커를 제어할 수도 있다.

도 10은 본 개시의 일 실시 예에 따른 전자 장치(100)의 제어 방법을 나타내는 흐름도이다.

도 10을 참조하면, 전자 장치(100)는 사용자 음성에 대응되는 음성 시퀀스를 획득할 수 있다(S1010). 구체적으로, 전자 장치(100)는 전자 장치(100)에 포함된 마이크(110)를 통해 사용자 음성에 대응되는 음성 시퀀스를 획득할 수 있다. 또한, 전자 장치(100)는 외부 장치로부터 음성 시퀀스에 대한 정보를 수신함으로써 사용자 음성에 대응되는 음성 시퀀스를 획득할 수도 있다.

음성 시퀀스가 획득되면, 전자 장치(100)는 복수의 언어에 공통적으로 이용되는 공통 인코더 및 복수의 언어 각각에 대응되는 개별 디코더를 포함하는 음성 인식 모델에 음성 시퀀스를 입력하여 음성 시퀀스에 대응되는 텍스트 시퀀스를 획득할 수 있다(S1020). 구체적으로, 음성 시퀀스가 획득되면, 전자 장치(100)는 복수의 언어 중 획득된 음성 시퀀스에 대응되는 언어를 식별하고, 복수의 개별 디코더 중 식별된 언어에 대응되는 개별 디코더와 함께, 공통 인코더를 이용하여 텍스트 시퀀스를 획득할 수 있다.

본 개시에 따른 음성 인식 모델의 구조, 그리고 공통 인코더와 복수의 개별 디코더에 대해서는 전술한 바 있으므로 동일한 내용에 대한 중복 설명은 생략한다.

도 11은 본 개시의 다른 실시 예에 따른 전자 장치(100)의 제어 방법을 나타내는 흐름도이다.

도 11을 참조하면, 전자 장치(100)는 사용자 음성에 대응되는 음성 시퀀스를 획득할 수 있다(S1110). 그리고, 음성 시퀀스가 획득되면, 전자 장치(100)는 복수의 언어 중 획득된 음성 시퀀스에 대응되는 언어를 식별할 수 있다(S1120). 여기서, 복수의 언어 중 획득된 음성 시퀀스에 대응되는 언어를 식별하는 과정은 음성 시퀀스가 복수의 언어 각각에 대응되는 정도에 대한 신뢰도 값(confidence score), 가능도(likelihood) 값 및 확률 중 적어도 하나를 산출하는 과정을 통해 수행될 수 있다.

음성 시퀀스에 대응되는 언어가 식별되면, 전자 장치(100)는 복수의 개별 디코더 중 식별된 언어에 대응되는 개별 디코더 및 공통 인코더를 이용하여 텍스트 시퀀스를 획득할 수 있다(S1130). 예를 들어, 음성 시퀀스에 대응되는 언어가 한국어인 것으로 식별되면, 전자 장치(100)는 복수의 개별 디코더 중 한국어에 대응되는 개별 디코더와 함께 언어 독립적인 공통 인코더를 이용하여 텍스트 시퀀스를 획득할 수 있다.

도 12는 본 개시의 또 다른 실시 예에 따른 전자 장치(100)의 제어 방법을 나타내는 흐름도이다.

도 12를 참조하면, 전자 장치(100)는 사용자 음성에 대응되는 음성 시퀀스를 획득할 수 있다(S1210). 그리고, 음성 시퀀스가 획득되면, 전자 장치(100)는 수신된 음성 시퀀스가 복수의 언어 중 하나의 언어에 대응되는 정도에 대한 신뢰도 값을 산출할 수 있다(S1220).

식별 결과 신뢰도 값이 기 설정된 임계 값 미만이면, 전자 장치(100)는 공통 인코더 및 공통 디코더를 이용하여 텍스트 시퀀스를 획득할 수 있다. 다시 말해, 음성 시퀀스의 언어가 무엇인지 명확하게 특정하기 어려운 경우라면, 전자 장치(100)는 음성 시퀀스의 언어에 관계 없이 이용될 수 있는 공통 인코더 및 공통 디코더를 이용하여 텍스트 시퀀스를 획득할 수 있다.

신뢰도 값이 기 설정된 임계 값 이상이면, 전자 장치(100)는 복수의 개별 인코더 중 하나의 언어에 대응되는 개별 인코더 및 복수의 개별 디코더 중 하나의 언어에 대응되는 개별 디코더를 이용하여 텍스트 시퀀스를 획득할 수 있다. 다시 말해, 음성 시퀀스의 언어가 무엇인지 명확하게 특정할 수 있는 경우라면, 전자 장치(100)는 음성 시퀀스의 언어에 대응되는 개별 인코더 및 개별 디코더를 이용하여 텍스트 시퀀스를 획득할 수 있다.

한편, 상술한 바와 같이 음성 시퀀스에 대응되는 언어를 식별하는 과정과 식별 결과에 따른 과정은 실시간으로 수행될 수 있다. 그리고, 개별 디코더의 출력과 공통 디코더의 출력을 함께 이용하여 음성 인식 모델을 학습시키거나 음성 인식 모델에 따른 추론 과정을 수행하면, 보다 높은 정확도를 갖는 음성 인식을 수행할 수도 있다.

한편, 상술한 실시 예에 따른 전자 장치(100)의 제어 방법은 프로그램으로 구현되어 전자 장치(100)에 제공될 수 있다. 특히, 전자 장치(100)의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.

구체적으로, 전자 장치(100)의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서, 전자 장치(100)의 제어 방법은 사용자 음성에 대응되는 음성 시퀀스를 획득하는 단계 및 서로 다른 복수의 언어에 대한 음성 인식을 수행할 수 있는 음성 인식 모델에 음성 시퀀스를 입력하여 음성 시퀀스에 대응되는 텍스트 시퀀스를 획득하는 단계를 포함하고, 음성 인식 모델은 음성 시퀀스에 대응되는 히든 벡터(hidden vector)를 획득하기 위한 공통 인코더 및 히든 벡터에 기초하여 텍스트 시퀀스를 획득하기 위한 복수의 개별 디코더를 포함하고, 복수의 개별 인코더 각각은 복수의 언어 각각에 대응되며, 공통 인코더는 복수의 언어에 공통적으로 이용될 수 있다.

이상에서 전자 장치(100)의 제어 방법, 그리고 전자 장치(100)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해 간략하게 설명하였으나, 이는 중복 설명을 생략하기 위한 것일 뿐이며, 전자 장치(100)에 대한 다양한 실시 예는 전자 장치(100)의 제어 방법, 그리고 전자 장치(100)의 제어 방법을 실행하는 프로그램을 포함하는 컴퓨터 판독 가능 기록매체에 대해서도 적용될 수 있음은 물론이다.

한편, 이상에서 상술한 바와 같은 음성 인식 모델, 자연어 이해 모델 및 음성합성 모델(이하, 인공 지능 모델이라고 총칭한다) 등에 관련된 기능은 메모리(120) 및 프로세서(130)를 통해 수행될 수 있다.

프로세서(130)는 하나 또는 복수의 프로세서(130)로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서(130)는 CPU, AP 등과 같은 범용 프로세서(130), GPU. VPU 등과 같은 그래픽 전용 프로세서(130) 또는 NPU와 같은 인공 지능 전용 프로세서(130)일 수 있다.

하나 또는 복수의 프로세서(130)는, 비휘발성 메모리(120) 및 휘발성 메모리(120)에 저장된 기 정의된 동작 규칙 또는 인공 지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 기 정의된 동작 규칙 또는 인공 지능 모델은 학습을 통해 만들어진 것을 특징으로 한다.

여기서, 학습을 통해 만들어진다는 것은, 다수의 학습 데이터들에 학습 알고리즘을 적용함으로써, 원하는 특성의 기 정의된 동작 규칙 또는 인공 지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공 지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버/시스템을 통해 이루어 질 수도 있다.

인공 지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 각 레이어는 복수의 가중치(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치의 연산을 통해 레이어의 연산을 수행한다. 신경망의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network), GAN(Generative Adversarial Networks) 및 심층 Q-네트워크 (Deep Q-Networks)이 있으며, 본 개시에서의 신경망은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.

학습 알고리즘은, 다수의 학습 데이터들을 이용하여 소정의 대상 기기(예컨대, 로봇)을 훈련시켜 소정의 대상 기기 스스로 결정을 내리거나 예측을 할 수 있도록 하는 방법이다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으며, 본 개시에서의 학습 알고리즘은 명시한 경우를 제외하고 전술한 예에 한정되지 않는다.

기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어^TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리(120)와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

이상에서 상술한 바와 같은 본 개시의 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다.

다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

한편, 본 개시에서 사용된 용어 "부" 또는 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "부" 또는 "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.

본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(100))를 포함할 수 있다.

상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 전자 장치 110: 마이크
120: 메모리 130: 프로세서

Claims (19)

1. 전자 장치에 있어서,
   마이크;
   음성 인식 모델에 대한 데이터를 저장하는 메모리; 및
   상기 마이크를 통해 사용자 음성에 대응되는 음성 시퀀스가 획득되면, 서로 다른 복수의 언어에 대한 음성 인식을 수행할 수 있는 음성 인식 모델에 상기 음성 시퀀스를 입력하여 상기 음성 시퀀스에 대응되는 텍스트 시퀀스를 획득하는 프로세서; 를 포함하고,
   상기 음성 인식 모델은 상기 음성 시퀀스에 대응되는 히든 벡터(hidden vector)를 획득하기 위한 공통 인코더 및 상기 히든 벡터에 기초하여 상기 텍스트 시퀀스를 획득하기 위한 복수의 개별 디코더를 포함하고,
   상기 복수의 개별 인코더 각각은 상기 복수의 언어 각각에 대응되며, 상기 공통 인코더는 상기 복수의 언어에 공통적으로 이용되는 전자 장치.
   
2. 제1 항에 있어서,
   상기 프로세서는,
   상기 음성 시퀀스가 획득되면, 상기 복수의 언어 중 상기 획득된 음성 시퀀스에 대응되는 언어를 식별하고,
   상기 복수의 개별 디코더 중 상기 식별된 언어에 대응되는 개별 디코더 및 상기 공통 인코더를 이용하여 상기 텍스트 시퀀스를 획득하는 전자 장치.
   
3. 제1 항에 있어서,
   상기 공통 인코더는 현재 시점의 음성 시퀀스를 제1 히든 벡터로 변환하고,
   상기 복수의 개별 디코더 각각은 예측 모듈(prediction network module), 조인트 모듈(joint module) 및 소프트맥스 모듈(softmax module)을 포함하며,
   상기 예측 모듈은 상기 현재 시점 이전의 텍스트 시퀀스를 제2 히든 벡터로 변환하고,
   상기 조인트 모듈은 상기 공통 인코더를 통해 출력된 제1 히든 벡터 및 상기 예측 모듈을 통해 출력된 제2 히든 벡터에 기초하여 상기 현재 시점의 음성 시퀀스에 대응되는 로짓(logit) 벡터를 출력하며,
   상기 소프트맥스 모듈은 상기 로짓 벡터에 기초하여 상기 현재 시점의 음성 시퀀스에 대응되는 텍스트 시퀀스를 출력하는 전자 장치.
   
4. 제1 항에 있어서,
   상기 음성 인식 모델은 상기 텍스트 시퀀스를 발음 시퀀스로 변환하기 위한 발음 시퀀스 획득 모듈을 더 포함하고,
   상기 공통 인코더는 상기 발음 시퀀스를 상기 개별 디코더에 입력한 결과에 따른 손실 값에 기초하여 학습되는 전자 장치.
   
5. 제1 항에 있어서,
   상기 공통 인코더는 대조 손실 값(contrastive loss)에 기초하여 비지도 학습 방법 또는 준지도 학습 방법에 따라 학습되고,
   상기 복수의 디코더는 상기 공통 인코더의 학습이 완료되면, 상기 공통 인코더와 결합된 후 상기 대조 손실 값에 기초하여 준지도 학습 방법에 따라 학습되는 전자 장치.
   
6. 제1 항에 있어서,
   상기 음성 인식 모델은,
   상기 복수의 개별 인코더 각각에 대응되는 복수의 개별 디코더 및 상기 공통 인코더에 대응되는 공통 디코더를 더 포함하고,
   상기 프로세서는,
   상기 음성 시퀀스가 획득되면, 상기 음성 시퀀스가 상기 복수의 언어 중 하나의 언어에 대응되는 정도에 대한 신뢰도 값을 산출하고,
   상기 신뢰도 값이 기 설정된 임계 값 미만이면, 상기 공통 인코더 및 상기 공통 디코더를 이용하여 상기 텍스트 시퀀스를 획득하고,
   상기 신뢰도 값이 상기 기 설정된 임계 값 이상이면, 상기 복수의 개별 인코더 중 상기 하나의 언어에 대응되는 개별 인코더 및 상기 복수의 개별 디코더 중 상기 하나의 언어에 대응되는 개별 디코더를 이용하여 상기 텍스트 시퀀스를 획득하는 전자 장치.
   
7. 제6 항에 있어서,
   상기 복수의 개별 인코더는 상기 복수의 개별 인코더의 출력에 따른 확률 분포 값이 상기 공통 인코더의 출력에 따른 확률 분포 값에 대응되도록 학습되는 전자 장치.
   
8. 제1 항에 있어서,
   상기 음성 인식 모델은 상기 공통 인코더를 통해 출력되는 히든 벡터를 상기 복수의 개별 디코더에 대응되는 히든 벡터로 변환하기 위한 변환 모듈을 더 포함하는 전자 장치.
   
9. 제6 항에 있어서,
   상기 음성 인식 모델은 상기 텍스트 시퀀스보다 작은 단위의 텍스트 시퀀스 및 상기 음성 시퀀스에 대응되는 언어에 대한 정보를 획득하기 위한 서브 모듈을 더 포함하고,
   상기 프로세서는,
   상기 작은 단위의 텍스트 시퀀스 및 상기 음성 시퀀스에 대응되는 언어에 대한 정보를 상기 공통 인코더에 입력하여 상기 공통 디코더를 통해 상기 텍스트 시퀀스를 획득하는 전자 장치.
   
10. 전자 장치의 제어 방법에 있어서,
    사용자 음성에 대응되는 음성 시퀀스를 획득하는 단계; 및
    서로 다른 복수의 언어에 대한 음성 인식을 수행할 수 있는 음성 인식 모델에 상기 음성 시퀀스를 입력하여 상기 음성 시퀀스에 대응되는 텍스트 시퀀스를 획득하는 단계; 를 포함하고,
    상기 음성 인식 모델은 상기 음성 시퀀스에 대응되는 히든 벡터(hidden vector)를 획득하기 위한 공통 인코더 및 상기 히든 벡터에 기초하여 상기 텍스트 시퀀스를 획득하기 위한 복수의 개별 디코더를 포함하고,
    상기 복수의 개별 인코더 각각은 상기 복수의 언어 각각에 대응되며, 상기 공통 인코더는 상기 복수의 언어에 공통적으로 이용되는 전자 장치의 제어 방법.
    
11. 제10 항에 있어서,
    상기 전자 장치의 제어 방법은,상기 음성 시퀀스가 획득되면, 상기 복수의 언어 중 상기 획득된 음성 시퀀스에 대응되는 언어를 식별하는 단계; 및
    상기 복수의 개별 디코더 중 상기 식별된 언어에 대응되는 개별 디코더 및 상기 공통 인코더를 이용하여 상기 텍스트 시퀀스를 획득하는 단계; 를 더 포함하는 전자 장치의 제어 방법.
    
12. 제10 항에 있어서,
    상기 공통 인코더는 현재 시점의 음성 시퀀스를 제1 히든 벡터로 변환하고,
    상기 복수의 개별 디코더 각각은 예측 모듈(prediction network module), 조인트 모듈(joint module) 및 소프트맥스 모듈(softmax module)을 포함하며,
    상기 예측 모듈은 상기 현재 시점 이전의 텍스트 시퀀스를 제2 히든 벡터로 변환하고,
    상기 조인트 모듈은 상기 공통 인코더를 통해 출력된 제1 히든 벡터 및 상기 예측 모듈을 통해 출력된 제2 히든 벡터에 기초하여 상기 현재 시점의 음성 시퀀스에 대응되는 로짓(logit) 벡터를 출력하며,
    상기 소프트맥스 모듈은 상기 로짓 벡터에 기초하여 상기 현재 시점의 음성 시퀀스에 대응되는 텍스트 시퀀스를 출력하는 전자 장치의 제어 방법.
    
13. 제10 항에 있어서,
    상기 음성 인식 모델은 상기 텍스트 시퀀스를 발음 시퀀스로 변환하기 위한 발음 시퀀스 획득 모듈을 더 포함하고,
    상기 공통 인코더는 상기 발음 시퀀스를 상기 개별 디코더에 입력한 결과에 따른 손실 값에 기초하여 학습되는 전자 장치의 제어 방법.
    
14. 제10 항에 있어서,
    상기 공통 인코더는 대조 손실 값(contrastive loss)에 기초하여 비지도 학습 방법 또는 준지도 학습 방법에 따라 학습되고,
    상기 복수의 디코더는 상기 공통 인코더의 학습이 완료되면, 상기 공통 인코더와 결합된 후 상기 대조 손실 값에 기초하여 준지도 학습 방법에 따라 학습되는 전자 장치의 제어 방법.
    
15. 제10 항에 있어서,
    상기 음성 인식 모델은,
    상기 복수의 개별 인코더 각각에 대응되는 복수의 개별 디코더 및 상기 공통 인코더에 대응되는 공통 디코더를 더 포함하고,
    상기 전자 장치의 제어 방법은,
    상기 음성 시퀀스가 획득되면, 상기 음성 시퀀스가 상기 복수의 언어 중 하나의 언어에 대응되는 정도에 대한 신뢰도 값을 산출하는 단계;
    상기 신뢰도 값이 기 설정된 임계 값 미만이면, 상기 공통 인코더 및 상기 공통 디코더를 이용하여 상기 텍스트 시퀀스를 획득하는 단계; 및
    상기 신뢰도 값이 상기 기 설정된 임계 값 이상이면, 상기 복수의 개별 인코더 중 상기 하나의 언어에 대응되는 개별 인코더 및 상기 복수의 개별 디코더 중 상기 하나의 언어에 대응되는 개별 디코더를 이용하여 상기 텍스트 시퀀스를 획득하는 단계; 를 더 포함하는 전자 장치의 제어 방법.
    
16. 제15 항에 있어서,
    상기 복수의 개별 인코더는 상기 복수의 개별 인코더의 출력에 따른 확률 분포 값이 상기 공통 인코더의 출력에 따른 확률 분포 값에 대응되도록 학습되는 전자 장치의 제어 방법.
    
17. 제10 항에 있어서,
    상기 음성 인식 모델은 상기 공통 인코더를 통해 출력되는 히든 벡터를 상기 복수의 개별 디코더에 대응되는 히든 벡터로 변환하기 위한 변환 모듈을 더 포함하는 전자 장치의 제어 방법.
    
18. 제15 항에 있어서,
    상기 음성 인식 모델은 상기 텍스트 시퀀스보다 작은 단위의 텍스트 시퀀스 및 상기 음성 시퀀스에 대응되는 언어에 대한 정보를 획득하기 위한 서브 모듈을 더 포함하고,
    상기 전자 장치의 제어 방법은,
    상기 작은 단위의 텍스트 시퀀스 및 상기 음성 시퀀스에 대응되는 언어에 대한 정보를 상기 공통 인코더에 입력하여 상기 공통 디코더를 통해 상기 텍스트 시퀀스를 획득하는 단계; 를 더 포함하는 전자 장치의 제어 방법.
    
19. 전자 장치의 제어 방법을 실행하는 프로그램을 포함하는 비일시적 컴퓨터 판독 가능 기록매체에 있어서,
    상기 전자 장치의 제어 방법은,
    사용자 음성에 대응되는 음성 시퀀스를 획득하는 단계; 및
    서로 다른 복수의 언어에 대한 음성 인식을 수행할 수 있는 음성 인식 모델에 상기 음성 시퀀스를 입력하여 상기 음성 시퀀스에 대응되는 텍스트 시퀀스를 획득하는 단계; 를 포함하고,
    상기 음성 인식 모델은 상기 음성 시퀀스에 대응되는 히든 벡터(hidden vector)를 획득하기 위한 공통 인코더 및 상기 히든 벡터에 기초하여 상기 텍스트 시퀀스를 획득하기 위한 복수의 개별 디코더를 포함하고,
    상기 복수의 개별 인코더 각각은 상기 복수의 언어 각각에 대응되며, 상기 공통 인코더는 상기 복수의 언어에 공통적으로 이용되는 컴퓨터 판독 가능 기록매체.

Images