KR102577346B1 - 텍스트 기반의 화자변경검출을 활용한 화자분할 보정 방법 및 시스템 - Google Patents

텍스트 기반의 화자변경검출을 활용한 화자분할 보정 방법 및 시스템 Download PDF

Info

Publication number
KR102577346B1
KR102577346B1 KR1020210017814A KR20210017814A KR102577346B1 KR 102577346 B1 KR102577346 B1 KR 102577346B1 KR 1020210017814 A KR1020210017814 A KR 1020210017814A KR 20210017814 A KR20210017814 A KR 20210017814A KR 102577346 B1 KR102577346 B1 KR 102577346B1
Authority
KR
South Korea
Prior art keywords
speaker
text
word
processor
computer device
Prior art date
Application number
KR1020210017814A
Other languages
English (en)
Other versions
KR20220114378A (ko
Inventor
정남규
김건민
권영기
허희수
이봉진
이찬규
Original Assignee
네이버 주식회사
웍스모바일재팬 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사, 웍스모바일재팬 가부시키가이샤 filed Critical 네이버 주식회사
Priority to KR1020210017814A priority Critical patent/KR102577346B1/ko
Priority to TW111103724A priority patent/TWI818427B/zh
Priority to JP2022012297A priority patent/JP7348447B2/ja
Priority to US17/665,672 priority patent/US20220254351A1/en
Publication of KR20220114378A publication Critical patent/KR20220114378A/ko
Application granted granted Critical
Publication of KR102577346B1 publication Critical patent/KR102577346B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/14—Use of phonemic categorisation or speech recognition prior to speaker recognition or verification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/221—Announcement of recognition results

Abstract

텍스트 기반의 화자변경검출을 활용한 화자분할 보정 방법 및 시스템을 개시한다. 일실시예에 따른 화자분할 보정 방법은 입력된 오디오 스트림에 대한 화자분할을 수행하는 단계, 상기 입력된 오디오 스트림에 포함된 음성을 인식하여 텍스트로 변환하는 단계, 상기 변환된 텍스트에 기반하여 화자 변경을 검출하는 단계 및 상기 검출된 화자 변경에 기반하여 상기 화자분할을 보정하는 단계를 포함할 수 있다.

Description

텍스트 기반의 화자변경검출을 활용한 화자분할 보정 방법 및 시스템{METHOD AND SYSTEM FOR CORRECTING SPEAKER DIARISATION USING SPEAKER CHANGE DETECTION BASED ON TEXT}
아래의 설명은 텍스트 기반의 화자변경검출을 활용한 화자분할 보정 방법 및 시스템에 관한 것이다.
화자분할(speaker diarisation 또는 speaker diarization)은 입력 오디오 스트림을 화자 식별자에 따라 동종 세그먼트로 분할하는 프로세스이다. 이러한 화자분할은 오디오 스트림을 화자 턴으로 구조화하고 화자 인식 시스템과 함께 사용할 때 화자의 실제 식별자를 제공함으로써 자동 음성 변환의 가독성을 향상시킬 수 있다. 화자분할에서 가장 인기 있는 방법 중 하나는 가우스 혼합 모델을 사용하여 각 화자를 모델링하고 은닉 마르코프 모델(Hidden Markov Model)의 도움을 받아 각 화자에 해당하는 프레임을 할당하는 것이다.
그러나, 종래기술에서는 음성만을 사용하여 화자분할이 이루어지기 때문에 다양한 유형의 오류가 나타나는 문제점이 있다. 일례로, 화자 변경이 없어야 할 부분에서 화자 변경이 존재하는 것으로 판단하는 오류가 종종 발생한다.
[선행기술문헌]
한국공개특허 제10-2015-0093482호
음성 기반의 화자분할 후, 인식된 텍스트에 의한 화자 변경 검출을 통해 화자 변경 오류의 지점을 보정할 수 있는 화자분할 보정 방법 및 시스템을 제공한다.
적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 화자분할 보정 방법에 있어서, 상기 적어도 하나의 프로세서에 의해, 입력된 오디오 스트림에 대한 화자분할을 수행하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 입력된 오디오 스트림에 포함된 음성을 인식하여 텍스트로 변환하는 단계; 상기 적어도 하나의 프로세서에 의해, 상기 변환된 텍스트에 기반하여 화자 변경을 검출하는 단계; 및 상기 적어도 하나의 프로세서에 의해, 상기 검출된 화자 변경에 기반하여 상기 화자분할을 보정하는 단계를 포함하는 화자분할 보정 방법을 제공한다.
일측에 따르면, 상기 화자 변경을 검출하는 단계는, 발화 구간별 음성인식 결과를 입력받아 단어 단위의 화자 변경 확률을 출력하도록 학습된 모듈을 이용하여 단어 단위의 텍스트별로 화자 변경 여부를 인식하는 것을 특징으로 할 수 있다.
다른 측면에 따르면, 상기 화자 변경을 검출하는 단계는, 발화 구간별 음성인식 결과를 입력받는 단계; 상기 발화 구간별 음성인식 결과가 포함하는 텍스트를 단어 단위의 텍스트로 인코딩하는 단계; 상기 단어 단위의 텍스트를 대화 문맥을 고려하도록 인코딩하는 단계; 및 상기 대화 문맥이 고려된 단어 단위의 텍스트별로 이전 단어 단위의 텍스트 대비 화자 변경이 있는지 여부를 결정하는 단계를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 발화 구간별 음성인식 결과는 EPD(EndPoint Detection) 단위의 음성인식 결과를 포함하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 단어 단위의 텍스트로 인코딩하는 단계는, 상기 발화 구간별 음성인식 결과가 포함하는 EPD 단위의 텍스트를 sBERT(sentence Bidirectional Encoder Representations from Transformers)를 이용하여 단어 단위의 텍스트로 인코딩하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 대화 문맥을 고려하도록 인코딩하는 단계는, 상기 단어 단위의 텍스트를 dBERT(dialog Bidirectional Encoder Representations from Transformers)를 이용하여 대화 문맥을 고려하도록 인코딩하는 것을 특징으로 할 수 있다.
또 다른 측면에 따르면, 상기 보정하는 단계는, 상기 단어 단위의 텍스트별로 화자 변경이 있었는지 여부에 따라 상기 단어 단위로 상기 화자분할을 보정하는 것을 특징으로 할 수 있다.
컴퓨터 장치와 결합되어 상기 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램을 제공한다.
상기 방법을 컴퓨터 장치에 실행시키기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체를 제공한다.
컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서에 의해, 입력된 오디오 스트림에 대한 화자분할을 수행하고, 상기 입력된 오디오 스트림에 포함된 음성을 인식하여 텍스트로 변환하고, 상기 변환된 텍스트에 기반하여 화자 변경을 검출하고, 상기 검출된 화자 변경에 기반하여 상기 화자분할을 보정하는 것을 특징으로 하는 컴퓨터 장치를 제공한다.
음성 기반의 화자분할 후, 인식된 텍스트에 의한 화자 변경 검출을 통해 화자 변경 오류의 지점을 보정할 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 화자분할 보정 방법의 예를 도시한 흐름도이다.
도 4는 본 발명의 일실시예에 있어서, 화자분할 보정 과정의 예를 도시한 도면이다.
이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.
본 발명의 실시예들에 따른 화자분할 보정 시스템은 적어도 하나의 컴퓨터 장치에 의해 구현될 수 있으며, 본 발명의 실시예들에 따른 화자분할 보정 방법은 화자분할 보정 시스템에 포함되는 적어도 하나의 컴퓨터 장치를 통해 수행될 수 있다. 컴퓨터 장치에는 본 발명의 일실시예에 따른 컴퓨터 프로그램이 설치 및 구동될 수 있고, 컴퓨터 장치는 구동된 컴퓨터 프로그램의 제어에 따라 본 발명의 실시예들에 따른 화자분할 보정 방법을 수행할 수 있다. 상술한 컴퓨터 프로그램은 컴퓨터 장치와 결합되어 화자분할 보정 방법을 컴퓨터에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장될 수 있다.
도 1은 본 발명의 일실시예에 따른 네트워크 환경의 예를 도시한 도면이다. 도 1의 네트워크 환경은 복수의 전자 기기들(110, 120, 130, 140), 복수의 서버들(150, 160) 및 네트워크(170)를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 전자 기기의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다. 또한, 도 1의 네트워크 환경은 본 실시예들에 적용 가능한 환경들 중 하나의 예를 설명하는 것일 뿐, 본 실시예들에 적용 가능한 환경이 도 1의 네트워크 환경으로 한정되는 것은 아니다.
복수의 전자 기기들(110, 120, 130, 140)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 복수의 전자 기기들(110, 120, 130, 140)의 예를 들면, 스마트폰(smart phone), 휴대폰, 네비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 도 1에서는 전자 기기(110)의 예로 스마트폰의 형상을 나타내고 있으나, 본 발명의 실시예들에서 전자 기기(110)는 실질적으로 무선 또는 유선 통신 방식을 이용하여 네트워크(170)를 통해 다른 전자 기기들(120, 130, 140) 및/또는 서버(150, 160)와 통신할 수 있는 다양한 물리적인 컴퓨터 장치들 중 하나를 의미할 수 있다.
통신 방식은 제한되지 않으며, 네트워크(170)가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크(170)는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크(170)는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.
서버(150, 160) 각각은 복수의 전자 기기들(110, 120, 130, 140)과 네트워크(170)를 통해 통신하여 명령, 코드, 파일, 컨텐츠, 서비스 등을 제공하는 컴퓨터 장치 또는 복수의 컴퓨터 장치들로 구현될 수 있다. 예를 들어, 서버(150)는 네트워크(170)를 통해 접속한 복수의 전자 기기들(110, 120, 130, 140)로 서비스(일례로, 컨텐츠 제공 서비스, 그룹 통화 서비스(또는 음성 컨퍼런스 서비스), 메시징 서비스, 메일 서비스, 소셜 네트워크 서비스, 지도 서비스, 번역 서비스, 금융 서비스, 결제 서비스, 검색 서비스 등)를 제공하는 시스템일 수 있다.
도 2는 본 발명의 일실시예에 따른 컴퓨터 장치의 예를 도시한 블록도이다. 앞서 설명한 복수의 전자 기기들(110, 120, 130, 140) 각각이나 서버들(150, 160) 각각은 도 2를 통해 도시된 컴퓨터 장치(200)에 의해 구현될 수 있다.
이러한 컴퓨터 장치(200)는 도 2에 도시된 바와 같이, 메모리(210), 프로세서(220), 통신 인터페이스(230) 그리고 입출력 인터페이스(240)를 포함할 수 있다. 메모리(210)는 컴퓨터에서 판독 가능한 기록매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 여기서 ROM과 디스크 드라이브와 같은 비소멸성 대용량 기록장치는 메모리(210)와는 구분되는 별도의 영구 저장 장치로서 컴퓨터 장치(200)에 포함될 수도 있다. 또한, 메모리(210)에는 운영체제와 적어도 하나의 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 메모리(210)와는 별도의 컴퓨터에서 판독 가능한 기록매체로부터 메모리(210)로 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록매체가 아닌 통신 인터페이스(230)를 통해 메모리(210)에 로딩될 수도 있다. 예를 들어, 소프트웨어 구성요소들은 네트워크(170)를 통해 수신되는 파일들에 의해 설치되는 컴퓨터 프로그램에 기반하여 컴퓨터 장치(200)의 메모리(210)에 로딩될 수 있다.
프로세서(220)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(210) 또는 통신 인터페이스(230)에 의해 프로세서(220)로 제공될 수 있다. 예를 들어 프로세서(220)는 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다.
통신 인터페이스(230)은 네트워크(170)를 통해 컴퓨터 장치(200)가 다른 장치(일례로, 앞서 설명한 저장 장치들)와 서로 통신하기 위한 기능을 제공할 수 있다. 일례로, 컴퓨터 장치(200)의 프로세서(220)가 메모리(210)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이나 명령, 데이터, 파일 등이 통신 인터페이스(230)의 제어에 따라 네트워크(170)를 통해 다른 장치들로 전달될 수 있다. 역으로, 다른 장치로부터의 신호나 명령, 데이터, 파일 등이 네트워크(170)를 거쳐 컴퓨터 장치(200)의 통신 인터페이스(230)를 통해 컴퓨터 장치(200)로 수신될 수 있다. 통신 인터페이스(230)를 통해 수신된 신호나 명령, 데이터 등은 프로세서(220)나 메모리(210)로 전달될 수 있고, 파일 등은 컴퓨터 장치(200)가 더 포함할 수 있는 저장 매체(상술한 영구 저장 장치)로 저장될 수 있다.
입출력 인터페이스(240)는 입출력 장치(250)와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 마이크, 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 디스플레이, 스피커와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(240)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 입출력 장치(250)는 컴퓨터 장치(200)와 하나의 장치로 구성될 수도 있다.
또한, 다른 실시예들에서 컴퓨터 장치(200)는 도 2의 구성요소들보다 더 적은 혹은 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 컴퓨터 장치(200)는 상술한 입출력 장치(250) 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.
도 3은 본 발명의 일실시예에 따른 화자분할 보정 방법의 예를 도시한 흐름도이다. 본 실시예에 따른 화자분할 보정 방법은 컴퓨터 장치(200)에 의해 수행될 수 있다. 이때, 컴퓨터 장치(200)의 프로세서(220)는 메모리(210)가 포함하는 운영체제의 코드나 적어도 하나의 컴퓨터 프로그램의 코드에 따른 제어 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(220)는 컴퓨터 장치(200)에 저장된 코드가 제공하는 제어 명령에 따라 컴퓨터 장치(200)가 도 3의 방법이 포함하는 단계들(310 내지 340)을 수행하도록 컴퓨터 장치(200)를 제어할 수 있다.
단계(310)에서 컴퓨터 장치(200)는 입력된 오디오 스트림에 대한 화자분할을 수행할 수 있다. 이미 설명한 바와 같이 화자분할은 입력 오디오 스트림을 화자 식별자에 따라 동종 세그먼트로 분할하는 프로세스로서, 오디오 스트림을 화자 턴으로 구조화하고 화자 인식 시스템과 함께 사용할 때 화자의 실제 식별자를 제공함으로써 자동 음성 변환의 가독성을 향상시킬 수 있는 기술이다. 일례로, 컴퓨터 장치(200)는 가우스 혼합 모델을 사용하여 각 화자를 모델링하고 은닉 마르코프 모델(Hidden Markov Model)을 통해 각 화자에 해당하는 프레임을 할당할 수 있다.
단계(320)에서 컴퓨터 장치(200)는 입력된 오디오 스트림에 포함된 음성을 인식하여 텍스트로 변환할 수 있다. 이때, 음성인식 결과는 발화 구간별로 생성될 수 있다. 일례로, 발화 구간별 음성인식 결과는 EPD(EndPoint Detection) 단위의 음성인식 결과를 포함할 수 있다. EPD는 오디오 스트림에서 음성이 있는 영역만을 찾아내는 기법으로, 컴퓨터 장치(200)는 이러한 EPD 단위로 음성인식 결과를 생성할 수 있다. 이러한 음성인식 결과는 텍스트 형태일 수 있다.
단계(330)에서 컴퓨터 장치(200)는 변환된 텍스트에 기반하여 화자 변경을 검출할 수 있다. 일실시예로, 컴퓨터 장치(200)는 발화 구간별 음성인식 결과를 입력받아 단어 단위의 화자 변경 확률을 출력하도록 학습된 모듈을 이용하여 단어 단위의 텍스트별로 화자 변경 여부를 인식할 수 있다. 이러한 모듈은 BERT(Bidirectional Encoder Representations from Transformers)를 통해 구현될 수 있으나, 이에 한정되는 것은 아니다. BERT는 자연어 처리(Natural Language Processing, NLP) 사전 학습을 위한 트랜스포머 기반의 머신러닝 기술로, 자연언어 처리 태스크를 교육 없이 양방향으로 사전학습할 수 있다. 이러한 BERT는 텍스트를 구성하는 token의 문맥 정보를 반영한 의미 벡터를 (contextual word embedding) 학습하는 것을 목적으로 하고 있으며, 원본 텍스트의 token을 임의로 지우고, transformer 모델이 원본 텍스트를 예측하도록 BERT에 대한 학습이 진행될 수 있다. 이러한 BERT 학습과정을 선행(pre-training)할 경우, 개체명 인식, 품사 인식, 의도 인식, 질의 응답 등의 다양한 자연어 처리 태스크에서의 성능 향상을 기대할 수 있다.
이때, BERT를 대용량 텍스트 데이터를 이용하여 모든 스페이스(space) 부분에 대하여 구두점(마침표, 물음표, 느낌표 등)인 부분과 아닌 부분을 인식하도록 학습하는 기술이 존재한다. 본 발명의 실시예에서는 BERT가 구두점 대신 화자 변경이 있는 부분을 인식하도록 학습할 수 있다. 보다 구체적인 예로, 컴퓨터 장치(200)는 발화 구간별 음성인식 결과를 입력받을 수 있으며, 발화 구간별 음성인식 결과가 포함하는 텍스트를 단어 단위의 텍스트로 인코딩할 수 있다. 이를 위해, 컴퓨터 장치(200)는 발화 구간별 음성인식 결과가 포함하는 EPD 단위의 텍스트를 sBERT(sentence-BERT)를 이용하여 단어 단위의 텍스트로 인코딩할 수 있다. 또한, 컴퓨터 장치(200)는 단어 단위의 텍스트가 인코딩된 후, 단어 단위의 텍스트를 대화 문맥을 고려하도록 인코딩할 수 있다. 일례로, 컴퓨터 장치(200)는 sBERT를 이용하여 인코딩된 단어 단위의 텍스트를 dBERT(dialog-BERT)를 이용하여 대화 문맥을 고려하도록 추가로 인코딩할 수 있다. 이후, 컴퓨터 장치(200)는 대화 문맥이 고려된 단어 단위의 텍스트별로 이전 단어 단위의 텍스트 대비 화자 변경이 있는지 여부를 결정할 수 있다. 이때, sBERT 및 dBERT를 포함하는 BERT는 단어 단위의 텍스트에 대한 화자변경 확률을 출력(일례로, 화자 변경시 '1', 화자 유지시 '0'을 출력)할 수 있으며, 컴퓨터 장치(200)는 이러한 BERT의 출력에 따라 단어 단위의 텍스트별로 화자 변경이 있는지 여부를 결정할 수 있다.
단계(340)에서 컴퓨터 장치(200)는 검출된 화자 변경에 기반하여 화자분할을 보정할 수 있다. 예를 들어, 단계(310)에서 음성에 기반하여 수행된 화자분할을 통해 특정 EPD 단위에서 화자가 분할된 것으로 판단되었으나, 단계(330)에서 해당 EPD 단위와 관련된 단어에 대해 화자가 변경되지 않은 것으로 판단된 경우, 컴퓨터 장치(200)는 해당 EPD 단위에서 화자가 분할되지 않은 것으로 화자분할을 보정할 수 있다. 이처럼, 문맥이 고려된 텍스트 기반의 화자 변경 여부를 화자분할의 보정에 활용함으로써, 기존의 화자분할 기술들이 갖고 있는 인식 오류의 문제점을 해결할 수 있다.
도 4는 본 발명의 일실시예에 있어서, 화자분할 보정 과정의 예를 도시한 도면이다. 도 4의 실시예에서는 화자 1이 "Good morning. I am Kil-dong Hong"이라고 발화하고, 화자 2가 "Good morning"을 발화한 상황을 가정한다. 컴퓨터 장치(200)는 오디오 스트림(410)에서 EPD 단위로 음성을 인식할 수 있으며, 이때 도 4의 오디오 스트림(410)은 인식된 EPD 단위들(411, 412, 413 및 414)을 포함하고 있다. 여기서, 화자 1이 "I am"을 발화한 시점과 화자 2가 "morning"을 발화한 시점이 유사하여, EPD 단위(413)에 '화자 1'이 발화한 "I am"과 화자 2가 발화한 "morning"이 모두 포함되었다고 가정한다. 이 경우, 음성만을 이용하는 화자분할에서는 EPD 단위(413)의 "I am morning"이 하나의 화자의 발화로 인식될 수도 있는 문제점이 있다.
컴퓨터 장치(200)는 ASR(Automatic Speech Recognition, 420)을 통해 오디오 스트림(410)에서 EPD 단위들(411, 412, 413 및 414) 각각에 대한 음성을 인식할 수 있다. 일례로, EPD 단위(411)에 대한 음성인식 결과는 화자 1이 발화한 "good morning"을 포함할 수 있고, EPD 단위(412)에 대한 음성인식 결과는 화자 2가 발화한 "good"을 포함할 수 있다. 또한, EPD 단위(413)에 대한 음성인식 결과는 화자 1이 발화한 "I am"과 화자 2가 발화한 "morning"을 포함할 수 있으며, EPD 단위(414)에 대한 음성인식 결과는 화자 1이 발화한 "Kil-dong Hong"을 포함할 수 있다.
이때, 컴퓨터 장치(200)는 sBERT(sentence-BERT, 430)를 통해 EPD 단위들(411, 412, 413 및 414) 각각에 대한 음성인식 결과를 단어 단위의 텍스트로 인코딩할 수 있다. 다시 말해, 제1 EPD 단위(411)에 대한 음성인식 결과는 단어 단위의 텍스트 "good" 및 "morning"으로 인코딩될 수 있으며, 제2 EPD 단위(412)에 대한 음성인식 결과는 "good"으로, 제3 EPD 단위(413)에 대한 음성인식 결과는 "I", "am" 및 "morning"으로, 제4 EPD 단위(414)에 대한 음성인식 결과는 "Kil-dong" 및 "Hong"으로 각각 인코딩될 수 있다. 보다 자세하게, 컴퓨터 장치(200)는 sBERT(430)를 이용하여 EPD 단위의 텍스트를 단어 단위의 텍스트로 인코딩할 수 있다. 여기서, 인식되는 단어들의 시퀀스는 {good, morning, good, I, am, morning, Kil-dong, Hong}라 가정한다.
이후, 컴퓨터 장치(200)는 dBERT(440)를 통해 단어 단위의 텍스트가 대화 문맥을 고려하도록 단어 단위의 텍스트를 인코딩할 수 있다. 여기서 문맥을 고려하는 것은 적어도 하나의 이전 단어 단위의 텍스트 및/또는 적어도 하나의 이후 단어 단위의 텍스트를 함께 고려하는 것을 의미할 수 있다. 예를 들어, 단어 단위의 텍스트 "I" 이후에 "am"이 등장하는 것은 문맥적으로 알맞은 것으로 결정될 수 있는 반면, "I" 이전에 "good"이나 "I" 이후에 "morning"이 등장하는 것은 문맥적으로 알맞지 않은 것으로 결정될 수 있다.
이때, 컴퓨터 장치(200)는 이러한 대화 문맥이 고려된 단어 단위의 텍스트별로 이전 단어 단위의 텍스트 대비 화자 변경이 있는지 여부를 결정할 수 있다. 예를 들어, 컴퓨터 장치(200)는 인식된 단어들의 시퀀스 {good, morning, good, I, am, morning, Kil-dong, Hong}에서 두 번째 "good"의 이전 단어인 "morning"에 대한 문맥을 통해 화자가 변경되었음을 인식할 수 있다. 또한, 컴퓨터 장치(200)는 "I"의 이전 단어인 "good"에 대한 문맥을 통해 화자가 변경되었음을 인식할 수 있다. 이처럼, 컴퓨터 장치(200)는 텍스트에 기반한 화자 인식을 이용하여 오디오 스트림(410)에 대한 화자분할을 보정할 수 있다. 다시 말해, 오디오 스트림(410)에 대한 화자분할을 통해 화자가 변경되었다 하더라도, 텍스트에 기반한 화자 인식을 통해 높은 신뢰도로 화자가 유지되고 있는 경우, 화자가 유지되고 있는 것으로 오디오 스트림(410)에 대한 화자분할을 보정할 수 있다. 역으로, 오디오 스트림(410)에 대한 화자분할을 통해 화자가 유지되었다 하더라도, 텍스트에 기반한 화자 인식을 통해 높은 신뢰도로 화자가 변경된 경우, 화자가 변경된 것으로 오디오 스트림(410)에 대한 화자분할을 보정할 수 있다.
이를 위해, 컴퓨터 장치(200)는 대화 문맥이 고려된 단어 단위의 텍스트별로 이전 단어 단위의 텍스트 대비 화자 변경이 있는지 여부를 결정함에 있어, 그 신뢰도를 계산할 수 있으며, 계산된 신뢰도와 임계값(일례로, 화자 변경을 위한 제1 임계값 및/또는 화자 유지를 위한 제2 임계값)을 비교하여 텍스트에 기반한 화자 인식을 오디오 스트림(410)에 대한 화자분할에 반영할 것인지 여부를 결정할 수 있다. 이때, 신뢰도를 계산하는 방법은 이미 잘 알려진 방법들을 사용할 수 있으며, 제1 임계값 및/또는 제2 임계값은 신뢰도를 계산하는 방법에 따라 기설정될 수 있다.
이와 같이, 본 발명의 실시예들에 따르면, 음성 기반의 화자분할 후, 인식된 텍스트에 의한 화자 변경 검출을 통해 화자 변경 오류의 지점을 보정할 수 있다.
이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (12)

  1. 적어도 하나의 프로세서를 포함하는 컴퓨터 장치의 화자분할 보정 방법에 있어서,
    상기 적어도 하나의 프로세서에 의해, 입력된 오디오 스트림에 대한 화자분할을 수행하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 입력된 오디오 스트림에 포함된 음성을 인식하여 텍스트로 변환하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 변환된 텍스트에 기반하여 화자 변경을 검출하는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 검출된 화자 변경에 기반하여 상기 화자분할을 보정하는 단계
    를 포함하고,
    상기 화자 변경을 검출하는 단계는,
    발화 구간별 음성인식 결과를 입력받아 단어 단위의 화자 변경 확률을 출력하도록 학습된 모듈을 이용하여 단어 단위의 텍스트별로 화자 변경 여부를 인식하는 단계를 포함하는 것을 특징으로 하는 화자분할 보정 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 화자 변경 여부를 인식하는 단계는,
    발화 구간별 음성인식 결과를 입력받는 단계;
    상기 발화 구간별 음성인식 결과가 포함하는 텍스트를 단어 단위의 텍스트로 인코딩하는 단계;
    상기 단어 단위의 텍스트를 대화 문맥을 고려하도록 인코딩하는 단계; 및
    상기 대화 문맥이 고려된 단어 단위의 텍스트별로 이전 단어 단위의 텍스트 대비 화자 변경이 있는지 여부를 결정하는 단계
    를 포함하는 것을 특징으로 하는 화자분할 보정 방법.
  4. 제1항 또는 제3항에 있어서,
    상기 발화 구간별 음성인식 결과는 EPD(EndPoint Detection) 단위의 음성인식 결과를 포함하는 것을 특징으로 하는 화자분할 보정 방법.
  5. 제3항에 있어서,
    상기 단어 단위의 텍스트로 인코딩하는 단계는,
    상기 발화 구간별 음성인식 결과가 포함하는 EPD 단위의 텍스트를 sBERT(sentence Bidirectional Encoder Representations from Transformers)를 이용하여 단어 단위의 텍스트로 인코딩하는 것을 특징으로 하는 화자분할 보정 방법.
  6. 제3항에 있어서,
    상기 대화 문맥을 고려하도록 인코딩하는 단계는,
    상기 단어 단위의 텍스트를 dBERT(dialog Bidirectional Encoder Representations from Transformers)를 이용하여 대화 문맥을 고려하도록 인코딩하는 것을 특징으로 하는 화자분할 보정 방법.
  7. 제3항에 있어서,
    상기 보정하는 단계는,
    상기 단어 단위의 텍스트별로 화자 변경이 있었는지 여부에 따라 상기 단어 단위로 상기 화자분할을 보정하는 것을 특징으로 하는 화자분할 보정 방법.
  8. 컴퓨터 장치와 결합되어 제1항, 제3항 또는 제5항 내지 제7항 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위해 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  9. 제1항, 제3항 또는 제5항 내지 제7항 중 어느 한 항의 방법을 컴퓨터 장치에 실행시키기 위한 컴퓨터 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록매체.
  10. 컴퓨터에서 판독 가능한 명령을 실행하도록 구현되는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서에 의해,
    입력된 오디오 스트림에 대한 화자분할을 수행하고,
    상기 입력된 오디오 스트림에 포함된 음성을 인식하여 텍스트로 변환하고,
    상기 변환된 텍스트에 기반하여 화자 변경을 검출하고,
    상기 검출된 화자 변경에 기반하여 상기 화자분할을 보정하고,
    상기 화자 변경을 검출하기 위해, 상기 적어도 하나의 프로세서에 의해,
    발화 구간별 음성인식 결과를 입력받아 단어 단위의 화자 변경 확률을 출력하도록 학습된 모듈을 이용하여 단어 단위의 텍스트별로 화자 변경 여부를 인식하는 것
    을 특징으로 하는 컴퓨터 장치.
  11. 삭제
  12. 제10항에 있어서,
    상기 화자 변경 여부를 인식하기 위해, 상기 적어도 하나의 프로세서에 의해,
    발화 구간별로 음성인식 결과를 입력받고,
    상기 발화 구간별 음성인식 결과가 포함하는 텍스트를 단어 단위의 텍스트로 인코딩하고,
    상기 단어 단위의 텍스트를 대화 문맥을 고려하도록 인코딩하고,
    상기 대화 문맥이 고려된 단어 단위의 텍스트별로 이전 단어 단위의 텍스트 대비 화자 변경이 있는지 여부를 결정하는 것
    을 특징으로 하는 컴퓨터 장치.
KR1020210017814A 2021-02-08 2021-02-08 텍스트 기반의 화자변경검출을 활용한 화자분할 보정 방법 및 시스템 KR102577346B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020210017814A KR102577346B1 (ko) 2021-02-08 2021-02-08 텍스트 기반의 화자변경검출을 활용한 화자분할 보정 방법 및 시스템
TW111103724A TWI818427B (zh) 2021-02-08 2022-01-27 使用基於文本的說話者變更檢測的說話者劃分糾正方法及系統
JP2022012297A JP7348447B2 (ja) 2021-02-08 2022-01-28 テキストベースの話者変更検出を活用した話者ダイアライゼーション補正方法およびシステム
US17/665,672 US20220254351A1 (en) 2021-02-08 2022-02-07 Method and system for correcting speaker diarization using speaker change detection based on text

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210017814A KR102577346B1 (ko) 2021-02-08 2021-02-08 텍스트 기반의 화자변경검출을 활용한 화자분할 보정 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20220114378A KR20220114378A (ko) 2022-08-17
KR102577346B1 true KR102577346B1 (ko) 2023-09-12

Family

ID=82703966

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210017814A KR102577346B1 (ko) 2021-02-08 2021-02-08 텍스트 기반의 화자변경검출을 활용한 화자분할 보정 방법 및 시스템

Country Status (4)

Country Link
US (1) US20220254351A1 (ko)
JP (1) JP7348447B2 (ko)
KR (1) KR102577346B1 (ko)
TW (1) TWI818427B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11955127B2 (en) * 2021-02-24 2024-04-09 Kyndryl, Inc. Cognitive correlation of group interactions

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017009825A (ja) 2015-06-23 2017-01-12 トヨタ自動車株式会社 会話状況分析装置および会話状況分析方法
WO2020146042A1 (en) 2019-01-08 2020-07-16 Google Llc Fully supervised speaker diarization
KR102208387B1 (ko) * 2020-03-10 2021-01-28 주식회사 엘솔루 음성 대화 재구성 방법 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7881936B2 (en) * 1998-12-04 2011-02-01 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
JP5296455B2 (ja) 2008-08-26 2013-09-25 日本放送協会 話者識別装置、及びコンピュータプログラム
DK2713367T3 (en) * 2012-09-28 2017-02-20 Agnitio S L Speech Recognition
EP3254454B1 (en) * 2015-02-03 2020-12-30 Dolby Laboratories Licensing Corporation Conference searching and playback of search results
US11004461B2 (en) * 2017-09-01 2021-05-11 Newton Howard Real-time vocal features extraction for automated emotional or mental state assessment
JP7287006B2 (ja) 2019-03-01 2023-06-06 コニカミノルタ株式会社 話者決定装置、話者決定方法、および話者決定装置の制御プログラム
KR102281581B1 (ko) * 2019-07-17 2021-07-23 에스케이텔레콤 주식회사 목표지향 대화시스템에서의 대화상태 추적방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017009825A (ja) 2015-06-23 2017-01-12 トヨタ自動車株式会社 会話状況分析装置および会話状況分析方法
WO2020146042A1 (en) 2019-01-08 2020-07-16 Google Llc Fully supervised speaker diarization
KR102208387B1 (ko) * 2020-03-10 2021-01-28 주식회사 엘솔루 음성 대화 재구성 방법 및 장치

Also Published As

Publication number Publication date
JP7348447B2 (ja) 2023-09-21
JP2022121386A (ja) 2022-08-19
TW202232468A (zh) 2022-08-16
TWI818427B (zh) 2023-10-11
US20220254351A1 (en) 2022-08-11
KR20220114378A (ko) 2022-08-17

Similar Documents

Publication Publication Date Title
US11238845B2 (en) Multi-dialect and multilingual speech recognition
US20230410796A1 (en) Encoder-decoder models for sequence to sequence mapping
KR102596446B1 (ko) 모바일 디바이스들에서의 모달리티 학습
US20180254036A1 (en) Speech recognition method and apparatus
KR102390940B1 (ko) 음성 인식을 위한 컨텍스트 바이어싱
US8965763B1 (en) Discriminative language modeling for automatic speech recognition with a weak acoustic model and distributed training
US20130346066A1 (en) Joint Decoding of Words and Tags for Conversational Understanding
KR102046486B1 (ko) 정보 입력 방법
WO2022121251A1 (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN116250038A (zh) 变换器换能器：一种统一流式和非流式语音识别的模型
US20190035389A1 (en) Hierarchical speech recognition decoder
US11620992B2 (en) Automated speech recognition confidence classifier
KR102577346B1 (ko) 텍스트 기반의 화자변경검출을 활용한 화자분할 보정 방법 및 시스템
KR102409873B1 (ko) 증강된 일관성 정규화를 이용한 음성 인식 모델 학습 방법 및 시스템
US11682400B1 (en) Speech processing
US20240046921A1 (en) Method, apparatus, electronic device, and medium for speech processing
KR102547000B1 (ko) 화자 감정 분석에 기초하여 화자 인증을 개선하는 방법
CN115101072A (zh) 一种语音识别处理方法和装置
CN112037772B (zh) 基于多模态的响应义务检测方法、系统及装置
KR102299269B1 (ko) 음성 및 스크립트를 정렬하여 음성 데이터베이스를 구축하는 방법 및 장치
JP4537755B2 (ja) 音声対話システム
CN113241061B (zh) 语音识别结果的处理方法、装置、电子设备和存储介质
US20240161732A1 (en) Multi-dialect and multilingual speech recognition
KR20240068723A (ko) Rnn-T로 구현된 자동 음성 인식 시스템에서 음향과 텍스트 표현의 융합
WO2023183201A1 (en) Optimizing personal vad for on-device speech recognition

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant