KR20210055464A - 기계학습 기반의 화자 분리 방법 및 그를 위한 장치 - Google Patents

기계학습 기반의 화자 분리 방법 및 그를 위한 장치 Download PDF

Info

Publication number
KR20210055464A
KR20210055464A KR1020190141938A KR20190141938A KR20210055464A KR 20210055464 A KR20210055464 A KR 20210055464A KR 1020190141938 A KR1020190141938 A KR 1020190141938A KR 20190141938 A KR20190141938 A KR 20190141938A KR 20210055464 A KR20210055464 A KR 20210055464A
Authority
KR
South Korea
Prior art keywords
voice
speaker
mixed
residual
speech
Prior art date
Application number
KR1020190141938A
Other languages
English (en)
Other versions
KR102313387B9 (ko
KR102313387B1 (ko
Inventor
조성배
김진영
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020190141938A priority Critical patent/KR102313387B1/ko
Publication of KR20210055464A publication Critical patent/KR20210055464A/ko
Application granted granted Critical
Publication of KR102313387B1 publication Critical patent/KR102313387B1/ko
Publication of KR102313387B9 publication Critical patent/KR102313387B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Machine Translation (AREA)
  • Telephonic Communication Services (AREA)

Abstract

기계학습 기반의 화자 분리 방법 및 그를 위한 장치 를 개시한다.
본 발명의 실시예에 따른 화자 분리 방법은, 적어도 하나의 화자의 음성들로 구성된 혼합 음성을 입력 받는 음성 입력 단계; 상기 혼합 음성을 기반으로 특정 화자에 대한 제1 음성(A')을 생성하여 출력하는 음성 생성 단계; 및 상기 제1 음성을 상기 특정 화자의 실제 제2 음성(A)과 구분하고, 상기 혼합 음성과 상기 제1 음성 및 상기 제2 음성을 기반으로 생성된 잔차 음성을 구분하여 화자 분리가 수행되도록 하는 음성 구분 단계를 포함할 수 있다.

Description

기계학습 기반의 화자 분리 방법 및 그를 위한 장치{Method and Apparatus for Separating Speaker Based on Machine Learning}
본 발명은 기계학습을 사용하여 복수의 화자 음성이 혼합된 혼합 음성에서 화자를 분리하는 방법 및 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
화자 분리 시스템은 여러 화자의 음성이 혼합된 소리를 입력으로 받아 특정 화자의 음성만을 분리하여 출력하는 방법을 학습한 모델을 적용한 시스템을 의미한다. 여기서, 화자 분리는 신호 분리 연구의 한 분야로써, 응급 상황, 재난 상황, 전쟁 상황, 토론 상황 및 특정 화자 음성 인식 등 여러 화자가 동시에 발화를 하여 화자 구분이 힘든 혼잡한 환경에서 특정 화자만의 음성을 타겟으로 하여 들어야만 할 때 유용하게 활용이 되며, 다양한 필드에서 응용할 수 있기 때문에 활발히 연구가 진행되고 있다.
하지만 신호 중에서도 음성과 같이 연속적이고 다양한 진폭을 가진 신호들의 분포를 학습하여 분리하는 것은 간단하지 않다. 특히, 지도 학습(Supervised Learning), 시퀀스 데이터 처리 모델을 기반으로 한 기존 화자 분리 방법들의 한계가 드러나고 있기 때문에 적대 학습의 효과를 극대화할 방법이 요구된다.
기존의 화자 분리 연구에서는 소스 음성(A, B)들과 이 소스 음성들이 섞인 혼합 음성(X = A + B)의 분포를 매핑(Mapping) 하는 지도 학습 방법을 주로 사용하였다. 이 학습 방법은 혼합 음성들의 소스가 되는 모든 소스 음성들을 따로 분리한 데이터를 구축해야 한다는 어려움이 존재한다.
또한, LSTM(Long Term Short Memory)과 같은 시퀀스 데이터를 처리하는 데 사용되는 순환 모델들을 주로 사용였는데, 이런 순환 모델의 고질적인 문제점인 매우 긴 시퀀스에는 잘 대응하지 못한다라는 단점이 음성을 처리하는 과정에서 그대로 노출되었다. 이는 음성 웨이브폼(waveform)을 STFT(Short-Time Fourier Transform) 혹은 스펙트로그램(Spectrogram) 등으로 변환 그리고 역변환 하는 별도의 처리 과정을 요구하도록 만들었다.
본 발명은 생성자 (generator)와 두 개의 구분자 (discriminator)를 두어 적대 학습 시킴으로써 화자 분리 성능을 개선하는 동시에 실제 음성과 생성된 음성의 잔차를 이용하여 화자 분리 분야에서 적대 학습의 효과를 극대화시키는 기계학습 기반의 화자 분리 방법 및 그를 위한 장치를 제공하는 데 주된 목적이 있다.
본 발명의 일 측면에 의하면, 상기 목적을 달성하기 위한 화자 분리 방법은, 적어도 하나의 화자의 음성들로 구성된 혼합 음성을 입력 받는 음성 입력 단계; 상기 혼합 음성을 기반으로 특정 화자에 대한 제1 음성(A')을 생성하여 출력하는 음성 생성 단계; 및 상기 제1 음성을 상기 특정 화자의 실제 제2 음성(A)과 구분하고, 상기 혼합 음성과 상기 제1 음성 및 상기 제2 음성을 기반으로 생성된 잔차 음성을 구분하여 화자 분리가 수행되도록 하는 음성 구분 단계를 포함할 수 있다.
또한, 본 발명의 다른 측면에 의하면, 상기 목적을 달성하기 위한 화자 분리 장치는 하나 이상의 프로세서; 및 상기 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하며, 상기 프로그램들은 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서들에서, 적어도 하나의 화자의 음성들로 구성된 혼합 음성을 입력 받는 음성 입력 단계; 상기 혼합 음성을 기반으로 특정 화자에 대한 제1 음성(A')을 생성하여 출력하는 음성 생성 단계; 및 상기 제1 음성을 상기 특정 화자의 실제 제2 음성(A)과 구분하고, 상기 혼합 음성과 상기 제1 음성 및 상기 제2 음성을 기반으로 생성된 잔차 음성을 구분하여 화자 분리가 수행되도록 하는 음성 구분 단계를 포함하는 동작들을 수행하게 할 수 있다.
또한, 본 발명의 다른 측면에 의하면, 상기 목적을 달성하기 위한 화자 분리 방법은, 적어도 하나의 화자의 음성들로 구성된 혼합 음성을 입력 받고, 특정 화자에 대한 음성을 기반으로 학습된 제1 학습 결과 및 상기 특정 화자를 제외한 음성을 기반으로 학습된 제2 학습 결과를 기반으로 상기 혼합 음성에 포함된 상기 특정 화자를 분리할 수 있다.
이상에서 설명한 바와 같이, 본 발명은 잔차를 이용한 적대 학습을 기반 화자 분리 시스템 및 방법으로 기존 방법에 비해 타겟 음성 분리 성능을 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 잔차 음성을 구분하기 위한 적대 학습을 통해 혼합 음성에서 타겟 소스 음성을 제외한 소스 음성들을 제거하는 성능을 향상시킬 수 있는 효과가 있다.
또한, 본 발명은 기존의 지도 학습 기반 방법들과 달리 하나의 타겟 소스 음성(A)과 여러 소스 음성들이 합성된 혼합 음성(B)의 매핑된 데이터 구축만으로 학습이 가능하며, 순환 모델 기반의 방법들과 달리 별도의 데이터 처리 작업 없이 음성 웨이브폼 세그먼트만을 사용할 수 있다는 장점이 있다.
도 1은 본 발명의 실시예에 따른 화자 분리 장치를 개략적으로 나타낸 블록 구성도이다.
도 2는 본 발명의 실시예에 따른 프로세서의 동작 구성을 나타낸 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 음성 생성부의 동작 구성을 나타낸 블록 구성도이다.
도 4는 본 발명의 실시예에 따른 음성 구분부의 동작 구성을 나타낸 블록 구성도이다.
도 5는 본 발명의 실시예에 따른 화자 분리 방법을 설명하기 위한 순서도이다.
도 6은 본 발명의 실시예에 따른 생성적 적대 신경망 기반의 화자 분리 동작을 설명하기 위한 예시도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다. 이하에서는 도면들을 참조하여 본 발명에서 제안하는 화자 분리 방법 및 그를 위한 장치에 대해 자세하게 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 화자 분리 장치를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 화자 분리 장치(100)는 입력부(110), 출력부(120), 프로세서(130), 메모리(140) 및 데이터 베이스(150)를 포함한다. 도 1의 화자 분리 장치(100)는 일 실시예에 따른 것으로서, 도 1에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 화자 분리 장치(100)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다. 한편, 화자 분리 장치(100)는 컴퓨팅 디바이스로 구현될 수 있고, 화자 분리 장치(100)에 포함된 각 구성요소들은 각각 별도의 소프트웨어 장치로 구현되거나, 소프트웨어가 결합된 별도의 하드웨어 장치로 구현될 수 있다.
화자 분리 장치(100)는 다양한 화자로 구성된 혼합 음성을 입력으로 받아 원하는 타겟 음성으로 분리하여 출력하는 모델 및 잔차 기반 적대 학습을 통한 음성 분리 모델을 구축하여 혼합 음성의 화자를 분리하는 동작을 수행한다.
입력부(110)는 화자 분리 장치(100)의 화자 분리 동작을 수행하기 위한 신호 또는 데이터를 입력하거나 획득하는 수단을 의미한다. 입력부(110)는 프로세서(130)와 연동하여 다양한 형태의 신호 또는 데이터를 입력하거나, 외부 장치와 연동하여 직접 데이터를 획득하여 프로세서(130)로 전달할 수도 있다. 여기서, 입력부(110)는 혼합 음성 또는 특정 화자의 음성 등을 입력하기 위한 마이크로 구현될 수 있으나 반드시 이에 한정되는 것은 아니다.
출력부(120)는 프로세서(130)와 연동하여 혼합 음성의 화자 분리 결과, 학습 결과 등 다양한 정보를 표시할 수 있다. 출력부(120)는 화자 분리 장치(100)에 구비된 디스플레이(미도시)를 통해 다양한 정보를 표시하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.
프로세서(130)는 메모리(140)에 포함된 적어도 하나의 명령어 또는 프로그램을 실행시키는 기능을 수행한다.
본 실시예에 따른 프로세서(130)는 입력부(110) 또는 데이터 베이스(150)로부터 획득한 혼합 음성을 기반으로 기계학습을 수행하고, 기계학습 결과를 기반으로 혼합 음성에서 특정 화자의 음성을 분리하는 동작을 수행한다.
프로세서(130)는 혼합 음성을 입력 받고, 혼합 음성을 기반으로 특정 화자의 실제 음성과 비교하여 학습하기 위한 제1 음성을 생성하고, 생성된 제1 음성을 특정 화자의 실제 음성인 제2 음성(A)과 구분하고, 혼합 음성과 제1 음성 및 상기 제2 음성을 기반으로 생성된 잔차 음성을 구분하는 학습 동작을 수행하여 혼합 음성에 대한 화자 분리가 수행되도록 한다. 본 실시예에 따른 프로세서(130)의 자세한 동작은 도 2 내지 4에서 설명하도록 한다.
메모리(140)는　프로세서(130)에 의해 실행 가능한 적어도 하나의 명령어 또는 프로그램을 포함한다. 메모리(140)는　음성을 생성하는 동작, 음성을 구분하는 동작 등을 위한 명령어 또는 프로그램을 포함할 수 있다. 또한, 메모리(140)는　학습 결과를 적용하는 동작, 화자를 분리하는 동작 등을 위한 명령어 또는 프로그램을 포함할 수 있다.
데이터 베이스(150)는 데이터베이스 관리 프로그램(DBMS)을 이용하여 컴퓨터 시스템의 저장공간(하드디스크 또는 메모리)에 구현된 일반적인 데이터구조를 의미하는 것으로, 데이터의 검색(추출), 삭제, 편집, 추가 등을 자유롭게 행할 수 있는 데이터 저장형태를 뜻하는 것으로, 오라클(Oracle), 인포믹스(Infomix), 사이베이스(Sybase), DB2와 같은 관계형 데이타베이스 관리 시스템(RDBMS)이나, 겜스톤(Gemston), 오리온(Orion), O2 등과 같은 객체 지향 데이타베이스 관리 시스템(OODBMS) 및 엑셀론(Excelon), 타미노(Tamino), 세카이주(Sekaiju) 등의 XML 전용 데이터베이스(XML Native Database)를 이용하여 본 발명의 일 실시예의 목적에 맞게 구현될 수 있고, 자신의 기능을 달성하기 위하여 적당한 필드(Field) 또는 엘리먼트들을 가지고 있다.
본 실시예에 따른 데이터베이스(400)는 화자 분리와 관련된 데이터를 저장하고, 화자 분리와 관련된 데이터를 제공할 수 있다.
데이터베이스(400)에 저장된 데이터는 혼합 음성, 특정 화자의 음성, 학습 결과 등에 대한 데이터일 수 있다. 데이터베이스(140)는 화자 분리 장치(100) 내에 구현되는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 별도의 데이터 저장장치로 구현될 수도 있다.
도 2는 본 발명의 실시예에 따른 프로세서의 동작 구성을 나타낸 블록 구성도이다.
본 실시예에 따른 화자 분리 장치(100)에 포함된 프로세서(130)는 기계 학습을 기반으로 화자 분리를 처리하는 동작을 수행한다. 여기서, 기계 학습은 생성적 적대 신경망(GAN: Generative Adversarial Network)을 이용한 학습인 것이 바람직하나 반드시 이에 한정되는 것은 아니다.
화자 분리 장치(100)에 포함된 프로세서(130)는 다양한 화자로 구성된 혼합 음성을 입력으로 받아 원하는 타겟 음성으로 분리하여 출력하는 모델(타겟 음성 구분자) 및 잔차 기반 적대 학습을 통한 음성 분리 모델(잔차 음성 구분자) 구축 방법을 기반으로 동작하며, 음성 분리를 수행해야 하는 모든 기기 및 소프트웨어에 탑재될 수 있다. 예를 들어, 화자 분리 장치(100)에 포함된 프로세서(130)는 AI 스피커, 스마트폰과 같은 음성 인식 기술이 접목되어 있는 기기 등에 적용되어, 소유주의 음성만을 구분하는 기능에 응용되어 쓰일 수 있다.
본 실시예에 따른 프로세서(130)는 음성 생성부(210) 및 음성 구분부(220)을 포함한다.
음성 생성부(210)는 혼합 음성을 입력 받고, 혼합 음성을 기반으로 특정 화자의 실제 음성과 비교하여 학습하기 위한 제1 음성을 생성한다. 구체적으로, 음성 생성부(210)는 적어도 하나의 화자의 음성들로 구성된 혼합 음성을 입력 받고, 혼합 음성을 기반으로 특정 화자에 대한 제1 음성(A')을 생성하여 출력한다.
음성 생성부(210)는 하나의 타겟 소스 음성의 웨이브폼 세그먼트와 여러 화자의 소스 음성들이 합성된 혼합 음성의 웨이브폼 세그먼트가 매핑된 데이터셋을 사용하여 생성된 제1 음성을 출력한다. 음성 생성부(210)의 입력에 들어가는 혼합 음성은 일반화 성능 향상을 위해 기존 타겟 음성과 함께 가우시안 분포를 따르는 랜덤 값이 첨가된 음성일 수 있다.
본 실시예에 따른 음성 생성부(210)는 생성적 적대 신경망(GAN)을 기반으로 학습하기 위한 생성자(Generator)로 구현될 수 있으나 반드시 이에 한정되는 것은 아니다.
음성 구분부(220)는 음성 생성부(210)에서 생성된 제1 음성을 특정 화자의 실제 음성인 제2 음성(A)과 구분하고, 혼합 음성과 제1 음성 및 상기 제2 음성을 기반으로 생성된 잔차 음성을 구분하여 화자 분리가 수행되도록 한다.
음성 구분부(220)는 음성 생성부(210)에서 생성된 제1 음성을 특정 화자의 실제 음성인 제2 음성(A)과 구분하는 타겟 음성 구분부(410)와 혼합 음성과 제1 음성 및 상기 제2 음성을 기반으로 생성된 잔차 음성을 구분하는 잔차 음성 구분부(420)를 포함한다. 음성 구분부(220)에 포함된 타겟 음성 구분부(410) 및 잔차 음성 구분부(420)은 도 4에서 설명하도록 한다.
본 실시예에 따른 음성 구분부(220)는 생성적 적대 신경망(GAN)을 기반으로 학습하기 위한 서로 다른 두 개의 구분자(Discriminator)를 포함하는 형태로 구현될 수 있으나 반드시 이에 한정되는 것은 아니다.
음성 구분부(220)는 음성 생성부(210)와 생성적 적대 신경망(GAN) 기반의 학습을 수행한다. 여기서, 음성 구분부(220)에 포함된 타겟 음성 구분부(410) 및 잔차 음성 구분부(420) 각각은 음성 생성부(210)와 별도로 생성적 적대 신경망(GAN) 기반의 학습을 수행하여 서로 다른 학습 결과에 대한 모델을 생성할 수 있다.
본 발명의 생성적 적대 신경망(GAN)에서, 음성 생성부(210)는 음성 구분부(220)에서 실제 타겟 소스 음성(제2 음성)과 구분할 수 없는 음성(제1 음성)을 생성하는 것을 목표로 한다. 한편, 음성 구분부(220)의 타겟 음성 구분부(410)는 음성 생성부(210)가 생성한 음성(제1 음성)을 실제 타겟 음성(제2 음성)과 구분할 수 있도록 하여, 음성 생성부(210)와 음성 구분부(220)가 적대적으로 학습하는 방식을 말한다.
음성 생성부(210)와 음성 구분부(220)와의 적대 학습은 [수학식 1]과 같이 나타낼 수 있다.
Figure pat00001
여기서, Pdata(x)는 실제 데이터인 실제 타겟 소스 음성의 분포, x는 Pdata(x)의 샘플, P(z)는 음성 생성부가 생성한 음성의 분포, z는 P(z)의 샘플, G(z)는 음성 생성부 (Generator), D는 음성 구분부 (Discriminator)를 의미한다.
종래의 일반적인 적대 학습 방법만으로는 화자 분리 문제에서 좋은 성능의 생성자를 보장하기 어렵기 때문에 본 발명의 음성 구분부(220)에서는 잔차를 기반으로 한 잔차 음성 구분부(420)를 추가로 포함한다. 잔차 음성 구분부(420)는 본 발명에서 적대 학습의 효과를 극대화 시키기 위해 추가되어 실제 음성과 생성된 음성의 차이를 이용하는 잔차 기반의 구분자이다.
도 3은 본 발명의 실시예에 따른 음성 생성부의 동작 구성을 나타낸 블록 구성도이다.
본 실시예에 따른 음성 생성부(210)는 데이터 압축부(310) 및 데이터 재구성부(320)를 포함한다. 도 3의 음성 생성부(210)는 일 실시예에 따른 것으로서, 도 3에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 음성 생성부(210)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다.
음성 생성부(210)는 혼합 음성을 입력 받고, 혼합 음성을 기반으로 특정 화자의 실제 음성과 비교하여 학습하기 위한 제1 음성을 생성한다. 구체적으로, 음성 생성부(210)는 적어도 하나의 화자의 음성들로 구성된 혼합 음성을 입력 받고, 혼합 음성을 기반으로 특정 화자에 대한 제1 음성(A')을 생성하여 출력한다. 여기서, 혼합 음성은 특정 화자의 제1 음성과 소정의 화자의 음성 또는 노이즈 음성을 포함할 수 있다.
음성 생성부(210)는 하나의 타겟 소스 음성의 웨이브폼 세그먼트와 여러 화자의 소스 음성들이 합성된 혼합 음성의 웨이브폼 세그먼트가 매핑된 데이터셋을 사용하여 학습하여 제1 음성을 생성할 수 있다.
데이터 압축부(310)는 혼합 음성에서 특정 화자의 음성을 구분하기 위하여 혼합 음성의 압축을 수행하는 동작을 수행한다.
데이터 압축부(310)는 혼합 음성을 압축함으로써 음성의 특징을 추출하여 잠재 공간에 전사할 수 있다. 데이터 압축부(310)는 혼합 음성에서 특정 화자에 대한 타겟 소스 음성을 분리하도록 하기 위하여 혼합 음성으로 압축된 표현형 데이터로 표현할 수 있다.
데이터 재구성부(320)는 특정 화자의 음성을 기반으로 압축된 혼합 음성을 재구성하여 제1 음성(A')을 생성한다.
데이터 재구성부(320)는 압축된 혼합 음성이 실제 타겟 소스 음성(제2 음성)과 유사하도록 재구성한다. 즉, 데이터 재구성부(320)는 데이터 압축부(310)로부터 생성된 표현형 데이터를 이용하여 타겟 소스 음성을 재구성한 제1 음성(A')을 생성하여 출력한다.
음성 생성부(210)는 기본적으로 오토인코더(AE: AutoEncoder)의 구조로 구현될 수 있다. 예를 들어, 음성 생성부(210)에서 데이터 압축부(310)는 오토인코더(AE)의 인코더(Encoder)와 대응되는 동작을 수행하고, 데이터 재구성부(320)는 오토인코더(AE)의 디코더(Decoder)에 대응되는 동작을 수행할 수 있다.
도 4는 본 발명의 실시예에 따른 음성 구분부의 동작 구성을 나타낸 블록 구성도이다.
본 실시예에 따른 음성 구분부(220)는 타겟 음성 구분부(410) 및 잔차 음성 구분부(420)를 포함한다. 도 4의 음성 구분부(220)는 일 실시예에 따른 것으로서, 도 4에 도시된 모든 블록이 필수 구성요소는 아니며, 다른 실시예에서 음성 구분부(220)에 포함된 일부 블록이 추가, 변경 또는 삭제될 수 있다.
음성 구분부(220)는 음성 생성부(210)에서 생성된 제1 음성(A')을 특정 화자의 실제 음성인 제2 음성(A)과 구분하고, 혼합 음성과 제1 음성 및 상기 제2 음성을 기반으로 생성된 잔차 음성을 구분하여 화자 분리가 수행되도록 한다.
음성 구분부(220)는 생성적 적대 신경망(GAN) 학습에 이용되어 음성 생성부(210)에서 생성된 음성을 실제 타겟 소스 음성을 구분하고, 잔차를 이용하여 혼합 음성에서 음성 생성부(210)가 생성한 음성을 뺀 음성과 혼합 음성에서 실제 타겟 소스 음성을 뺀 음성을 구분하는 동작을 수행한다.
타겟 음성 구분부(410)는 제1 음성 및 제2 음성이 동일한 음성인지 여부를 구분하는 동작을 수행한다. 구체적으로, 타겟 음성 구분부(410)는 제1 음성과 제2 음성을 입력 받고, 제1 음성이 제2 음성과 동일한 음성인지 여부를 구분하여 참 신호 또는 거짓 신호에 대한 플래그(Flag) 값을 출력한다.
타겟 음성 구분부(410)는 음성 생성부(210)와 연동하여 제1 음성 및 제2 음성을 구분하기 위하여 생성적 적대 신경망(GAN) 학습을 수행할 수 있다.
타겟 음성 구분부(410)는 생성적 적대 신경망(GAN) 학습을 통해 음성 생성부(210)에서 재구성되어 생성된 제1 음성과 실제 타겟 음성인 제2 음성을 구분하는 성능을 점점 더 향상시킴으로써, 고도화된 타겟 음성 구분부(410)를 속이려는 음성 생성부(210)의 타겟 음성(제1 음성)의 생성 성능을 향상시킬 수 있다.
잔차 음성 구분부(420)는 혼합 음성과 상기 제1 음성을 기반으로 생성된 제1 잔차 음성과 혼합 음성과 제2 음성을 기반으로 생성된 제2 잔차 음성이 동일한 음성인지 여부를 구분하는 동작을 수행한다.
잔차 음성 구분부(420)는 혼합 음성과 제1 음성을 기반으로 생성된 제1 잔차 음성과 혼합 음성과 제2 음성을 기반으로 생성된 제2 잔차 음성을 입력 받고, 제1 잔차 음성이 제2 잔차 음성과 동일한 음성인지 여부를 구분하여 참 신호 또는 거짓 신호에 대한 플래그(Flag) 값을 출력한다. 여기서, 제1 잔차 음성은 혼합 음성에서 제1 음성을 제거한 음성을 의미하고, 제2 잔차 음성은 혼합 음성에서 제2 음성을 제거한 음성을 의미한다.
잔차 음성 구분부(420)는 음성 생성부(210)와 연동하여 제1 잔차 음성 및 제2 잔차 음성을 구분하기 위하여 생성적 적대 신경망(GAN) 학습을 수행할 수 있다. 잔차 음성 구분부(420)는 잔차를 이용하여 생성적 적대 신경망(GAN) 학습의 효과를 극대화 시킬 수 있다.
잔차 음성 구분부(420)는 생성적 적대 신경망(GAN) 학습을 통해 혼합 음성에서 제1 음성을 뺀 제1 잔차 음성과 혼합 음성에서 제2 음성을 뺀 제2 잔차 음성을 구분하는 성능을 점점 더 향상시킴으로써, 고도화된 잔차 음성 구분부(420)를 속이려는 음성 생성부(210)의 타겟 음성(제1 음성) 생성 성능을 향상시킬 수 있다.
잔차 음성 구분부(420)는 혼합 음성에서 화자 분리 시, 특정 화자의 음성을 제외한 나머지 음성을 제거하는 성능을 향상시키기 위한 동작을 수행할 수 있다.
한편, 음성 구분부(220)는 타겟 음성 구분부(410) 및 잔차 음성 구분부(420) 각각의 학습 결과를 기반으로 혼합 음성의 화자 분리가 수행되도록 하되, 각각의 학습 결과에 서로 다른 가중치를 부여하여 혼합 음성의 화자 분리가 수행되도록 할 수도 있다. 즉, 제1 음성 및 제2 음성을 비교한 제1 학습 결과와 제1 잔차 음성 및 제2 잔차 음성을 비교한 제2 학습 결과의 신뢰도에 따라 서로 다른 가중치를 부여하여 혼합 음성의 화자 분리가 수행되도록 할 수도 있다. 여기서, 제1 학습 결과 및 제2 학습 결과에 대한 신뢰도는 사용자의 조작에 의해 입력된 입력 신호에 따라 결정될 수 있으나 신뢰도 추정 알고리즘을 적용하여 자동으로 결정될 수도 있다.
예를 들어, 음성 구분부(220)는 타겟 음성 구분부(410)의 학습 결과에 제1 가중치를 부여하고, 음성 구분부(420)의 학습 결과에 제2 가중치를 부여할 수 있다. 여기서, 제1 가중치는 제2 가중치를 초과하는 값인 것이 바람직하나 반드시 이에 한정되는 것은 아니다.
도 5는 본 발명의 실시예에 따른 화자 분리 방법을 설명하기 위한 순서도이다.
화자 분리 장치(100)는 여러 화자의 음성들로 구성된 혼합 음성을 입력 받는다(S510). 여기서, 혼합 음성은 특정 화자의 제1 음성과 소정의 화자의 음성 또는 노이즈 음성을 포함할 수 있다.
화자 분리 장치(100)는 특정 화자(타켓 화자)의 음성을 분리하고, 이를 기반으로 제1 음성을 생성하여 출력한다(S520). 화자 분리 장치(100)는 하나의 타겟 소스 음성의 웨이브폼 세그먼트와 여러 화자의 소스 음성들이 합성된 혼합 음성의 웨이브폼 세그먼트가 매핑된 데이터셋을 사용하여 생성된 제1 음성을 출력한다.
화자 분리 장치(100)는 생성적 적대 신경망(GAN) 학습에 이용되어 출력된 제1 음성과 특정 화자의 실제 음성인 제2 음성을 구분한다(S530).
화자 분리 장치(100)는 제1 음성과 제2 음성을 입력 받고, 제1 음성이 제2 음성과 동일한 음성인지 여부를 구분하여 참 신호 또는 거짓 신호에 대한 플래그(Flag) 값을 출력한다.
화자 분리 장치(100)는 잔차를 이용하여 혼합 음성에서 제1 음성을 뺀 제1 잔차 음성과 혼합 음성에서 제2 음성을 뺀 제2 잔차 음성을 구분한다(S540, S550).
화자 분리 장치(100)는 생성적 적대 신경망(GAN) 학습을 기반으로 화자 분리를 수행하고, 화자 분리 결과를 생성하여 출력한다(S560). 화자 분리 장치(100)는 제1 음성과 제2 음성을 구분한 제1 학습 결과와 제1 잔차 음성과 제2 잔차 음성을 구분한 제2 학습 결과를 기반으로 화자 분리를 수행할 수 있다.
화자 분리 장치(100)는 제1 학습 결과를 기반으로 혼합 음성에 포함된 특정 화자의 음성을 추출(분리)하고, 제2 학습 결과를 기반으로 혼합 음성에서 특정 화자의 음성을 제외한 나머지 음성을 제거하여 화자 분리를 수행할 수 있다.
도 5에서는 각 단계를 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 5에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.
도 5에 기재된 본 실시예에 따른 화자 분리 방법은 애플리케이션(또는 프로그램)으로 구현되고 단말장치(또는 컴퓨터)로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 화자 분리 방법을 구현하기 위한 애플리케이션(또는 프로그램)이 기록되고 단말장치(또는 컴퓨터)가 읽을 수 있는 기록매체는 컴퓨팅 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치 또는 매체를 포함한다.
도 6은 본 발명의 실시예에 따른 생성적 적대 신경망 기반의 화자 분리 동작을 설명하기 위한 예시도이다.
도 6를 참조하면, 화자 분리 장치(100)에서 음성 생성부(210)와 음성 구분부(220) 내의 타겟 음성 구분부(410) 및 잔차 음성 구분부(420) 각각은 생성적 적대 신경망(GAN) 학습을 수행한다.
음성 생성부(210)는 음성 구분부(220)가 실제 타겟 소스 음성(제2 음성)과 구분할 수 없는 음성(제1 음성)을 생성하는 것을 목표로 한다. 또한, 음성 구분부(220)는 음성 생성부(210)가 생성한 음성(제1 음성)을 실제 타겟 음성(제2 음성)과 구분하는 것을 목표로 한다.
생성적 적대 신경망(GAN) 학습이 반복적으로 이루어지면서, 타겟 음성 구분부(410)와 잔차 음성 구분부(420)의 구분 성능은 점점 더 향상될 것이고, 음성 생성부(210) 역시 점점 고도화된 타겟 음성 구분부(410)와 잔차 음성 구분부(420)를 속이기 위해 재생성 성능이 향상될 것이다.
또한, 잔차를 이용한 잔차 음성 구분부(420)는 생성적 적대 신경망(GAN) 학습의 효과를 극대화 시킨다.
타겟 음성 구분부(410)는 음성 생성부(210)에서 생성된 타겟 소스 음성(제1 음성)과 실제 타겟 소스 음성(제2 음성)을 구분하고, 잔차 음성 구분부(420)는 타겟 소스 음성(제1 음성 또는 제2 음성)을 제외한 소스 음성들을 구분하는 역할을 수행한다.
화자 분리 장치(100)는 특정 화자의 음성을 구분하는 타겟 음성 구분부(410)와 잔차를 이용한 잔차 음성 구분부(420)를 포함함에 따라 두 번의 생성적 적대 신경망(GAN) 학습이 이루어지게 됨에 따라, 음성 생성부(210)의 타겟 음성(제1 음성)의 생성 성능이 강화되고, 혼합 음성에서 특정 화자의 음성을 제외한 나머지 소스 음성들이 좀 더 완벽하게 제거될 수 있다.
이상의 설명은 본 발명의 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 실시예들은 본 발명의 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 화자 분리 장치
110: 입력부 120: 출력부
130: 프로세서 140: 메모리
150: 데이터 베이스
210: 음성 생성부 220: 음성 구분부
310: 데이터 압축부 320: 데이터 재구성부
410: 타겟 음성 구분부 420: 잔차 음성 구분부

Claims (15)

  1. 하나 이상의 프로세서 및 상기 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 컴퓨팅 디바이스에 의해 수행되는 화자 분리 방법에 있어서,
    상기 컴퓨팅 디바이스는,
    적어도 하나의 화자의 음성들로 구성된 혼합 음성을 입력 받는 음성 입력 단계;
    상기 혼합 음성을 기반으로 특정 화자에 대한 제1 음성(A')을 생성하여 출력하는 음성 생성 단계; 및
    상기 제1 음성을 상기 특정 화자의 실제 제2 음성(A)과 구분하고, 상기 혼합 음성과 상기 제1 음성 및 상기 제2 음성을 기반으로 생성된 잔차 음성을 구분하여 화자 분리가 수행되도록 하는 음성 구분 단계
    를 수행하는 것을 특징으로 하는 화자 분리 방법.
  2. 제1항에 있어서,
    상기 음성 입력 단계는,
    상기 특정 화자의 제1 음성과 소정의 화자의 음성 또는 노이즈 음성을 포함하는 상기 혼합 음성을 입력 받는 것을 특징으로 하는 화자 분리 방법.
  3. 제1항에 있어서,
    상기 음성 생성 단계는,
    하나의 타겟 소스 음성의 웨이브폼 세그먼트와 여러 화자의 소스 음성들이 합성된 혼합 음성의 웨이브폼 세그먼트가 매핑된 데이터셋을 사용하여 학습하여 상기 제1 음성을 생성하는 것을 특징으로 하는 화자 분리 방법.
  4. 제1항에 있어서,
    상기 음성 생성 단계는,
    상기 혼합 음성에서 상기 특정 화자의 음성을 구분하기 위하여 상기 혼합 음성의 압축을 수행하는 혼합 음성 압축 단계; 및
    상기 특정 화자의 음성을 기반으로 압축된 혼합 음성을 재구성하여 제1 음성(A')을 생성하는 데이터 재구성 단계
    를 포함하는 것을 특징으로 하는 화자 분리 방법.
  5. 제3항에 있어서,
    상기 음성 구분 단계는,
    상기 제1 음성 및 상기 제2 음성이 동일한 음성인지 여부를 구분하는 타겟 음성 구분 단계; 및
    상기 혼합 음성과 상기 제1 음성을 기반으로 생성된 제1 잔차 음성과 상기 혼합 음성과 상기 제2 음성을 기반으로 생성된 제2 잔차 음성이 동일한 음성인지 여부를 구분하는 잔차 음성 구분 단계
    를 포함하는 것을 특징으로 하는 화자 분리 방법.
  6. 제5항에 있어서,
    상기 타겟 음성 구분 단계는,
    상기 제1 음성과 상기 제2 음성을 입력 받고, 상기 제1 음성이 상기 제2 음성과 동일한 음성인지 여부를 구분하여 참 신호 또는 거짓 신호에 대한 플래그(Flag) 값을 출력하는 것을 특징으로 하는 화자 분리 방법.
  7. 제5항에 있어서,
    상기 잔차 음성 구분 단계는,
    상기 혼합 음성과 상기 제1 음성을 기반으로 생성된 제1 잔차 음성과 상기 혼합 음성과 상기 제2 음성을 기반으로 생성된 제2 잔차 음성을 입력 받고, 상기 제1 잔차 음성이 상기 제2 잔차 음성과 동일한 음성인지 여부를 구분하여 참 신호 또는 거짓 신호에 대한 플래그(Flag) 값을 출력하는 화자 분리 방법.
  8. 제7항에 있어서,
    상기 잔차 음성 구분 단계는,
    상기 혼합 음성에서 상기 제1 음성을 제거한 상기 제1 잔차 음성과 상기 혼합 음성에서 상기 제2 음성을 제거한 상기 제2 잔차 음성을 비교하여 구분하는 것을 특징으로 하는 화자 분리 방법.
  9. 제5항에 있어서,
    상기 타겟 음성 구분 단계는,
    상기 음성 생성 단계와 연동하여 상기 제1 음성 및 상기 제2 음성을 구분하기 위하여 생성적 적대 신경망(GAN: Generative Adversarial Network) 학습을 수행하며,
    상기 잔차 음성 구분 단계는, 상기 음성 생성 단계과 연동하여 상기 제1 잔차 음성 및 상기 제2 잔차 음성을 구분하기 위하여 생성적 적대 신경망(GAN) 학습을 수행하는 것을 특징으로 하는 화자 분리 방법.
  10. 혼합 음성에서 화자를 분리하는 장치로서,
    하나 이상의 프로세서; 및
    상기 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하며, 상기 프로그램들은 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서들에서,
    적어도 하나의 화자의 음성들로 구성된 혼합 음성을 입력 받는 음성 입력 단계;
    상기 혼합 음성을 기반으로 특정 화자에 대한 제1 음성(A')을 생성하여 출력하는 음성 생성 단계; 및
    상기 제1 음성을 상기 특정 화자의 실제 제2 음성(A)과 구분하고, 상기 혼합 음성과 상기 제1 음성 및 상기 제2 음성을 기반으로 생성된 잔차 음성을 구분하여 화자 분리가 수행되도록 하는 음성 구분 단계
    를 포함하는 동작들을 수행하게 하는 것을 특징으로 하는 화자 분리 장치.
  11. 제10항에 있어서,
    상기 음성 구분 단계는,
    상기 제1 음성 및 상기 제2 음성이 동일한 음성인지 여부를 구분하는 타겟 음성 구분 단계; 및
    상기 혼합 음성과 상기 제1 음성을 기반으로 생성된 제1 잔차 음성과 상기 혼합 음성과 상기 제2 음성을 기반으로 생성된 제2 잔차 음성이 동일한 음성인지 여부를 구분하는 잔차 음성 구분 단계
    를 포함하는 것을 특징으로 하는 화자 분리 장치.
  12. 제11항에 있어서,
    상기 타겟 음성 구분 단계는,
    상기 제1 음성과 상기 제2 음성을 입력 받고, 상기 제1 음성이 상기 제2 음성과 동일한 음성인지 여부를 구분하여 참 신호 또는 거짓 신호에 대한 플래그(Flag) 값을 출력하는 것을 특징으로 하는 화자 분리 장치.
  13. 제11항에 있어서,
    상기 잔차 음성 구분 단계는,
    상기 혼합 음성과 상기 제1 음성을 기반으로 생성된 제1 잔차 음성과 상기 혼합 음성과 상기 제2 음성을 기반으로 생성된 제2 잔차 음성을 입력 받고, 상기 제1 잔차 음성이 상기 제2 잔차 음성과 동일한 음성인지 여부를 구분하여 참 신호 또는 거짓 신호에 대한 플래그(Flag) 값을 출력하는 화자 분리 장치.
  14. 하나 이상의 프로세서 및 상기 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 포함하는 컴퓨팅 디바이스에 의해 수행되는 화자 분리 방법에 있어서,
    상기 컴퓨팅 디바이스는,
    적어도 하나의 화자의 음성들로 구성된 혼합 음성을 입력 받고, 특정 화자에 대한 음성을 기반으로 학습된 제1 학습 결과 및 상기 특정 화자를 제외한 음성을 기반으로 학습된 제2 학습 결과를 기반으로 상기 혼합 음성에 포함된 상기 특정 화자를 분리하는 것을 특징으로 화자 분리 방법.
  15. 제14항에 있어서,
    상기 컴퓨팅 디바이스는,
    상기 제1 학습 결과를 기반으로 상기 혼합 음성에 포함된 상기 특정 화자의 음성을 추출하고, 상기 제2 학습 결과를 기반으로 상기 혼합 음성에서 상기 특정 화자의 음성을 제외한 나머지 음성을 제거하는 것을 특징으로 화자 분리 방법.
KR1020190141938A 2019-11-07 2019-11-07 기계학습 기반의 화자 분리 방법 및 그를 위한 장치 KR102313387B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190141938A KR102313387B1 (ko) 2019-11-07 2019-11-07 기계학습 기반의 화자 분리 방법 및 그를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190141938A KR102313387B1 (ko) 2019-11-07 2019-11-07 기계학습 기반의 화자 분리 방법 및 그를 위한 장치

Publications (3)

Publication Number Publication Date
KR20210055464A true KR20210055464A (ko) 2021-05-17
KR102313387B1 KR102313387B1 (ko) 2021-10-14
KR102313387B9 KR102313387B9 (ko) 2021-11-12

Family

ID=76158155

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190141938A KR102313387B1 (ko) 2019-11-07 2019-11-07 기계학습 기반의 화자 분리 방법 및 그를 위한 장치

Country Status (1)

Country Link
KR (1) KR102313387B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113707173A (zh) * 2021-08-30 2021-11-26 平安科技（深圳）有限公司 基于音频切分的语音分离方法、装置、设备及存储介质
WO2022265210A1 (ko) * 2021-06-18 2022-12-22 삼성전자주식회사 전자 장치 및 전자 장치의 개인화된 음성 처리 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008146054A (ja) * 2006-12-06 2008-06-26 Korea Electronics Telecommun 話者の音声特徴情報を利用した話者情報獲得システム及びその方法
KR20100065811A (ko) * 2008-12-09 2010-06-17 한국전자통신연구원 음원분리 및 음원식별을 이용한 음성인식 장치 및 방법
KR20130070345A (ko) * 2011-12-19 2013-06-27 세종대학교산학협력단 음성 신호를 이용한 화자 인식 장치 및 그 방법
KR20130075513A (ko) * 2011-12-27 2013-07-05 현대캐피탈 주식회사 음성 분리를 이용한 실시간 화자인식 시스템 및 방법
KR20160013592A (ko) * 2014-07-28 2016-02-05 (주)복스유니버스 음성 특징 벡터를 이용한 화자 분리 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008146054A (ja) * 2006-12-06 2008-06-26 Korea Electronics Telecommun 話者の音声特徴情報を利用した話者情報獲得システム及びその方法
KR20100065811A (ko) * 2008-12-09 2010-06-17 한국전자통신연구원 음원분리 및 음원식별을 이용한 음성인식 장치 및 방법
KR20130070345A (ko) * 2011-12-19 2013-06-27 세종대학교산학협력단 음성 신호를 이용한 화자 인식 장치 및 그 방법
KR20130075513A (ko) * 2011-12-27 2013-07-05 현대캐피탈 주식회사 음성 분리를 이용한 실시간 화자인식 시스템 및 방법
KR20160013592A (ko) * 2014-07-28 2016-02-05 (주)복스유니버스 음성 특징 벡터를 이용한 화자 분리 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022265210A1 (ko) * 2021-06-18 2022-12-22 삼성전자주식회사 전자 장치 및 전자 장치의 개인화된 음성 처리 방법
CN113707173A (zh) * 2021-08-30 2021-11-26 平安科技（深圳）有限公司 基于音频切分的语音分离方法、装置、设备及存储介质
CN113707173B (zh) * 2021-08-30 2023-12-29 平安科技（深圳）有限公司 基于音频切分的语音分离方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR102313387B9 (ko) 2021-11-12
KR102313387B1 (ko) 2021-10-14

Similar Documents

Publication Publication Date Title
Gao et al. Learning to separate object sounds by watching unlabeled video
Rakotomamonjy et al. Histogram of gradients of time–frequency representations for audio scene classification
Biswas et al. Audio codec enhancement with generative adversarial networks
Amiriparian et al. Bag-of-deep-features: Noise-robust deep feature representations for audio analysis
CN107112006A (zh) 基于神经网络的语音处理
Aggarwal et al. Cellphone identification using noise estimates from recorded audio
Chen et al. Learning audio-visual dereverberation
CN114373476A (zh) 一种基于多尺度残差注意力网络的声音场景分类方法
EP3392883A1 (en) Method for processing an input audio signal and corresponding electronic device, non-transitory computer readable program product and computer readable storage medium
Okuyucu et al. Audio feature and classifier analysis for efficient recognition of environmental sounds
Fathan et al. Mel-spectrogram image-based end-to-end audio deepfake detection under channel-mismatched conditions
CN114360491B (zh) 语音合成方法、装置、电子设备及计算机可读存储介质
KR102313387B1 (ko) 기계학습 기반의 화자 분리 방법 및 그를 위한 장치
Ramsay et al. The intrinsic memorability of everyday sounds
Chon et al. Acoustic scene classification using aggregation of two-scale deep embeddings
Yadav et al. PS3DT: Synthetic Speech Detection Using Patched Spectrogram Transformer
Yadav et al. Compression Robust Synthetic Speech Detection Using Patched Spectrogram Transformer
Chowdhury et al. Deeptalk: Vocal style encoding for speaker recognition and speech synthesis
Felipe et al. Acoustic scene classification using spectrograms
Liu et al. Robust audio-visual mandarin speech recognition based on adaptive decision fusion and tone features
JP6784255B2 (ja) 音声処理装置、音声処理システム、音声処理方法、およびプログラム
Kamble et al. Emotion recognition for instantaneous Marathi spoken words
AU2005100274A4 (en) Method and apparatus for analyising sound
KR102400598B1 (ko) 기계학습 기반의 잡음 제거 방법 및 그를 위한 장치
KR101755238B1 (ko) 손상된 멀티미디어 파일의 음성 복원 장치 및 그 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20191107

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210326

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210930

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20211008

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20211008

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
G170 Re-publication after modification of scope of protection [patent]
PG1701 Publication of correction

Patent event code: PG17011E01I

Patent event date: 20211109

Comment text: Request for Publication of Correction

Publication date: 20211112

PR1001 Payment of annual fee

Payment date: 20241016

Start annual number: 4

End annual number: 4