KR20220080466A - 플로우 기반의 학습 모델을 이용한 오디오 신호의 부호화 및 복호화 방법 및 장치와 학습 모델의 트레이닝 방법 및 장치 - Google Patents

플로우 기반의 학습 모델을 이용한 오디오 신호의 부호화 및 복호화 방법 및 장치와 학습 모델의 트레이닝 방법 및 장치 Download PDF

Info

Publication number
KR20220080466A
KR20220080466A KR1020200169599A KR20200169599A KR20220080466A KR 20220080466 A KR20220080466 A KR 20220080466A KR 1020200169599 A KR1020200169599 A KR 1020200169599A KR 20200169599 A KR20200169599 A KR 20200169599A KR 20220080466 A KR20220080466 A KR 20220080466A
Authority
KR
South Korea
Prior art keywords
signal
latent variable
learning model
input signal
condition vector
Prior art date
Application number
KR1020200169599A
Other languages
English (en)
Inventor
장인선
백승권
성종모
이태진
임우택
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200169599A priority Critical patent/KR20220080466A/ko
Publication of KR20220080466A publication Critical patent/KR20220080466A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032—Quantisation or dequantisation of spectral components
    • G10L19/038—Vector quantisation, e.g. TwinVQ audio
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G10L19/07—Line spectrum pair [LSP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

플로우 기반의 학습 모델을 이용한 오디오 신호의 부호화 및 복호화 방법 및 장치와 학습 모델의 트레이닝 방법 및 장치가 개시될 수 있다. 본 발명의 일실시예에 따른 부호화 장치가 수행하는 오디오 신호의 부호화 방법은 입력 신호를 식별하는 단계; 상기 입력 신호로부터, 상기 입력 신호의 특징을 나타내는 조건 벡터를 추출하는 단계; 상기 입력 신호 및 상기 조건 벡터를 트레이닝된 학습 모델에 입력하여 잠재 변수 신호를 생성하는 단계; 및 상기 조건 벡터 및 잠재 변수 신호를 양자화하여 비트스트림을 생성하는 단계를 포함할 수 있다.

Description

플로우 기반의 학습 모델을 이용한 오디오 신호의 부호화 및 복호화 방법 및 장치와 학습 모델의 트레이닝 방법 및 장치{METHOD AND APPARATUS FOR ENCODING AND DECODING OF AUDIO SIGNAL USING A FLOW-BASED LEARNING MODEL AND METHOS AND APPARATUS FOR TRAINNING THE LEARNING MODEL}
본 발명은 플로우 기반의 학습 모델을 이용한 오디오 신호의 부호화 및 복호화 방법 및 장치와 학습 모델의 트레이닝 방법 및 장치에 관한 것으로, 오디오 신호로부터 조건 벡터를 추출하고, 학습 모델로 획득한 잠재 변수 신호를 부호화 및 복호화에 이용함으로써 압축 효율 향상 및 품질 향상을 도모하는 기술에 관한 것이다.
종래 오디오 신호의 부호화는 사람의 청각 특성을 활용하여 인지 가능한 정보만을 표현하는 방법을 통해 비교적 높은 압축률에서도 고품질을 표현하였다. 그러나, 부호화 과정에서 요구되는 지연 시간이 길고, 부호화 방법이 표준화되어 있지 않아 회사 및 제품별 시스템 특징에 따른 음질의 변화가 심하여 일관성 있는 결과를 얻기 어려운 단점이 있다.
오디오 코덱은 크게 i) 입력 오디오 신호에 대한 주파수 성분으로 변환 과정 및 사람의 청각 특성을 활용한 비트 할당 과정을 포함하는 부호화와 ii) 전송된 주파수 성분을 다시 시간축의 신호로 역 변환하는 복호화로 나눌 수 있다.
여기서, 오디오 코덱의 성능을 결정하는 것은 어떻게 비트를 효과적으로 할당하는 지 여부에 달려있다. 즉, 변환을 통해 얻어진 주파수 성분에 대해 최소한의 정보량을 사용하여 사람이 청각적으로 인지하지 못할 정도의 왜곡만 허용되도록 하는 방법이 오디오 코덱의 성능을 결정하는 가장 중요한 요인이다.
최근, 딥러닝 기술이 급격하게 발전함에 따라 이를 오디오 신호의 부호화 과정에 활용하기 위한 연구가 시도되고 있다. 딥러닝 기술을 오디오 코덱에 적용하기 위한 가장 간단한 방법은 주파수 성분으로 변환 및 역 변환 과정을 딥러닝 네트워크로 대체하는 것이다.
오토인코더(Auto-Encoder)로 알려져 있는 간단한 구조를 사용하면 오디오 코덱의 부호화 및 복호화 과정을 대체할 수 있다. 그러나, 오토인코더를 이용한 오디오 코덱의 성능은 생성 모델 (Generative Model)기반의 딥러닝 네트워크를 이용한 오디오 코덱의 성능보다 높지 않다.
대표적인 생성 모델로는 VAE (Variational Auto-encoder), GAN (Generative Adversarial Network), flow 등이 있다. VAE와 GAN은 데이터의 확률 분포를 간접적으로 모델링하므로 최적화가 어렵고 학습이 불안정하다. 반면, 플로우(flow) 기반 딥러닝 생성 모델은 주어진 데이터에 대한 확률 분포를 직접적으로 모델링하므로 다른 생성 모델 기술에 비해 학습 불안정성이 적고, 잠재 변수 신호에 대한 추론이 가능하며 새로운 샘플 생성을 보다 빠르게 할 수 있다는 장점이 있다.
따라서, 학습 데이터에 대해서 직접적으로 확률 분포를 모델링하는 플로우-기반의 생성 모델을 학습 모델로 이용하여 학습의 안정성이 높고, 부호화 및 복호화를 효율적으로 수행할 수 있는 기술이 요구될 수 있다.
본 발명은 기존의 조건 벡터 뿐만 아니라 오디오 신호의 잠재 변수 신호를 이용하여 오디오 신호의 부호화 및 복호화를 수행함으로써 오디오 압축 효율을 향상시키고 복원되는 신호의 품질을 높일 수 있는 방법 및 장치를 제공할 수 있다.
또한, 본 발명은 잠재 변수 신호의 양자화 및 조건 벡터 신호의 양자화 시 각각의 정보량을 환경에 따라 제어함으로써 오디오 코딩 효율을 높일 수 있는 방법 및 장치를 제공할 수 있다.
본 발명의 일실시예에 따른 부호화 장치가 수행하는 오디오 신호의 부호화 방법은 입력 신호를 식별하는 단계; 상기 입력 신호로부터, 상기 입력 신호의 특징을 나타내는 조건 벡터를 추출하는 단계; 상기 입력 신호 및 상기 조건 벡터를 트레이닝된 학습 모델에 입력하여 잠재 변수 신호를 생성하는 단계; 및 상기 조건 벡터 및 잠재 변수 신호를 양자화하여 비트스트림을 생성하는 단계를 포함할 수 있다.
상기 학습 모델은, 상기 입력 신호 및 상기 조건 벡터로부터 생성되는 잠재 변수 신호의 확률 분포가, 상기 입력 신호에 대응되도록 트레이닝될 수 있다.
상기 조건 벡터는, 상기 입력 신호에 대해, 선형 예측 코딩을 이용하여 추출되는 선형 예측 계수일 수 있다.
상기 조건 벡터를 추출하는 단계는, 상기 입력 신호를 오토인코더(autoencoder)에 입력하여, 상기 입력 신호의 차원 보다 적은 차원으로 나타나는 특성 신호를 조건 벡터로 결정할 수 있다.
상기 조건 벡터를 추출하는 단계는, 상기 입력 신호에 대응하는 멜-스펙트로그램(Mel-spectrogram)을 조건 벡터로 생성할 수 있다.
상기 비트스트림을 생성하는 단계는, 부호화의 비트율이 일정 기준 이하로 제한되는 경우, 상기 학습 모델을 이용하여 결정한 상기 잠재 변수 신호의 확률 분포 정보를, 상기 조건 벡터와 양자화하고 비트스트림을 생성할 수 있다.
본 발명의 일실시예에 따른 복호화 장치가 수행하는 오디오 신호의 복호화 방법은 부호화 장치로부터 수신한 비트스트림으로부터 조건 벡터 및 잠재 변수 신호를 추출하는 단계; 상기 조건 벡터 및 잠재 변수 신호를 역양자화하는 단계; 및 상기 역양자화된 조건 벡터 및 잠재 변수 신호를 트레이닝된 학습 모델에 입력하여 출력 신호를 복호화하는 단계를 포함할 수 있다.
상기 학습 모델은, 상기 조건 벡터에 기초하여, 상기 잠재 변수 신호에 대해 정규화 플로우 과정을 수행함으로써, 상기 잠재 변수 신호의 확률 분포가 상기 출력 신호에 대응하도록 트레이닝될 수 있다.
상기 역양자화하는 단계는, 상기 비트스트림이 잠재 변수 신호의 확률분포 정보와 조건 벡터를 포함하는 경우, 상기 비트스트림으로부터 추출한 상기 잠재 변수 신호의 확률분포 정보와 조건 벡터를 역양자화할 수 있고, 상기 복호화하는 단계는, 상기 역양자화된 잠재 변수 신호의 확률분포 정보와 조건 벡터를 트레이닝된 학습 모델에 입력하여 출력 신호를 복호화할 수 있다.
본 발명의 일실시예에 따른 트레이닝 장치가 수행하는 학습 모델의 트레이닝 방법은 입력 신호를 식별하는 단계; 상기 입력 신호로부터, 상기 입력 신호의 특징을 나타내는 조건 벡터를 추출하는 단계; 복수의 가중치를 포함하는 학습 모델에 상기 입력 신호 및 상기 조건 벡터를 입력하여 잠재 변수 신호를 생성하는 단계; 및 상기 잠재 변수 신호와 상기 학습 모델의 가중치에 기초하여 손실 값을 결정하는 단계; 및 상기 손실 값이 최소가 되도록 상기 학습 모델의 가중치를 업데이트 하는 단계를 포함할 수 있다.
상기 조건 벡터는, 상기 입력 신호에 대해, 선형 예측 코딩을 이용하여 추출되는 선형 예측 계수일 수 있다.
상기 조건 벡터를 추출하는 단계는, 상기 입력 신호를 오토인코더(autoencoder)에 입력하여, 상기 입력 신호의 차원 보다 적은 차원으로 나타나는 특성 신호를 조건 벡터로 결정할 수 있다.
상기 조건 벡터를 추출하는 단계는, 상기 입력 신호에 대응하는 멜-스펙트로그램(Mel-spectrogram)을 조건 벡터로 생성할 수 있다.
본 발명의 일실시예에 따른 부호화 장치가 수행하는 오디오 신호의 부호화 방법은, 입력 신호를 식별하는 단계; 상기 입력 신호를 트레이닝된 학습 모델에 입력하여 잠재 변수 신호를 생성하는 단계; 및 상기 생성된 잠재 변수 신호를 양자화하여 비트스트림을 생성하는 단계를 포함할 수 있다.
상기 학습 모델은, 상기 입력 신호 및 상기 조건 벡터로부터 생성되는 잠재 변수 신호의 확률 분포가, 상기 입력 신호에 대응되도록 트레이닝될 수 있다.
상기 비트스트림을 생성하는 단계는, 부호화의 비트율이 일정 기준 이하로 제한되는 경우, 상기 학습 모델을 이용하여 결정한 상기 잠재 변수 신호의 확률분포 정보를, 상기 조건 벡터와 양자화하고 비트스트림을 생성할 수 있다.
본 발명의 일실시예에 따른 복호화 장치가 수행하는 오디오 신호의 복호화 방법은 부호화 장치로부터 수신한 비트스트림으로부터 잠재 변수 신호를 추출할 하는 단계; 상기 비트스트림으로부터 추출한 잠재 변수 신호를 역양자화하는 단계; 및 상기 역양자화된 잠재 변수 신호를 트레이닝된 학습 모델에 입력하여 출력 신호를 복호화하는 단계를 포함할 수 있다.
상기 학습 모델은, 상기 조건 벡터에 기초하여, 상기 잠재 변수 신호에 대해 정규화 플로우 과정을 수행함으로써, 상기 잠재 변수 신호의 확률 분포가 상기 출력 신호에 대응하도록 트레이닝될 수 있다.
상기 역양자화하는 단계는, 상기 비트스트림이 잠재 변수 신호의 확률분포 정보와 조건 벡터를 포함하는 경우, 상기 비트스트림으로부터 추출한 상기 잠재 변수 신호의 확률분포 정보와 조건 벡터를 역양자화하고, 상기 복호화하는 단계는, 상기 역양자화된 잠재 변수 신호의 확률분포 정보와 조건 벡터를 트레이닝된 학습 모델에 입력하여 출력 신호를 복호화할 수 있다.
본 발명의 일실시예에 따른 트레이닝 장치가 수행하는 학습 모델의 트레이닝 방법은 입력 신호를 식별하는 단계; 복수의 가중치를 포함하는 학습 모델에 상기 입력 신호를 입력하여 잠재 변수 신호를 생성하는 단계; 및 상기 잠재 변수 신호와 상기 학습 모델의 가중치에 기초하여 손실 값을 결정하는 단계; 및 상기 손실 값이 최소가 되도록 상기 학습 모델의 가중치를 업데이트 하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 부호화 방법을 수행하는 부호화 장치는 상기 부호화 장치는 프로세서를 포함하고, 상기 프로세서는, 입력 신호를 식별하고, 상기 입력 신호로부터, 상기 입력 신호의 특징을 나타내는 조건 벡터를 추출하고, 상기 입력 신호 및 상기 조건 벡터를 트레이닝된 학습 모델에 입력하여 잠재 변수 신호를 생성하고, 상기 조건 벡터 및 잠재 변수 신호를 양자화하여 비트스트림을 생성할 수 있다.
본 발명의 일실시예에 따른 오디오 신호의 복호화 방법을 수행하는 복호화 장치에 있어서, 상기 복호화 장치는 프로세서를 포함하고, 상기 프로세서는, 부호화 장치로부터 수신한 비트스트림으로부터 조건 벡터 및 잠재 변수 신호를 추출하고, 추출한 조건 벡터 및 잠재 변수 신호를 역양자화하고, 상기 역양자화된 조건 벡터 및 잠재 변수 신호를 트레이닝된 학습 모델에 입력하여 출력 신호를 복호화할 수 있다.
본 발명의 일실시예에 따르면 기존의 조건 벡터 뿐만 아니라 오디오 신호의 잠재 변수 신호를 이용하여 오디오 신호의 부호화 및 복호화를 수행함으로써 오디오 압축 효율을 향상시키고 복원되는 신호의 품질을 높일 수 있다.
또한, 본 발명의 일실시예에 따르면 잠재 변수 신호의 양자화 및 조건 벡터 신호의 양자화 시 각각의 정보량을 환경에 따라 제어함으로써 오디오 코딩 효율을 높일 수 있다.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 부호화 장치 및 복호화 장치가 트레이닝된 학습 모델을 이용하여 입력 신호를 부호화하고 출력 신호를 생성하는 과정을 도시한 도면이다.
도 3은 본 발명의 다른 실시예에 따른 부호화 장치 및 복호화 장치가 트레이닝된 학습 모델을 이용하여 입력 신호를 부호화하고 출력 신호를 복호화하는 과정을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 학습 모델의 트레이닝 과정을 도시한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 학습 모델의 트레이닝 과정을 도시한 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명할 수 있다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 할 수 있다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 할 수 있다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 수 있다.
도 1은 본 발명의 일실시예에 따른 부호화 장치와 복호화 장치를 도시한 도면이다.
본 발명은 학습 모델을 이용하여 오디오 신호를 부호화 및 복호화하는 기술에 관한 것으로, 오디오 신호로부터 조건 벡터를 추출하고, 트레이닝된 학습 모델에 오디오 신호와 조건 벡터를 입력하여 획득한 잠재 변수(latent variable) 신호를 부호화 및 복호화에 이용함으로써 압축 효율 향상 및 품질 향상을 도모하는 방법에 대한 것이다.
부호화 장치(101) 및 복호화 장치(102)는 각각 데스크톱, 노트북 등과 같이 프로세서를 포함하는 장치이며, 부호화 장치(101) 및 복호화 장치(102)는 서로 동일한 장치에 대응할 수 있다. 부호화 장치(101) 및 복호화 장치(102)에 포함된 프로세서는 본 발명의 부호화 및 복호화 방법을 수행할 수 있다.
그리고, 트레이닝 장치는 각각 데스크톱, 노트북 등과 같이 프로세서를 포함하는 장치이며, 부호화 장치(101) 및 복호화 장치(102)와 동일한 장치일 수 있다. 트레이닝 장치는 본 발명에서 이용되는 학습 모델의 트레이닝 방법을 수행할 수 있다.
일례로, 본 발명에서 이용되는 학습 모델은 딥러닝 모델로서 생성 모델일 수 있다. 생성 모델은 주어진 학습 데이터에 대한 확률 분포를 모델링하도록 트레이닝되는 학습 모델일 수 있다. 생성 모델은 인코더 모델과 디코더 모델로 구성될 수 있다.
본 발명의 생성 모델은 플로우 기반의 생성 모델로, 부호화 장치(101)는 인코더 모델을 이용하여 입력 신호(103)에 대응하는 잠재 변수 신호로 입력 신호(103)를 부호화할 수 있다. 그리고, 복호화 장치(102)는 가역 변환 함수를 포함하는 디코딩 모델을 이용하여, 잠재 변수 신호에 대해 일련의 변수 변환(정규화 플로우 과정)을 수행함으로써, 출력 신호(104)를 복호화할 수 있다.
이 때, 본 발명의 일실시예에 따른 생성 모델은, 부호화 및 복호화 함에 있어, 조건 벡터를 입력 데이터로 활용할 수 있다. 생성 모델의 트레이닝 과정은 도 4 및 도 5에서 구체적으로 후술할 수 있다.
도 1을 참조하면, 본 발명의 일실시예에 따른 부호화 장치(101)는 입력 신호(103)를 수신하고, 학습 모델을 이용하여 입력 신호(103)를 잠재 변수 신호 및 조건 벡터로 부호화하고 양자화하여 비트스트림을 생성할 수 있다. 부호화 장치(101)는 비트스트림을 복호화 장치(102)로 전송할 수 있다. 비트스트림은 양자화된 잠재 변수 신호와 조건 벡터를 포함할 수 있다.
복호화 장치(102)는 부호화 장치(101)로부터 수신한 비트스트림으로부터 잠재 변수 신호 및 조건 벡터를 추출하고, 학습 모델에 잠재 변수 신호 및 조건 벡터를 입력하여, 출력 신호(104)를 복호화할 수 있다.
본 발명의 다른 실시예에 따른 부호화 장치(101)는 입력 신호(103)를 수신하고, 학습 모델을 이용하여 입력 신호(103)를 잠재 변수 신호로 부호화하고 양자화하여 비트스트림을 생성할 수 있다. 비트스트림은 양자화된 잠재 변수 신호를 포함할 수 있다. 부호화 장치(101)는 비트스트림을 복호화 장치(102)로 전송할 수 있다.
복호화 장치(102)는 부호화 장치(101)로부터 수신한 비트스트림으로부터 잠재 변수 신호를 추출하고, 학습 모델에 잠재 변수 신호 및 조건 벡터를 입력하여, 출력 신호(104)를 복호화할 수 있다.
도 2는 본 발명의 일실시예에 따른 부호화 장치 및 복호화 장치가 트레이닝된 학습 모델을 이용하여 입력 신호를 부호화하고 출력 신호를 생성하는 과정을 도시한 도면이다.
단계(201)에서, 부호화 장치(101)는, 입력 신호(103)를 식별하고, 조건 벡터(condition vector)를 입력 신호(103)로부터 추출할 수 있다. 조건 벡터는 입력 신호(103)의 특징을 나타내는 데이터를 의미할 수 있다.
일례로, 조건 벡터는 입력 신호(103)에 대해, 선형 예측 코딩(Linear Prediction Coding)을 이용하여 추출되는 선형 예측 계수일 수 있다. 다른 예로, 조건 벡터는 입력 신호(103)의 차원 보다 적은 차원으로 나타나는 특성 신호를 의미할 수 있다.
구체적으로, 조건 벡터는 입력 신호(103)가 오토인코더(autoencoder)에 입력되어 추출되는 특성 신호를 의미할 수 있다. 다른 예로, 조건 벡터는 입력 신호(103)에 대응하는 멜-스펙트로그램(Mel-spectrogram)을 의미할 수 있다. 조건 벡터는 특정한 예시로 제한되지 않는다.
단계(202)에서, 부호화 장치(101)는, 입력 신호(103) 및 조건 벡터를 트레이닝된 학습 모델에 입력하여 잠재 변수 신호를 생성할 수 있다. 트레이닝된 학습 모델은 딥러닝 모델로, 플로우 기반의 생성 모델일 수 있다.
플로우 기반의 생성 모델은 입력 신호(103) 및 조건 벡터로부터 생성되는 잠재 변수 신호의 확률 분포가, 입력 신호(103)에 대응되도록 트레이닝될 수 있다. 구체적으로, 부호화 장치(101)에서 트레이닝된 학습 모델은 생성 모델의 인코더 모델을 의미할 수 있다.
또한, 부호화 장치(101)는 트레이닝된 학습 모델을 통해 생성한 잠재 변수 신호의 확률 분포를 결정할 수 있다.
단계(203)에서, 부호화 장치(101)는, 잠재 변수 신호와 조건 벡터를 각각 양자화하고, 비트스트림(204)으로 생성할 수 있다. 그리고, 부호화 장치(101)는 비트스트림(204)을 복호화 장치(102)로 전송할 수 있다.
다만, 부호화의 비트율이 일정 기준 이하로 제한되는 경우, 부호화 장치(101)는 잠재 변수 신호가 아닌 잠재 변수 신호의 확률 분포를 조건 벡터와 함께 양자화하여 비트스트림(204)으로 생성할 수 있다.
복호화 장치(102)는 잠재 변수 신호의 확률 분포에 기초하여 잠재 변수 신호를 생성할 수 있어, 비트율이 낮은 경우에도, 일정한 품질의 오디오 신호를 생성할 수 있다.
단계(205)에서, 복호화 장치(102)는, 부호화 장치(101)로부터 비트스트림(204)을 수신할 수 있다. 그리고, 복호화 장치(102)는, 비트스트림(204)으로부터 추출한 조건 벡터 및 잠재 변수 신호를 역양자화할 수 있다.
다만, 부호화의 비트율이 일정 기준 이하로 제한된 경우, 비트스트림(204)은 잠재 변수 신호의 확률 분포 정보와 조건 벡터를 포함할 수 있다. 이 경우, 복호화 장치(102)는 비트스트림(204)으로부터 추출한 잠재 변수 신호의 확률분포 정보와 조건 벡터를 역양자화할 수 있다.
단계(206)에서, 복호화 장치(102)는, 역양자화된 조건 벡터 및 잠재 변수 신호를 트레이닝된 학습 모델에 입력하여 출력 신호(104)를 복호화할 수 있다. 일례로, 복호화 장치(102)는 플로우 기반의 생성 모델을 학습 모델로 이용할 수 있다.
이 때, 트레이닝된 학습 모델은, 조건 벡터를 기초하여, 잠재 변수 신호에 대해 정규화 플로우 과정을 수행함으로써 잠재 변수 신호의 확률 분포가 출력 신호(104)에 대응하도록 트레이닝될 수 있다. 구체적으로, 복호화 장치(102)에서 트레이닝된 학습 모델은 생성 모델의 디코더 모델을 의미할 수 있다.
다만, 부호화의 비트율이 일정 기준 이하로 제한된 경우, 복호화 장치(102)는 역양자화된 잠재 변수 신호의 확률분포 정보와 조건 벡터를 트레이닝된 학습 모델에 입력하여 출력 신호(104)를 복호화할 수 있다.
도 3은 본 발명의 다른 실시예에 따른 부호화 장치(101) 및 복호화 장치(102)가 트레이닝된 학습 모델을 이용하여 입력 신호(103)를 부호화하고 출력 신호(104)를 복호화하는 과정을 도시한 도면이다.
본 발명의 일실시예와 달리, 본 발명의 다른 실시예에서, 트레이닝된 학습 모델은 조건 벡터가 아닌 입력 신호(103)만으로 학습된 모델일 수 있다. 즉, 본 발명의 다른 실시예에 따른 오디오 신호의 부호화 및 복호화 과정에서는, 조건 벡터가 이용되지 않을 수 있다.
단계(301)에서, 부호화 장치(101)는, 입력 신호(103)를 트레이닝된 학습 모델에 입력하여 잠재 변수 신호를 생성할 수 있다. 트레이닝된 학습 모델은 딥러닝 모델로, 플로우 기반의 생성 모델일 수 있다.
플로우 기반의 생성 모델은 입력 신호(103)로부터 생성되는 잠재 변수 신호의 확률 분포가, 입력 신호(103)에 대응되도록 트레이닝될 수 있다. 구체적으로, 부호화 장치(101)에서 트레이닝된 학습 모델은 생성 모델의 인코더 모델을 의미할 수 있다.
또한, 부호화 장치(101)는 트레이닝된 학습 모델을 통해 생성한 잠재 변수 신호의 확률 분포를 결정할 수 있다.
단계(302)에서, 부호화 장치(101)는, 잠재 변수 신호를 양자화하고, 비트스트림(303)으로 생성할 수 있다. 그리고, 부호화 장치(101)는 비트스트림(303)을 복호화 장치(102)로 전송할 수 있다.
다만, 부호화의 비트율이 일정 기준 이하로 제한되는 경우, 부호화 장치(101)는 잠재 변수 신호가 아닌 잠재 변수 신호의 확률 분포를 조건 벡터와 함께 양자화하여 비트스트림(303)으로 생성할 수 있다.
단계(304)에서, 복호화 장치(102)는, 부호화 장치(101)로부터 비트스트림(303)을 수신할 수 있다. 그리고, 복호화 장치(102)는, 비트스트림(303)으로부터 추출한 잠재 변수 신호를 역양자화할 수 있다.
단계(305)에서, 복호화 장치(102)는, 복호화 장치(102)는, 역양자화된 조건 벡터 및 잠재 변수 신호를 트레이닝된 학습 모델에 입력하여 출력 신호(104)를 복호화할 수 있다. 일례로, 복호화 장치(102)는 플로우 기반의 생성 모델을 학습 모델로 이용할 수 있다.
이 때, 트레이닝된 학습 모델은, 잠재 변수 신호에 대해 정규화 플로우 과정을 수행함으로써, 잠재 변수 신호의 확률 분포가 출력 신호(104)에 대응하도록 트레이닝될 수 있다. 구체적으로, 복호화 장치(102)에서 트레이닝된 학습 모델은 생성 모델의 디코더 모델을 의미할 수 있다.
도 4는 본 발명의 일실시예에 따른 학습 모델의 트레이닝 과정을 도시한 도면이다.
트레이닝 장치는 입력 신호(401)를 이용하여 본 발명의 학습 모델(403)을 트레이닝할 수 있다. 일례로, 도 4를 참조하면, 트레이닝 장치는 입력 신호(401)와 조건 벡터(102)를 이용하여 플로우 기반의 생성 모델(403)을 트레이닝할 수 있다. 입력 신호(401)는 시계열의 오디오 샘플로 구성되는 오디오 신호를 의미할 수 있다.
트레이닝 장치는, 입력 신호(401)로부터 조건 벡터(102)를 추출할 수 있다. 일례로, 조건 벡터(102)는 입력 신호(401)에 대해, 선형 예측 코딩을 이용하여 추출되는 선형 예측 계수일 수 있다. 다른 예로, 조건 벡터(102)는 입력 신호(401)의 차원 보다 적은 차원으로 나타나는 특성 신호를 의미할 수 있다. 조건 벡터(102)는 특정한 예시로 제한되지 않는다.
트레이닝 장치는, 복수의 가중치(405)를 포함하는 학습 모델(403)에 입력 신호(401) 및 조건 벡터(102)를 입력하여 잠재 변수 신호(404)를 생성할 수 있다. 일례로, 학습 모델(403)이 플로우 기반의 생성 모델(403)인 경우, 트레이닝 장치는, 생성 모델(403)의 인코더 모델을 이용하여 입력 신호(401) 및 조건 벡터(102)에 기초한 잠재 변수 신호(404)를 생성할 수 있다.
일례로, 인코더 모델은 입력 신호(401)로부터, 입력 신호(401)의 확률 분포를 결정하고, 잠재 변수 신호(404)를 생성하는 가역 변환 함수를 포함할 수 있다. 가역 변환 함수는 가중치(405)에 의하여 결정될 수 있다.
그리고, 디코더 모델은 가역 변환 함수의 역함수를 포함할 수 있다. 가역 변환 함수의 역함수는 잠재 변수 신호(404)로부터 출력 신호의 확률 분포를 추정하고 출력 신호를 결정하는 함수일 수 있다. 트레이닝 장치는, 생성 모델(403)의 디코더 모델을 이용하여 잠재 변수 신호(404)로부터 출력 신호의 확률 분포를 추정하고, 출력 신호를 결정할 수 있다.
일례로, 가역 변환 함수의 역함수를 통해 출력 신호가 생성되는 과정은, 잠재 변수 신호(404)가 복수의 플로우에서 변환을 거치는 것이고, 각 플로우는 서로 다른 스케일을 가지며, 가중치(405)로 구성된 컨볼루션 커널 및 아핀 커플링(Affine coupling) 함수를 포함할 수 있다.
트레이닝 장치는, 잠재 변수 신호(404)와 학습 모델(403)의 가중치(405)에 기초하여 손실 값을 결정할 수 있다. 도 4를 참조하면, 손길 값은 도 4의 손실 함수(406)의 값을 의미할 수 있다. 구체적으로, 학습 모델(403)이 플로우 기반의 생성 모델(403)인 경우, 트레이닝 장치는, 잠재 변수 신호(404) 및 가중치(405)에 기초하여 계산된 음의 로그 우도(negative log-likelihood)를 손실 값으로 결정할 수 있다.
트레이닝 장치는, 손실 값이 최소가 되도록 학습 모델(403)의 가중치(405)를 업데이트할 수 있다. 즉, 가역 변환 함수의 가중치(405)가 업데이트될 수 있다. 일례로, 손실 값은 아래 수학식 1에 따라 결정될 수 있다.
Figure pat00001
수학식 1에서, z는 잠재 변수 신호(404)를 의미할 수 있다. σ는 잠재 변수 신호(404)의 확률 분포를 평균 0인 가우시안 분포로 가정한 경우의 표준 편차를 의미할 수 있다. 그리고, K는 플로우의 개수, sk는 k번째 플로우의 아핀 커플링함수의 스케일링 벡터, Wk는 k번째 플로우의 가역 1x1 콘볼루션 커널이다. 스케일링 벡터는 학습 모델(403)의 생성시 결정되며, 컨볼루션 커널은 학습 모델(403)의 가중치(405)를 의미할 수 있다.
즉, 트레이닝 장치는, 입력 신호(401)로부터 조건 벡터(102)를 추출하고, 학습 모델(403)에 입력 신호(401) 및 조건 벡터(102)를 입력함으로써 잠재 변수 신호(404)를 생성할 수 있다. 그리고, 트레이닝 장치는 생성된 잠재 변수 신호(404)와 학습 모델(403)의 가중치(405)에 기초하여 결정되는 손실 값이 최소가 되도록, 가중치(405)를 업데이트함으로써 학습 모델(403)을 트레이닝할 수 있다.
일례로, 학습 모델(403)은 플로우 모델일 수 있다. 학습 모델(403)이 플로우 모델인 경우, 잠재 변수 신호(404)와 가중치(405)에 기초하여 결정되는 NLL(Negative Likelihood)이 최소가 되도록 가중치(405)를 업데이트함으로써 학습 모델(403)을 트레이닝할 수 있다.
본 발명은 조건 벡터(102)를 이용하여 잠재 변수 신호(404)의 확률 분포를 결정하고 학습 과정에 이용하므로 오디오 신호의 부호화에 적합한 형태의 데이터 분포를 갖는 잠재 변수 신호(404)를 생성함으로써 압축 효율을 높일 수 있다.
도 5는 본 발명의 다른 실시예에 따른 학습 모델의 트레이닝 과정을 도시한 도면이다.
트레이닝 장치는 입력 신호(501)를 이용하여 본 발명의 학습 모델을 트레이닝할 수 있다. 일례로, 도 4와 달리, 도 5를 참조하면, 트레이닝 장치는 조건 벡터 없이 입력 신호(501)를 이용하여 플로우 기반의 생성 모델을 트레이닝할 수 있다.
구체적으로, 트레이닝 장치는, 학습 모델에 입력 신호(501)를 입력함으로써 잠재 변수 신호(502)를 생성할 수 있다. 그리고, 트레이닝 장치는 생성된 잠재 변수 신호(502)와 학습 모델의 가중치(503)에 기초하여 결정되는 손실 값이 최소가 되도록, 가중치(503)를 업데이트함으로써 학습 모델을 트레이닝할 수 있다. 도 5를 참조하면, 손길 값은 도 5의 손실 함수(504)의 값을 의미할 수 있다.
트레이닝 장치는, 복수의 가중치(503)를 포함하는 학습 모델에 입력 신호(501)를 입력하여 잠재 변수 신호(502)를 생성할 수 있다. 일례로, 학습 모델이 플로우 기반의 생성 모델인 경우, 트레이닝 장치는, 생성 모델의 인코더 모델을 이용하여 입력 신호(501)에 기초한 잠재 변수 신호(502)를 생성할 수 있다.
일례로, 인코더 모델은 입력 신호(501)로부터, 입력 신호(501)의 확률 분포를 결정하고, 잠재 변수 신호(502)를 생성하는 가역 변환 함수를 포함할 수 있다. 가역 변환 함수는 가중치(503)에 의하여 결정될 수 있다.
그리고, 디코더 모델은 가역 변환 함수의 역함수를 포함할 수 있다. 가역 변환 함수의 역함수는 잠재 변수 신호(502)로부터 출력 신호의 확률 분포를 추정하고 출력 신호를 결정하는 함수이다. 트레이닝 장치는, 생성 모델의 디코더 모델을 이용하여 잠재 변수 신호(502)로부터 출력 신호의 확률 분포를 추정하고, 출력 신호를 결정할 수 있다.
일례로, 가역 변환 함수의 역함수를 통해 출력 신호가 생성되는 과정은, 잠재 변수 신호(502)가 복수의 플로우에서 변환을 거치는 것이고, 각 플로우는 서로 다른 스케일을 가지며, 가중치(503)로 구성된 컨볼루션 커널 및 아핀 커플링(Affine coupling) 함수를 포함할 수 있다.
트레이닝 장치는, 잠재 변수 신호(502)와 학습 모델의 가중치(503)에 기초하여 손실 값을 결정할 수 있다. 구체적으로, 학습 모델이 플로우 기반의 생성 모델인 경우, 트레이닝 장치는, 잠재 변수 신호(502) 및 가중치(503)에 기초하여 계산된 음의 로그 우도를 손실 값으로 결정할 수 있다. 또한, 트레이닝 장치는, 수학식 1을 이용하여 손실 값을 결정할 수 있다.
한편, 본 발명에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성되어 마그네틱 저장매체, 광학적 판독매체, 디지털 저장매체 등 다양한 기록 매체로도 구현될 수 있다.
본 명세서에 설명된 각종 기술들의 구현들은 디지털 전자 회로조직으로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어로, 또는 그들의 조합들로 구현될 수 있다. 구현들은 데이터 처리 장치, 예를 들어 프로그램가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들의 동작에 의한 처리를 위해, 또는 이 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예를 들어 기계 판독가능 저장 장치(컴퓨터 판독가능 매체) 또는 전파 신호에서 유형적으로 구체화된 컴퓨터 프로그램으로서 구현될 수 있다. 상술한 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은 컴파일된 또는 인터프리트된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 독립형 프로그램으로서 또는 모듈, 구성요소, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적절한 다른 유닛으로서 포함하는 임의의 형태로 전개될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 처리되도록 또는 다수의 사이트들에 걸쳐 분배되고 통신 네트워크에 의해 상호 연결되도록 전개될 수 있다.
컴퓨터 프로그램의 처리에 적절한 프로세서들은 예로서, 범용 및 특수 목적 마이크로프로세서들 둘 다, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서들을 포함할 수 있다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 요소들은 명령어들을 실행하는 적어도 하나의 프로세서 및 명령어들 및 데이터를 저장하는 하나 이상의 메모리 장치들을 포함할 수 있다. 일반적으로, 컴퓨터는 데이터를 저장하는 하나 이상의 대량 저장 장치들, 예를 들어 자기, 자기-광 디스크들, 또는 광 디스크들을 포함할 수 있거나, 이것들로부터 데이터를 수신하거나 이것들에 데이터를 송신하거나 또는 양쪽으로 되도록 결합될 수도 있다. 컴퓨터 프로그램 명령어들 및 데이터를 구체화하는데 적절한 정보 캐리어들은 예로서 반도체 메모리 장치들, 예를 들어, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 등을 포함할 수 있다. 프로세서 및 메모리는 특수 목적 논리 회로조직에 의해 보충되거나, 이에 포함될 수 있다.
또한, 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용매체일 수 있고, 컴퓨터 저장매체 및 전송매체를 모두 포함할 수 있다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 할 수 있다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 될 수 있다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 장치 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 장치들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 할 수 있다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
101: 부호화 장치
102: 복호화 장치
103: 입력 신호
104: 출력 신호

Claims (20)

  1. 부호화 장치가 수행하는 오디오 신호의 부호화 방법에 있어서,
    입력 신호를 식별하는 단계;
    상기 입력 신호로부터, 상기 입력 신호의 특징을 나타내는 조건 벡터를 추출하는 단계;
    상기 입력 신호 및 상기 조건 벡터를 트레이닝된 학습 모델에 입력하여 잠재 변수 신호를 생성하는 단계; 및
    상기 조건 벡터 및 잠재 변수 신호를 양자화하여 비트스트림을 생성하는 단계
    를 포함하는 부호화 방법.
  2. 제1항에 있어서,
    상기 학습 모델은,
    상기 입력 신호 및 상기 조건 벡터로부터 생성되는 잠재 변수 신호의 확률 분포가, 상기 입력 신호에 대응되도록 트레이닝되는, 부호화 방법.
  3. 제1항에 있어서,
    상기 조건 벡터는,
    상기 입력 신호에 대해, 선형 예측 코딩을 이용하여 추출되는 선형 예측 계수인, 부호화 방법.
  4. 제1항에 있어서,
    상기 조건 벡터를 추출하는 단계는,
    상기 입력 신호를 오토인코더(autoencoder)에 입력하여, 상기 입력 신호의 차원 보다 적은 차원으로 나타나는 특성 신호를 조건 벡터로 결정하는, 부호화 방법.
  5. 제1항에 있어서,
    상기 조건 벡터를 추출하는 단계는,
    상기 입력 신호에 대응하는 멜-스펙트로그램(Mel-spectrogram)을 조건 벡터로 생성하는, 부호화 방법.
  6. 제1항에 있어서,
    상기 비트스트림을 생성하는 단계는,
    부호화의 비트율이 일정 기준 이하로 제한되는 경우, 상기 학습 모델을 이용하여 결정한 상기 잠재 변수 신호의 확률 분포 정보를, 상기 조건 벡터와 양자화하고 비트스트림을 생성하는, 부호화 방법.
  7. 복호화 장치가 수행하는 오디오 신호의 복호화 방법에 있어서,
    부호화 장치로부터 비트스트림을 수신하는 단계;
    상기 비트스트림으로부터 추출한 조건 벡터 및 잠재 변수 신호를 역양자화하는 단계; 및
    상기 역양자화된 조건 벡터 및 잠재 변수 신호를 트레이닝된 학습 모델에 입력하여 출력 신호를 복호화하는 단계
    를 포함하는 복호화 방법.
  8. 제7항에 있어서,
    상기 학습 모델은,
    상기 조건 벡터에 기초하여, 상기 잠재 변수 신호에 대해 정규화 플로우 과정을 수행함으로써, 상기 잠재 변수 신호의 확률 분포가 상기 출력 신호에 대응하도록 트레이닝되는, 복호화 방법.
  9. 제7항에 있어서,
    상기 역양자화하는 단계는,
    상기 비트스트림이 잠재 변수 신호의 확률분포 정보와 조건 벡터를 포함하는 경우, 상기 비트스트림으로부터 추출한 상기 잠재 변수 신호의 확률분포 정보와 조건 벡터를 역양자화하고,
    상기 복호화하는 단계는,
    상기 역양자화된 잠재 변수 신호의 확률분포 정보와 조건 벡터를 트레이닝된 학습 모델에 입력하여 출력 신호를 복호화하는, 복호화 방법.
  10. 트레이닝 장치가 수행하는 학습 모델의 트레이닝 방법에 있어서,
    입력 신호를 식별하는 단계;
    상기 입력 신호로부터, 상기 입력 신호의 특징을 나타내는 조건 벡터를 추출하는 단계;
    복수의 가중치를 포함하는 학습 모델에 상기 입력 신호 및 상기 조건 벡터를 입력하여 잠재 변수 신호를 생성하는 단계;
    상기 잠재 변수 신호와 상기 학습 모델의 가중치에 기초하여 손실 값을 결정하는 단계; 및
    상기 손실 값이 최소가 되도록 상기 학습 모델의 가중치를 업데이트 하는 단계
    를 포함하는 트레이닝 방법.
  11. 제10항에 있어서,
    상기 조건 벡터는,
    상기 입력 신호에 대해, 선형 예측 코딩을 이용하여 추출되는 선형 예측 계수인, 트레이닝 방법.
  12. 제10항에 있어서,
    상기 조건 벡터를 추출하는 단계는,
    상기 입력 신호를 오토인코더(autoencoder)에 입력하여, 상기 입력 신호의 차원 보다 적은 차원으로 나타나는 특성 신호를 조건 벡터로 결정하는, 트레이닝 방법.
  13. 제10항에 있어서,
    상기 조건 벡터를 추출하는 단계는,
    상기 입력 신호에 대응하는 멜-스펙트로그램(Mel-spectrogram)을 조건 벡터로 생성하는, 트레이닝 방법.
  14. 부호화 장치가 수행하는 오디오 신호의 부호화 방법에 있어서,
    입력 신호를 식별하는 단계;
    상기 입력 신호를 트레이닝된 학습 모델에 입력하여 잠재 변수 신호를 생성하는 단계; 및
    상기 생성된 잠재 변수 신호를 양자화하여 비트스트림을 생성하는 단계
    를 포함하는 부호화 방법.
  15. 제14항에 있어서,
    상기 학습 모델은,
    상기 입력 신호로부터 생성되는 잠재 변수 신호의 확률 분포가, 상기 입력 신호에 대응되도록 트레이닝되는, 부호화 방법.
  16. 제14항에 있어서,
    상기 비트스트림을 생성하는 단계는,
    부호화의 비트율이 일정 기준 이하로 제한되는 경우, 상기 학습 모델을 이용하여 결정한 상기 잠재 변수 신호의 확률분포 정보를, 양자화하고 비트스트림을 생성하는, 부호화 방법.
  17. 복호화 장치가 수행하는 오디오 신호의 복호화 방법에 있어서,
    부호화 장치로부터 비트스트림을 수신하는 단계;
    상기 비트스트림으로부터 추출한 잠재 변수 신호를 역양자화하는 단계; 및
    상기 역양자화된 잠재 변수 신호를 트레이닝된 학습 모델에 입력하여 출력 신호를 복호화하는 단계
    를 포함하는 복호화 방법.
  18. 제17항에 있어서,
    상기 학습 모델은,
    상기 잠재 변수 신호에 대해 정규화 플로우 과정을 수행함으로써, 상기 잠재 변수 신호의 확률 분포가 상기 출력 신호에 대응하도록 트레이닝되는, 복호화 방법.
  19. 제17항에 있어서,
    상기 역양자화하는 단계는,
    상기 비트스트림이 잠재 변수 신호의 확률분포 정보를 포함하는 경우, 상기 비트스트림으로부터 추출한 상기 잠재 변수 신호의 확률분포 정보를 역양자화하고,
    상기 복호화하는 단계는,
    상기 역양자화된 잠재 변수 신호의 확률분포 정보를 트레이닝된 학습 모델에 입력하여 출력 신호를 복호화하는, 복호화 방법.
  20. 트레이닝 장치가 수행하는 학습 모델의 트레이닝 방법에 있어서,
    입력 신호를 식별하는 단계;
    복수의 가중치를 포함하는 학습 모델에 상기 입력 신호를 입력하여 잠재 변수 신호를 생성하는 단계; 및
    상기 잠재 변수 신호와 상기 학습 모델의 가중치에 기초하여 손실 값을 결정하는 단계; 및
    상기 손실 값이 최소가 되도록 상기 학습 모델의 가중치를 업데이트 하는 단계
    를 포함하는 트레이닝 방법.
KR1020200169599A 2020-12-07 2020-12-07 플로우 기반의 학습 모델을 이용한 오디오 신호의 부호화 및 복호화 방법 및 장치와 학습 모델의 트레이닝 방법 및 장치 KR20220080466A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200169599A KR20220080466A (ko) 2020-12-07 2020-12-07 플로우 기반의 학습 모델을 이용한 오디오 신호의 부호화 및 복호화 방법 및 장치와 학습 모델의 트레이닝 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200169599A KR20220080466A (ko) 2020-12-07 2020-12-07 플로우 기반의 학습 모델을 이용한 오디오 신호의 부호화 및 복호화 방법 및 장치와 학습 모델의 트레이닝 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20220080466A true KR20220080466A (ko) 2022-06-14

Family

ID=81980327

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200169599A KR20220080466A (ko) 2020-12-07 2020-12-07 플로우 기반의 학습 모델을 이용한 오디오 신호의 부호화 및 복호화 방법 및 장치와 학습 모델의 트레이닝 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20220080466A (ko)

Similar Documents

Publication Publication Date Title
CN106415717B (zh) 音频信号分类和编码
CN112767954A (zh) 音频编解码方法、装置、介质及电子设备
CN111164682A (zh) 使用机器学习的音频重建方法和设备
RU2702265C1 (ru) Способ и устройство обработки сигналов
US10789964B2 (en) Dynamic bit allocation methods and devices for audio signal
US20180061428A1 (en) Variable length coding of indices and bit scheduling in a pyramid vector quantizer
US20230186927A1 (en) Compressing audio waveforms using neural networks and vector quantizers
EP4062320A1 (en) Method and apparatus for neural network model compression/decompression
KR20200012861A (ko) 디지털 오디오 신호에서의 차분 데이터
US20220358940A1 (en) Methods of encoding and decoding audio signal using side information, and encoder and decoder for performing the methods
KR20220048252A (ko) 학습 모델을 이용한 오디오 신호의 부호화 및 복호화 방법 및 장치와 학습 모델의 트레이닝 방법 및 장치
KR20220142717A (ko) 신경망 모델을 이용한 오디오 신호의 부호화 및 복호화 방법과 이를 수행하는 부호화기 및 복호화기
US20130101028A1 (en) Encoding method, decoding method, device, program, and recording medium
KR102556096B1 (ko) 이전 프레임의 정보를 사용한 오디오 신호 부호화/복호화 장치 및 방법
US20240021209A1 (en) Stereo Signal Encoding Method and Apparatus, and Stereo Signal Decoding Method and Apparatus
US11694703B2 (en) Audio signal encoding and decoding method using learning model, training method of learning model, and encoder and decoder that perform the methods
KR20220080466A (ko) 플로우 기반의 학습 모델을 이용한 오디오 신호의 부호화 및 복호화 방법 및 장치와 학습 모델의 트레이닝 방법 및 장치
Vali et al. End-to-end optimized multi-stage vector quantization of spectral envelopes for speech and audio coding
KR20200082227A (ko) 오디오 신호를 위한 손실 함수 결정 방법 및 손실 함수 결정 장치
US20210166701A1 (en) Device and method for encoding / decoding audio signal using filter bank
KR20210070767A (ko) 오디오 부호화를 위한 잠재 벡터의 양자화 방법 및 양자화 방법을 수행하는 컴퓨팅 장치
KR20220005386A (ko) 신경망 모델을 이용한 오디오 신호의 부호화 및 복호화 방법 및 이를 수행하는 부호화기 및 복호화기
KR20210133551A (ko) 적응형 주파수 복원 기법 기반 오디오 부호화 방법
US20230245666A1 (en) Encoding method, encoding device, decoding method, and decoding device using scalar quantization and vector quantization
US11804230B2 (en) Audio encoding/decoding apparatus and method using vector quantized residual error feature