KR20080055026A - 오디오 신호의 부호화 모드 결정 방법 및 장치와 이를이용한 오디오 신호의 부호화/복호화 방법 및 장치 - Google Patents

오디오 신호의 부호화 모드 결정 방법 및 장치와 이를이용한 오디오 신호의 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
KR20080055026A
KR20080055026A KR1020060127844A KR20060127844A KR20080055026A KR 20080055026 A KR20080055026 A KR 20080055026A KR 1020060127844 A KR1020060127844 A KR 1020060127844A KR 20060127844 A KR20060127844 A KR 20060127844A KR 20080055026 A KR20080055026 A KR 20080055026A
Authority
KR
South Korea
Prior art keywords
frame
mode
encoding mode
term
long
Prior art date
Application number
KR1020060127844A
Other languages
English (en)
Other versions
KR100964402B1 (ko
Inventor
손창용
오은미
주기현
김중회
성호상
이강은
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060127844A priority Critical patent/KR100964402B1/ko
Priority to US11/939,074 priority patent/US20080147414A1/en
Priority to EP20070851482 priority patent/EP2102859A4/en
Priority to PCT/KR2007/006511 priority patent/WO2008072913A1/en
Publication of KR20080055026A publication Critical patent/KR20080055026A/ko
Application granted granted Critical
Publication of KR100964402B1 publication Critical patent/KR100964402B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 오디오 신호의 부호화 모드 결정 방법 및 장치와 이를 이용한 오디오 신호의 부호화/복호화 방법 및 장치를 개시한다. 본 발명에 따른 오디오 신호의 부호화 모드 결정 방법은 오디오 신호의 장구간 특성에 따라 부호화 모드를 결정하고자 하는 프레임에 대한 모드 결정 기준값을 적응적으로 조절하여 부호화 모드를 결정함으로써, 오디오 신호에 대한 부호화 모드 결정과 신호 분류에 대한 적중률을 높이고, 모드가 프레임 간격으로 자주 스위칭되는 것(Oscillation)을 억제하며, 잡음 신호에 대한 내성을 향상시키고, 오디오 신호를 보다 자연스럽게 복원할 수 있다.

Description

오디오 신호의 부호화 모드 결정 방법 및 장치와 이를 이용한 오디오 신호의 부호화/복호화 방법 및 장치{Method and Apparatus for determining encoding mode of audio signal, and method and appartus for encoding/decoding audio signal using it}
도 1은 종래의 오디오 신호의 부호화 장치의 블록도이다.
도 2a는 본 발명의 일 실시예에 따른 오디오 신호 부호화 장치를 나타내는 블록도이다.
도 2b는 본 발명의 또 다른 일 실시예에 따른 오디오 신호 부호화 장치를 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 오디오 신호의 부호화 모드 결정 장치를 나타내는 블록도이다.
도 4는 도3에 도시된 단구간 특성 생성부와 장구간 특성 생성부를 나타내는 세부 블록도이다.
도 5는 도 4에 도시된 LP-LTP 이득 생성부를 나타내는 세부 블록도이다.
도 6a는 음악과 음성 신호에 따른 LP-LTP 이득의 분산 특성값(SNR_VAR)을 나타내는 참고도이다.
도 6b는 도 6a의 분산 특성값(SNR_VAR)에 따른 빈도율의 분포 특성을 나타내 는 참고도이다.
도 6c는 도 6a의 분산 특성값(SNR_VAR)에 따른 누적 빈도율의 분포 특성을 나타내는 참고도이다.
도 6d는 도 6a의 LP-LTP 이득에 대한 장구간 특성(SNR_SP)을 나타내는 참고도이다.
도 7a는 음악과 음성 신호에 따른 스펙트럼 틸트의 분산 특성값(TILT_VAR)을 나타내는 참고도이다.
도 7b는 도 7a의 스펙트럼 틸트에 대한 장구간 특성(TILT_SP)을 나타내는 참고도이다.
도 8a는 음악과 음성 신호에 따른 영점 교차율의 분산 특성값(ZC_VAR)을 나타내는 참고도이다.
도 8b는 도 8a의 영점 교차율에 대한 장구간 특성(ZC_SP)을 나타내는 참고도이다.
도 9a는 음악과 음성 신호에 따른 장구간 특성(SPP)을 나타내는 참고도이다.
도 10은 본 발명의 일 실시예에 따른 오디오 신호의 부호화 모드 결정 방법을 나타내는 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 오디오 신호의 복호화 장치를 나타내는 블록도이다.
본 발명은 오디오 신호의 부호화 모드 결정 방법 및 장치와 이를 이용한 오디오 신호의 부호화/복호화 방법 및 장치에 관한 것으로, 특히 오디오 신호의 부호화에 적합한 도메인과 코딩 방식에 따라 오디오 신호의 부호화 모드를 결정하는 부호화 모드 결정 장치, 부호화 장치, 유니 코덱 등에 사용될 수 있는 오디오 신호의 부호화 모드 결정 방법 및 장치에 관한 것이다.
오디오 신호는 신호의 특성에 따라 음성 신호, 음악 신호 또는 음성과 음악이 혼재된 신호로 구별되며, 신호의 종류에 따라 부호화 방식 또는 압축 방식이 다르게 적용된다.
오디오 신호에 대한 압축 방식은 크게 오디오 코덱과 음성 코덱으로 분류된다. 오디오 코덱은 음악 신호를 압축하기 위한 것으로, 예를 들어 aacPlus가 있다. 오디오 코덱은 심리 음향 모델을 이용하여 주파수 영역에서 신호를 압축한다. 음악 신호가 아닌 음성 신호에 대하여 오디오 코덱을 통해 압축할 경우, 음성 코덱을 통해 오디오 신호를 압축하는 것 보다 음질 저하가 더 크고, 특히 어텍(attack) 신호가 포함될 경우 음질이 더욱 크게 저하되는 문제가 있다. 한편, 음성 코덱은 음성 신호를 압축하기 위한 것으로, 예를 들어 AMR-WB가 있다. 음성 코덱은 음성 발성 모델을 이용하여 시간 영역에서 오디오 신호를 압축한다. 음성 신호가 아니라 오디오 신호에 대하여 음성 코덱을 통해 압축할 경우, 오디오 코덱 방식의 압축 데이터 보다 음질이 크게 저하되는 단점이 있다.
상술한 특성을 고려하여, 음성/음악 압축을 동시에 효율적으로 수행하기 위 한 종래의 압축 방법으로는 AMR-WB+(3GPP TS 26.290)가 있다. AMR-WB+는 음성 압축 방식으로서 ACELP(Algebraic Code Excited Linear Prediction)와 오디오 압축 방식으로서 TCX(Transform Coded Excitation)를 이용한다.
AMR-WB+는 시간축 상의 프레임별로 ACELP 방식을 적용할지, TCX 방식을 적용할지를 결정하여 부호화하는데, 압축 대상이 음성 신호에 가까운 경우에는 효율적으로 동작하나, 오디오 신호에 가까울 경우에는 음질 또는 압축율을이 저하되는 문제가 있다. 따라서, 압축 방식을 오디오 신호의 특성 또는 모드에 따라 각각 다른 방식으로 부호화 함에 있어서, 부호화 모드의 결정 방법은 오디오 신호의 부호화 또는 압축 성능에 큰 영향을 미치는 중요한 요소이다.
미국 특허 제6134518호는 CELP부호화기와 트랜스폼 부호화기를 이용한 디지털 오디오 신호의 부호화 방법을 개시하고 있다. 도 1을 참조하면, 분류기(20)는 입력 오디오 신호(10)의 자동 상관을 계산하고, 이에 따라 CELP부호화기(30) 또는 트랜스폼 부호화기(40) 중 적합한 부호화기를 선택하며, 스위치(50)에 의한 스위칭 동작을 통해 선택된 부호화기를 통해 입력 오디오 신호를 부호화시킨다. 상기 미국 특허는 시간 영역에서의 자동 상관을 이용하여 현재의 모드가 음성 신호일 확률 또는 음악 신호일 확률을 구하는 분류기(20)를 통해, 적절한 부호화 모드를 선택하는 방식을 개시하고 있다.
그러나, 상기 방식에 의해 부호화 모드를 선택할 경우 잡음 신호에 대한 내성이 취약하기 때문에, 잡음 환경 하에서 모드 결정과 신호 분류에 대한 적중률이 낮은 문제가 있다. 또한, 모드가 프레임 간격으로 자주 스위칭 됨에 따라 복원되는 오디오 신호가 부드럽지 않은 문제가 있었다.
본 발명이 이루고자 하는 기술적 과제는 오디오 신호의 장구간 특성에 따라 부호화 모드를 결정하고자 하는 프레임에 대한 모드 결정 기준값을 적응적으로 조절하여 현재 프레임의 부호화 모드를 결정함으로써, 부호화 모드 결정과 신호 분류에 대한 적중률(hit rate)을 높이고, 부호화 모드가 프레임 간격으로 자주 스위칭되는 것(Oscillation)을 억제하는 기능을 가지며, 잡음 신호에 대한 내성을 향상시키고, 복원되는 오디오 신호의 부드러움(smoothness)을 향상시킬 수 있는 오디오 신호의 부호화 모드 결정 방법 및 장치와 이를 이용한 오디오 신호의 부호화/복호화 방법 및 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명에 따른 오디오 신호의 부호화 모드 결정 방법은, 오디오 신호를 프레임 단위로 분석하여 상기 분석된 프레임에 대한 단구간 특성과 장구간 특성을 생성하는 단계; 상기 생성된 장구간 특성에 따라 부호화 모드를 결정하고자 하는 프레임에 대한 모드 결정 기준값을 적응적으로 조절하는 단계; 및 상기 장구간 특성과 적응적으로 조절된 모드 결정 기준값을 이용하여 상기 부호화 모드를 결정하고자 하는 프레임의 부호화 모드를 결정하는 단계를 포함한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 방법은, 오디오 신호의 부호화 모드 결정 방법에 의해 결정된 오디오 신호의 부 호화 모드에 따라 오디오 신호를 프레임 별로 음성 부호화 또는 오디오 부호화함으로써 부호화된 신호를 생성 단계; 및 상기 부호화된 신호에 대한 비트스트림 처리를 통해 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 모드 결정 장치는 오디오 신호를 프레임 단위로 분석하여 단구간 특성을 생성하는 단구간 특성 생성부; 상기 단구간 특성을 이용하여 장구간 특성을 생성하는 장구간 특성 생성부; 상기 장구간 특성을 이용하여 부호화 모드를 판단하고자 하는 프레임의 모드 결정 기준 값을 적응적으로 조절하는 모드 결정 기준값 조절부; 및 상기 적응적으로 조절된 모드 결정 기준값을 이용하여 상기 부호화 모드를 판단하고자 하는 프레임의 부호화 모드를 결정하는 부호화 모드 결정부를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 복호화 방법은 오디오 신호에 대한 장구간 특성을 이용하여 부호화 모드가 적응적으로 결정된 프레임별 부호화 모드 정보를 포함하는 비트스트림을 수신하는 단계; 상기 수신된 비트스트림에 포함된 부호화 모드 정보에 따라 수신된 디지털 정보의 복호화 모드를 결정하는 단계; 및 상기 결정된 복호화 모드에 따라 상기 수신된 디지털 정보를 복호화하는 단계를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 부호화 장치는 오디오 신호를 프레임 단위로 분석하여 단구간 특성을 생성하는 단구간 특성 생성부; 상기 단구간 특성을 이용하여 장구간 특성을 생성하는 장구간 특성 생성부; 상기 장구간 특성을 이용하여 부호화 모드를 판단하고자 하는 프레임의 모드 결정 기준 값을 적응적으로 조절하는 모드 결정 기준값 조절부; 상기 적응적으로 조절된 모드 결정 기준값을 이용하여 상기 부호화 모드를 판단하고자 하는 프레임의 부호화 모드를 결정하는 부호화 모드 결정부; 상기 결정된 부호화 모드에 따라 오디오 신호를 프레임 별로 음성 부호화하는 주파수 영역에서 부호화하거나 시간 영역에서 부호화하는 부호화부; 및 상기 부호화된 신호에 대한 비트스트림 처리를 통해 비트스트림을 생성하는 비트스트림 생성부를 포함하는 것을 특징으로 한다.
상기 다른 기술적 과제를 해결하기 위한 본 발명에 따른 오디오 신호의 복호화 장치는 오디오 신호에 대한 장구간 특성을 이용하여 부호화 모드가 적응적으로 결정된 프레임별 부호화 모드 정보를 포함하는 비트 스트림을 수신하는 수신부; 상기 수신된 비트스트림에 따라 수신된 디지털 정보의 복호화 모드를 결정하는 복호화 모드 결정부; 및 상기 결정된 복호화 모드에 따라 상기 수신된 디지털 정보를 복호화부를 포함하는 것을 특징으로 한다.
또한, 본 발명은 본 발명의 오디오 신호의 부호화 모드 결정 방법을 컴퓨터 또는 네트워크 상에서 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체를 제공한다.
이하, 본 발명의 도면과 실시예를 참조하여 본 발명의 오디오 신호 부호화 모드 결정 장치와 방법, 이를 이용한 오디오 신호의 부호화/복호화 방법 및 장치에 대하여 상세하게 설명한다.
도2a는 본 발명의 일 실시예에 따른 오디오 신호의 부호화 장치를 나타내는 블록도이다. 본 실시예에 따른 오디오 신호의 부호화 장치는 부호화 모드 결정 장치(100), 시간 영역 코딩부(200), 주파수 영역 코딩부(300) 및 비트스트림 먹싱부(400)를 포함한다.
부호화 모드 결정 장치(100)는 입력 오디오 신호를 시간을 기준으로 하여 프레임(frame) 단위로 구분하고, 각각의 프레임을 주파수 영역에서 부호화 할 것인지 아니면 시간 영역에서 부호화 할 것인지를 결정한다. 부호화 모드 결정 장치(100)는 현재의 프레임을 어떤 영역에서 부호화 할 것인지에 대한 모드 정보를 부가 정보로서 비트스트림 먹싱부(400)에 전송한다.
또한, 부호화 모드 결정 장치(100)는 프레임 별로 구분된 오디오 신호를 주파수 영역상에서 주파수 영역별로 모드를 결정하기 위해, 시간 영역상에서의 오디오 신호를 주파수 영역상에서의 신호로 변환하는 시간/주파수 변환부(미도시)를 더 포함할 수 있다. 부호화 모드 결정부 장치(100)의 세부 구조는 도3에 도시되어 있으며 이에 대하여는 후술 한다.
시간 영역 코딩부(200)는 부호화 모드 결정 장치(100)의 부호화 모드 결정에 따라 부호화하고자 하는 프레임 즉 현재 프레임에 따른 오디오 신호를 시간 영역에서 부호화하고, 시간 영역에서 부호화된 신호를 비트스트림 먹싱부(400)로 전송한다. 본 실시예에서 시간 영역 부호화 방식은 CELP(Code Excited Linear Prediction) 등 시간축 상에서 압축을 행하는 음성 압축 알고리즘을 의미한다.
주파수 영역 코딩부(300)는 부호화 모드 결정 장치(100)의 모드 결정에 따라 현재 프레임에 따른 오디오 신호를 주파수 영역에서 부호화하고, 부호화된 신호를 비트스트림 먹싱부(400)로 전송한다. 입력 오디오 신호는 시간 영역에서의 신호이므로 주파수 영역으로 신호의 도메인을 변환하기 위한 주파수 영역 변환부(미도시)가 별도로 구비된다. 본 실시예에서 주파수 기반 부호화 방식은 TCX(Transform Coded Excitation), AAC(Advanced Audio Codec) 등 주파수 영역상에서 압축을 행하는 오디오 압축 알고리즘을 의미한다.
비트스트림 먹싱부(bit-stream muxing unit, 400)는 시간 영역 코딩부(200)와 주파수 영역 코딩부(300)를 통해 부호화된 신호와, 부호화 모드 결정장치(100)로부터의 부호화 모드 정보를 수신하고, 상기 수신된 신호 들을 이용하여 비트스트림을 생성한다. 특히, 비트스트림 생성시 부호화 모드 정보를 이용함으로써 오디오 신호의 복원시 복호화 모드를 결정하는데 사용할 수 있다.
도2b는 본 발명의 또 다른 일 실시예에 따른 오디오 신호의 부호화 장치의 블록도이다. 도2b에 따른 음악/음성 부호화 장치는 부호화 모드 결정 장치(100), 시간 영역 코딩부(200), 주파수 영역 코딩부(300) 및 비트스트림 먹싱부(400)를 포함한다.
부호화 모드 결정 장치(100)는 오디오 신호가 입력되는 시간을 기준으로 하여, 오디오 신호 프레임 단위로 구분하고, 각각의 프레임이 음성 코딩의 대상인지 아니면 음악 코딩의 대상인지를 결정한다. 또한, 부호화 모드 결정 장치(100)는 상기 부호화 모드에 대한 정보를 부가 정보로서 비트스트림 먹싱부(400)에 전송한다. 음성 코딩부(200'), 음악 코딩부(300') 및 비트스트림 먹싱부(400)는 도2a의 시간 영역 코딩부와 주파수 영역 코딩부에 대응되므로 공통된 설명은 생략한다.
도3은 본 발명의 일 실시예에 따른 오디오 신호의 부호화 모드 결정 장치를 나타내는 블록도이다. 도3에 따른 부호화 모드 결정 장치(100)는 오디오 신호 분할부(110), 단구간 특성 생성부(120), 장구간 특성 생성부(130), 버퍼(160), 장구간 특성 비교부(170), 모드 결정 기준값 조절부(180), 부호화 모드 결정부(190)를 포함한다.
오디오 신호 분할부(110)는 입력 오디오 신호를 시간 축 상에서 프레임 단위로 분할하고, 프레임 단위로 분할된 오디오 신호를 단구간 특성 생성부(120)에 전송한다.
단구간 특성 생성부(120)는 프레임 단위로 분할된 오디오 신호에 대한 단구간 분석을 수행하여 단구간 특성을 생성한다. 본 실시예에서 단구간 특성은 각각의 프레임이 갖는 고유의 특성으로서, 단구간 특성을 이용하여 현재의 프레임이 음악 모드인지 또는 음성 모드인지 여부를 결정할 수 있고, 또한 현재 프레임에 효율적인 부호화 도메인이 시간 영역인지 아니면 주파수 영역인지에 대하여 결정할 수 있다.
단구간 특성의 예로는 LP-LTP(단기/장기 예측) 이득, 스펙트럼 틸트(spectrum tilt), 영점 교차율(zero crossing rate), 스펙트럼 자기 상관도(spectrum auto-correlation) 등이 있다.
단구간 특성 생성부(120)는 1개 또는 복수개의 단구간 특성을 개별적으로 생성하여 출력하거나, 또는 복수개의 단구간 특성에 가중치를 부여하여 합산한 값을 대표 단구간 특성으로 출력할 수 있다. 단구간 특성 생성부(120)의 세부 구조는 도4에 도시되어 있으며 이에 대하여는 후술한다.
장구간 특성 생성부(130)는 단구간 특성 생성부(120)에서 생성된 단구간 특성과 단구간 특성 버퍼(161)와 장구간 특성 버퍼(162)에 저장된 특성을 이용하여 장구간 특성을 생성한다. 장구간 특성 생성부(130)는 제1 장구간 특성 생성부(140)와 제2 장구간 특성 생성부(150)로 구분된다.
제1 장구간 특성 생성부(140)는 현재 프레임에 선행하는 5개의 프레임에 따른 단구간 특성에 대한 정보를 단구간 특성 버퍼(161)로부터 획득하여 평균값을 계산하고, 현재의 프레임에 따른 단구간 특성과 평균값의 차분(difference)을 계산함으로써 분산 특성값(variation feature value)을 생성한다.
단구간 특성이 단기/장기 예측 이득(LP-LTP prediction gain)일 경우, 상기 평균값은 현재의 프레임에 선행하는 프레임 들의 단기/장기 예측 이득의 평균값이고, 상기 분산 특성 값은 현재 프레임에 따른 단기/장기 예측 이득값이 일정 구간에서의 평균값으로부터 얼마나 떨어져 있는지에 대한 속성을 설명하는 정보이다. 오디오 신호가 음성 신호 또는 음성 모드인 경우 분산 특성 값이 다양하게 분포되는 특성을 가지며, 오디오 신호가 음악 신호 또는 음악 모드인 경우 분산 특성 값이 작은 영역에 집중적으로 분포하는 특성을 갖는다(도6b 참고).
제2 장구간 특성 생성부(150)는 제1 장구간 특성 생성부(140)에서 생성된 분산 특성값의 프레임별 변화 추이를 고려한 이동 평균의 성질을 갖는 장구간 특성을 일정한 제약하에서 생성한다. 여기에서 일정한 제약은 현재 프레임에 선행하는 프 레임이 갖는 분산 특성값의 가중치를 부여하는 조건과 방식을 의미한다.
특히, 제2 장구간 특성 생성부(150)는 현재 프레임이 갖는 분산 특성값이 미리 설정된 임계값 보다 클 경우와 작을 경우를 구별한 후, 선행하는 프레임이 갖는 분산 특성값과 현재 프레임의 분산 특성값에 각각 다른 가중치를 부여하는 방식을 통해 장구간 특성을 생성한다. 여기서 미리 설정된 임계값은 음성/음악 모드를 구별하기 위해 미리 설정된 값을 의미한다. 장구간 특성을 생성하는 보다 구체적인 방법에 대하여는 후술한다.
버퍼(160)는 단구간 특성 버퍼(161)과 장구간 특성 버퍼(162)를 포함한다. 단구간 특성 버퍼(161)는 단구간 특성 생성부(120)에서 생성된 특성값을 적어도 일정 시간 동안 저장하고, 장구간 특성 버퍼(162)는 제1 장구간 특성 생성부와 제2 장구간 특성 생성부로부터 생성된 특성값을 적어도 일정 시간 동안 저장한다.
장구간 특성 비교부(170)는 제2 장구간 특성 생성부(150)에서 생성된 장구간 특성을 소정의 임계값과 비교한다. 여기에서, 소정의 임계값은 현재의 모드가 음성 모드일 가능성이 매우 높을 경우의 장구간 특성값을 의미하며, 음성, 음악 신호에 대한 통계적인 분석을 통하여 미리 결정된 값이다. 도 9b와 같이 장구간 특성의 임계값(SpThr)을 설정할 경우, 장구간 특성값이 임계값 보다 클 경우, 현재 프레임이 음악 신호인 가능성은 1% 이하를 의미한다. 즉, 장구간 특성값이 임계값 보다 클 경우에는 현재 프레임을 부호화 모드를 음성 부호화 모드로 결정할 수 있다.
만약, 장구간 특성 값이 임계값 보다 작을 경우에는 모드 결정 기준값을 조절하는 프로세스와 단구간 특성에 대한 비교 판단을 통해 현재 프레임의 부호화 모 드가 무엇인지를 결정하게 된다. 물론, 임계값은 모드 결정의 적중률을 고려하여 조절될 수 있으며, 도9b의 경우 임계값을 낮게 설정하면 적중률은 낮아지게 된다.
모드 결정 기준값 조절부(180)는 제2 장구간 특성 생성부(150)에서 생성된 장구간 특성이 소정의 임계값 보다 작을 경우, 즉 장구간 특성 만으로는 현재 프레임의 모드를 결정하기 어려운 경우 현재 프레임의 부호화 모드를 결정하는 기준이 되는 모드 결정 기준값을 적응적으로 조절한다.
모드 결정 기준값 조절부(180)는 부호화 모드 결정부(190)로부터 이전 프레임에 대한 모드 정보를 수신하고, 이전 프레임의 모드가 음성 모드인지 또는 음악 모드인지 여부를 고려하여 모드 결정 기준값을 적응적으로 조절한다. 모드 결정 기준값은 부호화 모드를 결정하고자 하는 프레임 즉 현재 프레임의 단구간 특성이 어떤 모드의 성질을 갖는 것인지를 판단하기 위한 것으로서, 현재 프레임에 선행하는 프레임의 모드가 무엇인지에 따라 모드 결정 기준값을 조절하는 것은 본 실시예의 주된 특징을 이룬다. 모드 결정 기준값 조절에 대한 상세 내용은 후술한다.
부호화 모드 결정부(190)는 현재 프레임의 단구간 특성(short-term feature, STF_THR)과 모드 결정 기준값 조절부(180)를 통해 조절된 모드 결정 기준값(STF_THR)을 비교하여 현재 프레임의 모드가 음성 모드인지 아니면 음악 모드인지 결정한다.
도4는 도3에 도시된 단구간 특성 생성부(120)와 장구간 특성 생성부(130)의 세부 블록도이다. 단구간 특성 생성부(120)는 LP-LTP 이득 생성부(121), 스펙트럼 틸트 생성부(122), 영점 교차율 생성부(123)을 포함하고, 장구간 특성부(130)는 LP-LTP 이득의 이동평균 계산부(141), 스펙트럼 틸트의 이동평균 계산부(142), 영점 교차율의 이동 평균 계산부(143), 제1 분산 특성값 비교부(151), 제2 분산 특성값 비교부(152), 제3 분산 특성값 비교부(153), SNR_SP 계산부(154), Tilt_SP 계산부(155), ZC_SP 계산부(156)를 포함한다.
LP-LTP(linear prediction-long term prediction) 이득 생성부(127)는 입력 오디오 신호에 대한 프레임 단위의 단구간 분석을 통해, 현재 프레임에 따른 LP-LTP 이득을 생성한다.
도5는 도4에 도시된 LP-LTP 이득 생성부의 세부 블록도이다. LP-LTP 이득 생성부(121)는 LP분석부(121a), 오픈-루프 피치 분석부(open-loop pitch analysis unit, 121b), LTP 기여 합성부(121c), 가중된 SegSNR 계산부(121d)를 포함한다.
LP분석부(121a)는 현재 프레임에 따른 오디오 신호에 대한 선형 분석을 통하여 PrdErr, r[0]을 계산하고, 상기 계산된 값을 이용하여 하기 수학식1에 따라 LPC 이득을 계산한다.
수학식1
LPC gain = -10.* log 10((PrdErr)/(r[0] + 0.0000001))
여기서 PrdErr은 LP필터 계수를 구하는 과정인 Levinson-Durbin 방식에 따른 예측 오차(prediction error)이고, r[0]은 첫 번째 반사 계수를 의미한다.
또한, LP분석부(121a)는 현재 프레임에 대한 자기 상관 방식을 이용하여 LPC(linear prediction coefficient)값을 계산한다. 이때 LPC를 통해 단구간 분석 필터는 특정되고, 상기 특정된 필터를 통과한 신호는 오픈-루프 피치 분석부로 전 달된다.
오픈-루프 피치 분석부(open-loop pitch analysis unit, 121b)는 단구간 분석 필터를 통해 필터링된 오디오 신호에 대한 장구간 분석을 수행하여 피치 상관값(pitch correlation)을 계산한다. 오픈-루프 피치 분석부(121b)는 버퍼에 저장된 선행하는 프레임의 오디오 신호와 현재 프레임의 오디오 신호의 교차 상관값이 가장 클 때의 지연 성분(open-loop pitch lag)을 계산하고, 계산된 지연 성분에 의해 장구간 특성 필터를 특정한다. LP 분석부에서 얻어지는 과거의 오디오 신호와 현재의 오디오 신호와의 상관값 계산을 통해 피치를 구하고, 상관값을 피치로 나눔으로써 정규화된 피치 상관값을 계산할 수 있다. 정규화된 피치 상관값(rx)은 다음 수학식2에 따라 계산된다.
수학식2
Figure 112006092680656-PAT00001
여기에서 T는 오픈-루프 피치 주기의 추정값(estimation value)이고, xi는 가중된 입력 신호값이다.
LP-LTP 합성부(Linear prediction - long term prediction synthesis unit, 121c)는 제로 여기(zero excitation)를 입력으로 하여 LP-LTP 합성을 수행한다.
SegSNR 계산부(weighted SegSNR computing, 121d)는 LP-LTP 합성부를 통해 복원된 출력 신호에 대한 LP-LTP 예측 이득을 계산한다. 현재 프레임의 단구간 특 성인 상기 LP-LTP 예측 이득은 LP-LTP 이동 평균 계산부(141)로 전달된다.
LP-LTP 이동 평균 계산부(141)는 단구간 특성 버퍼(161)에 저장된 현재 프레임에 선행하는 소정 개수의 프레임에 따른 LP-LTP 이득에 대한 평균값을 계산한다.
제1 분산 특성값 비교부(151)는 LP-LTP 이동 평균 계산부(141)에서 계산된 평균값과 현재 프레임의 LP-LTP 이득의 차분값(SNR_VAR)을 수신하고, 수신된 차분값과 소정의 임계값(SNR_THR)을 비교한다.
SNR_SP 계산부(154)는 제1 분산 특성값 비교부(151)의 비교 결과에 따라 다음 수학식3에 따라 if 조건문을 수행함으로써 장구간 특성 SNR_SP를 계산한다.
수학식3
if (SNR_VAR > SNR_THR)
SNR_SP = a1 * SNR_SP + (1 - a1) * SNR_VAR
else
SNR_SP - = D1
여기에서, SNR_SP의 초기 값은 0이고, a1는 0~1의 실수로서 SNR_SP와 SNR_VAR에 대한 가중치이고, D1 는 β1 × (SNR_THR / LT-LTP 이득) 이며, β1는 감소 정도를 나타내는 상수이다.
위 수학식3에서 a1는 음성-음악 또는 음악-음성의 모드 변화를 억제하는 상수로서, a1값이 클수록 오디오 신호를 더욱 부드럽게 복원할 수 있으며, 노이즈에 따른 모드의 변동을 방지한다. 위 수학식에 따른 조건문을 수행할 경우, SNR_VAR이 임계값 SNR_THR 보다 큰 경우 장구간 특성 SNR_SP는 증가하게 되고, SNR_VAR이 임계값 SNR_THR 보다 작은 경우 장구간 특성 SNR_SP는 이전 프레임의 SNR_SP값에서 일정한 값만큼 감소하게 된다.
SNR_SP 계산부(154)는 상기 수학식으로 표현되는 조건문을 각 프레임마다 수행함으로써 장구간 특성 SNR_SP를 계산한다. SNR_VAR 값도 장구간 특성의 일종이지만, 상기 조건문을 통해 SNR_VAR은 도면 6d의 분포를 갖는 SNR_SP로 변형된다.
도6a 내지 6d는 본 실시예에서의 SNR_VAR, SNR_THR, SNR_SP 각각의 분포 특성을 설명하는 참고도이다.
도6a는 음악과 음성 신호에 따른 LP-LTP 이득의 분산 특성값(SNR_VAR)을 나타내는 참고도이다. 도6a를 통해 LP-LTP 이득 생성부(121)에서 생성된 SNR_VAR은 입력 신호가 음성인가 또는 음악인가에 따라 구별된 분포를 갖는 것을 확인할 수 있다.
도6b는 LP-LTP 이득의 분산 특성값(SNR_VAR)에 따른 빈도율(frequency percent)의 통계적 특성을 나타내는 참고도이다. 도6b의 세로축은 빈도율(해당 SNR_VAR값의 빈도수/전체 빈도수 ×100%) 분포를 나타낸다. 발성된 음성 신호는 일반적으로 유성음, 무성음, 그리고 묶음의 조합으로 구성된다. 유성음의 경우 LP-LTP 이득이 크고, 무성음과 묶음의 경우에는 작은 값을 갖기 때문에 유성음/무성음이 스위칭되는 대부분의 음성 신호는 일정 간격 내에서 큰 값의 SNR_VAR값을 갖는 패턴을 보인다. 그러나, 음악 신호는 대부분 연속적이거나 또는 LP-LTP 이득의 변 화가 작기 때문에 상대적으로 작은 SNR_VAR값을 갖는다.
도6c는 LP-LTP 이득의 분산 특성값(SNR_VAR)에 따른 누적 빈도율의 통계적 분포 특성을 나타내는 참고도이다. 음악 신호는 상대적으로 작은 값의 SNR_VAR 영역에 많이 분포하기 때문에 누적 곡선 상에서 확인할 수 있듯이, SNR_VAR값이 소정의 임계값보다 클 경우 음악 신호가 존재할 가능성은 매우 낮아지게 된다. 음성 신호는 음악 신호 보다 상대적으로 완만한 누적 곡선 기울기를 갖는다. 이 경우 THRs를 P(music|S) - P(speech|S)로 정의하고, THRs가 최대일 때의 SNR_VAR값을 임계값 (SNR_THR)로 정의할 수 있다. 여기에서 P(music|S)는 조건 S에서 현재의 오디오 신호가 음악 신호일 확률을 의미하고, P(speech|S)는 조건 S에서 현재의 오디오 신호가 음성 신호일 확률을 의미한다. 본 실시예에서는 SNR_THR값을 SNR_SP값을 구하는 조건문을 실행하기 위한 기준으로 채택하였으며, 이를 통해 음성과 음악 신호 구별의 정확성을 높이는 효과가 있다.
도6d는 LP-LTP 이득에 대한 장구간 특성(SNR_SP)을 나타내는 참고도이다. 도6a의 분포를 갖는 SNR_VAR에 대하여 SNR_SP 계산부는 상술한 조건부 연산 처리를 통해 새로운 장구간 특성값(SNR_SP)을 생성한다. 임계값(SNR_THR)에 따른 조건부 연산 처리를 통해 얻어지는 음성 신호와 음악 신호에 따른 SNR_SP가 좀더 확연하게 구별됨은 도6d를 통하여도 확인할 수 있다.
스펙트럼 틸트 생성부(122)는 입력 오디오 신호에 대한 프레임 단위의 단구간 분석을 통해, 현재 프레임에 따른 스펙트럼 틸트를 생성한다. 스펙트럼 틸트는 저대역의 스펙트럼에 따른 에너지와 고대역의 스펙트럼에 따른 에너지의 비를 의미 하며, 하기 수학식4에 따라 계산된다.
수학식4
etilt = El / Eh
여기에서 Eh는 고대역에서의 평균 에너지이고, El은 저대역에서의 평균 에너지이다. 스펙트럼 틸트 평균값 계산부(142)는 단구간 특성 버퍼(161)에 저장된 현재 프레임에 선행하는 소정 개수의 프레임에 따른 스펙트럼 틸트의 평균을 계산하거나, 또는 스펙트럼 틸트 생성부(122)에서 생성된 현재 프레임의 스펙트럼 틸트값을 포함시킨 스펙트럼 틸트의 평균을 계산한다.
제2 분산 특성값 비교부(152)는 스펙트럼 틸트 평균값 계산부(142)에서 생성된 평균값과 스펙트럼 틸트 생성부(122)에서 생성된 현재 프레임에 따른 스펙트럼 틸트의 차분값(Tilt_VAR)를 수신하고, 수신된 스펙트럼 틸트의 차분값을 소정의 임계값 (TILT_THR)과 비교한다.
TILT_SP 계산부(155)는 스펙트럼 틸트 분산 특성값 비교부(152)의 비교 결과에 따라 다음 수학식5으로 표현되는 if 조건문을 수행함으로써 장구간 특성인 TILT_SP(tilt speech possibility)를 계산한다.
수학식5
if (TILT_VAR > TILT_THR)
TILT_SP = a2 * TILT_SP + (1 - a2) * TILT_VAR
else
TILT_SP - = D2
여기에서, TILT_SP의 초기 값은 0이고, a2는 0~1의 실수로서 TILT_SP와 TILT_VAR에 대한 가중치이고, D2 는 β2 × (TILT_THR / SPECTRUM TILT) 이며, β2 는 감소 정도를 나타내는 상수이며, SNR_SP와 공통된 설명은 생략한다.
도7a는 음악과 음성 신호에 따른 스펙트럼 틸트 이득의 분산 특성값(TILT_VAR)을 나타내는 참고도이다. 스펙트럼 틸트 생성부(122)에서 생성된 TILT_VAR은 입력 신호가 음성인가 또는 음악인가에 따라 구별된다.
도7b 스펙트럼 틸트에 대한 장구간 특성(TILT_SP)을 나타내는 참고도이다. 도7b의 분포를 갖는 TILT_VAR에 대하여 TILT_SP 계산부(155)는 상술한 조건부 연산처리를 통해 새로운 장구간 특성값(TILT_SP)을 생성한다. 임계값(TILT_THR)에 따른 조건부 연산 처리를 통해 얻어지는 음성 신호와 음악 신호에 따른 TILT_SP가 좀더 확연하게 구별됨은 도7b를 통하여도 확인할 수 있다.
영점 교차율 생성부(123)는 입력 오디오 신호에 대한 프레임 단위의 단구간 분석을 통해, 현재 프레임에 따른 영점 교차율(zero crossing rate)을 생성한다. 영점 교차율은 현재 프레임에 대한 입력 셈플의 신호 변화가 발생하는 빈도를 의미하며, 하기 수학식6을 이용한 조건문에 따라 계산된다.
수학식6
if (S(n)·S(n-1) < 0) ZCR = ZCR + 1
여기에서 S(n)은 현재 프레임(n)에 따른 오디오 신호가 양수인지 아니면 음 수인지 여부를 판단하는 변수이다. 위 수학식6에서 영점 교차율(ZCR)의 초기값은 0이다.
영점 교차율 평균값 계산부(143)는 단구간 특성 버퍼(161)에 저장된 현재 프레임에 선행하는 소정 개수의 프레임에 따른 영점 교차율의 평균을 계산하거나, 또는 영점 교차율 생성부(123)에서 생성된 현재 프레임의 영점 교차율 값을 포함하여, 영점 교차율의 평균을 계산한다.
제3 분산 특성값 비교부(153)는 영점 교차율 평균값 계산부(143)에서 생성된 평균값과 영점 교차율 생성부(123)에서 생성된 현재 프레임에 따른 영점 교차율의 차분값(ZC_VAR)를 수신하고, 수신된 차분값을 소정의 임계값(ZC_THR)과 비교한다.
ZC_SP 계산부(156)는 영점 교차율 분산 특성값 비교부(153)의 비교 결과에 따라 다음 수학식7로 표현되는 if 조건문을 수행함으로써 장구간 특성인 ZC_SP(zero-crossing rate speech possibility)를 계산한다.
수학식7
if (ZC_VAR > ZC_THR)
ZC_SP = a3 * ZC_SP + (1 - a3) * ZC_VAR
else
ZC_SP - = D3
여기에서, ZC_SP의 초기 값은 0이고, a3는 0~1의 실수로서 ZC_SP와 ZC_VAR에 대한 가중치이고, D3 는 β3 × (ZC_THR / zero-crossing rate) 이며, β3는 감 소 정도를 나타내는 상수이고, zero-crossing rate는 현재 프레임에 따른 영점 교차율이다. 기타, SNR_SP와 공통된 설명은 생략한다.
도8a는 음악과 음성 신호에 따른 영점 교차율의 분산 특성값(ZC_VAR)을 나타내는 참고도이다. 영점 교차율 생성부(123)에서 생성된 ZC_VAR은 입력 신호가 음성인가 또는 음악인가에 따라 구별된다.
도8b 영점 교차율에 대한 장구간 특성(ZC_SP)을 나타내는 참고도이다. 도8b의 분포를 갖는 ZC_VAR에 대하여 ZC_SP 계산부(155)는 상술한 조건부 연산처리를 통해 새로운 장구간 특성값(ZC_SP)을 생성한다. 임계값(ZC_THR)에 따른 조건부 연산 처리를 통해 얻어지는 음성 신호와 음악 신호에 따른 ZC_SP가 좀더 확연하게 구별됨은 도8b를 통하여도 확인할 수 있다.
SPP생성부(157)는 SNR_SP 계산부(154), TILT_SP 계산부(155), ZC_SP 계산부(156)에서 생성된 각각의 장구간 특성을 이용하여, 하기 수학식8에 따라 SPP(speech presence possibility)를 생성한다.
수학식8
SPP = SNR_W·SNR_SP + TILT_W·TILT_SP + ZC_W·ZC_SP
여기에서, SNR_W는 SNR_SP에 대한 가중치이고, TILT_W는 TILT_SP에 대한 가중치이고, ZC_W는 ZC_SP에 대한 가중치이다.
도6c, 7b 및 8b를 참고하면, SNR_W는 SNR_THR에 따른 P(music|S) P(speech|S) = 0.46(46%)를 소정의 정규화 팩터(normalization factor)로 승산 함으로써 계산된다. 여기서 소정의 정규화 팩터에 특별한 제한이 있지는 않지만, 예 를 들어 음성 신호의 SNR_SP 누적 확율이 90%일 때의 SNR_SP값(7.5)을 정규화 팩터로 설정할 수 있다. 같은 방식으로 TILT_THR에 따른 P(music|T) - P(speech|T) = 0.35(35%)와 TILT_SP에 대한 정규화 팩터를 이용하여 TILT_W를 계산할 수 있다. 상기 TILT_SP에 대한 정규화 팩터는 음성 신호의 TILT_SP 누적 확률이 90%일 때의 TILT_SP값(45)이다. 또한, ZC_THR에 따른 P(music|Z) - P(speech|Z) = 0.32(32%)와 정규화 팩터(75)를 이용하여 ZC_W를 계산할 수 있다.
도9a는 도4에서 SPP 생성부(157)를 통해 생성된 음성 존재 가능성(Speech Presence Possibility)의 분포 특성을 나타내는 참고도이다. 단구간 특성 생성부(121~123)에서 생성된 단구간 특성 들은 상술한 과정을 통해 새로운 장구간 특성(SPP)로 변환되며, 장구간 특성(SPP)를 기준으로 할 때 음성 신호와 음악 신호는 보다 명확하게 구별될 수 있다.
도9b는 9a의 음성 존재 가능성(SPP)에 대한 누적 분포 특성을 나타내는 참고도이다. 장구간 특성 임계값(SpThr)은 음악 신호의 누적 분포가 99%일 때의 SPP값으로 설정할 수 있으며, 현재 프레임에 따른 SPP값이 미리 설정된 임계값(SpThr) 보다 클 경우 현재 모드는 음성 모드로 결정할 수 있다. 그러나, 상기 임계값 보다 작을 경우에는 이전 프레임의 모드가 무엇인지를 고려하여 단구간 특성을 결정하기 위한 모드 결정 기준 값을 조절하고, 조절된 모드 결정 기준 값과 단구간 특성 값의 비교를 통해 현재 프레임의 모드를 결정할 수 있다.
상술한 본 발명은 음성과 음악이 혼재된 오디오 신호로 부터 각각을 구별하여 부호화시킬 수 있는 방법을 제시하고 있다. 이와 관련하여, 오디오 신호로 부터 원하는 신호와 원하지 않는 신호를 구분하기 위한 기존에 널리 사용된 수단으로는 VAD(Voice Activity Detection)가 있다. 그러나, VAD는 주로 음성 신호를 취급하기 위하여 개발된 것이기 때문에, 음성과 함께 음악, 잡음 등이 혼재된 환경하에서는 사용하기 어려운 문제가 있다. 본 발명에서 개시된 방법은 오디오 신호를 구분하여 부호화하는 코덱에 일반적으로 적용될 수 있어 적용성이 우수하고, 오디오 신호 분류의 정확성을 향상시킬 수 있다.
도10은 본 발명의 일 실시예에 따른 오디오 신호의 부호화 모드 결정 방법을 나타내는 흐름도이다.
1100단계에서 단구간 특성 생성부(120)는 입력 오디오 신호를 프레임 별로 구분하고, 각각에 대한 단구간 분석을 통해 LP-LTP 예측 이득, 스펙트럼 틸트, 영점 교차율을 계산한다. 단구간 특성의 종류에 특별한 제한이 있는 것은 아니지만, 상기 3종류의 단구간 특성을 이용하여 오디오 신호의 모드를 프레임별로 판단할 경우 90% 이상의 적중률을 얻을 수 있다. 단구간 특성값을 계산하는 방법은 앞서 설명한 바 있으므로 이에 대한 설명은 생략한다.
1200단계에서 장구간 특성 생성부(130)는 단구간 특성 생성부(120)에서 생성된 단구간 특성에 대한 장구간 분석을 통해 SNR_SP, TILT_SP, ZC_SP를 계산하고, 각각에 가중치를 부여하여 SPP(음성 존재 특성값)을 계산한다.
1100단계와 1200단계에서는 현재 프레임에 따른 단구간, 장구간 특성이 계산된다. 그러나, 오디오 신호의 모드를 결정하기 위해서는 음성 데이터와 음악 데이터를 1100단계와 1200단계를 통해 단구간 특성, 장구간 특성을 계산하는 트레이닝 을 수행하는 것이 필요하다. 이러한 트레이닝을 통하여 단구간 특성 및 장구간 특성의 분포에 대한 데이터 구축과 후술하는 단계를 통해 오디오 신호의 프레임별 모드를 판단할 수 있다.
1300단계에서 장구간 특성 비교부(170)는 1200단계에서 계산된 현재 프레임에 따른 SPP와 미리 설정된 장구간 특성 임계값(SpThr)을 비교한다. 상기 비교 결과 현재 프레임에 따른 SPP가 SpThr 보다 클 경우 현재 프레임은 음성 모드로 결정되고, 작을 경우에는 모드 결정 기준값을 조절하고, 이를 단구간 특성 값과 비교하는 과정을 통해 현재 프레임의 모드를 결정한다.
1400단계에서 모드 기준값 조절부(180)는 이전 프레임의 모드에 대한 정보를 장구간 특성 비교부(170)로부터 수신하고, 수신된 모드 정보에 따라 이전 프레임의 모드가 음성 모드인지 음악 모드인지 판단한다.
1410단계에서 모드 기준값 조절부(180)는 이전 프레임의 모드가 음성 모드인 경우 현재 프레임의 단구간 특성을 판단하는 모드 결정 기준값(STF_THR)을 Sx로 나눈값을 출력한다. Sx는 음성 신호에 대한 누적 확률의 속성을 가진 값으로서, 모드 결정 기준값을 증가 또는 감소시키기 위한 값이다. 도9a를 참고하면, Sx가 1이 되는 SPP를 도9a와 같이 선택하고, 각각의 SPP에 따른 누적 확률값을 SpSx에 따른 누적 확률 값으로 나눔으로써 정규화된 Sx를 계산할 수 있다. 현재 프레임에 따른 SPP값이 SpSx와 SpThr 사이에 존재할 경우, 1410단계를 통해 모드 결정 기준값(STF_THR)은 감소하게 되고, 현재 프레임이 음성 모드로 결정될 가능성은 높아지게 된다.
1420단계에서 모드 결정 기준값 조절부(180)는 이전 프레임의 모드가 음악 모드인 경우 현재 프레임의 단구간 특성을 판단하는 모드 결정 기준값(STF_THR)을 Mx로 곱한 값을 출력한다. Mx는 음악 신호에 대한 누적 확률의 속성을 가진 값으로서, 모드 결정 기준값을 증가 또는 감소시키기 위한 값이다. 도 9b와 같이 Mx 가 1인 MSP(music presence possibility)를 MpMx로 설정할 수 있으며, 각각의 MSP에 따른 확률값을 MpMx에 따른 확률값으로 나눔으로써 정규화된 Mx를 계산할 수 있다. Mx가 MpMx 보다 클 경우, 모드 결정 기준값(STF_THR)은 증가하게 되며, 현재 프레임이 음악 모드로 결정될 가능성은 높아지게 된다.
1430단계에서 모드 결정 기준값 조절부(180)는 1410단계 또는 1420단계를 통해 적응적으로 조절된 모드 결정 기준값(STF_THR)과 현재 프레임에 따른 단구간 특성(STF, short term feature)을 비교하고, 비교 결과를 출력한다.
1500단계에서, 부호화 모드 결정부(190)는 1430단계에서의 판단 결과 현재 프레임의 단구간 특성(STF)가 조절된 모드 결정 기준값(STF_THR) 보다 작을 경우에 현재 프레임을 음악 모드로 판단하고, 판단 결과를 모드 정보로서 출력한다.
1600단계에서, 부호화 모드 결정부(190)는 1430단계에서의 판단 결과 현재 프레임의 단구간 특성(STF)가 조절된 모드 결정 기준값(STF_THR) 보다 클 경우에 현재 프레임을 음성 모드로 판단하고, 판단 결과를 모드 정보로서 출력한다.
도11는 본 발명의 일 실시예에 따른 비트스트림 복원 장치를 나타내는 블록도이다.
비트스트림 수신부(2100)는 오디오 신호의 프레임별 부호화 모드 정보가 포 함된 비트 스트림을 수신한다. 모드 정보 추출부(2200)는 수신한 비트 스트림으로부터 오디오 신호의 프레임별 모드 정보를 추출한다. 복호화 모드 결정부(2300)는 모드 정보 추출부(2200)로부터 추출된 모드 정보에 따라 오디오 신호의 복호화 모드를 결정하고, 해당 비트스트림을 주파수 영역 복호화부(2400) 또는 시간 영역 복호화부(2500)로 전달한다.
주파수 영역 복호화부(2400)는 수신된 비트스트림을 주파수 영역에서 복호화하고, 시간 영역 복호화부(2500)는 수신된 비트스트림을 시간 영역에서 복호화한다. 혼합부(2600)는 복호화된 신호를 혼합하여 오디오 신호를 복원한다.
한편 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트 들은 본 발명이 속하는 기술 분야의 프로그래머 들에 의하여 용이하게 추론될 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발 명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로, 상기 개시된 실시예 들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다
본 발명에 따르면, 오디오 신호의 장구간 특성에 따라 부호화 모드를 결정하고자 하는 프레임에 대한 모드 결정 기준값(threshold)을 적응적으로 조절하여 부호화 모드를 결정함으로써, 부호화 모드 결정과 신호 분류에 대한 적중률(hit rate)을 높이고, 모드가 프레임 간격으로 자주 스위칭되는 것을 억제하는 기능을 가지며, 잡음 신호에 대한 내성을 향상시키고, 오디오 신호를 보다 자연스럽게 복원할 수 있는 효과가 있다.

Claims (20)

  1. 오디오 신호의 부호화 모드 결정 방법에 있어서,
    (a) 상기 오디오 신호를 프레임 단위로 분석하여 상기 분석된 프레임에 대한 단구간 특성과 장구간 특성을 생성하는 단계;
    (b) 상기 생성된 장구간 특성에 따라 부호화 모드를 결정하고자 하는 프레임에 대한 모드 결정 기준값을 적응적으로 조절하는 단계; 및
    (c) 상기 장구간 특성과 적응적으로 조절된 모드 결정 기준값을 이용하여 상기 부호화 모드를 결정하고자 하는 프레임의 부호화 모드를 결정하는 단계를 포함하는 오디오 신호의 부호화 모드 결정 방법.
  2. 제1항에 있어서,
    상기 부호화 모드를 결정하고자 하는 프레임의 장구간 특성과 소정의 임계값을 비교하는 단계를 더 포함하고, 상기 (b) 단계는 상기 비교 결과에 따라 모드 결정 기준 값을 적응적으로 조절하는 것을 특징으로 하는 오디오 신호의 부호화 모드 결정 방법.
  3. 제1항에 있어서,
    상기 장구간 특성을 생성하는 것은 상기 부호화 모드를 결정하고자 하는 프레임에 선행하는 소정 개수의 프레임에 따른 단구간 특성의 평균과 상기 부호화 모 드를 결정하고자 하는 프레임에 따른 단구간 특성간의 차분값을 이용하여 생성하는 것을 특징으로 하는 오디오 신호의 부호화 모드 결정 방법.
  4. 제1항에 있어서,
    상기 부호화 모드를 결정하고자 하는 프레임의 장구간 특성과 소정의 임계값을 비교하는 단계를 더 포함하고, 상기 (b) 단계는 상기 비교 결과와 상기 부호화 모드를 결정하고자 하는 프레임에 선행하는 프레임이 갖는 부호화 모드에 따라 모드 결정 기준 값을 적응적으로 조절하는 것을 특징으로 하는 오디오 신호의 부호화 모드 결정 방법.
  5. 제4항에 있어서,
    상기 (b) 단계는 상기 장구간 특성과 소정의 임계값의 비교 결과 상기 장구간 특성 만으로는 프레임의 부호화 모드를 결정하기 어려운 경우, 상기 부호화 모드를 결정하고자 하는 프레임의 부호화 모드가 상기 프레임에 선행하는 프레임의 부호화 모드와 동일한 모드로 결정되는 가능성이 높아지도록 상기 모드 결정 파라미터를 조절하는 것임을 특징으로 하는 오디오 신호의 부호화 모드 결정 방법.
  6. 제1항에 있어서,
    상기 (c) 단계는 모드를 결정하고자 하는 프레임의 단구간 특성과 상기 조절된 모드 결정 기준값의 대소 비교를 통해 상기 프레임의 모드를 결정하는 것을 특 징으로 하는 오디오 신호의 부호화 모드 결정 방법.
  7. 제2항에 있어서,
    상기 장구간 특성을 생성하는 것은 상기 차분값이 소정의 기준값 보다 클 경우에는 부호화 모드를 결정하고자 하는 프레임에 대한 차분값과 상기 프레임에 선행하는 프레임에 대한 차분값에 각각 양(+)의 가중치를 부여하고, 가중치가 부여된 차분값 들을 합산하는 계산을 수행하여 생성하거나,
    상기 차분값이 소정의 기준값 보다 작을 경우에는 상기 부호화 모드를 결정하고자 하는 프레임에 대한 차이값에는 음(-)의 가중치를 부여하고, 선행하는 프레임에 대한 차이값에 양(+)의 가중치를 부여하여 상기 가중치가 부여된 차이값을 합산하는 계산을 수행하거나 또는 선행하는 프레임에 따른 장구간 특성을 감소시키는 계산을 수행하여 생성하는 것을 특징으로 하는 오디오 신호의 부호화 모드 결정 방법.
  8. 제1항에 있어서,
    상기 (c) 단계의 부호화 모드는 주파수 영역 부호화 모드와 시간 영역 부호화 모드 중 어느 하나의 모드이거나, 음악 부호화 모드와 음성 부호화 모드 중 어느 하나의 모드인 것을 특징으로 하는 오디오 신호의 부호화 모드 결정 방법.
  9. 제1항에 있어서,
    상기 단구간 특성은 단기/장기 예측 이득, 스펙트럼 틸트 및 영점 교차율로 이루어진 군으로부터 선택되는 1종 이상인 것을 특징으로 하는 오디오 신호의 부호화 모드 결정 방법.
  10. 제1항 내지 제9항 중 어느 한 항의 오디오 신호의 부호화 모드 결정 방법을 컴퓨터 또는 네트워크 상에서 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
  11. 제1항 내지 제9항 중 어느 한 항의 오디오 신호의 부호화 모드 결정 방법에 의해 결정된 오디오 신호의 부호화 모드에 따라 오디오 신호를 프레임 별로 음성 부호화 또는 오디오 부호화함으로써 부호화된 신호를 생성하는 단계; 및
    상기 부호화된 신호에 대한 비트스트림 처리를 통해 비트스트림을 생성하는 단계를 포함하는 오디오 신호의 부호화 방법.
  12. 제11항에 있어서, 상기 생성된 비트스트림은 각각의 프레임의 부호화 모드에 대한 모드 정보를 더 포함하는 것을 특징으로 하는 오디오 신호의 부호화 방법.
  13. 제1항 내지 제9항 중 어느 한 항의 오디오 신호의 부호화 모드 결정 방법에 따라 결정된 오디오 신호의 부호화 모드에 따라, 오디오 신호를 시간 영역에서 부호화하거나 또는 주파수 영역에서 부호화하여 부호화된 신호를 생성하는 단계 ; 및
    상기 부호화된 신호에 대한 비트스트림 처리를 통해 비트스트림을 생성하는 단계를 포함하는 오디오 신호의 부호화 방법.
  14. 오디오 신호를 프레임 단위로 분석하여 단구간 특성을 생성하는 단구간 특성 생성부;
    상기 단구간 특성을 이용하여 장구간 특성을 생성하는 장구간 특성 생성부;
    상기 장구간 특성을 이용하여 부호화 모드를 판단하고자 하는 프레임의 모드 결정 기준 값을 적응적으로 조절하는 모드 결정 기준값 조절부; 및
    상기 적응적으로 조절된 모드 결정 기준값을 이용하여 상기 부호화 모드를 판단하고자 하는 프레임의 부호화 모드를 결정하는 부호화 모드 결정부를 포함하는 오디오 신호의 부호화 모드 결정 장치.
  15. 제14항에 있어서,
    상기 부호화 모드를 결정하고자 하는 프레임의 장구간 특성과 소정의 임계값을 비교하는 장구간 특성 비교부를 더 포함하고,
    상기 모드 결정 기준값 조절부는 상기 모드를 결정하고자 하는 프레임에 선행하는 프레임의 장구간 특성과 상기 장구간 특성 비교부의 비교 결과를 이용하여 부호화 모드를 결정하는 것을 특징으로 하는 오디오 신호의 부호화 모드 결정 장치.
  16. 제14항에 있어서,
    상기 장구간 특성 생성부는 부호화 모드를 결정하고자 하는 프레임에 선행하는 소정 개수의 프레임에 따른 단구간 특성을 이용하여 제1 장구간 특성을 생성하는 제1 장구간 특성 생성부; 및
    상기 제1 장구간 특성 생성부로부터 생성된 제1 장구간 특성과 부호화 모드를 결정하고자 하는 프레임과 상기 프레임에 선행하는 각각의 프레임에 대한 장구간 특성 들을 이용하여 제2 장구간 특성을 생성하는 제2 장구간 특성 생성부를 더 포함하고,
    상기 모드 결정 기준값 조절부는 상기 제2 장구간 특성 생성부로부터 생성된 제2 장구간 특성을 이용하여 부호화 모드를 결정하고자 하는 프레임의 모드 결정 기준값을 적응적으로 조절하는 것을 특징으로 하는 오디오 신호의 부호화 모드 결정 장치.
  17. 제14항에 있어서,
    상기 단구간 특성 생성부는 LP-LTP 이득 생성부, 스펙트럼 틸트 생성부 및 영점 교차율 생성부로 이루어진 군으로부터 하나 이상을 포함하는 것을 특징으로 하는 오디오 신호의 부호화 모드 결정 장치.
  18. 오디오 신호를 프레임 단위로 분석하여 단구간 특성을 생성하는 단구간 특성 생성부;
    상기 단구간 특성을 이용하여 장구간 특성을 생성하는 장구간 특성 생성부;
    상기 장구간 특성을 이용하여 부호화 모드를 판단하고자 하는 프레임의 모드 결정 기준 값을 적응적으로 조절하는 모드 결정 기준값 조절부;
    상기 적응적으로 조절된 모드 결정 기준값을 이용하여 상기 부호화 모드를 판단하고자 하는 프레임의 부호화 모드를 결정하는 부호화 모드 결정부;
    상기 결정된 부호화 모드에 따라 오디오 신호를 프레임 별로 음성 부호화하는 주파수 영역에서 부호화하거나 시간 영역에서 부호화하는 부호화부; 및
    상기 부호화된 신호에 대한 비트스트림 처리를 통해 비트스트림을 생성하는 비트스트림 생성부를 포함하는 오디오 신호의 부호화 장치.
  19. 오디오 신호에 대한 장구간 특성을 이용하여 부호화 모드가 적응적으로 결정된 프레임별 부호화 모드 정보를 포함하는 비트스트림을 수신하는 단계;
    상기 수신된 비트스트림에 포함된 부호화 모드 정보에 따라 수신된 디지털 정보의 복호화 모드를 결정하는 단계; 및
    상기 결정된 복호화 모드에 따라 상기 수신된 디지털 정보를 복호화하는 단계를 포함하는 오디오 신호의 복호화 방법.
  20. 오디오 신호에 대한 장구간 특성을 이용하여 부호화 모드가 적응적으로 결정된 프레임별 부호화 모드 정보를 포함하는 비트 스트림을 수신하는 수신부;
    상기 수신된 비트스트림에 따라 수신된 디지털 정보의 복호화 모드를 결정하 는 복호화 모드 결정부; 및
    상기 결정된 복호화 모드에 따라 상기 수신된 디지털 정보를 복호화부를 포함하는 오디오 신호의 복호화 장치.
KR1020060127844A 2006-12-14 2006-12-14 오디오 신호의 부호화 모드 결정 방법 및 장치와 이를 이용한 오디오 신호의 부호화/복호화 방법 및 장치 KR100964402B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020060127844A KR100964402B1 (ko) 2006-12-14 2006-12-14 오디오 신호의 부호화 모드 결정 방법 및 장치와 이를 이용한 오디오 신호의 부호화/복호화 방법 및 장치
US11/939,074 US20080147414A1 (en) 2006-12-14 2007-11-13 Method and apparatus to determine encoding mode of audio signal and method and apparatus to encode and/or decode audio signal using the encoding mode determination method and apparatus
EP20070851482 EP2102859A4 (en) 2006-12-14 2007-12-13 METHOD AND APPARATUS FOR DETERMINING THE AUDIO SIGNAL ENCODING MODE AND METHOD AND APPARATUS FOR ENCODING AND / OR DECODING AN AUDIO SIGNAL USING THE ENCODING MODE DETERMINING METHOD AND APPARATUS
PCT/KR2007/006511 WO2008072913A1 (en) 2006-12-14 2007-12-13 Method and apparatus to determine encoding mode of audio signal and method and apparatus to encode and/or decode audio signal using the encoding mode determination method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060127844A KR100964402B1 (ko) 2006-12-14 2006-12-14 오디오 신호의 부호화 모드 결정 방법 및 장치와 이를 이용한 오디오 신호의 부호화/복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080055026A true KR20080055026A (ko) 2008-06-19
KR100964402B1 KR100964402B1 (ko) 2010-06-17

Family

ID=39511882

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060127844A KR100964402B1 (ko) 2006-12-14 2006-12-14 오디오 신호의 부호화 모드 결정 방법 및 장치와 이를 이용한 오디오 신호의 부호화/복호화 방법 및 장치

Country Status (4)

Country Link
US (1) US20080147414A1 (ko)
EP (1) EP2102859A4 (ko)
KR (1) KR100964402B1 (ko)
WO (1) WO2008072913A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150055035A (ko) * 2012-09-18 2015-05-20 후아웨이 테크놀러지 컴퍼니 리미티드 낮은 또는 중간 비트 레이트에 대한 인지 품질에 기반한 오디오 분류
KR20150087226A (ko) * 2012-11-13 2015-07-29 삼성전자주식회사 부호화 모드 결정방법 및 장치, 오디오 부호화방법 및 장치와, 오디오 복호화방법 및 장치
US9355646B2 (en) 2008-07-14 2016-05-31 Samsung Electronics Co., Ltd. Method and apparatus to encode and decode an audio/speech signal

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007331763B2 (en) 2006-12-12 2011-06-30 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Encoder, decoder and methods for encoding and decoding data segments representing a time-domain data stream
KR100883656B1 (ko) * 2006-12-28 2009-02-18 삼성전자주식회사 오디오 신호의 분류 방법 및 장치와 이를 이용한 오디오신호의 부호화/복호화 방법 및 장치
WO2009051404A2 (en) * 2007-10-15 2009-04-23 Lg Electronics Inc. A method and an apparatus for processing a signal
US20090150144A1 (en) * 2007-12-10 2009-06-11 Qnx Software Systems (Wavemakers), Inc. Robust voice detector for receive-side automatic gain control
EP2269188B1 (en) * 2008-03-14 2014-06-11 Dolby Laboratories Licensing Corporation Multimode coding of speech-like and non-speech-like signals
KR20100006492A (ko) * 2008-07-09 2010-01-19 삼성전자주식회사 부호화 방식 결정 방법 및 장치
EP2144231A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing
PL2301011T3 (pl) * 2008-07-11 2019-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sposób i dyskryminator do klasyfikacji różnych segmentów sygnału audio zawierającego segmenty mowy i muzyki
EP2144230A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
KR101381513B1 (ko) 2008-07-14 2014-04-07 광운대학교 산학협력단 음성/음악 통합 신호의 부호화/복호화 장치
KR101261677B1 (ko) 2008-07-14 2013-05-06 광운대학교 산학협력단 음성/음악 통합 신호의 부호화/복호화 장치
US9037474B2 (en) 2008-09-06 2015-05-19 Huawei Technologies Co., Ltd. Method for classifying audio signal into fast signal or slow signal
EP2490214A4 (en) * 2009-10-15 2012-10-24 Huawei Tech Co Ltd METHOD, DEVICE AND SYSTEM FOR SIGNAL PROCESSING
CN102237085B (zh) * 2010-04-26 2013-08-14 华为技术有限公司 音频信号的分类方法及装置
IL205394A (en) * 2010-04-28 2016-09-29 Verint Systems Ltd A system and method for automatically identifying a speech encoding scheme
CA2958360C (en) 2010-07-02 2017-11-14 Dolby International Ab Audio decoder
US9111531B2 (en) * 2012-01-13 2015-08-18 Qualcomm Incorporated Multiple coding mode signal classification
TWI615834B (zh) * 2013-05-31 2018-02-21 Sony Corp 編碼裝置及方法、解碼裝置及方法、以及程式
PT3011561T (pt) 2013-06-21 2017-07-25 Fraunhofer Ges Forschung Aparelho e método para desvanecimento de sinal aperfeiçoado em diferentes domínios durante ocultação de erros
CN104282315B (zh) * 2013-07-02 2017-11-24 华为技术有限公司 音频信号分类处理方法、装置及设备
CN105096958B (zh) 2014-04-29 2017-04-12 华为技术有限公司 音频编码方法及相关装置
FR3020732A1 (fr) * 2014-04-30 2015-11-06 Orange Correction de perte de trame perfectionnee avec information de voisement
CN107424621B (zh) 2014-06-24 2021-10-26 华为技术有限公司 音频编码方法和装置
US9886963B2 (en) * 2015-04-05 2018-02-06 Qualcomm Incorporated Encoder selection
US11166101B2 (en) * 2015-09-03 2021-11-02 Dolby Laboratories Licensing Corporation Audio stick for controlling wireless speakers
KR101728047B1 (ko) 2016-04-27 2017-04-18 삼성전자주식회사 부호화 방식 결정 방법 및 장치
US10504539B2 (en) * 2017-12-05 2019-12-10 Synaptics Incorporated Voice activity detection systems and methods
JP7407580B2 (ja) 2018-12-06 2024-01-04 シナプティクス インコーポレイテッド システム、及び、方法
US11257512B2 (en) 2019-01-07 2022-02-22 Synaptics Incorporated Adaptive spatial VAD and time-frequency mask estimation for highly non-stationary noise sources
US11064294B1 (en) 2020-01-10 2021-07-13 Synaptics Incorporated Multiple-source tracking and voice activity detections for planar microphone arrays
US11823707B2 (en) 2022-01-10 2023-11-21 Synaptics Incorporated Sensitivity mode for an audio spotting system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06332492A (ja) * 1993-05-19 1994-12-02 Matsushita Electric Ind Co Ltd 音声検出方法および検出装置
TW271524B (ko) * 1994-08-05 1996-03-01 Qualcomm Inc
US5778335A (en) * 1996-02-26 1998-07-07 The Regents Of The University Of California Method and apparatus for efficient multiband celp wideband speech and music coding and decoding
US6134518A (en) * 1997-03-04 2000-10-17 International Business Machines Corporation Digital audio signal coding using a CELP coder and a transform coder
DE69926821T2 (de) * 1998-01-22 2007-12-06 Deutsche Telekom Ag Verfahren zur signalgesteuerten Schaltung zwischen verschiedenen Audiokodierungssystemen
JP3273599B2 (ja) * 1998-06-19 2002-04-08 沖電気工業株式会社 音声符号化レート選択器と音声符号化装置
US6604070B1 (en) * 1999-09-22 2003-08-05 Conexant Systems, Inc. System of encoding and decoding speech signals
US6785645B2 (en) 2001-11-29 2004-08-31 Microsoft Corporation Real-time speech and music classifier
US7613606B2 (en) 2003-10-02 2009-11-03 Nokia Corporation Speech codecs
GB0408856D0 (en) * 2004-04-21 2004-05-26 Nokia Corp Signal encoding
US7739120B2 (en) 2004-05-17 2010-06-15 Nokia Corporation Selection of coding models for encoding an audio signal

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9355646B2 (en) 2008-07-14 2016-05-31 Samsung Electronics Co., Ltd. Method and apparatus to encode and decode an audio/speech signal
US9728196B2 (en) 2008-07-14 2017-08-08 Samsung Electronics Co., Ltd. Method and apparatus to encode and decode an audio/speech signal
KR20150055035A (ko) * 2012-09-18 2015-05-20 후아웨이 테크놀러지 컴퍼니 리미티드 낮은 또는 중간 비트 레이트에 대한 인지 품질에 기반한 오디오 분류
US9589570B2 (en) 2012-09-18 2017-03-07 Huawei Technologies Co., Ltd. Audio classification based on perceptual quality for low or medium bit rates
US10283133B2 (en) 2012-09-18 2019-05-07 Huawei Technologies Co., Ltd. Audio classification based on perceptual quality for low or medium bit rates
US11393484B2 (en) 2012-09-18 2022-07-19 Huawei Technologies Co., Ltd. Audio classification based on perceptual quality for low or medium bit rates
KR20150087226A (ko) * 2012-11-13 2015-07-29 삼성전자주식회사 부호화 모드 결정방법 및 장치, 오디오 부호화방법 및 장치와, 오디오 복호화방법 및 장치
KR20220132662A (ko) * 2012-11-13 2022-09-30 삼성전자주식회사 부호화 모드 결정방법 및 장치, 오디오 부호화방법 및 장치와, 오디오 복호화방법 및 장치

Also Published As

Publication number Publication date
WO2008072913A1 (en) 2008-06-19
US20080147414A1 (en) 2008-06-19
KR100964402B1 (ko) 2010-06-17
EP2102859A1 (en) 2009-09-23
EP2102859A4 (en) 2011-09-07

Similar Documents

Publication Publication Date Title
KR100964402B1 (ko) 오디오 신호의 부호화 모드 결정 방법 및 장치와 이를 이용한 오디오 신호의 부호화/복호화 방법 및 장치
KR100883656B1 (ko) 오디오 신호의 분류 방법 및 장치와 이를 이용한 오디오신호의 부호화/복호화 방법 및 장치
TWI441166B (zh) 用以將信號之不同區段分類之方法與鑑別器
US7472059B2 (en) Method and apparatus for robust speech classification
CA2833874C (en) Method of quantizing linear predictive coding coefficients, sound encoding method, method of de-quantizing linear predictive coding coefficients, sound decoding method, and recording medium
KR100711280B1 (ko) 소스 제어되는 가변 비트율 광대역 음성 부호화 방법 및장치
EP1982329B1 (en) Adaptive time and/or frequency-based encoding mode determination apparatus and method of determining encoding mode of the apparatus
KR101116363B1 (ko) 음성신호 분류방법 및 장치, 및 이를 이용한 음성신호부호화방법 및 장치
JP4270866B2 (ja) 非音声のスピーチの高性能の低ビット速度コード化方法および装置
JP4907826B2 (ja) 閉ループのマルチモードの混合領域の線形予測音声コーダ
US20050177364A1 (en) Methods and devices for source controlled variable bit-rate wideband speech coding
KR20080101873A (ko) 부호화/복호화 장치 및 방법
KR20080083719A (ko) 오디오 신호를 부호화하기 위한 부호화 모델들의 선택
KR20020052191A (ko) 음성 분류를 이용한 음성의 가변 비트 속도 켈프 코딩 방법
MXPA04011751A (es) Metodo y dispositivo para ocultamiento de borrado adecuado eficiente en codecs de habla de base predictiva lineal.
WO2008148321A1 (fr) Appareil de codage et de décodage et procédé de traitement du bruit de fond et dispositif de communication utilisant cet appareil
JP2010540990A (ja) 埋め込み話声およびオーディオコーデックにおける変換情報の効率的量子化のための方法および装置
EP2450881A2 (en) Apparatus for encoding and decoding an audio signal using a weighted linear predictive transform, and method for same
Ojala Toll quality variable-rate speech codec
KR100854534B1 (ko) 오디오 코더 모드들 간의 스위칭 지원
Ritz et al. Transcoding of Narrowband to Wideband Speech

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
E801 Decision on dismissal of amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20080827

Effective date: 20100212

S901 Examination by remand of revocation
E902 Notification of reason for refusal
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140529

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150528

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160530

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee