KR102552293B1 - 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치 - Google Patents

신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치 Download PDF

Info

Publication number
KR102552293B1
KR102552293B1 KR1020227036099A KR20227036099A KR102552293B1 KR 102552293 B1 KR102552293 B1 KR 102552293B1 KR 1020227036099 A KR1020227036099 A KR 1020227036099A KR 20227036099 A KR20227036099 A KR 20227036099A KR 102552293 B1 KR102552293 B1 KR 102552293B1
Authority
KR
South Korea
Prior art keywords
signal
current frame
classification result
music
classification
Prior art date
Application number
KR1020227036099A
Other languages
English (en)
Other versions
KR20220148302A (ko
Inventor
주기현
안톤 빅토로비치 포로브
콘스탄틴 새르기비치 오시포브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20220148302A publication Critical patent/KR20220148302A/ko
Application granted granted Critical
Publication of KR102552293B1 publication Critical patent/KR102552293B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • G10L25/81—Detection of presence or absence of voice signals for discriminating voice from music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022—Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G10L19/125—Pitch excitation, e.g. pitch synchronous innovation CELP [PSI-CELP]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

신호 분류방법은 현재 프레임을 음성신호과 음악신호 중 하나로 분류하는 단계, 복수개의 프레임으로부터 얻어지는 특징 파라미터에 근거하여 상기 현재 프레임의 분류결과에 에러가 존재하는지 판단하는 단계, 및 상기 판단결과에 대응하여, 상기 현재 프레임의 분류결과를 수정하는 단계를 포함할 수 있다.

Description

신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치{SIGNAL CLASSIFYING METHOD AND DEVICE, AND AUDIO ENCODING METHOD AND DEVICE USING SAME}
본 발명은 오디오 부호화에 관한 것으로서, 좀 더 구체적으로는 복원음질을 향상시키는 한편 부호화 모드 스위칭으로 인한 딜레이를 줄일 수 있는 신호 분류 방법 및 장치와 이를 이용한 오디오 부호화방법 및 장치에 관한 것이다.
음악신호의 경우 주파수 도메인에서의 부호화가 효율적이고, 음성신호의 경우 시간 도메인에서의 부호화가 효율적임이 널리 알려져 있다. 따라서, 음악신호와 음성신호가 혼합된 오디오 신호에 대하여 음악신호에 해당하는지 음성신호에 해당하는지 분류하고, 분류 결과에 대응하여 부호화 모드를 결정하는 기술이 다양하게 제안되어 있다.
그러나, 빈번한 부호화 모드의 스위칭으로 인하여 딜레이가 발생할 뿐 아니라 복원음질의 열화를 초래하고, 초기 분류 결과를 수정하는 기술이 제안되어 있지 않아, 일차적인 신호 분류에 오류가 존재하는 경우 복원음질의 열화가 발생되는 문제가 있었다.
본 발명의 기술적 과제는 오디오신호의 특성에 적합하도록 부호화 모드를 결정하여 복원음질을 향상시킬 수 있는 신호 분류방법 및 장치와 이를 이용한 오디오 부호화방법 및 장치를 제공하는데 있다.
본 발명의 기술적 과제는 오디오신호의 특성에 적합하도록 부호화 모드를 결정하면서 부호화 모드 스위칭으로 인한 딜레이를 줄일 수 있는 신호 분류 방법 및 장치와 이를 이용한 오디오 부호화방법 및 장치를 제공하는데 있다.
일측면에 따르면, 신호 분류 방법은 현재 프레임을 음성신호과 음악신호 중 하나로 분류하는 단계, 복수개의 프레임으로부터 얻어지는 특징 파라미터에 근거하여 상기 현재 프레임의 분류결과에 에러가 존재하는지 판단하는 단계, 및 상기 판단결과에 대응하여, 상기 현재 프레임의 분류결과를 수정하는 단계를 포함할 수 있다.
일측면에 따르면, 신호 분류 장치는 현재 프레임을 음성신호과 음악신호 중 하나로 분류하고, 복수개의 프레임으로부터 얻어지는 특징 파라미터에 근거하여 상기 현재 프레임의 분류결과에 에러가 존재하는지 판단하고, 상기 판단결과에 대응하여, 상기 현재 프레임의 분류결과를 수정하도록 구성된 적어도 하나의 프로세서를 포함할 수 있다.
일측면에 따르면 오디오 부호화방법은 현재 프레임을 음성신호과 음악신호 중 하나로 분류하는 단계, 복수개의 프레임으로부터 얻어지는 특징 파라미터에 근거하여 상기 현재 프레임의 분류결과에 에러가 존재하는지 판단하는 단계, 상기 판단결과에 대응하여, 상기 현재 프레임의 분류결과를 수정하는 단계, 및 상기 현재 프레임의 분류 결과 혹은 수정된 분류 결과에 근거하여 상기 현재 프레임을 부호화하는 단계를 포함할 수 있다.
일측면에 따르면 오디오 부호화장치는 현재 프레임을 음성신호과 음악신호 중 하나로 분류하고, 복수개의 프레임으로부터 얻어지는 특징 파라미터에 근거하여 상기 현재 프레임의 분류결과에 에러가 존재하는지 판단하고, 상기 판단결과에 대응하여, 상기 현재 프레임의 분류결과를 수정하고, 상기 현재 프레임의 분류 결과 혹은 수정된 분류 결과에 근거하여 상기 현재 프레임을 부호화하도록 구성된 적어도 하나의 프로세서를 포함할 수 있다.
오디오 신호의 초기 분류 결과를 수정 파라미터에 근거하여 수정함으로써, 오디오 신호의 특성에 최적인 부호화 모드를 결정하면서도 프레임간 빈번한 부호화 모드의 스위칭을 방지할 수 있다.
도 1은 일실시예에 따른 오디오 신호 분류장치의 구성을 나타낸 블록도이다.
도 2는 다른 실시예에 따른 오디오 신호 분류장치의 구성을 나타낸 블록도이다.
도 3은 일실시예에 따른 오디오 부호화장치의 구성을 나타낸 블록도이다.
도 4는 일실시예에 따른 CELP 코어에서 신호 분류 수정방법을 설명하는 흐름도이다.
도 5는 일실시예에 따른 HQ 코어에서 신호 분류 수정방법을 설명하는 흐름도이다.
도 6은 일실시예에 따른 CELP 코어에서 컨텍스트 기반 신호 분류 수정을 위한 상태 머쉰을 나타낸다.
도 7은 일실시예에 따른 HQ 코어에서 컨텍스트 기반 신호 분류 수정을 위한 상태 머쉰을 나타낸다.
도 8은 일실시예에 따른 부호화모드 결정장치의 구성을 나타낸 블록도이다.
도 9는 일실시예에 따른 오디오 신호 분류방법을 설명하는 흐름도이다.
도 10는 일실시예에 따른 멀티미디어 기기의 구성을 나타낸 블록도이다.
도 11는 다른 실시예에 따른 멀티미디어 기기의 구성을 나타낸 블록도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명하기로 한다. 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다.
어떤 구성요소가 다른 구성요소에 연결되어 있다거나 접속되어 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다.
실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 각 구성부는 설명의 편의상 각각의 구성부로 나열한 것으로, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있다.
도 1은 일실시예에 따른 오디오 신호 분류장치의 구성을 나타낸 블록도이다.
도 1에 도시된 오디오 신호 분류장치(100)는 신호 분류부(110)와 수정부(130)을 포함할 수 있다. 여기서, 각 구성요소는 별도의 하드웨어로 구현되어야 할 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다. 여기서, 오디오 신호는 음악 신호 혹은 음성 신호, 혹은 음악과 음성의 혼합신호를 의미할 수 있다.
도 1을 참조하면, 신호 분류부(110)은 다양한 초기 분류 파라미터에 근거하여 오디오신호가 음악 신호에 해당하는지 음성 신호에 해당하는지 분류할 수 있다. 오디오 신호 분류과정은 적어도 하나 이상의 단계를 포함할 수 있다. 일실시예에 따르면, 현재 프레임과 복수개의 이전 프레임의 신호 특성에 근거하여 오디오 신호를 음성 신호 혹은 음악 신호로 분류할 수 있다. 신호 특성은 단구간 특성과 장구간 특성 중 적어도 하나를 포함할 수 있다. 또한, 신호 특성은 시간 도메인 특성과 주파수 도메인 특성 중 적어도 하나를 포함할 수 있다. 여기서, 음성 신호로 분류되면, CELP(Code Excited Linear Prediction) 타입 코더를 이용하여 부호화될 수 있다. 한편, 음악 신호로 분류되면 트랜스폼 코더를 이용하여 부호화될 수 있다. 여기서, 트랜스폼 코더의 일예로는 MDCT(Modified Discrete Cosine Transform) 코더를 들 수 있으나 이에 한정되는 것은 아니다.
다른 실시예에 따르면, 오디오 신호 분류과정은 오디오 신호가 음성 특성을 갖는지 여부에 따라서 오디오 신호를 음성 신호와 일반적인 오디오 신호(generic audio signal) 즉, 음악 신호로 분류하는 제1 단계와 일반 오디오 신호가 GSC(Generic Signal audio Coder)에 적합한지를 판단하기 위한 제2 단계를 포함할 수 있다. 제1 단계의 분류결과와 제2 단계의 분류결과를 조합하여 오디오 신호가 음성신호로 분류될 수 있는지 음악신호로 분류될 수 있는지를 결정할 수 있다. 음성 신호로 분류되면 CELP 타입 코더로 부호화될 수 있다. CELP 타입 코더는 비트율 혹은 신호특성에 따라서 무성음 부호화(Unvoiced Coding; UC) 모드, 유성음 부호화(Voiced Coding; VC) 모드, 트랜지언트 부호화(Transition Coding; TC) 모드, 일반 부호화(Generic Coding; GC) 모드 중 복수개를 포함할 수 있다. 한편, GSC(Generic Signal audio Coding) 모드는 별도의 코더로 구현되거나 CELP 타입 코더의 하나의 모드로 포함될 수 있다. 음악 신호로 분류되면 트랜스폼 코더 혹은 CELP/트랜스폼 하이브리드 코더 중 하나를 이용하여 부호화될 수 있다. 세부적으로 트랜스폼 코더는 음악신호에, CELP/트랜스폼 하이브리드 코더는 음성신호가 아닌 비음악(non-music) 신호 혹은 음악과 음성이 혼합된 신호(mixed signal)에 적용될 수 있다. 일실시예에 따르면, 대역폭에 따라서 CELP 타입 코더, CELP/트랜스폼 하이브리드 코더와 트랜스폼 코더 모두가 사용되거나, CELP 타입 코더와 트랜스폼 코더가 사용될 수 있다. 예를 들어, 협대역(NB)인 경우 CELP 타입 코더와 트랜스폼 코더가 사용되고, 광대역(WB), 초광대역(SWB), 전대역(FB)의 경우 CELP 타입 코더, CELP/트랜스폼 하이브리드 코더와 트랜스폼 코더가 사용될 수 있다. CELP/트랜스폼 하이브리드 코더는 시간 도메인에서 동작하는 LP 기반 코더와 트랜스폼 도메인 코더를 결합한 것으로서, GSC(Generic Signal audio Coder)라고도 한다.
제1 단계의 신호 분류는 GMM(Gaussian Mixture Model)에 근거할 수 있다. GMM을 위하여 다양한 신호 특성이 사용될 수 있다. 신호 특성의 예로는, 오픈 루프 피치, 정규화된 상관도, 스펙트럼 엔벨로프, 토널 안정도, 신호의 넌-스테이셔너리티, LP 레지듈 에러, 스펙트럼 차이값, 스펙트럼 스테이셔너리티 등과 같은 특성을 들 수 있으나, 이에 한정되는 것은 아니다. 제2 단계의 신호 분류를 위하여 사용되는 신호 특성의 예로는 스펙트럼 에너지 변동 특성, LP 분석 레지듈 에너지의 틸트 특성, 고대역 스펙트럼 피키니스 특성, 상관도 특성, 보이싱 특성, 토널 특성 등을 들 수 있으나, 이에 한정되는 것은 아니다. 제1 단계에서 사용되는 특성은 CELP 타입 코더로 부호화하는 것이 적합한지를 판단하기 위하여 음성 특성인지 비음성 특성인지를 판단하기 위한 것이고, 제2 단계에서 사용되는 특성은 GSC로 부호화하는 것이 적합한지를 판단하기 위하여 음악 특성인지 비음악 특성인지를 판단하기 위한 것일 수 있다. 예를 들어, 제1 단계에서 음악 신호로 분류된 한 세트의 프레임들은 제2 단계에서 음성 신호로 전환되어 CELP 모드들 중 하나로 부호화될 수 있다. 즉, 큰 피치 주기 및 높은 안정도를 가지면서 상관도가 큰 신호 혹은 어택신호인 경우 제2 단계에서 음악 신호로부터 음성 신호로 전환될 수 있다. 이와 같은 신호 분류 결과에 따라서 부호화모드가 변경될 수 있다.
수정부(130)는 신호 분류부(110)의 분류 결과를 적어도 하나의 수정 파라미터에 근거하여 수정하거나 유지할 수 있다. 수정부(130)는 컨텍스트에 기반하여 신호 분류부(110)의 분류 결과를 수정하거나 유지할 수 있다. 예를 들어, 현재 프레임이 음성 신호로 분류된 경우 음악 신호로 수정되거나 음성 신호로 유지될 수 있고, 현재 프레임이 음악 신호로 분류된 경우 음성 신호로 수정되거나 음악 신호로 유지될 수 있다. 현재 프레임의 분류 결과에 에러가 존재하는지를 판단하기 위하여 현재 프레임을 포함하는 복수개의 프레임들의 특성이 사용될 수 있다. 예를 들면, 8개의 프레임이 사용될 수 있으나, 이에 한정되는 것은 아니다.
수정 파라미터의 예로는 토널러티, 선형예측에러, 보이싱, 상관도 등과 같은 특성 중 적어도 하나를 조합하여 사용될 수 있다. 여기서, 토널러티는 1~2 kHz 영역의 토널러티(ton2)과 2~4 kHz 영역의 토널러티(ton3)을 포함할 수 있으며, 각각 다음 수학식 1 및 2로 정의될 수 있다.
Figure 112022109285575-pat00001
Figure 112022109285575-pat00002
여기서, 위첨자(superscript) [-i]는 이전 프레임을 나타낸다. 예를 들어, tonality2[-1]는 1 프레임 이전 프레임의 1~2 kHz 영역의 토널러티를 나타낸다.
한편, 저대역의 장구간 토널러티 tonLT는 tonLT = 0.2 * log10[lt_tonality]와 같이 정의될 수 있다. 여기서, lt_tonality은 전대역의 장구간 토널리티를 나타낼 수 있다.
한편, n 프레임에서 1~2 kHz 영역의 토널러티(ton2)과 2~4 kHz 영역의 토널러티(ton3)간의 차이 dft는 dft = 0.2 * {log10(tonality2(n))-log10(tonality3(n)))와 같이 정의될 수 있다.
다음, 선형예측에러 LPerr은 다음 수학식 3으로 정의될 수 있다.
Figure 112022109285575-pat00003
여기서, FVs(9)는 FVs(i) = sfaiFVi + sfbi (여기서, i = 0, ..., 11)에 의해 정의되며, 신호 분류부(110,210)에서 사용되는 특징 파라미터 중 다음 수학식 4로 정의되는 LP 레지듈 로그-에너지 비율 특징 파라미터를 스케일링한 값에 해당하는 것이다. 여기서, sfai, sfbi는 특징 파라미터의 종류 및 대역폭에 따라서 달라질 수 있으며, 각 특징 파라미터를 [0;1] 범위로 근사화하기 위하여 사용된다.
Figure 112022109285575-pat00004
여기서, E(1)는 첫번째 LP 계수의 에너지, E(13)은 13번째 LP 계수의 에너지를 나타낸다.
다음, 신호 분류부(110,210)에서 사용되는 특징 파라미터 중 하기 수학식 5에 의해 정의되는 정규화된 상관도 특징 혹은 보이싱 특징 FV1을 FVs(i) = sfaiFVi + sfbi (여기서, i = 0, ..., 11)에 근거하여 스케일링한 값 FVs(1)과 다음 수학식 6으로 정의되는 상관도 맵 특징 FV(7)을 FVs(i) = sfaiFVi + sfbi (여기서, i = 0, ..., 11)에 근거하여 스케일링한 값 FVs(7) 간의 차이 dvcor는 dvcor = max(FVs(1)-FVs(7),0)로 정의될 수 있다.
Figure 112022109285575-pat00005
여기서,
Figure 112022109285575-pat00006
은 첫번째 혹은 두번째 하프 프레임에서의 정규화된 상관도를 나타낸다.
Figure 112022109285575-pat00007
여기서, Mcor은 프레임의 상관도 맵을 나타낸다.
상기 복수개의 특징 파라미터를 조합하거나 단일한 특징 파라미터를 이용하여 다음 조건 1 내지 조건 4 중 적어도 하나 이상을 포함하는 수정 파라미터를 생성할 수 있다. 여기서, 조건 1과 조건 2은 음성 상태(SPEECH_STATE)를 변경할 수 있는 조건을 의미하며, 조건 3과 조건 4는 음악 상태(MUSIC_STATE)를 변경할 수 있는 조건을 의미할 수 있다. 구체적으로, 조건 1은 음성 상태(SPEECH_STATE)를 0에서 1로 변경할 수 있고, 조건 2는 음성 상태(SPEECH_STATE)를 1에서 0으로 변경할 수 있다. 한편, 조건 3은 음악 상태(MUSIC_STATE)를 0에서 1로 변경할 수 있고, 조건 4는 음악 상태(MUSIC_STATE)를 1에서 0으로 변경할 수 있다. 음성 상태(SPEECH_STATE)가 1이면 음성일 확률이 높음 즉, CELP 타입 코딩이 적합함을 의미하고 0이면 음성이 아닐 확률이 높음을 의미할 수 있다. 음악 상태(MUSIC_STATE)가 1이면 트랜스폼 코딩에 적합함을 의미하고, 0이면 CELP/트랜스폼 하이브리드 코딩 즉, GSC에 적합함을 의미할 수 있다. 다른 예로서, 음악 상태(MUSIC_STATE)가 1이면 트랜스폼 코딩에 적합함을 의미하고, 0이면 CELP 타입 코딩에 적합함을 의미할 수 있다.
조건 1(fA)은 예를 들어 다음과 같이 정의될 수 있다. 즉, dvcor > 0.4 AND dft < 0.1 AND FVs(1) > (2*FVs(7)+0.12) AND ton2 < dvcor AND ton3 < dvcor AND tonLT < dvcor AND FVs(7) < dvcor AND FVs(1) > dvcor AND FVs(1) > 0.76이면, fA 는 1로 설정될 수 있다.
조건 2(fB)은 예를 들어 다음과 같이 정의될 수 있다. 즉, dvcor < 0.4이면, fB 는 1로 설정될 수 있다.
조건 3(fC)은 예를 들어 다음과 같이 정의될 수 있다. 즉, 0.26 < ton2 < 0.54 AND ton3 > 0.22 AND 0.26 < tonLT < 0.54 AND LPerr > 0.5이면, fC 는 1로 설정될 수 있다.
조건 4(fD)은 예를 들어 다음과 같이 정의될 수 있다. 즉, ton2 < 0.34 AND ton3 < 0.26 AND 0.26 < tonLT < 0.45이면, fD 는 1로 설정될 수 있다.
각 조건을 생성하기 위하여 사용된 특징 혹은 특징들의 조합은 이에 한정되지 않는다. 또한, 각 상수값은 예시적인 것에 불과하며 구현 방식에 따라서 최적값으로 설정될 수 있다.
구체적으로, 수정부(130)는 두개의 독립적인 상태 머쉰, 예를 들면 음성 상태 머쉰과 음악 상태 머쉰을 이용하여 초기 분류 결과에 존재하는 에러를 정정할 수 있다. 각 상태 머쉰은 두개의 상태를 가지며, 각 상태에서 행오버가 사용되어 빈번한 트랜지션을 방지할 수 있다. 행오버는 예를 들어 6개 프레임으로 구성될 수 있다. 음성 상태 머쉰에서 행오버 변수를 hangsp로, 음악 상태 머쉰에서 행오버 변수를 hangmus로 나타내는 경우, 주어진 상태에서 분류 결과에 변화가 있는 경우, 각각 6으로 초기화되고, 이후 행오버가 각 다음 프레임에 대하여 1씩 감소하게 된다. 상태 변화는 행오버가 제로로 감소되는 경우에만 발생할 수 있다. 각 상태 머쉰에는 오디오 신호로부터 추출되는 적어도 하나 이상의 특징이 조합되어 생성되는 수정 파라미터가 사용될 수 있다.
도 2는 다른 실시예에 따른 오디오 신호 분류장치의 구성을 나타낸 블록도이다.
도 2에 도시된 오디오 신호 분류장치(200)는 신호 분류부(210), 수정부(230) 및 세부 분류부(fine classifier, 250)를 포함할 수 있다. 도 1의 오디오 신호 분류장치(100)와의 차이점은 세부 분류부(fine classifier, 250)를 더 포함하는데 있고, 신호 분류부(210)와 수정부(230)의 기능은 도 1에서와 동일하므로 그 세부적인 설명은 생략하기로 한다.
도 2를 참조하면, 세부 분류부(250)는 수정부(230)에서 수정되거나 유지된 분류결과에 대하여 세부 분류 파라미터에 근거하여 세부적으로 분류할 수 있다. 일실시예에 따르면, 세부 분류부(250)는 음악 신호로 분류된 오디오 신호가 CELP/트랜스폼 하이브리드 코더 즉 GSC로 부호화하는 것이 적합한지를 판단하여 수정하기 위한 것이다. 이때, 수정 방법으로는 특정 파라미터 혹은 플래그를 변경하여 트랜스폼 코더가 선택되지 않도록 한다. 세부 분류부(250)는 수정부(230)에서 출력되는 분류결과가 음악 신호인 경우 세부 분류를 수행하여 재차 음악 신호인지 음성 신호인지를 분류할 수 있다. 세부 분류부(250)의 분류결과가 음악 신호인 경우 제2 부호화모드로서 트랜스폼 코더를 그대로 이용하여 부호화할 수 있고, 세부 분류부(250)의 분류결과가 음성 신호인 경우 제3 부호화모드로서 CELP/트랜스폼 하이브리드 코더를 이용하여 부호화할 수 있다. 한편, 수정부(230)에서 출력되는 분류결과가 음성 신호인 경우 제1 부호화모드로서 CELP 타입 코더를 이용하여 부호화할 수 있다. 세부 분류 파라미터의 일예로는 토널러티, 보이싱, 상관도, 피치 이득, 피치 차이 등과 같은 특징을 포함할 수 있으나, 이에 한정되는 것은 아니다.
도 3은 일실시예에 따른 오디오 부호화장치의 구성을 나타낸 블록도이다.
도 3에 도시된 오디오 부호화장치(300)는 부호화모드 결정부(310)와 부호화모듈(330)를 포함할 수 있다. 부호화모드 결정부(310)는 도 1의 오디오신호 분류장치(100) 혹은 도 2의 오디오신호 분류장치(200)의 구성요소를 포함할 수 있다. 부호화모듈(330)은 제1 내지 제3 부호화부(331,333,335)를 포함할 수 있다. 여기서, 제1 부호화부(331)는 CELP 타입 코더, 제2 부호화부(333)는 CELP/트랜스폼 하이브리도 코더, 제3 부호화부(335)는 트랜스폼 코더에 해당할 수 있다. 한편, GSC가 CELP 타입 코더의 하나의 모드로 구현시 부호화모듈(330)은 제1 및 제3 부호화부(331,335)를 포함할 수 있다. 부호화모듈(330) 및 제1 부호화부(331)은 비트율 혹은 대역폭에 따라서 다양한 구성(configuration)을 가질 수 있다.
도 3을 참조하면, 부호화모드 결정부(310)는 신호 특성에 근거하여 오디오신호가 음악 신호인지 음성 신호인지를 분류하고, 분류결과에 대응하여 부호화모드를 결정할 수 있다. 부호화모드는 슈퍼프레임 단위, 프레임 단위, 혹은 밴드 단위로 수행될 수 있다. 또한, 부호화모드는 복수의 슈퍼프레임 그룹, 복수의 프레임 그룹, 복수의 밴드 그룹 단위로 수행될 수 있다. 여기서, 부호화모드의 예로는 트랜스폼 도메인 모드과 선형예측 도메인 모드의 두가지가 있을 수 있으나, 이에 한정되는 것은 아니다. 선형예측 도메인 모드는 UC, VC, TC, GC 모드를 포함할 수 있다. 한편, GSC 모드는 별도의 부호화모드로 분류되거나, 선형예측 도메인 모드의 세부 모드로 포함될 수 있다. 프로세서의 성능 및 처리속도 등이 지원되고, 부호화모드 스위칭에 따른 딜레이가 해결될 수 있는 경우, 부호화모드를 좀 더 세분화시킬 수 있으며, 부호화모드에 대응하여 부호화방식도 세분화시킬 수 있다. 구체적으로, 부호화모드 결정부(310)는 초기 분류 파라미터에 근거하여 오디오신호를 음악 신호와 음성 신호 중 하나로 분류할 수 있다. 부호화모드 결정부(310)는 수정 파라미터에 근거하여 음악 신호인 분류결과를 음성 신호로 수정하거나 그대로 유지하거나, 음성 신호인 분류결과를 음악 신호로 수정하거나 그대로 유지할 수 있다. 부호화모드 결정부(310)는 수정되거나 유지된 분류결과, 예를 들면 음악 신호인 분류결과에 대하여 세부 분류 파라미터에 근거하여 음악 신호와 음성 신호 중 하나로 분류할 수 있다. 부호화모드 결정부(310)는 최종 분류 결과를 이용하여 부호화모드들 결정할 수 있다. 일실시예에 따르면, 부호화모드 결정부(310)는 비트율과 대역폭 중 적어도 하나에 근거하여 부호화모드를 결정할 수 있다.
부호화모듈(330)에서 제1 부호화부(331)는 수정부(130,230)의 분류결과가 음성 신호에 해당하는 경우 동작될 수 있다. 제2 부호화부(333)는 수정부(130)의 분류결과가 음악 신호에 해당하거나 세부 분류부(350)의 분류결과가 음성신호에 해당하는 경우 동작될 수 있다. 제3 부호화부(335)는 수정부(130)의 분류결과가 음악 신호에 해당하거나 세부 분류부(350)의 분류결과가 음악신호에 해당하는 경우 동작될 수 있다.
도 4는 일실시예에 따른 CELP 코어에서 신호 분류 수정방법을 설명하는 흐름도로서, 도 1 혹은 도 2의 수정부(130,230)에서 수행될 수 있다.
도 4를 참조하면, 410 단계에서는 수정 파라미터, 예를 들면 조건 1 및 조건 2를 수신할 수 있다. 또한, 410 단계에서는 음성 상태 머쉰의 행오버 정보를 수신할 수 있다. 또한, 410 단계에서는 초기 분류 결과를 수신할 수 있다. 초기 분류 결과는 도 1 혹은 도 2의 신호 분류부(110,210)로부터 제공될 수 있다.
420 단계에서는 초기 분류 결과 즉, 음성 상태가 0이면서 조건 1(fA)이 1이고 음성 상태 머쉰의 행오버(hangsp)가 0인지를 판단할 수 있다. 420 단계에서 음성 상태가 0이면서 조건 1이 1이고 음성 상태 머쉰의 행오버(hangsp)가 0인 것으로 판단된 경우, 430 단계에서 음성 상태를 1로 변경하고 행오버(hangsp)을 6으로 초기화시킬 수 있다. 초기화된 행오버값을 460 단계로 제공될 수 있다. 한편, 420 단계에서 음성 상태가 0이 아니거나 조건 1이 1이 아니거나 음성 상태 머쉰의 행오버(hangsp)가 0이 아닌 경우 440 단계로 이행할 수 있다.
440 단계에서는 초기 분류 결과 즉, 음성 상태가 1이면서 조건 2(fB)가 1이고 음성 상태 머쉰의 행오버(hangsp)가 0인지를 판단할 수 있다. 440 단계에서 음성 상태가 1이면서 조건 2가 1이고 음성 상태 머쉰의 행오버(hangsp)가 0인 것으로 판단된 경우, 450 단계에서 음성 상태를 0으로 변경하고 행오버(hangsp)을 6으로 초기화시킬 수 있다. 초기화된 행오버값을 460 단계로 제공될 수 있다. 한편, 440 단계에서 음성 상태가 1이 아니거나 조건 2가 1이 아니거나 음성 상태 머쉰의 행오버(hangsp)가 0이 아닌 경우 460 단계로 이행하여 행오버를 1만큼 감소시키는 행오버 업데이트를 수행할 수 있다.
도 5는 일실시예에 따른 HQ 코어에서 신호 분류 수정방법을 설명하는 흐름도로서, 도 1 혹은 도 2의 수정부(130,230)에서 수행될 수 있다.
도 5를 참조하면, 510 단계에서는 수정 파라미터, 예를 들면 조건 3 및 조건 4를 수신할 수 있다. 또한, 510 단계에서는 음악 상태 머쉰의 행오버 정보를 수신할 수 있다. 또한, 510 단계에서는 초기 분류 결과를 수신할 수 있다. 초기 분류 결과는 도 1 혹은 도 2의 신호 분류부(110,210)로부터 제공될 수 있다.
520 단계에서는 초기 분류 결과 즉, 음악 상태가 1이면서 조건 3(fC)이 1이고 음악 상태 머쉰의 행오버(hangmus)가 0인지를 판단할 수 있다. 520 단계에서 음악 상태가 1이면서 조건 3이 1이고 음악 상태 머쉰의 행오버(hangnus)가 0인 것으로 판단된 경우, 530 단계에서 음악 상태를 0으로 변경하고 행오버(hangmus)을 6으로 초기화시킬 수 있다. 초기화된 행오버값을 560 단계로 제공될 수 있다. 한편, 520 단계에서 음악 상태가 1이 아니거나 조건 3이 1이 아니거나 음악 상태 머쉰의 행오버(hangmus)가 0이 아닌 경우 540 단계로 이행할 수 있다.
540 단계에서는 초기 분류 결과 즉, 음악 상태가 0이면서 조건 4(fD)가 1이고 음악 상태 머쉰의 행오버(hangmus)가 0인지를 판단할 수 있다. 540 단계에서 음악 상태가 0이면서 조건 4가 1이고 음악 상태 머쉰의 행오버(hangmus)가 0인 것으로 판단된 경우, 550 단계에서 음악 상태를 1로 변경하고 행오버(hangmus)을 6으로 초기화시킬 수 있다. 초기화된 행오버값을 560 단계로 제공될 수 있다. 한편, 540 단계에서 음악 상태가 0이 아니거나 조건 4가 1이 아니거나 음악 상태 머쉰의 행오버(hangmus)가 0이 아닌 경우 560 단계로 이행하여 행오버를 1만큼 감소시키는 행오버 업데이트를 수행할 수 있다.
도 6은 일실시예에 따른 CELP 코어에 적합한 상태 즉, 음성 상태에서 컨텍스트 기반 신호 분류 수정을 위한 상태 머쉰을 나타내는 것으로서, 도 4에 대응될 수 있다.
도 6에 따르면, 수정부(도 1의 130,230)에서는 음악 상태 머쉰에서 결정되는 음악 상태와 음성 상태 머쉰에서 결정되는 음성 상태에 따라서 분류 결과에 대한 수정(corection)이 적용될 수 있다. 예를 들어, 초기 분류 결과가 음악 신호로 설정된 경우, 수정 파라미터에 근거하여 음성 신호로 변경할 수 있다. 구체적으로, 초기 분류 결과 중 제1 단계의 분류결과가 음악 신호이고 음성 상태가 1이 된 경우, 제1 단계의 분류결과와 제2 단계의 분류결과 모두를 음성 신호로 변경할 수 있다. 이러한 경우, 초기 분류 결과에 에러가 존재하는 것으로 판단되어 분류 결과에 대한 수정이 이루어질 수 있다.
도 7은 일실시예에 따른 HQ(High Quality) 코어에 적합한 상태 즉, 음악 상태에서 컨텍스트 기반 신호 분류 수정을 위한 상태 머쉰을 나타내는 것으로서, 도 5에 대응될 수 있다.
도 7에 따르면, 수정부(도 1의 130,230)에서는 음악 상태 머쉰에서 결정되는 음악 상태와 음성 상태 머쉰에서 결정되는 음성 상태에 따라서 분류 결과에 대한 수정(corection)이 적용될 수 있다. 예를 들어, 초기 분류 결과가 음성 신호로 설정된 경우, 수정 파라미터에 근거하여 음악 신호로 변경할 수 있다. 구체적으로, 초기 분류 결과 중 제1 단계의 분류결과가 음성 신호이고 음악 상태가 1이 된 경우, 제1 단계의 분류결과와 제2 단계의 분류결과 모두를 음악 신호로 변경할 수 있다. 한편, 초기 분류 결과가 음악신호로 설정된 경우, 수정 파라미터에 근거하여 음성신호로 변경할 수 있다. 이러한 경우, 초기 분류 결과에 에러가 존재하는 것으로 판단되어 분류 결과에 대한 수정이 이루어질 수 있다.
도 8은 일실시예에 따른 부호화모드 결정장치의 구성을 나타낸 블록도이다.
도 8에 도시된 부호화모드 결정장치는 초기 부호화모드 결정부(810)와 수정부(830)를 포함할 수 있다.
도 8을 참조하면, 초기 부호화모드 결정부(810)는 오디오 신호가 음성 특성을 갖는지를 판단하고, 음성 특성을 갖는 경우 제1 부호화모드를 초기 부호화모드로 결정할 수 있다. 제1 부호화모드인 경우 오디오 신호를 CELP 타입 코더로 부호화할 수 있다. 초기 부호화모드 결정부(810)는 오디오 신호가 음성 특성을 갖지 않는 경우, 제2 부호화모드를 초기 부호화모드로 결정할 수 있다. 제2 부호화모드인 경우 오디오 신호를 트랜스폼 코더로 부호화할 수 있다. 한편, 초기 부호화모드 결정부(810)는 오디오 신호가 음성 특성을 갖지 않는 경우, 비트율에 따라서 제2 부호화모드와 제3 부호화모드 중 하나를 초기 부호화모드로 결정할 수 있다. 여기서, 제3 부호화모드인 경우 오디오 신호를 CELP/트랜스폼 하이브리드 코더로 부호화할 수 있다. 일실시예에 따르면, 초기 부호화모드 결정부(810)는 쓰리 웨이(3-way) 방식을 사용할 수 있다.
수정부(830)는 초기 부호화모드가 제1 부호화모드로 결정된 경우, 수정 파라미터에 근거하여 제2 부호화모드로 수정할 수 있다. 예를 들어, 초기 분류 결과가 음성 신호이지만 음악 특성을 갖는 경우, 초기 분류 결과를 음악 신호로 수정할 수 있다. 한편, 수정부(830)는 초기 부호화모드가 제2 부호화모드로 결정된 경우, 수정 파라미터에 근거하여 제1 부호화모드 혹은 제3 부호화모드로 수정할 수 있다. 예를 들어, 초기 분류 결과가 음악 신호이지만 음성 특성을 갖는 경우, 초기 분류 결과를 음성 신호로 수정할 수 있다.
도 9는 일실시예에 따른 오디오 신호 분류방법을 설명하는 흐름도이다.
도 9를 참조하면, 910 단계에서는 오디오신호를 음악신호 혹은 음성신호 중 하나로 분류할 수 있다. 구체적으로, 910 단계에서는 신호 특성에 근거하여 현재 프레임이 음악신호에 해당하는지 음성신호에 해당하는지 분류할 수 있다. 910 단계는 도 1 혹은 도 2의 신호분류부(110,210)에서 수행될 수 있다.
930 단계에서는 수정 파라미터에 근거하여 910 단계에서의 분류 결과에 에러가 존재하는지를 판단할 수 있다. 950 단계에서는 930 단계에서 분류 결과에 에러가 존재하는 것으로 판단된 경우, 분류 결과를 수정할 수 있다. 한편, 970 단계에서는 930 단계에서 분류 결과에 에러가 존재하지 않는 것으로 판단된 경우, 분류 결과를 그대로 유지할 수 있다. 930 내지 970 단계는 도 1 혹은 도 2의 수정부(130,230)에서 수행될 수 있다.
도 10는 일실시예에 따른 멀티미디어 기기의 구성을 나타낸 블록도이다.
도 10에 도시된 멀티미디어 기기(1000)는 통신부(1010)와 부호화모듈(1030)을 포함할 수 있다. 또한, 부호화 결과 얻어지는 오디오 비트스트림의 용도에 따라서, 오디오 비트스트림을 저장하는 저장부(1050)을 더 포함할 수 있다. 또한, 멀티미디어 기기(1000)는 마이크로폰(1070)을 더 포함할 수 있다. 즉, 저장부(1050)와 마이크로폰(1070)은 옵션으로 구비될 수 있다. 한편, 도 28에 도시된 멀티미디어 기기(1000)는 임의의 복호화모듈(미도시), 예를 들면 일반적인 복호화 기능을 수행하는 복호화모듈 혹은 본 발명의 일실시예에 따른 복호화모듈을 더 포함할 수 있다. 여기서, 부호화모듈(1030)은 멀티미디어 기기(1000)에 구비되는 다른 구성요소(미도시)와 함께 일체화되어 적어도 하나 이상의 프로세서(미도시)로 구현될 수 있다.
도 10을 참조하면, 통신부(1010)는 외부로부터 제공되는 오디오와 부호화된 비트스트림 중 적어도 하나를 수신하거나, 복원된 오디오와 부호화모듈(1030)의 부호화결과 얻어지는 오디오 비트스트림 중 적어도 하나를 송신할 수 있다.
통신부(1010)는 무선 인터넷, 무선 인트라넷, 무선 전화망, 무선 랜(LAN), 와이파이(Wi-Fi), 와이파이 다이렉트(WFD, Wi-Fi Direct), 3G(Generation), 4G(4 Generation), 블루투스(Bluetooth), 적외선 통신(IrDA, Infrared Data Association), RFID(Radio Frequency Identification), UWB(Ultra WideBand), 지그비(Zigbee), NFC(Near Field Communication)와 같은 무선 네트워크 또는 유선 전화망, 유선 인터넷과 같은 유선 네트워크를 통해 외부의 멀티미디어 기기 혹은 서버와 데이터를 송수신할 수 있도록 구성된다.
부호화모듈(1030)은 일실시예에 따르면, 통신부(1010) 혹은 마이크로폰(1050)을 통하여 제공되는 시간 도메인의 오디오 신호에 대하여 부호화를 수행할 수 있다. 부호화처리는 도 1 내지 도 9에 도시된 장치 혹은 방법을 이용하여 구현될 수 있다.
저장부(1050)는 멀티미디어 기기(1000)의 운용에 필요한 다양한 프로그램을 저장할 수 있다.
마이크로폰(1070)은 사용자 혹은 외부의 오디오신호를 부호화모듈(1030)로 제공할 수 있다.
도 11는 다른 실시예에 따른 멀티미디어 기기의 구성을 나타낸 블록도이다.
도 11에 도시된 멀티미디어 기기(1100)는 통신부(1110), 부호화모듈(1120)과 복호화모듈(1130)을 포함할 수 있다. 또한, 부호화 결과 얻어지는 오디오 비트스트림 혹은 복호화 결과 얻어지는 복원된 오디오신호의 용도에 따라서, 오디오 비트스트림 혹은 복원된 오디오신호를 저장하는 저장부(1140)을 더 포함할 수 있다. 또한, 멀티미디어 기기(1100)는 마이크로폰(1150) 혹은 스피커(1160)를 더 포함할 수 있다. 여기서, 부호화모듈(1120)과 복호화모듈(1130)은 멀티미디어 기기(1100)에 구비되는 다른 구성요소(미도시)와 함께 일체화되어 적어도 하나 이상의 프로세서(미도시)로 구현될 수 있다.
도 11에 도시된 각 구성요소 중 도 10에 도시된 멀티미디어 기기(1000)와 중복되는 구성요소에 대해서는 그 상세한 설명은 생략하기로 한다.
복호화 모듈(1130)은 일실시예에 따르면, 통신부(1110)를 통하여 제공되는 비트스트림을 수신하고, 비트스트림에 포함된 오디오 스펙트럼에 대하여 복호화를 수행할 수 있다. 복호화모듈(1130)은 도 3의 부호화모듈(330)에 대응하여 구현될 수 있다.
스피커(1170)는 복호화 모듈(1130)에서 생성되는 복원된 오디오신호를 외부로 출력할 수 있다.
도 10 및 도 11에 도시된 멀티미디어 기기(1000, 1100)에는, 전화, 모바일 폰 등을 포함하는 음성통신 전용단말, TV, MP3 플레이어 등을 포함하는 방송 혹은 음악 전용장치, 혹은 음성통신 전용단말과 방송 혹은 음악 전용장치의 융합 단말장치가 포함될 수 있으나, 이에 한정되는 것은 아니다. 또한, 멀티미디어 기기(1000, 1100)는 클라이언트, 서버 혹은 클라이언트와 서버 사이에 배치되는 변환기로서 사용될 수 있다.
한편, 멀티미디어 기기(1000, 1100)가 예를 들어 모바일 폰인 경우, 도시되지 않았지만 키패드 등과 같은 유저 입력부, 유저 인터페이스 혹은 모바일 폰에서 처리되는 정보를 디스플레이하는 디스플레이부, 모바일 폰의 전반적인 기능을 제어하는 프로세서를 더 포함할 수 있다. 또한, 모바일 폰은 촬상 기능을 갖는 카메라부와 모바일 폰에서 필요로 하는 기능을 수행하는 적어도 하나 이상의 구성요소를 더 포함할 수 있다.
한편, 멀티미디어 기기(1000, 1100)가 예를 들어 TV인 경우, 도시되지 않았지만 키패드 등과 같은 유저 입력부, 수신된 방송정보를 디스플레이하는 디스플레이부, TV의 전반적인 기능을 제어하는 프로세서를 더 포함할 수 있다. 또한, TV는 TV에서 필요로 하는 기능을 수행하는 적어도 하나 이상의 구성요소를 더 포함할 수 있다.
상기 실시예들에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예들에서 사용될 수 있는 데이터 구조, 프로그램 명령, 혹은 데이터 파일은 컴퓨터로 읽을 수 있는 기록매체에 다양한 수단을 통하여 기록될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함할 수 있다. 컴퓨터로 읽을 수 있는 기록매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 컴퓨터로 읽을 수 있는 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예로는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 스코프는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 이의 균등 또는 등가적 변형 모두는 본 발명 기술적 사상의 범주에 속한다고 할 것이다.

Claims (11)

  1. 복수의 제 1 신호 특성들에 기초하여 현재 프레임을 음성 신호와 음악 신호 중 하나로 분류하는 단계;
    복수의 프레임들로부터 획득되는 적어도 하나의 제 2 신호 특성이 소정 조건을 만족하는지 여부를 판단하는 단계; 및
    상기 소정 조건을 만족하는지 여부를 나타내는 값에 기초하여 상기 현재 프레임의 분류 결과를 수정하는 단계를 포함하되,
    상기 적어도 하나의 제 2 신호 특성은, 1kHz 내지 2kHz에서의 토널리티(tonality)와 2kHz 내지 4kHz에서의 토널리티의 차이, 및 선형 예측 에러(linear prediction error)를 포함하는 신호 분류 방법.
  2. 제1 항에 있어서, 상기 수정하는 단계는, 복수의 독립적인 상태 머쉰에 근거하여 수행되는 신호 분류 방법.
  3. 제2 항에 있어서, 상기 복수의 독립적인 상태 머쉰은 음악 상태 머쉰과 음성 상태 머쉰을 포함하는 신호 분류 방법.
  4. 제1 항에 있어서, 상기 수정하는 단계는, 상기 현재 프레임의 분류 결과가 음악 신호이고, 상기 현재 프레임이 음성 특징을 갖는 것으로 판단된 경우 상기 분류 결과를 음성 신호로 수정하는 단계를 포함하는 신호 분류 방법.
  5. 제1 항에 있어서, 상기 수정하는 단계는, 상기 현재 프레임의 분류 결과가 음성 신호이고, 상기 현재 프레임이 음악 특징을 갖는 것으로 판단된 경우 상기 분류 결과를 음악 신호로 수정하는 단계를 포함하는 신호 분류 방법.
  6. 제1 항에 있어서,
    상기 신호 분류 방법은,
    상기 현재 프레임의 분류 결과 혹은 수정된 분류 결과에 근거하여 상기 현재 프레임을 부호화하는 단계를 더 포함하는 신호 분류 방법.
  7. 제6항에 있어서, 상기 부호화하는 단계는, CELP 타입 코더와 트랜스폼 코더 중 하나를 이용하여 상기 현재 프레임을 부호화하는 단계를 포함하는 신호 분류 방법.
  8. 제6항에 있어서, 상기 부호화하는 단계는 CELP 타입 코더, 트랜스폼 코더 및 CELP/트랜스폼 하이브리드 코더 중 하나를 이용하여 상기 현재 프레임을 부호화하는 단계를 포함하는 신호 분류 방법.
  9. 복수의 제 1 신호 특성들에 기초하여 현재 프레임을 음성 신호와 음악 신호 중 하나로 분류하는 단계;
    복수의 프레임들로부터 획득되는 적어도 하나의 제 2 신호 특성이 소정 조건을 만족하는지 여부를 판단하는 단계; 및
    상기 소정 조건을 만족하는지 여부를 나타내는 값에 기초하여 상기 현재 프레임의 분류 결과를 수정하는 단계를 실행시키기 위한 프로그램을 기록하되,
    상기 적어도 하나의 제 2 신호 특성은, 1kHz 내지 2kHz에서의 토널리티(tonality)와 2kHz 내지 4kHz에서의 토널리티의 차이, 및 선형 예측 에러(linear prediction error)를 포함하는, 컴퓨터로 읽을 수 있는 기록 매체.
  10. 적어도 하나의 프로세서를 포함하되,
    상기 적어도 하나의 프로세서는,
    복수의 제 1 신호 특성들에 기초하여 현재 프레임을 음성 신호와 음악 신호 중 하나로 분류하고,
    복수의 프레임들로부터 획득되는 적어도 하나의 제 2 신호 특성이 소정 조건을 만족하는지 여부를 판단하고,
    상기 소정 조건을 만족하는지 여부를 나타내는 값에 기초하여 상기 현재 프레임의 분류 결과를 수정하되,
    상기 적어도 하나의 제 2 신호 특성은, 1kHz 내지 2kHz에서의 토널리티(tonality)와 2kHz 내지 4kHz에서의 토널리티의 차이, 및 선형 예측 에러(linear prediction error)를 포함하는 신호 분류 장치.
  11. 제10항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 현재 프레임의 분류 결과 혹은 수정된 분류 결과에 근거하여 상기 현재 프레임을 부호화하는 신호 분류 장치.
KR1020227036099A 2014-02-24 2015-02-24 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치 KR102552293B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201461943638P 2014-02-24 2014-02-24
US61/943,638 2014-02-24
US201462029672P 2014-07-28 2014-07-28
US62/029,672 2014-07-28
PCT/KR2015/001783 WO2015126228A1 (ko) 2014-02-24 2015-02-24 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치
KR1020227001823A KR102457290B1 (ko) 2014-02-24 2015-02-24 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020227001823A Division KR102457290B1 (ko) 2014-02-24 2015-02-24 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치

Publications (2)

Publication Number Publication Date
KR20220148302A KR20220148302A (ko) 2022-11-04
KR102552293B1 true KR102552293B1 (ko) 2023-07-06

Family

ID=53878629

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020227001823A KR102457290B1 (ko) 2014-02-24 2015-02-24 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치
KR1020167023217A KR102354331B1 (ko) 2014-02-24 2015-02-24 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치
KR1020227036099A KR102552293B1 (ko) 2014-02-24 2015-02-24 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020227001823A KR102457290B1 (ko) 2014-02-24 2015-02-24 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치
KR1020167023217A KR102354331B1 (ko) 2014-02-24 2015-02-24 신호 분류 방법 및 장치, 및 이를 이용한 오디오 부호화방법 및 장치

Country Status (8)

Country Link
US (2) US10090004B2 (ko)
EP (1) EP3109861B1 (ko)
JP (1) JP6599368B2 (ko)
KR (3) KR102457290B1 (ko)
CN (2) CN110992965A (ko)
ES (1) ES2702455T3 (ko)
SG (1) SG11201607971TA (ko)
WO (1) WO2015126228A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO2780522T3 (ko) * 2014-05-15 2018-06-09
CN111177454B (zh) * 2019-12-11 2023-05-30 广州荔支网络技术有限公司 一种音频节目分类的修正方法
US20240038258A1 (en) * 2020-08-18 2024-02-01 Dolby Laboratories Licensing Corporation Audio content identification
CN115881138A (zh) * 2021-09-29 2023-03-31 华为技术有限公司 解码方法、装置、设备、存储介质及计算机程序产品

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130185063A1 (en) * 2012-01-13 2013-07-18 Qualcomm Incorporated Multiple coding mode signal classification
WO2014010175A1 (ja) 2012-07-09 2014-01-16 パナソニック株式会社 符号化装置及び符号化方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453285B1 (en) * 1998-08-21 2002-09-17 Polycom, Inc. Speech activity detector for use in noise reduction system, and methods therefor
JP3616307B2 (ja) * 2000-05-22 2005-02-02 日本電信電話株式会社 音声・楽音信号符号化方法及びこの方法を実行するプログラムを記録した記録媒体
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
ES2334934T3 (es) 2002-09-04 2010-03-17 Microsoft Corporation Codificacion de entropia por adaptacion de codificacion entre modalidades de nivel y de longitud de sucesion y nivel.
CN101523486B (zh) * 2006-10-10 2013-08-14 高通股份有限公司 用于编码和解码音频信号的方法和设备
KR100883656B1 (ko) * 2006-12-28 2009-02-18 삼성전자주식회사 오디오 신호의 분류 방법 및 장치와 이를 이용한 오디오신호의 부호화/복호화 방법 및 장치
CN101025918B (zh) * 2007-01-19 2011-06-29 清华大学 一种语音/音乐双模编解码无缝切换方法
US9495971B2 (en) * 2007-08-27 2016-11-15 Telefonaktiebolaget Lm Ericsson (Publ) Transient detector and method for supporting encoding of an audio signal
CN101393741A (zh) * 2007-09-19 2009-03-25 中兴通讯股份有限公司 一种宽带音频编解码器中的音频信号分类装置及分类方法
CN101965612B (zh) * 2008-03-03 2012-08-29 Lg电子株式会社 用于处理音频信号的方法和装置
AU2009220341B2 (en) 2008-03-04 2011-09-22 Lg Electronics Inc. Method and apparatus for processing an audio signal
US8428949B2 (en) * 2008-06-30 2013-04-23 Waves Audio Ltd. Apparatus and method for classification and segmentation of audio content, based on the audio signal
PL2301011T3 (pl) * 2008-07-11 2019-03-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Sposób i dyskryminator do klasyfikacji różnych segmentów sygnału audio zawierającego segmenty mowy i muzyki
PL2304723T3 (pl) * 2008-07-11 2013-03-29 Fraunhofer Ges Forschung Urządzenie i sposób dekodowania zakodowanego sygnału audio
KR101381513B1 (ko) 2008-07-14 2014-04-07 광운대학교 산학협력단 음성/음악 통합 신호의 부호화/복호화 장치
KR101261677B1 (ko) 2008-07-14 2013-05-06 광운대학교 산학협력단 음성/음악 통합 신호의 부호화/복호화 장치
WO2010008173A2 (ko) 2008-07-14 2010-01-21 한국전자통신연구원 오디오 신호의 상태결정 장치
KR101230183B1 (ko) 2008-07-14 2013-02-15 광운대학교 산학협력단 오디오 신호의 상태결정 장치
KR101073934B1 (ko) * 2008-12-22 2011-10-17 한국전자통신연구원 음성/음악 판별장치 및 방법
CN102044244B (zh) * 2009-10-15 2011-11-16 华为技术有限公司 信号分类方法和装置
CN102237085B (zh) * 2010-04-26 2013-08-14 华为技术有限公司 音频信号的分类方法及装置
RU2010152225A (ru) * 2010-12-20 2012-06-27 ЭлЭсАй Корпорейшн (US) Обнаружение музыки с использованием анализа спектральных пиков
CN102543079A (zh) * 2011-12-21 2012-07-04 南京大学 一种实时的音频信号分类方法及设备
RU2656681C1 (ru) 2012-11-13 2018-06-06 Самсунг Электроникс Ко., Лтд. Способ и устройство для определения режима кодирования, способ и устройство для кодирования аудиосигналов и способ, и устройство для декодирования аудиосигналов

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130185063A1 (en) * 2012-01-13 2013-07-18 Qualcomm Incorporated Multiple coding mode signal classification
WO2014010175A1 (ja) 2012-07-09 2014-01-16 パナソニック株式会社 符号化装置及び符号化方法

Also Published As

Publication number Publication date
CN106256001B (zh) 2020-01-21
SG11201607971TA (en) 2016-11-29
KR102457290B1 (ko) 2022-10-20
KR20160125397A (ko) 2016-10-31
US20170011754A1 (en) 2017-01-12
EP3109861B1 (en) 2018-12-12
KR20220013009A (ko) 2022-02-04
CN106256001A (zh) 2016-12-21
US10504540B2 (en) 2019-12-10
CN110992965A (zh) 2020-04-10
US10090004B2 (en) 2018-10-02
KR20220148302A (ko) 2022-11-04
WO2015126228A1 (ko) 2015-08-27
US20190103129A1 (en) 2019-04-04
JP2017511905A (ja) 2017-04-27
JP6599368B2 (ja) 2019-10-30
KR102354331B1 (ko) 2022-01-21
EP3109861A1 (en) 2016-12-28
EP3109861A4 (en) 2017-11-01
ES2702455T3 (es) 2019-03-01

Similar Documents

Publication Publication Date Title
KR102248252B1 (ko) 대역폭 확장을 위한 고주파수 부호화/복호화 방법 및 장치
US11657825B2 (en) Frame error concealment method and apparatus, and audio decoding method and apparatus
US10096324B2 (en) Method and apparatus for concealing frame error and method and apparatus for audio decoding
CN107481725B (zh) 时域帧错误隐藏设备和时域帧错误隐藏方法
TWI672691B (zh) 解碼方法
US10504540B2 (en) Signal classifying method and device, and audio encoding method and device using same
KR102105044B1 (ko) 낮은 레이트의 씨이엘피 디코더의 비 음성 콘텐츠의 개선
JP6980871B2 (ja) 信号符号化方法及びその装置、並びに信号復号方法及びその装置
US10304474B2 (en) Sound quality improving method and device, sound decoding method and device, and multimedia device employing same
KR101774541B1 (ko) 스피치 처리를 위한 무성음/유성음 결정
US10373624B2 (en) Broadband signal generating method and apparatus, and device employing same
KR102653849B1 (ko) 고대역 부호화방법 및 장치와 고대역 복호화 방법 및 장치
KR20220051317A (ko) 대역폭 확장을 위한 고주파 복호화 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant