KR102033603B1 - 오디오 신호를 복원하는 방법 및 장치 - Google Patents

오디오 신호를 복원하는 방법 및 장치 Download PDF

Info

Publication number
KR102033603B1
KR102033603B1 KR1020177010269A KR20177010269A KR102033603B1 KR 102033603 B1 KR102033603 B1 KR 102033603B1 KR 1020177010269 A KR1020177010269 A KR 1020177010269A KR 20177010269 A KR20177010269 A KR 20177010269A KR 102033603 B1 KR102033603 B1 KR 102033603B1
Authority
KR
South Korea
Prior art keywords
frequency
audio signal
frequency band
value
lost
Prior art date
Application number
KR1020177010269A
Other languages
English (en)
Other versions
KR20170065545A (ko
Inventor
전상배
김선민
이윤재
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20170065545A publication Critical patent/KR20170065545A/ko
Application granted granted Critical
Publication of KR102033603B1 publication Critical patent/KR102033603B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band

Abstract

오디오 신호를 복원하는 방법에 있어서, 오디오 신호의 주파수별 에너지 값에 기초하여, 손실된 주파수 대역을 검출하고, 손실된 주파수 대역에 기초하여, 컷오프 주파수를 구하고, 컷오프 주파수에 기초하여, 손실된 주파수 대역의 오디오 신호를 복원하는 방법이 개시된다.

Description

오디오 신호를 복원하는 방법 및 장치
본 발명은 일부 주파수 대역의 데이터가 손실된 오디오 신호를 복원하는 방법 및 장치에 대한 것이다.
오디오 신호가 압축되거나 전송될 때, 효율적인 압축 또는 전송을 위하여 일부 주파수 대역의 오디오 신호가 손실된 채 압축되거나 전송될 수 있다. 일부 주파수 대역의 데이터가 손실된 오디오 신호는 손실되기 전의 오디오 신호에 비해 음질이 저하되거나 음색이 변화될 수 있다.
따라서, 손실된 주파수 대역을 포함하는 오디오 신호가 고음질로 원음에 가깝도록 재생되려면, 손실된 주파수 대역의 오디오 신호를 효과적으로 복원하는 것이 요구된다.
본 발명은 일부 주파수 대역이 손실된 오디오 신호를 복원하기 위한 방법 및 장치에 관한 것이다. 자세하게는, 본 발명은 일부 주파수 대역이 손실된 오디오 신호를 주파수별 에너지 값에 기초하여 검출하고 복원하는 방법 및 장치에 관한 것이다.
일 실시 예에 의하면, 오디오 신호의 손실된 주파수 영역을 복원함으로써 오디오 신호의 음질을 향상시킬 수 있다.
도 1은 일 실시 예에 의한 오디오 신호를 복원하는 방법을 나타낸 순서도이다.
도 2는 일 실시 예에 의한 컷오프 주파수의 일 예를 나타낸 예시 도면이다.
도 3은 일 실시 예에 의한 오디오 신호를 복원하는 방법을 나타낸 순서도이다.
도 4는 일 실시 예에 의한 손실된 주파수 대역의 크기를 복원하는 방법을 나타낸 순서도이다.
도 5는 일 실시 예에 의한 오디오 신호의 크기를 복원하는 일 예를 나타낸 예시 도면이다.
도 6은 일 실시 예에 의한 손실된 주파수 대역의 위상을 조정하는 방법을 나타낸 순서도이다.
도 7은 일 실시 예에 의한 오디오 신호의 위상 값을 조정하는 일 예를 나타낸 예시 도면이다.
도 8은 일 실시 예에 따라 오디오 신호를 복원하는 장치의 내부 구조를 나타낸 블록도이다.
발명의 실시를 위한 최선의 형태
일 실시 예에 있어서, 오디오 신호를 복원하는 방법에 있어서, 상기 오디오 신호의 주파수별 에너지 값에 기초하여, 손실된 주파수 대역을 검출하는 단계; 상기 손실된 주파수 대역에 기초하여, 컷오프 주파수를 구하는 단계; 상기 컷오프 주파수에 기초하여, 상기 손실된 주파수 대역의 오디오 신호를 복원하는 단계를 포함한다.
상기 검출하는 단계는 상기 오디오 신호를 주파수 도메인의 신호로 변환하는 단계; 상기 주파수 도메인의 오디오 신호에서, 에너지 감소량이 제1 기준값 이상인 주파수 대역을 검출하는 단계; 상기 검출된 주파수 대역에 기초하여, 에너지 값이 제2 기준값 이하인 구간을 상기 손실된 주파수 대역으로 검출하는 단계를 포함한다.
상기 복원하는 단계는 상기 컷오프 주파수를 기준으로, 상기 오디오 신호에서 소정 구간의 주파수 대역을 복원에 이용될 주파수 대역으로 설정하는 단계; 상기 설정된 주파수 대역의 오디오 신호를 이용하여, 상기 손실된 주파수 대역의 오디오 신호를 복원하는 단계를 포함한다.
상기 복원하는 단계는 상기 설정된 주파수 대역의 신호 특성을 분석하는 단계; 상기 분석된 신호 특성에 기초하여, 상기 손실된 주파수 대역의 신호 특성을 추정하는 단계; 상기 추정된 신호 특성에 기초하여, 상기 손실된 주파수 대역의 크기를 조정하는 단계를 포함한다.
상기 복원하는 단계는 상기 손실된 주파수 대역 중 적어도 하나의 주파수의 오디오 신호를 복원하는데 이용된 오디오 신호의 주파수 값을 획득하는 단계; 상기 획득된 주파수 값에 대한 위상 변화량을 소정 시간 단위로 획득하는 단계; 상기 위상 변화량에 기초하여, 상기 적어도 하나의 주파수 값에 대한 위상을 조정하는 단계를 포함한다.
상기 위상을 조정하는 단계는 상기 획득된 주파수 값과 상기 적어도 하나의 주파수 값 간 비율을 획득하는 단계; 상기 결정된 비율 및 상기 위상 변화량에 기초하여, 상기 적어도 하나의 주파수 값에 대한 위상 변화량을 추정하는 단계; 상기 추정된 위상 변화량에 기초하여, 상기 적어도 하나의 주파수 값에 대한 위상을 조정하는 단계를 포함한다.
상기 컷오프 주파수는 소정 시간 단위로 결정되고, 상기 손실된 주파수 대역의 오디오 신호는 상기 소정 시간 단위로 컷오프 주파수에 기초하여 복원된다.
상기 컷오프 주파수를 결정하는 단계는 상기 검출된 주파수 대역에 기초하여 결정된 컷오프 주파수가 복수개 존재하는 경우, 상기 결정된 컷오프 주파수 값 중 가장 큰 값을 상기 컷오프 주파수로 결정하는 단계를 포함한다.
일 실시 예에 있어서, 오디오 신호를 복원하는 장치에 있어서, 상기 오디오 신호를 획득하는 수신부; 상기 오디오 신호의 주파수별 에너지 값에 기초하여, 손실된 주파수 대역을 검출하고, 상기 손실된 주파수 대역에 기초하여, 컷오프 주파수를 구하고, 상기 컷오프 주파수에 기초하여, 상기 손실된 주파수 대역의 오디오 신호를 복원하는 제어부; 상기 복원된 오디오 신호를 출력하는 스피커를 포함한다.
일 실시 예에 의한 오디오 신호의 대역폭을 확장하는 방법에 있어서, 제1 대역폭의 오디오 신호를 제2 대역폭의 오디오 신호로 확장하는 단계; 상기 제1 대역폭의 오디오 신호의 위상 변화량을 검출하는 단계; 상기 위상 변화량을 이용하여 제2 대역폭으로 확장된 오디오 신호의 위상을 보정하는 단계를 포함한다.
발명의 실시를 위한 형태
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들이 용어들에 의해 한정되는 것은 아니다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 일 실시 예에 의한 오디오 신호를 복원하는 방법을 나타낸 순서도이다.
도 1의 단계 S110을 참조하면, 오디오 신호를 복원하는 장치는 주파수별 에너지 값에 기초하여, 손실된 주파수 대역을 검출할 수 있다.
일 실시 예에 따라 복원될 수 있는 오디오 신호는 다양한 종류의 신호를 포함할 수 있다. 예를 들면, 오디오 신호는 음악 신호, 음성 신호, 또는 음악 및 음성이 섞인 음향 신호 등을 포함할 수 있다. 상술된 예에 한하지 않고, 오디오 신호는 손실된 주파수 대역이 존재할 수 있는 다양한 종류의 신호를 포함할 수 있다.
오디오 신호는 다양한 원인에 의하여 손실된 주파수 대역이 존재할 수 있다. 예를 들면, 압축에 의하여 고주파수 대역의 오디오 데이터가 손실될 수 있다. MP3(MPEG-1 Audio Layer 3), AAC(advanced audio coding) 등 손실 압축 방법에 의해 오디오 신호가 압축되면, 압축된 오디오 신호의 데이터 중에서 가청 주파수 대역을 제외한 고주파수 대역의 오디오 데이터가 손실될 수 있다. 따라서, 손실 압축 방법에 의하여 압축된 오디오 신호의 경우, 고주파수 대역의 오디오 데이터가 손실됨에 따라 오디오 신호의 음색이 변화되거나 음질이 저하될 수 있다.
또 다른 예로, 오디오 데이터의 전송 또는 저장 중에 일부 주파수 대역의 오디오 데이터가 손실될 수 있다. 일부 고주파수 대역의 오디오 데이터의 경우, 저주파수 대역의 오디오 데이터에 비해 상대적으로 중요도가 낮은 것으로 판단될 수 있다. 따라서 데이터 전송 또는 저장 시 일부 고주파수 대역의 오디오 신호가 누락된 채 오디오 신호가 전송 또는 저장될 수 있다. 일부 주파수 대역의 오디오 데이터가 손실된 오디오 신호의 음색은 변화되거나 음질이 저하될 수 있다. 상술된 예에 한하지 않고, 일 실시 예에 의한 손실된 주파수 대역을 포함하는 오디오 신호는 다양한 원인에 의하여 손실된 주파수 대역을 포함할 수 있다.
장치는 오디오 신호의 손실된 주파수 대역을 오디오 신호의 주파수별 에너지 값에 기초하여 검출할 수 있다. 장치는 시간 도메인의 오디오 신호에 대하여 주파수 변환을 수행함으로써, 오디오 신호의 주파수별 에너지 값을 포함하는 오디오 스펙트럼을 획득할 수 있다. 예를 들면, 장치는 오디오 신호의 하나의 프레임에 속하는 시간 도메인의 오디오 신호에 대하여 주파수 변환을 수행할 수 있다.
주파수별 에너지 값은 오디오 스펙트럼에서 데시벨(dB; decibel) 값으로 표현될 수 있다. 이에 한하지 않고, 주파수별 에너지 값은 다양한 단위로 표현될 수 있다. 오디오 스펙트럼에 포함된 주파수별 에너지값은 파워, 놈(norm) 값, 강도, 진폭 등을 의미할 수 있다.
손실이 발생하지 않은 주파수 대역에서는, 고주파수 대역으로 갈수록 에너지 값이 서서히 감소할 수 있다. 반면, 압축 등 다양한 요인에 의해 일부 주파수 영역이 손실된 오디오 신호의 경우, 소정의 주파수 값을 기준으로 고주파수 대역의 에너지 값이 급격하게 감소하면서, 감소된 에너지 값이 소정의 주파수 대역에서 0 또는 0에 가까운 값을 가질 수 있다. 압축된 오디오 데이터는 일부 주파수 대역대의 오디오 신호만 포함할 수 있다. 소정 주파수 값을 기준으로 고주파수 영역의 오디오 신호가 손실될 수 있으므로, 손실된 고주파수 대역의 에너지 값은 0 또는 0에 가까운 값을 가질 수 있다. 또한, 데이터 전송 시, 상대적으로 중요도가 낮은 고주파수 대역의 오디오 데이터가 손실됨에 따라, 소정 주파수 값을 기준으로 고주파수 대역의 에너지 값이 0 또는 0에 가까운 값을 가질 수 있다.
고주파수 대역의 오디오 신호는 상대적으로 저주파수 대역의 오디오 신호에 비해 음질에 있어 중요도가 낮은 것으로 판단될 수 있다. 따라서, 압축이나 데이터 전송 등 다양한 요인에 의해 고주파수 대역의 오디오 데이터가 손실될 수 있다.
고주파수 대역에 한하지 않고, 오디오 신호는 일부 주파수 대역대에서 에너지 값이 급격히 감소하여 0 또는 0에 가까운 값을 가질 수 있다. 장치는 에너지 값이 급격히 감소하여 0 또는 0에 가까운 값을 가지는 일부 주파수 대역대를 손실된 주파수 영역으로 검출할 수 있다.
예를 들면, 장치는 주파수 도메인의 오디오 신호에서 인접한 주파수 밴드 간의 에너지 감소량이 제1 기준값 이상인 주파수 대역을 검출할 수 있다. 그리고, 장치는 검출된 주파수 대역에 기초하여 에너지 값이 제2 기준값 이하인 구간을 손실된 주파수 대역으로 검출할 수 있다.
더하여, 장치는 오디오 신호의 압축 정보에 따라서 손실된 주파수 영역을 검출할 수도 있다. 압축 정보는 압축 시 손실될 수 있는 주파수 영역에 관한 정보를 포함할 수 있다. 그러나, 장치는 오디오 신호의 주파수별 에너지 값에 기초하여 손실된 주파수 대역을 검출할 수 있으므로, 오디오 신호의 압축 정보만 고려하여 손실된 주파수 영역을 검출하는 방법보다 더 정확하게 오디오 신호의 손실된 주파수 영역을 검출할 수 있다.
단계 S120에서, 장치는 단계 S110에서 검출된 주파수 대역에 기초하여, 컷오프(cut-off) 주파수를 구할 수 있다. 컷오프 주파수는 소정의 주파수 대역의 오디오 데이터가 손실될 때 기준이 된 주파수일 수 있다. 예를 들어, 컷오프 주파수는 압축 시 손실될 고주파수 대역의 최소 주파수일 수 있다.
컷오프 주파수는 단계 S110에서 검출된 주파수 대역을 기준으로 획득될 수 있다. 예를 들면, 컷오프 주파수는 손실된 주파수 대역에서 인접한 주파수 밴드간의 에너지 감소량이 제1 기준값 이상이고, 감소된 에너지 값이 제2 기준값 이하인 주파수로 결정될 수 있다.
단계 S130에서, 장치는 단계 S120에서 구한 컷오프 주파수에 기초하여, 손실된 주파수 대역의 오디오 신호를 복원할 수 있다. 장치는 컷오프 주파수에 기초하여 손실되지 않은 주파수 대역의 오디오 신호를 이용하여 손실된 주파수 대역의 오디오 신호를 복원할 수 있다.
장치는 손실되지 않은 주파수 대역의 크기(magnitude)를 이용하여 손실된 주파수 대역의 크기가 급격히 감소되지 않도록 손실된 주파수 대역의 크기를 복원할 수 있다. 주파수 대역의 크기는 오디오 스펙트럼에서 에너지 값일 수 있다. 예를 들면, 장치는 오디오 신호의 에너지를 나타내는 오디오 스펙트럼에서, 손실되지 않은 주파수 대역의 성분을 이용하여 손실된 주파수 대역의 성분을 복원할 수 있다. 또한, 장치는 손실되지 않은 주파수 대역의 위상 정보를 이용하여, 손실된 주파수 대역의 위상의 불연속성을 해소하기 위해 위상 값을 조정할 수 있다.
손실된 주파수 대역 성분이 복원된 오디오 스펙트럼 또는 시간 도메인의 오디오 신호에 불연속적인 값이 포함되어 있는 경우, 재생 시 음질이 저하될 수 있다. 오디오 신호가 복원될 때, 컷오프 주파수를 기준으로 소정 주파수 대역의 오디오 신호가, 오디오 데이터가 손실된 주파수 대역으로 복사됨에 따라 불연속적인 값이 존재할 수 있다. 따라서, 장치는 오디오 신호의 주파수 대역의 크기 값과 위상 정보가 연속적인 값을 가질 수 있도록 그 값을 수정할 수 있다.
일 실시 예에 있어서 오디오 신호를 복원하는 방법에 관하여는 이하 도 3 내지 도 7을 참조하여 더 자세히 설명하기로 한다.
도 2는 일 실시 예에 의한 컷오프 주파수의 일 예를 나타낸 예시 도면이다.
컷오프 주파수는 오디오 스펙트럼의 에너지가 급격히 감소하는지 여부와 감소된 에너지 값이 0 또는 0에 가까운 값을 가지는지 여부에 기초하여 획득될 수 있다.
도 2를 참조하면, 컷오프 주파수 지점에서 인접한 주파수 밴드 간 에너지 감소량이 급증하고, 컷오프 주파수를 기준으로 고주파수 대역의 주파수 에너지 값은 거의 0에 가까운 값을 가진다. 따라서, 장치는 도 2에 도시된 컷오프 주파수 지점의 값을 컷오프 주파수로 획득할 수 있다.
장치는 압축 정보 또는 데이터 전송 정보에 따라 컷오프 주파수가 존재할 것으로 추정되는 구간에서 주파수의 에너지 값에 따라 컷오프 주파수를 획득할 수 있다. 압축 정보는 압축 시 손실될 수 있는 주파수 대역에 관한 정보를 포함할 수 있다. 데이터 전송 정보는 데이터 전송 시 손실될 수 있는 주파수 대역에 관한 정보를 포함할 수 있다. 상술된 예에 한하지 않고, 장치는 손실된 주파수 대역에 관한 정보를 포함하는 다양한 종류의 정보에 기초하여 컷오프 주파수를 획득할 수 있다.
도 3은 일 실시 예에 의한 오디오 신호를 복원하는 방법을 나타낸 순서도이다.
도 3을 참조하면, 단계 S310에서, 오디오 신호를 복원하는 장치는 현재 프레임의 주파수 별 에너지 값을 획득할 수 있다. 장치는 현재 프레임에 대하여 주파수 별 에너지 값을 나타내는 오디오 스펙트럼을 획득할 수 있다. 장치는 상술된 프레임 단위에 한하지 않고, 다양한 시간 단위로 각 주파수의 에너지 값을 획득할 수 있다. 이하에서는, 설명 편의상 프레임 단위로 주파수별 에너지를 획득하는 점을 기준으로 설명하기로 한다. 장치는 현재 프레임에 포함된 시간 도메인의 오디오 신호에 대하여 주파수 변환을 수행함으로써 주파수별 에너지 값을 나타내는 오디오 스펙트럼을 획득할 수 있다.
단계 S320에서, 장치는 손실된 주파수 영역이 존재하는지 판단할 수 있다. 장치는 에너지 감소량이 제1 기준값 이상이고, 에너지 감소량이 제1 기준값 이상인 주파수 지점을 기준으로 소정 구간의 고주파수 대역에서 에너지 값이 제2 기준값 이하인 주파수 영역이 존재하는지 여부를 판단할 수 있다. 또는 장치는, 에너지 감소량이 제1 기준값 이상인 주파수 지점을 기준으로 소정 구간의 고주파수 대역에서 에너지 값의 대표값이 제2 기준값 이하인 주파수 영역이 존재하는지 여부를 판단할 수 있다. 대표값은 평균값, 중간값 등의 소정 구간에 포함된 에너지 값들의 특징을 나타내는 값을 포함할 수 있다. 예를 들면, 에너지가 급격하게 감소하는 영역이 존재하는 경우, 장치는 에너지 값들의 대표값이 0 또는 0에 가까운 값을 가지는 소정 주파수 구간을 손실된 주파수 영역으로 검출할 수 있다.
한편, 단계 S320에서, 장치는 손실된 주파수 영역이 존재하지 않는다고 판단된 경우, 현재 프레임의 오디오 신호에 대하여 복원을 수행할 필요가 없으므로 단계 S330에서 다음 프레임으로 이동할 수 있다. 장치는 다음 프레임의 오디오 신호에 대하여 단계 S310 내지 단계 S360의 복원 과정을 수행할 수 있다.
단계 S340에서, 장치는 단계 S320에서 검출된 손실된 주파수 영역에 기초하여 컷오프 주파수를 획득할 수 있다. 컷오프 주파수는 검출된 손실된 주파수 영역에 따라 적어도 하나 검출될 수 있다.
압축에 의해 손실된 주파수 영역을 포함하는 오디오 신호의 경우, 장치는 복수의 컷오프 주파수 중 가장 큰 값을 컷오프 주파수로 획득할 수 있다. 압축에 의해 고주파수 대역의 오디오 데이터가 손실되는 경우, 하나의 주파수 값을 기준으로 고주파수 대역에 속한 오디오 데이터가 손실될 수 있다. 따라서, 장치는 압축에 의해 손실된 주파수 영역을 포함하는 오디오 신호에 대한 컷오프 주파수를 하나만 결정할 수 있다. 이에 한하지 않고, 장치는 압축에 의해 손실된 주파수 대역을 포함하는 오디오 신호에 대하여 복수의 컷오프 주파수를 결정할 수도 있다.
단계 S350에서, 장치는 단계 S340에서 획득된 컷오프 주파수에 기초하여 손실된 주파수 대역의 크기(magnitude)를 복원할 수 있다. 장치는 컷오프 주파수를 기준으로 손실되지 않은 주파수 대역의 오디오 데이터를 이용하여 손실된 주파수 대역의 오디오 데이터를 복원할 수 있다. 예를 들면, 장치는 손실되지 않은 주파수 대역의 오디오 데이터를 손실된 주파수 대역으로 복사함으로써 손실된 주파수 대역의 오디오 신호를 복원할 수 있다. 손실된 주파수 대역의 크기를 복원하는 방법에 관하여 이하 도 4 내지 도 5를 참조하여 더 자세히 설명하기로 한다.
단계 S360에서, 장치는 손실된 주파수 대역의 오디오 신호의 위상 값을 조정할 수 있다. 단계 S350에서 프레임 별로 주파수 도메인의 오디오 신호가 복원되므로, 복사에 의한 복원이 수행되는 경우, 시간 도메인에서 프레임마다 불연속적인 위상 값이 발생될 수 있다. 따라서, 장치는 단계 S350에서 복원 시 이용된 손실되지 않은 주파수 대역의 오디오 신호의 위상 정보를 이용하여, 불연속적인 값이 발생되지 않도록 손실된 주파수 대역의 오디오 신호의 위상 값을 조정할 수 있다.
예를 들면, 장치는 단계 S350에서 복사될 때 이용된 손실되지 않은 주파수 대역의 오디오 신호의 위상 정보 및 주파수 값을 이용하여 위상 값을 보정할 수 있다. 장치는 손실된 주파수 대역에 포함된 주파수 값과 대응되는 손실되지 않은 주파수 대역에 포함된 주파수의 오디오 신호에 대한 위상 정보 및 주파수 값을 이용할 수 있다. 장치는 손실된 주파수 대역과 대응되는 위상 값이 연속적인 값을 가질 수 있도록 위상 값을 조정할 수 있다.
오디오 신호의 위상이 조정된 이후, 단계 S370에서, 장치는 다음 프레임이 존재하는지 여부를 판단할 수 있다. 다음 프레임이 존재하는 경우, 단계 S330에서 장치는 다음 프레임으로 이동할 수 있다. 장치는 다음 프레임의 오디오 신호에 대하여 단계 S310 내지 단계 S360의 복원 과정을 수행할 수 있다.
손실된 주파수 대역의 위상 값을 조정하는 방법에 관하여 이하 도 6 내지 도 7을 참조하여 더 자세히 설명하기로 한다.
도 4는 일 실시 예에 의한 손실된 주파수 대역의 크기를 복원하는 방법을 나타낸 순서도이다.
도 4를 참조하면, 단계 S410에서, 오디오 신호를 복원하는 장치는 현재 프레임에서, 컷오프 주파수를 기준으로 소정 구간의 주파수 대역을 복원시 이용할 주파수 대역으로 설정할 수 있다. 컷오프 주파수는 도 1의 단계 S120 또는 도 3의 단계 340에서 획득된 것일 수 있다. 예를 들면, 장치는 컷오프 주파수를 기준으로 소정 구간의 저주파수 대역을 손실되지 않은 주파수 대역으로써 복원에 이용될 주파수 대역으로 설정할 수 있다.
단계 S420에서, 장치는 단계 S410에서 설정된 손실되지 않은 주파수 대역의 오디오 신호를 이용하여 손실된 주파수 대역의 오디오 신호를 복원할 수 있다. 손실된 주파수 대역은 도 1의 단계 S110 또는 도 3의 단계 S320에서 검출된 주파수 대역에 포함될 수 있다. 장치는 설정된 주파수 대역의 크기를 손실된 주파수 대역으로 복사함으로써 손실된 주파수 대역의 오디오 데이터를 복원할 수 있다.
장치는 설정된 주파수 대역의 오디오 신호를 그대로 이동시켜 복사하는 시프트(shift) 기법이나, 설정된 주파수 대역의 오디오 신호를 180도 회전시켜 복사하는 폴딩(folding) 기법을 이용할 수 있다. 장치는 시프트 기법이나 폴딩 기법을 이용하여 설정된 주파수 대역의 오디오 신호를 손실된 주파수 대역으로 복사할 수 있다.
예를 들면, 장치는 손실된 주파수 대역의 소정 구간마다 반복적으로 복사를 수행할 수 있다. 또 다른 예로, 장치는 설정된 주파수 대역의 크기만큼의 손실된 주파수 대역의 구간에 대하여 복사를 수행하고, 나머지 구간은 복사된 구간의 오디오 신호에 기초하여 추정될 수 있다.
단계 S430에서, 장치는 단계 S410에서 설정된 구간의 신호 특성을 분석할 수 있다. 복사가 수행된 구간마다 불연속성이 발생될 수 있으므로, 장치는 복원된 주파수 대역의 불연속성을 해소하기 위하여, 단계 S410에서 설정된 구간의 신호 특성을 분석할 수 있다. 예를 들면, 장치는 단계 S410에서 설정된 저주파수 대역의 엔벨롭 특성을 분석할 수 있다. 주파수 대역의 엔벨롭 특성이란, 주파수 스펙트럼의 엔벨롭의 특성, 예를 들면, 엔벨롭의 모양, 기울기 등의 스펙트럼 상에서의 특성을 의미할 수 있다. 주파수 스펙트럼에서의 엔벨롭은 반복적으로 출현하는 한무리의 직선 또는 곡선에 접하는 일정한 곡선으로 구성될 수 있으며, 주파수 변화에 따라 서서히 변화할 수 있다. 따라서, 장치는 저주파수 대역의 엔벨롭 특성을 이용하여 복사가 수행된 구간의 불연속성을 제거할 수 있다.
단계 S440에서, 장치는 단계 S430에서 분석한 저주파수 대역의 신호 특성에 기초하여 고주파수 대역의 신호 특성을 추정할 수 있다. 예를 들면, 장치는 주파수 스펙트럼에서 분석된 저주파수 대역의 엔벨롭 특성에 기초하여 고주파수 대역의 엔벨롭 특성을 추정할 수 있다.
단계 S450에서, 장치는 단계 S440에서 추정된 신호 특성에 따라 고주파수 대역의 스펙트럼을 보정할 수 있다. 상술된 스펙트럼은 주파수별 에너지 값을 나타낸 에너지 스펙트럼일 수 있으며, 이에 한하지 않고, 다양한 종류의 주파수 도메인의 오디오 데이터를 포함할 수 있다.
예를 들면, 장치는 저주파수 대역의 엔벨롭 특성에 기초하여 추정된 고주파수 대역의 엔벨롭 특성에 따라 각 주파수 값의 스펙트럼에 적용될 가중치 값을 결정할 수 있다. 장치는 결정된 가중치 값을 고주파수 대역의 스펙트럼에 대하여 적용함으로써 고주파수 대역의 스펙트럼을 보정할 수 있다.
도 5는 일 실시 예에 의한 오디오 신호의 스펙트럼을 복원하는 일 예를 나타낸 예시 도면이다.
도 5의 510을 참조하면, 컷오프 주파수를 기준으로 주파수 대역의 스펙트럼을 180도 회전시켜 복사하는 폴딩(folding) 기법에 따라 손실된 주파수 대역의 스펙트럼이 복원될 수 있다. 또한, 520을 참조하면, 컷오프 주파수를 기준으로 주파수 대역의 크기를 그대로 이동시켜 복사하는 시프트(shift) 기법에 따라 손실된 주파수 대역의 스펙트럼이 복원될 수 있다.
장치는 510 및 520과 같이 폴딩 또는 시프트 기법에 따라 크기가 복원된 주파수 대역에 대하여 상술된 도 4의 S430 내지 S450 단계를 수행함으로써 컷오프 주파수 지점에서 발생된 불연속성을 해소할 수 있다. 장치는 컷오프 주파수를 기준으로 저주파수 대역의 엔벨롭 특성에 따라 고주파수 대역의 엔벨롭 특성을 추정하고, 추정된 엔벨롭 특성에 따라 고주파수 대역의 스펙트럼을 보정할 수 있다. 장치는 추정된 엔벨롭 특성에 따라 고주파수 대역의 스펙트럼을 보정함으로써 컷오프 주파수 지점에서 발생된 불연속성을 해소할 수 있다.
510 및 520을 참조하면, 컷오프 주파수를 기준으로 복사로 인해 주파수 스펙트럼 상에서 불연속한 지점이 존재하므로, 장치는 저주파수 대역의 엔벨롭 특성에 따라 고주파수 대역의 엔벨롭 특성을 추정할 수 있다. 예를 들면, 장치는 저주파수 대역의 엔벨롭의 기울기 값에 따라 고주파수 대역의 엔벨롭의 기울기 값을 추정할 수 있다. 또한 장치는 컷오프 주파수 지점에서의 엔벨롭이 연속적인 값을 가지도록 고주파수 대역의 스펙트럼을 보정할 수 있다.
이하 도 6 내지 도 7을 참조하여, 손실된 주파수 대역의 위상 값을 조정하는 방법에 관하여 더 자세히 설명하기로 한다.
도 6은 일 실시 예에 의한 손실된 주파수 대역의 위상을 조정하는 방법을 나타낸 순서도이다.
도 6을 참조하면, 단계 S610에서, 오디오 신호를 복원하는 장치는 손실된 주파수 대역에 포함된 각 주파수의 크기 값을 복원하는데 이용된 주파수 값을 획득할 수 있다. 장치는 도 4 또는 도 3의 단계 S350에서 손실된 주파수 대역의 크기를 복원하는데 이용된 주파수 값을 획득할 수 있다.
도 4의 단계 S420에서 복사가 수행되는 경우, 복사된 주파수 대역 신호의 위상 값은 복사에 이용된 주파수 대역 신호의 위상 값과 동일하다. 그러나, 복사 시 이용된 저주파 성분과 복사된 고주파 성분의 프레임 간의 위상 변화량이 서로 다를 수 있다. 따라서, 복원 후 오디오 신호가 시간 도메인의 신호로 재변환되는 경우, 프레임 간 불연속성이 발생될 수 있다. 따라서, 장치는 불연속성을 해소하기 위하여 복사 시 이용된 주파수 값을 이용하여 복원된 주파수 대역에 속한 주파수들의 위상 값을 조정할 수 있다. 위상 값의 조정은 복원된 주파수 대역에 속한 각 주파수 별로 수행될 수 있다.
예를 들어, 손실되지 않은 주파수 대역에 속한 주파수 값 중 5kHz의 오디오 신호가 손실된 주파수 대역에 속한 주파수 값 중 10kHz의 오디오 신호로 복원되는 경우를 이하에서 더 자세히 설명하기로 한다.
단계 S620에서, 장치는 단계 S610에서 획득된 주파수 값에 대한 소정 시간 단위의 위상 변화량을 획득할 수 있다. 예를 들면, 장치는 5kHz에 대한 프레임 단위의 위상 변화량을 획득할 수 있다. 5kHz의 현재 프레임과 이전 프레임 사이의 위상 변화량이 π인 경우, 장치는 π를 5kHz의 위상 변화량으로 획득할 수 있다.
단계 S630에서, 장치는 단계 S610에서 획득된 주파수 값과 복원된 주파수 값 간의 비율을 획득할 수 있다. 주파수 값에 따라 주기가 달라지게 되므로 위상 값도 달라질 수 있다. 따라서, 장치는 주파수 값을 고려하여 복원된 주파수 대역의 위상 값을 조정할 수 있다. 예를 들면, 장치는 5kHz와 10kHz 간 주파수 값 비율로써 2를 획득할 수 있다.
단계 S640에서, 장치는 단계 S620 및 S630에서 획득된 위상 변화량과 비율에 기초하여 복원된 주파수 값의 위상 변화량을 추정할 수 있다. 예를 들면, 장치는 위상 변화량과 비율을 곱한 값인 프레임당 2π 값을 복원된 주파수 값 10kHz의 위상 변화량으로 추정할 수 있다.
단계 S650에서, 장치는 단계 S640에서 추정된 위상 변화량에 기초하여 복원된 주파수 값의 위상을 조정할 수 있다. 위상이 조정되기 전, 복원된 주파수 값 10kHz의 프레임당 위상 변화량은 5kHz의 프레임당 위상 변화량과 동일한 π 값이나, 위상이 조정됨에 따라서, 복원된 주파수 값 10kHz의 프레임당 위상 변화량은 2π으로 바뀔 수 있다. 장치는 복원된 주파수 값과 복원 시 이용된 주파수 값의 비율에 따라 복원된 주파수의 위상을 조정함으로써, 복원된 주파수의 위상의 불연속성으로 인한 음질 저하를 방지할 수 있다.
도 7은 일 실시 예에 의한 오디오 신호의 위상 값을 조정하는 일 예를 나타낸 예시 도면이다. 복원된 주파수 값을 10kHz, 복원하는데 이용된 주파수 값을 5kHz인 것을 예로 들어 설명하기로 한다.
도 7의 710은, 복원하는데 이용된 주파수 값에 대한 위상을 나타낸 그래프로, 5kHz 주파수에 대한 1 프레임에서의 위상 변화량은 π이다.
720은 복원된 주파수 값에 대한 위상을 나타낸 그래프로, 10kHz 주파수에 대한 위상은 5kHz 주파수에 대한 위상이 그대로 복사됨에 따라, 1 프레임에서의 위상 변화량이 5kHz와 같은 π로 나타날 수 있다. 따라서, 복원된 주파수 값에 대한 위상의 경우, 프레임 단위로 불연속성이 나타날 수 있다.
730은 주파수 값 비율에 따라 조정된 복원된 주파수 값에 대한 위상을 나타낸 그래프이다. 장치는 위상 변화량과 비율을 곱한 값인 프레임당 2π 값을 복원된 주파수 값 10kHz의 위상 변화량으로 추정하고, 추정된 위상 변화량에 따라 복원된 주파수 값의 위상을 조정할 수 있다. 따라서, 복원된 주파수 값 10kHz의 프레임당 위상 변화량은 2π으로 바뀔 수 있다.
이하 도 8을 참조하여, 오디오 신호를 복원하는 장치의 내부 구조에 관하여 더 자세히 설명하기로 한다.
도 8은 일 실시 예에 따라 오디오 신호를 복원하는 장치의 내부 구조를 나타낸 블록도이다.
일 실시 예에 의한 장치(800)는 전화, 모바일 폰 등을 포함하는 음성통신 전용단말, TV, MP3 플레이어 등을 포함하는 방송 혹은 음악 전용장치, 혹은 음성통신 전용단말과 방송 혹은 음악 전용장치의 융합 단말장치가 포함될 수 있으나, 이에 한정되는 것은 아니다. 또한, 장치(800)는 클라이언트, 서버 혹은 클라이언트와 서버 사이에 배치되는 변환기로서 사용될 수 있다.
도 8을 참조하면, 장치(800)는 수신부(810), 제어부(820) 및 스피커(830)를 포함할 수 있다.
수신부(810)는 복원할 오디오 신호를 획득할 수 있다. 오디오 신호는 시간 도메인의 PCM(Pulse Code Modulation) 신호일 수 있다. 인코딩된 오디오 신호는 디코딩됨으로써 PCM 신호로 변환될 수 있다.
수신부(810)는 무선 인터넷, 무선 인트라넷, 무선 전화망, 무선 랜(LAN), 와이파이(Wi-Fi), 와이파이 다이렉트(WFD, Wi-Fi Direct), 3G(Generation), 4G(4 Generation), 블루투스(Bluetooth), 적외선 통신(IrDA, Infrared Data Association), RFID(Radio Frequency Identification), UWB(Ultra WideBand), 지그비(Zigbee), NFC(Near Field Communication)와 같은 무선 네트워크 또는 유선 전화망, 유선 인터넷과 같은 유선 네트워크를 통해 외부 기기와 데이터를 송수신할 수 있도록 구성될 수 있다.
제어부(820)는 수신부(810)에 의해 수신된 오디오 신호를 복원할 수 있다. 제어부(820)는 시간 도메인의 오디오 신호를 주파수 도메인의 신호로 변환하고, 주파수의 에너지값에 기초하여, 손실된 주파수 대역을 검출할 수 있다. 제어부(820)는 손실된 주파수 대역에 기초하여 컷오프 주파수를 결정하고, 컷오프 주파수에 기초하여 손실된 주파수 대역의 오디오 신호를 복원할 수 있다.
제어부(820)는 컷오프 주파수를 기준으로 손실되지 않은 주파수 대역의 오디오 신호를 이용하여 손실된 주파수 대역의 오디오 신호를 복원할 수 있다. 제어부(820)는 시프트 또는 폴딩 등의 복사 기법을 이용하여 손실된 주파수 대역의 크기를 복원할 수 있다. 또한, 제어부(820)는 위상의 불연속성을 해소하기 위해, 복원하는데 이용된 주파수 대역의 오디오 신호에 기초하여 복원된 주파수 대역의 위상 값을 조정할 수 있다.
스피커(830)는 제어부(820)에 의해 복원된 오디오신호를 외부로 출력할 수 있다.
한편, 장치(800)가 예를 들어 모바일 폰인 경우, 도시되지 않았지만 키패드 등과 같은 유저 입력부, 유저 인터페이스 혹은 모바일 폰에서 처리되는 정보를 디스플레이하는 디스플레이부, 모바일 폰의 전반적인 기능을 제어하는 프로세서를 더 포함할 수 있다. 또한, 모바일 폰은 촬상 기능을 갖는 카메라부와 모바일 폰에서 필요로 하는 기능을 수행하는 적어도 하나 이상의 구성요소를 더 포함할 수 있다.
한편, 장치(800)가 예를 들어 TV인 경우, 도시되지 않았지만 키패드 등과 같은 유저 입력부, 수신된 방송정보를 디스플레이하는 디스플레이부, TV의 전반적인 기능을 제어하는 프로세서를 더 포함할 수 있다. 또한, TV는 TV에서 필요로 하는 기능을 수행하는 적어도 하나 이상의 구성요소를 더 포함할 수 있다.
일 실시 예에 의하면, 오디오 신호의 손실된 주파수 영역을 복원함으로써 오디오 신호의 음질을 향상시킬 수 있다.
일부 실시 예에 의한 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.

Claims (15)

  1. 오디오 신호를 복원하는 방법에 있어서,
    상기 오디오 신호의 주파수별 에너지 값에 기초하여, 손실된 주파수 대역을 검출하는 단계;
    상기 손실된 주파수 대역에 기초하여, 컷오프 주파수를 구하는 단계;
    상기 컷오프 주파수에 기초하여, 복원에 이용될 주파수 대역을 설정하는 단계;
    상기 설정된 주파수 대역의 오디오 신호를 이용하여, 상기 손실된 주파수 대역의 오디오 신호를 복원하는 단계를 포함하고,
    상기 복원하는 단계는
    상기 설정된 주파수 대역에 포함된 제1 주파수 값에 대한 오디오 신호에 기초하여, 상기 손실된 주파수 대역에 포함된 제2 주파수 값에 대한 오디오 신호가 복원되는 경우, 상기 제1 주파수 값과 상기 제2 주파수 값 간의 비율을 결정하는 단계;
    상기 결정된 비율에 기초하여, 상기 제2 주파수 값의 오디오 신호에 대한 단위 시간당 위상이 변화되는 정도를 결정하는 단계; 및
    상기 결정된 위상의 변화 정도에 기초하여, 상기 복원된 제2 주파수 값에 대한 오디오 신호의 위상이 불연속적인 영역에서, 상기 오디오 신호의 위상이 연속적이도록, 상기 제2 주파수 값의 오디오 신호에 대한 위상을 조정하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 검출하는 단계는
    상기 오디오 신호를 주파수 도메인의 신호로 변환하는 단계;
    상기 주파수 도메인의 오디오 신호에서, 단위 주파수 당 에너지가 감소되는 양이 제1 기준값 이상인 주파수 대역을 검출하는 단계;
    상기 검출된 주파수 대역에 기초하여, 에너지 값의 대표값이 제2 기준값 이하인 구간을 상기 손실된 주파수 대역으로 검출하는 단계를 포함하는, 방법.
  3. 삭제
  4. 제1항에 있어서, 상기 복원하는 단계는
    상기 설정된 주파수 대역의 신호 특성을 분석하는 단계;
    상기 분석된 신호 특성에 기초하여, 상기 손실된 주파수 대역의 신호 특성을 추정하는 단계;
    상기 추정된 신호 특성에 기초하여, 상기 손실된 주파수 대역의 크기를 조정하는 단계를 포함하는, 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 컷오프 주파수는 소정 시간 단위로 결정되고,
    상기 손실된 주파수 대역의 오디오 신호는 상기 소정 시간 단위로 컷오프 주파수에 기초하여 복원되는, 방법.
  8. 제1항에 있어서, 상기 컷오프 주파수를 결정하는 단계는
    상기 검출된 주파수 대역에 기초하여 결정된 컷오프 주파수가 복수개 존재하는 경우, 상기 결정된 컷오프 주파수 값 중 가장 큰 값을 상기 컷오프 주파수로 결정하는 단계를 포함하는, 방법.
  9. 오디오 신호를 복원하는 장치에 있어서,
    상기 오디오 신호를 획득하는 수신부;
    상기 오디오 신호의 주파수별 에너지 값에 기초하여, 손실된 주파수 대역을 검출하고, 상기 손실된 주파수 대역에 기초하여, 컷오프 주파수를 구하고, 상기 컷오프 주파수에 기초하여, 복원에 이용될 주파수 대역을 설정하고, 상기 설정된 주파수 대역의 오디오 신호를 이용하여, 상기 손실된 주파수 대역의 오디오 신호를 복원하는 제어부; 및
    상기 복원된 오디오 신호를 출력하는 스피커를 포함하고,
    상기 제어부는, 상기 설정된 주파수 대역에 포함된 제1 주파수 값에 대한 오디오 신호에 기초하여, 상기 손실된 주파수 대역에 포함된 제2 주파수 값에 대한 오디오 신호가 복원되는 경우, 상기 제1 주파수 값과 상기 제2 주파수 값 간의 비율을 결정하고,
    상기 결정된 비율에 기초하여, 상기 제2 주파수 값의 오디오 신호에 대한 단위 시간당 위상이 변화되는 정도를 결정하고,
    상기 결정된 위상의 변화 정도에 기초하여, 상기 복원된 제2 주파수 값에 대한 오디오 신호의 위상이 불연속적인 영역에서, 상기 오디오 신호의 위상이 연속적이도록, 상기 제2 주파수 값의 오디오 신호에 대한 위상을 조정하는, 장치.
  10. 제9항에 있어서, 상기 제어부는
    상기 오디오 신호를 주파수 도메인의 신호로 변환하고, 상기 주파수 도메인의 오디오 신호에서, 단위 주파수 당 에너지가 감소되는 양이 제1 기준값 이상인 주파수 대역을 검출하고, 상기 검출된 주파수 대역에 기초하여, 에너지 값이 제2 기준값 이하인 구간을 상기 손실된 주파수 대역으로 검출하는, 장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제9항에 있어서, 상기 제어부는
    상기 검출된 주파수 대역에 기초하여 결정된 컷오프 주파수가 복수개 존재하는 경우, 상기 결정된 컷오프 주파수 값 중 가장 큰 값을 상기 컷오프 주파수로 결정하는, 장치.
  15. 오디오 신호의 대역폭을 확장하는 방법에 있어서,
    제1 대역폭의 오디오 신호를 제2 대역폭의 오디오 신호로 확장하는 단계;
    상기 제1 대역폭에 포함된 제1 주파수 값에 대한 오디오 신호에 기초하여, 상기 제2 대역폭에 포함된 제2 주파수 값에 대한 오디오 신호가 복원되는 경우, 상기 제1 주파수 값과 상기 제2 주파수 값 간의 비율을 결정하는 단계;상기 결정된 비율에 기초하여, 상기 제2 주파수 값의 오디오 신호에 대한 단위 시간당 위상이 변화되는 정도를 결정하는 단계; 및
    상기 결정된 위상의 변화 정도에 기초하여,상기 복원된 제2 주파수 값에 대한 오디오 신호의 위상이 불연속적인 영역에서, 상기 오디오 신호의 위상이 연속적이도록, 상기 제2 주파수 값의 오디오 신호에 대한 위상을 조정하는 단계를 포함하는, 방법.
KR1020177010269A 2014-11-07 2015-10-08 오디오 신호를 복원하는 방법 및 장치 KR102033603B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462076727P 2014-11-07 2014-11-07
US62/076,727 2014-11-07
PCT/KR2015/010665 WO2016072628A1 (ko) 2014-11-07 2015-10-08 오디오 신호를 복원하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20170065545A KR20170065545A (ko) 2017-06-13
KR102033603B1 true KR102033603B1 (ko) 2019-10-17

Family

ID=55909318

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177010269A KR102033603B1 (ko) 2014-11-07 2015-10-08 오디오 신호를 복원하는 방법 및 장치

Country Status (4)

Country Link
US (1) US10460736B2 (ko)
KR (1) KR102033603B1 (ko)
CN (1) CN107077849B (ko)
WO (1) WO2016072628A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024085551A1 (ko) * 2022-10-16 2024-04-25 삼성전자주식회사 패킷 손실 은닉을 위한 전자 장치 및 방법

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077849B (zh) * 2014-11-07 2020-09-08 三星电子株式会社 用于恢复音频信号的方法和设备
KR20180056032A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 신호 처리 프로세서 및 신호 처리 프로세서의 제어 방법
US10733998B2 (en) 2017-10-25 2020-08-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to identify sources of network streaming services
US10629213B2 (en) 2017-10-25 2020-04-21 The Nielsen Company (Us), Llc Methods and apparatus to perform windowed sliding transforms
KR102648122B1 (ko) * 2017-10-25 2024-03-19 삼성전자주식회사 전자 장치 및 그 제어 방법
US10726852B2 (en) 2018-02-19 2020-07-28 The Nielsen Company (Us), Llc Methods and apparatus to perform windowed sliding transforms
US11049507B2 (en) 2017-10-25 2021-06-29 Gracenote, Inc. Methods, apparatus, and articles of manufacture to identify sources of network streaming services
CN107863095A (zh) 2017-11-21 2018-03-30 广州酷狗计算机科技有限公司 音频信号处理方法、装置和存储介质
CN108156575B (zh) 2017-12-26 2019-09-27 广州酷狗计算机科技有限公司 音频信号的处理方法、装置及终端
CN108156561B (zh) 2017-12-26 2020-08-04 广州酷狗计算机科技有限公司 音频信号的处理方法、装置及终端
CN109147805B (zh) * 2018-06-05 2021-03-02 安克创新科技股份有限公司 基于深度学习的音频音质增强
CN109036457B (zh) * 2018-09-10 2021-10-08 广州酷狗计算机科技有限公司 恢复音频信号的方法和装置
CN109887515B (zh) * 2019-01-29 2021-07-09 北京市商汤科技开发有限公司 音频处理方法及装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100663379B1 (ko) * 2005-08-29 2007-01-02 주식회사 레인콤 멀티미디어용 휴대기기 오디오의 음질 향상 시스템 및 그향상 방법
KR100717058B1 (ko) * 2005-11-28 2007-05-14 삼성전자주식회사 고주파 성분 복원 방법 및 그 장치
JP2008122597A (ja) 2006-11-10 2008-05-29 Sanyo Electric Co Ltd オーディオ信号処理装置及びオーディオ信号処理方法
WO2014012391A1 (zh) 2012-07-18 2014-01-23 华为技术有限公司 一种语音数据丢包的补偿方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6704711B2 (en) 2000-01-28 2004-03-09 Telefonaktiebolaget Lm Ericsson (Publ) System and method for modifying speech signals
US20020016698A1 (en) * 2000-06-26 2002-02-07 Toshimichi Tokuda Device and method for audio frequency range expansion
US7447631B2 (en) * 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
KR100608062B1 (ko) * 2004-08-04 2006-08-02 삼성전자주식회사 오디오 데이터의 고주파수 복원 방법 및 그 장치
EP1686565B1 (en) * 2005-01-31 2007-05-02 Harman Becker Automotive Systems GmbH Bandwidth extension of bandlimited speech data
CN101160725A (zh) * 2005-04-13 2008-04-09 弗劳恩霍夫应用研究促进协会 确保最大比特率的无损信息编码
KR100851970B1 (ko) * 2005-07-15 2008-08-12 삼성전자주식회사 오디오 신호의 중요주파수 성분 추출방법 및 장치와 이를이용한 저비트율 오디오 신호 부호화/복호화 방법 및 장치
JP2007043295A (ja) * 2005-08-01 2007-02-15 D & M Holdings Inc 増幅装置及び振幅周波数特性調整方法
US8295507B2 (en) * 2006-11-09 2012-10-23 Sony Corporation Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium
US7761290B2 (en) * 2007-06-15 2010-07-20 Microsoft Corporation Flexible frequency and time partitioning in perceptual transform coding of audio
WO2009110751A2 (ko) * 2008-03-04 2009-09-11 Lg Electronics Inc. 오디오 신호 처리 방법 및 장치
JP5715514B2 (ja) * 2011-07-04 2015-05-07 日本放送協会 オーディオ信号ミキシング装置およびそのプログラム、ならびに、オーディオ信号復元装置およびそのプログラム
RU2612603C2 (ru) * 2011-08-19 2017-03-09 Александр ЖИРКОВ Способ многоструктурных, многоуровневых формализации и структурирования информации и соответствующее устройство
JP5737077B2 (ja) * 2011-08-30 2015-06-17 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
KR101897455B1 (ko) * 2012-04-16 2018-10-04 삼성전자주식회사 음질 향상 장치 및 방법
WO2014185569A1 (ko) * 2013-05-15 2014-11-20 삼성전자 주식회사 오디오 신호의 부호화, 복호화 방법 및 장치
JP6157926B2 (ja) * 2013-05-24 2017-07-05 株式会社東芝 音声処理装置、方法およびプログラム
WO2015077641A1 (en) * 2013-11-22 2015-05-28 Qualcomm Incorporated Selective phase compensation in high band coding
CN107077849B (zh) * 2014-11-07 2020-09-08 三星电子株式会社 用于恢复音频信号的方法和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100663379B1 (ko) * 2005-08-29 2007-01-02 주식회사 레인콤 멀티미디어용 휴대기기 오디오의 음질 향상 시스템 및 그향상 방법
KR100717058B1 (ko) * 2005-11-28 2007-05-14 삼성전자주식회사 고주파 성분 복원 방법 및 그 장치
JP2008122597A (ja) 2006-11-10 2008-05-29 Sanyo Electric Co Ltd オーディオ信号処理装置及びオーディオ信号処理方法
WO2014012391A1 (zh) 2012-07-18 2014-01-23 华为技术有限公司 一种语音数据丢包的补偿方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yong-tao SHA, et al. High frequency reconstruction of audio signal based on chaotic prediction theory. 2010 IEEE International Conference on Acoustics Speech and Signal Processing (ICASSP). 2010.03.14*

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024085551A1 (ko) * 2022-10-16 2024-04-25 삼성전자주식회사 패킷 손실 은닉을 위한 전자 장치 및 방법

Also Published As

Publication number Publication date
US20170337926A1 (en) 2017-11-23
CN107077849B (zh) 2020-09-08
WO2016072628A1 (ko) 2016-05-12
CN107077849A (zh) 2017-08-18
KR20170065545A (ko) 2017-06-13
US10460736B2 (en) 2019-10-29

Similar Documents

Publication Publication Date Title
KR102033603B1 (ko) 오디오 신호를 복원하는 방법 및 장치
JP6133263B2 (ja) 携帯機器内でオーディオ信号のラウドネスを非破壊的に正規化するシステムおよび方法
US10074373B2 (en) Channel adjustment for inter-frame temporal shift variations
US10672409B2 (en) Decoding device, encoding device, decoding method, and encoding method
JP5633431B2 (ja) オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
JP6608380B2 (ja) 耐雑音性を改良した通信システム、方法および装置
JP5232121B2 (ja) 信号処理装置
WO2014192675A1 (ja) 信号処理装置及び信号処理方法
US10872611B2 (en) Selecting channel adjustment method for inter-frame temporal shift variations
US9312893B2 (en) Systems, methods and devices for electronic communications having decreased information loss
JP7316093B2 (ja) 音声雑音除去装置及びプログラム
US20160344902A1 (en) Streaming reproduction device, audio reproduction device, and audio reproduction method
US20200051576A1 (en) Signal processing apparatus, signal processing method, and program
JP6439843B2 (ja) 信号処理装置および方法、並びにプログラム
WO2020149227A1 (ja) 復号装置、復号方法、及びプログラム
JP2015106753A (ja) 復調装置、音響伝送システム、プログラム及び復調方法
KR20100062063A (ko) 오디오 신호 디코딩 방법, 이를 적용한 오디오 디코더, 기록매체 및 ａｖ 기기
JP2015227912A (ja) オーディオ符号化装置、および方法
JP2009103974A (ja) マスキングレベル算出装置、符号化装置、マスキングレベル算出方法およびマスキングレベル算出プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)