KR100731300B1

KR100731300B1 - 인터넷전화의 음악 음질 개선 시스템 및 그 방법

Info

Publication number: KR100731300B1
Application number: KR1020050093985A
Authority: KR
Inventors: 김성원; 조남익; 박상윤; 이상헌
Original assignee: 재단법인서울대학교산학협력재단; 주식회사 어니언텍
Priority date: 2005-10-06
Filing date: 2005-10-06
Publication date: 2007-06-25
Also published as: KR20070038736A

Abstract

본 발명은 VoIP 환경하에서 음악 서비스시 발생하는 음악의 열화를 최대한 억제하여 음질 향상을 도모하도록 한 인터넷전화의 음악 음질 개선시스템에 관한 것으로서, 이러한 본 발명은, 입력 PCM 음원과 변환된 VoIP 패킷 음원을 조합하여 변환시 유입된 잡음 제거를 위한 계수를 추출하여 헤더 정보를 인코딩한 후 VoIP 패킷을 전송하는 VoIP 패킷 송신 과정과, 송신된 VoIP 패킷을 수신하여 복원하고, 그 복조한 헤더 정보에서 추출한 필터 계수로 복원된 음원을 필터링하여 VoIP 패킷으로 인코딩시 유입된 잡음을 제거하는 VoIP 패킷 수신 과정으로 VoIP 패킷을 처리함으로써, 음악 음질의 개선이 가능하다.

VoIP, 음악 음질 개선, 음악 열화 억제, LMS필터

Description

인터넷전화의 음악 음질 개선 시스템 및 그 방법{MUSIC QUALITY IMPROVEMENT SYSTEM OF VOICE OVER INTERNET PROTOCOL AND METHOD THEREOF}

도 1은 본 발명에 의한 인터넷전화의 음악 음질 개선 시스템의 구성을 보인 블록도.

도 2는 도 1에 도시된 음원 전처리부의 일 실시 예 구성을 보인 블록도.

도 3은 도 1에 도시된 음원 후처리부의 일 실시 예 구성을 보인 블록도.

도 4는 도 2에 도시된 LMS 필터부의 일 실시 예 구성을 보인 블록도.

도 5는 본 발명에 의한 인터넷전화의 음악 음질 개선 방법중 송신단의 음원 처리 방법을 도시한 흐름도.

도 6은 본 발명에 의한 인터넷전화의 음악 음질 개선 방법 중 수신단의 음원 처리 방법을 도시한 흐름도.

도 7은 본 발명에서 음질 개선 테스트 방법을 설명하기 위한 설명도.

<도면의 주요 부분에 대한 부호의 설명>

100… 송신 VoIP 보코더

200… 음원 전처리부

210… LMS 필터부

220… 필터 계수 코딩부

300… 수신 VoIP 보코더

400… 음원 후처리부

410… 필터계수 복원부

420… 필터링부

본 발명은 인터넷전화(VoIP: Voice over Internet Protocol)의 음악 음질 개선에 관한 것으로서, 더욱 상세하게는 VoIP 환경하에서 음악 서비스시 발생하는 음악의 열화를 최대한 억제하여 음질 향상을 도모하도록 한 인터넷전화의 음악 음질 개선시스템에 관한 것이다.

최근 전 세계적으로 인터넷 서비스 사업자들에 의한 인터넷 망을 이용하여 저렴한 가격으로 전화 서비스를 제공하는 VoIP기술 개발이 활발해지고 있다. VoIP란 지금까지 PSTN 네트워크를 통해 이루어졌던 음성 서비스를 인터넷 프로토콜(Internet Protocol)이라는 것을 이용해 여러 가지 다양한 서비스를 제공하는 기술을 말한다. 이렇게 IP망을 이용함으로써 기존의 전화망에서 하지 못했던 많은 서비스가 이루어지고 있으며, 대표적인 응용들로서는 웹 콜센터, 인스턴스 메시지(Instance message), CTI(Computer Telephony Integration), UMS(Unified Messaging System) 등을 들 수 있으며, 현재도 다양한 응용들을 서비스하려고 시도하고 있다. 이런 VoIP기술이 확립이 되고 나면 기존 PSTN방식의 전화 대체가 가속화되고, 그에 따라 VoIP기술 기반에서의 신규 음성서비스에 대한 개발 열기 또한 치열해 질 것이다. 이런 기술 개발의 일환으로 휴대폰에서 사용되었던 통화 연결음 서비스를 VoIP기술에서도 확장할 수 있을 것이다.

VoIP에서는 인터넷을 통해 IP 패킷에 사람의 음성을 담아 보내게 되는데, 인터넷 망에서 전화가 가능하기 위해서는 데이터들이 실시간으로 전송될 수가 있어야 한다. 이를 위해서 음성 신호를 압축해서 보내게 되는데, 인터넷 망 상에서 전화가 가능할 정도로 압축하기 위해서는 매우 높은 압축률을 가지는 음성 코덱(voice codec)을 사용하여야 한다. 이를 위해서 사용하는 음성 코덱의 대표적인 예로는 G.723.1이나 G.729가 있다.

G.723.1을 예로 들면 다중 링크 통신 규약(MP)에 정의된 MP-MLQ나 ACELP라는 방식을 이용하여 음성을 6.3kbps 또는 5.3kbps로 압축하게 된다. MP-MLQ나 ACELP라는 방식은 분석 합성(analysis by synthesis) 방식으로 미리 정의된 코드북에서 현재 보내어지게 될 신호와 가장 가까운 신호를 보내게 된다.

즉, G.723.1에서는 음성을 240개의 샘플(sample)로 이루어진 프레임(frame)과 그 프레임(frame) 내에서 120개의 샘플로 이루어진 블록(block), 그리고 그것들이 각각 60개의 샘플로 나누어진 서브-블록(sub-block) 단위로 나누어서 압축을 수행하게 된다. 우선, 240개의 프레임을 읽고 그것을 4개의 서브-프레임으로 나눈 후 각각에 대하여 선형 예측 분석(Linear Prediction Analysis)을 하게 된다. 그 후 그것들을 LSP(Line Spectral Pair)로 양자화한 후에, 제일 마지막 서브-블록의 결과만 보내게 된다. 디코더(Decoder) 단에서는 마지막 서브-블록의 결과들만을 가지고 보간(interpolation)을 이용하여 모든 서브-블록의 LPC 계수들을 복원하게 된다. 그 후, 120개의 블록 단위로 피치(pitch)를 추정(estimation)하여 피치의 위치를 찾고, 분석 합성(Analysis by Synthesis) 방법으로 미리 정의되어 있는 excitation의 위치와 이전 프레임으로부터 얻을 수 있는 정보로 예측 값을 찾게 된다. 이런 방식으로 코딩(Coding)이 수행되기 때문에 엄청난 압축률을 보이며, 음성의 경우에는 거의 열화 현상 없이 낮은 비트율(low bit rate)로 전송이 가능하다.

그러나 주지한 G.723.1 코덱의 특성은 사람의 음성일 경우 뛰어난 성능을 보이지만 그 외의 신호에 대해서는 좋지 않은 성능을 보이게 된다. 이것은 제한된 코드 북을 사용함으로써 생기는 문제인데, 코드 북이 사람의 음성을 모델링 한 것이기 때문에 그 외의 신호들에 대해서는 불일치(mismatch)가 자주 발생하게 되고, 이는 음악의 경우 마치 잡음이 끼인 것처럼 들리게 하는 영향을 미친다.

이런 문제 때문에 실제로 통화 연결음 서비스를 제공할 시 음악 품질이 매우 나빠지므로 음악 품질 개선을 위한 알고리즘 개발이 요구되게 된다.

이에 본 발명은 상기와 같은 종래 VoIP에서 음악 전송시 발생하는 음악 음질 열화 현상을 개선하기 위해서 제안된 것으로서,

본 발명의 목적은, VoIP 환경하에서 음악 서비스시 발생하는 음악의 열화를 최대한 억제하여 음질 향상을 도모하도록 한 인터넷전화의 음악 음질 개선시스템을 제공하는 데 있다.

본 발명의 다른 목적은, LMS 필터링을 이용한 잡음 제거 방법을 토대로 후처리 과정을 이용하여 음악의 품질을 개선하도록 한 인터넷전화의 음악 음질 개선시스템을 제공하는 데 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 "인터넷전화의 음악 음질 개선시스템"은,

인터넷 망을 통해 음악을 서비스해주는 인터넷전화의 음악 시스템에 있어서,

입력 음원(PCM)을 인터넷 전화 음원으로 압축하며, 후술되는 음원 전처리부에서 출력되는 코딩된 헤더 정보를 VoIP 패킷에 포함시켜 송신하는 송신 인터넷전화 보코더와;

송신 인터넷전화 보코더에 의해 압축된 인터넷전화 음원과 입력 음원을 조합하여 잡음 제거를 위한 필터 계수를 추출하고, 그 추출한 필터 계수로 헤더 정보를 코딩하여 상기 송신 인터넷전화 보코더에 전달하는 음원 전처리부와;

송신 인터넷전화 보코더에서 송신된 IP 패킷을 수신하여 PCM 음원과 헤더 정보를 복조하는 수신 인터넷전화 보코더와;

복조된 헤더정보로부터 필터계수를 추출하고 그 추출한 필터계수로 복조된 음원을 필터링하여 IP 패킷 압축시 유입된 잡음을 제거한 음악을 출력하는 음원 후 처리부를 포함하여 구성됨을 특징으로 한다.

또한, 본 발명의 음원 전처리부는, 송신 인터넷전화 보코더에 의해 압축된 인터넷전화 음원과 입력 음원을 조합하여 잡음 제거를 위한 필터 계수를 추출하는 LMS(Least-Mean-Square) 필터부와, 상기 추출한 필터 계수로 헤더 정보를 인코딩하는 필터계수 코딩부를 구비한다.

또한, 본 발명의 음원 후처리부는, 수신 인터넷전화 보코더에서 복조된 헤더정보로부터 필터계수를 추출하는 필터계수 복원부와, 추출한 필터계수로 복조된 PCM 음원을 필터링하여 IP 패킷 압축시 유입된 잡음을 제거하는 필터링부를 구비한다.

또한, 상기와 같은 목적을 달성하기 위한 본 발명에 따른 "인터넷전화의 음악 음질 개선방법"은,

인터넷 망을 통해 음악을 서비스해주는 인터넷전화의 음악 시스템을 이용하여 인터넷전화의 음악 음질을 개선하는 방법에 있어서,

입력 PCM 음원과 변환된 VoIP 패킷 음원을 조합하여 변환시 유입된 잡음 제거를 위한 계수를 추출하여 헤더 정보를 인코딩하고, 상기 헤더 정보가 계수로 인코딩된 VoIP 패킷을 전송하는 VoIP 패킷 송신 과정과;

송신된 VoIP 패킷을 수신하여 복원하고, 그 복조한 헤더 정보에서 추출한 필터 계수로 복원된 PCM 음원을 필터링하여 VoIP 패킷 인코딩시 유입된 잡음을 제거하는 VoIP 패킷 수신 과정을 포함하여 이루어짐을 특징으로 한다.

또한, 본 발명의 VoIP 패킷 송신 과정은,

입력 PCM 음원을 VoIP 패킷으로 인코딩하는 단계와;

입력 PCM 음원과 VoIP 패킷 음원을 조합하여 잡음 제거를 위한 필터 계수를 추출하는 단계와;

추출한 필터 계수로 헤더 정보를 인코딩하는 단계와;

상기 헤더 정보가 필터 계수로 인코딩된 VoIP 패킷을 전송하는 단계를 포함한다.

또한, 본 발명의 VoIP 패킷 수신 과정은,

인터넷망을 통해 VoIP 패킷을 수신하는 단계와;

수신한 VoIP 패킷을 원래의 신호로 복원하는 단계와;

복원한 VoIP 패킷의 헤더 정보로부터 잡음 제거를 위한 필터 계수를 추출하는 단계와;

추출한 필터 계수로 복원된 PCM 음원을 필터링하여 IP 패킷 인코딩시 유입된 잡음을 제거하는 단계와;

잡음이 제거된 PCM 음원을 출력하는 단계를 포함한다.

이하 상기와 같은 기술적 사상에 따른 본 발명의 바람직한 실시 예를 첨부한 도면에 의거 상세히 설명하면 다음과 같다.

도 1은 본 발명에 의한 인터넷전화의 음악 음질 개선 시스템의 구성을 보인 블록도이다.

이에 도시된 바와 같이, 입력 음원(PCM)을 인터넷 전화 음원으로 압축하며, 후술되는 음원 전처리부(200)에서 출력되는 코딩된 헤더 정보를 VoIP 패킷에 포함시켜 송신하는 송신 인터넷전화(VoIP) 보코더(100)가 구비된다. 송신 인터넷전화 보코더(100)는 실질적으로 최초 입력 PCM 음원을 VoIP 패킷으로 변환하는 인코딩 동작과 추출한 LMS 계수로 인코딩된 헤더 정보를 포함하는 VoIP 패킷을 송신하는 동작을 수행하는 것으로서, IP 패킷 송신시에는 인코딩 동작을 수행하고, IP 패킷 수신시에는 디코딩 동작을 수행하게 된다.
여기서 헤더 정보는 실질적인 VoIP 패킷 자체의 헤더는 아니며, 실제 음악 데이터가 아닌 수신단에서 LMS 필터 구축을 위한 부가 데이터의 의미이다. 예를 들면, VoIP 패킷은 VoIP 헤더 필드와 데이터가 실리는 데이터 필드로 구분할 수 있으며, 본 발명에서의 헤더 정보는 상기 데이터 필드에 실리는 데이터이며, 실제 음악 데이터와 구분하기 위해서 단순히 헤더 정보라고 표현한 것에 불과하다.

다음으로, 송신 인터넷전화 보코더(100)에 의해 압축된 인터넷전화 음원과 입력 음원을 조합하여 잡음 제거를 위한 필터 계수를 추출하고 헤더 정보를 인코딩하여 송신 인터넷전화 보코더(100)에 피이드백시키는 음원 전처리부(200)가 구비된다. 음원 전처리부(200)는 VoIP 환경하에서 음악 서비스시 발생하는 음악의 열화를 보상하기 위한 기능을 수행하게 된다.

또한, 송신 인터넷전화 보코더(100)에서 송신된 IP 패킷을 수신하여 PCM 음원과 필터 계수를 복조하는 수신 인터넷전화 보코더(300)가 구비된다. 수신 인터넷전화 보코더(300)는 VoIP 패킷을 수신하여 원래의 신호로 복조하는 역할을 수행하며, IP 패킷 수신시에는 디코딩 동작을 수행하게 되고, IP 패킷 송신시에는 인코딩 동작을 수행하게 된다.

다음으로, 수신 인터넷전화 보코더(300)에서 복조된 신호로부터 필터계수를 추출하고 그 추출한 필터계수로 복조된 PCM 음원을 필터링하여 IP 패킷 압축시 유입된 잡음을 제거한 음악을 출력하는 음원 후처리부(400)를 구비한다. 음원 후처리부(400)는 VoIP 환경하에서 음악 서비스를 하는 경우에도 음악의 열화를 방지해주는 역할을 수행한다.

이하 상기와 같이 구성되는 본 발명의 바람직한 실시 예의 동작을 상세히 설명하면 다음과 같다.

주지한 바와 같이 G.723.1 코덱의 특성은 사람의 음성일 경우 뛰어난 성능을 보이지만 그 외의 신호에 대해서는 좋지 않은 성능을 보이게 된다. 이것은 제한된 코드 북을 사용함으로써 생기는 문제인데, 코드 북이 사람의 음성을 모델링 한 것이기 때문에 그 외의 신호들에 대해서는 불일치(mismatch)가 자주 발생하게 되고, 이는 음악의 경우 마치 잡음이 끼인 것처럼 들리게 하는 영향을 미친다. 따라서 실제로 이것을 그대로 통화 연결음 서비스에 사용할 수는 없고 적절한 방법을 사용하여 잡음을 제거해야된다.

잡음 제거를 위하여 후처리(post-processing)와 전처리(pre-processing) 과정의 2가지 측면에서 그 해결책을 생각해 볼 수 있다.

본 발명에서는 VoIP에서 G.723.1 코덱(Codec)을 거쳐서 생기는 음악의 열화 현상을 잡음으로 규정하고 이 잡음을 제거하기 위하여 LMS(least-mean-square) 방법으로 잡음이 유입된 음악을 필터링하게 된다.

즉, 도 1에 도시된 바와 같이, 원본 음악(입력 PCM 음원)과 그 음악을 우리가 전송할 VoIP 시스템에서 사용될 G.723.1 코덱을 가지고 인코딩(encoding)을 하여서 얻어낸 음악을 입력으로 사용한다. G.723.1을 거친 음악은 음악 음질 개선을 위한 처리 없이 음악을 그냥 전송하였을 때 수신단에서 들리게 될 음악이다. 이 두 음악을 가지고 음원 전처리부(200)는 도 2에 도시된 바와 같이 LMS 필터부(210)내의 LMS 적응필터(211)와 감산기(212)를 이용하여 G.723.1 코덱을 거쳐서 생긴 잡음 을 제거할 수 있는 필터를 설계하게 된다. LMS 필터에서는 매 샘플마다 필터 계수가 업데이트 되는데 매 샘플마다 나오게 되는 모든 필터 계수를 전송할 수가 없으므로, 최종단에서 나오게 되는 필터 계수만으로도 잡음을 제거할 수 있다는 가정하에서 마지막 필터 계수만을 가지고 헤더(header) 정보를 코딩하게 된다. 즉, LMS 필터를 이용하여 얻은 최종 필터를 헤더로 하고 원본 음악을 데이터로 하는 파일을 새롭게 만든 후, 그 파일을 G.723.1 코덱을 거쳐서 보내고 디코더를 이용하여 헤더 정보를 디코딩하게 된다. 디코딩하여 얻어낸 헤더 정보를 이용하여 G.723.1을 거쳐서 만들어진 잡음이 내포된 음악을 필터링하게 된다.

LMS 필터를 살펴보면, LMS 방법에서는 잡음의 제거를 위하여 잡음이 없는 신호와 잡음이 들어간 신호를 LMS 적응 필터(adaptive filter)(211)를 이용하여 필터링한 결과값의 차이를 감산기(212)를 이용하여 최소화하게 된다.

즉, 도 4에 도시된 바와 같이, 매 샘플마다 원래의 신호와 그 신호에 잡음이 더해진 신호의 에러를 가지고, 그 에러를 최소화하는 필터를 설계하게 된다.

LMS 방법에서 필터 계수는 다음과 같은 [수학식1]에 의하여 업데이트 되게 된다.

은 n번째 스텝(step)의 필터 계수들을 의미하고, μ는 상수(0.5), u(n)은 G.723.1을 거친 음악 샘플을, 그리고 마지막으로 e*(n)은 원본에서 G.723.1을 거친 음악의 적응 필터를 거친 결과를 뺀 에러 신호를 의미한다.

즉, 매 샘플마다 원래의 신호와 G.723.1을 거친 신호가 설계된 적응 필터를 거친 후 나온 신호의 에러를 가지고 적응 필터의 계수를 업 데이트하면서 점점 그 오차를 줄여나가는 방식이 되는 것이다. 이렇게 하여 얻어지는 음악은 잡음이 제거된 깨끗한 음악이 나오게 된다.

이런 방식을 VoIP 시스템에 적용하기 위해서는 후처리 방법이 적용되어야 하며 이를 위해 단말기가 모든 음악에 대한 원본 음악이 있어야 한다는 가정이 성립하여야 한다. 이는 실제로는 불가능한 일이기 때문에 본 발명에서는 인코더에 음악을 넣기 전에 미리 필터 계수를 얻어내어서 그 필터 계수를 헤더 정보로 넣은 후 그것을 전송하여 필터링하는 방법을 사용하여야만 한다.

그런데 이러한 방법을 사용하게 된다면 매 샘플마다 다르게 업데이트되는 필터 계수들이 다 헤더 정보가 되어야 하며, 그렇게 된다면 헤더의 양이 무척 많아진다는 문제점이 발생하게 된다. 적응 필터의 탭(tap) 수를 60개로 매 샘플마다 그만큼의 정보가 더 보내져야 하므로, 데이터 양은 총 60배가 될 것이다. 실제로 이렇게 된다면 하나의 통화 연결음 서비스를 위하여 보내져야 하는 데이터 양은 엄청나게 되므로, G.723.1 코덱을 사용하여 압축한 것은 아무 의미가 없게 되어 버린다.

따라서, 본 발명에서는 매 샘플마다 얻어지는 필터계수들을 다 보내는 것이 아니라 전체 음악에 대하여 적응 필터링을 수행한 후 최종적으로 얻어지는 필터 계수만을 가지고 전체 음악을 필터링하는 방법을 사용한다.

최종 필터 계수를 이용한 방법만으로도 음악의 잡음을 상당히 줄일 수 있고 음악 자체에 큰 왜곡도 없기 때문에 상기의 방법을 사용할 수가 있다. 또한, 이런 방식이 되면 60개의 필터 계수만을 보내면 되기 때문에 헤더로 인해 소요되는 오버헤드(overhead)를 줄일 수가 있게 된다.

하지만, 이렇게 해도 문제점은 발생한다. 그 이유는 헤더로 들어가게 될 정보도 G.723.1 코덱을 거쳐야 하므로, 헤더에 들어가게 되는 정보에도 왜곡이 생기게 되는 것이다. 헤더에 들어가게 되는 정보는 음악을 필터링 할 때 쓰일 값이므로, 그 값에 심한 왜곡이 생기게 된다면 전체 음악 자체가 완전히 깨어지게 된다. 따라서, LMS 방법에 의한 음악의 잡음 감소 효과와 별도로 설계된 필터 계수를 무손실(lossless)로 보내는 방법 역시 고안되어야 한다.

G.723.1 코덱은 분석 합성 방법에 의하여 코딩되기 때문에 인코딩된 값과 디코딩된 후 복원된 값 사이에는 큰 차이가 발생하게 된다. 특히 코드북(Codebook) 자체가 음성 신호에 맞게 설계되어 있기 때문에 입력신호가 음성 신호가 아닐 경우 그 왜곡은 더욱 심해지게 된다. 따라서, 60개의 필터 계수를 단순히 연속적으로 보내게 된다면 그 값들은 다 원하던 값이 아닌 엉뚱한 값들로 디코딩될 것이다. 따라서, 본 발명에서는 60샘플로 구성된 서브-블록(sub-block) 내에서 특정 위치에 임펄스(impulse)를 보낼 경우, VoIP 보코더 인코딩/디코딩 후에 그 임펄스의 위치와 임펄스의 크기를 거의 왜곡 없이 찾을 수 있다는 실험적인 사실을 이용하여 필터 계수를 전송하게 된다. 실제로 실험을 해 보면 임펄스의 위치는 거의 오류 없이 찾아낼 수 있으며 진폭(amplitude)은 정확한 수치는 알 수 없지만 샘플 값 -2000 사이에서 2000 사이 정도의 오차 범위 내에서는 정확하게 그 크기를 찾아낼 수가 있 다.

이런 결과를 이용하여 필터 계수 코딩부(220)는 필터 계수를 60개 샘플로 이루어진 서브-블록 내의 임펄스의 위치와 진폭의 조합으로 표현하여서 필터 계수를 보내게 된다.

이 과정을 좀 더 자세하게 살펴보면 다음과 같다. 우선 필터 계수의 경우 실제로 나오는 값들은 -1과 1 사이의 소수 값을 가진다. G.723.1 코덱의 입력으로 들어갈 때는 이것이 정수형으로 캐스팅(casting) 되어야 하는데 정수형으로 캐스팅한 후에 다시 디코딩한 후 소수 값으로 캐스팅할 때 양자화 에러가 발생하게 된다. 실제로 코덱의 스펙(spec)내에서 정수형으로 캐스팅할 수 있는 최대 범위는 15비트이지만 실험적으로 8비트만 시프트하여도 양자화 에러에 의한 왜곡은 거의 없게 된다. 즉 원래의 소수 값에 256을 곱하여 전송하고 나중에 디코딩한 후 필터링을 할 때에는 256을 나누어서 필터링을 하게 되어도 음질엔 큰 변화가 없게 된다. 즉, 필터 계수를 256에서 -256 사이로만 표현을 할 수만 있으면 되기 때문에 총 512개의 샘플값을 유일(unique)하게 구별할 수 있어야 하고, 이것은 36개의 펄스 위치와 14개의 진폭 레벨로 충분히 구별이 가능하다.

즉, 송신 VoIP 보코더(100)는 우선 필터 계수에다가 256을 곱한 다음에 그 값을 7로 나눈 몫에 해당하는 위치에다가 펄스의 위치를 주고, 그 값을 7로 나눈 나머지에 해당하는 값을 각각의 진폭 레벨(amplitude level)로 잡아서 그 레벨에 해당하는 값을 부여하게 된다. 몫에 해당하는 부분에다가 펄스 위치를 주고 나머지에 해당하는 부분에다가 진폭 레벨을 매핑(mapping)하는 이유는 펄스의 위치보다는 펄스의 진폭이 나중에 디코딩을 할 때 오차가 발생할 가능성이 높기 때문에 최악의 경우에도 필터 계수 값의 에러가 1~2 정도에 그치게 하기 위함이다. 이 값들이 실제로 적용될 때에는 256으로 나누어지기 때문에 실제 필터링 값에서 이 정도의 오차는 큰 영향을 미치지 않게 된다. 간단히 이 과정을 수식적으로 표현하면 아래의 [수학식2]와 같다.

획득한 필터 계수가 필터[k]에 저장되었다고 가정한다.

Pulse_pos = abs(filter[k] * 256) / 7

Pulse_amp = abs(filter[k]* 256) % 7

상기와 같은 식을 이용하여 펄스 위치(Pulse_pos)와 펄스 진폭(Pulse_amp)의 값을 구한다. 펄스 위치 값에 의하여 60개의 서브블록 내의 몇 번째 샘플에서 임펄스(impulse)를 주게 될지를 결정한다. 다음 펄스 진폭은 다음 [표1]에 의하여 실제로 매핑되는 펄스의 진폭을 정해주게 된다.

	Filter[k] > 0	Filter[k]
Pulse_amp = 0	4000	-4000
Pulse_amp = 1	8000	-8000
Pulse_amp = 2	12000	-12000
Pulse_amp = 3	16000	-16000
Pulse_amp = 4	20000	-20000
Pulse_amp = 5	24000	-24000
Pulse_amp = 6	28000	-28000

펄스 진폭이나 펄스 위치를 구하는 과정에서 필터 계수 값이 양수인지 음수인지는 무시하였으나, 펄스-진폭을 실제 헤더(header)로 넣을 임펄스의 크기에 매핑 시킬 때는 [표1]과 같이 필터 계수의 부호에 따라 다르게 코딩 되게 한다.

간단히 예를 들어 0.25 라는 값을 코딩한다고 생각을 해 보자.

우선 0.25에다가 256을 곱하게 되면 64가 된다. 이를 7로 나누면 몫은 9이고 나머지는 1이 된다. 즉, Pulse_Pos = 9이고 Pulse_amp=1이 되므로 서브 블록(총 60 샘플로 구성) 내 9번째 위치에 4000의 크기를 가지는 임펄스를(그 외 샘플은 모두 0으로 구성) 주게 된다. 이런 식으로 헤더를 코딩하게 되면 추후 디코딩 단에서 큰 에러 없이 복원이 가능하다.

앞에서 인코딩된 음악은 G.723.1을 거친 후 헤더와 G.723.1을 거친 결과와 같은 구조를 가지게 된다. 앞 부분에는 필터 계수 값에 의하여 코딩된 헤더 정보가 G.723.1을 지나간 것이고 뒷부분은 원본 음악이 G.723.1을 거친 결과이다. 앞에서 G.723.1을 거친 잡음이 내포된 음악은 LMS 필터를 이용하여 잡음을 제거할 수 있고, 최종 단의 필터 계수만을 가지고도 큰 왜곡 없이 잡음이 없는 음악을 얻어낼 수 있다는 것을 확인하였다.

따라서 디코더 단에서는 헤더를 분석하여 필터 계수를 얻어내고, 얻어낸 필터 계수를 가지고 뒷부분의 G.723.1을 거친 결과물을 필터링하면 원하는 결과를 얻어낼 수가 있다.

즉, 음원 후처리부(400)의 필터계수 복원부(410)는 헤더 부분을 스캔하면서 매 서브-블록 60개 샘플 단위로, 샘플의 절대값이 최대가 되는 위치를 찾는다. 이 절대값의 최대값이 나타나는 위치와 그 값들 중 또 가장 큰 값을 가지는 위치를 펄스 위치(Pulse_pos)로, 그 절대값의 범위(range)에 따라서 펄스-진폭(Pulse_amp) 값을 얻어내게 된다. 펄스 범위에 따른 펄스 진폭의 값은 다음의 [표2]와 같다.

Peak Range	Pulse_amp
0 ~ 6000	0
6000 ~ 10000	1
10000 ~ 14000	2
14000 ~ 18000	3
18000 ~ 22000	4
22000 ~ 26000	5
26000 ~ 30000	6

상기 [표2]에 의하여 펄스 진폭을 찾은 후 펄스 위치 값에다가 7을 곱하고 펄스 진폭의 값만큼 더해주게 되면 원래의 필터 계수를 복원해 낼 수 있게 된다.

물론 절대값이 최대라고 찾은 지점이 실제로 음수라면 -7을 곱하고 펄스 진폭만큼 빼는 형식이 되어야 한다. 그래야 인코더쪽과 매칭이 된다.

이런 방식으로 총 60개의 필터 계수를 찾은 후 필터링부(420)에서 그 값을 256으로 나누어 주고 뒷부분 G.723.1을 거친 음악을 가지고 필터링해 주면 잡음이 제거된 음악을 얻어낼 수 있게 된다.

이때 헤더의 크기는 다음과 같다.

총 60개의 필터계수가 전송되며, 각각의 필터계수마다 60 샘플이 필요하므로 총 헤더의 크기는 3600 샘플이 된다. 입력 음원의 샘플링 레이트(rate)는 8,000이므로 결국, 디코딩 단에서는 0.45초의 지연이 발생하게 된다.

또한, 디코딩 필터의 식은 다음과 같은 [수학식3]과 같다.

f(k) : 복원된 필터 계수

s(n) : n번째 음악 샘플

d(n) : 필터링된 n번째 음악 샘플

도 5는 본 발명에 의한 인터넷전화의 음악 음질 개선 방법중 송신단의 음원 처리 방법을 도시한 흐름도이고, 도 6은 본 발명에 의한 인터넷전화의 음악 음질 개선 방법 중 수신단의 음원 처리 방법을 도시한 흐름도로서, 도면에서 S는 단계(Step)를 나타낸다.

이에 도시된 바와 같이, 입력 PCM 음원과 변환된 VoIP 패킷 음원을 조합하여 변환시 유입된 잡음 제거를 위한 계수를 추출하고, 그 추출한 계수로 헤더 정보를 인코딩하여 VoIP 패킷을 전송하는 VoIP 패킷 송신 과정(S01 ~ S107)과; 송신된 VoIP 패킷을 수신하여 복원하고, 그 복조한 헤더 정보에서 추출한 필터 계수로 복원된 PCM 음원을 필터링하여 VoIP 패킷 인코딩시 유입된 잡음을 제거하는 VoIP 패킷 수신 과정(S201 ~ S209)으로 이루어진다.

먼저, VoIP 패킷 송신 과정(S101 ~ S107)을 살펴보면 다음과 같다.

단계 S101에서 송신 VoIP 보코더(100)는 입력 PCM 음원을 VoIP 패킷으로 인코딩하게 되고, 단계 S103에서 음원 전처리부(200)는 입력 PCM 음원과 인코딩된 VoIP 패킷 음원을 조합하여 잡음 제거를 위한 필터 계수를 추출하게 된다. 이후 단계 S105에서 추출한 필터 계수로 헤더 정보를 인코딩하게 된다. 여기서 추출한 필터 계수로 헤더 정보를 인코딩하는 방법은, 필터 계수에다가 256을 곱한 다음에 그 값을 7로 나눈 몫에 해당하는 위치에다가 펄스의 위치를 설정하고, 그 값을 7로 나 눈 나머지에 해당하는 값을 각각의 진폭 레벨(amplitude level)로 설정하여서 그 레벨에 해당하는 값을 부여하는 방법을 통해 필터 계수로 헤더 정보를 인코딩하게 된다. 다음으로, 단계 S107에서 송신 VoIP 보코더(100)는 헤더 정보가 인코딩된 VoIP 패킷을 수신단으로 전송하게 된다.

다음으로, 수신단에서의 VoIP 패킷 수신 과정(S201 ~ S209)을 살펴보면 다음과 같다.

먼저, 단계 S201에서 수신 VoIP 보코더(300)는 인터넷망을 통해 VoIP 패킷을 수신하게 되고, 단계 S203에서 수신한 VoIP 패킷을 복원하게 된다. 이후 단계 S205에서 음원 후처리부(400)는 복원한 VoIP 패킷의 헤더 정보로부터 잡음 제거를 위한 필터 계수를 추출하게 된다. 여기서 필터 계수 추출 방법은, 복원된 VoIP 패킷의 헤더 부분을 스캔하면서 매 서브-블록 60개 샘플 단위로, 샘플의 절대값이 최대가 되는 위치를 찾게 되며, 이 절대값의 최대값이 나타나는 위치와 그 값들 중 가장 큰 값을 가지는 위치를 펄스 위치(Pulse_pos)로, 그 절대값의 범위(range)에 따라서 펄스-진폭(Pulse_amp) 값을 획득하게 되고, 획득한 펄스 위치 값에다가 7을 곱하고 그 결과에 펄스 진폭의 값을 가산하거나 감산하는 방법으로 원래의 필터 계수를 복원하게 된다. 다음으로, 단계 S207에서 추출한 필터 계수로 복원된 PCM 음원을 필터링하여 IP 패킷 인코딩시 유입된 잡음을 제거하게 되며, 단계 S209에서는 잡음이 제거된 PCM 음원을 출력하게 되는 것이다.

본 발명에 의한 음질 개선 여부를 확인하기 위한 실험 데이터로는, 각 장르별 46곡의 음악 데이터를 선정하였다. 데이터 형식은 모두 8Khz, 16bit, MONO 및 PCM 형식으로 40초의 길이를 갖는다. (GSM 음질개선 테스트 데이터 셋과 동일)

MOS(mean opinion score) 테스트: 음악의 음질 측정에 대한 확인은 사람이 귀로 듣고 판단하는 방법 외에는 존재하지 않는다. 즉, 사람이 느끼는 감정에 대한 평가로 음질에 대한 정량적 기준이 존재하지 않는다. 따라서, 도 7과 같이 본 발명에서 진행한 개선된 음원과 기존의 원 음원을 각각 G.723.1 코덱을 사용하여 인코딩/디코딩 후의 최종 음원을 사람이 듣고 비교 테스트하는 MOS 방법으로 본 발명에 대한 성능을 측정하였다.

여기서 참조부호 501은 원음, 502는 개선된 음, 510은 G.723.1 코덱, 511은 인코더, 512는 디코더, 503은 원음 결과, 504는 개선된 음 결과를 각각 나타낸다.

MOS 테스트 점수는 아래의 [표3]과 같다.

음질	매우 나쁨	나쁨	보통	좋음	매우 좋음
Score	1	2	3	4	5

테스트 참가자는 총 20명으로 연구 참여인원 4, 음악 작곡가 2 및 일반인 14명으로 구성되어 아래 [표4]와 같은 테스트 시트(Sheet)에 각각의 음원에 대한 음질에 대한 측정을 하였다. 이때, 테스트 참가자는 아래 Sub number 중 어느 것이 연구 결과인지 알지 못하게 함으로써 그 공정성을 기하였다.

MOS 테스트 결과

Test Music Number	sub number	Sound Quality
Test Music Number	sub number	Worst	Bad	not Bad	Good	Best
001	01
001	02
002	01
002	02
003	01
003	02
테스트 음원	장르	원곡 평균 점수	개선곡 평균 점수
001	멘트	3.00	3.67
002	발라드	2.67	3.67
003	댄스	2.33	3.67
004	댄스	2.33	3.67
005	댄스	3.00	3.33
006	연주곡	2.33	4.00
007	연주곡	2.33	3.67
008	발라드	2.33	3.00
009	발라드	2.67	3.00
010	연주곡	2.33	3.33
011	멘트	3.00	3.33
012	발라드	3.00	3.33
013	발라드	2.33	3.00
014	댄스	2.67	3.33
015	연주곡	2.67	3.00
016	댄스	2.33	2.67
017	연주곡	2.00	2.33
018	댄스	2.33	3.33
019	발라드	2.33	3.00
020	발라드	2.67	3.00
021	발라드	2.33	3.00
022	발라드	2.67	3.00
023	발라드	2.67	2.67
024	발라드	2.33	3.00
025	힙합	3.00	3.67
026	힙합	3.00	3.67
027	댄스	2.67	3.33
028	발라드	2.67	3.33
029	발라드	2.33	3.33
030	가스펠	2.33	2.67
031	멘트	3.33	3.00
032	멘트	3.67	3.67
033	멘트	3.00	3.33
034	댄스	2.67	3.33
035	멘트	3.00	3.67
036	멘트	2.67	3.67
037	멘트	2.67	3.33
038	멘트	3.00	2.67
039	멘트	2.67	3.33
040	멘트	2.67	3.33
041	힙합	2.33	3.00
042	연주곡	2.00	2.33
043	연주곡	2.33	3.33
044	발라드	3.00	3.00
045	힙합	2.33	3.33
046	힙합	2.33	3.00
평균		2.62	3.22

MOS 테스트 결과 원음의 경우 평균 2.62, 본 발명을 적용한 경우 3.22로 약 22%의 음질 개선 결과를 확인하였다.

전체적인 음질은, 기존 원음의 경우 삽입된 잡음이 많이 포함되어있지만 보다 풍부한 음량을 가지고 있으며, 개선음의 경우 원음의 잡음은 대부분 제거가 되었지만 특정 주파수 대역이 함께 소멸되어 음이 멀게 느껴지는 듯한 느낌을 갖게 되었다. 하지만, 음악 이외의 잡음을 거의 제거 함으로써, 실제 사람이 들을 때보다 편안하고, 좋은 느낌을 갖게 되어 음질개선의 효과를 확인하였다.

이상에서 상술한 본 발명에 따르면, VoIP 환경하에서 음악 서비스시 발생하는 음악의 열화를 최대한 억제할 수 있으므로, 음악 음질 향상을 도모해주는 효과가 있다.

또한, LMS 필터링을 이용한 잡음 제거 방법을 토대로 후처리 과정을 이용하여 음악의 품질을 개선할 수 있는 효과가 있다.

Claims

인터넷 망을 통해 음악을 서비스해주는 인터넷전화(VoIP)의 음악 시스템에 있어서,

입력 음원(PCM)을 인터넷 전화 음원으로 압축하며, 후술되는 음원 전처리부에서 출력되는 코딩된 헤더 정보를 VoIP 패킷에 포함시켜 송신하는 송신 인터넷전화 보코더와;

상기 송신 인터넷전화 보코더에 의해 압축된 인터넷전화 음원과 입력 음원을 조합하여 잡음 제거를 위한 필터 계수를 추출하고, 그 추출한 필터 계수로 헤더 정보를 코딩하여 상기 송신 인터넷전화 보코더에 전달하는 음원 전처리부와;

상기 송신 인터넷전화 보코더에서 송신된 IP 패킷을 수신하여 PCM 음원과 헤더 정보를 복조하는 수신 인터넷전화 보코더와;

상기 복조된 헤더정보로부터 필터계수를 추출하고 그 추출한 필터계수로 복조된 음원을 필터링하여 IP 패킷 압축시 유입된 잡음을 제거한 음악을 출력하는 음원 후처리부를 포함하여 구성됨을 특징으로 하는 인터넷전화의 음악 음질 개선 시스템.
제1항에 있어서, 상기 음원 전처리부는, 상기 송신 인터넷전화 보코더에 의해 압축된 인터넷전화 음원과 입력 음원을 조합하여 잡음 제거를 위한 필터 계수를 추출하는 LMS(Least-Mean-Square) 필터부와, 상기 추출한 필터 계수로 헤더 정보를 인코딩하는 필터계수 코딩부를 구비한 것을 특징으로 하는 인터넷전화의 음악 음질 개선 시스템.
제1항에 있어서, 상기 추출한 필터 계수로 헤더 정보를 인코딩하는 방법은,

상기 추출한 필터 계수에 256을 곱한 다음에 그 값을 7로 나눈 몫에 해당하는 위치에다가 펄스의 위치를 설정하고, 그 값을 7로 나눈 나머지에 해당하는 값을 각각의 진폭 레벨(amplitude level)로 설정하여서 그 레벨에 해당하는 값을 부여하는 방법을 통해 필터 계수로 헤더 정보를 코딩하는 것을 특징으로 하는 인터넷전화의 음악 음질 개선 시스템.
제1항에 있어서, 상기 음원 후처리부는, 수신 인터넷전화 보코더에서 복조된 헤더정보로부터 필터계수를 추출하는 필터계수 복원부와, 추출한 필터계수로 복조된 PCM 음원을 필터링하여 IP 패킷 압축시 유입된 잡음을 제거하는 필터링부를 구비한 것을 특징으로 하는 인터넷전화의 음악 음질 개선 시스템.
제4항에 있어서, 상기 필터계수 복원부는, 복원된 VoIP 패킷의 헤더 부분을 스캔하면서 매 서브-블록 60개 샘플 단위로, 샘플의 절대값이 최대가 되는 위치를 찾게 되며, 이 절대값의 최대값이 나타나는 위치와 그 값들 중 가장 큰 값을 가지는 위치를 펄스 위치(Pulse_pos)로, 그 절대값의 범위(range)에 따라서 펄스-진폭(Pulse_amp) 값을 획득하게 되고, 상기 획득한 펄스 위치 값에다가 7을 곱하고 그 결과에 펄스 진폭의 값을 가산하거나 감산하는 방법으로 원래의 필터 계수를 복원하는 것을 특징으로 하는 인터넷전화의 음악 음질 개선 시스템.
인터넷 망을 통해 음악을 서비스해주는 인터넷전화의 음악 시스템을 이용하여 인터넷전화의 음악 음질을 개선하는 방법에 있어서,

입력 PCM 음원과 변환된 VoIP 패킷 음원을 조합하여 변환시 유입된 잡음 제거를 위한 계수를 추출하고, 그 추출한 계수로 헤더 정보를 인코딩하여 VoIP 패킷을 전송하는 VoIP 패킷 송신 과정과;

상기 송신된 VoIP 패킷을 수신하여 복원하고, 그 복조한 헤더 정보에서 추출한 필터 계수로 복원된 음원을 필터링하여 VoIP 패킷으로 인코딩시 유입된 잡음을 제거하는 VoIP 패킷 수신 과정을 포함하여 이루어짐을 특징으로 하는 인터넷전화의 음악 음질 개선 방법.
제6항에 있어서, 상기 VoIP 패킷 송신 과정은,

입력 PCM 음원을 VoIP 패킷으로 인코딩하는 단계와;

상기 입력 PCM 음원과 VoIP 패킷 음원을 조합하여 잡음 제거를 위한 필터 계수를 추출하는 단계와;

상기 추출한 필터 계수로 헤더 정보를 인코딩하는 단계와;

상기 인코딩된 VoIP 패킷을 전송하는 단계로 이루어짐을 특징으로 하는 인터넷전화의 음악 음질 개선 방법.
제7항에 있어서, 상기 추출한 필터 계수로 헤더 정보를 인코딩하는 방법은,

필터 계수에다가 256을 곱한 다음에 그 값을 7로 나눈 몫에 해당하는 위치에다가 펄스의 위치를 설정하고, 그 값을 7로 나눈 나머지에 해당하는 값을 각각의 진폭 레벨(amplitude level)로 설정하여서 그 레벨에 해당하는 값을 부여하는 방법을 통해 필터 계수로 헤더 정보를 인코딩하는 것을 특징으로 하는 인터넷전화의 음악 음질 개선 방법.
제6항에 있어서, 상기 VoIP 패킷 수신 과정은,

인터넷망을 통해 VoIP 패킷을 수신하는 단계와;

상기 수신한 VoIP 패킷을 원래의 신호로 복원하는 단계와;

상기 복원한 VoIP 패킷의 헤더 정보로부터 잡음 제거를 위한 필터 계수를 추 출하는 단계와;

상기 추출한 필터 계수로 복원된 PCM 음원을 필터링하여 IP 패킷 인코딩시 유입된 잡음을 제거하는 단계와;

상기 잡음이 제거된 PCM 음원을 출력하는 단계로 이루어짐을 특징으로 하는 인터넷전화의 음악 음질 개선 방법.
제9항에 있어서, 상기 필터 계수 추출 방법은, 복원된 VoIP 패킷의 헤더 부분을 스캔하면서 매 서브-블록 60개 샘플 단위로, 샘플의 절대값이 최대가 되는 위치를 찾게 되며, 이 절대값의 최대값이 나타나는 위치와 그 값들 중 가장 큰 값을 가지는 위치를 펄스 위치(Pulse_pos)로, 그 절대값의 범위(range)에 따라서 펄스-진폭(Pulse_amp) 값을 획득하게 되고, 상기 획득한 펄스 위치 값에다가 7을 곱하고 그 결과에 펄스 진폭의 값을 가산하거나 감산하는 방법으로 원래의 필터 계수를 복원하는 것을 특징으로 하는 인터넷전화의 음악 음질 개선 방법.