KR101151746B1 - 오디오 신호용 잡음제거 방법 및 장치 - Google Patents

오디오 신호용 잡음제거 방법 및 장치 Download PDF

Info

Publication number
KR101151746B1
KR101151746B1 KR1020060000285A KR20060000285A KR101151746B1 KR 101151746 B1 KR101151746 B1 KR 101151746B1 KR 1020060000285 A KR1020060000285 A KR 1020060000285A KR 20060000285 A KR20060000285 A KR 20060000285A KR 101151746 B1 KR101151746 B1 KR 101151746B1
Authority
KR
South Korea
Prior art keywords
noise
channel
energy
snr
long term
Prior art date
Application number
KR1020060000285A
Other languages
English (en)
Other versions
KR20070072793A (ko
Inventor
김강열
강상기
손백권
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020060000285A priority Critical patent/KR101151746B1/ko
Publication of KR20070072793A publication Critical patent/KR20070072793A/ko
Application granted granted Critical
Publication of KR101151746B1 publication Critical patent/KR101151746B1/ko

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04B—GENERAL BUILDING CONSTRUCTIONS; WALLS, e.g. PARTITIONS; ROOFS; FLOORS; CEILINGS; INSULATION OR OTHER PROTECTION OF BUILDINGS
    • E04B2/00—Walls, e.g. partitions, for buildings; Wall construction with regard to insulation; Connections specially adapted to walls
    • E04B2/74—Removable non-load-bearing partitions; Partitions with a free upper edge
    • E04B2/7407—Removable non-load-bearing partitions; Partitions with a free upper edge assembled using frames with infill panels or coverings only; made-up of panels and a support structure incorporating posts
    • E04B2/7453—Removable non-load-bearing partitions; Partitions with a free upper edge assembled using frames with infill panels or coverings only; made-up of panels and a support structure incorporating posts with panels and support posts, extending from floor to ceiling
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04B—GENERAL BUILDING CONSTRUCTIONS; WALLS, e.g. PARTITIONS; ROOFS; FLOORS; CEILINGS; INSULATION OR OTHER PROTECTION OF BUILDINGS
    • E04B1/00—Constructions in general; Structures which are not restricted either to walls, e.g. partitions, or floors or ceilings or roofs
    • E04B1/38—Connections for building structures in general
    • E04B1/61—Connections for building structures in general of slab-shaped building elements with each other
    • E04B1/6108—Connections for building structures in general of slab-shaped building elements with each other the frontal surfaces of the slabs connected together
    • E04B1/612—Connections for building structures in general of slab-shaped building elements with each other the frontal surfaces of the slabs connected together by means between frontal surfaces
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04B—GENERAL BUILDING CONSTRUCTIONS; WALLS, e.g. PARTITIONS; ROOFS; FLOORS; CEILINGS; INSULATION OR OTHER PROTECTION OF BUILDINGS
    • E04B1/00—Constructions in general; Structures which are not restricted either to walls, e.g. partitions, or floors or ceilings or roofs
    • E04B1/62—Insulation or other protection; Elements or use of specified material therefor
    • E04B1/66—Sealings
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04C—STRUCTURAL ELEMENTS; BUILDING MATERIALS
    • E04C2/00—Building elements of relatively thin form for the construction of parts of buildings, e.g. sheet materials, slabs, or panels
    • E04C2/02—Building elements of relatively thin form for the construction of parts of buildings, e.g. sheet materials, slabs, or panels characterised by specified materials
    • E04C2/26—Building elements of relatively thin form for the construction of parts of buildings, e.g. sheet materials, slabs, or panels characterised by specified materials composed of materials covered by two or more of groups E04C2/04, E04C2/08, E04C2/10 or of materials covered by one of these groups with a material not specified in one of the groups
    • E04C2/284—Building elements of relatively thin form for the construction of parts of buildings, e.g. sheet materials, slabs, or panels characterised by specified materials composed of materials covered by two or more of groups E04C2/04, E04C2/08, E04C2/10 or of materials covered by one of these groups with a material not specified in one of the groups at least one of the materials being insulating
    • E04C2/292—Building elements of relatively thin form for the construction of parts of buildings, e.g. sheet materials, slabs, or panels characterised by specified materials composed of materials covered by two or more of groups E04C2/04, E04C2/08, E04C2/10 or of materials covered by one of these groups with a material not specified in one of the groups at least one of the materials being insulating composed of insulating material and sheet metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Noise Elimination (AREA)

Abstract

본 발명은 입력받은 오디오 신호의 잡음 제거에 관한 것으로, 특히 상기 입력받은 오디오 신호에서 오디오 구간과 잡음 구간을 구분하고 계산되어진 채널게인을 변환시켜 상기 오디오 구간과 상기 잡음 구간에 선별적으로 적용하는 방법 및 장치를 제공한다.
이러한 본 발명은 입력되는 오디오 신호를 오디오 구간과 잡음 구간으로 구분하여 상기 오디오 신호의 SNR 을 구하고, 상기 SNR 잡음의 평균으로서 스펙트럼 거리를 계산한다. 오디오 활성도 검출기는 상기 계산된 스펙트럼 거리에 따라 오디오 구간과 잡음 구간을 분류하고, 잡음 구간이라 판단되면 현재의 주변 잡음을 업데이트한다. 그리고 롱텀 에너지를 계산하여 롱텀 SNR 을 구한 후 채널게인 변환값을 구한다. 이후 잡음 제거장치는 상기 잡음구간이면 원래의 채널 게인값을 주파수영역의 오디오 신호에 곱하고, 상기 오디오 구간이면 상기 채널게인 변환값을 주파수 영역의 오디오 신호에 곱하여 잡음이 제거된 오디오 신호를 구한다. 이렇게 함으로써, 본 발명은 일률적인 게인 적용으로 인한 음질왜곡을 최소화 할 수 있는 이점이 있다.
잡음 제거장치, 오디오 신호, 변환게인, 음질왜곡, 프레임

Description

오디오 신호용 잡음제거 방법 및 장치{Noise suppressor for audio signal recording and method apparatus}
도 1은 종래 기술에 따른 잡음 제거장치의 블록 구성도.
도 2는 본 발명의 바람직한 실시예에 따른 이동 통신단말기의 블록 구성도.
도 3은 본 발명의 바람직한 실시예에 따른 잡음 제거장치의 블록 구성도.
도 4는 본 발명의 바람직한 실시예에 따른 잡음 제거장치의 처리 흐름도.
본 발명은 입력받은 오디오 신호의 잡음 제거에 관한 것으로, 특히 음질왜곡을 막기 위해 변환된 게인을 구하고 상기 오디오 신호의 오디오 구간에 서 상기 변환된 게인을 적용하는 방법 및 장치를 제공한다.
일상생활에서 목소리를 녹음할 수 있는 장치들인 캠코더나 휴대폰, 녹음기들의 장치들을 가지고 목소리를 녹음한 후 재생해 보면 사람의 목소리는 깨끗이 들리지만, 그 이외의 소리는 무슨 소린지도 모르게 깨져서 들리거나 왜곡되어 원래의 소리를 알아들을 수가 없다.
통상 사람의 목소리를 녹음하거나 전달하는 장치를 만들 때에는 음질 저하를 막기 위해, 잡음이 심한 환경을 고려하여 잡음 제거장치를 사용하게 된다.
상기 잡음 제거장치에 사용되는 코덱(Codec)은 대표적으로 EVRC(Enhanced Variable-Rate Coder: 이하 EVRC)를 사용하고 있으며, 용도 또는 제품에 따라 다른 코덱을 쓰기도 한다. 상기 코덱이란 'COder/DECoder'라는 컴퓨터 부호화/부호 번역화 혹은, 'COmpression/DECompression'이라는 압축/해제의 약자로서 음성의 아날로그 신호를 디지털 신호로 변환하는 코더(coder)와 디지털 신호를 음성이나 영상으로 바꾸어주는 디코더(decoder)의 합성어이다. '변복조기'라고 말하기도 하는데, 음성 데이터를 컴퓨터가 인식할 수 있는 언어로 바꾸어서 저장하고 이를 재생할 때에 다시 그 언어를 번역해서 음성을 들려주는 것이라고 생각하면 쉽다. 만약 상기 코덱이 없다면 음성을 컴퓨터가 재생할 수 없게 된다.
상기 EVRC는 압축 전에 잡음제거를 실시하면서 음성의 정보량에 따라 가변적으로 음성 정보를 부호화하는 방식이다. 따라서 통화자가 말을 하지 않는 무음 구간에는 낮은 부호율로 음성 부호화하고, 유음 구간에는 높은 부호율로 음성 부호화한다. 결국 항상 일정한 속도로 부호화를 하는 방식에 비하여, 사람이 들을 수 있는 가청 주파수대역만 잘라서 다시 저장하기 때문에 효율적인 방식이며 잡음을 최소화한 방식이다.
여기서 EVRC 보코더는 음성 신호를 코딩하기위해 8Khz의 표본화 주파수를 가진다. 상기 보코더는 음성 부호화기의 약자로 디지털로 바뀐 PCM 음성신호를 압축하는 기술이다.
EVRC의 주요한 특징은, 음성을 만들 수 있는 주요 파라메터를 생성하여 전송한다는 것이다. 상기 파라메터들의 추출을 위해서 보코더는 사람의 발성기관인 즉 음성을 만들어내는 기관, 예를들면 성대등을 선형필터로 모델링하고 이 모델링한 필터의 최적의 출력을 결정하기 위한 파라메터를 찾는다.
따라서 기존의 압축률과는 비교가 되지 않을 정도로 압축률이 높다.
일반적으로 잡음 제거장치가 동작 할 때는, 먼저 입력된 신호의 푸리에 변환을 수행하는데 그 이유는 시간 영역에서는 신호 특성이 잘 나타나지 않고 주파수 영역에서는 신호 특성이 잘 나타나기 때문이다. 다시 말해서 시간 영역에서 볼 수 없는 신호의 특성을 주파수 영역에선 잘 관찰 할 수 있기 때문에 푸리에 변환을 통해 주파수 영역에서 잡음제거 처리를 한 다음 다시 시간 영역으로 바꿔주는 것이 편리하다.
잡음 제거장치는 일반적인 소리에서 음성만을 구분하여 증폭해주는데, 주파수 영역의 신호특성을 나타내는 각 주파수 채널별 SNR 값을 D
Figure 112006000180098-pat00001
(f)라 하면, 이는 하기 <수학식 1>과 같이 나타내어진다.
Figure 112006000180098-pat00002
여기서, n은 프레임 인덱스이고 M은 한 프레임의 샘플수를 나타낸다.
Sn(f)는 상기 푸리에 변환된 신호이며 Nn(f)는 상기 푸리에 변환된 신호의 잡음이고, Dn(f)는 단위가 db(데시벨)로서 채널 신호 대 잡음비 (Signal to Noise Ratio : SNR) 값이다.
상기 Dn(f)에 대한 스펙트럼 거리값 SDn는 하기<수학식 2>와 같이 구한다.
Figure 112006000180098-pat00003
Figure 112006000180098-pat00004
,if
여기서, SDn은 상기 한 프레임의 입력신호에 대한 SNR 의 값을 상기 한 프레임의 샘플 수만큼 더하고 상기 샘플수로 나누어 얻은 스펙트럼 거리값이다.
도 1은 일반적인 잡음 제거장치로서 다른 소리들로부터 음성만을 구분하여 듣기위해 필요한 장치이다.
상기 도 1을 참조하여 설명하면, 푸리에 변환기(Fast Fourier Transform; FFT)(100)가 한 프레임의 신호를 입력받아 복수의 주파수 채널들로 구성되는 신호로 변환시키면, 채널에너지 계산기(110)가 상기 푸리에 변환된 신호에 대해서 채널에너지를 계산한다. 상기 채널에너지가 초기 잡음추출기(120)에 전달되면, 상기 초기 잡음추출기(120)는 상기 채널에너지를 이용하여 초기잡음을 추출하고 잡음업데이트기(130)로 전달한다.
상기 잡음 업데이트기(130)는 상기 잡음 제거장치가 처음 동작할 때에, 초기 잡음추출기(120)에 의해 상기 채널에너지에서 추출된 상기 초기잡음을 채널 SNR 계산기(140)에 전달하며, 추후 입력되는 오디오 신호에 대한 잡음 에너지를 상기 초기잡음에 대해 업데이트하여 상기 채널 SNR 계산기(140)에 전달한다. 채널 SNR 계산기(140)는 상기 <수학식 1>과 같이 채널 SNR 값을 계산한다.
스펙트럼 거리 계산기(150)는 상기 채널 SNR 계산기(140)로부터 상기 채널 SNR 값을 받아 상기 <수학식 2>와 같이 스펙트럼 거리값을 계산하여 음성 활성도 검출기(Voice Actvity Detection; 이하 VAD 라 칭함)(160)로 전달한다.
상기 VAD(160)는 상기 스펙트럼 거리 값에서 음성 구간과 잡음 구간을 분류하여 상기 잡음 구간을 알리는 신호를 상기 잡음 업데이트기(130)로 전달한다. 이때 VAD(160)는 단지 음성 활성도만을 검출하므로 음성 활성도가 검출되지 않은 프레임은, 비록 오디오 신호가 존재하더라도 잡음 구간으로 분류된다. 그러면 상기 잡음 업데이트기(130)는 상기 분류된 잡음 구간에서 상기 잡음에너지를 업데이트 한다.
채널 게인 계산기(170)는 상기 채널 에너지와 상기 잡음 에너지 및 채널 SNR 을 받아 상기 각 주파수 채널에 대한 게인값을 계산하고, 곱셈기(180)는 상기 푸리에 변환된 신호에 상기 채널게인을 곱하며 역푸리에 변환기(Inverse Fast Fourier Transform; IFFT)(180)는 상기 곱셈기(180)의 출력에 대해 역푸리에 변환을 실시하여 출력한다.
상기와 같이 구성되는 종래의 잡음 제거장치에서 출력된 신호는 상기 음성 구간과 상기 잡음 구간만을 구분하였으므로, 음성신호는 양호하게 출력되나 그 이외의 신호는 왜곡이 되어버리므로, 예를들어 음악등과 같은 소리를 파악하기가 어렵다는 문제점이 발생하는 것이다.
이러한 문제점을 해소하기 위해 창안된 본 발명은 오디오 신호에서 잡음을제거하는 방법 및 장치를 제공한다.
본 발명의 바람직한 실시예는, 입력받은 오디오 신호에서 주파수 채널별로 잡음을 제거하는 방법에 있어서,
한 프레임의 오디오 신호를 입력받아 푸리에 변환하는 과정과,
상기 푸리에 변환된 신호에서 각 주파수 채널별로 채널 에너지를 구하는 과정과,
상기 채널 에너지와 잡음 에너지를 이용하여 채널 SNR 을 구하고, 상기 각 주파수 채널에 대한 상기 채널 SNR 의 평균을 계산하여 스펙트럼 거리로 결정하는 과정과,
상기 채널 에너지와 이전 프레임의 롱텀 에너지를 이용해 현재 프레임의 롱텀 에너지를 계산하고, 상기 롱텀 에너지와 상기 잡음 에너지를 이용해 롱텀 SNR 을 계산하는 과정과,
상기 계산된 스펙트럼 거리에 따라 상기 프레임이 오디오 구간인지를 판단하는 과정과,
상기 채널 에너지, 상기 잡음 에너지, 상기 채널 SNR 를 이용하여 상기 푸리에 변환된 신호의 각 주파수 채널별 채널게인을 계산하는 과정과,
상기 프레임이 오디오 구간으로 판단되면, 상기 롱텀 SNR 을 이용하여 상기 채널 게인을 변환하는 과정과,
상기 푸리에 변환된 신호에 상기 변환된 채널게인을 곱하고, 상기 게인이 곱 해진 신호를 역푸리에 변환하여 출력하는 과정을 포함함을 특징으로 한다.
본 발명의 장치는, 입력받은 오디오 신호에서 주파수 채널별로 잡음을 제거하는 장치에 있어서,
한 프레임의 오디오 신호를 입력받아 푸리에 변환하는 푸리에 변환기와,
상기 푸리에 변환된 신호에서 각 주파수 채널별로 채널 에너지를 구하는 채널에너지 계산기와,
상기 채널에너지를 이용하여 잡음에너지와 채널 SNR을 구하고, 상기 채널 SNR을 이용하여 스펙트럼 거리를 계산하고, 상기 스펙트럼 거리를 이용하여 상기 프레임이 오디오 구간인지를 판단하는 잡음 및 오디오 검출부와,
상기 채널에너지와 이전 프레임의 채널에너지 및 상기 잡음에너지를 이용하여 롱텀 에너지 및 롱텀 SNR 을 계산하는 롱텀 SNR 계산기와,
상기 채널 에너지와 상기 잡음 에너지 및 상기 채널 SNR를 이용하여 복수의 주파수 채널들에 대한 채널게인을 계산하는 채널게인 계산기와,
상기 프레임이 상기 오디오 구간으로 판단된 경우, 상기 롱텀 SNR 을 이용하여 상기 채널게인을 변환하는 채널 게인변환기와,
상기 프레임이 상기 오디오 구간으로 판단된 경우, 상기 푸리에 변환된 신호에 상기 변환된 채널 게인을 곱하는 곱셈기와,
상기 변환된 채널 게인이 곱해진 푸리에 변환된 신호를 역푸리에로 변환하여 출력하는 역푸리에 변환기를 포함하여 구성된 것을 특징으로 한다.
전술한 바와 같은 내용은 당해 분야 통상의 지식을 가진 자가 후술되는 본 발명의 구체적인 설명으로 보다 잘 이해할 수 있도록 하기 위하여 본 발명의 특징들 및 기술적인 장점들을 다소 넓게 약술한 것이다.
본 발명의 청구범위의 주제를 형성하는 본 발명의 추가적인 특징들 및 장점들이 후술될 것이다. 당해 분야에서 통상의 지식을 가진 자는 본 발명의 동일한 목적들을 달성하기 위하여 다른 구조들을 변경하거나 설계하는 기초로서 발명의 개시된 개념 및 구체적인 실시예가 용이하게 사용될 수도 있다는 사실을 인식하여야 한다. 당해 분야에서 통상의 지식을 가진 자는 또한 발명과 균등한 구조들이 본 발명의 가장 넓은 형태의 사상 및 범위로부터 벗어나지 않는다는 사실을 인식하여야 한다.
이하 본 발명의 바람직한 실시예들을 첨부한 도면을 참조하여 상세히 설명한다. 또한 본 발명의 요지를 흐릴 수 있는 공지기능 및 구성에 대한 상세한 설명은 생략한다.
본 발명의 주요한 요지는 오디오신호의 주변잡음에 의한 음질 저하를 극복하고 오디오 구간에서는 변환된 채널게인을 적용함으로서 음질왜곡을 최소로 하는 것이다.
도 2는 본 발명의 바람직한 실시예에 따른 오디오 잡음제거기능이 있는 이동 통신단말기의 내부 구성도이다. 도시한 바와 같이 상기 이동 통신단말기는 제어부(200), 키입력부(210), 표시부(220), 메모리부(230), 송신부(240), 듀플렉서(250), 수신부(260) 및 오디오 신호를 녹음할 수 있는 오디오부(270)로 구성된다. 여기에서는 오디오 녹음기능을 위주로 상기 각 구성요소들의 동작을 설명한다.
도 2에 도시된 제어부(200)는 이동 통신 단말기의 전반적인 동작을 수행하며 후술하는 바와 같이 본 발명의 바람직한 실시예에 따라 오디오 녹음기능을 처리한다. 사용자가 키입력부(210)에서 오디오 녹음 동작을 수행하는 키를 누르면 표시부(220)에서는 상기 녹음 동작을 수행하는 동작화면을 출력한다. 메모리부(230)는 오디오부(270)의 마이크를 통해서 입력되는 소리들을 저장하며, 상기 오디오부(270)는 본 발명에 따른 오디오 신호에 대한 잡음 제거장치(도시하지 않음)를 구비하며, 입력되는 오디오 신호를 푸리에 변환된 신호로 변환하여 잡음을 제거한 후에 다시 시간영역의 신호로 변환하여 스피커(SPK)로 출력한다.
송신부(240), 수신부(260), 듀플렉서(250)는 상기 이동 통신 단말기에서 통신을 하는데 사용되는 장치로서 사람의 음성을 보내거나 받게 된다. 이때, 송신하고자 하는 신호에 대해 상기 오디오부(270)에서 오디오 신호에 대한잡음 제거처리를 하여 송신하면 음성과 배경음악등을 포함하는 오디오 신호를 보다 깨끗하게 송신할 수 있다.
상기 오디오부(270)에 포함되는 잡음 제거장치가 각 주파수 채널별 SNR 값을 구하고자 할 때 실제 채널 SNR 값이 Dn(f)라 하면, 이는 앞서 언급한 <수학식 1>과 같이 나타내어진다.
상기 Dn(f)는 스펙트럼 거리값인 SDn를 구하는데 이용되며, 상기 스펙트럼 거리값인 SDn은 앞서 언급한 <수학식 2>와 같이 구한다.
상기 잡음 제거장치는 오디오 구간에서 채널게인을 변환하기 위해 롱텀 에너지를 이용한다. 롱텀 에너지값이 LTen(f)라 하면, 이는 하기 <수학식 3>과 같이 나타내어진다.
Figure 112006000180098-pat00005
여기서, Es ,n(f)는 상기 각 주파수 채널별 에너지이며 LTen - 1(f)는 이전 프레임에서 계산된 롱텀 에너지이다. α는 0과 1사이의 값으로서, 실험적으로 정해질 수 있다.
상기 LTen(f)는 롱텀 SNR을 구하는데 이용되며, 롱텀 SNR 값을 LT_SNRn(f)이라하면, 이는 하기 <수학식 4>과 같이 나타내어진다.
Figure 112006000180098-pat00006
여기서, N
Figure 112006000180098-pat00007
(f)는 상기 푸리에 변환된 신호의 잡음 에너지이다.
상기 LT_SNRn(f)는 롱텀 SNR로서 채널 게인 변환값을 구하는데 이용되며, 채널 게인 변환값을 GGn(f)이라하면, 이는 하기 <수학식 5>과 같이 나타내어진다.
Figure 112006000180098-pat00008
여기서, Gn(f)는 상기 각 주파수 채널별로 구해진 게인값이다
도 3은 본 발명의 바람직한 실시예에 따른 잡음 제거장치의 블록 구성도이다.
푸리에 변환기(Fast Fourier Transform; FFT)(305)가 오디오 신호를 입력받아 주파수 영역의 신호로 변환시키면, 채널 에너지계산기(310)가 상기 푸리에 변환된 신호에서 채널에너지를 계산한다. 상기 채널에너지는 초기 잡음추출기(315)에 전달되어 상기 채널에너지에서 초기잡음을 추출하고 잡음업데이트기(320)로 전달한다. 상기 잡음 업데이트기(320)는, 상기 잡음 제거장치가 처음 동작할 때 상기 채널에너지에서 추출된 상기 초기잡음을 잡음에너지로서 채널 SNR 계산기(325)에 전달하며, 또한 오디오 활성도 검출기(Audio Activity Detection; 이하 AAD 라 칭함)(345)가 잡음구간으로 판단한 경우에는 분류한 잡음 에너지를 업데이트하여 상기 채널 SNR 계산기(325)에 전달한다.
롱텀 에너지계산기(330)는 상기 채널에너지를 받아 상기 <수학식 3>과 같이 계산한 값을 롱텀 SNR계산기(335)에 전달하면, 상기 롱텀 SNR계산기(335)는 <수학식4>와 같이 롱텀 SNR 값을 계산한다.
스펙트럼 거리 계산기(340)는 상기 채널 SNR 계산기(325)에서 채널 SNR 값을 받아 <수학식 2>와 같이 스펙트럼 거리값을 계산하여 AAD(345)로 전달한다.
상기 AAD(345)는 상기 스펙트럼 거리 값을 이용하여 상기 프레임을 오디오 구간과 잡음 구간으로 분류하고, 이때 잡음구간으로 판단된 경우는 상기 잡음 구간을 상기 잡음 업데이트기(320)로 전달한다. 여기서 AAD(345)가 오디오 신호의 활성도를 검출하기 위한 구체적인 알고리즘은 본 발명의 주요한 요지를 흐트리지 않기 위해 그 상세한 설명을 생략한다.
채널 게인 계산기(350)는 상기 채널 에너지와 상기 잡음 에너지 및 채널 SNR 값을 받아 상기 각 주파수 채널에 대한 게인값을 계산하고, 채널 게인변환기(355)로 상기 채널 게인값을 전달한다. 여기서 각 주파수 채널에 대한 게인값을 구하기 위한 구체적인 설명은 생략될 것이다.
상기 채널 게인변환기(355)는 상기 AAD(345)에 의해 오디오 구간으로 판단된 경우에, 상기 롱텀 SNR값과 상기 채널게인값, AAD(345)로부터의 신호로 <수학식 5>와 같이 채널 게인값을 변환하고, 잡음구간에서는 채널게인값을 바이패스 한다.
곱셈기(360)는 상기 푸리에 변환된 신호에 채널 게인변환기(355)로 부터의 상기 채널 게인값을 곱하며, 역푸리에 변환기(Inverse Fast Fourier Transform; IFFT)(365)는 상기 곱셈기(360)의 출력에 대해 역푸리에 변환을 실시하여, 최종적으로 잡음제거된 신호를 출력한다.
이어 도 4를 참조하여 본 발명의 실시예에 따른 잡음 제거장치의 처리 흐름도를 설명하고자 한다.
(400)단계에서 잡음 제거장치로 한 프레임의 오디오 신호가 입력되면, (405)단계에서 푸리에 변환기(Fast Fourier Transform; FFT)(305)가 상기 오디오 신호에 대해 푸리에 변환을 실시한다. (410)단계에서 채널 에너지계산기(310)는 상기 푸리에 변환된 신호의 채널 에너지를 계산하며, (415)단계에서는 최초 동작이후 입력되는 오디오 신호의 프레임 개수가 설정값 이상인지를 판단하여, 설정값 이상이라면 (425)단계로 진행하여 채널 SNR 계산기(325)가 채널 SNR값을 <수학식 1>과 같이 계산하며, 설정값 이하라면 (420)단계로 진행하여 초기 잡음추출기(315)가 상기 오디오 신호에 대한 채널 에너지를 이용하여 초기잡음을 계산한다.
동시에 (435)단계에서 롱텀 에너지 계산기(330)는 상기 계산된 채널 에너지를 이용하여 롱텀 에너지값을 <수학식 3>과 같이 계산하고, (440)단계에서 롱텀 SNR 계산기는 상기 롱텀 에너지값과 채널 SNR값을 가지고 롱텀 SNR 값을 <수학식 4>와 같이 계산하고 (465)단계로 진행한다. (430)단계에서 스펙트럼 거리계산기(340)는 스펙트럼 거리값을 상기 채널 SNR 값을 이용하여 <수학식 2>와 같이 계산한다. (445)단계에서 AAD(345)는 상기 스펙트럼 거리에 따라, 상기 프레임이 오디오 구간인지 판단하여 오디오 구간이면 (455)단계로 진행하여 채널 게인계산기(350)가 채널게인을 계산하고, 잡음 구간이라면 (450)단계로 진행하여 잡음업데이트기(320)가 잡음에너지를 업데이트 한 후 상기(455) 단계로 진행하여 채널 게인계산기(350)가 채널게인을 계산한다.
(460)단계에서 AAD(345)가 상기 프레임 구간이 상기 오디오 구간인 것으로 판단하면, (465)단계로 진행하여 채널 게인변환기(355)는 채널게인 변환값을 <수학식 5>와 같이 계산한 후 (470)단계로 진행하고, 상기 오디오 구간이 아닌 잡음 구간이라면 상기 (470)단계로 바로 진행한다. 상기 (470)단계에서 곱셈기(360)는 상 기 채널 게인값 혹은 상기 채널게인 변환값을 상기 푸리에 변환된 신호에 곱하고, (475)단계에서 역푸리에 변환기(Inverse Fast Fourier Transform; IFFT)(365)는 상기 채널 게인값이 곱해진 주파수영역의 신호를 시간 영역의 신호로 역푸리에 변환하여 출력한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 변형의 예로서 본 명세서에서는 상기 이동 통신단말기의 예만을 설명하였으나, 본 발명은 큰 변형없이 사람의 목소리를 전달하는 장치 또는 녹음하는 장치를 포함하는 제품이나 장비들에 용이하게 적용이 가능하다.
그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
본 발명은 오디오 신호의 주변잡음에 의한 음질 저하를 극복하고 오디오 구간에서만 채널게인을 변환함으로서 음질왜곡을 최소로 하는 것이 특징이다.
일반적인 잡음 제거장치가 사람의 목소리만을 필터링하여 들려주는 반면, 본 발명은 음악등을 포함하는 주위의 소리까지 생생하게 전송 혹은 저장 할 수 있는 이점이 있다.

Claims (16)

  1. 입력받은 오디오 신호에서 주파수 채널별로 잡음을 제거하는 방법에 있어서,
    한 프레임의 오디오 신호를 입력받아 푸리에 변환하는 과정과,
    상기 푸리에 변환된 신호에서 각 주파수 채널별로 채널 에너지를 계산하는 과정과,
    상기 채널 에너지와 잡음 에너지를 이용하여 채널 신호 대 잡음비(Signal to Noise Ratio : SNR)을 계산하고, 상기 각 주파수 채널에 대한 상기 채널 SNR 의 평균을 계산하여 스펙트럼 거리로 결정하는 과정과,
    상기 채널 에너지와 이전 프레임의 롱텀 에너지를 이용해 상기 입력된 현재 프레임의 롱텀 에너지를 계산하고, 상기 현재 프레임의 롱텀 에너지와 상기 잡음 에너지를 이용해 롱텀 SNR 을 계산하는 과정과,
    상기 계산된 스펙트럼 거리에 따라 상기 현재 프레임이 오디오 구간인지를 판단하는 과정과,
    상기 채널 에너지, 상기 잡음 에너지, 상기 채널 SNR 를 이용하여 상기 푸리에 변환된 신호의 각 주파수 채널별 채널게인을 계산하는 과정과,
    상기 현재 프레임이 오디오 구간으로 판단되면, 상기 롱텀 SNR 을 이용하여 상기 채널 게인을 변환하는 과정과,
    상기 푸리에 변환된 신호에 상기 변환된 채널게인을 곱하고, 상기 게인이 곱해진 신호를 역푸리에 변환하여 출력하는 과정을 포함함을 특징으로 하는 잡음 제거방법.
  2. 제 1항에 있어서,
    초기 입력되는 소정개수의 프레임들에 대해 계산한 채널 에너지를 상기 잡음 에너지로서 계산하는 과정을 더 포함함을 특징으로 하는 잡음 제거방법.
  3. 제 2항에 있어서,
    상기 현재 프레임이 잡음구간으로 판단되면, 상기 채널 에너지를 이용하여 상기 잡음 에너지를 업데이트하는 과정을 더 포함함을 특징으로 하는 잡음 제거방법.
  4. 제 1항에 있어서,
    상기 현재 프레임이 잡음구간으로 판단되면, 상기 푸리에 변환된 신호에 상기 계산된 채널게인을 곱하고, 상기 채널게인이 곱해진 신호를 역푸리에 변환하여 출력하는 과정을 더 포함함을 특징으로 하는 잡음 제거방법.
  5. 제 1항에 있어서,
    상기 스펙트럼 거리는, 아래의 <수학식>에 의해 계산됨을 특징으로 하는 잡음 제거 방법,
    <수학식>
    Figure 112011000744056-pat00009
    Figure 112011000744056-pat00010
    , if
    Figure 112011000744056-pat00011
    여기서 n은 프레임 인덱스를 나타내고 M은 한 프레임의 샘플수를 나타내고 Sn(f)는 상기 푸리에 변환된 신호이며, Nn(f)는 상기 푸리에 변환된 신호의 잡음에너지이고, Dn(f)는 상기 SNR 값이며 SDn은 상기 스펙트럼 거리임.
  6. 제 1항에 있어서, 상기 현재 프레임의 롱텀 에너지는, 아래의 <수학식>에 의해 계산됨을 특징으로 하는 잡음 제거 방법,
    <수학식>
    Figure 112011000744056-pat00012
    여기서, Es,n(f)는 상기 현재 프레임의 각 주파수 채널별 에너지이며 LTen-1(f)는 이전 프레임에서 계산된 롱텀 에너지이고, LTen(f)은 현재 프레임에서 계산된 롱텀 에너지이고, α는 0과 1사이의 값임.
  7. 제 1항에 있어서, 상기 현재 프레임의 롱텀 SNR은 아래의 <수학식>에 의해 계산됨을 특징으로 하는 잡음 제거 방법,
    <수학식>
    Figure 112011000744056-pat00013
    여기서, LTen(f)는 상기 롱텀 에너지이며 Nn(f)는 상기 잡음에너지이고, LT_SNRn(f)는 상기 롱텀 SNR 임.
  8. 제 1항에 있어서, 상기 채널 게인은 아래의 <수학식>에 의해 계산됨을 특징으로 하는 잡음 제거 방법,
    <수학식>
    Figure 112011000744056-pat00014
    여기서, LT_SNRn(f)은 상기 현재 프레임의 롱텀 SNR 이고 Gn(f)는 상기 각 주파수 채널별 게인값이며, GGn(f)는 상기 변환된 채널게인 임.
  9. 입력받은 오디오 신호에서 주파수 채널별로 잡음을 제거하는 장치에 있어서,
    한 프레임의 오디오 신호를 입력받아 푸리에 변환하는 푸리에 변환기와,
    상기 푸리에 변환된 신호에서 각 주파수 채널별로 채널 에너지를 구하는 채널에너지 계산기와,
    상기 채널에너지를 이용하여 잡음에너지와 채널 신호 대 잡음비(Signal to Noise : SNR)를 계산하고, 상기 채널 SNR을 이용하여 스펙트럼 거리를 계산하고, 상기 스펙트럼 거리를 이용하여 상기 입력된 현재 프레임이 오디오 구간인지를 판단하는 잡음 및 오디오 검출부와,
    상기 채널에너지와 이전 프레임의 채널에너지 및 상기 잡음에너지를 이용하여 상기 현재 프레임의 롱텀 에너지를 계산하는 롱텀 에너지 계산기와,
    상기 현재 프레임의 롱텀 에너지와 상기 잡음 에너지를 이용하여 롱텀 SNR을 계산하는 롱텀 SNR 계산기와,
    상기 채널 에너지와 상기 잡음 에너지 및 상기 채널 SNR를 이용하여 복수의 주파수 채널들에 대한 채널게인을 계산하는 채널게인 계산기와,
    상기 현재 프레임이 상기 오디오 구간으로 판단된 경우, 상기 롱텀 SNR 을 이용하여 상기 채널게인을 변환하는 채널 게인변환기와,
    상기 현재 프레임이 상기 오디오 구간으로 판단된 경우, 상기 푸리에 변환된 신호에 상기 변환된 채널 게인을 곱하는 곱셈기와,
    상기 변환된 채널 게인이 곱해진 푸리에 변환된 신호를 역푸리에로 변환하여 출력하는 역푸리에 변환기를 포함하여 구성된 것을 특징으로 하는 잡음 제거장치.
  10. 제 9항에 있어서, 상기 잡음 및 오디오 검출부는,
    상기 채널에너지와 상기 잡음에너지를 이용하여 상기 채널 SNR 을 계산하는 채널 SNR 계산기와,
    상기 채널 SNR 의 상기 주파수 채널들에 대한 평균을 상기 스펙트럼 거리로서 계산하는 스펙트럼 거리 계산기와,
    상기 스펙트럼 거리를 이용하여 오디오 활성도를 검출함으로서 상기 현재 프레임이 오디오 구간인지 혹은 잡음구간인지를 판단하는 오디오 활성도 검출기(Audio Activity Detection : AAD)와,
    상기 AAD 에 의해서 잡음 구간으로 판단된 경우, 상기 채널에너지로 상기 잡음에너지를 업데이트하는 잡음 업데이트기를 포함하여 구성된 것을 특징으로 하는 잡음 제거장치.
  11. 제 10항에 있어서,
    상기 잡음 및 오디오 검출부는,
    초기 입력되는 소정개수의 프레임들에 대해 계산한 상기 채널 에너지를 상기 잡음 에너지로서 계산하는 초기 잡음 추출기를 더 포함함을 특징으로 하는 잡음 제거장치.
  12. 제 9항에 있어서,
    상기 현재 프레임이 잡음구간으로 판단되면,상기 푸리에 변환된 신호에 상기 계산된 채널게인을 곱하고, 상기 채널게인이 곱해진 신호를 역푸리에 변환하여 출력하는 역푸리에 변환기를 더 포함함을 특징으로 하는 잡음 제거장치.
  13. 제 10항에 있어서,
    상기 스펙트럼 거리 계산기는 상기 스펙트럼 거리를 아래의 <수학식>에 의해 계산함을 특징으로 하는 잡음 제거 장치,
    <수학식>
    Figure 112011000744056-pat00015
    Figure 112011000744056-pat00016
    , if
    Figure 112011000744056-pat00017
    여기서 n은 프레임 인덱스를 나타내고 M은 한 프레임의 샘플수를 나타내고 Sn(f)는 상기 푸리에 변환된 신호이며 Nn(f)는 상기 푸리에 변환된 신호의 잡음에너지이고, Dn(f)는 상기 SNR 값이며 SDn은 상기 스펙트럼 거리 임.
  14. 제 9항에 있어서,
    상기 롱텀 에너지계산기는 상기 현재 프레임의 롱텀 에너지를 아래의 <수학식>을 사용하여 계산함을 특징으로 하는 잡음 제거 장치,
    <수학식>
    Figure 112011000744056-pat00018
    여기서, Es,n(f)는 상기 각 주파수 채널별 에너지이며 LTen-1(f)는 이전 프레임에서 계산된 롱텀 에너지이고, LTen(f)은 현재 프레임에서 계산된 롱텀 에너지이고, α는 0과 1사이의 값 임.
  15. 제 9항에 있어서,
    상기 롱텀 SNR 계산기는 상기 현재 프레임의 롱텀 SNR을 아래의 <수학식>을 사용하여 계산함을 특징으로 하는 잡음 제거 장치,
    <수학식>
    Figure 112011000744056-pat00019
    여기서, LTen(f)는 상기 현재 프레임의 롱텀 에너지이며 Nn(f)는 상기 현재 프레임의 잡음에너지이고, LT_SNRn(f)은 상기 롱텀 SNR 임.
  16. 제 9항에 있어서,
    상기 채널 게인변환기는,
    상기 채널 게인을 아래의 <수학식>을 사용하여 계산함을 특징으로 하는 잡음 제거 장치,
    <수학식>
    Figure 112011000744056-pat00020
    여기서, LT_SNRn(f)은 상기 현재 프레임의 롱텀 SNR 이고 Gn(f)는 상기 현재 프레임의 각 주파수 채널별 게인값이며, GGn(f)는 상기 현재 프레임의 변환된 채널게인 임.
KR1020060000285A 2006-01-02 2006-01-02 오디오 신호용 잡음제거 방법 및 장치 KR101151746B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060000285A KR101151746B1 (ko) 2006-01-02 2006-01-02 오디오 신호용 잡음제거 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060000285A KR101151746B1 (ko) 2006-01-02 2006-01-02 오디오 신호용 잡음제거 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20070072793A KR20070072793A (ko) 2007-07-05
KR101151746B1 true KR101151746B1 (ko) 2012-06-15

Family

ID=38507573

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060000285A KR101151746B1 (ko) 2006-01-02 2006-01-02 오디오 신호용 잡음제거 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101151746B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100917460B1 (ko) * 2007-08-07 2009-09-14 한국과학기술원 잡음제거 장치 및 방법
CN112992188B (zh) * 2012-12-25 2024-06-18 中兴通讯股份有限公司 一种激活音检测vad判决中信噪比门限的调整方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US612238A (en) * 1898-10-11 Curtain-pole holder
JPH10257583A (ja) 1997-03-06 1998-09-25 Asahi Chem Ind Co Ltd 音声処理装置およびその音声処理方法
US20030200092A1 (en) 1999-09-22 2003-10-23 Yang Gao System of encoding and decoding speech signals
WO2003102921A1 (en) 2002-05-31 2003-12-11 Voiceage Corporation Method and device for efficient frame erasure concealment in linear predictive based speech codecs

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US612238A (en) * 1898-10-11 Curtain-pole holder
JPH10257583A (ja) 1997-03-06 1998-09-25 Asahi Chem Ind Co Ltd 音声処理装置およびその音声処理方法
US20030200092A1 (en) 1999-09-22 2003-10-23 Yang Gao System of encoding and decoding speech signals
WO2003102921A1 (en) 2002-05-31 2003-12-11 Voiceage Corporation Method and device for efficient frame erasure concealment in linear predictive based speech codecs

Also Published As

Publication number Publication date
KR20070072793A (ko) 2007-07-05

Similar Documents

Publication Publication Date Title
KR100750440B1 (ko) 잔향 추정 및 억제 시스템
JP6374028B2 (ja) 音声プロファイルの管理および発話信号の生成
KR100643310B1 (ko) 음성 데이터의 포먼트와 유사한 교란 신호를 출력하여송화자 음성을 차폐하는 방법 및 장치
CN108604452B (zh) 声音信号增强装置
CN109065067A (zh) 一种基于神经网络模型的会议终端语音降噪方法
EP2444966A1 (en) Audio signal processing device and audio signal processing method
JP5065687B2 (ja) オーディオデータ処理装置及び端末装置
US20100169082A1 (en) Enhancing Receiver Intelligibility in Voice Communication Devices
KR20070112848A (ko) 음성 품질 및 명료성을 개선하기 위한 시스템
KR101414233B1 (ko) 음성 신호의 명료도를 향상시키는 장치 및 방법
US12014722B2 (en) System and method for data augmentation of feature-based voice data
US20140365212A1 (en) Receiver Intelligibility Enhancement System
US8223979B2 (en) Enhancement of speech intelligibility in a mobile communication device by controlling operation of a vibrator based on the background noise
EP1538602B1 (en) Wideband synthesis from a narrowband signal
KR100664271B1 (ko) 음원분리가 가능한 휴대용 단말기 및 그 방법
CN105869656B (zh) 一种语音信号清晰度的确定方法及装置
US8868418B2 (en) Receiver intelligibility enhancement system
KR101151746B1 (ko) 오디오 신호용 잡음제거 방법 및 장치
US20140303980A1 (en) System and method for audio kymographic diagnostics
GB2516208B (en) Noise reduction in voice communications
RU2589298C1 (ru) Способ повышения разборчивости и информативности звуковых сигналов в шумовой обстановке
JP2024502287A (ja) 音声強調方法、音声強調装置、電子機器、及びコンピュータプログラム
JP6561011B2 (ja) 無線装置
KR100565428B1 (ko) 인간 청각 모델을 이용한 부가잡음 제거장치
KR100533217B1 (ko) 음성신호의 발성변환용 신호처리에 의한 친절 헤드폰장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150429

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160428

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee