KR20100048558A - 음성복원장치 및 그 방법 - Google Patents

음성복원장치 및 그 방법 Download PDF

Info

Publication number
KR20100048558A
KR20100048558A KR1020080107774A KR20080107774A KR20100048558A KR 20100048558 A KR20100048558 A KR 20100048558A KR 1020080107774 A KR1020080107774 A KR 1020080107774A KR 20080107774 A KR20080107774 A KR 20080107774A KR 20100048558 A KR20100048558 A KR 20100048558A
Authority
KR
South Korea
Prior art keywords
noise
harmonic
reduced
voice
speech signal
Prior art date
Application number
KR1020080107774A
Other languages
English (en)
Other versions
KR101547344B1 (ko
Inventor
정재훈
오광철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080107774A priority Critical patent/KR101547344B1/ko
Priority to US12/609,047 priority patent/US8554552B2/en
Publication of KR20100048558A publication Critical patent/KR20100048558A/ko
Application granted granted Critical
Publication of KR101547344B1 publication Critical patent/KR101547344B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/003—Changing voice quality, e.g. pitch or formants
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L21/0232—Processing in the frequency domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

잡음이 감소된 음성을 원래의 음성에 가깝게 복원하는 음성복원장치 및 그 방법이 개시된다. 음성복원장치는 마이크에 입력된 음성신호에 포함된 잡음을 감소시키고, 잡음이 감소된 음성신호로부터 하모닉(harmonic) 주파수를 검출하고, 검출된 음성신호의 하모닉 주파수에 기초하여 잡음이 감소된 음성신호를 마이크에 입력되기 전의 음성신호에 가깝게 복원한다.
음성복원, 하모닉, 피크, 밸리

Description

음성복원장치 및 그 방법{RESTORATON APPARATUS AND METHOD FOR VOICE}
본 발명의 적어도 하나의 양상은 음성복원장치 및 그 방법에 관한 것으로, 잡음 감소시 왜곡된 음성을 복원하는 음성복원장치 및 그 방법에 관한 것이다.
컴퓨터 또는 휴대용 단말기는 마이크를 통해서 입력된 음성에 포함된 잡음을 제거하여 깨끗한 음성을 얻는다.
그러나, 음성에 포함된 잡음 감소시 잡음 뿐만 아니라 음성의 일부도 감소된다. 이에 따라 원래 음성에 비해서 잡음이 감소된 음성이 왜곡되어 출력된다. 따라서 사용자가 이러한 왜곡된 음성을 정확히 인식하지 못할 수 있다.
잡음이 감소된 음성을 원래의 음성에 가깝게 복원하는 음성복원장치 및 그 방법이 제안된다.
일 양상에 따른 음성복원장치는 잡음이 감소된 음성신호의 하모닉에서 입력 음성신호를 보강하여 잡음이 감소된 음성신호를 복원한다.
음성복원장치는 입력 음성신호에 포함된 잡음을 감소시키는 잡음 감소부; 잡음이 감소된 음성신호의 하모닉을 검출하는 하모닉 검출부; 및 하모닉 검출부에서 검출된 하모닉 부분에서 잡음이 감소된 음성신호를 입력 음성신호로 보강하여 복원하는 하모닉 복원부를 포함할 수 있다.
하모닉 검출부는 잡음이 감소된 음성신호의 피크 및 밸리를 이용하여 잡음이 감소된 음성신호의 하모닉을 검출할 수 있다.
하모닉 검출부는 잡음이 감소된 음성신호의 피크 주파수별로 구해진 전력의 합들 중 가장 큰 전력의 합에 해당되는 피크의 주파수를 잡음이 감소된 음성신호의 기본주파수로 하여 잡음이 제거된 음성신호의 하모닉 주파수들을 검출할 수 있다.
하모닉 검출부는 잡음이 감소된 음성신호의 k-1번째 피크 까지의 하모닉 주파수의 평균 및 k-1번째 하모닉 주파수를 이용하여 k번째 피크의 하모닉 주파수를 구할 수 있다.
하모닉 복원부는 잡음이 감소된 음성신호의 하모닉 피크에서 잡음이 감소된 음성신호에 비해 입력 음성신호를 우세하게 출력하고, 잡음이 감소된 음성신호의 하모닉 밸리에서 입력 음성신호에 비해 잡음이 감소된 음성신호를 우세하게 출력할 수 있다.
다른 양상에 따른 음성복원방법은, 입력 음성신호에 포함된 잡음을 감소시키는 단계; 잡음이 감소된 음성신호의 하모닉을 검출하는 단계; 및 검출된 하모닉 부분에서 잡음이 감소된 음성신호를 입력 음성신호로 보강하여 복원하는 단계를 포함한다.
음성신호의 하모닉 부분에서 잡음보다 음성신호가 우세한 현상을 이용하여 잡음이 감소된 음성을 원래의 음성으로 복원함으로써, 잡음이 감소된 음성을 원래의 음성에 가깝게 복원할 수 있다.
이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술 되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 실시예에 따른 음성복원장치의 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 음성복원장치(1)는 잡음이 감소된 음성신호의 하모닉에서 입력 음성신호를 보강하여 잡음이 감소된 음성신호를 원래의 음성신호로 복원한다.
이러한 음성복원장치(1)는 잡음 감소부(20), 하모닉 검출부(30) 및 하모닉 복원부(40)를 포함한다.
잡음 감소부(20)는 마이크(10, 11, 12)에 입력된 음성신호에 포함된 잡음을 감소시킨다. 이때, 마이크(10, 11, 12)와 음원간의 거리가 가까운 경우에 마이크의 입력차이가 크지 않아 마이크(10, 11, 12) 중 어느 하나를 통해 음성을 입력할 수 있다. 그러나, 마이크(10, 11, 12)와 음원간의 거리가 멀어지고 마이크 입력의 차이가 커지면 음원간의 거리가 가장 가까운 마이크를 선택하여 음성을 입력할 수 있다. 이렇게 마이크(10, 11, 12)로부터 입력된 음성신호는 고속 푸리에 변환부(13)에서 고속 푸리에 변환되어 하모닉 검출부(30)에 입력된다.
하모닉 검출부(30)는 잡음이 감소된 음성신호의 하모닉을 검출한다. 즉, 하모닉 검출부(30)는 잡음이 감소된 음성신호의 피크(peak) 및 밸리(valley)를 이용하여 잡음이 감소된 음성신호의 하모닉을 검출한다. 이 하모닉 검출에 대해서는 후술하기로 한다.
하모닉 복원부(40)는 하모닉 검출부(30)에서 검출된 하모닉 부분에서 잡음이 감소된 음성신호를 마이크에 입력된 음성신호 보강하여 복원한다. 즉, 하모닉 복원부(40)는 검출된 하모닉의 피크(peak)에서 마이크에 입력된 음성신호가 잡음이 감소된 음성신호에 비해 우세하여 출력되도록 한다. 한편, 하모닉 복원부(40)는 검출된 하모닉의 밸리(valley)에서 잡음이 감소된 음성신호가 마이크에 입력된 음성신호에 비해 우세하여 출력되도록 한다.
이러한 관계가 아래의 수학식 1에 나타나 있다.
Figure 112008075870762-PAT00001
즉, 검출된 하모닉
Figure 112008075870762-PAT00002
의 피크에서, 잡음이 감소된 음성신호
Figure 112008075870762-PAT00003
에 비해 우세하도록 마이크에 입력된 음성신호
Figure 112008075870762-PAT00004
를 복원 음성신호
Figure 112008075870762-PAT00005
로 출력한다. 예를 들어, w가 0.9인 경우, 검출된 하모닉
Figure 112008075870762-PAT00006
이 피크인 경우, 출력되는 복원 음성신호
Figure 112008075870762-PAT00007
의 구성은 10%의 잡음이 감소된 음성신호
Figure 112008075870762-PAT00008
와 90%의 마이크에 입력된 음성신호
Figure 112008075870762-PAT00009
로 이루어진다.
반면, 검출된 하모닉
Figure 112008075870762-PAT00010
의 밸리에서, 마이크에 입력된 음성신호
Figure 112008075870762-PAT00011
에 비해 잡음이 감소된 음성신호
Figure 112008075870762-PAT00012
가 우세하도록 복원 음성신호
Figure 112008075870762-PAT00013
로 출력한다. 예를 들어, w가 0.9인 경우, 검출된 하모닉
Figure 112008075870762-PAT00014
이 밸리인 경우, 출력되는 복원 음성신호
Figure 112008075870762-PAT00015
의 구성은 90%의 잡음이 감소된 음성신호
Figure 112008075870762-PAT00016
와 10%의 마이크에 입력된 음성신호
Figure 112008075870762-PAT00017
로 이루어진다.
결과적으로, 음성복원장치에서 출력되는 복원 음성신호는 하모닉의 피크에서 마이크에 입력된 음성신호에 가깝고, 하모닉의 밸리에서 잡음이 감소된 음성신호에 가깝도록 출력된다. 이를 예시한 도면이 도 6에 도시되어 있다. 도 6에 도시된 바와 같이, 복원 음성신호(63)는 검출된 하모닉의 피크에서, 마이크에 입력된 음성신호(60)에 가깝도록 출력되고, 검출된 하모닉의 밸리에서 잡음이 감소된 음성신호(62)에 가깝도록 출력됨을 알 수 있다. 따라서, 복원 음성신호(63)는 잡음이 포 함되지 않은 음성신호(61)에 가깝게 복원됨을 알 수 있다.
도 2는 본 발명의 실시예에 따른 잡음 감소부의 상세 구성을 나타낸 도면이다.
도 2에 도시된 바와 같이, 실시예에 따른 잡음 감소부(20)는 방향 필터(21), 목적음성 제거부(22), 믹서(25) 및 시간 주파수 마스크 필터(26)를 포함한다.
방향 필터(21)는 마이크(10, 11, 12) 중 특정 방향 범위내의 마이크에서 입력되는 음성신호만을 출력하고, 이외의 마이크에서 입력되는 음성신호를 제거한다. 즉, 방향 필터(21)는 특정 방향의 범위내 마이크에서 입력되는 음성신호만을 출력하므로, 잡음에 비해 음성이 우세한 음성신호를 출력한다. 이렇게 출력된 음성이 우세한 음성신호는 고속 푸리에 변환부(23)에서 푸리에 변환되어 믹서(25) 및 시간 주파수 마스크 필터(26)에 입력된다.
목적음성 제거부(22)는 마이크(10, 11, 12) 중 특정 방향 범위내의 마이크에서 입력되는 음성신호를 차단한다. 즉, 목적음성 제거부(22)는 특정 방향 범위내의 마이크에서 입력되는 음성신호를 차단하므로, 음성에 비해 잡음이 우세한 음성신호를 출력한다. 이렇게 출력된 잡음이 우세한 음성신호는 고속 푸리에 변환부(24)에서 푸리에 변환되어 시간 주파수 마스크 필터(26)에 입력된다.
시간 주파수 마스크 필터(26)는 고속 푸리에 변환부(23) 및 고속 푸리에 변환부(24)에서 푸리에 변환된 음성이 우세한 음성신호의 주파수 및 잡음이 우세한 음성신호의 주파수를 이용하여, 시간 주파수 영역에서 음성이 우세한 음성신호의 주파수 및 잡음이 우세한 음성신호의 주파수로 구성된 마스크 필터를 생성하여 출 력한다. 이때, 생성된 마스크 필터는 음성이 우세한 음성신호의 주파수에서만 신호를 통과시키고, 잡음이 우세한 음성신호의 주파수에서 신호가 통과하지 못하도록 하는 필터이다.
믹서(25)는 고속 푸리에 변환부(23)에서 출력된 음성이 우세한 음성신호와 시간 주파수 마스크 필터(26)에서 출력된 마스크 필터를 믹싱하여 음성이 우세한 음성신호
Figure 112008075870762-PAT00018
를 출력한다.
도 3은 본 발명의 실시예에 따른 음성복원방법에 대한 플로차트이다.
도시된 바와 같이, 음성복원장치는 마이크(10, 11, 12)에 입력된 음성신호에 포함된 잡음을 감소시킨다(S10). 이때, 마이크(10, 11, 12)와 음원간의 거리가 가까운 경우에 마이크의 입력차이가 크지 않아 마이크(10, 11, 12) 중 어느 하나를 통해 음성을 입력할 수 있다. 그러나, 마이크(10, 11, 12)와 음원간의 거리가 멀어지고 마이크 입력의 차이가 커지면 음원간의 거리가 가장 가까운 마이크를 선택하여 음성을 입력할 수 있다. 이렇게 마이크(10, 11, 12)로부터 입력된 음성신호는 고속 푸리에 변환부(13)에서 푸리에 변환되어 하모닉 검출부(30)에 입력된다.
음성복원장치는 잡음이 제거된 음성신호의 하모닉을 검출한다(S30). 즉, 음성복원장치는 잡음이 감소된 음성신호의 피크 및 밸리를 이용하여 잡음이 감소된 음성신호의 하모닉을 검출할 수 있다.
음성복원장치는 검출된 하모닉 부분에서 잡음이 감소된 음성신호를 입력 음 성신호로 보강하여 복원한다(S50). 즉, 음성복원장치는 검출된 하모닉의 피크에서 마이크에 입력된 음성신호가 잡음이 감소된 음성신호에 비해 우세하여 출력되도록 한다. 한편, 음성복원장치는 검출된 하모닉의 밸리에서 잡음이 감소된 음성신호가 마이크에 입력된 음성신호에 비해 우세하여 출력되도록 한다. 이러한 관계가 전술한 수학식 1에 나타나 있다.
도 4는 본 발명의 실시예에 따른 음성신호의 하모닉 주파수 검출방법에 대한 플로차트이다.
도시된 바와 같이, 음성복원장치는 음성신호의 피크 및 밸리를 검출한다(S70). 이때, 음성신호의 피크는 기울기가 양의 기울기에서 음의 기울기로 변하는 점이고, 밸리는 기울기가 음의 기울기에서 양의 기울기로 변하는 점이다. 나아가, 음성복원장치는 단계 S70에서 피크의 크기가 설정된 값(Threshold) 이상인 피크만을 검출하여, 음성신호의 피크 사이에 나타나는 국부 피크(local peak)를 제거할 수 있다.
음성복원장치는 검출된 N개의 피크 순서를 나타내는 피크 변수 n을 초기화하고(S71), 이후 피크변수를 증가시키고 n번째 피크 주파수를 기본 주파수로 가정한 경우에 n번째 피크 주파수에 대한 하모닉들의 전력 합을 나타내는
Figure 112008075870762-PAT00019
을 초기화한다(S72).
음성복원장치는 피크변수 n번째 피크가 N번째 피크에 해당되는가를 확인한다(S73). 음성복원장치는 피크변수 n번째 피크가 N번째 피크가 아니면 n번째 피크 주파수를 기본주파수로 가정한 경우 k번째 하모닉을 나타내는 하모닉 변수 k를 '1'로 설정하고, n번째 피크 주파수를 기본주파수로 가정한 경우 첫번째 하모닉 주파수
Figure 112008075870762-PAT00020
를 n번째 피크 주파수
Figure 112008075870762-PAT00021
로 설정한다(S74). 이후, 음성복원장치는 하모닉 변수를 증가시킨다(S75). 이로써 음성복원장치는 두번째 부터의 하모닉 주파수를 구하는 과정을 수행한다.
즉, 음성복원장치는 n번째 피크 주파수를 기본주파수로 가정한 경우, 두번째 부터의 하모닉 주파수들을 아래의 수학식을 이용하여 구할 수 있다(S76).
Figure 112008075870762-PAT00022
이때,
Figure 112008075870762-PAT00023
는 상기 k-1번째 하모닉 주파수를 나타내며,
Figure 112008075870762-PAT00024
는 k-1번째 까지의 하모닉 주파수의 차의 평균을 나타내며,
Figure 112008075870762-PAT00025
는 상기 k번째 하모닉 주파수를 기준으로 설정된 주파수 범위를 나타내고,
Figure 112008075870762-PAT00026
는 상기 k번째 하모닉 주파수를 나타내며,
Figure 112008075870762-PAT00027
는 주파수 f의 전력 값을 나타내며,
Figure 112008075870762-PAT00028
는
Figure 112008075870762-PAT00029
내에서 가장 큰 전력
Figure 112008075870762-PAT00030
의 주파수를 나타낸다. 이러한 k-1번째 까지의 하모닉 주파수의 평균
Figure 112008075870762-PAT00031
, k번째 하모닉 주파수
Figure 112008075870762-PAT00032
, k-1번째 하모닉 주파수
Figure 112008075870762-PAT00033
및 k번째 하모닉 주파수를 기준으로 설정된 주파수 범위
Figure 112008075870762-PAT00034
상호간의 관계가 도 5에 도시되어 있다. 도 5에 도시된 바와 같이, k-1번째 하모닉 주파수의 위치로부터 k-1번째 까지의 하모닉 주파수의 평균 간격에 해당되는 주파수를 기준으로 하여, k번째 하모닉 주파수를 기준으로 설정된 주파수 범위
Figure 112008075870762-PAT00035
가 설정되며, 설정된 범위
Figure 112008075870762-PAT00036
내에 k번째 하모닉 주파수
Figure 112008075870762-PAT00037
가 위치함을 알 수 있다.
음성복원장치는 구해진 하모닉 주파수
Figure 112008075870762-PAT00038
가 N번째 피크의 주파수
Figure 112008075870762-PAT00039
보다 작거나 같은가를 확인한다(S77). 음성복원장치는 구해진 하모닉 주파수
Figure 112008075870762-PAT00040
가 N번째 피크의 주파수
Figure 112008075870762-PAT00041
보다 작거나 같으면, k번째 하모닉의 전력
Figure 112008075870762-PAT00042
을 k-1번째까지의 하모닉들의 전력합
Figure 112008075870762-PAT00043
에 더하고, 단계 S75로 진행하여 하모닉 변수를 증가시켜 이후에 증가된 하모닉 변수에 따른 하모닉 주파수를 구하여 하모닉 전력을 구하는 과정을 반복 수행한다.
반면, 단계 S77에서 음성복원장치는 구해진 하모닉 주파수
Figure 112008075870762-PAT00044
가 N번째 피크의 주파수
Figure 112008075870762-PAT00045
보다 큰 것으로 확인되면, 단계 S72로 진행하여 피크변수 n을 증가시키고, 증가된 피크변수 n번째 해당된 피크 주파수를 기본 주파수로 한 경우에 증가된 피크변수 n번째 피크 주파수에 대한 하모닉들의 전력 합을 나타내는
Figure 112008075870762-PAT00046
을 초기화한다. 이후에 증가된 피크변수 n번째 피크에 대한 하모닉 주파수 및 하모닉 전력합을 구하는 과정을 반복 수행한다.
한편, 단계 S73에서 음성복원장치는 피크변수 n번째 피크가 검출된 N번째 피크이면, 음성신호의 피크별 하모닉 전력 합들 중 가중 큰 하모닉 전력 합을 가지는 피크 주파수를 음성신호의 기본주파수로 설정하고, 설정된 기본주파수에 대한 하모닉 주파수를 구하여 하모닉을 검출한다(S79).
즉 음성복원장치는 음성신호의 피크별 하모닉 전력 합들 중 가중 큰 하모닉 전력 합의 매개변수
Figure 112008075870762-PAT00047
을
Figure 112008075870762-PAT00048
로 설정하고 이때의 피크 주파수
Figure 112008075870762-PAT00049
을 음성신호의 기본 주파수
Figure 112008075870762-PAT00050
로 설정한 다. 그리고, 음성복원장치는 설정된 기본주파수의 하모닉 주파수들
Figure 112008075870762-PAT00051
을 구한다. 이때, 첫번째 하모닉 주파수
Figure 112008075870762-PAT00052
는 상기 음성신호의 피크별 하모닉 전력 합들 중 가장 큰 하모닉 전력 합을 가지는 피크의 주파수
Figure 112008075870762-PAT00053
와 동일하다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 실시예에 따른 음성복원장치의 구성도.
도 2는 본 발명의 실시예에 따른 잡음 감소부의 상세 구성도.
도 3은 본 발명의 실시예에 따른 음성복원방법에 대한 플로차트.
도 4는 본 발명의 실시예에 따른 음성신호의 하모닉 주파수 검출방법에 대한 플로차트.
도 5는 음성신호의 하모닉 주파수들간의 관계를 예시한 도면.
도 6은 마이크에 입력된 음성신호, 잡음이 감소된 음성신호 및 복원 음성신호간의 관계를 예시한 도면.

Claims (11)

  1. 잡음이 감소된 음성신호의 하모닉에서 입력 음성신호를 보강하여 상기 잡음이 감소된 음성신호를 복원하는 음성복원장치.
  2. 제 1 항에 있어서,
    상기 음성복원장치는,
    상기 입력 음성신호에 포함된 잡음을 감소시키는 잡음 감소부;
    상기 잡음이 감소된 음성신호의 하모닉을 검출하는 하모닉 검출부; 및
    상기 하모닉 검출부에서 검출된 하모닉 부분에서 상기 잡음이 감소된 음성신호를 상기 입력 음성신호로 보강하여 복원하는 하모닉 복원부를 포함하는 음성복원장치.
  3. 제 2 항에 있어서,
    상기 하모닉 검출부는,
    상기 잡음이 감소된 음성신호의 피크 및 밸리를 이용하여 상기 잡음이 감소된 음성신호의 하모닉을 검출하는 음성복원장치.
  4. 제 3 항에 있어서,
    상기 하모닉 검출부는,
    상기 잡음이 감소된 음성신호의 피크 주파수별로 구해진 전력의 합들 중 가장 큰 전력의 합에 해당되는 피크의 주파수를 상기 잡음이 감소된 음성신호의 기본주파수로 하여 상기 잡음이 제거된 음성신호의 하모닉 주파수들을 검출하는 음성복원장치.
  5. 제 4 항에 있어서,
    상기 하모닉 검출부는,
    상기 잡음이 감소된 음성신호의 k-1번째 피크 까지의 하모닉 주파수의 평균 및 k-1번째 하모닉 주파수를 이용하여 k번째 피크의 하모닉 주파수를 구하는 음성복원장치.
  6. 제 2 항에 있어서,
    상기 하모닉 복원부는,
    상기 잡음이 감소된 음성신호의 하모닉 피크에서 상기 잡음이 감소된 음성신호에 비해 상기 입력 음성신호를 우세하게 출력하고, 상기 잡음이 감소된 음성신호의 하모닉 밸리에서 상기 입력 음성신호에 비해 상기 잡음이 감소된 음성신호를 우세하게 출력하는 음성복원장치.
  7. 입력 음성신호에 포함된 잡음을 감소시키는 단계;
    상기 잡음이 감소된 음성신호의 하모닉을 검출하는 단계; 및
    상기 검출된 하모닉 부분에서 상기 잡음이 감소된 음성신호를 상기 입력 음성신호로 보강하여 복원하는 단계를 포함하는 음성복원방법.
  8. 제 7 항에 있어서,
    상기 잡음이 감소된 음성신호의 하모닉을 검출하는 단계는,
    상기 잡음이 감소된 음성신호의 피크 및 밸리를 이용하여 상기 잡음이 감소된 음성신호의 하모닉을 검출하는 음성복원방법.
  9. 제 8 항에 있어서,
    상기 잡음이 감소된 음성신호의 하모닉을 검출하는 단계는,
    상기 잡음이 감소된 음성신호의 피크 주파수별로 구해진 전력의 합들 중 가장 큰 전력의 합에 해당되는 피크의 주파수를 상기 잡음이 감소된 음성신호의 기본주파수로 하여 상기 잡음이 제거된 음성신호의 하모닉 주파수들을 검출하는 음성복원방법.
  10. 제 9 항에 있어서,
    상기 잡음이 감소된 음성신호의 하모닉을 검출하는 단계는,
    상기 잡음이 감소된 음성신호의 k-1번째 피크 까지의 하모닉 주파수의 평균 및 k-1번째 하모닉 주파수를 이용하여 k번째 피크의 하모닉 주파수를 구하는 음성복원방법.
  11. 제 7 항에 있어서,
    상기 검출된 하모닉 부분에서 상기 잡음이 감소된 음성신호를 상기 입력 음성신호로 보강하여 복원하는 단계는,
    상기 잡음이 감소된 음성신호의 하모닉 피크에서 상기 잡음이 감소된 음성신호에 비해 상기 입력 음성신호를 우세하게 출력하고, 상기 잡음이 감소된 음성신호의 하모닉 밸리에서 상기 입력 음성신호에 비해 상기 잡음이 감소된 음성신호를 우세하게 출력하는 음성복원방법.
KR1020080107774A 2008-10-31 2008-10-31 음성복원장치 및 그 방법 KR101547344B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080107774A KR101547344B1 (ko) 2008-10-31 2008-10-31 음성복원장치 및 그 방법
US12/609,047 US8554552B2 (en) 2008-10-31 2009-10-30 Apparatus and method for restoring voice

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080107774A KR101547344B1 (ko) 2008-10-31 2008-10-31 음성복원장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20100048558A true KR20100048558A (ko) 2010-05-11
KR101547344B1 KR101547344B1 (ko) 2015-08-27

Family

ID=42132514

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080107774A KR101547344B1 (ko) 2008-10-31 2008-10-31 음성복원장치 및 그 방법

Country Status (2)

Country Link
US (1) US8554552B2 (ko)
KR (1) KR101547344B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101465061B1 (ko) * 2014-08-01 2014-11-28 대한민국 손상음성파일 복원 장치 및 그 방법
CN111128208A (zh) * 2018-10-30 2020-05-08 比亚迪股份有限公司 一种便携式激励器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2737479B1 (en) * 2011-07-29 2017-01-18 Dts Llc Adaptive voice intelligibility enhancement
US20130282373A1 (en) * 2012-04-23 2013-10-24 Qualcomm Incorporated Systems and methods for audio signal processing

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3723877A (en) * 1970-09-03 1973-03-27 Bell Telephone Labor Inc Transmission of signals containing harmonically related signals to overcome effects of fading
GB8801014D0 (en) * 1988-01-18 1988-02-17 British Telecomm Noise reduction
IN184794B (ko) 1993-09-14 2000-09-30 British Telecomm
US5701390A (en) * 1995-02-22 1997-12-23 Digital Voice Systems, Inc. Synthesis of MBE-based coded speech using regenerated phase information
JP4040126B2 (ja) * 1996-09-20 2008-01-30 ソニー株式会社 音声復号化方法および装置
US6272460B1 (en) * 1998-09-10 2001-08-07 Sony Corporation Method for implementing a speech verification system for use in a noisy environment
ID29029A (id) 1998-10-29 2001-07-26 Smith Paul Reed Guitars Ltd Metode untuk menemukan fundamental dengan cepat
US6233549B1 (en) * 1998-11-23 2001-05-15 Qualcomm, Inc. Low frequency spectral enhancement system and method
US7117149B1 (en) * 1999-08-30 2006-10-03 Harman Becker Automotive Systems-Wavemakers, Inc. Sound source classification
JP2002162982A (ja) 2000-11-24 2002-06-07 Matsushita Electric Ind Co Ltd 有音無音判定装置及び有音無音判定方法
US7386217B2 (en) * 2001-12-14 2008-06-10 Hewlett-Packard Development Company, L.P. Indexing video by detecting speech and music in audio
KR100446242B1 (ko) * 2002-04-30 2004-08-30 엘지전자 주식회사 음성 부호화기에서 하모닉 추정 방법 및 장치
US7885420B2 (en) * 2003-02-21 2011-02-08 Qnx Software Systems Co. Wind noise suppression system
US20070076898A1 (en) * 2003-11-24 2007-04-05 Koninkiljke Phillips Electronics N.V. Adaptive beamformer with robustness against uncorrelated noise
WO2005065012A2 (en) 2003-12-24 2005-07-21 Nokia Corporation A method for efficient beamforming using a complementary noise separation filter
US7957542B2 (en) * 2004-04-28 2011-06-07 Koninklijke Philips Electronics N.V. Adaptive beamformer, sidelobe canceller, handsfree speech communication device
US7742914B2 (en) * 2005-03-07 2010-06-22 Daniel A. Kosek Audio spectral noise reduction method and apparatus
KR100744352B1 (ko) 2005-08-01 2007-07-30 삼성전자주식회사 음성 신호의 하모닉 성분을 이용한 유/무성음 분리 정보를추출하는 방법 및 그 장치
KR100770839B1 (ko) * 2006-04-04 2007-10-26 삼성전자주식회사 음성 신호의 하모닉 정보 및 스펙트럼 포락선 정보,유성음화 비율 추정 방법 및 장치
KR101182017B1 (ko) 2006-06-27 2012-09-11 삼성전자주식회사 휴대 단말기에서 복수의 마이크들로 입력된 신호들의잡음을 제거하는 방법 및 장치
KR20070087533A (ko) 2007-07-12 2007-08-28 조정권 적응 마이크로폰 어레이를 이용한 간섭 신호 제거 시스템의개발

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101465061B1 (ko) * 2014-08-01 2014-11-28 대한민국 손상음성파일 복원 장치 및 그 방법
CN111128208A (zh) * 2018-10-30 2020-05-08 比亚迪股份有限公司 一种便携式激励器
CN111128208B (zh) * 2018-10-30 2023-09-05 比亚迪股份有限公司 一种便携式激励器

Also Published As

Publication number Publication date
KR101547344B1 (ko) 2015-08-27
US20100114570A1 (en) 2010-05-06
US8554552B2 (en) 2013-10-08

Similar Documents

Publication Publication Date Title
JP4863713B2 (ja) 雑音抑制装置、雑音抑制方法、及びコンピュータプログラム
US9343056B1 (en) Wind noise detection and suppression
JP5453740B2 (ja) 音声強調装置
KR100717058B1 (ko) 고주파 성분 복원 방법 및 그 장치
CN104067339B (zh) 噪音抑制装置
US9589573B2 (en) Wind noise reduction
EP2755204A1 (en) Noise suppression device and method
JP2008076988A (ja) 低周波帯域音声復元装置、音声信号処理装置および録音機器
WO2015078121A1 (zh) 音频信号质量检测方法及装置
US10438606B2 (en) Pop noise control
EP2689419B1 (en) Method and arrangement for damping dominant frequencies in an audio signal
KR101547344B1 (ko) 음성복원장치 및 그 방법
US10199048B2 (en) Bass enhancement and separation of an audio signal into a harmonic and transient signal component
CN101131819A (zh) 噪声除去装置、方法以及程序
JP2000330597A (ja) 雑音抑圧装置
TWI594232B (zh) 處理音訊信號之方法及裝置
JP2007293059A (ja) 信号処理装置およびその方法
JP5466581B2 (ja) 反響消去方法、反響消去装置及び反響消去プログラム
CN110708651A (zh) 一种基于分段陷波的助听器啸叫检测与抑制方法及装置
Oukherfellah et al. FPGA implementation of voice activity detector for efficient speech enhancement
KR101096091B1 (ko) 음성 분리 장치 및 이를 이용한 단일 채널 음성 분리 방법
JP5145733B2 (ja) 音声信号処理装置および音声信号処理方法ならびにプログラム
JP6519801B2 (ja) 信号解析装置、方法、及びプログラム
CN112312258B (zh) 一种具有听力防护及听力补偿的智能耳机
CN117351925B (zh) 啸叫抑制方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190730

Year of fee payment: 5