KR20060051054A - 음성신호 처리장치 및 음성신호 처리방법 - Google Patents

음성신호 처리장치 및 음성신호 처리방법 Download PDF

Info

Publication number
KR20060051054A
KR20060051054A KR1020050082831A KR20050082831A KR20060051054A KR 20060051054 A KR20060051054 A KR 20060051054A KR 1020050082831 A KR1020050082831 A KR 1020050082831A KR 20050082831 A KR20050082831 A KR 20050082831A KR 20060051054 A KR20060051054 A KR 20060051054A
Authority
KR
South Korea
Prior art keywords
level
frequency spectrum
output
sound source
frequency
Prior art date
Application number
KR1020050082831A
Other languages
English (en)
Other versions
KR101220497B1 (ko
Inventor
유지 야마다
고유루 오키모토
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20060051054A publication Critical patent/KR20060051054A/ko
Application granted granted Critical
Publication of KR101220497B1 publication Critical patent/KR101220497B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H04S1/005—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Control Of Amplification And Gain Control (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)

Abstract

복수의 음원의 음성신호가 포함되어 있는 2 계통의 음성신호로부터, 특정의 음원의 음성신호를 양호하게 분리할 수 있는 음성신호 처리장치를 제공한다.
2 계통의 음성신호의 각각을 복수개의 주파수대역으로 분할하는 분할수단(11, 12)과, 분할된 복수개의 주파수대역의 각각에 있어서의 상기 2 계통의 음성신호의 레벨비 또는 레벨차를 산출하는 레벨 비교수단(13)과, 레벨 비교수단에서 산출된 레벨비 또는 레벨차가 미리 정한 값 및 그 근방이 되는 주파수대역의 성분을, 상기 분할수단(11, 12)의 적어도 한편으로부터 추출하여 출력하는 출력 제어수단을 설치한다.

Description

음성신호 처리장치 및 음성신호 처리방법{Audio signal processing apparatus and method thereof}
도 1은 이 발명에 의한 음성 신호 처리장치의 제 1의 실시 형태의 구성예를 나타내는 블럭도이다.
도 2는 도 1의 일부인 주파수 스펙트럼 비교 처리부의 구성예를 나타내는 블럭도이다.
도 3은 도 1의 일부인 주파수 스펙트럼 제어 처리부의 구성예를 나타내는 블럭도이다.
도 4는 주파수 스펙트럼 제어 처리부의 곱셈 계수 발생부(31)에 설정되는 함수의 몇 개의 예를 나타내는 도면이다.
도 5는 이 발명에 의한 음성 신호 처리장치의 제 2의 실시 형태의 구성예를 나타내는 블럭도이다.
도 6은 도 5의 일부의 주파수 스펙트럼 비교 처리부 및 주파수 스펙트럼 제어 처리부의 구성예를 나타내는 블럭도이다.
도 7은 이 발명에 의한 음성 신호 처리장치의 제 3의 실시 형태의 구성예를 나타내는 블럭도이다.
도 8은 도 7의 예에 있어서의 곱셈 계수 발생부(31L, 31R)에 설정되는 함수 의 몇 개의 예를 나타내는 도면이다.
도 9는 이 발명에 의한 음성신호 처리장치의 제 4의 실시 형태의 구성예를 나타내는 블럭도이다.
도 10은 이 발명에 의한 음성신호 처리장치의 제 5의 실시 형태의 구성예를 나타내는 블럭도이다.
도 11은 이 발명에 의한 음성신호 처리장치의 제 6의 실시 형태의 구성예를 나타내는 블럭도이다.
도 12는 도 11의 일부의 주파수 스펙트럼 비교 처리부 및 주파수 스펙트럼 제어 처리부의 구성예를 나타내는 블럭도이다.
도 13은 도 12의 곱셈 계수 발생부(301, 302)에 설정되는 함수의 몇 개의 예를 나타내는 도면이다.
도 14는 이 발명에 의한 음성신호 처리장치의 제 7의 실시 형태의 구성예를 나타내는 블럭도이다.
도 15는 이 발명에 의한 음성신호 처리장치의 제 8의 실시 형태의 구성예를 설명하기 위한 도면이다.
도 16은 이 발명에 의한 음성신호 처리장치의 제 8의 실시 형태의 구성예를 설명하기 위한 도면이다.
도 17은 이 발명에 의한 음성신호 처리장치의 제 9의 실시 형태의 구성예를 설명하기 위한 도면이다.
도 18은 이 발명에 의한 음성신호 처리장치의 제 9의 실시 형태의 구성예를 설명하기 위한 도면이다.
도 19는 복수의 음원으로 이루어지는 2 채널의 신호에 의한 음상정위를 설명하기 위한 도면이다.
도 20은 복수의 음원으로 이루어지는 2 채널의 신호에 의한 음상정위를 설명하기 위한 도면이다.
도 21은 종래의, 특정 음원의 음성신호의 분리장치를 설명하기 위한 블럭도이다.
* 부호의 설명
10. 음성신호 처리장치 11, 12. FFT부
13. 주파수 스펙트럼 비교 처리부
14. 주파수 스펙트럼 제어 처리부
15. 역FFT부 21, 22. 레벨 검출부
23, 24. 레벨비 산출부 25. 셀렉터
31. 곱셈 계수 발생부 32. 음원 분리부
33, 34. 곱셈부 35. 가산부
16L, 16R. 주파수 스펙트럼 최대 레벨 검출부 1032. 위상 비교 처리부
이 발명은, 복수의 음원으로부터의 음성신호에 의해 구성되는 2 계통의 시계 열 신호로부터, 특정의 음원의 음성신호를 분리하도록 하는 음성신호 처리장치 및 방법에 관한 것이다.
레코드나 콤팩트 디스크 등에 기록된 좌우 2 채널의 스테레오 음악신호의 각 채널의 음성신호에는, 복수의 음원으로부터의 음성신호에 의해 구성되는 것이 다수 존재한다. 이러한 스테레오 음성신호에서는, 2개의 스피커에서 재생한 경우에, 상기 복수개의 음원의 각각이 양 스피커 사이에 음상으로서 정위하도록, 레벨차를 부가하고 각각의 채널에 기록하는 경우가 많다.
예를 들면, 5개의 음원 1 ~ 5의 신호를 S1 ~ S5로 하고, 이를 좌우 2 채널의 음성신호(SL, SR)로서 기록하는 경우에,
SL = S1＋0.9S2＋0.7S3＋0.4S4
SR = S5＋0.4S2＋0.7S3＋0.9S4
와 같이, 각 음원(1 ~ 5)의 신호(S1 ~ S5)는, 좌우 2 채널에 있어서 레벨차를 내 가산 혼합하고, 각각의 채널의 음성신호를 형성한다.
이와 같이 레벨차가 날 수 있어서 음원(1 ~ 5)의 신호가 좌우 2 채널에 배분되어 기록된 스테레오 음성신호를, 예를 들면 도 19에 나타낸 바와 같이, 2개의 스피커(1L, 1R)에서 재생하면, 리스너(2)는, 각 음원(1, 2, 3, 4, 5)에 대응한 음상(A, B, C, D, E)을 지각할 수 있다. 또, 이 음상(A, B, C, D, E)은, 스피커(1L)와 스피커(1R)와의 사이에 정위하는 것이 알려져 있다.
또, 도 20에 나타낸 바와 같이, 리스너(2)가 헤드폰 장치(3)을 장착하고, 상술한 좌우 2 채널의 스테레오 음성신호를, 이 헤드폰 장치(3)의 왼쪽 스피커 유니 트(3L)와, 오른쪽 스피커 유니트(3R)로 재생한 경우에는, 동 도에 나타낸 바와 같이, 리스너(2)는, 각 음원(1, 2, 3, 4, 5)에 대응한 음상(A, B, C, D, E)을, 머리내에 지각할 수 있다.
이상과 같이 일반적인 2 채널 스테레오 음성신호로부터, 특정의 음원의 음성신호만 분리하여 출력할 수 있으면, 보컬의 음성만을 뽑아내거나, 바이올린 등 특정의 음원의 음성만을 뽑아내거나 할 수 있고, 여러 가지의 용도로 이용할 수 있다.
이와 같이, 2 채널 스테레오 음성신호로부터, 특정의 음원의 음성신호를 분리하여 출력하는 방법의 일례로서 도 21에 나타내는 방법이 알려져 있다. 이 도 21의 예는, 분리하고 싶은 음원의 음성신호를 구성하는 주파수의 에너지가 큰 부분을 꺼내는 밴드 패스 필터를, 분리하고 싶은 음원에 따라 준비하고, 이 밴드 패스 필터에 의해, 분리하고 싶은 음원의 음성신호를, 2 채널 스테레오 음성신호로부터 분리하는 방법이다.
도 21의 예는, 왼쪽 채널의 음성신호(SL)로부터, 음원(a)의 음성신호(Sa)와, 음원(b)의 음성신호(Sb)를 분리하고, 오른쪽 채널의 음성신호(SR)로부터, 음원(c)의 음성신호(Sc)와, 음원(d)의 음성신호(Sd)를 분리하는 경우이며, 음원분리 처리회로(7)는, 음원(a ~ d)의 각각 대응하는 4개의 밴드 패스 필터(3 ~ 6)로부터 된다.
즉, 도 21에 나타낸 바와 같이, 왼쪽 채널의 음성신호(SL)는, 음원(a)의 음성신호(Sa)를 구성하는 주파수의 에너지가 큰 부분을 꺼내는 밴드 패스 필터(3) 및 음원(b)의 음성신호(Sb)를 구성하는 주파수의 에너지가 큰 부분을 꺼내는 밴드 패스 필터(4)로에 공급되고, 이들 밴드 패스 필터(3 및 4)의 각각으로부터 음성신호(Sa 및 Sb)를 얻도록 한다.
또, 오른쪽 채널의 음성신호(SR)는, 음원(c)의 음성신호(Sc)를 구성하는 주파수의 에너지가 큰 부분을 꺼내는 밴드 패스 필터(5) 및 음원(d)의 음성신호(Sd)를 구성하는 주파수의 에너지가 큰 부분을 꺼내는 밴드 패스 필터(6)로 공급되고, 이들 밴드 패스 필터(5 및 6)의 각각으로부터 음성신호(Sc 및 Sd)를 얻도록 한다.
참고가 되는 특허문헌은, 다음과 같다.
[특허문헌 1] 특표2003 - 515771호 공보
그러나, 상술한 도 21의 방법에서는, 예를 들면 베이스 기타와 심벌즈 등과 같이, 음원을 구성하는 중심 주파수가 다른 대역에 있는 경우는, 어느 정도, 분리하는 것이 가능하지만, 서로 공유하는 주파수대역이 많은 음원끼리의 경우에는, 그 주파수대역의 중복이나, 밴드 패스 필터의 선택 영역으로부터 빗나가는 각 음원의 고조파를 포함하고, 양호한 분리를 행할 수 없다고 하는 문제가 있었다.
이 발명은, 복수의 음원의 음성신호가 포함되어 있는 2 계통의 음성신호로부터, 특정의 음원의 음성신호를 양호하게 분리할 수 있는 음성신호 처리장치 및 방법을 제공하는 것을 목적으로 한다.
상기의 과제를 해결하기 위해서, 청구항 1의 발명에 의한 음성신호 처리장치는,
2 계통의 음성신호의 각각을 복수개의 주파수대역에 분할하는 분할수단과,
상기 분할수단으로부터의 상기 분할된 복수개의 주파수대역의 각각에 있어서의 상기 2 계통의 음성신호의 레벨비 또는 레벨차를 산출하는 레벨 비교수단과,
상기 레벨 비교수단에서 산출된 상기 레벨비 또는 상기 레벨차에 따라 상기 분할수단의 출력을 제어하는 출력 제어수단을 구비하는 것을 특징으로 한다.
이 청구항 1의 발명에 있어서는, 각 음원의 음성신호는, 소정의 레벨비 혹은 레벨차에서, 2 계통의 음성신호에 혼합되고 있는 것을 이용한다. 청구항 1의 발명에 있어서는, 2 계통의 음성신호의 각각을, 복수개의 주파수대역으로 분할한다. 그리고, 각 주파수대역 마다 2 계통의 음성신호의 레벨비 또는 레벨차가 산출되고, 그 레벨비 또는 레벨차가, 미리 정한 값 및 그 근방이 되는 주파수대역의 신호 성분이, 2 계통의 음성신호의 적어도 한편으로부터 추출된다.
상기 미리 정한 레벨비 혹은 레벨차가, 특정의 음원의 음성신호가 상기 2 계통의 음성신호에 혼합되어 있는 레벨비 혹은 레벨차로 설정되어 있으면, 상기 특정 음원의 음성신호를 구성하는 주파수 성분이 적어도 2 계통의 음성신호의 적어도 한편으로부터 추출되어 얻을 수 있다.즉, 특정의 음원의 음성신호가 추출된다.
청구항 2의 발명은,
2 계통의 시계열 음성신호를, 각각 주파수 영역 신호로 변환하는 제 1 및 제 2의 변환수단과,
상기 제 1의 변환수단과 상기 제 2의 변환수단으로부터의 대응하는 주파수 스펙트럼끼리의 레벨비 또는 레벨차를 산출하는 산출수단과,
상기 레벨 산출수단에 있어서의 산출결과에 근거하고, 상기 제 1의 변환수단과 상기 제 2의 변환수단의 적어도 한편으로부터 얻어지는 주파수 스펙트럼의 레벨을 제어하고, 출력하는 출력 제어수단을 구비하는 것을 특징한다.
이 청구항 2의 발명에 있어서는, 2 계통의 시계열 음성신호는, 각각 제 1 및 제 2의 변환수단에 의해 주파수 영역 신호로 변환되고, 각각 복수개의 주파수 스펙트럼으로 이루어지는 성분으로 변환된다.
그리고, 청구항 2에서는, 제 1의 변환수단과 제 2의 변환수단으로부터의 대응하는 주파수 스펙트럼끼리의 레벨비 또는 레벨차가 산출되고, 그 산출 결과에 근거하고, 제 1의 변환수단과 제 2의 변환수단의 적어도 한편으로부터 얻어지는 주파수 스펙트럼의 레벨을 제어하고, 상기 레벨비 또는 상기 레벨차가 미리 정한 값 및 그 근방이 되는 주파수 성분을 추출하여 출력한다.
미리 정한 레벨비 혹은 레벨차가, 특정의 음원의 음성신호가 상기 2 계통의 음성신호에 혼합되어 있는 레벨비 혹은 레벨차로 설정되어 있으면, 이 특정의 음원의 음성신호를 구성하는 주파수 영역 성분이 적어도 2 계통의 음성신호의 적어도 한편으로부터 추출되어 얻어진다. 즉, 특정의 음원의 음성신호가 추출된다.
또, 청구항 4의 발명은,
청구항 2에 기재의 음성신호 처리장치에 있어서,
상기 제 1의 변환수단과 상기 제 2의 변환수단으로부터의, 대응하는 주파수 스펙트럼끼리의 위상차를 산출하는 위상차 산출수단을 또한 구비하고,
상기 출력 제어수단은,
상기 레벨 산출수단에 있어서의 산출 결과 및 상기 위상차 산출수단에서 산출된 상기 위상차에 근거하고, 상기 제 1의 변환수단과 상기 제 2의 변환수단의 적어도 한편의 것으로부터 얻어지는 주파수 스펙트럼의 레벨을 제어하고 출력하는 것을 특징으로 한다.
청구항 4의 발명에 있어서는, 2 계통의 시계열 음성신호는, 각각 제 1 및 제 2의 변환수단에 의해 주파수 영역 신호로 변환되고, 각각 복수개의 주파수 스펙트럼으로 이루어지는 성분으로 변환된다.
그리고, 청구항 4에서는, 제 1의 변환수단과 제 2의 변환수단으로부터의 대응하는 주파수 스펙트럼끼리의 위상차가 산출되고, 그 산출 결과에 근거하고, 제 1의 변환수단과 제 2의 변환수단의 적어도 한편으로부터 얻어지는 주파수 스펙트럼의 레벨을 제어하고, 상기 위상차가 미리 정한 값 및 그 근방이 되는 주파수 성분을 추출하여 출력한다.
미리 정한 위상차가, 특정 음원의 음성신호가 상기 2 계통의 음성신호에 혼합되어 있는 위상차로 설정되어 있으면, 이 특정 음원의 음성신호를 구성하는 주파수 영역 성분이 적어도 2 계통의 음성신호의 적어도 한편으로부터 추출되어 얻어진다. 즉, 특정의 음원의 음성신호가 추출된다.
이하, 이 발명에 의한 음성신호 처리장치 및 방법의 실시 형태를, 도면을 참조하면서 설명한다.
이하의 설명에 있어서는, 상술한 왼쪽 채널 음성신호(SL)와, 오른쪽 채널 음 성신호(SR)로 이루어지는 스테레오 음성신호로부터, 음원 분리하는 경우에 대해 설명한다.
예를 들면, 왼쪽 채널 음성신호(SL)와 오른쪽 채널 음성신호(SR)에, 음원(1 ~ 5)의 음성신호(S1 ~ S5)가, 다음의 (식 1) 및 (식 2)에 나타내는 비율로, 레벨 차가 할당되고 배분되어 혼합되고 있는 것으로 한다.
SL = S1 ＋ 0.9S2 ＋ 0.7S3 ＋ 0.4S4　… (식 1)
SR = S5 ＋ 0.4S2 ＋ 0.7S3 ＋ 0.9S4　… (식 2)
이 식 1 및 식 2를 비교하면, 각 음원(1 ~ 5)의 음성신호(S1 ~ S5)는, 상기와 같이 레벨차를 가지고, 왼쪽 채널 음성신호(SL)와 오른쪽 채널 음성신호(SR)에 분배되어 있으므로, 이 분배 비율에 의해서, 음원을 재차, 왼쪽 채널 음성신호(SL) 및／또는 오른쪽 채널 음성신호(SR)로부터 배분할 수 있으면, 원래의 음원은 분리할 수 있다.
이하의 실시 형태에 있어서는, 각 음원이 일반적으로는 다른 스펙트럼 성분을 가지고 있는 것을 이용하고, 좌우 2 채널 스테레오 음성신호의 각각을 충분한 해상도를 가지는 FFT 처리에 의해 주파수 영역으로 변환하고, 다수개의 주파수 스펙트럼 성분으로 분할한다. 그리고, 각각의 채널의 음성신호에 대해서의, 대응하는 각 주파수 스펙트럼끼리의 레벨비 또는 레벨차를 구하고, 식 1, 식 2에 있어서, 분리하고 싶은 음원의 음성신호에 대해서의 분배비에 대응하는 레벨비 또는 레벨차로 되어 있는 주파수 스펙트럼을 검출하고, 이 검출한 주파수 스펙트럼 성분을 분리함으로써, 다른 음원으로부터의 영향의 적은 음원 분리를 가능하게 하고 있다.
[제 1의 실시 형태의 음성신호 처리장치의 구성]
도 1은, 제 1의 실시 형태의 음성신호 처리장치를 나타내는 블럭도이다. 2 채널 스테레오 신호 중 왼쪽 채널 음성신호(SL)는, 직교변환수단의 예로서의 FFT(Fast　Fourier　Transform；고속 푸리에 변환)부(11)에 공급되고, 신호(SL)가 아날로그 신호때에는 디지탈 신호에 변환된 후, FFT 처리(고속 푸리에 변환)되고, 시계열 음성신호가 주파수 영역 데이터로 변환된다. 또한, 신호(SL)가 디지탈 신호일 때는, FFT부(11)에서의 아날로그-디지털 변환은 불필요하다는 것은 말할 필요도 없다.
한편, 2 채널 스테레오 신호 중 오른쪽 채널 음성신호(SR)는, 변환수단의 예로서의 FFT부(12)에 공급되고, 신호(SR)가 아날로그 신호 때에는 디지탈 신호로 변환된 후, FFT 처리(고속 푸리에 변환)되고, 시계열 음성신호가 주파수 영역 데이터로 변환된다. 또한, 신호(SR)가 디지탈 신호일 때는, FFT부(12)에서의 아날로그-디지털 변환은 불필요하다는 것은 말할 필요도 없다.
이 예의 FFT부(11 및 12)는, 같은 구성을 구비하고, 각 시계열 신호(SL, SR)를, 서로 다른 복수개의 주파수의 주파수 스펙트럼 성분으로 분할한다. 여기서, 주파수 스펙트럼으로서 얻는 주파수 분할수는, 음원의 분리도의 정도에 따라 다수로 되고, 예를 들면 500이상, 바람직하게는 4000이상의 주파수 분할수로 된다. 이 주파수 분할수는, FFT부에 있어서의 포인트수에 따라서 결정된다.
각 FFT부(11) 및 FFT부(12)로부터의 주파수 스펙트럼 출력(F1 및 F2)은, 각각 주파수 스펙트럼 비교 처리부(13)와, 주파수 스펙트럼 제어 처리부(14)에 공급 된다.
주파수 스펙트럼 비교 처리부(13)는, FFT부(11) 및 FFT부(12)로부터의 주파수 스펙트럼 성분(F1, F2)의, 같은 주파수끼리의 레벨비를 산출하고, 산출한 레벨비를 주파수 스펙트럼 제어 처리부(14)에 출력한다. 레벨비는, 각각의 레벨을 dB 등의 대수표현한 경우는, 레벨차로서 표현된다.
주파수 스펙트럼 제어 처리부(14)는, 주파수 스펙트럼 비교 처리부(13)로부터의 레벨비의 정보를 받고, 이 레벨비가 소정의 것이 되고 있는 주파수 스펙트럼 성분만을, FFT부(11) 및 FFT부(12)의 출력의 적어도 한편으로부터 추출하고, 그 추출 결과 출력(Fex)을 역FFT부(15)에 출력한다. 또한, 이 예에서는, 주파수 스펙트럼 제어 처리부(14)는, 레벨비가 소정의 것이 되고 있는 주파수 스펙트럼 성분을 FFT부(11) 및 FFT부(12)의 출력의 양쪽으로부터 추출하고, 추출 결과 출력(Fex)으로서 역FFT부(15)에 출력한다.
주파수 스펙트럼 제어 처리부(14)에서는, 미리, 사용자에 의해, 분리해야 할 음원에 따라서, 어떠한 레벨비의 주파수 스펙트럼 성분을 추출할지가 설정되어 있다. 따라서, 주파수 스펙트럼 제어 처리부(14)에서는, 사용자가 분리하고 싶은 것으로서 설정된 레벨비에서 좌우 2 채널에 배분되어 있는 음원의 음성신호의 주파수 스펙트럼 성분만이 추출되게 된다.
역FFT부(15)는, 주파수 스펙트럼 제어 처리부(14)로부터의 추출 결과 출력(Fex)의 주파수 스펙트럼 성분을 원래의 시계열 신호로 변환하고, 그 변환 출력 신호를, 사용자가 분리하고 싶은 것으로 설정한 음원의 음성신호(SO)로서 출력한다. 또한, 출력 음성신호를 아날로그 신호로 하는 경우에는, 역FFT부(15)의 출력 측에 D／A변환기가 설치되고, 아날로그 음성신호로 변환된다. 이하의 실시 형태에 대해도 동일하다.
[주파수 스펙트럼 비교 처리부(13)의 구성]
주파수 스펙트럼 비교 처리부(13)는, 이 예에서는, 기능적으로는, 도 2에 나타내는 구성을 갖춘다. 즉, 주파수 스펙트럼 비교 처리부(13)는, 레벨 검출부(21, 22)와 레벨비 산출부(23, 24)와 셀렉터(25)로 이루어진다.
레벨 검출부(21)는, FFT부(11)로부터의 주파수 스펙트럼 성분(F1)의 각각의 주파수 성분의 레벨을 검출하고, 그 검출 출력(D1)을 출력한다. 또, 레벨 검출부(22)는, FFT부(12)로부터의 주파수 스펙트럼 성분(F2)의 각각의 주파수 성분의 레벨을 검출하고, 그 검출 출력(D2)을 출력한다. 이 예에서는, 각 주파수 스펙트럼의 레벨은, 진폭 스펙트럼을 검출한다. 또한, 각 주파수 스펙트럼의 레벨로서, 파워 스펙트럼을 검출하도록 하여도 좋다.
그리고, 레벨비 산출부(23)는, D1／D2를 산출한다. 또, 레벨비 산출부(24)는, 그 역수의 D2／D1를 산출한다. 레벨비 산출부(23) 및 레벨비 산출부(24)에서 산출된 레벨비는, 셀렉터(25)에 공급되고, 이 셀렉터(25)로부터, 그 한편의 레벨비가, 출력 레벨비로서 꺼내진다.
셀렉터(25)에는, 분리해야할 것으로서 사용자에 의해 설정된 음원 및 그 레벨비에 따라서, 레벨비 산출부(23)의 출력과, 레벨비 산출부(24)의 출력의 어느 것을 선택해야할 것인가를 선택 제어하기 위한 선택 제어 신호(SEL)가 공급된다. 이 셀렉터(25)로부터 얻어지는 출력 레벨비(r)는, 주파수 스펙트럼 제어 처리부(14)에 공급된다.
이 예에 있어서는, 주파수 스펙트럼 제어 처리부(14)에 있어서, 분리해야 할 음원의 레벨비로서 이용되는 값은, 항상, 레벨비(r은 1이하)로 되어 있다. 즉, 주파수 스펙트럼 제어 처리부(14)에 입력되는 레벨비(r)는, 레벨의 작은 편의 주파수 스펙트럼의 레벨을, 레벨이 큰 편의 주파수 스펙트럼의 레벨로 나눈 것으로 되어 있다.
이 때문에, 주파수 스펙트럼 제어 처리부(14)에서는, 왼쪽 채널의 음성신호(SL)편에, 보다 많이 포함되도록 분배되어 있는 음원의 신호를 분리하는 경우에는, 레벨비 산출부(23)로부터의 레벨비 산출 출력이 사용되고, 반대로, 오른쪽 채널의 음성신호(SR) 편에, 보다 많이 포함되도록 분배되어 있는 음원의 신호를 분리하는 경우에는, 레벨비 산출부(24)로부터의 레벨비 산출 출력이 사용되고 있다.
예를 들면, 사용자가, 분리해야 할 음원의 레벨비로서 왼쪽 채널 및 오른쪽 채널의 신호의 분배율의 값(PL, PR)(PL, PR은 1 이하의 값)을 각각 설정 입력하도록 정해져 있는 것으로 했을 때, 설정된 분배율의 값(PL, PR)이, PR／PL이 1 이하일 때는, 선택 제어신호(SEL)는, 셀렉터(25)로부터 레벨비 산출부(23)의 출력(D2／D1)을, 출력 레벨비(r)로서 선택하는 선택 제어신호로 되고, 설정된 분배율의 값(PL, PR)이, PR／PL＞1 때는, 선택 제어신호(SEL)는, 셀렉터(25)로부터 레벨비 산출부(24)의 출력(D1／D2)을, 출력 레벨비(r)로서 선택하는 선택 제어신호로 된다.
또한, 사용자에 의해 설정된 분배율의 값(PL, PR)이 서로 동일한(레벨비 (r)=1) 때에는, 셀렉터(25)에서는, 레벨비 산출부(23)의 출력과 레벨비 산출부(24)의 출력 중 어느 것을 선택해도 좋다.
[주파수 스펙트럼 제어 처리부(14)의 구성]
주파수 스펙트럼 제어 처리부(14)는, 이 예에서는, 기능적으로는, 도 3에 나타내는 구성을 구비한다. 즉, 주파수 스펙트럼 제어 처리부(14)는, 곱셈 계수 발생부(31)와, 음원 분리부(32)로 이루어진다. 그리고, 음원 분리부(32)는, 곱셈부(33 및 34)와 가산부(35)로 이루어진다.
곱셈부(33)에는, FFT부(11)로부터의 주파수 스펙트럼 성분이 공급됨과 동시에, 곱셈 계수 발생부(31)로부터의 곱셈 계수(w)가 공급되고, 양자의 곱셈 결과가, 이 곱셈부(33)로부터 가산부(35)에 공급된다. 또, 곱셈부(34)에는, FFT부(12)로부터의 주파수 스펙트럼 성분이 공급됨과 동시에, 곱셈 계수 발생부(31)로부터의 곱셈 계수(w)가 공급되고, 양자의 곱셈 결과가, 이 곱셈부(34)로부터 가산부(35)에 공급된다. 그리고, 가산부(35)의 출력은, 주파수 스펙트럼 제어 처리부(14)의 출력(Fex)로 된다.
곱셈 계수 발생부(31)는, 주파수 스펙트럼 비교 처리부(13)의 셀렉터(25)로부터의 출력 레벨비(r)의 출력을 받고, 이 레벨비(r)에 따른 곱셈 계수(w)를 발생한다. 곱셈 계수 발생부(31)는, 예를 들면, 레벨비(r)를 변수로 한 곱셈 계수(w)에 관한 함수 발생회로에 의해 구성된다. 곱셈 계수 발생부(31)에 사용하는 함수로서, 어떠한 함수가 선택될지는, 분리해야 할 음원에 따라서 사용자에 의해 설정된 분배율의 값(PL, PR)에 의한다.
곱셈 계수 발생부(31)에 공급되는 레벨비(r)는, 주파수 스펙트럼의 각 주파수 성분 단위로 변화하는 것이므로, 곱셈 계수 발생부(31)로부터의 곱셈 계수(w)도, 주파수 스펙트럼의 각 주파수 성분 단위로 변화하게 된다.
따라서, 곱셈부(33)에서는, FFT부(11)로부터의 각 주파수 스펙트럼의 레벨이, 곱셈 계수(w)에 의해 제어되고, 또, 곱셈부(34)에서는, FFT부(12)로부터의 각 주파수 스펙트럼의 레벨이, 곱셈 계수(w)에 의해 제어된다.
도 4에, 곱셈 계수 발생부(31)로서의 함수 발생회로에 이용되는 함수의 예를 나타낸다. 예를 들면, 상기 식 1 및 식 2에서 나타낸 좌우 2 채널의 음성신호(SL 및 SR)로부터, 좌우 채널의 음상 사이의 중앙에 정위하는 음원의 음성신호(S3)를 분리하는 경우에는, 곱셈 계수 발생부(31)로서는, 도 4(a)에 나타나는 특성의 함수 발생회로가 이용된다.
도 4(a)의 함수의 특성은, 좌우 채널의 레벨비(r)가 1, 혹은 1에 가까운 경우, 즉, 좌우 채널이 같은 레벨 혹은 같은 레벨에 가까운 주파수 스펙트럼 성분에서는, 곱셈 계수(w)는 1 혹은 1 근방이 되고, 좌우 채널의 레벨비(r)가 약 0.6 이하의 영역에서는, 곱셈 계수(w)는 0으로 되어 있다.
따라서, 셀렉터(25)로부터의 레벨비(r)가 1, 또는 1 근방으로 되어 있는 주파수 스펙트럼 성분에 대한 곱셈 계수(w)는 1, 혹은 1에 가까운 값이 되므로, 곱셈부(33 및 34)에서는, 이 주파수 스펙트럼 성분은, 거의 그대로의 레벨로 출력된다. 한편, 셀렉터(25)로부터의 레벨비(r)가, 약 0.6 이하의 값으로 되어 있는 주파수 스펙트럼 성분에 대한 곱셈 계수(w)는 0이 되므로, 곱셈부(33 및 34)에서는, 이 주 파수 스펙트럼 성분은, 출력 레벨이 0으로 되고, 출력되지 않게 된다.
즉, 곱셈부(33 및 34)에서는, 다수개의 주파수 스펙트럼 성분 가운데, 좌우 동(同)레벨 및 그 근방으로 되어있는 주파수 스펙트럼 성분은, 거의 그대로의 레벨로 출력되고, 좌우 채널의 레벨차가 큰 주파수 스펙트럼 성분은, 출력 레벨이 0으로 되어서 출력되지 않게 된다. 이 결과, 좌우 2 채널의 음성신호(SL, SR)에 동레벨로 분배된 음원의 음성신호(S3)의 주파수 스펙트럼 성분만이 가산부(35)로부터 얻을 수 있게 된다.
또, 예를 들면, 상기 식 1 및 식 2에서 나타난 좌우 2 채널의 음성신호(SL 및 SR)로부터, 좌우 채널의 한편 측에만 정위하는 음원의 음성신호(S1 또는 S5)를 분리하는 경우에는, 곱셈 계수 발생부(31)로서는, 도 4(b)에 나타나는 특성의 함수 발생회로가 이용된다.
이 경우에 있어서, 이 실시 형태에 있어서는, 음성신호(S1)를 분리하는 경우에는, 사용자는, 분리하는 음원에 대한 좌우 분배율 PL：PR = 1：0을 설정 입력한다. 혹은, PL = 1, PR = 0과 같이 설정 입력한다. 이와 같이 사용자가 설정하면, 셀렉터(25)에는, 레벨비 산출부(23)로부터의 레벨비를 선택하도록 제어하는 선택 제어신호(SEL)가 주어진다.
한편, 음성신호(S5)를 분리하는 경우에는, 사용자는, 분리하는 음원에 대한 좌우 분배율 PL：PR = 0：1을 설정 입력한다. 혹은, PL = 0, PR = 1과 같이 설정 입력한다. 이와 같이 사용자가 설정하면, 셀렉터(25)에는, 레벨비 산출부(24)로부터의 레벨비를 선택하도록 제어하는 선택 제어신호(SEL)가 주어진다.
도 4(b)의 함수의 특성은, 좌우 채널의 레벨비(r)가 0, 혹은 0 근방의 주파수 스펙트럼 성분에서는, 곱셈 계수(w)는 1 혹은 1 근방의 값으로 되고, 좌우 채널의 레벨비(r)가 약 0.4 이상의 영역에서는, 곱셈 계수(w)는 0으로 되어있다.
따라서, 셀렉터(25)로부터의 레벨비(r)가 0, 또는 0 근방이 되고 있는 주파수 스펙트럼 성분에 대한 곱셈 계수(w)는 1, 혹은 1에 가까운 값이 되므로, 곱셈부(33 및 34)에서는, 이 주파수 스펙트럼 성분은, 거의 그대로의 레벨로 출력된다. 한편, 셀렉터(25)로부터의 레벨비(r)가, 약 0.4 이상의 값으로 되어있는 주파수 스펙트럼 성분에 대한 곱셈 계수(w)는 0이 되므로, 곱셈부(33 및 34)에서는, 이 주파수 스펙트럼 성분은, 출력 레벨이 0으로 되고, 출력되지 않게 된다.
즉, 곱셈부(33 및 34)에서는, 다수개의 주파수 스펙트럼 성분 가운데, 좌우 채널의 한편이 다른 편에 비해 매우 큰 레벨로 되어있는 주파수 스펙트럼 성분은, 거의 그대로의 레벨로 출력되고, 좌우 채널의 레벨차가 적은 주파수 스펙트럼 성분은, 출력 레벨이 0으로 되어 출력되지 않게 된다. 이 결과, 좌우 2 채널의 음성신호(SL, SR)의 한편 밖에 분배되어 있지 않은 음원의 음성신호(S1 또는 S5)의 주파수 스펙트럼 성분만이 가산부(35)로부터 얻을 수 있게 된다.
또, 예를 들면, 상기 식 1 및 식 2에서 나타낸 좌우 2 채널의 음성신호(SL 및 SR)로부터, 좌우 채널에 소정의 레벨차를 가져서 배분되어 있는 음원의 음성신호(S2 또는 S4)를 분리하는 경우에는, 곱셈 계수 발생부(31)로서는, 도 4(c)에 나타나는 특성의 함수 발생회로가 이용된다.
즉, 음성신호(S2)는, D2／D1(=SR／SL) = 0.4／0.9 = 0.44의 레벨비에서, 좌 우 채널에 분배되어 있다. 또, 음성신호(S4)는, D1／D2(=SL／SR) = 0.4／0.9 = 0.44의 레벨비로, 좌우 채널에 분배되어 있다.
이 경우에 있어서, 이 실시 형태에 대해서는, 음성신호(S2)를 분리하는 경우에는, 사용자는, 분리하는 음원에 대한 좌우 분배율 PL：PR = 0.9：0.4을 설정 입력한다. 혹은, PL = 0.9, PR = 0.4와 같이 설정 입력한다. 이와 같이 사용자가 설정하면, PR／PL＜1이므로, 셀렉터(25)에는, 레벨비 산출부(23)로부터의 레벨비를 선택하도록 제어하는 선택 제어신호(SEL)가 주어진다.
한편, 음성신호(S4)를 분리하는 경우에는, 사용자는, 분리하는 음원에 대한 좌우 분배율 PL：PR = 0.4：0.9를 설정 입력한다. 혹은, PL = 0.4, PR = 0.9와 같이 설정 입력한다. 이와 같이 사용자가 설정하면, PR／PL＞1이므로, 셀렉터(25)에는, 레벨비 산출부(24)로부터의 레벨비를 선택하도록 제어하는 선택 제어신호(SEL)가 주어진다.
도 4(c)의 함수의 특성은, 좌우 채널의 레벨비(r)가, D2／D1(=PR／PL) = 0.4／0.9 = 0.44에서는 1, 혹은 레벨비(r)가 0.44에 가까운 주파수 스펙트럼 성분에서는, 곱셈 계수(w)는 1 혹은 1 근방으로 되고, 좌우 채널의 레벨비(r)가 약 0.44 근방 이외의 영역에서는, 곱셈 계수(w)는 0으로 되어있다.
따라서, 셀렉터(25)로부터의 레벨비(r)가 0.44, 또는 0.44 근방으로 되어있는 주파수 스펙트럼 성분에 대한 곱셈 계수(w)는 1, 혹은 1에 가까운 값이 되므로, 곱셈부(33 및 34)에서는, 이 주파수 스펙트럼 성분이, 거의 그대로의 레벨로 출력된다. 한편, 셀렉터(25)로부터의 레벨비(r)가, 약 0.44 근방 이하의 값 및 약 0.44 근방 이상의 값으로 되어있는 주파수 스펙트럼 성분에 대한 곱셈 계수(w)는 0이 되므로, 곱셈부(33 및 34)에서는, 이 주파수 스펙트럼 성분은, 출력 레벨이 0으로 되어, 출력되지 않게 된다.
즉, 곱셈부(33 및 34)에서는, 다수개의 주파수 스펙트럼 성분 가운데, 좌우 채널의 레벨비가 0.44 또는 그 근방으로 되어있는 주파수 스펙트럼 성분은, 거의 그대로의 레벨로 출력되고, 좌우 채널의 레벨비(r)가, 약 0.44 근방 이하의 값 및 약 0.44 근방 이상의 값으로 되어있는 주파수 스펙트럼 성분은, 출력 레벨이 0으로 되어 출력되지 않게 된다.
이 결과, 좌우 2 채널의 음성신호(SL, SR)에, 레벨비가 0.44로 분배된 음원의 음성신호(S2 또는 S4)의 주파수 스펙트럼 성분만이 가산부(35)로부터 얻을 수 있게 된다.
이상과 같이 하여, 이 실시 형태에 의하면, 좌우 2 채널에, 소정의 분배 비율로 분배된 음원의 음성신호를, 그 분배 비율에 근거하여, 이 2 채널의 음성신호로부터 분리할 수 있다.
이 경우에, 상술의 실시 형태에서는, 분리하고 싶은 음원의 음성신호는, 2 채널의 음성신호의 양쪽으로부터 추출하도록 했지만, 반드시 양 채널로부터 분리 추출할 필요는 없고, 한편의 채널만으로부터 분리 추출하도록 해도 좋다.
또, 상술의 실시 형태에서는, 2 계통의 음성신호에 대해서 분배된 음원의 신호의 레벨비에 근거하여, 이 2 계통의 음성신호로부터 상기 음원의 신호를 분리하도록 했지만, 상기 음원의 신호의, 2 계통의 음성신호에 대한 레벨차에 근거하여, 이 음원의 신호를 상기 2 계통의 음성신호의 적어도 한편으로부터 분리 추출하도록 할 수도 있다.
또한, 이상의 설명에서는, 각 음원이 식 1, 식 2에 따라서 좌우 채널에 분배된 좌우 2 채널 스테레오 신호를 예로 하여 설명했지만, 의도적으로 분배되지 않는 통상의 스테레오 음악 신호에 있어서도, 도 4에 나타낸 함수의 선택 특성에 따라서 상기하는 음원을 분리할 수 있다.
또, 예를 들면, 다른 예에서는 도 4(d), (e) 등과 같이, 함수를 바꾸는 것으로, 분리하는 레벨비 범위를 바꾸는, 넓게 하는, 좁게 하는 등, 다른 음원 선택성을 갖게 할 수도 있다.
음원의 스펙트럼 구성에 관해서도, 많은 스테레오 음악 신호는 다른 스펙트럼을 가지는 음원으로부터 구성되지만, 그러한 음원에 대해서도, 상술과 같게 하여 분리하는 것이 가능해진다.
또, 스펙트럼 중복부가 많은 음원끼리에 관해서도, FFT부(11, 12)에 있어서의 주파수 분해가능을 향상하는 것으로, 예를 들면 4000포인트 이상의 FFT 회로를 이용함으로서, 음원 분리의 질을 더욱 향상시킬 수 있다.
[제 2의 실시 형태의 음성신호 처리장치의 구성]
상술한 제 1의 실시 형태에서는, 2 계통의 음성신호, 상술의 예에서는, 좌우 2 채널 스테레오 신호(SL, SR)로부터, 소정의 레벨비 혹은 레벨차를 가지고 분배된 1개의 음원의 음성신호를, 적어도 상기 2 계통의 음성신호의 한편으로부터 분리 추출하도록 하였다.
이하에 설명하는 제 2의 실시 형태에서는, 2 계통의 음성신호로부터 1개의 음원의 음성신호만을 분리 추출하는 것이 아니라, 2 계통의 음성신호에 소정의 레벨비 혹은 레벨차를 가지고 분배되어 있는 복수개의 음원의 음성신호를, 동시에, 분리 추출하도록 구성한 경우이다.
도 5는, 이 제 2의 실시 형태의 음성신호 처리장치의 구성예를 나타내는 것으로, 도 1의 제 1의 실시 형태에 대응하는 부분에는, 동일 부호를 교부하고 있지만, 이 예에서는, 주파수 스펙트럼 비교 처리부(13) 및 주파수 스펙트럼 제어 처리부(14)의 구성이, 복수개의 음원의 음성신호를 분리하기 위한 구성으로 되어 도 1에 나타낸 제 1의 실시 형태와는 다른 것과 동시에, 역FFT부는, 분리 추출하는 출력수만 설치된다.
도 6은, 이 제 2의 실시 형태에 있어서의 주파수 스펙트럼 비교 처리부(13)와, 주파수 스펙트럼 제어 처리부(14)의 부분의 내부 구성예를 나타내는 것이다.
이 제 2의 실시 형태에 있어서의 주파수 스펙트럼 비교 처리부(13)는, 상술한 제 1의 실시 형태와 같게 하고, 레벨 검출부(21 및 22), 레벨비 산출부(23 및 24)를 구비하고, FFT부(11 및 12)로부터의 각 주파수 스펙트럼 성분의 레벨비(D2／D1 및 D1／D2)를 검출한다. 그리고, 이 예에 있어서는, 각 레벨비 산출부(23 및 24)로부터의 레벨비 검출출력은, 분리하는 음원의 수에 동일한 수의 복수개의 셀렉터(251, 252, … 25n)에 각각 공급된다.
이들 복수개의 셀렉터(251, 252, … 25n)의 각각은, 분리하고 싶은 음원의 음성신호의 좌우 2 채널로의 분배율에 따라서, 레벨비 산출부(23 및 24)로부터의 레벨비 검출출력의 한편을 선택하기 위한 선택 제어신호(SEL1, SEL2, … SELn)가 공급된다. 즉, 상술한 바와 같이, 선택 제어신호(SEL1, SEL2, … SELn)는, 분리하고 싶은 음원의 음성신호가 보다 많이 분배되어 있는 채널측의 레벨이 분모가 되는 레벨비를 셀렉터(251, 252, … 25n)의 각각이 선택하는 신호로 된다.
주파수 스펙트럼 제어 처리부(14)는, 분리하는 음원의 수에 동일한 수의 복수개의 곱셈 계수 발생부(311, 312, … 31n) 및 음원 분리부(321, 322, … 32n)를 구비한다. 그리고, 주파수 스펙트럼 비교 처리부(13)의 복수개의 셀렉터(251, 252, … 25n)의 각각으로부터의 레벨비(r1, r2, … rn)가, 곱셈 계수 발생부(311, 312, … 31n)의 대응하는 것에 각각 공급된다.
곱셈 계수 발생부(311, 312, … 31n)의 각각은, 상술의 제 1의 실시 형태와 같게, 분리하고 싶은 음원의 음성신호의 좌우 2 채널 음성신호로의 분배비에 대응한, 레벨비에 대한 곱셈 계수의 함수(상술의 도 4의 함수예 참조)가 설정으로 된다.
따라서, 이들 곱셈 계수 발생부(311, 312, … 31n)의 각각에서는, 셀렉터(251, 252, … 25n)의 각각으로부터의 레벨비(r1, r2, … rn)의 각각에 따른 곱셈 계수이며, 분리하는 음원의 음성신호에 따른 곱셈 계수(w1, w2, … wn)가 음원 분리부(321, 322, … 32n)의 각각에 공급된다.
음원 분리부(321, 322, … 32n)의 각각은, 도시는 생략 하지만, 상술의 음원 분리부(32)와 같게, 출력(F1 및 F2)의 각각과, 곱셈 계수를 곱셈하는 곱셈부(33 및 34)와, 양 곱셈부(33, 34)의 출력을 가산하는 가산부(35)를 구비하는 구성을 가지 고 있다.
음원 분리부(321, 322, … 32n)의 각각의 곱셈부(33, 34)에서는, 각각 분리하고 싶은 음원의 음성신호의 좌우 2 채널 음성신호로의 분배비, 혹은 그 근방의 레벨비로 되어있는 주파수 스펙트럼 성분은, 거의 그대로의 레벨로 출력되고, 그 외의 주파수 스펙트럼 성분은, 소 레벨 혹은 레벨 0으로 된다. 이 결과, 음원 분리부(321, 322, … 32n)의 각각으로부터는, 각각 분리를 희망하는 음원의 주파수 스펙트럼 성분의 추출 출력(Fex1, Fex2, … Fexn)을 얻을 수 있다.
그리고, 음원 분리부(321, 322, … 32n)로부터의 추출 출력(Fex1, Fex2, … Fexn)의 각각이, 대응하는 역FFT부(151, 152, … 15n)에 공급되고, 원래의 시계열 신호로서의 음성신호에 되돌려져, 분리된 음원의 음성신호 출력(SO1, SO2, … SOn)으로서 출력된다.
[제 3의 실시 형태의 음성신호 처리장치의 구성]
이 제 3의 실시 형태는, 좌우 2 채널의 음성신호의, 각각의 채널의 음성신호(SL, SR)로부터, 같은 음원의 음성신호 혹은 다른 음원의 음성신호를 분리 추출하는 경우의 예이다.
도 7은, 이 제 3의 실시 형태의 음성신호 처리장치의 구성예를 나타내는 블럭도로, 이 예에 있어서도, FFT부(11 및 12)로부터의 주파수 스펙트럼 성분으로 이루어지는 출력(F1 및 F2)은, 주파수 스펙트럼 비교 처리부(13) 및 주파수 스펙트럼 제어 처리부(14)에 공급된다.
그리고, 주파수 스펙트럼 제어 처리부(14)에서는, 후술하는 바와 같이, 왼쪽 채널의 음성신호(SL)로부터 추출된 소정의 음원의 음성신호의 주파수 스펙트럼 성분 출력(FexL)과, 오른쪽 채널의 음성신호(SR)로부터 추출된 소정의 음원의 음성신호의 주파수 스펙트럼 성분 출력(FexR)이 얻어지고, 각각 역FFT부(15L 및 15R)에 공급되고, 원래의 시계열의 음성신호에 되돌려져, 이 역FFT부(15L 및 15R)로부터 소정의 음원의 출력 음성신호(SOL 및 SOR)로서 도출된다.
이 제 3의 실시 형태에 있어서의 주파수 스펙트럼 비교 처리부(13)는, 상술한 제 1의 실시 형태와 같게 하고, 레벨 검출부(21 및 22), 레벨비 산출부(23 및 24)를 구비하고, FFT부(11 및 12)로부터의 각 주파수 스펙트럼 성분의 레벨비(D2／D1 및 D1／D2)를 검출한다. 그리고, 이 예에 있어서는, 각 레벨비 산출부(23 및 24)로부터의 레벨비 검출출력은, 왼쪽 채널용의 셀렉터(25L)와, 오른쪽 채널용의 셀렉터(25R)에, 각각 공급된다.
이들 셀렉터(25L, 25R)의 각각에는, 좌우 2 채널의 각각으로부터 분리하고 싶은 음원의 음성신호의 좌우 2 채널로의 분배율에 따라서, 레벨비 산출부(23 및 24)로부터의 레벨비 검출출력의 한편을 선택하기 위한 선택 제어신호(SELL, SELR)가 공급된다. 즉, 상술한 바와 같이, 선택 제어신호(SELL, SELR)는, 분리하고 싶은 음원의 음성신호가 보다 많이 분배되어 있는 채널측의 레벨이 분모로 되는 레벨비를, 셀렉터(25L, 25R)의 각각이 선택하도록 신호로 된다.
주파수 스펙트럼 제어 처리부(14)는, 왼쪽 채널용의 곱셈 계수 발생부(31L) 및 오른쪽 채널용의 곱셈 계수 발생부(31R)와, 왼쪽 채널용의 곱셈부(32L) 및 오른쪽 채널용 곱셈부(32R)를 구비하여 구성된다. 그리고, 주파수 스펙트럼 비교 처 리부(13)의 셀렉터(25L)로부터의 레벨비(rL)가 곱셈 계수 발생부(31L)에 공급되고, 또, 셀렉터(25R)로부터의 레벨비(rR)가 곱셈 계수 발생부(31R)에 공급된다.
곱셈 계수 발생부(31L, 31R)의 각각은, 상술의 제 1의 실시 형태와 같게, 분리하고 싶은 음원의 음성신호의 좌우 2 채널 음성신호로의 분배비에 대응한, 레벨비에 대한 곱셈 계수의 함수(상술의 도 4의 함수예 참조)가 설정으로 된다.
따라서, 이들 곱셈 계수 발생부(31L, 31R)의 각각에서는, 셀렉터(25L, 25R)의 각각으로부터의 레벨비(rL, rR)의 각각에 따른 곱셈 계수이며, 분리하는 음원의 음성신호에 따른 곱셈 계수(wL, wR)가, 곱셈부(32L, 32R)의 각각에 공급된다.
이것에 의해, 곱셈부(32L, 32R)의 각각에서는, 각각 분리하고 싶은 음원의 음성신호의 좌우 2 채널 음성신호로의 분배비, 혹은 그 근방의 레벨비로 되어있는 주파수 스펙트럼 성분은, 거의 그대로의 레벨로 출력되고, 그 외의 주파수 스펙트럼 성분은, 소 레벨 혹은 레벨 0으로 된다. 이 결과, 곱셈부(32L, 32R)의 각각에서는, 각각 분리를 희망하는 음원의 주파수 스펙트럼 성분의 추출 출력(FexL, FexR)이 얻어진다.
그리고, 곱셈부(32L, 32R)로부터의 추출 출력(FexL, FexR)의 각각이, 대응하는 역FFT부(15L, 15R)에 공급되고, 원래의 시계열 신호로서의 음성신호에 되돌려져, 분리된 음원의 음성신호 출력(SOL, SOR)으로서 출력된다.
이 제 3의 실시 형태에 있어서, 곱셈 계수 발생부(31L, 31R)로 설정되는 함수는, 좌우 2 채널로부터 분리하려고 하는 음원이 다른 것에 따른 것으로 될 뿐만 아니라, 좌우 2 채널에 소정의 레벨비 혹은 레벨차로 분배된 동일한 음원의 음성신 호를, 분리하기 위한 함수로 할 수도 있다.
후자의 경우에는, 셀렉터(25L 및 25R)는, 레벨비 산출부(23, 24) 중 동일한 레벨비를 선택하여 출력함과 동시에, 곱셈 계수 발생부(31L 및 31R)도 동일한 함수를 이용하도록 하면 좋다. 이것에 의해, 예를 들면, 상술한 좌우 2 채널의 스테레오 신호(SL, SR)에 대한 식 1 및 식 2에 있어서의 신호(S2나 S4)를, 좌우 채널의 각각의 음성신호(SL, SR)로부터 분리 추출하고, 출력(SOL, SOR)으로서 도출할 수 있다.
이 경우에 있어서, 곱셈 계수 발생부(31L, 31R)에 설정하는 레벨비 대 곱셈 계수의 함수의 특성으로서는, 동일한 음원을 분리할 때에, 완전히 동일한 특성으로 하는 것이 아니라, 예를 들면 도 8(a), (b)에 나타낸 바와 같이, 함수의 특성 곡선을 상사형(相似形)으로 함과 동시에, 레벨비(r)에 대한 곱셈 계수(w)의 크기를 다르게 하도록 할 수도 있다.
이와 같이 하면, 예를 들면 좌우 채널에 레벨차를 가지고 분배되어 있던 음원의 음성신호를, 좌우 채널의 음성신호(SL, SR)로부터 분리한 음성신호(SOL, SOR)로서, 동일한 레벨로 출력할 수 있게 된다.
[제 4의 실시 형태의 음성신호 처리장치의 구성；자동 채보 장치]
도 9는, 도 7의 실시 형태의 변형예로서의 제 4의 실시 형태를 나타내는 것이다. 이 제 4의 실시 형태는, 음성신호 처리장치를 자동 채보 장치의 구성으로 하는 것이다.
즉, 도 9의 실시 형태에 있어서는, 도 8에 있어서의 역FFT부(15L, 15R) 대신 에, 주파수 스펙트럼 최대 레벨 검출부(16L, 16R)를, 주파수 스펙트럼 제어 처리부(14)의 출력 측에 설치한다.
이 실시 형태에서는, 분리된 음원은 그 스펙트럼 구성으로부터, 진폭 레벨이 최대 레벨이 되는 주파수 스펙트럼 성분이, 그 음원의 기음(基音)이라고 판단되는 것에 근거하여, 주파수 스펙트럼 최대 레벨 검출부(16L, 16R)는, 주파수 스펙트럼 제어 처리부(14)로부터의 출력(FexL, FexR) 중에서, 상기 진폭 레벨이 최대 레벨이 되는 주파수 스펙트럼 성분의 주파수를 검출하고, 그 검출한 주파수(f1, f2)와 레벨(V1, V2)을 데이터로서 출력한다.
그리고, 도시는, 생략했지만, 주파수 스펙트럼 최대 레벨 검출부(16L, 16R)로부터의 주파수(f1, f2)와 레벨(V1, V2)을, 예를 들면 음높이 검출 장치에 공급하여 음높이(pitch)를 검출하고, 그 검출한 음높이를 기록 매체에 기록하거나 혹은, 보면(譜面)에 기입하는 장치(채보 장치)를 이용하여 보면에 기입 할 수 있다.
이상과 같이 하고, 이 제 4의 실시 형태에 의하면, 스테레오 음성신호로부터, 우선 음원을 분리하고, 다음에 분리된 음원의 스펙트럼을 해석함으로써, 음원의 음높이를 검출하고, 상기 검출한 음높이에 근거하여, 자동 채보를 할 수 있으므로, 복수의 음원이 섞인 스테레오 음원으로부터, 자동 채보를 가능하게 하는 시스템을 실현할 수 있다.
또한, 도 9의 예에서는, 왼쪽 채널과 오른쪽 채널의 각각으로부터 음원을 분리하고, 자동 채보를 행하도록 했지만, 도 5 및 도 6을 이용하여 설명한 제 2의 실시 형태와 같이, 2 채널의 음성신호의 각각으로부터, 복수개의 음원의 주파수 스펙 트럼 성분을 추출하는 예에 대해서도, 자동 채보 장치를 실현할 수 있다. 즉, 도 5에 있어서, 역FFT부(151, 152, …15n)의 모든 것을, 주파수 스펙트럼 최대 레벨 검출부에 옮겨놓아, 그 출력으로서 최대 레벨의 주파수 스펙트럼의 주파수 및 레벨을 각각 얻도록 함과 동시에, 그들 주파수 및 레벨 출력을, 음높이 검출 장치를 거쳐서 채보 장치에 공급하도록 하면 좋다.
또, 이 제 4의 실시 형태의 자동 채보 장치는, 제 1의 실시 형태의 경우에 적용할 수도 있는 것이다. 또, 후술하는, 음원 분리를 행하는 음성신호 처리장치의 실시 형태의 경우에도 적용 가능하다 것은 말할 필요도 없다.
[제 5의 실시 형태의 음성신호 처리장치의 구성]
이 제 5의 실시 형태는, 2 채널의 음성신호로부터 사용자가 분리하고 싶은 음원을 동적으로 변경할 수 있도록 한 경우이다.
즉, 이 제 5의 실시 형태는, 제 3의 실시 형태에 적용한 경우에서, 2 채널의 음성신호(SL, SR)의 각각으로부터 다른 음원(같은 음원이라도 좋다)의 음성신호를 분리하도록 하는 경우에 있어서, 각각 분리하는 음원을 사용자가 동적으로 선택 변경할 수 있도록 한 경우이다.
도 10에 나타내는 이 제 5의 실시 형태에 있어서는, 주파수 스펙트럼 제어 처리부(14)는, 왼쪽 채널용의 곱셈 계수 발생부로서, 복수개의 곱셈 계수 발생부(31L1, 31L2, …, 31Ln)를 설치함과 동시에, 그들 복수개의 곱셈 계수 발생부(31L1, 31L2, … 31Ln)의 어느 쪽 하나로부터의 곱셈 계수를 선택하고, 상기 선택한 곱셈 계수를, 곱셈 계수(wL)로서 곱셈부(32L)에 공급하는 스위치 회로(36L)를 구비한다.
또, 동일하게 하여, 주파수 스펙트럼 제어 처리부(14)는, 오른쪽 채널용의 곱셈 계수 발생부로서, 복수개의 곱셈 계수 발생부(31R1, 31R2, …, 31Rn)를 설치함과 동시에, 그들 복수개의 곱셈 계수 발생부(31R1, 31R2, …, 31Rn)의 어느 한쪽으로부터의 곱셈 계수를 선택하고, 상기 선택한 곱셈 계수를, 곱셈 계수(wR)로서 곱셈부(32R)에 공급하는 스위치 회로(36R)를 구비한다.
복수개의 곱셈 계수 발생부(31L1, 31L2, …, 31Ln 및 31R1, 31R2, …, 31Rn)의 각각은, 예를 들면, 좌우 채널의 레벨비가 여러 가지의 값이 되는 음원을 분리하기 위해서 이용하는 레벨비 대 곱셈 계수의 함수가, 설정된다.
또, 주파수 스펙트럼 비교 처리부(13)에는, 레벨비 산출부(23, 24)의 레벨비산출 출력을 받아서, 어느 한편의 레벨비 산출 출력을, 곱셈 계수 발생부(31L1, 31L2, …, 31Ln, 31R1, 31R2, …, 31Rn)의 각각에 공급하는 선택 분배 회로(250)가 설치된다.
그리고, 이 제 5의 실시 형태에 대해서는, 분리 음원 선택 신호 발생부(17)가 설치된다. 이 분리 음원 선택 신호 발생부(17)는, 후술하는 바와 같이 선택 조작 수단을 통한, 사용자에 의한, 분리하는 음원의 선택 조작에 대응한 신호(Ma)를 받고, 선택 분배 회로(250)에 공급하는 선택 신호(SELT)를 발생함과 동시에, 스위치 회로(36L)를 스위치 제어하는 신호(SWL) 및 스위치 회로(36R)를 스위치 제어하는 신호(SWR)를 발생한다.
도시는 생략 하지만, 이 예의 음성신호 처리장치는, 예를 들면 선택 조작 손 잡이나 버튼, 터치 패널 첨부 LCD등의 표시부를 통한 그래피컬·유저·인터페이스를 통해서, 사용자로부터의 분리하는 음원의 선택 조작을 받아들이도록 한다. 이때, 선택 조작 대상이 되는 것은, 곱셈 계수 발생부(31L1, 31L2, …, 31Ln, 31R1, 31R2, …, 31Rn)로 설정된 함수에 의해 분리 가능한 복수개의 음원이다.
예를 들면, 분리 가능한 복수의 음원으로서는, 왼쪽 채널의 음상정위 위치에서 오른쪽 채널의 음상정위 위치의 사이에 있어서, 음상정위 위치를 서서히 변경하는 것으로 할 수 있다.
이 경우에 있어서, 사용자는, 왼쪽 채널 및 오른쪽 채널의 각각에 대해서, 독립으로 분리하는 음원을 지정할 수 있도록 되어 있다.
예를 들면, 왼쪽 채널의 곱셈 계수 발생부(31L1)로부터의 곱셈 계수에 의해서 왼쪽 채널의 음성신호(SL)로부터 분리 가능한 음원이, 사용자에 의해서, 상기 선택 조작 손잡이나 버튼, 혹은 그래피컬·유저·인터페이스를 통해서 선택되었을 때에는, 그 선택 조작에 따른 신호(Ma)를 받은 분리 음원 선택 신호 발생부(17)는, 상기 신호(Ma)에 대응한 스위치 제어 신호(SWL) 및 선택 신호(SELT)를 발생한다.
그리고, 이때, 스위치 회로(36L)는, 분리 음원 선택 신호 발생부(17)로부터의 스위치 제어 신호(SWL)에 의해, 곱셈 계수 발생부(31L1)를 선택하는 상태로 변환되고, 또, 선택 분배 회로(250)는, 선택 신호(SELT)에 의해, 레벨비 산출부(23, 24)의 한편(레벨비가 1 이하가 되는 쪽)이 선택되고, 곱셈 계수 발생부(31L1)에 공급된다.
이것에 의해, 곱셈부(32L)에서는, 선택 지정된 대로의 음원의 주파수 스펙트 럼 성분(FexL)이 얻어지고, 역FFT부(15L)에 의해, 원래의 시계열의 음성신호에 되돌려져 출력(SOL)으로서 출력된다.
오른쪽 채널에 있어서도, 동일하게 하여, 사용자에 의해 선택 설정된, 분리하고 싶은 음원의 음성신호가 추출된다.
또한, 도 10의 제 5의 실시 형태는, 2 채널의 음성신호의 각각으로부터, 소정의 음원의 음성신호를 각각 분리 추출하는 경우(제 3의 실시 형태에 적용한 경우)이지만, 제 5의 실시 형태는, 제 1의 실시 형태나 제 2의 실시 형태에도 적용 가능하다.
즉, 예를 들면 제 1의 실시 형태에 적용하는 경우에는, 도 3에 있어서, 곱셈 계수 발생부(31) 대신에 복수개의 곱셈 계수 발생부를 설치함과 동시에, 그러한 복수개의 곱셈 계수 발생부와, 음원 분리부(32)와의 사이에, 복수개의 곱셈 계수 발생부의 하나로부터의 곱셈 계수를 음원 분리부(32)에 공급하도록 하는 스위치 회로를 설치한다. 또한, 사용자의 선택 조작 신호(Ma)를 받아들여, 스위치 회로를 스위치 제어함과 동시에, 곱셈 계수 발생부에 레벨비 산출부(23, 24)의 출력 중 적절한 때에 레벨을 공급하도록 제어하는 신호를 발생하는 분리 음원 선택 신호 발생부를 설치하도록 한다.
또, 예를 들면 제 2의 실시 형태에 적용하는 경우에는, 도 6에 있어서, 곱셈 계수 발생부(311, 312, …, 31n)의 각각의 대신에 복수개의 곱셈 계수 발생부를 설치함과 동시에, 그러한 복수개의 곱셈 계수 발생부와, 음원 분리부(321, 322, …, 32n)의 각각과의 사이에, 복수개의 곱셈 계수 발생부의 하나로부터의 곱셈 계수를 음원 분리부(321, 322, …, 32n)의 각각에 공급하도록 하는 복수개의 스위치 회로를 설치한다. 또한, 사용자의 선택 조작 신호(Ma)를 받아들여, 각 스위치 회로를 스위치 제어하는 스위치 제어 신호를 발생함과 동시에, 곱셈 계수 발생부의 각각 레벨비 산출부(23, 24)의 출력 중 적절한 때에 레벨을 공급하도록 제어하는 신호를 발생하는 분리 음원 선택 신호 발생부를 설치하도록 한다.
[제 6의 실시 형태의 음성신호 처리장치의 구성]
이상의 실시 형태에 대해서는, 2 채널의 음성신호에, 각 음원의 음성신호가 분배될 때의 위상은, 2 채널에서 동상으로 했지만, 역상에서 음원의 음성신호가 분배되는 경우도 있다. 일례로서, 다음의 식 3 및 식 4와 같이, 6개의 음원(MS1 ~ MS6)으로부터의 음성신호(S1 ~ S6)가 좌우 2 채널로 분배된 스테레오 음성신호(SL, SR)를 고려한다.
SL = S1＋0.9S2＋0.7S3＋0.4S4＋0.7S6　… 식 3
SR = S5＋0.4S2＋0.7S3＋0.9S4―0.7S6　… 식 4
즉, 음원(MS3)의 음성신호(S3)와, 음원(MS6)의 음성신호(S6)는, 좌우 채널에, 각각 동(同)레벨로 분배되어 있지만, 음원(MS3)의 음성신호(S3)는, 좌우 채널에 동상으로 분배되어 있는 것에 대해서, MS6의 음성신호(S6)는, 좌우 채널에 역상으로 분배되어 있다.
이 때문에, 상술의 실시의 형태와 동일하게 하여, 위상을 고려하지 않고, 레벨비 혹은 레벨차만을 이용하여 음원(MS3)의 음성신호(S3) 또는 음원(MS6)의 음성신호(S6)의 어느쪽을 분리 추출하려고 해도, 음성신호(S3와 S6)는, 동(同)레벨로 좌우 채널에 분배되어 있으므로, 어느 한편을 분리 추출할 수 없다.
그래서, 이 제 6의 실시 형태에서는, 상술의 실시 형태와 같게, 레벨비 혹은 레벨차를 이용하여 음성 성분을 분리한 후, 위상차를 이용하여 한층 더 분리를 하는 것으로써, 음원(MS3)의 음성신호(S3)와 음원(MS6)의 음성신호(S6)도 분리하여 출력할 수 있도록 한다.
도 11은, 이 제 6의 실시 형태의 음성신호 처리장치의 구성예를 나타내는 블럭도이다. 이 제 6의 실시 형태의 음성신호 처리장치에 있어서의 주파수 스펙트럼 비교 처리부(103)는, 레벨 비교 처리부(1031)와, 위상 비교 처리부(1032)를 구비한다.
또, 이 제 6의 실시 형태에 있어서의 주파수 스펙트럼 제어 처리부(104)는, 제 1주파수 스펙트럼 제어 처리부(1041)와, 위상차에 근거한 음원 분리 처리를 행하기 위한 제 2의 주파수 스펙트럼 제어 처리부(1042)를 구비한다.
도 12는, 이 제 6의 실시 형태에 있어서의 주파수 스펙트럼 비교 처리부(103)와, 주파수 스펙트럼 제어 처리부(104)의 부분의 상세 구성예를 나타내는 블럭도이다. 즉, 주파수 스펙트럼 비교 처리부(103)의 레벨 비교 처리부(1031)는, 상술한 제 1의 실시 형태의 주파수 스펙트럼 비교 처리부(13)와 같은 구성으로 구비하고, 레벨 검출부(21, 22)와, 레벨비 산출부(23, 24)와, 셀렉터(25)로 이루어진다 .
그리고, 주파수 스펙트럼 제어 처리부(104)의 제 1주파수 스펙트럼 제어 처리부(1041)도, 상술의 제 1의 실시 형태의 주파수 스펙트럼 제어 처리부(14)와 거 의 같은 구성을 구비하고(주파수 스펙트럼 제어 처리부(1041)는, 가산부(35)는 가지지 않는다), 곱셈 계수 발생부(31)와, 곱셈부(33 및 34)로 이루어지는 음원 분리부(32)의 구성으로 되어 있다.
그리고, 도 11 및 도 12에 나타낸 바와 같이, 레벨 비교 처리부(1031)로부터의 레벨비 출력(r)은, 제 1의 실시 형태라고 완전히 동일하고, 제 1주파수 스펙트럼 제어 처리부(1041)의 곱셈 계수 발생부(31)에 공급되어, 이 곱셈 계수 발생부(31)로부터 상기 곱셈 계수 발생부(31)에 설정된 함수에 대응한 곱셈 계수(wr)가 발생하여, 곱셈부(33, 34)에 공급된다.
곱셈부(33)에는, FFT부(11)로부터의 주파수 스펙트럼 성분이 공급되고 있고, 상기 주파수 스펙트럼 성분과 곱셈 계수(wr)와의 곱셈 결과가, 이 곱셈부(33)로부터 얻어진다. 또, 곱셈부(34)에는, FFT부(12)로부터의 주파수 스펙트럼 성분이 공급되고 있고, 상기 주파수 스펙트럼 성분과 곱셈 계수(wr)와의 곱셈 결과가, 이 곱셈부(34)로부터 얻어진다.
즉, 곱셈부(33, 34)에서는, FFT부(11, 12)로부터의 주파수 스펙트럼 성분의 각각이, 곱셈 계수 발생부(31)로부터의 곱셈 계수(wr)에 따라 레벨 제어된 상태의 출력이 얻어진다.
상술한 바와 같이, 곱셈 계수 발생부(31)는, 레벨비(r)를 변수로 한 곱셈 계수(wr)에 관한 함수 발생 회로에 의해 구성된다. 곱셈 계수 발생부(31)에 사용하는 함수로서, 어떠한 함수가 선택되는지는, 분리해야 할 음원의 좌우 2 채널의 음성신호로의 분배율에 의한다.
예를 들면, 곱셈 계수 발생부(31)에는, 도 4에 나타낸 바와 같은 특성의, 곱셈 계수(wr)의 레벨비에 관한 함수가 설정된다. 예를 들면, 좌우 2 채널에 동(同)레벨로 분배되는 음원의 음성신호를 분리 추출하는 경우에는, 상술한 바와 같이, 도 4(a)에 나타낸 특정의 함수가, 곱셈 계수 발생부(31)에 설정된다.
이 제 6의 실시 형태에서는, 곱셈부(33, 34)의 출력은, 각각 주파수 스펙트럼 비교 처리부(103)의 위상 비교 처리부(1032)에 공급됨과 동시에, 주파수 스펙트럼 제어 처리부(104)의 제 2주파수 스펙트럼 제어 처리부(1042)에 공급된다.
위상 비교 처리부(1032)는, 도 12에 나타낸 바와 같이, 곱셈부(33, 34)의 출력의 위상차(φ)를 검출하는 위상차 검출부(26)로 이루어지고, 그 위상차(φ)의 정보를 제 2주파수 스펙트럼 제어 처리부(1042)에 공급한다.
제 2주파수 스펙트럼 제어 처리부(1042)는, 2개의 곱셈 계수 발생부(301 및 305)와, 곱셈부(302, 303) 및 곱셈부(306, 307)와, 가산부(304 및 308)로 이루어진다.
그리고, 곱셈부(302)에는, 제 1주파수 스펙트럼 제어 처리부(1041)의 곱셈부(33)의 출력이 공급됨과 동시에, 곱셈 계수 발생부(301)로부터의 곱셈 계수(wp1)가 공급되어, 양자의 곱셈 결과가, 이 곱셈부(302)로부터 가산부(304)에 공급된다. 또, 곱셈부(303)에는, 제 1주파수 스펙트럼 제어 처리부(1041)의 곱셈부(34)의 출력이 공급됨과 동시에, 곱셈 계수 발생부(301)로부터의 곱셈 계수(wp1)가 공급되어, 양자의 곱셈 결과가, 이 곱셈부(303)로부터 가산부(304)에 공급된다. 그리고, 가산부(304)의 출력은, 주파수 스펙트럼 제어 처리부(104)의 제 1의 출력 (Fex1)으로 된다.
또, 곱셈부(306)에는, 제 1주파수 스펙트럼 제어 처리부(1041)의 곱셈부(33)의 출력이 공급됨과 동시에, 곱셈 계수 발생부(305)로부터의 곱셈 계수(wp2)가 공급되어, 양자의 곱셈 결과가, 이 곱셈부(306)로부터 가산부(308)에 공급된다. 또, 곱셈부(307)에는, 제 1주파수 스펙트럼 제어 처리부(1041)의 곱셈부(34)의 출력이 공급됨과 동시에, 곱셈 계수 발생부(305)로부터의 곱셈 계수(wp2)가 공급되어, 양자의 곱셈 결과가, 이 곱셈부(307)로부터 가산부(308)에 공급된다. 그리고, 가산부(308)의 출력은, 주파수 스펙트럼 제어 처리부(104)의 제 2의 출력(Fex2)으로 된다.
곱셈 계수 발생부(301 및 305)는, 위상차 검출부(26)로부터의 위상차(φ) 의 정보를 받고, 상기 위상차(φ)에 따른 곱셈 계수(wp1 및 wp2)를 발생한다. 곱셈 계수 발생부(301 및 305)는, 위상차(φ)를 변수로 한 곱셈 계수(wp)에 관한 함수 발생 회로에 의해 구성된다. 곱셈 계수 발생부(301 및 305)에 사용하는 함수로서, 어떠한 함수가 선택되는지는, 분리해야 할 음원의 상기 2 채널에 대한 위상차에 따라서, 사용자에 의해 설정된다.
곱셈 계수 발생부(301 및 305)에 공급되는 위상차(φ)는, 주파수 스펙트럼의 각 주파수 성분 단위로 변화하는 것이므로, 곱셈 계수 발생부(301 및 305)로부터의 곱셈 계수(wp1 및 wp2)도, 주파수 스펙트럼의 각 주파수 성분 단위로 변화하게 된다.
따라서, 곱셈부(302) 및 곱셈부(306)에서는, 곱셈부(33)로부터의 각 주파수 스펙트럼의 레벨이, 곱셈 계수(wp1 및 wp2)에 의해 제어되고, 또, 곱셈부(303) 및 곱셈부(307)에서는, 곱셈부(34)로부터의 각 주파수 스펙트럼의 레벨이, 곱셈 계수(wp1 및 wp2)에 의해 제어된다.
도 13에, 곱셈 계수 발생부(301 및 305)로서의 함수 발생 회로에 이용되는 함수의 예를 나타낸다.
도 13(a)의 함수의 특성은, 좌우 채널의 위상차(φ)가 0, 혹은 0에 가까운 경우, 즉, 좌우 채널이 동상 혹은 동상에 가까운 주파수 스펙트럼 성분에서는, 곱셈 계수(wp)는 1 혹은 1 근방이 되어, 좌우 채널의 위상차(φ)가 약 π/4 이상의 영역에서는, 곱셈 계수(wp)는 0으로 되어 있다.
예를 들면 곱셈 계수 발생부(301)에, 이 도 13(a)의 특성의 함수가 설정되어 있는 경우에 있어서, 위상차 검출부(26)로부터의 위상차(φ)가 0, 또는 0 근방으로 되어있는 주파수 스펙트럼 성분에 대한 곱셈 계수(wp)는 1, 혹은 1에 가까운 값이 되므로, 곱셈부(302, 303)에서는, 상기 주파수 스펙트럼 성분은, 거의 그대로의 레벨로 출력된다. 한편, 위상차 검출부(26)으로부터의 위상차(φ)가, 약 π/4 이상의 값으로 되어있는 주파수 스펙트럼 성분에 대한 곱셈 계수(wp)는 0이 되므로, 곱셈부(302, 303)에서는, 상기 주파수 스펙트럼 성분은, 출력 레벨이 0으로 되고, 출력되지 않게 된다.
즉, 곱셈부(302, 303)에서는, 다수개의 주파수 스펙트럼 성분 가운데, 좌우 동상(同相) 및 그 근방의 위상차로 되어있는 주파수 스펙트럼 성분은, 거의 그대로의 레벨로 출력되고, 좌우 채널의 위상차가 큰 주파수 스펙트럼 성분은, 출력 레벨 이 0으로 되어 출력되지 않게 된다. 이 결과, 좌우 2 채널의 음성신호(SL, SR)에 동상으로 분배된 음원의 음성신호의 주파수 스펙트럼 성분만이 가산부(35)로부터 얻을 수 있게 된다.
즉, 이 도 13(a)의 특성의 함수는, 좌우 2 채널에 동상으로 분배되어 있는 음원의 신호를 추출할 때에 이용된다.
또, 도 13(b)의 함수의 특성은, 좌우 채널의 위상차(φ)가 π, 혹은 π에 가까운 경우, 즉, 좌우 채널이 역상 혹은 역상에 가까운 주파수 스펙트럼 성분에서는, 곱셈 계수(wp)는 1 혹은 1 근방으로 되고, 좌우 채널의 위상차(φ)가 약 3π/4이하의 영역에서는, 곱셈 계수(wp)는 0으로 되어있다.
예를 들면 곱셈 계수 발생부(301)에, 이 도 13(b)의 특성의 함수가 설정되어 있는 경우에 있어서, 위상차 검출부(26)로부터의 위상차(φ)가 π, 또는 π근방으로 되어 있는 주파수 스펙트럼 성분에 대한 곱셈 계수(wp)는 1, 혹은 1에 가까운 값이 되므로, 곱셈부(302, 303)에서는, 상기 주파수 스펙트럼 성분은, 거의 그대로의 레벨로 출력된다. 한편, 위상차 검출부(26)로부터의 위상차(φ)가, 약 3π/4 이하의 값으로 되어있는 주파수 스펙트럼 성분에 대한 곱셈 계수(wp)는 0이 되므로, 곱셈부(302, 303)에서는, 상기 주파수 스펙트럼 성분은, 출력 레벨이 0으로 되어, 출력되지 않게 된다.
즉, 곱셈부(302, 303)에서는, 다수개의 주파수 스펙트럼 성분 가운데, 좌우 역상 및 그 근방의 위상차로 되어있는 주파수 스펙트럼 성분은, 거의 그대로의 레벨로 출력되어, 좌우 채널의 위상차가 작은 주파수 스펙트럼 성분은, 출력 레벨이 0으로 되어 출력되지 않게 된다. 이 결과, 좌우 2 채널의 음성신호(SL, SR)에 역상으로 분배된 음원의 음성신호의 주파수 스펙트럼 성분만이 가산부(304)로부터 얻을 수 있게 된다.
즉, 이 도 13(b)의 특성의 함수는, 좌우 2 채널에 역상으로 분배되어 있는 음원의 신호를 추출할 때에 이용된다.
이와 같이 하여, 도 13(c)의 특성의 함수는, 좌우 채널의 위상차(φ)가 약 π/2, 혹은 약 π/2에 가까운 경우의 주파수 스펙트럼 성분에서는, 곱셈 계수(wp)는 1 혹은 1 근방으로 되어, 그 외의 위상차(φ)의 영역에서는, 곱셈 계수(wp)는 0으로 되어있다. 따라서, 이 도 13(c)의 특성의 함수는, 좌우 2 채널에, 서로 약 π/2만 다른 위상으로 분배되어 있는 음원의 신호를 추출할 때에 이용된다.
그 외, 곱셈 계수 발생부(301 및 305)에는, 분리하는 음원의 음성신호의 2 채널로 분배할 때의 위상차에 따라서, 도 13(d)나(e)에 나타내는 특성의 함수를 설정할 수도 있다.
이상과 같이 하여, 주파수 스펙트럼 제어 처리부(104)로부터 얻어지는 제 1의 출력(Fex1) 및 제 2의 출력(Fex2)은, 역FFT부(1501 및 1502)에 각각 공급되고, 원래의 시계열의 음성신호에 되돌려져 제 1 및 제 2의 출력 신호(SO10 및 SO20)로서 도출된다. 이들 제 1 및 제 2의 출력 신호(SO10 및 SO20)를 아날로그 신호로서 도출하는 경우에는, 역FFT부(1501 및 1502)의 출력단에 D／A변환기가 설치된다.
이 제 6의 실시 형태에 있어서, 예를 들면, 상기 식 3 및 식 4에서 나타낸 좌우 2 채널의 음성신호(SL 및 SR)로부터, 동(同)레벨이지만, 동상으로 좌우 채널 에 분배된 음원(MS3)의 음성신호(S3)와, 역상으로 좌우 채널에 분배된 음원(MS6)의 음성신호(S6)를, 출력(Fex1 및 Fex2)으로서 분리하는 경우에는, 곱셈 계수 발생부(31)에는, 도 4(a)에 나타낸 것 같은 특정의 함수가 설정되고, 또, 곱셈 계수 발생부(301)에는, 도 13(a)에 나타내는 특성으로 되는 함수가 설정되고, 또한 곱셈 계수 발생부(305)에는, 도 13(b)에 나타내는 특성이 되는 함수가 설정된다.
그러면, 도 11 및 도 12에 나타낸 바와 같이, 주파수 스펙트럼 제어 처리부(104)의 제 1주파수 스펙트럼 제어 처리부(1041)의 곱셈부(33)에서는, 왼쪽 채널의 음성신호(SL)를 FFT한 신호(주파수 스펙트럼) 중, (S3 ＋ S6)로 되는 주파수 스펙트럼 성분이 얻어지고, 또, 곱셈부(34)에서는, 오른쪽 채널의 음성신호(SR)를 FFT한 신호(주파수 스펙트럼) 중, (S3 ―S6)로 되는 주파수 스펙트럼 성분이 얻어진다. 즉, 신호(S3와 S6)는, 좌우 채널에 동(同)레벨로 분배되어 있으므로, 제 1주파수 스펙트럼 제어 처리부(1041)에서는, 분리하지 못하고 출력되게 된다.
그러나, 이 제 6의 실시 형태에서는, 신호(S3와 S6)가 역상으로 좌우 채널에 분배되어 있는 것을 이용하고, 다음과 같이 하여, 상기 신호(S3와 S6)가 분리된다.
즉, 곱셈부(33 및 34)의 출력은, 주파수 스펙트럼 비교 처리부(103)의 위상비교 처리부(1032)를 구성하는 위상차 검출부(26)에 공급되고, 양 출력의 위상차(φ)가 검출된다. 그리고, 이 위상차 검출부(26)에서 검출된 위상차(φ)의 정보는, 곱셈 계수 발생부(301)에 공급되는 것과 동시에, 곱셈 계수 발생부(305)에 공급된다.
곱셈 계수 발생부(301)에서는, 도 13(a)에 나타내는 특성의 함수가 설정되어 있는 것으로부터, 곱셈부(302, 303)에서는, 좌우 채널에 동상으로 분배되어 있는 음원의 음성신호를 추출한다. 즉, 주파수 스펙트럼 성분(S3 ＋ S6)과, 주파수 스펙트럼 성분(S3 - S6) 중, 동상 관계에 있는 음원(MS3)의 음성신호(S3)의 주파수 스펙트럼 성분만이 곱셈부(302 및 303)의 각각으로부터 얻어지고, 가산부(304)에 공급된다.
따라서, 가산부(304)에서는, 음원(MS3)의 음성신호(S3)의 주파수 스펙트럼 성분이, 출력 신호(Fex1)로서 도출되고, 역FFT부(1501)에 공급된다. 그리고, 분리된 음성신호(S3)는, 역FFT부(1501)에서 시계열 신호에 되돌려져, 출력 신호(SO10)로서 출력된다.
한편, 곱셈 계수 발생부(305)에서는, 도 13(b)에 나타내는 특성의 함수가 설정되어 있는 것으로부터, 곱셈부(306, 307)에서는, 좌우 채널에 역상으로 분배되어 있는 음원의 음성신호를 추출한다. 즉, 주파수 스펙트럼 성분(S3 ＋ S6)과, 주파수 스펙트럼 성분(S3 - S6) 중, 역상 관계에 있는 음원(MS6)의 음성신호(S6)의 주파수 스펙트럼 성분만이 곱셈부(306 및 307)의 각각으로부터 얻어지고, 가산부(308)에 공급된다.
따라서, 가산부(308)에서는, 음원(MS6)의 음성신호(S6)의 주파수 스펙트럼 성분이, 출력 신호(Fex2)로서 도출되고, 역FFT부(1502)에 공급된다. 그리고, 분리된 음성신호(S6)는, 역FFT부(1502)에서 시계열 신호에 되돌려져, 출력 신호(SO20)로서 출력된다.
또한, 도 11 및 도 12에 나타낸 실시 형태에서는, 제 2주파수 스펙트럼 제어 처리부(1042)에서는, 제 1주파수 스펙트럼 제어 처리부(1041)에 있어서 레벨비를 이용하여 분리할 수 없는 2개의 신호, 상술의 예에서는, 동상의 신호(S3)와, 역상의 신호(S6)를, 각각 곱셈 계수 및 곱셈부를 이용하여, 각각 분리하도록 했지만, 그들 레벨비를 이용하여 분리할 수 없는 2개의 신호의 한편을, 위상차 (φ)와 곱셈 계수를 이용하여, 분리하면, 상기 분리한 신호를, 제 1주파수 스펙트럼 제어 처리부(1041)으로부터의 신호의 합(곱셈부(33)의 출력과 곱셈부(34)의 출력을 가산한 신호)로부터 감산하는 것으로써, 상기 2개의 신호의 한편의 신호를, 분리하도록 할 수도 있다.
또한, 도 11, 도 12의 실시 형태에서는, 2개의 분리 음원 신호를 얻도록 했지만, 출력하는 분리 음원 신호는, 1개라도 좋다. 또, 제 2의 실시 형태와 같이, 보다 다수개의 음원의 음성신호를 동시에 분리하는 경우에도, 이 제 6의 실시 형태를 적용할 수 있는 것은 말할 필요도 없다.
또, 도 11, 도 12의 실시 형태는, 2 계통의 주파수 스펙트럼의 레벨비에 근거하여, 2 계통의 음성신호에 동(同)레벨로 분배되어 있는 음원 성분을 추출한 후, 그 추출 결과의 2 계통의 주파수 스펙트럼에 대한 위상차에 근거하여, 소망한 음원 분리를 행하도록 했지만, 예를 들면 입력 음성신호가, (S3 ＋ S6) 및 (S3 - S6)과 같은, 2 계통의 음성신호의 경우에는, 위상차에만 근거하여, 음원 분리를 행할 수 있는 것은 말할 필요도 없다.
또, 제 4의 실시 형태로서 설명한 자동 채보 장치에도, 이 제 6의 실시 형태는 적용 가능하다.
[제 7의 실시 형태의 음성신호 처리장치]
도 14는, 제 7의 실시 형태의 음성신호 처리장치의 구성예를 나타내는 블럭도이다. 이 도 14의 예에 있어서는, 좌우 2 채널의 음성신호(SL, SR)의 한편, 도의 예에서는, 왼쪽 채널의 음성신호(SL)로부터, 디지털 필터를 이용하고, 좌우 채널에 소정의 레벨비 혹은 레벨차로 분배된 음원의 음성신호를 분리하도록 한다.
즉, 왼쪽 채널의 음성신호(이 예에서는 디지털 신호)(SL)는, 타이밍 조정용의 지연부(41)를 통해서 디지털 필터(42)에 공급된다. 이 디지털 필터(42)에는, 후술하는 바와 같이, 분리하고 싶은 음원의 음성신호의, 좌우 채널에 대한 레벨비에 근거하여 형성되는 필터 계수가 공급되고, 상기 분리하고 싶은 음원의 음성신호가, 이 디지털 필터(42)로부터 추출되도록 된다.
상기 필터 계수는, 다음과 같이 하여 형성된다. 먼저, 좌우 채널의 음성신호(SL 및 SR)(디지털 신호)는, FFT부(43) 및 FFT부(44)에 각각 공급되고, FFT 처리되어 시계열 음성신호가 주파수 영역 데이터로 변환되고, FFT부(43) 및 FFT부(44)의 각각으로부터, 주파수가 서로 다른 다수개의 주파수 스펙트럼 성분이 출력된다.
FFT부(43 및 44)의 각각으로부터의 주파수 스펙트럼 성분의 각각은, 레벨 검출부(45, 46)에 공급되고, 그 진폭 스펙트럼 혹은 파워 스펙트럼이 검출됨으로써, 그 레벨이 검출된다. 그리고, 레벨 검출부(45, 46)의 각각에서 검출된 레벨값(D1, D2)은, 레벨비 산출부(47)에 공급되어 그 레벨비(D1／D2 또는 D2／D1)의 한편이 산출된다.
이 레벨비 산출부(47)에서 산출된 레벨비의 값은, 가중 계수 발생부(48)에 공급된다. 이 가중 계수 발생부(48)는, 상술의 실시 형태의 곱셈 계수 발생부에 대응하는 것이며, 분리하고 싶은 음원의 음성신호의, 좌우 2 채널의 음성신호에 대한 혼합 레벨비 및 그 근방의 레벨비에서는 큰 값의 가중 계수를 출력하고, 그 외의 레벨비에서는 작은 가중 계수를 출력한다. 이 가중 계수는, FFT부(43, 44)의 출력인 주파수 스펙트럼 성분의 각 주파수 마다 얻어진다.
이 가중 계수 발생부(48)로부터의 주파수 영역의 가중 계수는, 필터 계수 생성부(49)에 공급되고, 시간축 영역의 필터 계수로 변환된다. 이 필터 계수 생성부(49)는, 주파수 영역의 가중 계수를, 역FFT를 행하는 것으로, 디지털 필터(42)에 공급하는 필터 계수를 얻는다.
그리고, 이 필터 계수 생성부(49)로부터의 필터 계수가, 디지털 필터(42)에 공급되고, 디지털 필터(42)로부터, 가중 계수 발생부(48)에 설정된 함수에 따른 음원의 음성신호 성분이 분리 추출되고, 출력(SO)으로 된다. 또한, 지연부(41)는, 디지털 필터(42)에 공급되는 필터 계수가 생성될 때까지의 처리 지연 시간을 조정하기 위한 것이다.
도 14의 예는, 레벨비 만을 고려한 것이지만, 위상차만, 또 레벨비와 위상차를 합하여 고려하는 구성으로 할 수도 있다. 즉, 예를 들면 레벨비와 위상차를 합하여 고려하는 경우에는, 도시는 생략 하지만, FFT부(43 및 44)의 출력을 위상차 검출부에도 공급함과 동시에, 검출한 위상차도, 가중 계수 발생부에 공급한다. 이 예의 경우의 가중 계수 발생부는, 분리하는 음원의 좌우 2 채널의 음성신호에 대한 레벨차 만이 아니고, 위상차도 변수로서 가중 계수를 발생하는 함수 발생 회로의 구성으로 이루어진다.
즉, 이 경우의 가중 계수 발생부는, 분리하려고 하는 음원의 음성신호의, 좌우 2 채널에 있어서의 레벨비 및 그 근방의 레벨비 때이고, 상기, 분리하려고 하는 음원의 음성신호의, 좌우 2 채널에 있어서의 위상차 및 그 근방의 위상차 때에는, 큰 가중 계수를 발생하고, 그 외에서는 작은 계수를 발생하는 함수로 설정된다.
그리고, 그 가중 계수 발생부로부터의 가중 계수가 역FFT로 됨으로써, 디지털 필터(42)의 필터 계수로 되는 것이다.
또한, 도 14에서는, 왼쪽 채널만으로 희망하는 음원의 음성신호를 분리하도록 했지만, 오른쪽 채널의 음성신호에 대해서도, 필터 계수를 발생하는 계를, 별개로 동일하게 설치함으로써, 동일하게 소정의 음원의 음성신호를 분리할 수 있다.
[그 외의 실시 형태의 음성신호 처리장치]
상술의 실시 형태에 있어서, 입력 음성신호를 FFT하는 경우, 악음(樂音)과 같이 긴 시계열 신호를 그대로 FFT 처리하는 것은 곤란해서, 소정 분석 구간에 구분하고, 상기 분석 구간마다의 구분 데이터를 얻도록 FFT 처리를 행한다.
그렇지만, 시계열 데이터를 단순하게 일정한 길이만 꺼내고, 음원 분리 처리를 행한 후, 역FFT 변환하여 결합한 경우, 그 결합점에 있어서 파형의 불연속점을 발생하고, 소리로서 들었을 경우, 노이즈를 발생한다고 하는 문제가 있다.
그래서, 제 8의 실시 형태에서는, 구분 데이터를 꺼내는, 도 15에 나타낸 바와 같이, 구간 1, 구간 2, 구간 3, 구간 4, …의 길이를, 각각 같은 길이의 단위 구간으로 하지만, 서로 이웃이 되는 구간에서는, 상기 단위 구간의 길이의 예를 들면 1／2의 구간만을, 서로 중복하도록 각 구간을 설정하고, 각 구간의 구분 데이터를 꺼내도록 한다. 또한, 도 15에 있어서, x0, x1, x2, x3, …, xn은, 디지털 음성신호의 샘플 데이터를 나타내고 있다.
이와 같이 하여 처리하면, 상술의 실시 형태와 같이 하여 음원 분리 처리되어, 역FFT 변환된 시계열 데이터(y0, y1, y2, y3, …, yn)도, 도 16에 나타내는 출력 구분 데이터 1, 2와 같이, 중복 구간을 가지게 된다.
그리고, 이 제 8의 실시 형태에서는, 도 16에 나타낸 바와 같이, 중복 구간을 가지고 서로 이웃이 되는 출력 구분 데이터, 예를 들면 출력 구분 데이터 1, 2의 중복 구간에 대해서, 도 16에 나타내는 삼각창의 특성으로 되는 창함수 1, 2의 처리를 행하여, 각 출력 구분 데이터 1, 2의 중복 구간에 있어서의 동(同)시각 데이터끼리를 가산함으로써, 도 16에 나타내는 출력 합성 데이터를 얻도록 한다. 이것에 의해, 파형의 불연속점이 없는, 즉 노이즈가 없는, 분리된 출력 음성신호가 얻어진다.
또한, 제 9의 실시 형태에서는, 구분 데이터를 꺼내는, 도 17에 나타낸 바와 같이, 서로 이웃이 되는 구분 데이터의 일정 구간으로서 구간 1, 구간 2, 구간 3, 구간 4와 같이, 서로 중복하여 꺼내도록 하는 것과 동시에, 이러한 각 구간의 구분 데이터를, FFT 처리하기 전에, 도 17에 나타내는 삼각창의 창함수 1, 2, 3, 4의, 창함수 처리를 행한다.
그리고, 이 도 17에 나타내는 창함수 처리를 행한 후, FFT 변환 처리를 행하 도록 한다. 그리고, 알맞은 음원 분리 처리된 신호를, 역FFT 변환하면, 도 18에 나타내는 출력 구분 데이터 1, 2가 얻어진다. 이 출력 구분 데이터는, 이미 중복부에 있어서 창함수 처리된 데이터로 되어 있으므로, 출력부에서는, 각 중복 구분 데이터부를 가산하는 것만으로, 파형의 불연속점이 없는 노이즈가 없는, 분리된 음성신호를 얻는 것이 가능해진다.
또한, 상술의 창함수로서는, 삼각창의 외, 하닝창(hanning window) 또는 해밍창(hamming window), 혹은 블랙맨창(blackman window), 등을 이용할 수 있다.
또, 상술의 실시 형태에서는, 시간 이산 신호를 직교변환함으로써, 주파수 영역의 신호로 변환하고, 스테레오 채널간의 주파수 스펙트럼을 비교하도록 했지만, 원리적으로는 시간 영역에서 신호를 다수의 밴드 패스 필터에 의해 세분화하여, 각 주파수 밴드에 대해서 같은 처리를 행하도록 구성하도록 하여도 좋다. 다만, 상술의 실시 형태와 같이, FFT 처리를 하는 만큼이, 주파수 분해가능을 올리는 것이 용이하고, 분리하는 음원의 분리도를 향상시킬 수 있으므로, 실용성이 크다.
또한, 상술의 실시 형태에서는, 이 발명이 적용되는 2 계통의 음성신호로서, 2 채널 스테레오 신호에 대해서 설명했지만, 이 발명은, 음원의 음성신호가 소정의 레벨비 혹은 레벨차로 분배되는 2개의 음성신호이며, 어느 2 계통의 음성신호에 대해서도 적용 가능하다. 위상차에 대해서도 동일하다.
또, 상술의 실시 형태에서는, 2 계통의 음성신호에 대해서 주파수 스펙트럼의 레벨비를 구하고, 곱셈 계수 발생부는, 레벨비 대 곱셈 계수의 함수를 이용하 도록 했지만, 2 계통의 음성신호에 대해서 주파수 스펙트럼의 레벨차를 구하고, 곱셈 계수 발생부는, 상기 레벨차 대 곱셈 계수의 함수를 이용하도록 해도 좋다.
또, 시계열 신호를 주파수 영역의 신호로 변환하는 직교변환수단으로서는, FFT 처리수단에 한정되는 것이 아니고, 주파수 스펙트럼의 레벨이나 위상을 비교할 수 있는 것이면, 어떠한 것이어도 좋다.
이 발명에 의하면, 2 계통의 음성신호에 대해서, 소정의 레벨비 혹은 레벨차, 또는, 소정의 위상차를 가지고, 혼합된 음원의 음성신호는, 상기 2 계통의 음성신호의 적어도 한편으로부터 양호하게 분리된다.

Claims (19)

  1. 2 계통의 음성신호의 각각을 복수개의 주파수대역으로 분할하는 분할수단과,
    상기 분할수단으로부터의 상기 분할된 복수개의 주파수대역의 각각에 있어서의 상기 2 계통의 음성신호의 레벨비 또는 레벨차를 산출하는 레벨 비교수단과,
    상기 레벨 비교수단에서 산출된 상기 레벨비 또는 상기 레벨차에 따라서 상기 분할수단의 출력을 제어하는 출력 제어수단을 구비하는 음성신호 처리장치.
  2. 2 계통의 시계열 음성신호를, 각각 주파수영역 신호로 변환하는 제 1 및 제 2의 변환수단과,
    상기 제 1의 변환수단과 상기 제 2의 변환수단으로부터의 대응하는 주파수 스펙트럼끼리의 레벨비 또는 레벨차를 산출하는 레벨 산출수단과,
    상기 레벨 산출수단에 있어서의 산출 결과에 근거하여, 상기 제 1의 변환수단과 상기 제 2의 변환수단의 적어도 한편으로부터 얻을 수 있는 스펙트럼의 레벨을 제어하여, 출력하는 출력 제어수단을 구비하는 것을 특징으로 하는 음성신호 처리장치.
  3. 제 2항에 있어서,
    상기 출력 제어수단으로부터의 주파수영역 신호를, 시계열 신호로 변환하는 역변환수단을 더 구비하는 것을 특징으로 하는 음성신호 처리장치.
  4. 제 2항에 있어서,
    상기 제 1의 변환수단과 상기 제 2의 변환수단으로부터의, 대응하는 주파수 스펙트럼끼리의 위상차를 산출하는 위상차 산출수단을 더 구비하고,
    상기 출력 제어수단은,
    상기 레벨 산출수단에 있어서의 산출 결과 및 상기 위상차 산출수단에서 산출된 상기 위상차에 근거하고, 상기 제 1의 변환수단과 상기 제 2의 변환수단의 적어도 한편으로부터 얻을 수 있는 주파수 스펙트럼의 레벨을 제어하고, 출력하는 것을 특징으로 하는 음성신호 처리장치.
  5. 제 4항에 있어서,
    상기 출력 제어수단으로부터의 주파수영역 신호를, 시계열 신호로 변환하는 역변환수단을 더 구비하는 것을 특징으로 하는 음성신호 처리장치.
  6. 제 2항에 있어서,
    상기 출력 제어수단은,
    상기 레벨 산출수단에서 산출된 레벨비 또는 레벨차의 함수로서 설정된 곱셈 계수의 발생부와, 상기 곱셈 계수의 발생부로부터의 상기 곱셈 계수를, 상기 제 1의 변환수단과 상기 제 2의 변환수단의 적어도 한편으로부터 얻을 수 있는 스펙트럼에 곱셈하여 그 출력 레벨을 결정하는 음원 분리부를 구비하는 것을 특징으로 하 는 음성신호 처리장치.
  7. 제 4항에 있어서,
    상기 출력 제어수단은,
    상기 위상차 산출수단에서 산출된 위상차의 함수로서 설정된 곱셈 계수의 발생부와, 상기 곱셈 계수의 발생부로부터의 상기 곱셈 계수를, 상기 제 1의 변환수단과 상기 제 2의 변환수단의 적어도 한편으로부터 얻을 수 있는 주파수 스펙트럼에 곱셈하고 그 출력 레벨을 결정하는 음원 분리부를 구비하는 것을 특징으로 하는 음성신호 처리장치.
  8. 제 3항에 있어서,
    상기 출력 제어수단은,
    상기 레벨 산출수단에서 산출된 레벨비 또는 레벨차의 함수로서 설정된 곱셈 계수의 발생부를 복수개 구비함과 동시에, 상기 복수개의 곱셈 계수의 발생부로부터의 상기 곱셈 계수의 각각을, 상기 제 1의 변환수단과 상기 제 2의 변환수단의 적어도 한편으로부터 얻을 수 있는 주파수 스펙트럼에 곱셈하고 그 출력 레벨을 결정하는 음원 분리부의 복수개를 구비하고,
    상기 역변환수단은,
    상기 복수의 음원 분리부로부터의 각각의 출력을, 시계열 신호로 변환하는 복수개의 역변환부를 구비하는 것을 특징으로 하는 음성신호 처리장치.
  9. 제 2항에 있어서,
    상기 출력 제어수단은,
    상기 레벨 산출수단에서 산출된 레벨비 또는 레벨차의 함수로서 설정된 곱셈 계수의 발생부를 복수개 구비함과 동시에, 상기 복수개의 곱셈 계수의 발생부로부터의 상기 곱셈 계수 중 하나를 선택하는 선택부와,
    상기 선택부로부터의 상기 곱셈 계수를, 상기 제 1의 변환수단과 상기 제 2의 변환수단의 적어도 한편으로부터 얻을 수 있는 주파수 스펙트럼에 곱셈하고 그 출력 레벨을 결정하는 음원 분리부를 구비하는 것을 특징으로 하는 음성신호 처리장치.
  10. 제 2항에 있어서,
    상기 출력 제어수단으로부터의 출력 스펙트럼 중 최대 레벨의 주파수를 검출하고, 검출한 주파수를 출력 데이터로서 출력하는 검출수단을 더 구비하는 것을 특징으로 하는 음성신호 처리장치.
  11. 제 6항에 있어서,
    상기 레벨 산출수단에서 산출된 레벨비 또는 레벨차가 소정의 범위이며 주파수 스펙트럼 이외의 주파수 스펙트럼에 대한 곱셈 계수를 0으로 하는 것을 특징으로 하는 음성신호 처리장치.
  12. 제 2항 또는 제 3항에 있어서,
    2 계통의 시계열 음성신호를, 소정 구간으로 구분하여 구분 데이터로 하는 동시에, 서로 이웃하는 구분 데이터는 일부의 구간은 오버랩하고, 상기 구분 데이터를 상기 제 1 및 제 2의 변환수단에 공급하는 구분화 수단과,
    상기 역변환수단으로부터의, 각 구분 데이터에 대응하는 출력 시계열 신호를 창함수 처리하고, 동시각의 시계열 신호끼리를 가산하여 출력하는 출력수단을 구비하는 것을 특징으로 하는 음성신호 처리장치.
  13. 제 2항 또는 제 3항에 있어서,
    2 계통의 시계열 음성신호를, 소정 구간으로 구분하여 구분 데이터로 하는 동시에, 서로 이웃하는 구분 데이터는 일부의 구간은 오버랩하고, 창함수 처리하고, 상기 구간 데이터를 상기 제 및 제 2의 변환수단에 공급하는 구분화 수단과,
    상기 역변환수단으로부터의 출력 시계열 신호를, 시계열 데이터로 역변환 후, 동시각의 시계열 신호끼리를 가산하여 출력하는 것을 특징으로 하는 음성신호 처리장치.
  14. 2 계통의 음성신호의 각각을 복수개의 주파수대역으로 분할하는 분할공정과,
    상기 분할된 복수개의 주파수대역의 각각에 있어서의 2 계통의 음성신호의 레벨비 또는 레벨차를 산출하는 레벨 비교공정과,
    상기 레벨 비교공정에서 산출된 상기 레벨비 또는 상기 레벨차에 따라 상기 분할된 음성신호의 출력을 제어하는 출력 제어공정을 구비하는 것을 특징으로 하는 음성신호 처리방법.
  15. 2 계통의 시계열 음성신호의 각각을 주파수 영역 신호로 변환하고, 2 계통의 주파수 스펙트럼을 얻는 변환공정과,
    상기 변환공정에서 얻을 수 있는 상기 2 계통의 주파수 스펙트럼의, 대응하는 주파수 스펙트럼끼리의 레벨비 또는 레벨차를 산출하는 레벨 산출공정과,
    상기 레벨 산출공정에 있어서의 산출 결과에 근거하고, 상기 공정에서 얻어진 상기 2 계통의 주파수 스펙트럼의 적어도 한편의 주파수 스펙트럼의 레벨을 제어하고 출력하는 출력 제어공정을 구비하는 것을 특징으로 하는 음성신호 처리방법.
  16. 제 15항에 있어서,
    상기 출력 제어공정에서 얻어지는 상기 주파수 영역 신호를, 시계열 신호로 변환하는 역변환 공정을 구비하는 것을 특징으로 하는 음성신호 처리방법.
  17. 제 15항에 있어서,
    상기 변환공정에서 얻어지는 상기 2 계통의 시계열 신호에 대해서의 주파수 스펙트럼의, 대응하는 주파수 스펙트럼끼리의 위상차를 산출하는 위상차 산출공정 을 더 구비하고,
    상기 출력 제어공정은,
    상기 레벨 산출공정에 있어서의 산출 결과 및 상기 위상차 산출공정에서 산출된 상기 위상차에 근거하여, 상기 변환공정에서 얻어진 2 계통의 주파수 스펙트럼의 적어도 한편의 주파수 스펙트럼의 레벨을 제어하고 출력하는 것을 특징으로 하는 음성신호 처리방법.
  18. 제 17항에 있어서,
    상기 출력 제어공정에서 얻어지는 상기 주파수 영역 신호를, 시계열 신호로 변환하는 역변환공정을 구비하는 것을 특징으로 하는 음성신호 처리방법.
  19. 제 15항에 있어서,
    상기 출력 제어공정에서 얻어지는 출력 스펙트럼 중 최대 레벨의 주파수를 검출하고, 검출된 주파수를 출력 데이터로서 출력하는 검출공정을 더 구비하는 것을 특징으로 하는 음성신호 처리방법.
KR1020050082831A 2004-09-08 2005-09-06 음성신호 처리장치 및 음성신호 처리방법 KR101220497B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00260397 2004-09-08
JP2004260397A JP4594681B2 (ja) 2004-09-08 2004-09-08 音声信号処理装置および音声信号処理方法

Publications (2)

Publication Number Publication Date
KR20060051054A true KR20060051054A (ko) 2006-05-19
KR101220497B1 KR101220497B1 (ko) 2013-01-10

Family

ID=35124414

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050082831A KR101220497B1 (ko) 2004-09-08 2005-09-06 음성신호 처리장치 및 음성신호 처리방법

Country Status (5)

Country Link
US (1) US20060050898A1 (ko)
EP (1) EP1635611B1 (ko)
JP (1) JP4594681B2 (ko)
KR (1) KR101220497B1 (ko)
CN (1) CN1747608B (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7711123B2 (en) * 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
JP4602204B2 (ja) 2005-08-31 2010-12-22 ソニー株式会社 音声信号処理装置および音声信号処理方法
JP4637725B2 (ja) 2005-11-11 2011-02-23 ソニー株式会社 音声信号処理装置、音声信号処理方法、プログラム
JP5010185B2 (ja) * 2006-06-08 2012-08-29 日本放送協会 ３次元音響パンニング装置
JP4894386B2 (ja) 2006-07-21 2012-03-14 ソニー株式会社 音声信号処理装置、音声信号処理方法および音声信号処理プログラム
JP4835298B2 (ja) 2006-07-21 2011-12-14 ソニー株式会社 オーディオ信号処理装置、オーディオ信号処理方法およびプログラム
US7667125B2 (en) * 2007-02-01 2010-02-23 Museami, Inc. Music transcription
EP2122509A1 (en) * 2007-02-14 2009-11-25 Museami, Inc. Web portal for distributed audio file editing
US8767975B2 (en) * 2007-06-21 2014-07-01 Bose Corporation Sound discrimination method and apparatus
US8494257B2 (en) * 2008-02-13 2013-07-23 Museami, Inc. Music score deconstruction
US8611554B2 (en) * 2008-04-22 2013-12-17 Bose Corporation Hearing assistance apparatus
JP5270006B2 (ja) 2008-12-24 2013-08-21 ドルビー ラボラトリーズ ライセンシング コーポレイション 周波数領域におけるオーディオ信号ラウドネス決定と修正
JP5365380B2 (ja) * 2009-07-07 2013-12-11 ソニー株式会社 音響信号処理装置、その処理方法およびプログラム
KR101712101B1 (ko) * 2010-01-28 2017-03-03 삼성전자 주식회사 신호 처리 방법 및 장치
JP2012078422A (ja) * 2010-09-30 2012-04-19 Roland Corp 音信号処理装置
US9078077B2 (en) 2010-10-21 2015-07-07 Bose Corporation Estimation of synthetic audio prototypes with frequency-based input signal decomposition
US8965832B2 (en) 2012-02-29 2015-02-24 Adobe Systems Incorporated Feature estimation in sound sources
FR2996043B1 (fr) * 2012-09-27 2014-10-24 Univ Bordeaux 1 Procede et dispositif pour separer des signaux par filtrage spatial a variance minimum sous contrainte lineaire
CN104581756B (zh) * 2013-10-17 2018-02-23 中国移动通信集团公司 一种确定干扰源的方法及装置
US9711121B1 (en) 2015-12-28 2017-07-18 Berggram Development Oy Latency enhanced note recognition method in gaming
CN109240486B (zh) * 2018-07-05 2020-09-25 腾讯科技（深圳）有限公司 一种弹出消息处理方法、装置、设备及存储介质
CN108962268B (zh) * 2018-07-26 2020-11-03 广州酷狗计算机科技有限公司 确定单声道的音频的方法和装置
CN110070882B (zh) * 2019-04-12 2021-05-11 腾讯科技（深圳）有限公司 语音分离方法、语音识别方法及电子设备
CN111010652B (zh) * 2019-12-19 2021-02-02 杭州叙简科技股份有限公司 一种音频信号双链路备份方法
WO2023172852A1 (en) * 2022-03-09 2023-09-14 Dolby Laboratories Licensing Corporation Target mid-side signals for audio applications

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2971162B2 (ja) 1991-03-26 1999-11-02 マツダ株式会社 音響装置
JPH0739000A (ja) 1992-12-05 1995-02-07 Kazumoto Suzuki 任意の方向からの音波の選択的抽出法
US6405163B1 (en) * 1999-09-27 2002-06-11 Creative Technology Ltd. Process for removing voice from stereo recordings
US6970567B1 (en) * 1999-12-03 2005-11-29 Dolby Laboratories Licensing Corporation Method and apparatus for deriving at least one audio signal from two or more input audio signals
JP3670562B2 (ja) * 2000-09-05 2005-07-13 日本電信電話株式会社 ステレオ音響信号処理方法及び装置並びにステレオ音響信号処理プログラムを記録した記録媒体
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
JP3905364B2 (ja) * 2001-11-30 2007-04-18 株式会社国際電気通信基礎技術研究所 ステレオ音像制御装置および多対地間通話システムにおける対地側装置
JP3810004B2 (ja) 2002-03-15 2006-08-16 日本電信電話株式会社 ステレオ音響信号処理方法、ステレオ音響信号処理装置、ステレオ音響信号処理プログラム
US8219390B1 (en) * 2003-09-16 2012-07-10 Creative Technology Ltd Pitch-based frequency domain voice removal
US7970144B1 (en) * 2003-12-17 2011-06-28 Creative Technology Ltd Extracting and modifying a panned source for enhancement and upmix of audio signals

Also Published As

Publication number Publication date
JP2006080708A (ja) 2006-03-23
CN1747608B (zh) 2011-01-19
CN1747608A (zh) 2006-03-15
US20060050898A1 (en) 2006-03-09
EP1635611A2 (en) 2006-03-15
JP4594681B2 (ja) 2010-12-08
EP1635611A3 (en) 2010-04-21
EP1635611B1 (en) 2013-08-14
KR101220497B1 (ko) 2013-01-10

Similar Documents

Publication Publication Date Title
KR101220497B1 (ko) 음성신호 처리장치 및 음성신호 처리방법
US7672466B2 (en) Audio signal processing apparatus and method for the same
EP1814358B1 (en) Audio signal processing device and audio signal processing method
KR101341523B1 (ko) 스테레오 신호들로부터 멀티 채널 오디오 신호들을생성하는 방법
EP1741313B1 (en) A method and system for sound source separation
RU2666316C2 (ru) Аппарат и способ улучшения аудиосигнала, система улучшения звука
JP6284480B2 (ja) 音声信号再生装置、方法、プログラム、及び記録媒体
JP5812440B2 (ja) 複数のマイクによる録音におけるマイク信号をミキシングする方法
EP2202729B1 (en) Audio signal interpolation device and audio signal interpolation method
RU2595541C2 (ru) Устройство, способ и компьютерная программа для генерирования выходного стереосигнала для обеспечения дополнительных выходных каналов
JP4840423B2 (ja) 音声信号処理装置および音声信号処理方法
Fink et al. Downmixcompatibe conversion from mono to stereo in time-and frequency-domain
JP5224586B2 (ja) オーディオ信号補間装置
JP4462350B2 (ja) 音声信号処理装置および音声信号処理方法
WO2013176073A1 (ja) 音声信号変換装置、方法、プログラム、及び記録媒体
JP2007074665A (ja) 収音再生装置
Sarroff et al. Measurements of spaciousness for stereophonic music
JP6905332B2 (ja) マルチチャンネル音響の音声信号変換装置及びそのプログラム
Eadie Automated Audio Time Alignment for Multi-Microphone Setups: An Open-Source Approach
JP2017163458A (ja) アップミックス装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee