KR102401350B1 - 음성 처리 장치 및 방법, 및 기록 매체 - Google Patents

음성 처리 장치 및 방법, 및 기록 매체 Download PDF

Info

Publication number
KR102401350B1
KR102401350B1 KR1020217034703A KR20217034703A KR102401350B1 KR 102401350 B1 KR102401350 B1 KR 102401350B1 KR 1020217034703 A KR1020217034703 A KR 1020217034703A KR 20217034703 A KR20217034703 A KR 20217034703A KR 102401350 B1 KR102401350 B1 KR 102401350B1
Authority
KR
South Korea
Prior art keywords
gain
speaker
audio output
unit
speakers
Prior art date
Application number
KR1020217034703A
Other languages
English (en)
Other versions
KR20210134068A (ko
Inventor
유키 야마모토
도루 치넨
룬유 시
미츠유키 하타나카
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Priority to KR1020227016887A priority Critical patent/KR102606599B1/ko
Publication of KR20210134068A publication Critical patent/KR20210134068A/ko
Application granted granted Critical
Publication of KR102401350B1 publication Critical patent/KR102401350B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • H03G3/301—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers the gain being continuously variable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 기술은, 음상의 정위를 보다 안정시킬 수 있도록 하는 음성 처리 장치 및 방법, 그리고 프로그램에 관한 것이다. 목표 음상 위치를 둘러싸는 4개의 스피커를 정점으로 하는 구면 상의 사각형의 변 중, 하측에 위치하는 변 상에 가상 스피커가 있다고 하자. 그리고 가상 스피커와, 우측 상방 및 좌측 상방의 2개의 스피커로부터 3차원 VBAP에 의하여, 목표 음상 위치에 음상을 정위시키기 위한 우측 상방 및 좌측 상방의 2개의 스피커와 가상 스피커의 각 게인이 산출된다. 또한 우측 하방 및 좌측 하방의 스피커에 대하여 2차원 VBAP가 행해져, 가상 스피커에 음상을 정위시키기 위한 우측 하방 및 좌측 하방의 스피커의 게인이 산출되고, 그들 게인에 가상 스피커의 게인이 승산된 것이, 목표 음상 위치에 음상을 정위시키기 위한 우측 하방 및 좌측 하방의 스피커의 게인으로 된다. 본 기술은 음성 처리 장치에 적용할 수 있다.

Description

음성 처리 장치 및 방법, 및 기록 매체 {AUDIO PROCESSING DEVICE, METHOD, AND RECORDING MEDIUM}
본 기술은 음성 처리 장치 및 방법, 그리고 프로그램에 관한 것이며, 특히 음상(音像)의 정위(定位)를 보다 안정시킬 수 있도록 한 음성 처리 장치 및 방법, 그리고 프로그램에 관한 것이다.
종래, 복수의 스피커를 사용하여 음상의 정위를 제어하는 기술로서 VBAP(Vector Base Amplitude Pannning)가 알려져 있다(예를 들어 비특허문헌 1 참조).
VBAP에서는, 목표로 되는 음상의 정위 위치가, 그 정위 위치의 주위에 있는 2개 또는 3개의 스피커의 방향을 향하는 벡터의 선형합으로 표시된다. 그리고 그 선형합에 있어서 각 벡터에 승산되어 있는 계수가, 각 스피커로부터 출력되는 음성의 게인으로서 사용되어 게인 조정이 행해져, 목표로 되는 위치에 음상이 정위하게 된다.
Ville Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", Journal of AES, vol. 45, no. 6, pp. 456-466, 199
그러나 상술한 기술에서는, 목표로 하는 위치에 음상을 정위시킬 수는 있지만, 그 정위 위치에 따라서는 음상의 정위가 불안정해져 버리는 경우가 있었다.
예를 들어 3개의 스피커를 사용하여 VBAP를 행하는 3차원 VBAP에서는, 목표로 하는 음상의 정위 위치에 따라서는, 3개의 스피커 중 2개의 스피커로부터만 음성이 출력되고 나머지 1개의 스피커로부터는 음성이 출력되지 않도록 제어되는 경우가 있다.
그러한 경우, 음성을 듣고 있을 때 유저가 이동하면, 그 이동 방향과는 상이한 방향으로 음상이 이동하여 음상의 정위가 불안정하다고 지각되어 버리는 경우가 있다. 이와 같이 음상의 정위가 불안정해지면 최적의 시청 위치인 스위트 스폿(sweet spot)의 범위가 좁아져 버린다.
본 기술은 이러한 상황을 감안하여 이루어진 것이며, 음상의 정위를 보다 안정시킬 수 있도록 하는 것이다.
본 기술의 일 측면의 음성 처리 장치는, 목표로 하는 음상 정위 위치 근방에 위치하는 4개 이상의 음성 출력부 중 2개 또는 3개의 상기 음성 출력부의 조합에 대하여, 서로 다른 복수의 상기 조합마다, 상기 음성 출력부의 위치 관계에 기초하여, 상기 음성 출력부로부터 출력시키는 음성의 게인을 산출함으로써, 상기 음상 정위 위치에 음상을 정위시키기 위한, 상기 4개 이상의 상기 음성 출력부로부터 출력시키는 음성의 출력 게인을 구하는 게인 산출부와, 상기 출력 게인에 기초하여, 상기 음성 출력부로부터 출력시키는 음성의 게인 조정을 행하는 게인 조정부를 구비한다.
적어도 4개 이상의 상기 출력 게인의 값이 0이 아닌 값으로 된다.
상기 게인 산출부에는, 가상적인 음성 출력부 및 2개의 상기 음성 출력부와, 상기 음상 정위 위치와의 위치 관계에 기초하여 상기 가상적인 음성 출력부 및 상기 2개의 상기 음성 출력부의 상기 출력 게인을 산출하는 제1 게인 산출부와, 상기 2개의 상기 음성 출력부와는 상이한 다른 2개의 상기 음성 출력부와, 상기 가상적인 음성 출력부와의 위치 관계에 기초하여, 상기 가상적인 음성 출력부의 위치에 음상을 정위시키기 위한 상기 다른 2개의 상기 음성 출력부의 게인을 산출하는 제2 게인 산출부와, 상기 다른 2개의 상기 음성 출력부의 게인과, 상기 가상적인 음성 출력부의 상기 출력 게인에 기초하여, 상기 다른 2개의 상기 음성 출력부의 상기 출력 게인을 산출하는 연산부를 설치할 수 있다.
상기 연산부에는, 상기 다른 2개의 상기 음성 출력부의 게인에 상기 가상적인 음성 출력부의 상기 출력 게인을 승산함으로써, 상기 다른 2개의 상기 음성 출력부의 상기 출력 게인을 산출시킬 수 있다.
상기 가상적인 음성 출력부의 위치를, 상기 4개 이상의 상기 음성 출력부를 정점으로 하는 다각형의 변 상에 위치하도록 정할 수 있다.
상기 게인 산출부에는, 3개의 상기 음성 출력부와, 상기 음상 정위 위치와의 위치 관계에 기초하여 상기 3개의 상기 음성 출력부의 상기 출력 게인을 산출하는 임시 게인 산출부와, 서로 다른 상기 조합에 대하여 상기 출력 게인을 산출하는 복수의 상기 임시 게인 산출부에 의하여 산출된 상기 출력 게인에 기초하여 상기 음성 출력부의 최종적인 상기 출력 게인을 산출하는 연산부를 설치할 수 있다.
상기 연산부에는, 동일한 상기 음성 출력부에 대하여 구해진 상기 출력 게인의 합을 구함으로써, 상기 음성 출력부의 최종적인 상기 출력 게인을 산출시킬 수 있다.
본 기술의 일 측면의 음성 처리 방법 또는 프로그램은, 목표로 하는 음상 정위 위치 근방에 위치하는 4개 이상의 음성 출력부 중 2개 또는 3개의 상기 음성 출력부의 조합에 대하여, 서로 다른 복수의 상기 조합마다, 상기 음성 출력부의 위치 관계에 기초하여, 상기 음성 출력부로부터 출력시키는 음성의 게인을 산출함으로써, 상기 음상 정위 위치에 음상을 정위시키기 위한, 상기 4개 이상의 상기 음성 출력부로부터 출력시키는 음성의 출력 게인을 구하고, 상기 출력 게인에 기초하여, 상기 음성 출력부로부터 출력시키는 음성의 게인 조정을 행하는 스텝을 포함한다.
본 기술의 일 측면에 있어서는, 목표로 하는 음상 정위 위치 근방에 위치하는 4개 이상의 음성 출력부 중 2개 또는 3개의 상기 음성 출력부의 조합에 대하여, 서로 다른 복수의 상기 조합마다, 상기 음성 출력부의 위치 관계에 기초하여, 상기 음성 출력부로부터 출력시키는 음성의 게인을 산출함으로써, 상기 음상 정위 위치에 음상을 정위시키기 위한, 상기 4개 이상의 상기 음성 출력부로부터 출력시키는 음성의 출력 게인이 구해지고, 상기 출력 게인에 기초하여, 상기 음성 출력부로부터 출력시키는 음성의 게인 조정이 행해진다.
본 기술의 일 측면에 의하면, 음상의 정위를 보다 안정시킬 수 있다.
도 1은 2차원 VBAP에 대하여 설명하는 도면이다.
도 2는 3차원 VBAP에 대하여 설명하는 도면이다.
도 3은 스피커 배치에 대하여 설명하는 도면이다.
도 4는 4개의 스피커가 배치되어 있는 경우에 있어서의 게인 산출 방법에 대하여 설명하는 도면이다.
도 5는 음상의 이동에 대하여 설명하는 도면이다.
도 6은 본 기술을 적용했을 경우에 있어서의 음상의 이동에 대하여 설명하는 도면이다.
도 7은 본 기술에 의한 게인의 산출에 대하여 설명하는 도면이다.
도 8은 본 기술에 의한 게인의 산출에 대하여 설명하는 도면이다.
도 9는 음성 처리 장치의 구성예를 도시하는 도면이다.
도 10은 게인 산출부의 구성예를 도시하는 도면이다.
도 11은 음상 정위 제어 처리를 설명하는 흐름도이다.
도 12는 스피커의 게인의 다른 산출 방법에 대하여 설명하는 도면이다.
도 13은 게인 산출부의 다른 구성예를 도시하는 도면이다.
도 14는 음상 정위 제어 처리를 설명하는 흐름도이다.
도 15는 스피커의 게인의 산출 방법에 대하여 설명하는 도면이다.
도 16은 컴퓨터의 구성예를 도시하는 도면이다.
이하, 도면을 참조하여, 본 기술을 적용한 실시 형태에 대하여 설명한다.
<제1 실시 형태>
<본 기술의 개요에 대하여>
먼저, 도 1 내지 도 8을 참조하여 본 기술의 개요에 대하여 설명한다. 또한 도 1 내지 도 8에 있어서 대응하는 부분에는 동일한 부호를 붙이고 있으며, 그 설명은 적절히 생략한다.
예를 들어 도 1에 도시한 바와 같이, 음성이 구비된 동화상이나 악곡 등의 콘텐츠를 시청하는 유저(U11)가 2개의 스피커 SP1 및 스피커 SP2로부터 출력되는 2채널의 음성을 콘텐츠의 음성으로서 듣고 있다고 하자.
이러한 경우에, 각 채널의 음성을 출력하는 2개의 스피커 SP1과 스피커 SP2의 위치 정보를 이용하여 가상 음원 VSP1의 위치에 음상을 정위시키는 것을 생각한다.
예를 들어 유저(U11)의 헤드부의 위치를 원점 O로 하고, 도면 중, 세로 방향 및 가로 방향을 x축 방향 및 y축 방향으로 하는 2차원 좌표계에 있어서의 가상 음원 VSP1의 위치를, 원점 O를 시점으로 하는 벡터 P에 의하여 나타내기로 한다.
벡터 P는 2차원 벡터이기 때문에, 원점 O를 시점으로 하여, 각각 스피커 SP1 및 스피커 SP2의 위치의 방향을 향하는 벡터 L1 및 벡터 L2의 선형합에 의하여 벡터 P를 나타낼 수 있다. 즉, 벡터 P는 벡터 L1 및 벡터 L2를 이용하여 다음 식 (1)에 의하여 나타낼 수 있다.
Figure 112021122565255-pat00001
식 (1)에 있어서 벡터 L1 및 벡터 L2에 승산되어 있는 계수 g1 및 계수 g2를 산출하고, 이들 계수 g1 및 계수 g2를, 스피커 SP1 및 스피커 SP2의 각각으로부터 출력하는 음성의 게인으로 하면, 가상 음원 VSP1의 위치에 음상을 정위시킬 수 있다. 즉, 벡터 P에 의하여 나타나는 위치에 음상을 정위시킬 수 있다.
이와 같이 하여, 2개의 스피커 SP1과 스피커 SP2의 위치 정보를 이용하여 계수 g1 및 계수 g2를 구하여 음상의 정위 위치를 제어하는 방법은, 2차원 VBAP라고 부르고 있다.
도 1의 예에서는, 스피커 SP1과 스피커 SP2를 연결하는 원호 AR11 상의 임의의 위치에 음상을 정위시킬 수 있다. 여기서, 원호 AR11은, 원점 O를 중심으로 하여 스피커 SP1 및 스피커 SP2의 각 위치를 지나는 원의 일부분이다.
또한 벡터 P는 2차원 벡터이므로, 벡터 L1과 벡터 L2가 이루는 각도가 0°보다 크고 180° 미만인 경우, 게인으로 되는 계수 g1 및 계수 g2는 일의로 구해진다. 이들 계수 g1 및 계수 g2의 산출 방법에 대해서는 상술한 비특허문헌 1에 상세히 기재되어 있다.
이에 비하여, 3채널의 음성을 재생하고자 하는 경우에는, 예를 들어 도 2에 도시한 바와 같이 음성을 출력하는 스피커의 수는 3개로 된다.
도 2의 예에서는, 3개의 스피커 SP1, 스피커 SP2 및 스피커 SP3으로부터 각 채널의 음성이 출력된다.
이러한 경우에 있어서도, 스피커 SP1 내지 스피커 SP3으로부터 출력되는 각 채널의 음성 게인, 즉, 게인으로서 구하는 계수가 3개로 될 뿐, 사고 방식은 상술한 2차원 VBAP와 마찬가지이다.
즉, 가상 음원 VSP2의 위치에 음상을 정위시키고자 하는 경우에 유저(U11)의 헤드부의 위치를 원점 O로 하는 3차원 좌표계에 있어서, 가상 음원 VSP2의 위치를, 원점 O를 시점으로 하는 3차원 벡터 P에 의하여 나타내기로 한다.
또한 원점 O를 시점으로 하여 각 스피커 SP1 내지 스피커 SP3의 위치의 방향을 향하는 3차원 벡터를 벡터 L1 내지 벡터 L3이라 하면, 벡터 P는 다음 식 (2)에 나타낸 바와 같이 벡터 L1 내지 벡터 L3의 선형합에 의하여 나타낼 수 있다.
Figure 112021122565255-pat00002
식 (2)에 있어서 벡터 L1 내지 벡터 L3에 승산되어 있는 계수 g1 내지 계수 g3을 산출하고, 이 계수 g1 내지 계수 g3을, 스피커 SP1 내지 스피커 SP3의 각각으로부터 출력하는 음성의 게인으로 하면, 가상 음원 VSP2의 위치에 음상을 정위시킬 수 있다.
이와 같이 하여, 3개의 스피커 SP1 내지 스피커 SP3의 위치 정보를 이용하여 계수 g1 내지 계수 g3을 구하여 음상의 정위 위치를 제어하는 방법은, 3차원 VBAP라고 부르고 있다.
도 2의 예에서는, 스피커 SP1, 스피커 SP2 및 스피커 SP3의 위치를 포함하는 구면 상의 삼각형 영역 TR11 내의 임의의 위치에 음상을 정위시킬 수 있다. 여기서, 영역 TR11은, 원점 O를 중심으로 하여 스피커 SP1 내지 스피커 SP3의 각 위치를 포함하는 구의 표면 상의 영역이며, 스피커 SP1 내지 스피커 SP3에 의하여 둘러싸이는 구면 상의 삼각형 영역이다.
이러한 3차원 VBAP를 이용하면 공간 상의 임의의 위치에 음상을 정위시킬 수 있게 된다.
예를 들어 도 3에 도시한 바와 같이, 음성을 출력시키는 스피커의 수를 증가시켜, 도 2에 도시한 삼각형 영역 TR11에 상당하는 영역을 공간 상에 복수 형성하면, 그들 영역 상의 임의의 위치에 음상을 정위시킬 수 있다.
도 3에 도시하는 예에서는, 5개의 스피커 SP1 내지 스피커 SP5가 배치되어 있으며, 그들 스피커 SP1 내지 스피커 SP5로부터 각 채널의 음성이 출력된다. 여기서, 스피커 SP1 내지 스피커 SP5는, 유저(U11)의 헤드부의 위치에 있는 원점 O를 중심으로 하는 구면 상에 배치되어 있다.
이 경우, 원점 O를 시점으로 하여 각 스피커 SP1 내지 스피커 SP5의 위치의 방향을 향하는 3차원 벡터를 벡터 L1 내지 벡터 L5로 하고, 상술한 식 (2)를 푸는 계산과 마찬가지의 계산을 행하여, 각 스피커로부터 출력되는 음성의 게인을 구하면 된다.
여기서, 원점 O를 중심으로 하는 구면 상의 영역 중, 스피커 SP1, 스피커 SP4 및 스피커 SP5에 의하여 둘러싸이는 삼각형 영역을 영역 TR21이라 한다. 마찬가지로, 원점 O를 중심으로 하는 구면 상의 영역 중, 스피커 SP3, 스피커 SP4 및 스피커 SP5에 의하여 둘러싸이는 삼각형 영역을 영역 TR22라 하고, 스피커 SP2, 스피커 SP3 및 스피커 SP5에 의하여 둘러싸이는 삼각형 영역을 영역 TR23이라 한다.
이들 영역 TR21 내지 영역 TR23은, 도 2에 도시한 영역 TR11에 대응하는 영역이다. 이제, 음상을 정위시키고자 하는 위치를 나타내는 3차원 벡터를 벡터 P라 하면, 도 3의 예에서는 벡터 P는 영역 TR21 상의 위치를 나타내고 있다.
따라서 이 예에서는 스피커 SP1, 스피커 SP4 및 스피커 SP5의 위치를 나타내는 벡터 L1, 벡터 L4 및 벡터 L5가 이용되어 식 (2)를 푸는 계산과 마찬가지의 계산이 행해져, 스피커 SP1, 스피커 SP4 및 스피커 SP5의 각 스피커로부터 출력되는 음성의 게인이 산출된다. 또한 이 경우, 다른 스피커 SP2 및 스피커 SP3으로부터 출력되는 음성의 게인은 0으로 된다. 즉, 이들 스피커 SP2 및 스피커 SP3으로부터는 음성은 출력되지 않는다.
이와 같이 공간 상에 5개의 스피커 SP1 내지 스피커 SP5를 배치하면, 영역 TR21 내지 영역 TR23을 포함하는 영역 상의 임의의 위치에 음상을 정위시키는 것이 가능해진다.
그런데 도 4에 도시한 바와 같이 공간 상에 4개의 스피커 SP1 내지 스피커 SP4가 배치되어 있고, 그들 스피커 SP1 내지 스피커 SP4의 중심 위치에 있는 가상 음원 VSP3의 위치에 음상을 정위시킨다고 하자.
도 4의 예에서는, 스피커 SP1 내지 스피커 SP4는, 도시하지 않은 원점 O를 중심으로 하는 구의 표면에 배치되어 있으며, 그 표면 상의 영역으로서 스피커 SP1 내지 스피커 SP3에 의하여 둘러싸이는 삼각형 영역이 영역 TR31로 되어 있다. 또한 원점 O를 중심으로 하는 구의 표면 상의 영역으로서 스피커 SP2 내지 스피커 SP4에 의하여 둘러싸이는 삼각형 영역이 영역 TR32로 되어 있다.
그리고 가상 음원 VSP3은 영역 TR31의 우측 하방측의 변 상에 위치하고 있다. 또한 가상 음원 VSP3은 영역 TR32의 좌측 상방측의 변 상에도 위치하고 있다.
따라서 이 경우, 스피커 SP1 내지 스피커 SP3에 대하여 3차원 VBAP를 행하거나, 또는 스피커 SP2 내지 스피커 SP4에 대하여 3차원 VBAP를 행하면 되게 된다. 어느 경우든 3차원 VBAP의 계산 결과는 동일해져, 2개의 스피커 SP2 및 스피커 SP3으로부터만 음성이 출력되고 나머지 스피커 SP1 및 스피커 SP4로부터는 음성이 출력되지 않는 게인이 구해진다.
3차원 VBAP에서는, 음상을 정위시키고자 하는 위치가, 3개의 스피커를 연결하는 구면 상의 삼각형 영역의 경계선 상, 즉, 구면 상의 삼각형의 변 상에 있는 경우, 그 변의 양단부에 위치하는 2개의 스피커로부터만 음성이 출력되게 된다.
이와 같이 2개의 스피커 SP2 및 스피커 SP3으로부터만 음성이 출력되는 경우에, 예를 들어 도 5에 도시한 바와 같이 최적의 시청 위치인 스위트 스폿에 있는 유저(U11)가, 화살표 A11로 나타낸 바와 같이 도면 중, 좌측으로 이동했다고 하자.
그러면, 유저(U11)의 헤드부는 스피커 SP3에 근접하기 때문에, 이 스피커 SP3으로부터 출력되고 있는 음성이 보다 크게 들리게 되므로, 유저(U11)에게는, 화살표 A12로 나타낸 바와 같이 가상 음원 VSP3, 즉, 음상이 도면 중, 좌측 하방으로 이동한 듯이 지각된다.
3차원 VBAP에서는, 도 5에 도시한 바와 같이 2개의 스피커로부터만 음성이 출력되는 경우에는, 유저(U11)가 스위트 스폿으로부터 약간 이동하기만 하면, 유저(U11)의 이동 방향에 대하여 수직의 방향으로 음상이 이동해 버린다. 그러한 경우, 유저(U11)는 자신의 이동 방향과는 상이한 방향으로 음상이 이동한 듯이 지각되므로 위화감이 발생해 버린다. 즉, 유저(U11)에게 있어서 음상의 정위가 불안정하다고 지각되어 버려 스위트 스폿의 범위가 좁아져 버린다.
따라서 본 기술에서는, 상술한 VBAP와는 달리 3개보다 많은 수의 스피커, 즉, 4개 이상의 스피커로부터 음성을 출력시킴으로써 음상의 정위를 보다 안정시키고, 이것에 의하여 스위트 스폿의 범위가 보다 넓어지도록 한다.
또한 음성을 출력시키는 스피커의 수는 4개 이상이면 몇 개여도 되지만, 이하에서는 4개의 스피커로부터 음성을 출력시키는 경우를 예로 들어 설명을 계속한다.
예를 들어 도 4에 도시한 예와 마찬가지로, 4개의 스피커 SP1 내지 스피커 SP4의 중심 위치에 있는 가상 음원 VSP3의 위치에 음상을 정위시킨다고 하자.
그러한 경우, 본 기술에서는 2개 또는 3개의 스피커가 선택되어 하나의 조합으로 되고, 서로 다른 복수의 조합에 대하여 VBAP가 행해져, 4개의 스피커 SP1 내지 스피커 SP4로부터 출력되는 음성의 게인이 산출된다.
따라서 본 기술에서는, 예를 들어 도 6에 도시한 바와 같이 4개의 모든 스피커 SP1 내지 스피커 SP4로부터 음성이 출력되게 된다.
그러한 경우에는 도 6 중, 화살표 A21로 나타낸 바와 같이 유저(U11)가 스위트 스폿으로부터 도면 중, 좌측 방향으로 이동하더라도 가상 음원 VSP3의 위치, 즉, 음상의 정위 위치는 화살표 A22로 나타낸 바와 같이 도면 중, 좌측 방향으로 이동할 뿐이다. 즉, 도 5에 도시한 예와 같이 음상이 하측 방향, 즉, 유저(U11)의 이동 방향과 수직의 방향으로 이동하지는 않고 유저(U11)의 이동 방향과 동일한 방향으로만 이동한다.
이는, 유저(U11)가 좌측 방향으로 이동하면 스피커 SP3에 근접하게 되지만, 그 스피커 SP3의 상측에는 스피커 SP1도 위치하고 있기 때문이다. 이 경우, 유저(U11)의 귀에는, 유저(U11)가 보아 좌측 상방측으로부터도 좌측 하방측으로부터도 음성이 도달하므로, 음상이 도면 중, 하측 방향으로 이동했다고 지각되기 어려워진다.
그 때문에, 종래의 VBAP 방법과 비교하여 보다 음상의 정위를 안정시킬 수 있고, 그 결과, 스위트 스폿의 범위를 확대시킬 수 있다.
다음으로, 본 기술에 의한 음상 정위의 제어에 대하여 보다 구체적으로 설명한다.
본 기술에서는, 음상을 정위시키고자 하는 위치를 나타내는 벡터를, 3차원 좌표계의 도시하지 않은 원점 O를 시점으로 하는 벡터 P라 하고, 다음 식 (3)에 의하여 벡터 P를 표시한다.
Figure 112021122565255-pat00003
또한 식 (3)에 있어서, 벡터 L1 내지 벡터 L4는 음상의 정위 위치 근방에 있으며, 그 음상 정위 위치를 둘러싸도록 배치된 스피커 SP1 내지 스피커 SP4의 위치의 방향을 향하는 3차원 벡터를 나타내고 있다. 또한 g1 내지 g4는 앞으로 구하려는, 스피커 SP1 내지 스피커 SP4로부터 출력시키는 각 채널의 음성 게인으로 되는 계수를 나타내고 있다.
식 (3)에 있어서는, 벡터 P가 4개의 벡터 L1 내지 벡터 L4의 선형합에 의하여 표시되어 있다. 여기서, 벡터 P는 3차원 벡터이기 때문에 4개의 계수 g1 내지 계수 g4는 일의로 구해지지 않는다.
따라서 본 기술에서는, 이하의 방법에 의하여, 게인으로 되는 각 계수 g1 내지 계수 g4가 산출된다.
이제, 도 4에 도시한 4개의 스피커 SP1 내지 스피커 SP4에 둘러싸이는 구면 상의 사각형의 중심 위치, 즉, 가상 음원 VSP3의 위치에 음상을 정위시킨다고 하자.
여기서는, 먼저, 스피커 SP1 내지 스피커 SP4를 정점으로 하는 구면 상의 사각형의 임의의 하나의 변을 선택하고, 그 변 상에 가상적인 스피커(이하, 가상 스피커라고 칭함)가 있는 것으로 가정한다.
예를 들어 도 7에 도시한 바와 같이, 스피커 SP1 내지 스피커 SP4를 정점으로 하는 구면 상의 사각형 중, 도면 중, 좌측 하방과 우측 하방에 위치하는 스피커 SP3과 스피커 SP4를 연결하는 변이 선택되었다고 하자. 그리고 예를 들어 가상 음원 VSP3의 위치로부터, 스피커 SP3과 스피커 SP4를 연결하는 변에 내리그은 수선의 교점 위치에 가상 스피커 VSP'이 있다고 하자.
계속해서, 이 가상 스피커 VSP'과, 도면 중, 좌측 상방 및 우측 상방에 있는 스피커 SP1 및 스피커 SP2의 합계 3개의 스피커에 대하여 3차원 VBAP가 행해진다. 즉, 상술한 식 (2)와 마찬가지의 식을 풂으로써, 스피커 SP1, 스피커 SP2 및 가상 스피커 VSP'의 각각으로부터 출력되는 음성의 게인으로 되는 계수 g1, 계수 g2 및 계수 g'이 구해진다.
도 7에서는, 원점 O를 시점으로 하는 3개의 벡터, 즉, 스피커 SP1의 방향을 향하는 벡터 L1, 스피커 SP2의 방향을 향하는 벡터 L2 및 가상 스피커 VSP'의 방향을 향하는 벡터 L'의 선형합에 의하여 벡터 P가 표시된다. 즉, P=g1L1+g2L2+g'L'으로 된다.
여기서, 가상 음원 VSP3의 위치에 음상을 정위시키기 위해서는 가상 스피커 VSP'으로부터 게인 g'으로 음성이 출력되어야 하지만, 가상 스피커 VSP'은 실재하지 않는다. 따라서 본 기술에서는, 도 8에 도시한 바와 같이 가상 스피커 VSP'이 위치하는 사각형의 변의 양단부에 위치하는 2개의 스피커 SP3 및 스피커 SP4를 사용하여 가상 스피커 VSP'의 위치에 음상을 정위시킴으로써, 가상 스피커 VSP'이 실현된다.
구체적으로는, 가상 스피커 VSP'이 위치하는 구면 상의 변의, 그 양단부에 위치하는 2개의 스피커 SP3 및 스피커 SP4에 대하여 2차원 VBAP가 행해진다. 즉, 상술한 식 (1)과 마찬가지의 식을 풂으로써, 스피커 SP3 및 스피커 SP4의 각각으로부터 출력되는 음성의 게인으로 되는 계수 g3' 및 계수 g4'이 산출된다.
도 8의 예에서는, 가상 스피커 VSP'의 방향을 향하는 벡터 L'이, 스피커 SP3의 방향을 향하는 벡터 L3 및 스피커 SP4의 방향을 향하는 벡터 L4의 선형합에 의하여 표시된다. 즉, L'=g3'L3+g4'L4로 된다.
그리고 구해진 계수 g3'에 계수 g'을 승산하여 얻어지는 값 g'g3'이 스피커 SP3으로부터 출력시키는 음성의 게인으로 되고, 계수 g4'에 계수 g'을 승산하여 얻어지는 값 g'g4'이 스피커 SP4로부터 출력시키는 음성의 게인으로 된다. 이것에 의하여, 스피커 SP3과 스피커 SP4에 의하여 게인 g'으로 음성을 출력하는 가상 스피커 VSP'이 실현되게 된다.
또한 여기서, 게인값으로 되는 g'g3'의 값이 상술한 식 (3)에 있어서의 계수 g3의 값으로 되고, 게인값으로 되는 g'g4'의 값이 상술한 식 (3)에 있어서의 계수 g4의 값으로 된다.
이상과 같이 하여 얻어진 0이 아닌 값 g1, g2, g'g3' 및 g'g4'을, 스피커 SP1 내지 스피커 SP4로부터 출력되는 각 채널의 음성 게인으로 하면, 4개의 스피커로부터 음성을 출력시켜 목표로 하는 위치에 음상을 정위시킬 수 있다.
이와 같이 4개의 스피커로부터 음성을 출력시켜 음상을 정위시키면, 종래의 VBAP 방법으로 음상을 정위시키는 것보다도 음상의 정위를 보다 안정시킬 수 있으며, 이것에 의하여 스위트 스폿의 범위를 확대시킬 수 있다.
<음성 처리 장치의 구성예>
다음으로, 이상에 있어서 설명한 본 기술을 적용한 구체적인 실시 형태에 대하여 설명한다. 도 9는 본 기술을 적용한 음성 처리 장치의 일 실시 형태의 구성예를 도시하는 도면이다.
음성 처리 장치(11)는 외부로부터 공급된 모노럴(monaural) 음성 신호에 대하여 채널마다 게인 조정을 행함으로써, N채널(단, N≥5)의 음성 신호를 생성하여, N개의 각 채널에 대응하는 스피커(12-1) 내지 스피커(12-N)에 음성 신호를 공급한다.
스피커(12-1) 내지 스피커(12-N)는 음성 처리 장치(11)로부터 공급된 음성 신호에 기초하여 각 채널의 음성을 출력한다. 즉, 스피커(12-1) 내지 스피커(12-N)는, 각 채널의 음성을 출력하는 음원으로 되는 음성 출력부이다. 또한 이하, 스피커(12-1) 내지 스피커(12-N)를 특별히 구별할 필요가 없는 경우, 간단히 스피커(12)라고도 칭하기로 한다. 또한 도 9에서는, 스피커(12)가 음성 처리 장치(11)에 포함되지 않은 구성으로 되어 있지만, 스피커(12)가 음성 처리 장치(11)에 포함되도록 해도 된다. 또한 음성 처리 장치(11)를 구성하는 각 부와 스피커(12)를, 예를 들어 몇 가지 장치에 나누어 설치하거나 하여, 음성 처리 장치(11)의 각 부와 스피커(12)를 포함하는 음성 처리 시스템으로 하도록 해도 된다.
스피커(12)는 콘텐츠 등을 시청할 때 유저가 위치한다고 상정되는 위치(이하, 간단히 유저의 위치라고도 칭함)를 둘러싸도록 배치되어 있다. 예를 들어 각 스피커(12)는 유저의 위치를 중심으로 하는 구의 표면 상의 위치에 배치되어 있다. 바꾸어 말하면 각 스피커(12)는 유저로부터 등거리의 위치에 배치된다. 또한 음성 처리 장치(11)로부터 스피커(12)에의 음성 신호의 공급은 유선에 의하여 행해져도 되고, 무선에 의하여 행해져도 된다.
음성 처리 장치(11)는, 스피커 선택부(21), 게인 산출부(22), 게인 결정부(23), 게인 출력부(24) 및 게인 조정부(25)를 포함한다.
음성 처리 장치(11)에는, 예를 들어 이동 물체 등의 오브젝트에 설치된 마이크로폰에 의하여 수음된 음성의 음성 신호와, 그 오브젝트의 위치 정보가 공급된다.
스피커 선택부(21)는 외부로부터 공급된 오브젝트의 위치 정보에 기초하여, 스피커(12)가 배치되어 있는 공간 상에 있어서, 오브젝트로부터 발해지는 음성의 음상을 정위시켜야 하는 위치(이하, 목표 음상 위치라고도 칭함)를 특정하고, 그 특정 결과를 게인 산출부(22)에 공급한다.
또한 스피커 선택부(21)는 목표 음상 위치에 기초하여, N개의 스피커(12) 중에서 음성을 출력시켜야 하는 4개의 스피커(12)를 처리 대상 스피커(12)로서 선택하고, 그 선택 결과를 나타내는 선택 정보를 게인 산출부(22), 게인 결정부(23) 및 게인 출력부(24)에 공급한다.
게인 산출부(22)는, 스피커 선택부(21)로부터 공급된 선택 정보와, 목표 음상 위치에 기초하여, 처리 대상 스피커(12)의 게인을 산출하여 게인 출력부(24)에 공급한다. 게인 결정부(23)는 스피커 선택부(21)로부터 공급된 선택 정보에 기초하여, 처리 대상 외의 스피커(12)의 게인을 결정하여 게인 출력부(24)에 공급한다. 예를 들어 처리 대상 외의 스피커(12)의 게인은 「0」으로 된다. 즉, 처리 대상 외의 스피커(12)로부터는 오브젝트의 음성이 출력되지 않도록 제어된다.
게인 출력부(24)는 게인 산출부(22) 및 게인 결정부(23)로부터 공급된 N개의 게인을 게인 조정부(25)에 공급한다. 이때, 게인 출력부(24)는 스피커 선택부(21)로부터 공급된 선택 정보에 기초하여, 게인 산출부(22) 및 게인 결정부(23)로부터 공급된 N개의 각 게인의 게인 조정부(25) 내에서의 공급처를 결정한다.
게인 조정부(25)는 게인 출력부(24)로부터 공급된 각 게인에 기초하여, 외부로부터 공급된 오브젝트의 음성 신호에 대한 게인 조정을 행하고, 그 결과 얻어진 N개의 각 채널의 음성 신호를 스피커(12)에 공급하여 음성을 출력시킨다.
게인 조정부(25)는 증폭부(31-1) 내지 증폭부(31-N)를 구비하고 있다. 증폭부(31-1) 내지 증폭부(31-N)는 게인 출력부(24)로부터 공급된 게인에 기초하여, 외부로부터 공급된 음성 신호의 게인 조정을 행하고, 그 결과 얻어진 음성 신호를 스피커(12-1) 내지 스피커(12-N)에 공급한다.
또한 이하, 증폭부(31-1) 내지 증폭부(31-N)를 개별적으로 구별할 필요가 없는 경우, 간단히 증폭부(31)라고도 칭한다.
<게인 산출부의 구성예>
또한 도 9에 도시한 게인 산출부(22)는, 예를 들어 도 10에 도시한 바와 같이 구성된다.
도 10에 도시하는 게인 산출부(22)는, 가상 스피커 위치 결정부(61), 3차원 게인 산출부(62), 2차원 게인 산출부(63), 승산부(64) 및 승산부(65)를 포함한다.
가상 스피커 위치 결정부(61)는 스피커 선택부(21)로부터 공급된 목표 음상 위치를 나타내는 정보 및 선택 정보에 기초하여 가상 스피커의 위치를 결정한다. 가상 스피커 위치 결정부(61)는 목표 음상 위치를 나타내는 정보, 선택 정보 및 가상 스피커의 위치를 나타내는 정보를 3차원 게인 산출부(62)에 공급함과 함께, 선택 정보 및 가상 스피커의 위치를 나타내는 정보를 2차원 게인 산출부(63)에 공급한다.
3차원 게인 산출부(62)는 가상 스피커 위치 결정부(61)로부터 공급된 각 정보에 기초하여, 처리 대상 스피커(12) 중 2개의 스피커(12)와, 가상 스피커에 대하여 3차원 VBAP를 행한다. 그리고 3차원 게인 산출부(62)는 3차원 VBAP에 의하여 얻어진 2개의 스피커(12)의 게인을 게인 출력부(24)에 공급함과 함께, 가상 스피커의 게인을 승산부(64) 및 승산부(65)에 공급한다.
2차원 게인 산출부(63)는 가상 스피커 위치 결정부(61)로부터 공급된 각 정보에 기초하여, 처리 대상 스피커(12) 중 2개의 스피커(12)에 대하여 2차원 VBAP를 행하고, 그 결과 얻어진 스피커(12)의 게인을 승산부(64) 및 승산부(65)에 공급한다.
승산부(64)는 2차원 게인 산출부(63)로부터 공급된 게인에 3차원 게인 산출부(62)로부터 공급된 게인을 승산하여, 최종적인 스피커(12)의 게인으로 하여 게인 출력부(24)에 공급한다. 승산부(65)는 2차원 게인 산출부(63)로부터 공급된 게인에 3차원 게인 산출부(62)로부터 공급된 게인을 승산하여, 최종적인 스피커(12)의 게인으로 하여 게인 출력부(24)에 공급한다.
<음상 정위 제어 처리의 설명>
그런데 음성 처리 장치(11)에 오브젝트의 위치 정보와 음성 신호가 공급되어 오브젝트의 음성 출력이 지시되면, 음성 처리 장치(11)는 음상 정위 제어 처리를 개시하여 오브젝트의 음성을 출력시키고, 그 음상을 적절한 위치에 정위시킨다.
이하, 도 11의 흐름도를 참조하여, 음성 처리 장치(11)에 의한 음상 정위 제어 처리에 대하여 설명한다.
스텝 S11에 있어서, 스피커 선택부(21)는 외부로부터 공급된 오브젝트의 위치 정보에 기초하여, 처리 대상인 스피커(12)를 선택한다.
구체적으로는, 예를 들어 스피커 선택부(21)는 오브젝트의 위치 정보에 기초하여 목표 음상 위치를 특정하고, N개의 스피커(12) 중, 목표 음상 위치 근방에 있고 또한 목표 음상 위치를 둘러싸도록 배치되어 있는 4개의 스피커(12)를 처리 대상 스피커(12)로 한다.
예를 들어 도 7에 도시한 가상 음원 VSP3의 위치가 목표 음상 위치로 되었을 경우, 가상 음원 VSP3을 둘러싸는 4개의 스피커 SP1 내지 스피커 SP4에 대응하는 스피커(12)가 처리 대상 스피커(12)로서 선택된다.
스피커 선택부(21)는 목표 음상 위치를 나타내는 정보를 가상 스피커 위치 결정부(61)에 공급함과 함께, 처리 대상의 4개의 스피커(12)를 나타내는 선택 정보를 가상 스피커 위치 결정부(61), 게인 결정부(23) 및 게인 출력부(24)에 공급한다.
스텝 S12에 있어서, 가상 스피커 위치 결정부(61)는 스피커 선택부(21)로부터 공급된 목표 음상 위치를 나타내는 정보 및 선택 정보에 기초하여 가상 스피커의 위치를 결정한다. 예를 들어 도 7에 도시한 예와 마찬가지로, 처리 대상 스피커(12) 중, 유저가 보아 좌측 하방 및 우측 하방에 위치하는 스피커(12)를 연결하는 구면 상의 변과, 목표 음상 위치로부터 그 변에 내리그은 수선의 교점의 위치가 가상 스피커의 위치로 된다.
가상 스피커의 위치가 결정되면, 가상 스피커 위치 결정부(61)는 목표 음상 위치를 나타내는 정보, 선택 정보 및 가상 스피커의 위치를 나타내는 정보를 3차원 게인 산출부(62)에 공급함과 함께, 선택 정보 및 가상 스피커의 위치를 나타내는 정보를 2차원 게인 산출부(63)에 공급한다.
또한 가상 스피커의 위치는, 처리 대상인 4개의 스피커(12)를 각 정점으로 하는 구면 상의 사각형의 변 상의 위치이면 어느 위치로 되어도 된다. 또한 처리 대상인 스피커(12)가 5개 이상인 경우에도, 그들 스피커(12)를 각 정점으로 하는 구면 상의 다각형의 변 상의 임의의 위치를 가상 스피커의 위치로 하면 된다.
스텝 S13에 있어서, 3차원 게인 산출부(62)는 가상 스피커 위치 결정부(61)로부터 공급된 목표 음상 위치를 나타내는 정보, 선택 정보 및 가상 스피커의 위치를 나타내는 정보에 기초하여, 가상 스피커와, 처리 대상의 2개의 스피커(12)에 대하여 게인을 산출한다.
구체적으로는, 3차원 게인 산출부(62)는 목표 음상 위치를 나타내는 3차원 벡터를 벡터 P로 함과 함께, 가상 스피커를 향하는 3차원 벡터를 벡터 L'으로 한다. 또한 3차원 게인 산출부(62)는 처리 대상인 스피커(12) 중, 도 7에 도시한 스피커 SP1과 동일한 위치 관계에 있는 스피커(12)를 향하는 벡터를 벡터 L1이라 하고, 스피커 SP2와 동일한 위치 관계에 있는 스피커(12)를 향하는 벡터를 벡터 L2라 한다.
그리고 3차원 게인 산출부(62)는, 벡터 P를 벡터 L', 벡터 L1 및 벡터 L2의 선형합으로 나타내는 식을 구하고 그 식을 풂으로써, 벡터 L', 벡터 L1 및 벡터 L2의 계수 g', 계수 g1 및 계수 g2를 게인으로서 산출한다. 즉, 상술한 식 (2)를 푸는 연산과 마찬가지의 연산이 행해진다.
3차원 게인 산출부(62)는, 계산 결과 얻어진 스피커 SP1 및 스피커 SP2와 동일한 위치 관계에 있는 스피커(12)의 계수 g1 및 계수 g2를, 그들 스피커(12)로부터 출력하는 음성의 게인으로서 게인 출력부(24)에 공급한다.
또한 3차원 게인 산출부(62)는, 계산 결과 얻어진 가상 스피커의 계수 g'을, 가상 스피커로부터 출력하는 음성의 게인으로서 승산부(64) 및 승산부(65)에 공급한다.
스텝 S14에 있어서, 2차원 게인 산출부(63)는 가상 스피커 위치 결정부(61)로부터 공급된 선택 정보 및 가상 스피커의 위치를 나타내는 정보에 기초하여, 처리 대상의 2개의 스피커(12)에 대하여 게인을 산출한다.
구체적으로는, 2차원 게인 산출부(63)는 가상 스피커의 위치를 나타내는 3차원 벡터를 벡터 L'이라 한다. 또한 2차원 게인 산출부(63)는 처리 대상인 스피커(12) 중, 도 8에 도시한 스피커 SP3과 동일한 위치 관계에 있는 스피커(12)를 향하는 벡터를 벡터 L3이라 하고, 스피커 SP4와 동일한 위치 관계에 있는 스피커(12)를 향하는 벡터를 벡터 L4라 한다.
그리고 2차원 게인 산출부(63)는, 벡터 L'을 벡터 L3 및 벡터 L4의 선형합으로 나타내는 식을 구하고 그 식을 풂으로써, 벡터 L3 및 벡터 L4의 계수 g3' 및 계수 g4'을 게인으로서 산출한다. 즉, 상술한 식 (1)을 푸는 연산과 마찬가지의 연산이 행해진다.
2차원 게인 산출부(63)는, 계산 결과 얻어진 스피커 SP3 및 스피커 SP4와 동일한 위치 관계에 있는 스피커(12)의 계수 g3' 및 계수 g4'을, 그들 스피커(12)로부터 출력하는 음성의 게인으로서 승산부(64) 및 승산부(65)에 공급한다.
스텝 S15에 있어서, 승산부(64) 및 승산부(65)는 2차원 게인 산출부(63)로부터 공급된 게인 g3' 및 게인 g4'에 대하여, 3차원 게인 산출부(62)로부터 공급된 가상 스피커의 게인 g'을 승산하여 게인 출력부(24)에 공급한다.
따라서 처리 대상인 4개의 스피커(12) 중, 도 8의 스피커 SP3과 동일한 위치 관계에 있는 스피커(12)의 최종적인 게인으로서 g3=g'g3'이 게인 출력부(24)에 공급되게 된다. 마찬가지로, 처리 대상인 4개의 스피커(12) 중, 도 8의 스피커 SP4와 동일한 위치 관계에 있는 스피커(12)의 최종적인 게인으로서 g4=g'g4'이 게인 출력부(24)에 공급된다.
스텝 S16에 있어서, 게인 결정부(23)는 스피커 선택부(21)로부터 공급된 선택 정보에 기초하여, 처리 대상 외의 스피커(12)의 게인을 결정하여 게인 출력부(24)에 공급한다. 예를 들어 처리 대상 외의 모든 스피커(12)의 게인은 「0」으로 된다.
게인 출력부(24)에 게인 산출부(22)로부터의 게인 g1, 게인 g2, 게인 g'g3' 및 게인 g'g4'과, 게인 결정부(23)로부터의 게인 「0」이 공급되면, 게인 출력부(24)는 스피커 선택부(21)로부터의 선택 정보에 기초하여 그들 게인을 게인 조정부(25)의 증폭부(31)에 공급한다.
구체적으로는, 게인 출력부(24)는 처리 대상의 각 스피커(12), 즉, 도 7의 스피커 SP1 내지 스피커 SP4의 각각에 대응하는 스피커(12)에 대하여 음성 신호를 공급하는 증폭부(31)에 게인 g1, 게인 g2, 게인 g'g3' 및 게인 g'g4'을 공급한다. 예를 들어 스피커 SP1에 대응하는 스피커(12)가 스피커(12-1)인 경우, 게인 출력부(24)는 게인 g1을 증폭부(31-1)에 공급한다.
또한 게인 출력부(24)는 처리 대상 외의 스피커(12)에 음성 신호를 공급하는 증폭부(31)에 대하여, 게인 결정부(23)로부터 공급된 게인 「0」을 공급한다.
스텝 S17에 있어서, 게인 조정부(25)의 증폭부(31)는 게인 출력부(24)로부터 공급된 게인에 기초하여, 외부로부터 공급된 오브젝트의 음성 신호의 게인 조정을 행하고, 그 결과 얻어진 음성 신호를 스피커(12)에 공급하여 음성을 출력시킨다.
각 스피커(12)는 증폭부(31)로부터 공급된 음성 신호에 기초하여 음성을 출력한다. 보다 상세하게는, 처리 대상인 4개의 스피커(12)로부터만 음성이 출력된다. 이것에 의하여 목표로 하는 위치에 음상을 정위시킬 수 있다. 스피커(12)로부터 음성이 출력되면 음상 정위 제어 처리는 종료된다.
이상과 같이 하여, 음성 처리 장치(11)는 오브젝트의 위치 정보로부터 처리 대상인 4개의 스피커(12)를 선택하고, 그들 스피커(12)와 가상 스피커 중 2개 또는 3개의 스피커의 조합에 대하여 VBAP를 행한다. 그리고 음성 처리 장치(11)는 복수의 상이한 조합에 대하여 VBAP를 행함으로써 얻어진, 처리 대상의 각 스피커(12)의 게인에 기초하여 음성 신호의 게인 조정을 행한다.
이것에 의하여, 목표로 하는 음상 위치의 주위에 위치하는 4개의 스피커(12)로부터 음성이 출력되게 되어, 음상의 정위를 보다 안정시킬 수 있게 된다. 그 결과, 스위트 스폿의 범위를 보다 확대시킬 수 있다.
<제2 실시 형태>
<게인의 산출에 대하여>
또한 이상에 있어서는, 가상 스피커를 포함하는 5개의 스피커 중 2개 또는 3개의 스피커를 선택하여 하나의 스피커의 조합으로 하고, 복수의 조합에 대하여 VBAP를 행함으로써 처리 대상 스피커(12)의 게인을 산출하는 예에 대하여 설명하였다. 그러나 본 기술에서는, 가상 스피커를 정하지 않고 처리 대상의 4개의 스피커(12)로부터 복수의 조합을 선택하고, 그들 조합마다 VBAP를 행하는 것에 의해서도 게인을 산출하는 것이 가능하다.
그러한 경우, 예를 들어 도 12에 도시한 바와 같이, 목표 음상 위치에 따라 VBAP를 행해야 하는 횟수가 변화된다. 또한 도 12에 있어서, 도 7에 있어서의 경우와 대응하는 부분에는 동일한 부호를 붙이고 있으며, 그 설명은 적절히 생략한다.
예를 들어 가상 음원의 위치, 즉, 목표 음상 위치가 화살표 Q11로 나타내는 위치에 있는 경우, 화살표 Q11로 나타내는 위치는, 구면 상의 스피커 SP1, 스피커 SP2 및 스피커 SP4에 의하여 둘러싸이는 삼각형 영역 내에 있다. 그 때문에, 스피커 SP1, 스피커 SP2 및 스피커 SP4를 포함하는 스피커의 세트(이하, 제1 세트라고도 칭함)에 대하여 3차원 VBAP를 행하면, 스피커 SP1, 스피커 SP2 및 스피커 SP4의 3개의 스피커로부터 출력되는 음성의 게인이 구해진다.
한편, 화살표 Q11로 나타내는 위치는, 구면 상의 스피커 SP2, 스피커 SP3 및 스피커 SP4에 의하여 둘러싸이는 삼각형 영역 내의 위치이기도 하다. 그 때문에, 스피커 SP2, 스피커 SP3 및 스피커 SP4를 포함하는 스피커의 세트(이하, 제2 세트라고도 칭함)에 대하여 3차원 VBAP를 행하면, 스피커 SP2, 스피커 SP3 및 스피커 SP4의 3개의 스피커로부터 출력되는 음성의 게인이 구해진다.
여기서, 제1 세트와 제2 세트에 있어서, 각각 이용되지 않은 스피커의 게인을 「0」으로 하면, 이 예에서는, 제1 세트와 제2 세트에서, 4개의 스피커 SP1 내지 스피커 SP4의 각 게인으로서 합계 2종류의 게인이 얻어진다.
따라서 각 스피커에 대하여, 제1 세트와 제2 세트에서 얻어진 스피커의 게인의 합이 게인 합으로서 구해진다. 예를 들어 제1 세트에 대하여 얻어진 스피커 SP1의 게인이 g1(1)이고, 제2 세트에 대하여 얻어진 스피커 SP1의 게인이 g1(2)이면, 스피커 SP1의 게인 합 gs1은 게인 합 gs1=g1(1)+g1(2)로 된다.
여기서, 제2 세트의 조합에는 스피커 SP1이 포함되어 있지 않으므로 g1(2)는 0으로 되지만, 제1 세트의 스피커 조합에는 스피커 SP1이 포함되어 있으므로 g1(1)은 0이 아닌 값으로 되어, 결국 스피커 SP1의 게인 합 gs1은 0이 되지는 않는다. 이는, 다른 스피커 SP2 내지 스피커 SP4의 게인 합에 대해서도 마찬가지이다.
이와 같이 하여 각 스피커의 게인 합이 구해지면, 그들 게인 합의 제곱합으로서 각 스피커의 게인 합을 정규화하여 얻어진 값을, 그들 스피커의 최종적인 게인, 보다 상세하게는 스피커로부터 출력되는 음성의 게인으로 하면 된다.
이와 같이 하여 각 스피커 SP1 내지 스피커 SP4의 게인을 구하면 반드시 0이 아닌 게인이 얻어지므로, 4개의 스피커 SP1 내지 스피커 SP4의 각각으로부터 음성을 출력시켜, 원하는 위치에 음상을 정위시킬 수 있다.
또한 이하, 제m 세트(단, 1≤m≤4)에 대하여 얻어진 스피커 SPk(단, 1≤k≤4)의 게인을 gk(m)으로 나타내기로 한다. 또한 스피커 SPk(단, 1≤k≤4)의 게인 합을 gsk로 나타내기로 한다.
또한 화살표 Q12로 나타내는 위치, 즉, 구면 상에 있어서, 스피커 SP2 및 스피커 SP3을 연결하는 선과, 스피커 SP1 및 스피커 SP4를 연결하는 선의 교점 위치에 목표 음상 위치가 있는 경우, 3개의 스피커의 조합은 4종류로 된다.
즉, 스피커 SP1, 스피커 SP2 및 스피커 SP3의 조합(이하, 제1 세트라고 칭함)과, 스피커 SP1, 스피커 SP2 및 스피커 SP4의 조합(이하, 제2 세트라고 칭함)이 생각된다. 또한 그 외에, 스피커 SP1, 스피커 SP3 및 스피커 SP4의 조합(이하, 제3 세트라고 칭함)과, 스피커 SP2, 스피커 SP3 및 스피커 SP4의 조합(이하, 제4 세트라고 칭함)이 생각된다.
이 경우에는, 제1 세트 내지 제4 세트까지의 각 조합에 대하여 각각 3차원 VBAP를 행하여 각 스피커의 게인을 구하면 된다. 그리고 동일한 스피커에 대하여 구해진 4개의 게인의 합을 게인 합으로 하고, 스피커마다 구한 4개의 게인 합의 제곱합이고 각 스피커의 게인 합을 정규화하여 얻어지는 값을, 그들 스피커의 최종적인 게인으로 하면 된다.
또한 목표 음상 위치가 화살표 Q12로 나타내는 위치에 있는 경우, 스피커 SP1 내지 스피커 SP4를 포함하는 구면 상의 사각형이 직사각형 등인 경우에는, 예를 들어 제1 세트와 제4 세트에서 3차원 VBAP로서 동일한 계산 결과가 얻어진다. 그 때문에 이러한 경우에는, 제1 세트와 제2 세트 등 적절한 2종류의 조합에 대하여 3차원 VBAP를 행하면 각 스피커의 게인을 얻을 수 있다. 그러나 스피커 SP1 내지 스피커 SP4를 포함하는 구면 상의 사각형이 직사각형 등이 아닌 비대칭 사각형인 경우에는, 4개의 각 조합에 대하여 3차원 VBAP를 행할 필요가 있다.
<게인 산출부의 구성예>
이상에 있어서 설명한 바와 같이, 가상 스피커를 정하지 않고 처리 대상의 4개의 스피커(12)로부터 복수의 조합을 선택하고, 그들 조합마다 VBAP를 행하여 게인을 산출하는 경우, 도 9에 도시한 게인 산출부(22)는, 예를 들어 도 13에 도시한 바와 같이 구성된다.
도 13에 도시하는 게인 산출부(22)는, 선택부(91), 3차원 게인 산출부(92-1), 3차원 게인 산출부(92-2), 3차원 게인 산출부(92-3), 3차원 게인 산출부(92-4) 및 가산부(93)를 포함한다.
선택부(91)는 스피커 선택부(21)로부터 공급된 목표 음상 위치를 나타내는 정보 및 선택 정보에 기초하여, 처리 대상인 4개의 스피커(12) 중에서, 목표 음상 위치를 둘러싸는 3개의 스피커(12)의 조합을 결정한다. 선택부(91)는 스피커(12)의 조합을 나타내는 정보와, 목표 음상 위치를 나타내는 정보를 3차원 게인 산출부(92-1) 내지 3차원 게인 산출부(92-4)에 공급한다.
3차원 게인 산출부(92-1) 내지 3차원 게인 산출부(92-4)는 선택부(91)로부터 공급된 스피커(12)의 조합을 나타내는 정보와, 목표 음상 위치를 나타내는 정보에 기초하여 3차원 VBAP를 행하고, 그 결과 얻어진 각 스피커(12)의 게인을 가산부(93)에 공급한다. 또한 이하, 3차원 게인 산출부(92-1) 내지 3차원 게인 산출부(92-4)를 특별히 구별할 필요가 없는 경우, 간단히 3차원 게인 산출부(92)라고도 칭한다.
가산부(93)는 3차원 게인 산출부(92-1) 내지 3차원 게인 산출부(92-4)로부터 공급된 처리 대상의 각 스피커(12)의 게인에 기초하여 게인 합을 구하고, 또한 그들 게인 합을 정규화함으로써 처리 대상의 각 스피커(12)의 최종적인 게인을 산출하여 게인 출력부(24)에 공급한다.
<음상 정위 제어 처리의 설명>
다음으로, 도 14의 흐름도를 참조하여, 게인 산출부(22)가 도 13에 도시하는 구성으로 되는 경우에 행해지는 음상 정위 제어 처리에 대하여 설명한다.
또한 스텝 S41의 처리는 도 11의 스텝 S11의 처리와 마찬가지이므로, 그 설명은 생략한다.
스텝 S42에 있어서, 선택부(91)는 스피커 선택부(21)로부터 공급된 목표 음상 위치를 나타내는 정보 및 선택 정보에 기초하여 스피커(12)의 조합을 결정하고, 스피커(12)의 조합을 나타내는 정보와 목표 음상 위치를 나타내는 정보를 3차원 게인 산출부(92)에 공급한다.
예를 들어 목표 음상 위치가, 도 12에 도시한 화살표 Q11로 나타내는 위치에 있는 경우, 스피커 SP1, 스피커 SP2 및 스피커 SP4에 대응하는 3개의 스피커(12)를 포함하는 스피커(12)의 조합(제1 세트)이 결정된다. 또한 스피커 SP2, 스피커 SP3 및 스피커 SP4에 대응하는 3개의 스피커(12)를 포함하는 스피커(12)의 조합(제2 세트)이 결정된다.
이 경우, 예를 들어 선택부(91)는 제1 세트의 스피커(12)의 조합을 나타내는 정보와, 목표 음상 위치를 나타내는 정보를 3차원 게인 산출부(92-1)에 공급하고, 제2 세트의 스피커(12)의 조합을 나타내는 정보와, 목표 음상 위치를 나타내는 정보를 3차원 게인 산출부(92-2)에 공급한다. 또한 이 경우에는, 3차원 게인 산출부(92-3)와 3차원 게인 산출부(92-4)에는 스피커(12)의 조합을 나타내는 정보 등은 공급되지 않으며, 3차원 게인 산출부(92-3)와 3차원 게인 산출부(92-4)에서는 3차원 VBAP의 계산도 행해지지 않는다.
스텝 S43에 있어서, 3차원 게인 산출부(92)는 선택부(91)로부터 공급된 스피커(12)의 조합을 나타내는 정보와, 목표 음상 위치를 나타내는 정보에 기초하여, 스피커(12)의 조합에 대하여 처리 대상의 각 스피커(12)의 게인을 산출하여 가산부(93)에 공급한다.
구체적으로는, 3차원 게인 산출부(92)는 스피커(12)의 조합을 나타내는 정보에 의하여 나타나는 3개의 스피커(12)에 대하여, 상술한 도 11의 스텝 S13과 마찬가지의 처리를 행하여 각 스피커(12)의 게인을 구한다. 즉, 상술한 식 (2)를 푸는 연산과 마찬가지의 연산이 행해진다. 또한 처리 대상의 4개의 스피커(12) 중, 스피커(12)의 조합을 나타내는 정보에 의하여 나타나는 3개의 스피커(12)가 아닌 나머지 1개의 스피커(12)의 게인은 「0」으로 된다.
예를 들어 스텝 S42에 있어서, 제1 세트와 제2 세트의 2종류의 조합이 구해졌을 경우, 3차원 게인 산출부(92-1)에서는, 제1 세트에 대하여 3차원 VBAP에 의하여 각 스피커(12)의 게인이 산출된다. 또한 3차원 게인 산출부(92-2)에서는, 제2 세트에 대하여 3차원 VBAP에 의하여 각 스피커(12)의 게인이 산출된다.
구체적으로는, 제1 세트로서 도 12에 도시한 스피커 SP1, 스피커 SP2 및 스피커 SP4에 대응하는 3개의 스피커(12)를 포함하는 스피커(12)의 조합이 결정되었다고 하자. 이 경우, 3차원 게인 산출부(92-1)에서는, 스피커 SP1에 대응하는 스피커(12)의 게인 g1(1), 스피커 SP2에 대응하는 스피커(12)의 게인 g2(1) 및 스피커 SP4에 대응하는 스피커(12)의 게인 g4(1)이 산출된다. 또한 스피커 SP3에 대응하는 스피커(12)의 게인 g3(1)은 「0」으로 된다.
스텝 S44에 있어서, 가산부(93)는 3차원 게인 산출부(92)로부터 공급된 각 스피커(12)의 게인에 기초하여, 처리 대상 스피커(12)의 최종적인 게인을 산출하여 게인 출력부(24)에 공급한다.
예를 들어 가산부(93)는 3차원 게인 산출부(92)로부터 공급된 스피커 SP1에 대응하는 스피커(12)의 게인 g1(1), 게인 g1(2), 게인 g1(3) 및 게인 g1(4)의 합을 구함으로써, 그 스피커(12)의 게인 합 gs1을 산출한다. 마찬가지로 하여 가산부(93)는 스피커 SP2에 대응하는 스피커(12)의 게인 합 gs2, 스피커 SP3에 대응하는 스피커(12)의 게인 합 gs3 및 스피커 SP4에 대응하는 스피커(12)의 게인 합 gs4도 산출한다.
그리고 가산부(93)는 스피커 SP1에 대응하는 스피커(12)의 게인 합 gs1을, 게인 합 gs1 내지 게인 합 gs4의 제곱합으로 정규화함으로써, 스피커 SP1에 대응하는 스피커(12)의 최종적인 게인 g1(계수 g1)을 구한다. 또한 가산부(93)는 마찬가지 계산에 의하여 스피커 SP2 내지 스피커 SP4에 대응하는 스피커(12)의 최종적인 게인 g2 내지 게인 g4도 구한다.
이와 같이 하여 처리 대상 스피커(12)의 게인이 구해지면, 그 후, 스텝 S45 및 스텝 S46의 처리가 행해져 음상 정위 제어 처리는 종료되지만, 이들 처리는 도 11의 스텝 S16 및 스텝 S17의 처리와 마찬가지이므로 그 설명은 생략한다.
이상과 같이 하여, 음성 처리 장치(11)는 오브젝트의 위치 정보로부터 처리 대상인 4개의 스피커(12)를 선택하고, 그들 스피커(12) 중 3개의 스피커(12)를 포함하는 스피커(12)의 조합에 대하여 VBAP를 행한다. 그리고 음성 처리 장치(11)는, 복수의 상이한 조합에 대하여 VBAP를 행함으로써 얻어진 동일한 스피커(12)의 게인 합을 구함으로써, 처리 대상의 각 스피커(12)의 최종적인 게인을 구하여 음성 신호의 게인 조정을 행한다.
이것에 의하여, 목표로 하는 음상 위치의 주위에 위치하는 4개의 스피커(12)로부터 음성이 출력되게 되어, 음상의 정위를 보다 안정시킬 수 있게 된다. 그 결과, 스위트 스폿의 범위를 보다 확대시킬 수 있다.
또한 이 실시 형태에서는, 목표 음상 위치를 둘러싸는 4개의 스피커(12)가 처리 대상 스피커(12)로 되는 예에 대하여 설명했지만, 처리 대상인 스피커(12)의 수는 4개 이상이면 된다.
예를 들어 5개의 스피커(12)가 처리 대상 스피커(12)로서 선택되는 경우에는, 그들 5개의 스피커(12) 중, 목표 음상 위치를 둘러싸는 임의의 3개의 스피커(12)를 포함하는 스피커(12)의 세트가 하나의 조합으로서 선택된다.
구체적으로는, 도 15에 도시한 바와 같이 5개의 스피커 SP1 내지 스피커 SP5에 대응하는 스피커(12)가 처리 대상 스피커(12)로서 선택되고, 목표 음상 위치가 화살표 Q21로 나타내는 위치로 되었다고 하자.
이 경우, 제1 세트로서, 스피커 SP1, 스피커 SP2 및 스피커 SP3을 포함하는 조합이 선택되고, 제2 세트로서, 스피커 SP1, 스피커 SP2 및 스피커 SP4를 포함하는 조합이 선택된다. 또한 제3 세트로서, 스피커 SP1, 스피커 SP2 및 스피커 SP5를 포함하는 조합이 선택된다.
그리고 이들 제1 세트 내지 제3 세트에 대하여 각 스피커의 게인이 구해지고, 각 스피커의 게인 합으로부터 최종적인 게인이 산출된다. 즉, 제1 세트 내지 제3 세트에 대하여 도 14의 스텝 S43의 처리가 행해지고, 그 후, 스텝 S44 내지 스텝 S46의 처리가 행해진다.
이와 같이, 5개 이상의 스피커(12)를 처리 대상 스피커(12)로서 선택하는 경우에 있어서도, 처리 대상인 모든 스피커(12)로부터 음성을 출력시켜 음상을 정위시킬 수 있다.
그런데 상술한 일련의 처리는 하드웨어에 의하여 실행할 수도 있고, 소프트웨어에 의하여 실행할 수도 있다. 일련의 처리를 소프트웨어에 의하여 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써 각종 기능을 실행하는 것이 가능한, 예를 들어 범용 컴퓨터 등이 포함된다.
도 16은, 상술한 일련의 처리를 프로그램에 의하여 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
컴퓨터에 있어서, CPU(801), ROM(802), RAM(803)은 버스(804)에 의하여 서로 접속되어 있다.
버스(804)에는 입출력 인터페이스(805)가 더 접속되어 있다. 입출력 인터페이스(805)에는 입력부(806), 출력부(807), 기록부(808), 통신부(809) 및 드라이브(810)가 접속되어 있다.
입력부(806)는 키보드, 마우스, 마이크로폰, 촬상 소자 등을 포함한다. 출력부(807)는 디스플레이, 스피커 등을 포함한다. 기록부(808)는 하드 디스크나 불휘발성 메모리 등을 포함한다. 통신부(809)는 네트워크 인터페이스 등을 포함한다. 드라이브(810)는 자기 디스크, 광 디스크, 광 자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(811)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(801)가, 예를 들어 기록부(808)에 기록되어 있는 프로그램을, 입출력 인터페이스(805) 및 버스(804)를 통하여 RAM(803)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(CPU(801))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(811)에 기록하여 제공할 수 있다. 또한 프로그램은, 로컬 에리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선 전송 매체를 통하여 제공할 수 있다.
컴퓨터에서는, 프로그램은 리무버블 미디어(811)를 드라이브(810)에 장착함으로써, 입출력 인터페이스(805)를 통하여 기록부(808)에 인스톨할 수 있다. 또한 프로그램은 유선 또는 무선 전송 매체를 통하여 통신부(809)에서 수신하여 기록부(808)에 인스톨할 수 있다. 그 외에, 프로그램은 ROM(802)이나 기록부(808)에 미리 인스톨해 둘 수 있다.
또한 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로 또는 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한 본 기술의 실시 형태는 상술한 실시 형태에 한정되는 것은 아니며, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
예를 들어 본 기술은, 하나의 기능을 네트워크를 통하여 복수의 장치에서 분담하여 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에 복수의 장치에서 분담하여 실행할 수 있다.
또한 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에 복수의 장치에서 분담하여 실행할 수 있다.
또한 본 기술은 이하의 구성으로 하는 것도 가능하다.
[1]
목표로 하는 음상 정위 위치 근방에 위치하는 4개 이상의 음성 출력부 중 2개 또는 3개의 상기 음성 출력부의 조합에 대하여, 서로 다른 복수의 상기 조합마다, 상기 음성 출력부의 위치 관계에 기초하여, 상기 음성 출력부로부터 출력시키는 음성의 게인을 산출함으로써, 상기 음상 정위 위치에 음상을 정위시키기 위한, 상기 4개 이상의 상기 음성 출력부로부터 출력시키는 음성의 출력 게인을 구하는 게인 산출부와,
상기 출력 게인에 기초하여, 상기 음성 출력부로부터 출력시키는 음성의 게인 조정을 행하는 게인 조정부
를 구비하는 음성 처리 장치.
[2]
적어도 4개 이상의 상기 출력 게인의 값이 0이 아닌 값으로 되는,
[1]에 기재된 음성 처리 장치.
[3]
상기 게인 산출부는,
가상적인 음성 출력부 및 2개의 상기 음성 출력부와, 상기 음상 정위 위치와의 위치 관계에 기초하여 상기 가상적인 음성 출력부 및 상기 2개의 상기 음성 출력부의 상기 출력 게인을 산출하는 제1 게인 산출부와,
상기 2개의 상기 음성 출력부와는 상이한 다른 2개의 상기 음성 출력부와, 상기 가상적인 음성 출력부와의 위치 관계에 기초하여, 상기 가상적인 음성 출력부의 위치에 음상을 정위시키기 위한 상기 다른 2개의 상기 음성 출력부의 게인을 산출하는 제2 게인 산출부와,
상기 다른 2개의 상기 음성 출력부의 게인과, 상기 가상적인 음성 출력부의 상기 출력 게인에 기초하여, 상기 다른 2개의 상기 음성 출력부의 상기 출력 게인을 산출하는 연산부
를 구비하는,
[1] 또는 [2]에 기재된 음성 처리 장치.
[4]
상기 연산부는, 상기 다른 2개의 상기 음성 출력부의 게인에 상기 가상적인 음성 출력부의 상기 출력 게인을 승산함으로써, 상기 다른 2개의 상기 음성 출력부의 상기 출력 게인을 산출하는,
[3]에 기재된 음성 처리 장치.
[5]
상기 가상적인 음성 출력부의 위치는, 상기 4개 이상의 상기 음성 출력부를 정점으로 하는 다각형의 변 상에 위치하도록 정해지는,
[3] 또는 [4]에 기재된 음성 처리 장치.
[6]
상기 게인 산출부는,
3개의 상기 음성 출력부와, 상기 음상 정위 위치와의 위치 관계에 기초하여 상기 3개의 상기 음성 출력부의 상기 출력 게인을 산출하는 임시 게인 산출부와,
서로 다른 상기 조합에 대하여 상기 출력 게인을 산출하는 복수의 상기 임시 게인 산출부에 의하여 산출된 상기 출력 게인에 기초하여 상기 음성 출력부의 최종적인 상기 출력 게인을 산출하는 연산부
를 구비하는,
[1] 또는 [2]에 기재된 음성 처리 장치.
[7]
상기 연산부는, 동일한 상기 음성 출력부에 대하여 구해진 상기 출력 게인의 합을 구함으로써, 상기 음성 출력부의 최종적인 상기 출력 게인을 산출하는,
[6]에 기재된 음성 처리 장치.
11: 음성 처리 장치
12-1 내지 12-N, 12: 스피커
21: 스피커 선택부
22: 게인 산출부
25: 게인 조정부
61: 가상 스피커 위치 결정부
62: 3차원 게인 산출부
63: 2차원 게인 산출부
64: 승산부
65: 승산부
91: 선택부
92-1 내지 92-4, 92: 3차원 게인 산출부
93: 가산부

Claims (3)

  1. 목표로 하는 음상(音像) 정위 위치 근방에 위치하는 4개의 음성 출력부의 위치에 기초하여, 가상적인 음성 출력부의 위치를 결정하는 위치 결정부와,
    상기 4개의 음성 출력부 중 2개의 상기 음성 출력부와, 상기 가상적인 음성 출력부에 관하여, 3 차원 VBAP를 행함으로써, 상기 가상적인 음성 출력부의 게인을 계산하는 게인 산출부와,
    상기 가상적인 음성 출력부의 상기 게인에 기초하여, 상기 4개의 상기 음성 출력부로부터 출력시키는 음성의 게인 조정을 행하는 게인 조정부
    를 구비하고,
    상기 게인 산출부는, 상기 목표로 하는 음상 정위 위치에 가상 음원을 정위시킬 때, 상기 4개의 상기 음성 출력부의 게인 값을 동시에 0이 아닌 값으로 하는, 음성 처리 장치.
  2. 목표로 하는 음상 정위 위치 근방에 위치하는 4개의 음성 출력부의 위치에 기초하여, 가상적인 음성 출력부의 위치를 결정하는 단계;
    상기 4개의 음성 출력부 중 2개의 상기 음성 출력부와, 상기 가상적인 음성 출력부에 관하여, 3 차원 VBAP를 행함으로써, 상기 가상적인 음성 출력부의 게인을 계산하는 단계; 및
    상기 가상적인 음성 출력부의 상기 게인에 기초하여, 상기 4개의 상기 음성 출력부로부터 출력시키는 음성의 게인 조정을 행하는 단계
    를 구비하고,
    상기 게인을 계산하는 단계는, 상기 목표로 하는 음상 정위 위치에 가상 음원을 정위시킬 때, 상기 4개의 상기 음성 출력부의 게인 값을 동시에 0이 아닌 값으로 하는 단계를 구비하는, 음성 처리 방법.
  3. 프로그램이 기록되어 있는 컴퓨터로 판독가능한 기록 매체로서, 상기 프로그램은,
    목표로 하는 음상 정위 위치 근방에 위치하는 4개의 음성 출력부의 위치에 기초하여, 가상적인 음성 출력부의 위치를 결정하는 단계;
    상기 4개의 음성 출력부 중 2개의 상기 음성 출력부와, 상기 가상적인 음성 출력부에 관하여, 3 차원 VBAP를 행함으로써, 상기 가상적인 음성 출력부의 게인을 계산하는 단계; 및
    상기 가상적인 음성 출력부의 상기 게인에 기초하여, 상기 4개의 상기 음성 출력부로부터 출력시키는 음성의 게인 조정을 행하는 단계
    를 포함하는 처리를 컴퓨터에 실행시키고,
    상기 게인을 계산하는 단계는, 상기 목표로 하는 음상 정위 위치에 가상 음원을 정위시킬 때, 상기 4개의 상기 음성 출력부의 게인 값을 동시에 0이 아닌 값으로 하는 단계를 구비하는, 컴퓨터로 판독가능한 기록 매체.
KR1020217034703A 2013-04-26 2014-04-11 음성 처리 장치 및 방법, 및 기록 매체 KR102401350B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227016887A KR102606599B1 (ko) 2013-04-26 2014-04-11 음성 처리 장치 및 방법, 및 기록 매체

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2013-094268 2013-04-26
JP2013094268 2013-04-26
PCT/JP2014/060459 WO2014175075A1 (ja) 2013-04-26 2014-04-11 音声処理装置および方法、並びにプログラム
KR1020207027211A KR102319766B1 (ko) 2013-04-26 2014-04-11 음성 처리 장치 및 방법, 및 기록 매체

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207027211A Division KR102319766B1 (ko) 2013-04-26 2014-04-11 음성 처리 장치 및 방법, 및 기록 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227016887A Division KR102606599B1 (ko) 2013-04-26 2014-04-11 음성 처리 장치 및 방법, 및 기록 매체

Publications (2)

Publication Number Publication Date
KR20210134068A KR20210134068A (ko) 2021-11-08
KR102401350B1 true KR102401350B1 (ko) 2022-05-24

Family

ID=51791655

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020207027211A KR102319766B1 (ko) 2013-04-26 2014-04-11 음성 처리 장치 및 방법, 및 기록 매체
KR1020157029464A KR102160519B1 (ko) 2013-04-26 2014-04-11 음성 처리 장치 및 방법, 및 기록 매체
KR1020227016887A KR102606599B1 (ko) 2013-04-26 2014-04-11 음성 처리 장치 및 방법, 및 기록 매체
KR1020217034703A KR102401350B1 (ko) 2013-04-26 2014-04-11 음성 처리 장치 및 방법, 및 기록 매체
KR1020237040194A KR20230163585A (ko) 2013-04-26 2014-04-11 음성 처리 장치 및 방법, 및 기록 매체

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020207027211A KR102319766B1 (ko) 2013-04-26 2014-04-11 음성 처리 장치 및 방법, 및 기록 매체
KR1020157029464A KR102160519B1 (ko) 2013-04-26 2014-04-11 음성 처리 장치 및 방법, 및 기록 매체
KR1020227016887A KR102606599B1 (ko) 2013-04-26 2014-04-11 음성 처리 장치 및 방법, 및 기록 매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020237040194A KR20230163585A (ko) 2013-04-26 2014-04-11 음성 처리 장치 및 방법, 및 기록 매체

Country Status (9)

Country Link
US (3) US9681249B2 (ko)
EP (3) EP2991384B1 (ko)
JP (6) JP6515802B2 (ko)
KR (5) KR102319766B1 (ko)
CN (2) CN108430031B (ko)
BR (1) BR112015026504B1 (ko)
RU (2) RU2769677C2 (ko)
TW (1) TWI692254B (ko)
WO (1) WO2014175075A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014175076A1 (ja) 2013-04-26 2014-10-30 ソニー株式会社 音声処理装置および音声処理システム
EP2991384B1 (en) * 2013-04-26 2021-06-02 Sony Corporation Audio processing device, method, and program
CN105379311B (zh) 2013-07-24 2018-01-16 索尼公司 信息处理设备以及信息处理方法
RU2019138260A (ru) * 2015-06-24 2019-12-05 Сони Корпорейшн Устройство, способ и программа аудиообработки
US10547962B2 (en) * 2015-12-21 2020-01-28 Sharp Kabushiki Kaisha Speaker arranged position presenting apparatus
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
KR101993585B1 (ko) * 2017-09-06 2019-06-28 주식회사 에스큐그리고 실시간 음원 분리 장치 및 음향기기
US10609485B2 (en) * 2017-09-29 2020-03-31 Apple Inc. System and method for performing panning for an arbitrary loudspeaker setup

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009038641A (ja) 2007-08-02 2009-02-19 Yamaha Corp 音場制御装置
JP2010041190A (ja) 2008-08-01 2010-02-18 Yamaha Corp 音響装置及びプログラム
WO2013006330A2 (en) 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation System and tools for enhanced 3d audio authoring and rendering

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9307934D0 (en) * 1993-04-16 1993-06-02 Solid State Logic Ltd Mixing audio signals
US7231054B1 (en) * 1999-09-24 2007-06-12 Creative Technology Ltd Method and apparatus for three-dimensional audio display
KR100663729B1 (ko) * 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
KR100608002B1 (ko) * 2004-08-26 2006-08-02 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
WO2007028094A1 (en) * 2005-09-02 2007-03-08 Harman International Industries, Incorporated Self-calibrating loudspeaker
JP5010185B2 (ja) 2006-06-08 2012-08-29 日本放送協会 ３次元音響パンニング装置
JP4928177B2 (ja) * 2006-07-05 2012-05-09 日本放送協会 音像形成装置
CN101681625B (zh) * 2007-06-08 2012-11-07 杜比实验室特许公司 用于从两个输入的音频信号获得两个环绕声音频通道的方法和设备
JP5050721B2 (ja) 2007-08-06 2012-10-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
GB2467247B (en) * 2007-10-04 2012-02-29 Creative Tech Ltd Phase-amplitude 3-D stereo encoder and decoder
JP4780119B2 (ja) 2008-02-15 2011-09-28 ソニー株式会社 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2009206691A (ja) 2008-02-27 2009-09-10 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP4735993B2 (ja) 2008-08-26 2011-07-27 ソニー株式会社 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法
KR101542233B1 (ko) * 2008-11-04 2015-08-05 삼성전자 주식회사 화면음원 정위장치, 화면음원 정위를 위한 스피커 셋 정보 생성방법 및 정위된 화면음원 재생방법
KR101038574B1 (ko) * 2009-01-16 2011-06-02 전자부품연구원 3차원 오디오 음상 정위 방법과 장치 및 이와 같은 방법을 구현하는 프로그램이 기록되는 기록매체
JP5540581B2 (ja) 2009-06-23 2014-07-02 ソニー株式会社 音声信号処理装置および音声信号処理方法
WO2011054876A1 (en) * 2009-11-04 2011-05-12 Fraunhofer-Gesellschaft Zur Förderungder Angewandten Forschung E.V. Apparatus and method for calculating driving coefficients for loudspeakers of a loudspeaker arrangement for an audio signal associated with a virtual source
KR101268779B1 (ko) * 2009-12-09 2013-05-29 한국전자통신연구원 라우드 스피커 어레이를 사용한 음장 재생 장치 및 방법
US8718290B2 (en) 2010-01-26 2014-05-06 Audience, Inc. Adaptive noise reduction using level cues
JP5361766B2 (ja) * 2010-02-26 2013-12-04 日本電信電話株式会社 音信号擬似定位システム、方法及びプログラム
DE102010003225A1 (de) * 2010-03-24 2011-09-29 Sennheiser Electronic Gmbh & Co. Kg In-Ear-Monitor-System und Verfahren zum Steuern eines In-Ear-Monitor-Systems
WO2011117399A1 (en) 2010-03-26 2011-09-29 Thomson Licensing Method and device for decoding an audio soundfield representation for audio playback
JP5533248B2 (ja) 2010-05-20 2014-06-25 ソニー株式会社 音声信号処理装置および音声信号処理方法
JP2012004668A (ja) 2010-06-14 2012-01-05 Sony Corp 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置
KR20120004909A (ko) * 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
EP2503800B1 (en) * 2011-03-24 2018-09-19 Harman Becker Automotive Systems GmbH Spatially constant surround sound
JP5845760B2 (ja) 2011-09-15 2016-01-20 ソニー株式会社 音声処理装置および方法、並びにプログラム
CN102711032B (zh) * 2012-05-30 2015-06-03 蒋憧 一种声音处理再现装置
WO2013181272A2 (en) 2012-05-31 2013-12-05 Dts Llc Object-based audio system using vector base amplitude panning
CN102984642A (zh) * 2012-12-18 2013-03-20 武汉大学 一种五个扬声器的三维平移方法
US9913064B2 (en) 2013-02-07 2018-03-06 Qualcomm Incorporated Mapping virtual speakers to physical speakers
WO2014175076A1 (ja) 2013-04-26 2014-10-30 ソニー株式会社 音声処理装置および音声処理システム
EP2991384B1 (en) * 2013-04-26 2021-06-02 Sony Corporation Audio processing device, method, and program
CN105379311B (zh) 2013-07-24 2018-01-16 索尼公司 信息处理设备以及信息处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009038641A (ja) 2007-08-02 2009-02-19 Yamaha Corp 音場制御装置
JP2010041190A (ja) 2008-08-01 2010-02-18 Yamaha Corp 音響装置及びプログラム
WO2013006330A2 (en) 2011-07-01 2013-01-10 Dolby Laboratories Licensing Corporation System and tools for enhanced 3d audio authoring and rendering

Also Published As

Publication number Publication date
BR112015026504A2 (pt) 2017-07-25
BR112015026504B1 (pt) 2021-12-21
EP2991384A4 (en) 2016-12-14
EP3860155B1 (en) 2024-02-07
EP4329338A2 (en) 2024-02-28
JP2024075689A (ja) 2024-06-04
EP3860155A1 (en) 2021-08-04
JP6515802B2 (ja) 2019-05-22
KR20220070342A (ko) 2022-05-30
JP2020099093A (ja) 2020-06-25
TW201507493A (zh) 2015-02-16
JP6669289B2 (ja) 2020-03-18
KR20230163585A (ko) 2023-11-30
EP2991384B1 (en) 2021-06-02
CN105144753B (zh) 2018-04-06
RU2018131347A3 (ko) 2021-10-19
US10225677B2 (en) 2019-03-05
KR20160003658A (ko) 2016-01-11
RU2667377C2 (ru) 2018-09-19
JP2022160599A (ja) 2022-10-19
EP4329338A3 (en) 2024-05-22
KR20200111832A (ko) 2020-09-29
WO2014175075A1 (ja) 2014-10-30
EP2991384A1 (en) 2016-03-02
US20160073213A1 (en) 2016-03-10
KR102160519B1 (ko) 2020-09-28
CN105144753A (zh) 2015-12-09
RU2015144910A3 (ko) 2018-03-30
US10587976B2 (en) 2020-03-10
RU2018131347A (ru) 2019-03-20
RU2015144910A (ru) 2017-04-26
US9681249B2 (en) 2017-06-13
KR102319766B1 (ko) 2021-11-01
KR20210134068A (ko) 2021-11-08
JP6908146B2 (ja) 2021-07-21
TWI692254B (zh) 2020-04-21
RU2769677C2 (ru) 2022-04-04
JP2021158699A (ja) 2021-10-07
JP7464085B2 (ja) 2024-04-09
CN108430031B (zh) 2021-02-26
JPWO2014175075A1 (ja) 2017-02-23
KR102606599B1 (ko) 2023-11-29
US20190149935A1 (en) 2019-05-16
US20170245086A1 (en) 2017-08-24
CN108430031A (zh) 2018-08-21
JP2019092207A (ja) 2019-06-13

Similar Documents

Publication Publication Date Title
KR102414609B1 (ko) 음성 처리 장치, 정보 처리 방법, 및 기록 매체
KR102401350B1 (ko) 음성 처리 장치 및 방법, 및 기록 매체

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant