JP6515802B2 - 音声処理装置および方法、並びにプログラム - Google Patents

音声処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP6515802B2
JP6515802B2 JP2015513675A JP2015513675A JP6515802B2 JP 6515802 B2 JP6515802 B2 JP 6515802B2 JP 2015513675 A JP2015513675 A JP 2015513675A JP 2015513675 A JP2015513675 A JP 2015513675A JP 6515802 B2 JP6515802 B2 JP 6515802B2
Authority
JP
Japan
Prior art keywords
gain
speaker
speakers
output
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015513675A
Other languages
English (en)
Other versions
JPWO2014175075A1 (ja
Inventor
優樹 山本
優樹 山本
徹 知念
徹 知念
潤宇 史
潤宇 史
光行 畠中
光行 畠中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2014175075A1 publication Critical patent/JPWO2014175075A1/ja
Application granted granted Critical
Publication of JP6515802B2 publication Critical patent/JP6515802B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03G—CONTROL OF AMPLIFICATION
    • H03G3/00—Gain control in amplifiers or frequency changers
    • H03G3/20—Automatic control
    • H03G3/30—Automatic control in amplifiers having semiconductor devices
    • H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • H03G3/301—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers the gain being continuously variable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本技術は音声処理装置および方法、並びにプログラムに関し、特に、音像の定位をより安定させることができるようにした音声処理装置および方法、並びにプログラムに関する。
従来、複数のスピーカを用いて音像の定位を制御する技術として、VBAP（Vector Base Amplitude Pannning）が知られている（例えば、非特許文献１参照）。
VBAPでは、目標となる音像の定位位置が、その定位位置の周囲にある２つまたは３つのスピーカの方向を向くベクトルの線形和で表現される。そして、その線形和において各ベクトルに乗算されている係数が、各スピーカから出力される音声のゲインとして用いられてゲイン調整が行なわれ、目標となる位置に音像が定位するようになされる。
Ville Pulkki, "Virtual Sound Source Positioning Using Vector Base Amplitude Panning", Journal of AES, vol.45, no.6, pp.456-466, 1997
しかしながら、上述した技術では、目標とする位置に音像を定位させることはできるが、その定位位置によっては、音像の定位が不安定となってしまうことがあった。
例えば、３つのスピーカを用いてVBAPを行なう３次元VBAPでは、目標とする音像の定位位置によっては、３つのスピーカのうち、２つのスピーカのみから音声が出力され、残りの１つのスピーカからは音声が出力されないように制御される場合がある。
そのような場合、音声を聴いているときにユーザが移動すると、その移動方向とは異なる方向に音像が移動し、音像の定位が不安定であると知覚されてしまうことがある。このように音像の定位が不安定となると、最適な視聴位置であるスイートスポットの範囲が狭くなってしまう。
本技術は、このような状況に鑑みてなされたものであり、音像の定位をより安定させることができるようにするものである。
本技術の一側面の音声処理装置は、目標とする音像定位位置近傍に位置する４個のスピーカについて、前記４個の前記スピーカのうちの少なくとも２個の前記スピーカと仮想的なスピーカとの位置関係に基づいて前記仮想的なスピーカから出力させる音声のゲインを算出することで、前記音像定位位置に音像を定位させるための、前記４個の前記スピーカから出力させる音声の出力ゲインを求めるゲイン算出部と、前記出力ゲインに基づいて、前記４個の前記スピーカから出力させる音声のゲイン調整を行なうゲイン調整部とを備える。
本技術の一側面の音声処理方法またはプログラムは、目標とする音像定位位置近傍に位置する４個のスピーカについて、前記４個の前記スピーカのうちの少なくとも２個の前記スピーカと仮想的なスピーカとの位置関係に基づいて前記仮想的なスピーカから出力させる音声のゲインを算出することで、前記音像定位位置に音像を定位させるための、前記４個の前記スピーカから出力させる音声の出力ゲインを求め、前記出力ゲインに基づいて、前記４個の前記スピーカから出力させる音声のゲイン調整を行なうステップを含む。
本技術の一側面においては、目標とする音像定位位置近傍に位置する４個のスピーカについて前記４個の前記スピーカのうちの少なくとも２個の前記スピーカと仮想的なスピーカとの位置関係に基づいて前記仮想的なスピーカから出力させる音声のゲインを算出することで、前記音像定位位置に音像を定位させるための、前記４個の前記スピーカから出力させる音声の出力ゲインが求められ、前記出力ゲインに基づいて、前記４個の前記スピーカから出力させる音声のゲイン調整が行なわれる。
本技術の一側面によれば、音像の定位をより安定させることができる。
２次元VBAPについて説明する図である。 ３次元VBAPについて説明する図である。 スピーカ配置について説明する図である。 ４つのスピーカが配置されている場合におけるゲイン算出方法について説明する図である。 音像の移動について説明する図である。 本技術を適用した場合における音像の移動について説明する図である。 本技術によるゲインの算出について説明する図である。 本技術によるゲインの算出について説明する図である。 音声処理装置の構成例を示す図である。 ゲイン算出部の構成例を示す図である。 音像定位制御処理を説明するフローチャートである。 スピーカのゲインの他の算出方法について説明する図である。 ゲイン算出部の他の構成例を示す図である。 音像定位制御処理を説明するフローチャートである。 スピーカのゲインの算出方法について説明する図である。 コンピュータの構成例を示す図である。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈本技術の概要について〉
まず、図１乃至図８を参照して、本技術の概要について説明する。なお、図１乃至図８において、対応する部分には同一の符号を付してあり、その説明は適宜省略する。
例えば、図１に示すように、音声付の動画像や楽曲などのコンテンツを視聴するユーザＵ１１が、２つのスピーカＳＰ１およびスピーカＳＰ２から出力される２チャンネルの音声をコンテンツの音声として聴いているとする。
このような場合に、各チャンネルの音声を出力する２つのスピーカＳＰ１とスピーカＳＰ２の位置情報を用いて、仮想音源ＶＳＰ１の位置に音像を定位させることを考える。
例えば、ユーザＵ１１の頭部の位置を原点Ｏとし、図中、縦方向および横方向をｘ軸方向およびｙ軸方向とする２次元座標系における仮想音源ＶＳＰ１の位置を、原点Ｏを始点とするベクトルＰにより表すこととする。
ベクトルＰは２次元のベクトルであるため、原点Ｏを始点とし、それぞれスピーカＳＰ１およびスピーカＳＰ２の位置の方向を向くベクトルＬ1およびベクトルＬ2の線形和によってベクトルＰを表すことができる。すなわち、ベクトルＰは、ベクトルＬ1およびベクトルＬ2を用いて次式（１）により表すことができる。
Figure 0006515802
式（１）においてベクトルＬ1およびベクトルＬ2に乗算されている係数ｇ1および係数ｇ2を算出し、これらの係数ｇ1および係数ｇ2を、スピーカＳＰ１およびスピーカＳＰ２のそれぞれから出力する音声のゲインとすれば、仮想音源ＶＳＰ１の位置に音像を定位させることができる。すなわち、ベクトルＰにより示される位置に音像を定位させることができる。
このようにして、２つのスピーカＳＰ１とスピーカＳＰ２の位置情報を用いて係数ｇ1および係数ｇ2を求め、音像の定位位置を制御する手法は、２次元VBAPと呼ばれている。
図１の例では、スピーカＳＰ１とスピーカＳＰ２を結ぶ円弧ＡＲ１１上の任意の位置に音像を定位させることができる。ここで、円弧ＡＲ１１は、原点Ｏを中心とし、スピーカＳＰ１およびスピーカＳＰ２の各位置を通る円の一部分である。
なお、ベクトルＰは２次元ベクトルであるので、ベクトルＬ1とベクトルＬ2のなす角度が０度より大きく、１８０度未満である場合、ゲインとされる係数ｇ1および係数ｇ2は一意に求まる。これらの係数ｇ1および係数ｇ2の算出方法については、上述した非特許文献１に詳細に記載されている。
これに対して、３チャンネルの音声を再生しようとする場合には、例えば図２に示すように、音声を出力するスピーカの数は３つになる。
図２の例では、３つのスピーカＳＰ１、スピーカＳＰ２、およびスピーカＳＰ３から各チャンネルの音声が出力される。
このような場合においても、スピーカＳＰ１乃至スピーカＳＰ３から出力される各チャンネルの音声のゲイン、つまりゲインとして求める係数が３つになるだけで、考え方は上述した２次元VBAPと同様である。
すなわち、仮想音源ＶＳＰ２の位置に音像を定位させようとする場合に、ユーザＵ１１の頭部の位置を原点Ｏとする３次元座標系において、仮想音源ＶＳＰ２の位置を、原点Ｏを始点とする３次元のベクトルＰにより表すこととする。
また、原点Ｏを始点とし、各スピーカＳＰ１乃至スピーカＳＰ３の位置の方向を向く３次元のベクトルをベクトルＬ1乃至ベクトルＬ3とすると、ベクトルＰは次式（２）に示すように、ベクトルＬ1乃至ベクトルＬ3の線形和によって表すことができる。
Figure 0006515802
式（２）においてベクトルＬ1乃至ベクトルＬ3に乗算されている係数ｇ1乃至係数ｇ3を算出し、これらの係数ｇ1乃至係数ｇ3を、スピーカＳＰ１乃至スピーカＳＰ３のそれぞれから出力する音声のゲインとすれば、仮想音源ＶＳＰ２の位置に音像を定位させることができる。
このようにして、３つのスピーカＳＰ１乃至スピーカＳＰ３の位置情報を用いて係数ｇ1乃至係数ｇ3を求め、音像の定位位置を制御する手法は、３次元VBAPと呼ばれている。
図２の例では、スピーカＳＰ１、スピーカＳＰ２、およびスピーカＳＰ３の位置を含む球面上の三角形の領域ＴＲ１１内の任意の位置に音像を定位させることができる。ここで、領域ＴＲ１１は、原点Ｏを中心とし、スピーカＳＰ１乃至スピーカＳＰ３の各位置を含む球の表面上の領域であって、スピーカＳＰ１乃至スピーカＳＰ３により囲まれる球面上の三角形の領域である。
このような３次元VBAPを用いれば、空間上の任意の位置に音像を定位させることができるようになる。
例えば図３に示すように、音声を出力させるスピーカの数を増やして、図２に示した三角形の領域ＴＲ１１に相当する領域を空間上に複数設ければ、それらの領域上の任意の位置に音像を定位させることができる。
図３に示す例では、５つのスピーカＳＰ１乃至スピーカＳＰ５が配置されており、それらのスピーカＳＰ１乃至スピーカＳＰ５から各チャンネルの音声が出力される。ここで、スピーカＳＰ１乃至スピーカＳＰ５は、ユーザＵ１１の頭部の位置にある原点Ｏを中心とする球面上に配置されている。
この場合、原点Ｏを始点とし、各スピーカＳＰ１乃至スピーカＳＰ５の位置の方向を向く３次元のベクトルをベクトルＬ1乃至ベクトルＬ5として、上述した式（２）を解く計算と同様の計算を行い、各スピーカから出力される音声のゲインを求めればよい。
ここで、原点Ｏを中心とする球面上の領域のうち、スピーカＳＰ１、スピーカＳＰ４、およびスピーカＳＰ５により囲まれる三角形の領域を領域ＴＲ２１とする。同様に、原点Ｏを中心とする球面上の領域のうち、スピーカＳＰ３、スピーカＳＰ４、およびスピーカＳＰ５により囲まれる三角形の領域を領域ＴＲ２２とし、スピーカＳＰ２、スピーカＳＰ３、およびスピーカＳＰ５により囲まれる三角形の領域を領域ＴＲ２３とする。
これらの領域ＴＲ２１乃至領域ＴＲ２３は、図２に示した領域ＴＲ１１に対応する領域である。いま、音像を定位させたい位置を示す３次元のベクトルをベクトルＰとすると、図３の例では、ベクトルＰは領域ＴＲ２１上の位置を示している。
そこで、この例ではスピーカＳＰ１、スピーカＳＰ４、およびスピーカＳＰ５の位置を示すベクトルＬ1、ベクトルＬ4、およびベクトルＬ5が用いられて式（２）を解く計算と同様の計算が行なわれ、スピーカＳＰ１、スピーカＳＰ４、およびスピーカＳＰ５の各スピーカから出力される音声のゲインが算出される。また、この場合、他のスピーカＳＰ２およびスピーカＳＰ３から出力される音声のゲインは０とされる。つまり、これらのスピーカＳＰ２およびスピーカＳＰ３からは、音声は出力されない。
このように空間上に５つのスピーカＳＰ１乃至スピーカＳＰ５を配置すれば、領域ＴＲ２１乃至領域ＴＲ２３からなる領域上の任意の位置に音像を定位させることが可能となる。
ところで、図４に示すように空間上に４つのスピーカＳＰ１乃至スピーカＳＰ４が配置されており、それらのスピーカＳＰ１乃至スピーカＳＰ４の中心位置にある仮想音源ＶＳＰ３の位置に音像を定位させるとする。
図４の例では、スピーカＳＰ１乃至スピーカＳＰ４は、図示せぬ原点Ｏを中心とする球の表面に配置されており、その表面上の領域であって、スピーカＳＰ１乃至スピーカＳＰ３により囲まれる三角形の領域が領域ＴＲ３１となっている。また、原点Ｏを中心とする球の表面上の領域であって、スピーカＳＰ２乃至スピーカＳＰ４により囲まれる三角形の領域が領域ＴＲ３２となっている。
そして、仮想音源ＶＳＰ３は、領域ＴＲ３１の右下側の辺上に位置している。また、仮想音源ＶＳＰ３は、領域ＴＲ３２の左上側の辺上にも位置している。
したがって、この場合、スピーカＳＰ１乃至スピーカＳＰ３について３次元VBAPを行なうか、またはスピーカＳＰ２乃至スピーカＳＰ４について３次元VBAPを行なえばよいことになる。何れの場合にしても３次元VBAPの計算結果は同じとなり、２つのスピーカＳＰ２およびスピーカＳＰ３のみから音声が出力され、残りのスピーカＳＰ１およびスピーカＳＰ４からは音声が出力されないようなゲインが求まる。
３次元VBAPでは、音像を定位させようとする位置が、３つのスピーカを結ぶ球面上の三角形の領域の境界線上、つまり球面上の三角形の辺上にある場合、その辺の両端に位置する２つのスピーカからのみ音声が出力されることになる。
このように２つのスピーカＳＰ２およびスピーカＳＰ３のみから音声が出力される場合に、例えば図５に示すように、最適な視聴位置であるスイートスポットにいるユーザＵ１１が、矢印Ａ１１に示すように図中、左側に移動したとする。
すると、ユーザＵ１１の頭部はスピーカＳＰ３に近付くため、このスピーカＳＰ３から出力されている音声がより大きく聴こえるようになるので、ユーザＵ１１には、矢印Ａ１２に示すように仮想音源ＶＳＰ３、つまり音像が図中、左下に移動したように知覚される。
３次元VBAPでは、図５に示すように２つのスピーカのみから音声が出力される場合には、ユーザＵ１１がスイートスポットから少し移動するだけで、ユーザＵ１１の移動方向に対して垂直な方向に音像が移動してしまう。そのような場合、ユーザＵ１１は自身の移動方向とは異なる方向に音像が移動したように知覚されるので違和感が生じてしまう。つまり、ユーザＵ１１にとって音像の定位が不安定であると知覚されてしまい、スイートスポットの範囲が狭くなってしまう。
そこで、本技術では、上述したVBAPとは異なり、３つより多い数のスピーカ、つまり４以上のスピーカから音声を出力させることにより、音像の定位をより安定させ、これによりスイートスポットの範囲がより広くなるようにする。
なお、音声を出力させるスピーカの数は４以上であればいくつでもよいが、以下では４つのスピーカから音声を出力させる場合を例として説明を続ける。
例えば図４に示した例と同様に、４つのスピーカＳＰ１乃至スピーカＳＰ４の中心位置にある仮想音源ＶＳＰ３の位置に音像を定位させるとする。
そのような場合、本技術では２つまたは３つのスピーカが選択されて１つの組み合わせとされ、互いに異なる複数の組み合わせについてVBAPが行なわれて、４つのスピーカＳＰ１乃至スピーカＳＰ４から出力される音声のゲインが算出される。
したがって、本技術では、例えば図６に示すように４つの全てのスピーカＳＰ１乃至スピーカＳＰ４から音声が出力されることになる。
そのような場合には図６中、矢印Ａ２１に示すようにユーザＵ１１がスイートスポットから図中、左方向に移動しても仮想音源ＶＳＰ３の位置、つまり音像の定位位置は矢印Ａ２２に示すように図中、左方向に移動するだけである。すなわち、図５に示した例のように、音像が下方向、つまりユーザＵ１１の移動方向と垂直な方向に移動することはなく、ユーザＵ１１の移動方向と同じ方向にのみ移動する。
これは、ユーザＵ１１が左方向に移動すると、スピーカＳＰ３に近付くことになるが、そのスピーカＳＰ３の上側にはスピーカＳＰ１も位置しているからである。この場合、ユーザＵ１１の耳には、ユーザＵ１１から見て左上側からも左下側からも音声が到達するので、音像が図中、下方向に移動したと知覚されにくくなる。
そのため、従来のVBAP手法と比較して、より音像の定位を安定させることができ、その結果、スイートスポットの範囲を拡大させることができる。
次に、本技術による音像定位の制御について、より具体的に説明する。
本技術では、音像を定位させようとする位置を示すベクトルを、３次元座標系の図示せぬ原点Ｏを始点とするベクトルＰとして、次式（３）によりベクトルＰを表現する。
Figure 0006515802
なお、式（３）において、ベクトルＬ1乃至ベクトルＬ4は、音像の定位位置近傍にあり、その音像定位位置を囲むように配置されたスピーカＳＰ１乃至スピーカＳＰ４の位置の方向を向く３次元のベクトルを示している。また、ｇ1乃至ｇ4は、これから求めようとする、スピーカＳＰ１乃至スピーカＳＰ４から出力させる各チャンネルの音声のゲインとなる係数を示している。
式（３）においては、ベクトルＰが４つのベクトルＬ1乃至ベクトルＬ4の線形和によって表されている。ここで、ベクトルＰは３次元ベクトルであるため、４つの係数ｇ1乃至係数ｇ4は一意に求まらない。
そこで、本技術では、以下の方法により、ゲインとなる各係数ｇ1乃至係数ｇ4が算出される。
いま、図４に示した４つのスピーカＳＰ１乃至スピーカＳＰ４に囲まれる球面上の四角形の中心位置、つまり仮想音源ＶＳＰ３の位置に音像を定位させるとする。
ここでは、まず、スピーカＳＰ１乃至スピーカＳＰ４を頂点とする球面上の四角形の任意の１つの辺を選択し、その辺上に仮想的なスピーカ（以下、仮想スピーカと称する）があるものと仮定する。
例えば、図７に示すように、スピーカＳＰ１乃至スピーカＳＰ４を頂点とする球面上の四角形のうち、図中、左下と右下に位置するスピーカＳＰ３とスピーカＳＰ４を結ぶ辺が選択されたとする。そして、例えば仮想音源ＶＳＰ３の位置から、スピーカＳＰ３とスピーカＳＰ４を結ぶ辺におろした垂線の交点位置に、仮想スピーカＶＳＰ’があるものとされる。
続いて、この仮想スピーカＶＳＰ’と、図中、左上および右上にあるスピーカＳＰ１およびスピーカＳＰ２との合計３つのスピーカについて、３次元VBAPが行なわれる。すなわち、上述した式（２）と同様の式を解くことにより、スピーカＳＰ１、スピーカＳＰ２、および仮想スピーカＶＳＰ’のそれぞれから出力される音声のゲインとなる係数ｇ1、係数ｇ2、および係数ｇ’が求められる。
図７では、原点Ｏを始点とする３つのベクトル、すなわちスピーカＳＰ１の方向を向くベクトルＬ1、スピーカＳＰ２の方向を向くベクトルＬ2、および仮想スピーカＶＳＰ’の方向を向くベクトルＬ’の線形和によりベクトルＰが表される。すなわち、Ｐ＝ｇ1Ｌ1＋ｇ2Ｌ2＋ｇ’Ｌ’とされる。
ここで、仮想音源ＶＳＰ３の位置に音像を定位させるためには、仮想スピーカＶＳＰ’からゲインｇ’で音声が出力されねばならないが、仮想スピーカＶＳＰ’は実在しない。そこで、本技術では、図８に示すように仮想スピーカＶＳＰ’が位置する四角形の辺の両端に位置する２つのスピーカＳＰ３およびスピーカＳＰ４を用いて、仮想スピーカＶＳＰ’の位置に音像を定位させることにより、仮想スピーカＶＳＰ’が実現される。
具体的には、仮想スピーカＶＳＰ’が位置する球面上の辺の、その両端に位置する２つのスピーカＳＰ３およびスピーカＳＰ４について、２次元VBAPが行なわれる。すなわち、上述した式（１）と同様の式を解くことにより、スピーカＳＰ３およびスピーカＳＰ４のそれぞれから出力される音声のゲインとなる係数ｇ3’および係数ｇ4’が算出される。
図８の例では、仮想スピーカＶＳＰ’の方向を向くベクトルＬ’が、スピーカＳＰ３の方向を向くベクトルＬ3、およびスピーカＳＰ４の方向を向くベクトルＬ4の線形和により表される。つまり、Ｌ’＝ｇ3’Ｌ3＋ｇ4’Ｌ4とされる。
そして、求められた係数ｇ3’に係数ｇ’を乗算して得られる値ｇ’ｇ3’が、スピーカＳＰ３から出力させる音声のゲインとされ、係数ｇ4’に係数ｇ’を乗算して得られる値ｇ’ｇ4’が、スピーカＳＰ４から出力させる音声のゲインとされる。これにより、スピーカＳＰ３とスピーカＳＰ４によって、ゲインｇ’で音声を出力する仮想スピーカＶＳＰ’が実現されることになる。
なお、ここで、ゲイン値とされるｇ’ｇ3’の値が、上述した式（３）における係数ｇ3の値となり、ゲイン値とされるｇ’ｇ4’の値が、上述した式（３）における係数ｇ4の値となる。
以上のようにして得られた０ではない値ｇ1、ｇ2、ｇ’ｇ3’、およびｇ’ｇ4’を、スピーカＳＰ１乃至スピーカＳＰ４から出力される各チャンネルの音声のゲインとすれば、４つのスピーカから音声を出力させて、目標とする位置に音像を定位させることができる。
このように４つのスピーカから音声を出力させて音像を定位させれば、従来のVBAP手法で音像を定位させるよりも、音像の定位をより安定させることができ、これによりスイートスポットの範囲を拡大させることができる。
〈音声処理装置の構成例〉
次に、以上において説明した本技術を適用した具体的な実施の形態について説明する。図９は、本技術を適用した音声処理装置の一実施の形態の構成例を示す図である。
音声処理装置１１は、外部から供給されたモノラルの音声信号に対してチャンネルごとのゲイン調整を行なうことで、Ｎチャンネル（但し、Ｎ≧５）の音声信号を生成し、Ｎ個の各チャンネルに対応するスピーカ１２−１乃至スピーカ１２−Ｎに音声信号を供給する。
スピーカ１２−１乃至スピーカ１２−Ｎは、音声処理装置１１から供給された音声信号に基づいて、各チャンネルの音声を出力する。すなわち、スピーカ１２−１乃至スピーカ１２−Ｎは、各チャンネルの音声を出力する音源となる音声出力部である。なお、以下、スピーカ１２−１乃至スピーカ１２−Ｎを特に区別する必要のない場合、単にスピーカ１２とも称することとする。なお、図９では、スピーカ１２が音声処理装置１１に含まれていない構成とされているが、スピーカ１２が音声処理装置１１に含まれるようにしてもよい。また、音声処理装置１１を構成する各部とスピーカ１２を、例えばいくつかの装置に分けて設ける等して、音声処理装置１１の各部とスピーカ１２からなる音声処理システムとするようにしてもよい。
スピーカ１２は、コンテンツ等を視聴するときにユーザが位置すると想定される位置（以下、単にユーザの位置とも称する）を囲むように配置されている。例えば、各スピーカ１２は、ユーザの位置を中心とする球の表面上の位置に配置されている。換言すれば、各スピーカ１２は、ユーザから等距離の位置に配置される。また、音声処理装置１１からスピーカ１２への音声信号の供給は有線により行なわれてもよいし、無線により行なわれてもよい。
音声処理装置１１は、スピーカ選択部２１、ゲイン算出部２２、ゲイン決定部２３、ゲイン出力部２４、およびゲイン調整部２５から構成される。
音声処理装置１１には、例えば移動物体などのオブジェクトに取り付けられたマイクロホンにより収音された音声の音声信号と、そのオブジェクトの位置情報とが供給される。
スピーカ選択部２１は、外部から供給されたオブジェクトの位置情報に基づいて、スピーカ１２が配置されている空間上において、オブジェクトから発せられる音声の音像を定位させるべき位置（以下、目標音像位置とも称する）を特定し、その特定結果をゲイン算出部２２に供給する。
また、スピーカ選択部２１は、目標音像位置に基づいて、Ｎ個のスピーカ１２のなかから、音声を出力させるべき４つのスピーカ１２を処理対象のスピーカ１２として選択し、その選択結果を示す選択情報をゲイン算出部２２、ゲイン決定部２３、およびゲイン出力部２４に供給する。
ゲイン算出部２２は、スピーカ選択部２１から供給された選択情報と、目標音像位置とに基づいて、処理対象のスピーカ１２のゲインを算出し、ゲイン出力部２４に供給する。ゲイン決定部２３は、スピーカ選択部２１から供給された選択情報に基づいて、処理対象とされていないスピーカ１２のゲインを決定し、ゲイン出力部２４に供給する。例えば、処理対象ではないスピーカ１２のゲインは「０」とされる。つまり、処理対象ではないスピーカ１２からはオブジェクトの音声が出力されないように制御される。
ゲイン出力部２４は、ゲイン算出部２２およびゲイン決定部２３から供給されたＮ個のゲインをゲイン調整部２５に供給する。このとき、ゲイン出力部２４は、スピーカ選択部２１から供給された選択情報に基づいて、ゲイン算出部２２およびゲイン決定部２３から供給されたＮ個の各ゲインのゲイン調整部２５内での供給先を定める。
ゲイン調整部２５は、ゲイン出力部２４から供給された各ゲインに基づいて、外部から供給されたオブジェクトの音声信号に対するゲイン調整を行なって、その結果得られたＮ個の各チャンネルの音声信号をスピーカ１２に供給して音声を出力させる。
ゲイン調整部２５は、増幅部３１−１乃至増幅部３１−Ｎを備えている。増幅部３１−１乃至増幅部３１−Ｎは、ゲイン出力部２４から供給されたゲインに基づいて、外部から供給された音声信号のゲイン調整を行い、その結果得られた音声信号をスピーカ１２−１乃至スピーカ１２−Ｎに供給する。
なお、以下、増幅部３１−１乃至増幅部３１−Ｎを個々に区別する必要がない場合、単に増幅部３１とも称する。
〈ゲイン算出部の構成例〉
また、図９に示したゲイン算出部２２は、例えば図１０に示すように構成される。
図１０に示すゲイン算出部２２は、仮想スピーカ位置決定部６１、３次元ゲイン算出部６２、２次元ゲイン算出部６３、乗算部６４、および乗算部６５から構成される。
仮想スピーカ位置決定部６１は、スピーカ選択部２１から供給された目標音像位置を示す情報および選択情報に基づいて仮想スピーカの位置を決定する。仮想スピーカ位置決定部６１は、目標音像位置を示す情報、選択情報、および仮想スピーカの位置を示す情報を３次元ゲイン算出部６２に供給するとともに、選択情報および仮想スピーカの位置を示す情報を２次元ゲイン算出部６３に供給する。
３次元ゲイン算出部６２は、仮想スピーカ位置決定部６１から供給された各情報に基づいて、処理対象のスピーカ１２のうちの２つのスピーカ１２と、仮想スピーカとについて、３次元VBAPを行なう。そして、３次元ゲイン算出部６２は、３次元VBAPにより得られた２つのスピーカ１２のゲインをゲイン出力部２４に供給するとともに、仮想スピーカのゲインを乗算部６４および乗算部６５に供給する。
２次元ゲイン算出部６３は、仮想スピーカ位置決定部６１から供給された各情報に基づいて、処理対象のスピーカ１２のうちの２つのスピーカ１２について２次元VBAPを行い、その結果得られたスピーカ１２のゲインを乗算部６４および乗算部６５に供給する。
乗算部６４は、２次元ゲイン算出部６３から供給されたゲインに、３次元ゲイン算出部６２から供給されたゲインを乗算して最終的なスピーカ１２のゲインとし、ゲイン出力部２４に供給する。乗算部６５は、２次元ゲイン算出部６３から供給されたゲインに、３次元ゲイン算出部６２から供給されたゲインを乗算して最終的なスピーカ１２のゲインとし、ゲイン出力部２４に供給する。
〈音像定位制御処理の説明〉
ところで、音声処理装置１１にオブジェクトの位置情報と音声信号が供給され、オブジェクトの音声の出力が指示されると、音声処理装置１１は音像定位制御処理を開始して、オブジェクトの音声を出力させ、その音像を適切な位置に定位させる。
以下、図１１のフローチャートを参照して、音声処理装置１１による音像定位制御処理について説明する。
ステップＳ１１において、スピーカ選択部２１は、外部から供給されたオブジェクトの位置情報に基づいて処理対象とするスピーカ１２を選択する。
具体的には、例えばスピーカ選択部２１は、オブジェクトの位置情報に基づいて目標音像位置を特定し、Ｎ個のスピーカ１２のうち、目標音像位置近傍にあり、かつ目標音像位置を囲むように配置されている４つのスピーカ１２を処理対象のスピーカ１２とする。
例えば、図７に示した仮想音源ＶＳＰ３の位置が目標音像位置とされた場合、仮想音源ＶＳＰ３を囲む４つのスピーカＳＰ１乃至スピーカＳＰ４に対応するスピーカ１２が処理対象のスピーカ１２として選択される。
スピーカ選択部２１は、目標音像位置を示す情報を仮想スピーカ位置決定部６１に供給するとともに、処理対象の４つのスピーカ１２を示す選択情報を仮想スピーカ位置決定部６１、ゲイン決定部２３、およびゲイン出力部２４に供給する。
ステップＳ１２において、仮想スピーカ位置決定部６１は、スピーカ選択部２１から供給された目標音像位置を示す情報および選択情報に基づいて仮想スピーカの位置を決定する。例えば、図７に示した例と同様に、処理対象のスピーカ１２のうちのユーザからみて左下および右下に位置するスピーカ１２を結ぶ球面上の辺と、目標音像位置からその辺におろした垂線との交点の位置が、仮想スピーカの位置とされる。
仮想スピーカの位置が決定されると、仮想スピーカ位置決定部６１は、目標音像位置を示す情報、選択情報、および仮想スピーカの位置を示す情報を３次元ゲイン算出部６２に供給するとともに、選択情報および仮想スピーカの位置を示す情報を２次元ゲイン算出部６３に供給する。
なお、仮想スピーカの位置は、処理対象とされた４つのスピーカ１２を各頂点とする、球面上の四角形の辺上の位置であれば、どの位置とされてもよい。また、処理対象とされるスピーカ１２が５以上である場合でも、それらのスピーカ１２を各頂点とする球面上の多角形の辺上の任意の位置を仮想スピーカの位置とすればよい。
ステップＳ１３において３次元ゲイン算出部６２は、仮想スピーカ位置決定部６１から供給された目標音像位置を示す情報、選択情報、および仮想スピーカの位置を示す情報に基づいて、仮想スピーカと、処理対象の２つのスピーカ１２とについてゲインを算出する。
具体的には３次元ゲイン算出部６２は、目標音像位置を示す３次元ベクトルをベクトルＰとするとともに、仮想スピーカを向く３次元ベクトルをベクトルＬ’とする。また、３次元ゲイン算出部６２は、処理対象となっているスピーカ１２のうち、図７に示したスピーカＳＰ１と同じ位置関係にあるスピーカ１２を向くベクトルをベクトルＬ1とし、スピーカＳＰ２と同じ位置関係にあるスピーカ１２を向くベクトルをベクトルＬ2とする。
そして、３次元ゲイン算出部６２は、ベクトルＰをベクトルＬ’、ベクトルＬ1、およびベクトルＬ2の線形和で表す式を求め、その式を解くことにより、ベクトルＬ’、ベクトルＬ1、およびベクトルＬ2の係数ｇ’、係数ｇ1、および係数ｇ2をゲインとして算出する。すなわち、上述した式（２）を解く演算と同様の演算が行なわれる。
３次元ゲイン算出部６２は、計算の結果得られたスピーカＳＰ１およびスピーカＳＰ２と同じ位置関係にあるスピーカ１２の係数ｇ1および係数ｇ2を、それらのスピーカ１２から出力する音声のゲインとしてゲイン出力部２４に供給する。
また、３次元ゲイン算出部６２は、計算の結果得られた仮想スピーカの係数ｇ’を、仮想スピーカから出力する音声のゲインとして乗算部６４および乗算部６５に供給する。
ステップＳ１４において、２次元ゲイン算出部６３は、仮想スピーカ位置決定部６１から供給された選択情報、および仮想スピーカの位置を示す情報に基づいて、処理対象の２つのスピーカ１２についてゲインを算出する。
具体的には２次元ゲイン算出部６３は、仮想スピーカの位置を示す３次元ベクトルをベクトルＬ’とする。また、２次元ゲイン算出部６３は、処理対象となっているスピーカ１２のうち、図８に示したスピーカＳＰ３と同じ位置関係にあるスピーカ１２を向くベクトルをベクトルＬ3とし、スピーカＳＰ４と同じ位置関係にあるスピーカ１２を向くベクトルをベクトルＬ4とする。
そして、２次元ゲイン算出部６３はベクトルＬ’を、ベクトルＬ3、およびベクトルＬ4の線形和で表す式を求め、その式を解くことにより、ベクトルＬ3およびベクトルＬ4の係数ｇ3’および係数ｇ4’をゲインとして算出する。すなわち、上述した式（１）を解く演算と同様の演算が行なわれる。
２次元ゲイン算出部６３は、計算の結果得られたスピーカＳＰ３およびスピーカＳＰ４と同じ位置関係にあるスピーカ１２の係数ｇ3’および係数ｇ4’を、それらのスピーカ１２から出力する音声のゲインとして乗算部６４および乗算部６５に供給する。
ステップＳ１５において、乗算部６４および乗算部６５は、２次元ゲイン算出部６３から供給されたゲインｇ3’およびゲインｇ4’に対して、３次元ゲイン算出部６２から供給された仮想スピーカのゲインｇ’を乗算し、ゲイン出力部２４に供給する。
したがって、処理対象となっている４つのスピーカ１２のうち、図８のスピーカＳＰ３と同じ位置関係にあるスピーカ１２の最終的なゲインとしてｇ3＝ｇ’ｇ3’がゲイン出力部２４に供給されることになる。同様に、処理対象となっている４つのスピーカ１２のうち、図８のスピーカＳＰ４と同じ位置関係にあるスピーカ１２の最終的なゲインとしてｇ4＝ｇ’ｇ4’がゲイン出力部２４に供給される。
ステップＳ１６において、ゲイン決定部２３は、スピーカ選択部２１から供給された選択情報に基づいて、処理対象とされていないスピーカ１２のゲインを決定し、ゲイン出力部２４に供給する。例えば、処理対象ではない全てのスピーカ１２のゲインは「０」とされる。
ゲイン出力部２４にゲイン算出部２２からのゲインｇ1、ゲインｇ2、ゲインｇ’ｇ3’、およびゲインｇ’ｇ4’と、ゲイン決定部２３からのゲイン「０」とが供給されると、ゲイン出力部２４は、スピーカ選択部２１からの選択情報に基づいて、それらのゲインをゲイン調整部２５の増幅部３１に供給する。
具体的には、ゲイン出力部２４は、処理対象の各スピーカ１２、つまり図７のスピーカＳＰ１乃至スピーカＳＰ４のそれぞれに対応するスピーカ１２に対して音声信号を供給する増幅部３１に、ゲインｇ1、ゲインｇ2、ゲインｇ’ｇ3’、およびゲインｇ’ｇ4’を供給する。例えば、スピーカＳＰ１に対応するスピーカ１２がスピーカ１２−１である場合、ゲイン出力部２４は、ゲインｇ1を増幅部３１−１に供給する。
また、ゲイン出力部２４は、処理対象ではないスピーカ１２に音声信号を供給する増幅部３１に対して、ゲイン決定部２３から供給されたゲイン「０」を供給する。
ステップＳ１７において、ゲイン調整部２５の増幅部３１は、ゲイン出力部２４から供給されたゲインに基づいて、外部から供給されたオブジェクトの音声信号のゲイン調整を行い、その結果得られた音声信号をスピーカ１２に供給し、音声を出力させる。
各スピーカ１２は、増幅部３１から供給された音声信号に基づいて音声を出力する。より詳細には、処理対象とされた４つのスピーカ１２のみから音声が出力される。これにより、目標とする位置に音像を定位させることができる。スピーカ１２から音声が出力されると、音像定位制御処理は終了する。
以上のようにして、音声処理装置１１は、オブジェクトの位置情報から処理対象とする４つのスピーカ１２を選択し、それらのスピーカ１２と仮想スピーカのうちの２つまたは３つのスピーカの組み合わせについてVBAPを行なう。そして、音声処理装置１１は、複数の異なる組み合わせについてVBAPを行なうことで得られた、処理対象の各スピーカ１２のゲインに基づいて音声信号のゲイン調整を行なう。
これにより、目標とする音像位置の周囲に位置する４つのスピーカ１２から音声が出力されるようになり、音像の定位をより安定させることができるようになる。その結果、スイートスポットの範囲をより拡大させることができる。
〈第２の実施の形態〉
〈ゲインの算出について〉
なお、以上においては、仮想スピーカを含む５つのスピーカのうちの２または３のスピーカを選択して１つのスピーカの組み合わせとし、複数の組み合わせについてVBAPを行なうことで、処理対象のスピーカ１２のゲインを算出する例について説明した。しかし、本技術では、仮想スピーカを定めずに、処理対象の４つのスピーカ１２から複数の組み合わせを選択し、それらの組み合わせごとにVBAPを行なうことでもゲインを算出することが可能である。
そのような場合、例えば図１２に示すように、目標音像位置によってVBAPを行なうべき回数が変化する。なお、図１２において図７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
例えば、仮想音源の位置、つまり目標音像位置が矢印Ｑ１１に示す位置にある場合、矢印Ｑ１１に示す位置は、球面上のスピーカＳＰ１、スピーカＳＰ２、およびスピーカＳＰ４により囲まれる三角形の領域内にある。そのため、スピーカＳＰ１、スピーカＳＰ２、およびスピーカＳＰ４からなるスピーカの組（以下、第１組とも称する）について、３次元VBAPを行なえば、スピーカＳＰ１、スピーカＳＰ２、およびスピーカＳＰ４の３つのスピーカから出力される音声のゲインが求まる。
一方で、矢印Ｑ１１に示す位置は、球面上のスピーカＳＰ２、スピーカＳＰ３、およびスピーカＳＰ４により囲まれる三角形の領域内の位置でもある。そのため、スピーカＳＰ２、スピーカＳＰ３、およびスピーカＳＰ４からなるスピーカの組（以下、第２組とも称する）について、３次元VBAPを行なえば、スピーカＳＰ２、スピーカＳＰ３、およびスピーカＳＰ４の３つのスピーカから出力される音声のゲインが求まる。
ここで、第１組と第２組において、それぞれ用いられなかったスピーカのゲインを「０」とすれば、この例では、第１組と第２組とで、４つのスピーカＳＰ１乃至スピーカＳＰ４の各ゲインとして、合計２通りのゲインが得られる。
そこで、各スピーカについて、第１組と第２組で得られたスピーカのゲインの和がゲイン和として求められる。例えば、第１組について得られたスピーカＳＰ１のゲインがｇ1（１）であり、第２組について得られたスピーカＳＰ１のゲインがｇ1（２）であれば、スピーカＳＰ１のゲイン和ｇs1は、ゲイン和ｇs1＝ｇ1（１）＋ｇ1（２）となる。
ここで、第２組の組み合わせにはスピーカＳＰ１が含まれていないのでｇ1（２）は０となるが、第１組のスピーカの組み合わせにはスピーカＳＰ１が含まれているのでｇ1（１）は０ではない値となり、結局、スピーカＳＰ１のゲイン和ｇs1は０にはならない。このことは、他のスピーカＳＰ２乃至スピーカＳＰ４のゲイン和についても同様である。
このようにして各スピーカのゲイン和が求まると、それらのゲイン和の二乗和で、各スピーカのゲイン和を正規化して得られた値を、それらのスピーカの最終的なゲイン、より詳細にはスピーカから出力される音声のゲインとすればよい。
このようにして各スピーカＳＰ１乃至スピーカＳＰ４のゲインを求めれば、必ず０ではないゲインが得られるので、４つのスピーカＳＰ１乃至スピーカＳＰ４のそれぞれから音声を出力させて、所望の位置に音像を定位させることができる。
なお、以下、第ｍ組（但し、１≦ｍ≦４）について得られた、スピーカＳＰｋ（但し、１≦ｋ≦４）のゲインをｇk（ｍ）と表すこととする。また、スピーカＳＰｋ（但し、１≦ｋ≦４）のゲイン和をｇskと表すこととする。
さらに、矢印Ｑ１２に示す位置、つまり球面上において、スピーカＳＰ２およびスピーカＳＰ３を結ぶ線と、スピーカＳＰ１およびスピーカＳＰ４を結ぶ線との交点位置に目標音像位置がある場合、３つのスピーカの組み合わせは４通りとなる。
すなわち、スピーカＳＰ１、スピーカＳＰ２、およびスピーカＳＰ３の組み合わせ（以下、第１組と称する）と、スピーカＳＰ１、スピーカＳＰ２、およびスピーカＳＰ４の組み合わせ（以下、第２組と称する）とが考えられる。また、その他に、スピーカＳＰ１、スピーカＳＰ３、およびスピーカＳＰ４の組み合わせ（以下、第３組と称する）と、スピーカＳＰ２、スピーカＳＰ３、およびスピーカＳＰ４の組み合わせ（以下、第４組と称する）とが考えられる。
この場合には、第１組から第４組までの各組み合わせについて、それぞれ３次元VBAPを行なって、各スピーカのゲインを求めればよい。そして、同じスピーカについて求まった４つのゲインの和をゲイン和とし、スピーカごとに求めた４つのゲイン和の二乗和で、各スピーカのゲイン和を正規化して得られる値を、それらのスピーカの最終的なゲインとすればよい。
なお、目標音像位置が矢印Ｑ１２に示す位置にある場合、スピーカＳＰ１乃至スピーカＳＰ４からなる球面上の四角形が長方形等である場合には、例えば第１組と第４組とで、３次元VBAPとして同じ計算結果が得られる。そのため、このような場合には、第１組と第２組など、適切な２通りの組み合わせについて３次元VBAPを行なえば、各スピーカのゲインを得ることができる。しかし、スピーカＳＰ１乃至スピーカＳＰ４からなる球面上の四角形が長方形等ではない、非対称な四角形である場合には、４つの各組み合わせについて３次元VBAPを行なう必要がある。
〈ゲイン算出部の構成例〉
以上において説明したように、仮想スピーカを定めずに、処理対象の４つのスピーカ１２から複数の組み合わせを選択し、それらの組み合わせごとにVBAPを行なってゲインを算出する場合、図９に示したゲイン算出部２２は、例えば図１３に示すように構成される。
図１３に示すゲイン算出部２２は、選択部９１、３次元ゲイン算出部９２−１、３次元ゲイン算出部９２−２、３次元ゲイン算出部９２−３、３次元ゲイン算出部９２−４、および加算部９３から構成される。
選択部９１は、スピーカ選択部２１から供給された目標音像位置を示す情報および選択情報に基づいて、処理対象とされた４つのスピーカ１２のなかから、目標音像位置を囲む３つのスピーカ１２の組み合わせを決定する。選択部９１は、スピーカ１２の組み合わせを示す情報と、目標音像位置を示す情報とを３次元ゲイン算出部９２−１乃至３次元ゲイン算出部９２−４に供給する。
３次元ゲイン算出部９２−１乃至３次元ゲイン算出部９２−４は、選択部９１から供給されたスピーカ１２の組み合わせを示す情報と、目標音像位置を示す情報とに基づいて３次元VBAPを行い、その結果得られた各スピーカ１２のゲインを加算部９３に供給する。なお、以下、３次元ゲイン算出部９２−１乃至３次元ゲイン算出部９２−４を特に区別する必要のない場合、単に３次元ゲイン算出部９２とも称する。
加算部９３は、３次元ゲイン算出部９２−１乃至３次元ゲイン算出部９２−４から供給された処理対象の各スピーカ１２のゲインに基づいてゲイン和を求め、さらにそれらのゲイン和を正規化することで処理対象の各スピーカ１２の最終的なゲインを算出し、ゲイン出力部２４に供給する。
〈音像定位制御処理の説明〉
次に、図１４のフローチャートを参照して、ゲイン算出部２２が図１３に示す構成とされる場合に行なわれる音像定位制御処理について説明する。
なお、ステップＳ４１の処理は、図１１のステップＳ１１の処理と同様であるので、その説明は省略する。
ステップＳ４２において、選択部９１は、スピーカ選択部２１から供給された目標音像位置を示す情報および選択情報に基づいてスピーカ１２の組み合わせを決定し、スピーカ１２の組み合わせを示す情報と目標音像位置を示す情報を３次元ゲイン算出部９２に供給する。
例えば目標音像位置が、図１２に示した矢印Ｑ１１に示す位置にある場合、スピーカＳＰ１、スピーカＳＰ２、およびスピーカＳＰ４に対応する３つのスピーカ１２からなるスピーカ１２の組み合わせ（第１組）が決定される。また、スピーカＳＰ２、スピーカＳＰ３、およびスピーカＳＰ４に対応する３つのスピーカ１２からなるスピーカ１２の組み合わせ（第２組）が決定される。
この場合、例えば選択部９１は、第１組のスピーカ１２の組み合わせを示す情報と、目標音像位置を示す情報とを３次元ゲイン算出部９２−１に供給し、第２組のスピーカ１２の組み合わせを示す情報と、目標音像位置を示す情報とを３次元ゲイン算出部９２−２に供給する。また、この場合には、３次元ゲイン算出部９２−３と３次元ゲイン算出部９２−４には、スピーカ１２の組み合わせを示す情報等は供給されず、３次元ゲイン算出部９２−３と３次元ゲイン算出部９２−４では、３次元VBAPの計算も行なわれない。
ステップＳ４３において、３次元ゲイン算出部９２は、選択部９１から供給されたスピーカ１２の組み合わせを示す情報と、目標音像位置を示す情報とに基づいて、スピーカ１２の組み合わせについて処理対象の各スピーカ１２のゲインを算出し、加算部９３に供給する。
具体的には、３次元ゲイン算出部９２は、スピーカ１２の組み合わせを示す情報により示される３つのスピーカ１２について、上述した図１１のステップＳ１３と同様の処理を行なって、各スピーカ１２のゲインを求める。すなわち、上述した式（２）を解く演算と同様の演算が行なわれる。また、処理対象の４つのスピーカ１２のうち、スピーカ１２の組み合わせを示す情報により示される３つのスピーカ１２ではない、残りの１つのスピーカ１２のゲインは「０」とされる。
例えば、ステップＳ４２において第１組と第２組との２通りの組み合わせが求められた場合、３次元ゲイン算出部９２−１では第１組について３次元VBAPにより各スピーカ１２のゲインが算出される。また、３次元ゲイン算出部９２−２では第２組について３次元VBAPにより各スピーカ１２のゲインが算出される。
具体的には、第１組として図１２に示したスピーカＳＰ１、スピーカＳＰ２、およびスピーカＳＰ４に対応する３つのスピーカ１２からなるスピーカ１２の組み合わせが決定されたとする。この場合、３次元ゲイン算出部９２−１では、スピーカＳＰ１に対応するスピーカ１２のゲインｇ1（１）、スピーカＳＰ２に対応するスピーカ１２のゲインｇ2（１）、およびスピーカＳＰ４に対応するスピーカ１２のゲインｇ4（１）が算出される。また、スピーカＳＰ３に対応するスピーカ１２のゲインｇ3（１）は「０」とされる。
ステップＳ４４において、加算部９３は、３次元ゲイン算出部９２から供給された各スピーカ１２のゲインに基づいて、処理対象のスピーカ１２の最終的なゲインを算出し、ゲイン出力部２４に供給する。
例えば、加算部９３は、３次元ゲイン算出部９２から供給されたスピーカＳＰ１に対応するスピーカ１２のゲインｇ1（１）、ゲインｇ1（２）、ゲインｇ1（３）、およびゲインｇ1（４）の和を求めることで、そのスピーカ１２のゲイン和ｇs1を算出する。同様にして、加算部９３は、スピーカＳＰ２に対応するスピーカ１２のゲイン和ｇs2、スピーカＳＰ３に対応するスピーカ１２のゲイン和ｇs3、およびスピーカＳＰ４に対応するスピーカ１２のゲイン和ｇs4も算出する。
そして、加算部９３は、スピーカＳＰ１に対応するスピーカ１２のゲイン和ｇs1を、ゲイン和ｇs1乃至ゲイン和ｇs4の二乗和で正規化することにより、スピーカＳＰ１に対応するスピーカ１２の最終的なゲインｇ1（係数ｇ1）を求める。また加算部９３は、同様の計算によりスピーカＳＰ２乃至スピーカＳＰ４に対応するスピーカ１２の最終的なゲインｇ2乃至ゲインｇ4も求める。
こうのようにして処理対象のスピーカ１２のゲインが求められると、その後、ステップＳ４５およびステップＳ４６の処理が行なわれて、音像定位制御処理は終了するが、これらの処理は図１１のステップＳ１６およびステップＳ１７の処理と同様であるので、その説明は省略する。
以上のようにして、音声処理装置１１は、オブジェクトの位置情報から処理対象とする４つのスピーカ１２を選択し、それらのスピーカ１２のうちの３つのスピーカ１２からなるスピーカ１２の組み合わせについてVBAPを行なう。そして、音声処理装置１１は、複数の異なる組み合わせについてVBAPを行なうことで得られた同じスピーカ１２のゲインの和を求めることで、処理対象の各スピーカ１２の最終的なゲインを求め、音声信号のゲイン調整を行なう。
これにより、目標とする音像位置の周囲に位置する４つのスピーカ１２から音声が出力されるようになり、音像の定位をより安定させることができるようになる。その結果、スイートスポットの範囲をより拡大させることができる。
なお、この実施の形態では、目標音像位置を囲む４つのスピーカ１２が処理対象のスピーカ１２とされる例について説明したが、処理対象とされるスピーカ１２の数は４以上であればよい。
例えば、５つのスピーカ１２が処理対象のスピーカ１２として選択される場合には、それらの５つのスピーカ１２のうち、目標音像位置を囲む任意の３つのスピーカ１２からなるスピーカ１２の組が、１つの組み合わせとして選択される。
具体的には、図１５に示すように５つのスピーカＳＰ１乃至スピーカＳＰ５に対応するスピーカ１２が処理対象のスピーカ１２として選択され、目標音像位置が矢印Ｑ２１に示す位置とされたとする。
この場合、第１組として、スピーカＳＰ１、スピーカＳＰ２、およびスピーカＳＰ３からなる組み合わせが選択され、第２組として、スピーカＳＰ１、スピーカＳＰ２、およびスピーカＳＰ４からなる組み合わせが選択される。また、第３組として、スピーカＳＰ１、スピーカＳＰ２、およびスピーカＳＰ５からなる組み合わせが選択される。
そして、これらの第１組乃至第３組について、各スピーカのゲインが求められ、各スピーカのゲイン和から、最終的なゲインが算出される。つまり、第１組乃至第３組について、図１４のステップＳ４３の処理が行なわれ、その後、ステップＳ４４乃至ステップＳ４６の処理が行なわれる。
このように、５以上のスピーカ１２を処理対象のスピーカ１２として選択する場合においても、処理対象とする全てのスピーカ１２から音声を出力させて音像を定位させることができる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、ＣＰＵ８０１，ＲＯＭ８０２，ＲＡＭ８０３は、バス８０４により相互に接続されている。
バス８０４には、さらに、入出力インターフェース８０５が接続されている。入出力インターフェース８０５には、入力部８０６、出力部８０７、記録部８０８、通信部８０９、及びドライブ８１０が接続されている。
入力部８０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部８０７は、ディスプレイ、スピーカなどよりなる。記録部８０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部８０９は、ネットワークインターフェースなどよりなる。ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア８１１を駆動する。
以上のように構成されるコンピュータでは、ＣＰＵ８０１が、例えば、記録部８０８に記録されているプログラムを、入出力インターフェース８０５及びバス８０４を介して、ＲＡＭ８０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（ＣＰＵ８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア８１１をドライブ８１０に装着することにより、入出力インターフェース８０５を介して、記録部８０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８０９で受信し、記録部８０８にインストールすることができる。その他、プログラムは、ＲＯＭ８０２や記録部８０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、本技術は、以下の構成とすることも可能である。
［１］
目標とする音像定位位置近傍に位置する４以上の音声出力部のうちの２または３の前記音声出力部の組み合わせについて、互いに異なる複数の前記組み合わせごとに、前記音声出力部の位置関係に基づいて前記音声出力部から出力させる音声のゲインを算出することで、前記音像定位位置に音像を定位させるための、前記４以上の前記音声出力部から出力させる音声の出力ゲインを求めるゲイン算出部と、
前記出力ゲインに基づいて、前記音声出力部から出力させる音声のゲイン調整を行なうゲイン調整部と
を備える音声処理装置。
［２］
少なくとも４以上の前記出力ゲインの値が０でない値とされる
［１］に記載の音声処理装置。
［３］
前記ゲイン算出部は、
仮想的な音声出力部および２つの前記音声出力部と、前記音像定位位置との位置関係に基づいて、前記仮想的な音声出力部および前記２つの前記音声出力部の前記出力ゲインを算出する第１のゲイン算出部と、
前記２つの前記音声出力部とは異なる他の２つの前記音声出力部と、前記仮想的な音声出力部との位置関係に基づいて、前記仮想的な音声出力部の位置に音像を定位させるための前記他の２つの前記音声出力部のゲインを算出する第２のゲイン算出部と、
前記他の２つの前記音声出力部のゲインと、前記仮想的な音声出力部の前記出力ゲインとに基づいて、前記他の２つの前記音声出力部の前記出力ゲインを算出する演算部と
を備える
［１］または［２］に記載の音声処理装置。
［４］
前記演算部は、前記他の２つの前記音声出力部のゲインに前記仮想的な音声出力部の前記出力ゲインを乗算することにより、前記他の２つの前記音声出力部の前記出力ゲインを算出する
［３］に記載の音声処理装置。
［５］
前記仮想的な音声出力部の位置は、前記４以上の前記音声出力部を頂点とする多角形の辺上に位置するように定められる
［３］または［４］に記載の音声処理装置。
［６］
前記ゲイン算出部は、
３つの前記音声出力部と、前記音像定位位置との位置関係に基づいて、前記３つの前記音声出力部の前記出力ゲインを算出する仮ゲイン算出部と、
互いに異なる前記組み合わせについて前記出力ゲインを算出する複数の前記仮ゲイン算出部により算出された前記出力ゲインに基づいて、前記音声出力部の最終的な前記出力ゲインを算出する演算部と
を備える
［１］または［２］に記載の音声処理装置。
［７］
前記演算部は、同じ前記音声出力部について求められた前記出力ゲインの和を求めることで、前記音声出力部の最終的な前記出力ゲインを算出する
［６］に記載の音声処理装置。
１１ 音声処理装置， １２−１乃至１２−Ｎ，１２ スピーカ， ２１ スピーカ選択部， ２２ ゲイン算出部， ２５ ゲイン調整部， ６１ 仮想スピーカ位置決定部， ６２ ３次元ゲイン算出部， ６３ ２次元ゲイン算出部， ６４ 乗算部， ６５ 乗算部， ９１ 選択部， ９２−１乃至９２−４，９２ ３次元ゲイン算出部， ９３ 加算部

Claims (3)

  1. 目標とする音像定位位置近傍に位置する４個のスピーカについて、前記４個の前記スピーカのうちの少なくとも２個の前記スピーカと仮想的なスピーカとの位置関係に基づいて前記仮想的なスピーカから出力させる音声のゲインを算出することで、前記音像定位位置に音像を定位させるための、前記４個の前記スピーカから出力させる音声の出力ゲインを求めるゲイン算出部と、
    前記出力ゲインに基づいて、前記４個の前記スピーカから出力させる音声のゲイン調整を行なうゲイン調整部と
    を備える音声処理装置。
  2. 目標とする音像定位位置近傍に位置する４個のスピーカについて、前記４個の前記スピーカのうちの少なくとも２個の前記スピーカと仮想的なスピーカとの位置関係に基づいて前記仮想的なスピーカから出力させる音声のゲインを算出することで、前記音像定位位置に音像を定位させるための、前記４個の前記スピーカから出力させる音声の出力ゲインを求め、
    前記出力ゲインに基づいて、前記４個の前記スピーカから出力させる音声のゲイン調整を行なう
    ステップを含む音声処理方法。
  3. 目標とする音像定位位置近傍に位置する４個のスピーカについて、前記４個の前記スピーカのうちの少なくとも２個の前記スピーカと仮想的なスピーカとの位置関係に基づいて前記仮想的なスピーカから出力させる音声のゲインを算出することで、前記音像定位位置に音像を定位させるための、前記４個の前記スピーカから出力させる音声の出力ゲインを求め、
    前記出力ゲインに基づいて、前記４個の前記スピーカから出力させる音声のゲイン調整を行なう
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2015513675A 2013-04-26 2014-04-11 音声処理装置および方法、並びにプログラム Active JP6515802B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013094268 2013-04-26
JP2013094268 2013-04-26
PCT/JP2014/060459 WO2014175075A1 (ja) 2013-04-26 2014-04-11 音声処理装置および方法、並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019026451A Division JP6669289B2 (ja) 2013-04-26 2019-02-18 音声処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2014175075A1 JPWO2014175075A1 (ja) 2017-02-23
JP6515802B2 true JP6515802B2 (ja) 2019-05-22

Family

ID=51791655

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2015513675A Active JP6515802B2 (ja) 2013-04-26 2014-04-11 音声処理装置および方法、並びにプログラム
JP2019026451A Active JP6669289B2 (ja) 2013-04-26 2019-02-18 音声処理装置および方法、並びにプログラム
JP2020031626A Active JP6908146B2 (ja) 2013-04-26 2020-02-27 音声処理装置および方法、並びにプログラム
JP2021109908A Pending JP2021158699A (ja) 2013-04-26 2021-07-01 音声処理装置および方法、並びにプログラム
JP2022126036A Active JP7464085B2 (ja) 2013-04-26 2022-08-08 音声処理装置および方法、並びにプログラム
JP2024044571A Pending JP2024075689A (ja) 2013-04-26 2024-03-21 音響処理装置および方法、並びにプログラム

Family Applications After (5)

Application Number Title Priority Date Filing Date
JP2019026451A Active JP6669289B2 (ja) 2013-04-26 2019-02-18 音声処理装置および方法、並びにプログラム
JP2020031626A Active JP6908146B2 (ja) 2013-04-26 2020-02-27 音声処理装置および方法、並びにプログラム
JP2021109908A Pending JP2021158699A (ja) 2013-04-26 2021-07-01 音声処理装置および方法、並びにプログラム
JP2022126036A Active JP7464085B2 (ja) 2013-04-26 2022-08-08 音声処理装置および方法、並びにプログラム
JP2024044571A Pending JP2024075689A (ja) 2013-04-26 2024-03-21 音響処理装置および方法、並びにプログラム

Country Status (9)

Country Link
US (3) US9681249B2 (ja)
EP (3) EP2991384B1 (ja)
JP (6) JP6515802B2 (ja)
KR (5) KR102319766B1 (ja)
CN (2) CN108430031B (ja)
BR (1) BR112015026504B1 (ja)
RU (2) RU2769677C2 (ja)
TW (1) TWI692254B (ja)
WO (1) WO2014175075A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014175076A1 (ja) 2013-04-26 2014-10-30 ソニー株式会社 音声処理装置および音声処理システム
EP2991384B1 (en) * 2013-04-26 2021-06-02 Sony Corporation Audio processing device, method, and program
CN105379311B (zh) 2013-07-24 2018-01-16 索尼公司 信息处理设备以及信息处理方法
RU2019138260A (ru) * 2015-06-24 2019-12-05 Сони Корпорейшн Устройство, способ и программа аудиообработки
US10547962B2 (en) * 2015-12-21 2020-01-28 Sharp Kabushiki Kaisha Speaker arranged position presenting apparatus
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
KR101993585B1 (ko) * 2017-09-06 2019-06-28 주식회사 에스큐그리고 실시간 음원 분리 장치 및 음향기기
US10609485B2 (en) * 2017-09-29 2020-03-31 Apple Inc. System and method for performing panning for an arbitrary loudspeaker setup

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9307934D0 (en) * 1993-04-16 1993-06-02 Solid State Logic Ltd Mixing audio signals
US7231054B1 (en) * 1999-09-24 2007-06-12 Creative Technology Ltd Method and apparatus for three-dimensional audio display
KR100663729B1 (ko) * 2004-07-09 2007-01-02 한국전자통신연구원 가상 음원 위치 정보를 이용한 멀티채널 오디오 신호부호화 및 복호화 방법 및 장치
KR100608002B1 (ko) * 2004-08-26 2006-08-02 삼성전자주식회사 가상 음향 재생 방법 및 그 장치
WO2007028094A1 (en) * 2005-09-02 2007-03-08 Harman International Industries, Incorporated Self-calibrating loudspeaker
JP5010185B2 (ja) 2006-06-08 2012-08-29 日本放送協会 ３次元音響パンニング装置
JP4928177B2 (ja) * 2006-07-05 2012-05-09 日本放送協会 音像形成装置
CN101681625B (zh) * 2007-06-08 2012-11-07 杜比实验室特许公司 用于从两个输入的音频信号获得两个环绕声音频通道的方法和设备
JP4530007B2 (ja) 2007-08-02 2010-08-25 ヤマハ株式会社 音場制御装置
JP5050721B2 (ja) 2007-08-06 2012-10-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
GB2467247B (en) * 2007-10-04 2012-02-29 Creative Tech Ltd Phase-amplitude 3-D stereo encoder and decoder
JP4780119B2 (ja) 2008-02-15 2011-09-28 ソニー株式会社 頭部伝達関数測定方法、頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP2009206691A (ja) 2008-02-27 2009-09-10 Sony Corp 頭部伝達関数畳み込み方法および頭部伝達関数畳み込み装置
JP5401864B2 (ja) * 2008-08-01 2014-01-29 ヤマハ株式会社 音響装置及びプログラム
JP4735993B2 (ja) 2008-08-26 2011-07-27 ソニー株式会社 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法
KR101542233B1 (ko) * 2008-11-04 2015-08-05 삼성전자 주식회사 화면음원 정위장치, 화면음원 정위를 위한 스피커 셋 정보 생성방법 및 정위된 화면음원 재생방법
KR101038574B1 (ko) * 2009-01-16 2011-06-02 전자부품연구원 3차원 오디오 음상 정위 방법과 장치 및 이와 같은 방법을 구현하는 프로그램이 기록되는 기록매체
JP5540581B2 (ja) 2009-06-23 2014-07-02 ソニー株式会社 音声信号処理装置および音声信号処理方法
WO2011054876A1 (en) * 2009-11-04 2011-05-12 Fraunhofer-Gesellschaft Zur Förderungder Angewandten Forschung E.V. Apparatus and method for calculating driving coefficients for loudspeakers of a loudspeaker arrangement for an audio signal associated with a virtual source
KR101268779B1 (ko) * 2009-12-09 2013-05-29 한국전자통신연구원 라우드 스피커 어레이를 사용한 음장 재생 장치 및 방법
US8718290B2 (en) 2010-01-26 2014-05-06 Audience, Inc. Adaptive noise reduction using level cues
JP5361766B2 (ja) * 2010-02-26 2013-12-04 日本電信電話株式会社 音信号擬似定位システム、方法及びプログラム
DE102010003225A1 (de) * 2010-03-24 2011-09-29 Sennheiser Electronic Gmbh & Co. Kg In-Ear-Monitor-System und Verfahren zum Steuern eines In-Ear-Monitor-Systems
WO2011117399A1 (en) 2010-03-26 2011-09-29 Thomson Licensing Method and device for decoding an audio soundfield representation for audio playback
JP5533248B2 (ja) 2010-05-20 2014-06-25 ソニー株式会社 音声信号処理装置および音声信号処理方法
JP2012004668A (ja) 2010-06-14 2012-01-05 Sony Corp 頭部伝達関数生成装置、頭部伝達関数生成方法及び音声信号処理装置
KR20120004909A (ko) * 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
EP2503800B1 (en) * 2011-03-24 2018-09-19 Harman Becker Automotive Systems GmbH Spatially constant surround sound
EP3913931B1 (en) 2011-07-01 2022-09-21 Dolby Laboratories Licensing Corp. Apparatus for rendering audio, method and storage means therefor.
JP5845760B2 (ja) 2011-09-15 2016-01-20 ソニー株式会社 音声処理装置および方法、並びにプログラム
CN102711032B (zh) * 2012-05-30 2015-06-03 蒋憧 一种声音处理再现装置
WO2013181272A2 (en) 2012-05-31 2013-12-05 Dts Llc Object-based audio system using vector base amplitude panning
CN102984642A (zh) * 2012-12-18 2013-03-20 武汉大学 一种五个扬声器的三维平移方法
US9913064B2 (en) 2013-02-07 2018-03-06 Qualcomm Incorporated Mapping virtual speakers to physical speakers
WO2014175076A1 (ja) 2013-04-26 2014-10-30 ソニー株式会社 音声処理装置および音声処理システム
EP2991384B1 (en) * 2013-04-26 2021-06-02 Sony Corporation Audio processing device, method, and program
CN105379311B (zh) 2013-07-24 2018-01-16 索尼公司 信息处理设备以及信息处理方法

Also Published As

Publication number Publication date
BR112015026504A2 (pt) 2017-07-25
BR112015026504B1 (pt) 2021-12-21
EP2991384A4 (en) 2016-12-14
EP3860155B1 (en) 2024-02-07
EP4329338A2 (en) 2024-02-28
JP2024075689A (ja) 2024-06-04
EP3860155A1 (en) 2021-08-04
KR20220070342A (ko) 2022-05-30
JP2020099093A (ja) 2020-06-25
TW201507493A (zh) 2015-02-16
JP6669289B2 (ja) 2020-03-18
KR20230163585A (ko) 2023-11-30
EP2991384B1 (en) 2021-06-02
CN105144753B (zh) 2018-04-06
RU2018131347A3 (ja) 2021-10-19
US10225677B2 (en) 2019-03-05
KR20160003658A (ko) 2016-01-11
RU2667377C2 (ru) 2018-09-19
JP2022160599A (ja) 2022-10-19
EP4329338A3 (en) 2024-05-22
KR20200111832A (ko) 2020-09-29
WO2014175075A1 (ja) 2014-10-30
EP2991384A1 (en) 2016-03-02
US20160073213A1 (en) 2016-03-10
KR102160519B1 (ko) 2020-09-28
CN105144753A (zh) 2015-12-09
RU2015144910A3 (ja) 2018-03-30
US10587976B2 (en) 2020-03-10
RU2018131347A (ru) 2019-03-20
RU2015144910A (ru) 2017-04-26
US9681249B2 (en) 2017-06-13
KR102319766B1 (ko) 2021-11-01
KR20210134068A (ko) 2021-11-08
JP6908146B2 (ja) 2021-07-21
TWI692254B (zh) 2020-04-21
RU2769677C2 (ru) 2022-04-04
JP2021158699A (ja) 2021-10-07
KR102401350B1 (ko) 2022-05-24
JP7464085B2 (ja) 2024-04-09
CN108430031B (zh) 2021-02-26
JPWO2014175075A1 (ja) 2017-02-23
KR102606599B1 (ko) 2023-11-29
US20190149935A1 (en) 2019-05-16
US20170245086A1 (en) 2017-08-24
CN108430031A (zh) 2018-08-21
JP2019092207A (ja) 2019-06-13

Similar Documents

Publication Publication Date Title
JP7060048B2 (ja) 音声処理装置および情報処理方法、並びにプログラム
JP6515802B2 (ja) 音声処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170406

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180704

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190218

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190401

R151 Written notification of patent or utility model registration

Ref document number: 6515802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151