JP5131596B2 - 信号分離再生装置および信号分離再生方法 - Google Patents

信号分離再生装置および信号分離再生方法 Download PDF

Info

Publication number
JP5131596B2
JP5131596B2 JP2008549282A JP2008549282A JP5131596B2 JP 5131596 B2 JP5131596 B2 JP 5131596B2 JP 2008549282 A JP2008549282 A JP 2008549282A JP 2008549282 A JP2008549282 A JP 2008549282A JP 5131596 B2 JP5131596 B2 JP 5131596B2
Authority
JP
Japan
Prior art keywords
signal
matrix
separation
filter
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008549282A
Other languages
English (en)
Other versions
JPWO2008072566A1 (ja
Inventor
俊之 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008549282A priority Critical patent/JP5131596B2/ja
Publication of JPWO2008072566A1 publication Critical patent/JPWO2008072566A1/ja
Application granted granted Critical
Publication of JP5131596B2 publication Critical patent/JP5131596B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/02—Systems employing more than two channels, e.g. quadraphonic of the matrix type, i.e. in which input signals are combined algebraically, e.g. after having been phase shifted with respect to each other
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本発明は、音響信号を分離及び再生する技術に関し、特に、混在する複数の音響を分離し再生する技術に関する。
図４に、音響信号を取り扱う一般的な信号分離再生装置の一例を示す。図示の構成は、入力信号のチャネル数が２つの場合の構成である。信号分離生成装置１０００は、図４に示すように、２つの入力端子１及び入力端子２と、分離フィルタ分析部３と、分離再生フィルタ算出部４と、分離再生フィルタ部５と、分離再生フィルタ部６と、４つの出力端子７、出力端子８、出力端子９及び出力端子１０とを有する。
信号分離再生装置１０００は次のように動作する。入力端子１及び入力端子２にはチャネル別入力信号Xj(t)が供給される。jはチャネル番号（j=1,2）であり、tは時間サンプル番号を表す。両チャネル別入力信号は、分離フィルタ分析部３に供給される。
分離フィルタ分析部３は、チャネル別入力信号において畳み込み混合されている複数の音響・音声信号を分離する。具体的には、チャネル別入力信号を各々周波数変換することにより、周波数系列Xj(k,n)を算出する。ここで、kは周波数成分番号（k=0,1,…,N/2-1）であり、Nは周波数変換のブロック長であり、nはフレーム番号（n=0,1,…）である。分離フィルタ分析部３は、さらに、周波数成分毎に瞬時混合と捉えて独立成分分析（以後、「周波数領域独立成分分析」と称す。）により分離フィルタ周波数特性行列W(k)を算出する。
分離フィルタ周波数特性行列W(k)は、次の式（１）に示すような、行列の要素をWij(k)とした２行２列の行列である。iは分離信号番号（i=1,2）であり、jはチャネル番号である。
Figure 0005131596
周波数領域独立成分分析は、線形結合された信号を、信号相互間の統計的独立性に基づいて分離する技術であり、例えば、後述の非特許文献１などに記載されている。この周波数領域独立成分分析には、各周波数成分における行列要素Wij(k)の分離信号番号i=1,2の順序が不確定になるという問題と、各周波数成分における行列要素Wij(k)の大きさが不確定になるという問題が発生することが知られている。前者の順序に関する不確定性を取り除く手法としては、周波数方向の連続性を利用する手法や、到来方向を利用する手法などがある。
一方、後者の行列要素の大きさの問題に関しては、分離フィルタ周波数特性行例W(k)と、この行列を周波数別に逆行列にした再生フィルタ周波数特性行例W-1(k)との合成により分離再生フィルタ周波数特性行列Mi(k)を生成した場合、その行列要素には大きさの不確定性が生じないことが知られている。分離再生フィルタ周波数特性行列Mi(k)は、次式（２）により表される。
Mi(k)= W-1(k)・Pi(k)・W(k)、i=1,2 （２）
ここで、Pi(k)は、i行i列の要素のみが「１」であり、その他の要素は「０」である次式（３）のような行列である。
Figure 0005131596
また、分離フィルタ周波数特性行例W(k)に対し、その行列要素の大きさの不確定さを表す係数a(k),b(k)を加味した行列W´(k)を次式（４）のように表す。
Figure 0005131596
上記の行列W´(k)を用いた分離再生フィルタ周波数特性行列M´i（k）は、次式（５）のように表すことができる。
Figure 0005131596
したがって、分離再生フィルタ周波数特性行列には、行列要素の大きさに関する不確定性がないことが確認できる。
分離再生フィルタ算出部４は、上記手法により大きさの不確定性を排除するための演算を行う。すなわち、分離フィルタ周波数特性行例W(k)を周波数別に逆行列に変換した再生フィルタ周波数特性行列W-1(k)を算出し、この行列W-1(k)及び元の行列W(k)の合成により得られる前述の分離再生フィルタ周波数特性行列Mi(k)を算出する。さらに、分離再生フィルタ周波数特性行列Mi(k)を行列要素Mlj(i)(k)（i=1,2、l=1,2、j=1,2）別に逆周波数変換することにより、８種類の分離再生フィルタ係数Mlj(i)(s)（s=0,1,…,N-1）を算出する。ここで、lは分離信号のチャネル番号（l=1,2）を表す。
分離再生フィルタ部５は、チャネル別入力信号xj(t)（j=1,2）を４種類の分離再生フィルタ係数Mlj(1)(s)（l=1,2、j=1,2）を用いてフィルタリングし、次式（６）により、チャネル別合成信号zl(1)(t)を算出する。「*」は畳み込み演算を表す。
Zl(1)(t)=ml1(1)(s)*x1(t)+ml2(1)(s)*x2(t)、l=1,2 （６）
他方の分離再生フィルタ部６は、分離再生フィルタ部５と同様にして、チャネル別入力信号xj(t)（j=1,2）を４種類の分離再生フィルタ係数Mlj(2)(s)（l=1,2、j=1,2）を用いてフィルタリングすることにより、チャネル別合成信号zl(2)(t)を次式（７）のように算出する。
Zl(2)(t)=ml1(2)(s)*x1(t)+ml2(2)(s)*x2(t)、l=1,2 （７）
上記処理の結果、出力端子７はチャネル別合成信号z1(1)(t)を出力し、出力端子８はチャネル別合成信号z2(1)(t)を出力し、出力端子９はチャネル別合成信号z1(2)(t)を出力し、出力端子１０はチャネル別合成信号z2(2)(t)を出力する。
丁数学、大塚将史、芦沢正樹、新妻照夫、須貝和義、「時間−周波数領域のICAを用いる実環境における音響信号のブラインド分離処理」、電子情報通信学会技術報告SP2001-1、２００１年４月、pp.1-8
しかしながら、一般的な信号分離再生装置では、分離フィルタ及び再生フィルタの各々には不確定性が残存したままであるため、これらのフィルタを個別に算出することができない。その理由は、分離フィルタ周波数特性行例W(k)の行列要素の大きさは周波数成分別に不確定であるが、この不確定性を解消するために、分離フィルタ周波数特性行列W(k)とその逆行列W-1(k)との合成により得られる分離再生フィルタ周波数特性行列Mi(k)のみを逆周波数変換することで、分離再生フィルタ係数Mlj(i)(s)を算出しているからである。
このように分離フィルタ及び再生フィルタを個別に算出することができない場合、仮に、いずれか一方のフィルタの特性を変更しようとしても、変更は困難である。特に、最終的に得られるチャネル別合成信号の音源定位を調節するには、再生フィルタの特性を調整することが有益であるが、一般的な装置では、上記と同様な理由により、再生フィルタのみの特性を知ることは困難である。よって、外部制御により再生フィルタを制御することも困難である。
本発明の目的は、信号分離再生装置において分離フィルタと再生フィルタとを個別に算出する技術を提供することにある。
本発明に係る信号分離再生装置は、複数チャネルの入力信号から分離フィルタの周波数特性を表す第１の行列を算出する分離フィルタ分析部と、前記分離フィルタを制約するための制約係数を算出し該制約係数と前記第１の行列とにより第２の行列を算出し且つ該第２の行列から分離フィルタ係数を算出するフィルタ係数制約部と、前記複数チャネルの入力信号に対する前記分離フィルタ係数を用いたフィルタリングにより分離信号を算出する分離フィルタ部と、前記第２の行列を周波数別に逆行列に変換して第３の行列を算出し該第３の行列から再生フィルタ係数を算出する再生フィルタ算出部と、前記分離信号に対する前記再生フィルタ係数を用いたフィルタリングにより前記複数チャネルのそれぞれに対応する合成信号を算出する再生フィルタ部とを備え、前記フィルタ係数制約部は、前記再生フィルタ係数が分離信号を音源定位するフィルタの係数となるように前記制約係数を算出する。
本発明によれば、分離フィルタと再生フィルタとを個別に算出することができる。これにより、音源定位特性を有する再生フィルタと、それ以外の特性を有する分離フィルタとを個別に取り扱うことができる。
本発明の第１の実施形態の構成を示すブロック図である。 本発明の第２の実施形態の構成を示すブロック図である。 本発明の第３の実施形態の構成を示すブロック図である。 一般的な信号分離再生装置の構成を示すブロック図である。
符号の説明
１、２、１０３、１２１、１２２ 入力端子
３ 分離フィルタ分析部
４ 分離再生フィルタ算出部
５、６ 分離再生フィルタ部
７、８、９、１０、１１２、１１３ 出力端子
１０１ フィルタ係数制約部
１０２ 再生フィルタ算出部
１０４ 分離フィルタ部
１０５、１０６ 再生フィルタ部
１１０ 再生フィルタ特徴量抽出部
１１１ 圧縮処理部
１２０ 再生フィルタ作成部
１２３ 復号処理部
１０００、１００１ 信号分離再生装置
１００２ 信号分離再生システム
１００２Ａ 信号分離圧縮装置
１００２Ｂ 信号復号再生装置
図１に、本発明の第１の実施形態の信号分離再生装置１００１の構成を示す。図示の構成は、入力信号のチャネル数が、図４に示す一般的な装置構成と同様に２つとした構成である。また、本実施形態の構成のうち、２つの入力端子１及び入力端子２と、分離フィルタ周波数特性行例W(k)を算出する分離フィルタ分析部３と、４つの出力端子７、出力端子８、出力端子９及び出力端子１０とは、図４に示す構成と同様なものであり、説明を省略する。なお、分離フィルタ周波数特性行例W(k)は、本発明における第１の行列に対応するものである。
フィルタ係数制約部１０１は、分離フィルタ分析部３で算出した分離フィルタ周波数特性行例W(k)を用いて制約付分離フィルタ周波数特性行列Ws(k)を算出する。制約付分離フィルタ周波数特性行列Ws(k)は、本発明における第２の行列に対応するものである。また、フィルタ係数制約部１０１は、この制約付分離フィルタ周波数特性行列Ws(k)を用いて、制約付分離フィルタ係数wsij(s)を算出する。前者の制約付分離フィルタ周波数特性行列Ws(k)は、分離フィルタ周波数特性行例W(k)の大きさに関する不確定性を排除するために、次式（８）により算出される。
Figure 0005131596
ここで、Ci(k)（i=1,2）は制約係数である。本実施形態の制約係数Ci(k)は、後述の分離フィルタ部１０４からの制約付分離信号ysi(t)（i=1,2）がチャネル別合成信号の和信号となるように算出される。
制約係数Ci(k)の算出について説明する。いま、分離フィルタ周波数特性行列W(k)により分離した分離信号の周波数特性をYi(k)、制約付分離フィルタ周波数特性行列Ws(k)により分離した制約付分離信号の周波数特性をYsi(k)、チャネル別合成信号の周波数特性をzli(k)とする。入力された音響信号を分離・再生するとき、分離フィルタ周波数特性行例W(k)および制約付分離フィルタ周波数特性行列Ws(k)のどちらを用いても、最終的に得られるチャネル別合成信号は同一となる。なぜなら、分離再生フィルタには大きさの不確定性が生じないからである。上記のことから、次式（９）及び（１０）が成り立つ。
Figure 0005131596
また、制約付分離信号ysi(t)がチャネル別合成信号の和信号と同じになる条件は、次式（１１）により表すことができる。
Ysi(k)=Z1i(k)+Z2i(k) （１１）
したがって、制約係数Ci(k)を、上記の式（１１）を満たすよう算出すればよい。すなわち、次式（１２）及び（１３）により制約係数Ci(k)を算出する。
Figure 0005131596
フィルタ係数制約部１０１は、上記式（８）により算出した制約付分離フィルタ周波数特性行列Ws(k)を、その行列要素Wsij(k)（i=1,2、j=1,2）毎に逆周波数変換する。これにより、４種類の制約付分離フィルタ係数wsij(s)（s=0,1,2,…,N-1）を算出する。
再生フィルタ算出部１０２は、フィルタ係数制約部１０１が算出した制約付分離フィルタ周波数特性行列Ws(k)を用いて修正再生フィルタ係数a´li(s)（s=0,1,2,…,N-1）を算出する。そのために、まず、制約付分離フィルタ周波数特性行列Ws(k)を周波数別に逆行列に変換することにより、制約付再生フィルタ周波数特性行列Ws-1(k)を算出する。この行列Ws-1(k)は、本発明における第３の行列に対応するものである。制約付再生フィルタ周波数特性行列Ws-1(k)を用いると、チャネル別合成信号は、次式（１４）により表される。
Figure 0005131596
上記式（１４）に、制約付分離信号ysi(t)がチャネル別合成信号の和信号と同等であることを表す前述の式（１１）を加味すると、次式（１５）及び（１６）の関係が得られる。
Figure 0005131596
修正再生フィルタ係数a´li(s)が表すフィルタ特性は、チャネル別合成信号の和信号を各チャネル別合成信号に再変換する特性、すなわち制約付分離信号ysi(t)を音源定位する特性であるといえる。これは、前段のフィルタ係数制約部１０１において、制約付分離信号ysi(t)がチャネル別合成信号の和信号と等価となるように、制約係数Ci(k)を算出していることに基づく。
次に、制約付再生フィルタ周波数特性行列Ws-1(k)の行列要素をAli(k)（l=1,2、i=1,2）とすると、それらの関係は次式（１７）により表される。
A1i(k)+ A2i(k)=1 （１７）
ここで、チャネル別合成信号のチャネル間の振幅差CLD及び位相差CPDを考える。チャネル間の振幅差CLD及び位相差CPDは、分離信号がどちらの方向から聞こえるかという音源定位を感じる上で重要な要素であることが知られている。チャネル別合成信号のチャネル間の振幅差CLD及び位相差CPDは、次式（１８）及び（１９）により表される。
CLDi(k)=|A2i(k)|/|A1i(k)| （１８）
CPDi(k)=∠A2i(k)-∠A1i(k) （１９）
「|A|」は複素数Aの振幅であり、「∠A」は複素数Aの位相である。
再生フィルタ算出部１０２は、出力端子１０３を介して供給される外部制御信号に応じて、制約付再生フィルタ周波数特性行列Ws-1(k)を修正することにより修正再生フィルタ周波数特性行列A´(k)を算出する。その行列要素をA´li(k)（l=1,2、i=1,2）とする。外部制御信号としては、例えば、修正後の合成信号の音源定位位置、あるいは、上記CLD及びCPDを用いることができる。
修正方法の一例として、CLDのみが外部制御信号として供給された場合の処理を説明する。外部制御により供給されるCLDをβi(k)として、まず、制約付再生フィルタ周波数特性行列Ws-1(k)のエネルギを次式（２０）により算出する。
Figure 0005131596
次に、エネルギが大きなチャネル番号を分離信号毎に選択する。ここで、選択結果が、例えばl=1である場合、このl=1に関する修正再生フィルタ周波数特性行列A´(k)の行列要素A´1i(k)を次式（２１）及び（２２）を満たすように算出する。
Figure 0005131596
また、算出した行列要素A´1i(k)と、前述の式（１７）に基づく次式（２３）の関係とから、他方のl=2に関するA´2i(k)を算出する。
A´1i(k)+ A´2i(k)=1 （２３）
再生フィルタ算出部１０２は、上記の結果から得られる修正再生フィルタ周波数特性行列A´(k)を行列要素A´li(k)（l=1,2、i=1,2）毎に逆周波数変換することにより、４種類の修正再生フィルタ係数a´li(s)（s=0,1,2,…,N-1）を算出する。
分離フィルタ部１０４は、フィルタ係数制約部１０１が算出した前述の４種類の制約付分離フィルタ係数wsij(s)（i=1,2、j=1,2）を用いてチャネル別入力信号xj(t)（j=1,2）をフィルタリングし、次式（２４）により制約付分離信号ysi(t)を算出する。
ysi(t)=wsi1(s)*x1(t)+wsi2(s)*x2(t)、i=1,2 （２４）
再生フィルタ部１０５は、制約付分離信号ys1(t)を２種類の修正再生フィルタ係数a´l1(s)（l=1,2）を用いてフィルタリングし、次式（２５）によりチャネル別合成信号zl(1)(t)を算出する。
zl(1)(t)=a´l1(s)*x1(t)、l=1,2 （２５）
再生フィルタ部１０６は、制約付分離信号ys2(t)を２種類の修正再生フィルタ係数a´l2(s)（l=1,2）を用いてフィルタリングし、次式（２６）によりチャネル別合成信号zl(2)(t)を算出する。
zl(2)(t)=a´l2(s)*x2(t)、l=1,2 （２６）
以上の処理の結果、出力端子７はチャネル別合成信号z1(1)(t)を出力し、出力端子８はチャネル別合成信号z2(1)(t)を出力し、出力端子９はチャネル別合成信号z1(2)(t)を出力し、出力端子１０はチャネル別合成信号z2(2)(t)を出力する。
本実施形態によれば、フィルタ係数制約部１０１において、制約付分離信号ysi(t)がチャネル別合成信号の和信号となるように分離フィルタ係数wsij(s)を算出するよう構成したことから、分離フィルタと再生フィルタとを個別に算出することができる。さらに、修正再生フィルタ係数a´li(s)が表すフィルタ特性が、チャネル別合成信号の和信号をチャネル別合成信号に再変換する特性、すなわち、音源定位特性となるため、再生フィルタ算出部１０２が、外部制御信号に応じて合成信号の音源定位を制御することが可能となる。
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。本実施形態は、入力された音響信号の分離及び圧縮を担う信号分離圧縮装置である。図２に、その信号分離圧縮装置１００２Ａの構成を示す。図示の構成において、２つの入力端子１及び入力端子２と分離フィルタ分析部３とは、図４に示す信号分離再生装置１０００と同様なものである。また、フィルタ係数制約部１０１及び分離フィルタ部１０４は図１に示す前述の信号分離再生装置１００１と同様なものである。
再生フィルタ特徴量抽出部１１０は、フィルタ係数制約部１０１において算出した制約付分離フィルタ周波数特性行列Ws(k)を周波数別に逆行列にした制約付再生フィルタ周波数特性行列Ws-1(k)を算出する。さらに、制約付再生フィルタ周波数特性行列Ws-1(k)の行列要素Ali(k)（l=1,2、i=1,2）をサブバンド毎に量子化及び符号化し、フィルタ特徴量として出力端子１１２に出力する。サブバンドの分け方は、バークスケールなどの不当分割などを用いても良いし、制約付再生フィルタ周波数特性行列に基づいて分割しても良い。
圧縮処理部１１０は、分離フィルタ部１０４で算出された制約付分離信号ysi(t)（i=1,2）を圧縮処理し、信号圧縮データとして出力端子１１３に出力する。なお、圧縮処理方法としては、例えば、音楽等のオーディオ信号を高能率に符号化する一方法として知られる変換符号化方法を用いて、複数の制約付分離信号ysi(t)を個別に圧縮処理しても良い。
なお、本実施形態のフィルタ係数制約部１０１は、前述の第１の実施形態のものと同様に、制約付分離信号ysi(t)がチャネル別合成信号の和信号と等価となるように、分離フィルタ係数wsij(s)を算出する。したがって、本実施形態によれば、音響の入力信号の分離及び再生を個別に行うことができる。また、本実施形態の信号分離圧縮装置１００２Ａは、分離により得られた分離信号ysi(t)を圧縮して出力することから、例えば、分離信号をフィルタ特徴量の情報と共に他の装置へ伝送することも可能となる。
次に、本発明の第３の実施形態について図面を参照して詳細に説明する。本実施形態は、上記の信号分離圧縮装置１００２Ａと、この信号分離圧縮装置１００２Ａに接続され再生処理を担う信号復号再生装置１００２Ｂとを備える信号分離再生システム１００２である。図３に、そのシステム１００２の構成を示す。
図示の信号復号再生装置１００２Ｂの構成において、４つの出力端子７、出力端子８、出力端子９及び出力端子１０は、図４に示す信号分離再生装置１０００と同様なものである。また、出力端子１０３と、再生フィルタ部１０５及び再生フィルタ部１０６とは、図１に示す前述の信号分離再生装置１００１と同様なものである。
再生フィルタ作成部１２０は、信号分離圧縮装置１００２Ａから入力端子１２１を介して供給されたフィルタ特徴量から、制約付再生フィルタ周波数特性行列Ws-1(k)を算出する。そして、前述の再生フィルタ算出部１０２（図１）と同様にして、出力端子１０３からの外部制御信号に応じて制約付再生フィルタ周波数特性行列Ws-1(k)を修正し、これにより修正再生フィルタ周波数特性行列A´(k)を算出する。さらに、算出した修正再生フィルタ係数特性A´(k)の行列要素毎に逆周波数変換することにより、４種類の修正再生フィルタ係数a´li(s)を算出する。
復号処理部１２３は、信号分離圧縮装置１００２Ａから入力端子１２２を介して供給された信号圧縮データに復号処理を施すことにより、制約付分離信号ysi(t)を生成する。なお、この復号処理は、前述の圧縮処理部１０４（図２）とは逆の処理であり、例えば、音楽等のオーディオ信号を高能率に符号化する一方法として知られる変換符号化方法の復号方法を用いても良い。
本実施形態によれば、前述の第１の実施形態と同様に、修正再生フィルタ係数a´li(s)が表すフィルタ特性が音源定位特性となるため、再生フィルタ算出部１０２が、外部制御信号に応じて合成信号の音源定位を制御することが可能となる。
なお、上記各実施形態では、修正再生フィルタ係数a´li(s)の全チャネルを加算して得られるフィルタ特性が全帯域通過特性となるように、すなわち分離信号ysi(t)に含まれる全ての合成信号が再生フィルタ部（１０５、１０６）から出力されるように、制約係数Ci(k)を算出したが、これに替えて、分離信号に含まれる合成信号を部分的に出力するよう制約係数Ci(k)を算出してもよい。
本発明は、複数の音響・音声信号が混在した複数の信号から、混在する前の信号を分離し再生する種々の用途に適用することができる。また、本発明は、コンピュータプログラムにより実現することもできる。

Claims (18)

  1. 複数チャネルの入力信号から分離フィルタの周波数特性を表す第１の行列を算出する分離フィルタ分析部と、
    前記分離フィルタを制約するための制約係数を算出し該制約係数と前記第１の行列とにより第２の行列を算出し且つ該第２の行列から分離フィルタ係数を算出するフィルタ係数制約部と、
    前記複数チャネルの入力信号に対する前記分離フィルタ係数を用いたフィルタリングにより分離信号を算出する分離フィルタ部と、
    前記第２の行列を周波数別に逆行列に変換して第３の行列を算出し該第３の行列から再生フィルタ係数を算出する再生フィルタ算出部と、
    前記分離信号に対する前記再生フィルタ係数を用いたフィルタリングにより前記複数チャネルのそれぞれに対応する合成信号を算出する再生フィルタ部とを備え、
    前記フィルタ係数制約部は、前記再生フィルタ係数が分離信号を音源定位するフィルタの係数となるように前記制約係数を算出することを特徴とする信号分離再生装置。
  2. 前記再生フィルタ算出部は、分離信号の音源定位特性を制御するための制御信号に応じて前記第３の行列を修正することを特徴とする請求項１記載の信号分離再生装置。
  3. 前記再生フィルタ算出部は、前記制御信号が合成信号のチャネル間の振幅差を示す信号であるとき、前記第３の行列から各チャネルの信号エネルギを算出し、算出した信号エネルギのチャネル間の差異と前記振幅差とに基づき前記第３の行列を修正することを特徴とする請求項２記載の信号分離再生装置。
  4. 前記フィルタ係数制約部は、前記再生フィルタ係数を前記複数チャネルに対して全て加算したフィルタ係数が全帯域透過特性を有するように前記制約係数を算出することを特徴とする請求項１乃至３のいずれか１項に記載の信号分離再生装置。
  5. コンピュータを請求項１乃至４のいずれか１項に記載の信号分離再生装置として機能させることを特徴とするプログラム。
  6. 複数チャネルの入力信号から分離フィルタの周波数特性を表す第１の行列を算出する分離フィルタ分析部と、
    前記分離フィルタを制約するための制約係数を算出し該制約係数と前記第１の行列とにより第２の行列を算出し且つ該第２の行列から分離フィルタ係数を算出するフィルタ係数制約部と、
    前記複数チャネルの入力信号に対する前記分離フィルタ係数を用いたフィルタリングにより分離信号を算出する分離フィルタ部と、
    前記分離信号を圧縮処理する圧縮処理部と、
    前記第２の行列を周波数別に逆行列に変換して第３の行列を算出し該第３の行列の特徴量を抽出する特徴量抽出部とを備え、
    前記フィルタ係数制約部は、前記第３の行例が分離信号を音源定位するフィルタ特性となるように前記制約係数を算出することを特徴とする信号分離圧縮装置。
  7. コンピュータを請求項６記載の信号分離圧縮装置として機能させることを特徴とするプログラム。
  8. 分離フィルタの周波数特性を表す第１の行列と前記分離フィルタを制約するための制約係数との演算結果である第２の行列を周波数別に逆行列に変換して得られる第３の行列の特徴量が入力されたとき該特徴量から前記第３の行列を算出し且つ該第３の行列から再生フィルタ係数を算出する再生フィルタ作成部と、
    前記第２の行列から算出された分離フィルタ係数を用いた複数チャネルの入力信号に対するフィルタリング結果である分離信号が圧縮されて入力されたとき該分離信号を復号する復号処理部と、
    復号された分離信号に対する前記再生フィルタ係数を用いたフィルタリングにより前記複数チャネルのそれぞれに対応する合成信号を算出する再生フィルタ部とを備え、
    前記再生フィルタ作成部は、分離信号の音源定位特性を制御するための制御信号に応じて前記第３の行列を修正することを特徴とする信号復号再生装置。
  9. 前記再生フィルタ作成部は、前記制御信号が合成信号のチャネル間の振幅差を示す信号であるとき、前記第３の行列から各チャネルの信号エネルギを算出し、算出した信号エネルギのチャネル間の差異と前記振幅差とに基づき前記第３の行列を修正することを特徴とする請求項８記載の信号復号再生装置。
  10. コンピュータを請求項８又は９記載の信号復号再生装置として機能させることを特徴とするプログラム。
  11. 請求項６記載の信号分離圧縮装置と、請求項８又は９記載の信号復号再生装置とを備えることを特徴とする信号分離再生システム。
  12. 複数チャネルの入力信号から分離フィルタの周波数特性を表す第１の行列を算出し、前記分離フィルタを制約するための制約係数を算出し該制約係数と前記第１の行列とにより第２の行列を算出し且つ該第２の行列から分離フィルタ係数を算出し、前記複数チャネルの入力信号に対する前記分離フィルタ係数を用いたフィルタリングにより分離信号を算出し、前記第２の行列を周波数別に逆行列に変換して第３の行列を算出し該第３の行列から再生フィルタ係数を算出し、前記分離信号に対する前記再生フィルタ係数を用いたフィルタリングにより前記複数チャネルのそれぞれに対応する合成信号を算出し、
    前記制約係数を算出するとき、前記再生フィルタ係数が分離信号を音源定位するフィルタの係数となるように算出することを特徴とする信号分離再生方法。
  13. さらに、分離信号の音源定位特性を制御するための制御信号に応じて前記第３の行列を修正することを特徴とする請求項１２記載の信号分離再生方法。
  14. 前記制御信号が合成信号のチャネル間の振幅差を示す信号であるとき、前記第３の行列から各チャネルの信号エネルギを算出し、算出した信号エネルギのチャネル間の差異と前記振幅差とに基づき前記第３の行列を修正することを特徴とする請求項１３記載の信号分離再生方法。
  15. 前記制約係数を算出するとき、さらに、前記再生フィルタ係数を前記複数チャネルに対して全て加算したフィルタ係数が全帯域透過特性を有するように算出することを特徴とする請求項１２乃至１４のいずれか１項に記載の信号分離再生方法。
  16. 複数チャネルの入力信号から分離フィルタの周波数特性を表す第１の行列を算出し、前記分離フィルタを制約するための制約係数を算出し該制約係数と前記第１の行列とにより第２の行列を算出し且つ該第２の行列から分離フィルタ係数を算出し、前記複数チャネルの入力信号に対する前記分離フィルタ係数を用いたフィルタリングにより分離信号を算出し、前記分離信号を圧縮処理し、前記第２の行列を周波数別に逆行列に変換して第３の行列を算出し該第３の行列の特徴量を抽出し、
    前記制約係数を算出するとき、前記第３の行列が分離信号を音源定位するフィルタの係数となるように算出することを特徴とする信号分離圧縮方法。
  17. 分離フィルタの周波数特性を表す第１の行列と前記分離フィルタを制約するための制約係数との演算結果である第２の行列を周波数別に逆行列に変換して得られる第３の行列の特徴量が入力されたとき該特徴量から前記第３の行列を算出し且つ該第３の行列から再生フィルタ係数を算出し、前記第２の行列から算出された分離フィルタ係数を用いた複数チャネルの入力信号に対するフィルタリング結果である分離信号が圧縮されて入力されたとき該分離信号を復号し、復号された分離信号に対する前記再生フィルタ係数を用いたフィルタリングにより前記複数チャネルのそれぞれに対応する合成信号を算出し、
    分離信号の音源定位特性を制御するための制御信号に応じて前記復号された第３の行列を修正することを特徴とする信号復号再生方法。
  18. 前記制御信号が合成信号のチャネル間の振幅差を示す信号であるとき、前記第３の行列から各チャネルの信号エネルギを算出し、算出した信号エネルギのチャネル間の差異と前記振幅差とに基づき前記第３の行列を修正することを特徴とする請求項１７記載の信号復号再生方法。
JP2008549282A 2006-12-12 2007-12-07 信号分離再生装置および信号分離再生方法 Active JP5131596B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008549282A JP5131596B2 (ja) 2006-12-12 2007-12-07 信号分離再生装置および信号分離再生方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006334440 2006-12-12
JP2006334440 2006-12-12
JP2008549282A JP5131596B2 (ja) 2006-12-12 2007-12-07 信号分離再生装置および信号分離再生方法
PCT/JP2007/073677 WO2008072566A1 (ja) 2006-12-12 2007-12-07 信号分離再生装置および信号分離再生方法

Publications (2)

Publication Number Publication Date
JPWO2008072566A1 JPWO2008072566A1 (ja) 2010-03-25
JP5131596B2 true JP5131596B2 (ja) 2013-01-30

Family

ID=39511586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008549282A Active JP5131596B2 (ja) 2006-12-12 2007-12-07 信号分離再生装置および信号分離再生方法

Country Status (3)

Country Link
US (1) US8345884B2 (ja)
JP (1) JP5131596B2 (ja)
WO (1) WO2008072566A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5552764B2 (ja) * 2009-07-14 2014-07-16 ヤマハ株式会社 信号処理装置、およびプログラム
CN102809742B (zh) 2011-06-01 2015-03-18 杜比实验室特许公司 声源定位设备和方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110794A (ja) * 1994-10-11 1996-04-30 Sharp Corp 信号分離方法
JPH11109014A (ja) * 1997-10-06 1999-04-23 Hidefumi Obata 音分離装置
JP2000181499A (ja) * 1998-12-10 2000-06-30 Nippon Hoso Kyokai <Nhk> 音源信号分離回路およびそれを用いたマイクロホン装置
JP2002149190A (ja) * 2000-11-01 2002-05-24 Internatl Business Mach Corp <Ibm> 観測データから原信号を復元する信号分離方法、信号処理装置、モバイル端末装置、および記憶媒体
JP2003333682A (ja) * 2002-05-15 2003-11-21 Nippon Telegr & Teleph Corp <Ntt> 信号抽出方法および装置、信号抽出プログラムおよびこのプログラムを記録した記録媒体
JP2004523752A (ja) * 2001-01-30 2004-08-05 トムソン　ライセンシング　ソシエテ　アノニム 幾何学的音源分離による信号処理装置、システムおよび方法
WO2005024788A1 (ja) * 2003-09-02 2005-03-17 Nippon Telegraph And Telephone Corporation 信号分離方法、信号分離装置、信号分離プログラム及び記録媒体
JP2005091560A (ja) * 2003-09-16 2005-04-07 Nissan Motor Co Ltd 信号分離方法および信号分離装置
JP2006084928A (ja) * 2004-09-17 2006-03-30 Nissan Motor Co Ltd 音声入力装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630500B1 (en) * 1994-04-15 2009-12-08 Bose Corporation Spatial disassembly processor
US7430257B1 (en) * 1998-02-12 2008-09-30 Lot 41 Acquisition Foundation, Llc Multicarrier sub-layer for direct sequence channel and multiple-access coding
JP2000022658A (ja) * 1998-06-26 2000-01-21 Hitachi Denshi Ltd 複数搬送波変調方式
EP1314247B1 (en) * 2000-08-21 2007-01-17 Koninklijke Philips Electronics N.V. Partitioned block frequency domain adaptive filter
US7200561B2 (en) * 2001-08-23 2007-04-03 Nippon Telegraph And Telephone Corporation Digital signal coding and decoding methods and apparatuses and programs therefor
JP3949074B2 (ja) 2003-03-31 2007-07-25 日本電信電話株式会社 目的信号抽出方法及びその装置、目的信号抽出プログラム及びその記録媒体
JP2005266797A (ja) 2004-02-20 2005-09-29 Sony Corp 音源信号分離装置及び方法、並びにピッチ検出装置及び方法
JP4255888B2 (ja) 2004-06-30 2009-04-15 日本電信電話株式会社 信号分離方法および装置ならびに信号分離プログラムおよびそのプログラムを記録した記録媒体
JP4462617B2 (ja) 2004-11-29 2010-05-12 株式会社神戸製鋼所 音源分離装置，音源分離プログラム及び音源分離方法
US8160273B2 (en) * 2007-02-26 2012-04-17 Erik Visser Systems, methods, and apparatus for signal separation using data driven techniques

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110794A (ja) * 1994-10-11 1996-04-30 Sharp Corp 信号分離方法
JPH11109014A (ja) * 1997-10-06 1999-04-23 Hidefumi Obata 音分離装置
JP2000181499A (ja) * 1998-12-10 2000-06-30 Nippon Hoso Kyokai <Nhk> 音源信号分離回路およびそれを用いたマイクロホン装置
JP2002149190A (ja) * 2000-11-01 2002-05-24 Internatl Business Mach Corp <Ibm> 観測データから原信号を復元する信号分離方法、信号処理装置、モバイル端末装置、および記憶媒体
JP2004523752A (ja) * 2001-01-30 2004-08-05 トムソン　ライセンシング　ソシエテ　アノニム 幾何学的音源分離による信号処理装置、システムおよび方法
JP2003333682A (ja) * 2002-05-15 2003-11-21 Nippon Telegr & Teleph Corp <Ntt> 信号抽出方法および装置、信号抽出プログラムおよびこのプログラムを記録した記録媒体
WO2005024788A1 (ja) * 2003-09-02 2005-03-17 Nippon Telegraph And Telephone Corporation 信号分離方法、信号分離装置、信号分離プログラム及び記録媒体
JP2005091560A (ja) * 2003-09-16 2005-04-07 Nissan Motor Co Ltd 信号分離方法および信号分離装置
JP2006084928A (ja) * 2004-09-17 2006-03-30 Nissan Motor Co Ltd 音声入力装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNC201100879313; 澤井克之他: '"音源方位情報を利用した高速収束ＩＣＡアルゴリズムによるセミブラインド移動音源分離"' 日本音響学会２００１年秋季研究発表会議講演論文集　-Ｉ- , 200110, ｐｐ．６２７-６２８ *
JPN6012053379; 澤井克之他: '"音源方位情報を利用した高速収束ＩＣＡアルゴリズムによるセミブラインド移動音源分離"' 日本音響学会２００１年秋季研究発表会議講演論文集　-Ｉ- , 200110, ｐｐ．６２７-６２８ *

Also Published As

Publication number Publication date
US8345884B2 (en) 2013-01-01
US20100030554A1 (en) 2010-02-04
JPWO2008072566A1 (ja) 2010-03-25
WO2008072566A1 (ja) 2008-06-19

Similar Documents

Publication Publication Date Title
JP5455647B2 (ja) オーディオデコーダ
KR101531239B1 (ko) 다객체 오디오 신호의 부호화 장치
RU2639952C2 (ru) Гибридное усиление речи с кодированием формы сигнала и параметрическим кодированием
RU2608847C1 (ru) Кодирование звуковых сцен
EP2048658B1 (en) Stereo audio encoding device, stereo audio decoding device, and method thereof
JP6377110B2 (ja) 信号をインタリーブするためのオーディオ復号器
JP2008511040A (ja) 周波数領域のウィナーフィルターを用いた空間オーディオコーディングのための時間エンベロープの整形
KR20070001208A (ko) 복수-채널 인코더
JP2009530652A (ja) 主成分分析に基づくマルチチャネルオーディオ信号の段階的な符号化のための装置および方法
KR101666465B1 (ko) 다채널 오디오 신호 부호화/복호화 장치 및 방법
KR20120013892A (ko) 오디오 신호 처리 방법, 그에 따른 엔코딩 장치 및 그에 따른 디코딩 장치
WO2015186535A1 (ja) オーディオ信号処理装置および方法、符号化装置および方法、並びにプログラム
JP4892184B2 (ja) 音響信号符号化装置及び音響信号復号装置
CN110648674A (zh) 多声道音频内容的编码
JP2017111230A5 (ja)
JP7258063B2 (ja) 音場の高次アンビソニックス表現を符号化するために必要とされるサイド情報の符号化を改善する方法および装置
JP5131596B2 (ja) 信号分離再生装置および信号分離再生方法
JP2007187749A (ja) マルチチャンネル符号化における頭部伝達関数をサポートするための新装置
EP3489953B1 (en) Determining a lowest integer number of bits required for representing non-differential gain values for the compression of an hoa data frame representation
KR20130093798A (ko) 다채널 신호 부호화 및 복호화 장치 및 방법
TW202123220A (zh) 使用方向性元資料之多通道音頻編碼及解碼
EP2920981B1 (en) Making available a sound signal for higher order ambisonics signals
JP5361766B2 (ja) 音信号擬似定位システム、方法及びプログラム
JP2007104601A (ja) マルチチャンネル符号化における頭部伝達関数をサポートするための装置
JP2006270649A (ja) 音声・音響信号処理装置およびその方法

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20101022

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101022

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121012

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121025

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151116

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5131596

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150