JP6485711B2 - 音場再現装置および方法、並びにプログラム - Google Patents

音場再現装置および方法、並びにプログラム Download PDF

Info

Publication number
JP6485711B2
JP6485711B2 JP2016513715A JP2016513715A JP6485711B2 JP 6485711 B2 JP6485711 B2 JP 6485711B2 JP 2016513715 A JP2016513715 A JP 2016513715A JP 2016513715 A JP2016513715 A JP 2016513715A JP 6485711 B2 JP6485711 B2 JP 6485711B2
Authority
JP
Japan
Prior art keywords
sound source
main sound
main
sound
microphone array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016513715A
Other languages
English (en)
Other versions
JPWO2015159731A1 (ja
Inventor
祐基 光藤
祐基 光藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015159731A1 publication Critical patent/JPWO2015159731A1/ja
Application granted granted Critical
Publication of JP6485711B2 publication Critical patent/JP6485711B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/0308—Voice signal separating characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/13—Application of wave-field synthesis in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本技術は音場再現装置および方法、並びにプログラムに関し、特に、任意の音場をより正確に再現することができるようにした音場再現装置および方法、並びにプログラムに関する。
従来、音場における音声の波面を複数個のマイクロフォンで収音し、得られた収音信号に基づいて音場を再現する波面合成技術が知られている。
例えばキルヒホッフヘルムホルツの法則により、閉空間内の音場を正確に再現したい場合、閉空間の境界面における音圧、および閉空間内の音圧勾配を全ての座標で記録し、それぞれダイポール特性およびモノポール特性を持つ発音体を用いて対応する座標にて音声を再生すれば音場の再現が可能となる。
実環境ではマイクロフォンやスピーカを用いて音場の記録および再生を行うが、物理的な制約から音圧用のマイクロフォンとモノポールスピーカを一対のみ用いることが一般的である。この場合、音圧勾配の欠如により再生音場に実音場との誤差が生じる。
このような誤差が生じる代表例として、閉空間の外側の音源より到来する信号と、閉空間の外側の別の音源から閉空間内部を通過して、閉空間の内側より到来する信号とが混合されて記録されてしまう場合があげられる。この例では、再生時には期待しない位置から二つの音源が聞こえてしまうことになる。つまり、音場を聴取するユーザが感じる音源位置は、本来あるべき音源位置とは異なる位置となってしまう。
この現象は、本来は閉空間に対応する受聴エリアにて物理的にキャンセルアウトされていた信号が、音圧勾配を取得しないことによって残ってしまったことに起因する。
そこで、例えば剛体の表面にマイクロフォンを配置して音圧勾配をゼロにすることで、上述の現象が生じてしまうことを解決する技術が提案されている（例えば、非特許文献１参照）。
また、閉空間の境界面を平面または直線に制限することで、境界面の内側から到来する信号の影響を排除し、上述した現象が生じないようにする技術も提案されている（例えば、非特許文献２参照）。
Zhiyun Li, Ramani Duraiswami, Nail A. Gumerov, "Capture and Recreation of Higher Order 3D Sound Fields via Reciprocity", in Proceedings of ICAD 04-Tenth Meeting of the International Conference on Auditory Display, Sydney, Australia, July 6-9, 2004. Shoichi Koyama et al.,"Design of Transform Filter for Sound Field Reproduction using Micorphone Array and Loudspeaker Array", IEEE Workshop on Applications of Signal Processing to Audio and Acoustics 2011
しかしながら、上述した技術では、任意の音場を正確に再現することは困難であった。
例えば非特許文献１に記載の技術では、収音したい音場の範囲と剛体の体積が比例するため、広範囲の音場の記録には不向きである。
また、非特許文献２に記載の技術では、音場の収音に用いるマイクアレイの設置が壁際など音の周り込みが少ない場所に制限されてしまう。
本技術は、このような状況に鑑みてなされたものであり、任意の音場をより正確に再現することができるようにするものである。
本技術の一側面の音場再現装置は、主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調する強調部と、前記特徴量に基づいて、副音源の前方に位置する第２のマイクアレイにより収音して得られた第２の収音信号の主音源成分を低減させる低減部とを備える。
前記強調部には、前記特徴量に基づいて、前記第１の収音信号を主音源成分と副音源成分とに分離させ、分離された主音源成分を強調させることができる。
前記低減部には、前記特徴量に基づいて、前記第２の収音信号を主音源成分と副音源成分とに分離させ、分離された副音源成分を強調することで、前記第２の収音信号の主音源成分を低減させることができる。
前記強調部には、非負値テンソル分解により前記第１の収音信号を主音源成分と副音源成分とに分離させることができる。
前記低減部には、非負値テンソル分解により前記第２の収音信号を主音源成分と副音源成分とに分離させることができる。
前記音場再現装置には、複数の前記第１のマイクアレイのそれぞれに対応する複数の前記強調部のそれぞれを設けることができる。
前記音場再現装置には、複数の前記第２のマイクアレイのそれぞれに対応する複数の前記低減部のそれぞれを設けることができる。
前記第１のマイクアレイを、前記第１のマイクアレイおよび前記第２のマイクアレイにより囲まれる空間と、前記主音源とを結ぶ直線上に配置することができる。
前記収音部を、前記主音源の近傍に配置することができる。
本技術の一側面の音場再現方法またはプログラムは、主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調し、前記特徴量に基づいて、副音源の前方に位置する第２のマイクアレイにより収音して得られた第２の収音信号の主音源成分を低減させるステップを含む。
本技術の一側面においては、主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分が強調され、前記特徴量に基づいて、副音源の前方に位置する第２のマイクアレイにより収音して得られた第２の収音信号の主音源成分が低減される。
本技術の一側面によれば、任意の音場をより正確に再現することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術について説明する図である。 主音源直線マイクアレイと副音源直線マイクアレイについて説明する図である。 主音源強調音場再現器の構成例を示す図である。 テンソル分解について説明する図である。 音場再現処理を説明するフローチャートである。 主音源強調音場再現器の他の構成例を示す図である。 コンピュータの構成例を示す図である。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈本技術について〉
本技術は、実空間（収音空間）において直線上に並べられた複数のマイクロフォンからなる直線マイクアレイを複数用いて音場を記録し、その結果得られた収音信号に基づいて、直線上に配置された複数のスピーカからなる直線スピーカアレイを複数用いて音場を再現するものである。このとき、音場を再現する再現空間（受聴エリア）と収音空間が同等の音場となるように収音信号に基づく音声の再生が行われる。
以下では、主に収音したい対象となる音源を主音源と呼び、その他の音源を副音源と呼ぶこととする。但し、主音源は複数あってもよい。
本技術による収音空間での収音には、例えば図１に示すように三種類の収音部が用いられる。
図１に示す例は、直線マイクアレイと直線スピーカアレイを四方に正方形となるよう配置することで、直線マイクアレイで囲まれた閉空間の外側に存在する音源から生成される音場を、直線スピーカアレイで囲まれた閉空間の内側（受聴エリア）で再現するシステムとなっている。
具体的には図１中、左側に示すように収音空間には、主な収音対象となる音声の音源である主音源ＭＡ１１と、主な収音対象ではない音声の音源である副音源ＳＡ１１がある。
そして、これらの主音源ＭＡ１１および副音源ＳＡ１１からの音声が、マイクロフォンＭＭＣ１１、および直線マイクアレイＭＣＡ１１−１乃至直線マイクアレイＭＣＡ１１−４が用いられて収音される。このとき、副音源からの音声は、主音源からの音声とは異なる方向から各直線マイクアレイに到来する。
マイクロフォンＭＭＣ１１は、主音源ＭＡ１１に近接した位置に配置された単一若しくは複数のマイクロフォン、またはマイクアレイからなり、主音源ＭＡ１１からの音声を収音する。マイクロフォンＭＭＣ１１は、収音空間に配置された収音部のうちで最も主音源ＭＡ１１に近い位置に配置されている。
特に、マイクロフォンＭＭＣ１１は、音場を収音したときに副音源ＳＡ１１からの音声が無視できるほど十分に大きな音量で主音源ＭＡ１１からの音声が収音されるように、主音源ＭＡ１１近傍に配置されている。
なお、以下では、マイクロフォンＭＭＣ１１は単一のマイクロフォンから構成されるものとして説明続ける。
また、収音空間では直線マイクアレイＭＣＡ１１−１乃至直線マイクアレイＭＣＡ１１−４が、四方に正方形となるように配置されており、これらの直線マイクアレイＭＣＡ１１−１乃至直線マイクアレイＭＣＡ１１−４により囲まれる正方形の領域ＡＲ１１が、図中、右側に示される再現空間における受聴エリアＨＡ１１に対応する領域となる。受聴エリアＨＡ１１は、受聴者が再現される音場を聴取する領域である。
この例では、直線マイクアレイＭＣＡ１１−１が主音源ＭＡ１１の正面（前方）に配置され、直線マイクアレイＭＣＡ１１−４が副音源ＳＡ１１の正面（前方）に配置されている。なお、以下、直線マイクアレイＭＣＡ１１−１乃至直線マイクアレイＭＣＡ１１−４を特に区別する必要のない場合、単に直線マイクアレイＭＣＡ１１とも称することとする。
収音空間では、これらの直線マイクアレイＭＣＡ１１のうちのいくつかが、主に主音源ＭＡ１１からの音声が収音される主音源直線マイクアレイとされ、他の直線マイクアレイが、主に副音源ＳＡ１１からの音声が収音される副音源直線マイクアレイとされる。
主音源直線マイクアレイと副音源直線マイクアレイは、具体的には例えば図２に示すように定められる。なお、図２において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。但し、図２では、説明のため各直線マイクアレイＭＣＡ１１に対する主音源ＭＡ１１の位置が図１における場合とは異なる位置に配置されている。
図２の例では、主音源ＭＡ１１と、受聴エリアＨＡ１１に対応する領域ＡＲ１１との間にある直線マイクアレイＭＣＡ１１が主音源直線マイクアレイとされる。つまり、主音源ＭＡ１１と領域ＡＲ１１上の任意の位置とを結ぶ直線上に配置された直線マイクアレイＭＣＡ１１が主音源直線マイクアレイとされる。
また、直線マイクアレイＭＣＡ１１のうち、主音源直線マイクアレイではない直線マイクアレイＭＣＡ１１が、副音源直線マイクアレイとされる。
換言すれば、主音源ＭＡ１１を光源と見立てた場合に、主音源ＭＡ１１から発せられた光によって照らされる直線マイクアレイＭＣＡ１１が主音源直線マイクアレイとされる。
また、主音源直線マイクアレイの陰となり、主音源ＭＡ１１から発せられた光によって照らされない直線マイクアレイＭＣＡ１１、つまり主音源ＭＡ１１から見たときに主音源直線マイクアレイによって隠れて見えない直線マイクアレイＭＣＡ１１が副音源直線マイクアレイとされる。
したがって、図２では直線マイクアレイＭＣＡ１１−１と直線マイクアレイＭＣＡ１１−３が主音源直線マイクアレイとされ、直線マイクアレイＭＣＡ１１−２と直線マイクアレイＭＣＡ１１−４が副音源直線マイクアレイとされる。
図１の説明に戻り、収音空間では各直線マイクアレイＭＣＡ１１が、主音源直線マイクアレイまたは副音源直線マイクアレイの何れかとして用いられ、音場が収音される。
この例では、主音源ＭＡ１１の前方に配置された直線マイクアレイＭＣＡ１１−１が主音源直線マイクアレイとされる。また、主音源ＭＡ１１から見て、直線マイクアレイＭＣＡ１１−１の後方に配置されている直線マイクアレイＭＣＡ１１−２乃至直線マイクアレイＭＣＡ１１−４が副音源直線マイクアレイとされる。
このように、主音源ＭＡ１１と副音源ＳＡ１１を収音するケースとして、例えば主音源ＭＡ１１が演奏されている楽器であり、副音源ＳＡ１１が歓声を発する演奏の受聴者であるようなユースケースが考えられる。そのようなユースケースでは、主に主音源直線マイクアレイで演奏が記録され、副音源直線マイクアレイで歓声が記録されるようなシステムとなる。
なお、以下においては説明を簡単にするため、直線マイクアレイＭＣＡ１１−１が主音源直線マイクアレイとして用いられ、直線マイクアレイＭＣＡ１１−４が副音源直線マイクアレイとして用いられ、残りの直線マイクアレイＭＣＡ１１−２と直線マイクアレイＭＣＡ１１−３は用いられないものとして説明を続ける。
このように収音空間で収音された音場は、図中、右側に示す再現空間において、直線マイクアレイＭＣＡ１１−１乃至直線マイクアレイＭＣＡ１１−４のそれぞれに対応する直線スピーカアレイＳＰＡ１１−１乃至直線スピーカアレイＳＰＡ１１−４により再現される。
再現空間では、受聴エリアＨＡ１１を囲むように直線スピーカアレイＳＰＡ１１−１乃至直線スピーカアレイＳＰＡ１１−４が正方形上に配置されている。なお、以下、直線スピーカアレイＳＰＡ１１−１乃至直線スピーカアレイＳＰＡ１１−４を特に区別する必要のない場合、単に直線スピーカアレイＳＰＡ１１と称する。
ここで、単純に直線マイクアレイＭＣＡ１１−１で収音された音声を、直線マイクアレイＭＣＡ１１−１に対応する直線スピーカアレイＳＰＡ１１−１で再生し、直線マイクアレイＭＣＡ１１−４で収音された音声を、直線マイクアレイＭＣＡ１１−４に対応する直線スピーカアレイＳＰＡ１１−４で再生すると、収音空間の音場を正確に再現することができない。
例えば図１中、左側の矢印で表されるように、直線マイクアレイＭＣＡ１１−１では、主音源ＭＡ１１から到来する信号（音声）である演奏音と、副音源ＳＡ１１から領域ＡＲ１１を通って到来する信号である歓声とが混合されて収音される。
そのため、直線マイクアレイＭＣＡ１１−１で収音された音声を直線スピーカアレイＳＰＡ１１−１でそのまま再生すると、主音源ＭＡ１１の音声と副音源ＳＡ１１の音声が混合された混合信号が受聴エリアＨＡ１１の方向に広がってしまう。
そうすると、受聴エリアＨＡ１１で音声を聴取する受聴者には、副音源ＳＡ１１が本来あるべき位置とは正反対の位置にあるような印象を受けてしまう。つまり、本来であれば、副音源ＳＡ１１からの音声は図中、下側から受聴エリアＨＡ１１へと到達するものであるが、受聴者には、副音源ＳＡ１１からの音声があたかも図中、上側から受聴エリアＨＡ１１へと到達したかのように聴こえてしまう。
同様に図１中、左側の矢印で表されるように、直線マイクアレイＭＣＡ１１−４でも、副音源ＳＡ１１から到来する信号である歓声と、主音源ＭＡ１１から領域ＡＲ１１を通って到来する信号である演奏音とが混合されて収音される。
そのため、直線マイクアレイＭＣＡ１１−４で収音された音声を直線スピーカアレイＳＰＡ１１−４でそのまま再生すると、副音源ＳＡ１１の音声と主音源ＭＡ１１の音声が混合された混合信号が受聴エリアＨＡ１１の方向に広がってしまう。
そうすると、受聴エリアＨＡ１１で音声を聴取する受聴者には、主音源ＭＡ１１が本来あるべき位置とは正反対の位置にあるような印象を受けてしまう。つまり、本来であれば、主音源ＭＡ１１からの音声は図中、上側から受聴エリアＨＡ１１へと到達するものであるが、受聴者には、主音源ＭＡ１１からの音声があたかも図中、下側から受聴エリアＨＡ１１へと到達したかのように聴こえてしまう。
このように直線マイクアレイＭＣＡ１１で収音された音声を再生するだけでは、異なる方向から到来する主音源ＭＡ１１からの音声（楽器の演奏音）と副音源ＳＡ１１からの音声（歓声）とが混ざり合ってしまい、音場を正確に再現することができない。
そこで本技術では、主な収音対象の音源とは異なる方向から到来する音声が混合されてしまうという影響を軽減させるために、マイクロフォンＭＭＣ１１で収音された主音源ＭＡ１１の音声が用いられて、主音源強調処理と主音源低減処理とが行われる。
すなわち、マイクロフォンＭＭＣ１１で収音された音声は、主音源ＭＡ１１の音声に比べて副音源ＳＡ１１の音声が十分に小さく記録された音声であるから、マイクロフォンＭＭＣ１１で収音された音声から、主音源ＭＡ１１の音声の特徴を表す特徴量（以下、主音源特徴量とも称する）を容易に抽出することができる。
本技術では、主音源特徴量が用いられて、直線マイクアレイＭＣＡ１１−１による収音で得られた収音信号に対して主音源ＭＡ１１の音声成分、つまり演奏音の成分のみを強調する主音源強調処理が行われる。そして、直線スピーカアレイＳＰＡ１１−１では、主音源強調処理された収音信号に基づいて音声が再生される。
一方、主音源特徴量が用いられて、直線マイクアレイＭＣＡ１１−４による収音で得られた収音信号に対して副音源ＳＡ１１の音声成分、つまり歓声成分を強調し、相対的に主音源ＭＡ１１の音声成分のみを低減させる主音源低減処理が行われる。そして、直線スピーカアレイＳＰＡ１１−４では、主音源低減処理された収音信号に基づいて音声が再生される。
以上の処理により、受聴エリアＨＡ１１にいる受聴者には、主音源ＭＡ１１からの演奏音が図中、上側から到来し、副音源ＳＡ１１からの歓声が図中、下側から到来しているように聴こえるようになる。これにより、再現空間において、より正確に任意の収音空間の音場を再現することができるようになる。
すなわち、本技術では受聴エリアＨＡ１１に対応する領域ＡＲ１１の大きさや形状、直線マイクアレイＭＣＡ１１の配置などに制限を設ける必要がないため、任意の収音空間の音場をより正確に再現することができる。
なお、図１では、正方形型マイクアレイを構成する各直線マイクアレイＭＣＡ１１を主音源直線マイクアレイまたは副音源直線マイクアレイとする例について説明した。しかし、球状マイクアレイや環状マイクアレイを構成する一部分のマイクアレイを、主音源直線マイクアレイに対応する、主に主音源を収音するマイクアレイや、副音源直線マイクアレイに対応する、主に副音源を収音するマイクアレイとしてもよい。
〈主音源強調音場再現器の構成例〉
次に、本技術を主音源強調音場再現器に適用した場合を例として、本技術を適用した具体的な実施の形態について説明する。
図３は、本技術を適用した主音源強調音場再現器の一実施の形態の構成例を示す図である。
主音源強調音場再現器１１は、マイクロフォン２１、主音源学習部２２、マイクアレイ２３−１、マイクアレイ２３−２、主音源用駆動信号生成部２４、副音源用駆動信号生成部２５、スピーカアレイ２６−１、およびスピーカアレイ２６−２から構成される。
マイクロフォン２１は、例えば一または複数のマイクロフォンや、マイクアレイなどからなり、収音空間における主音源近傍に配置されている。このマイクロフォン２１は、図１に示したマイクロフォンＭＭＣ１１に対応する。
マイクロフォン２１は、主音源から発せられた音声を収音し、その結果得られた収音信号を主音源学習部２２に供給する。
主音源学習部２２は、マイクロフォン２１から供給された収音信号に基づいて、収音信号から主音源特徴量を抽出し、主音源用駆動信号生成部２４および副音源用駆動信号生成部２５に供給する。すなわち、主音源学習部２２では、主音源の特徴量が学習される。
主音源学習部２２は、収音空間に配置された送信器３１と、再現空間に配置された受信器３２とから構成される。
送信器３１は、時間周波数分析部４１、特徴量抽出部４２、および通信部４３を有している。時間周波数分析部４１は、マイクロフォン２１から供給された収音信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルを特徴量抽出部４２に供給する。特徴量抽出部４２は、時間周波数分析部４１から供給された時間周波数スペクトルから主音源特徴量を抽出し、通信部４３に供給する。通信部４３は、特徴量抽出部４２から供給された主音源特徴量を、有線または無線により受信器３２に送信する。
受信器３２は通信部４４からなり、通信部４４は、通信部４３から送信されてきた主音源特徴量を受信して主音源用駆動信号生成部２４および副音源用駆動信号生成部２５に供給する。
マイクアレイ２３−１は直線マイクアレイからなり、主音源直線マイクアレイとして機能する。すなわち、マイクアレイ２３−１は図１に示した直線マイクアレイＭＣＡ１１−１に対応する。マイクアレイ２３−１は収音空間の音場を収音し、その結果得られた収音信号を主音源用駆動信号生成部２４に供給する。
マイクアレイ２３−２は直線マイクアレイからなり、副音源直線マイクアレイとして機能する。すなわち、マイクアレイ２３−２は図１に示した直線マイクアレイＭＣＡ１１−４に対応する。マイクアレイ２３−２は収音空間の音場を収音し、その結果得られた収音信号を副音源用駆動信号生成部２５に供給する。
なお、以下、マイクアレイ２３−１およびマイクアレイ２３−２を特に区別する必要のない場合、単にマイクアレイ２３とも称することとする。
主音源用駆動信号生成部２４は、主音源学習部２２から供給された主音源特徴量に基づいて、マイクアレイ２３−１から供給された収音信号から主音源成分を抽出するとともに、抽出した主音源成分が強調された信号を主音源用のスピーカ駆動信号として生成し、スピーカアレイ２６−１に供給する。主音源用駆動信号生成部２４により行われる処理が、図１を参照して説明した主音源強調処理に対応する。
主音源用駆動信号生成部２４は、収音空間に配置された送信器５１と、再現空間に配置された受信器５２とから構成される。
送信器５１は、時間周波数分析部６１、空間周波数分析部６２、および通信部６３を有している。
時間周波数分析部６１は、マイクアレイ２３−１から供給された収音信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルを空間周波数分析部６２に供給する。空間周波数分析部６２は、時間周波数分析部６１から供給された時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた空間周波数スペクトルを通信部６３に供給する。通信部６３は空間周波数分析部６２から供給された空間周波数スペクトルを、有線または無線により受信器５２に送信する。
受信器５２は、通信部６４、空間周波数合成部６５、主音源分離部６６、主音源強調部６７、および時間周波数合成部６８を有している。
通信部６４は、通信部６３から送信されてきた空間周波数スペクトルを受信して空間周波数合成部６５に供給する。空間周波数合成部６５は、通信部６４から供給された空間周波数スペクトルから空間領域におけるスピーカアレイ２６−１の駆動信号を求めた後、逆空間周波数変換を行い、その結果得られた時間周波数スペクトルを主音源分離部６６に供給する。
主音源分離部６６は、通信部４４から供給された主音源特徴量に基づいて、空間周波数合成部６５から供給された時間周波数スペクトルを主音源成分である主音源時間周波数スペクトルと、副音源成分である副音源時間周波数スペクトルとに分離させ、主音源強調部６７に供給する。
主音源強調部６７は、主音源分離部６６から供給された主音源時間周波数スペクトルと副音源時間周波数スペクトルに基づいて、主音源成分が強調された主音源強調時間周波数スペクトルを生成し、時間周波数合成部６８に供給する。時間周波数合成部６８は、主音源強調部６７から供給された主音源強調時間周波数スペクトルの時間周波数合成を行い、その結果得られたスピーカ駆動信号をスピーカアレイ２６−１に供給する。
副音源用駆動信号生成部２５は、主音源学習部２２から供給された主音源特徴量に基づいて、マイクアレイ２３−２から供給された収音信号から主音源成分を抽出するとともに、抽出した主音源成分が低減された信号を副音源用のスピーカ駆動信号として生成し、スピーカアレイ２６−２に供給する。副音源用駆動信号生成部２５により行われる処理が、図１を参照して説明した主音源低減処理に対応する。
副音源用駆動信号生成部２５は、収音空間に配置された送信器７１と、再現空間に配置された受信器７２とから構成される。
送信器７１は、時間周波数分析部８１、空間周波数分析部８２、および通信部８３を有している。
時間周波数分析部８１は、マイクアレイ２３−２から供給された収音信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルを空間周波数分析部８２に供給する。空間周波数分析部８２は、時間周波数分析部８１から供給された時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた空間周波数スペクトルを通信部８３に供給する。通信部８３は空間周波数分析部８２から供給された空間周波数スペクトルを、有線または無線により受信器７２に送信する。
受信器７２は、通信部８４、空間周波数合成部８５、主音源分離部８６、主音源低減部８７、および時間周波数合成部８８を有している。
通信部８４は、通信部８３から送信されてきた空間周波数スペクトルを受信して空間周波数合成部８５に供給する。空間周波数合成部８５は、通信部８４から供給された空間周波数スペクトルから空間領域におけるスピーカアレイ２６−２の駆動信号を求めた後、逆空間周波数変換を行い、その結果得られた時間周波数スペクトルを主音源分離部８６に供給する。
主音源分離部８６は、通信部４４から供給された主音源特徴量に基づいて、空間周波数合成部８５から供給された時間周波数スペクトルを主音源時間周波数スペクトルと副音源時間周波数スペクトルとに分離させ、主音源低減部８７に供給する。
主音源低減部８７は、主音源分離部８６から供給された主音源時間周波数スペクトルと副音源時間周波数スペクトルに基づいて、主音源成分が低減された、すなわち副音源成分が強調された主音源低減時間周波数スペクトルを生成し、時間周波数合成部８８に供給する。時間周波数合成部８８は、主音源低減部８７から供給された主音源低減時間周波数スペクトルの時間周波数合成を行い、その結果得られたスピーカ駆動信号をスピーカアレイ２６−２に供給する。
スピーカアレイ２６−１は、例えば直線スピーカアレイからなり、図１の直線スピーカアレイＳＰＡ１１−１に対応する。スピーカアレイ２６−１は、時間周波数合成部６８から供給されたスピーカ駆動信号に基づいて音声を再生する。これにより、収音空間の主音源の音声が再現される。
スピーカアレイ２６−２は、例えば直線スピーカアレイからなり、図１の直線スピーカアレイＳＰＡ１１−４に対応する。スピーカアレイ２６−２は、時間周波数合成部８８から供給されたスピーカ駆動信号に基づいて音声を再生する。これにより、収音空間の副音源の音声が再現される。
なお、以下、スピーカアレイ２６−１およびスピーカアレイ２６−２を特に区別する必要のない場合、単にスピーカアレイ２６とも称することとする。
ここで、主音源強調音場再現器１１を構成する各部についてより詳細に説明する。
（時間周波数分析部）
まず、時間周波数分析部４１、時間周波数分析部６１、および時間周波数分析部８１について説明する。ここでは、時間周波数分析部６１を例として説明を続ける。
時間周波数分析部６１は、マイクアレイ２３−１を構成する各マイクロフォン（マイクセンサ）で得られた収音信号s(nmic,t)の時間周波数情報を分析する。
但し、収音信号s(nmic,t)においてnmicはマイクアレイ２３−１を構成するマイクロフォンを示すマイクインデクスであり、マイクインデクスnmic＝0,…,Nmic-1である。また、Nmicはマイクアレイ２３−１を構成するマイクロフォンの数を示しており、tは時間を示している。
時間周波数分析部６１は、収音信号s(nmic,t)から固定サイズの時間フレーム分割を行った入力フレーム信号sfr(nmic,nfr,l)を得る。そして、時間周波数分析部６１は、次式（１）に示す窓関数wT(nfr)を入力フレーム信号sfr(nmic,nfr,l)に乗算し、窓関数適用信号sw(nmic,nfr,l)を得る。すなわち、以下の式（２）の計算が行われて窓関数適用信号sw(nmic,nfr,l)が算出される。
Figure 0006485711
Figure 0006485711
ここで、式（１）および式（２）において、nfrは時間インデクスを示しており、時間インデクスnfr＝0,…,Nfr-1である。また、lは時間フレームインデクスを示しており、時間フレームインデクスl＝0,…,L-1である。なお、Nfrはフレームサイズ（時間フレームのサンプル数）であり、Lは総フレーム数である。
また、フレームサイズNfrは、時間サンプリング周波数fs T[Hz]における一フレームの時間Tfr[s]相当のサンプル数Nfr（＝R(fs T×Tfr)、但しR()は任意の丸め関数）である。この実施の形態では、例えば一フレームの時間Tfr＝1.0[s]であり、丸め関数R()は四捨五入であるが、それ以外でも構わない。さらに、フレームのシフト量はフレームサイズNfrの50％としているが、それ以外でも構わない。
さらに、ここでは窓関数としてハニング窓の平方根を用いているが、ハミング窓やブラックマンハリス窓などのその他の窓を用いるようにしてもよい。
このようにして窓関数適用信号sw(nmic,nfr,l)が得られると、時間周波数分析部６１は、以下の式（３）および式（４）を計算することで、窓関数適用信号sw(nmic,nfr,l)に対して時間周波数変換を行い、時間周波数スペクトルS(nmic,nT,l)を算出する。
Figure 0006485711
Figure 0006485711
すなわち、式（３）の計算によりゼロ詰め信号sw’(nmic,mT,l)が求められ、得られたゼロ詰め信号sw’(nmic,mT,l)に基づいて式（４）が計算され、時間周波数スペクトルS(nmic,nT,l)が算出される。
なお、式（３）および式（４）において、MTは時間周波数変換に用いるポイント数を示している。また、nTは時間周波数スペクトルインデクスを示している。ここで、NT＝MT/2+1であり、nT＝0,…,NT-1である。さらに、式（４）においてiは純虚数を示している。
また、この実施の形態では、STFT（Short Time Fourier Transform）（短時間フーリエ変換）による時間周波数変換を行っているが、DCT（Discrete Cosine Transform）（離散コサイン変換）やMDCT（Modified Discrete Cosine Transform）（修正離散コサイン変換）などの他の時間周波数変換を用いてもよい。
さらに、STFTのポイント数MTは、Nfr以上である、Nfrに最も近い２のべき乗の値としているが、それ以外のポイント数MTでも構わない。
時間周波数分析部６１は、以上において説明した処理で得られた時間周波数スペクトルS(nmic,nT,l)を、空間周波数分析部６２に供給する。
時間周波数分析部４１も、時間周波数分析部６１と同様の処理を行って、マイクロフォン２１から供給された収音信号から時間周波数スペクトルを算出し、特徴量抽出部４２に供給する。また、時間周波数分析部８１も、マイクアレイ２３−２から供給された収音信号から時間周波数スペクトルを算出し、空間周波数分析部８２に供給する。
（特徴量抽出部）
特徴量抽出部４２は、時間周波数分析部４１から供給された時間周波数スペクトルS(nmic,nT,l)から主音源特徴量の抽出を行う。
ここでは、例えば主音源特徴量の抽出手法としてNTF（Nonnegative Tensor Factorization）により主音源の周波数基底を学習する手法について説明するが、他の手法により主音源特徴量を抽出するようにしてもよい。なお、NTFについては例えば「Derry FitzGerald et al., “Non-Negative Tensor Factorisation for Sound Source Separation”, ISSC 2005, Dublin, Sept. 1-2.」に詳細に記載されている。
特徴量抽出部４２は、まず前処理として次式（５）の計算を行い、時間周波数スペクトルS(nmic,nT,l)を非負値スペクトルV(j,k,l)へと変換する。
Figure 0006485711
なお、ここでは時間周波数スペクトルS(nmic,nT,l)のマイクインデクスnmicがチャネルインデクスjに置き換えられ、時間周波数スペクトルインデクスnTが周波数インデクスkに置き換えられている。すなわち、マイクインデクスnmicがjと記述され、時間周波数スペクトルインデクスnTがkと記述されている。なお、Nmic＝Jであるとし、NT＝Kであるとする。この場合、マイクインデクスnmicにより特定される一つのマイクロフォンが一つのチャネルとして扱われることになる。
また、式（５）において、conj(S(j,k,l))は、時間周波数スペクトルS(j,k,l)の複素共役を示しており、ρは非負値化制御値を示している。例えば、非負値化制御値ρはどのような値とされてもよいが、ここでは非負値化制御値ρ＝１とされる。
式（５）の計算により得られた非負値スペクトルV(j,k,l)は、時間方向に連結されて非負値スペクトログラムVとされ、NTFの入力とされる。
例えば非負値スペクトログラムVをJ×K×Lの三次元テンソルとして捉えると、非負値スペクトログラムVをP個の三次元テンソルVp’（以下、基底スペクトログラムとも呼ぶ）に分離することができる。
ここで、pは基底スペクトログラムを示す基底インデクスを表しており、基底数をPとしてp＝0,・・・,P-1である。また、以下では、基底インデクスpにより示される基底を基底pとも称することとする。
さらに、P個の三次元テンソルVp’は三つのベクトルの直積で表現することが可能であるため、それぞれ三つのベクトルへと分解される。結果的に、それぞれ三種類のベクトルをP個ずつ集めた結果、新たな三つの行列、つまりチャネル行列Q、周波数行列W、および時間行列Hが得られるため、非負値スペクトログラムVを三つの行列に分解できるといえる。なお、チャネル行列QのサイズはJ×Pであり、周波数行列WのサイズはK×Pであり、時間行列HのサイズはL×Pである。
なお、以下では、三次元テンソルまたは行列の各要素を示す場合には、小文字を用いて記すこととする。例えば非負値スペクトログラムVの各要素はvjklと表され、チャネル行列Qの各要素はqjklと表される。また、例えばvjklを[V] jklとも記すこととする。これは、他の行列についても同様に記すこととし、例えばqjklを[Q]jklとも記すこととする。
特徴量抽出部４２では、非負値テンソル分解（NTF）により誤差テンソルEを最小化することで、テンソル分解が行なわれる。テンソル分解で得られるチャネル行列Q、周波数行列W、および時間行列Hは、それぞれが特有の性質を有している。
ここで、チャネル行列Q、周波数行列W、および時間行列Hについて説明する。
例えば、図４に示すように矢印Ｒ１１に示す非負値スペクトログラムVから、誤差テンソルEを除いて得られる三次元テンソルを基底数P個に分解した結果、矢印Ｒ１２−１乃至矢印Ｒ１２−Ｐに示す基底スペクトログラムV0’乃至基底スペクトログラムVP-1’が得られたとする。
これらの各基底スペクトログラムVp’（但し、p＝0,…,P-1）、すなわち上述した三次元テンソルVp’を、それぞれ三つのベクトルの直積で表すことができる。
例えば基底スペクトログラムV0’は、矢印Ｒ１３−１に示すベクトル[Q]j,0、矢印Ｒ１４−１に示すベクトル[H]l,0、および矢印Ｒ１５−１に示すベクトル[W]k,0の三つのベクトルの直積で表すことができる。
ベクトル[Q]j,0は総チャネル数J個の要素からなる列ベクトルであり、ベクトル[Q]j,0のJ個の各要素は、チャネルインデクスjにより示される各チャネル（マイクロフォン）に対応する成分である。
また、ベクトル[H]l,0は総時間フレーム数L個の要素からなる行ベクトルであり、ベクトル[H]l,0のL個の各要素は、時間フレームインデクスlにより示される各時間フレームに対応する成分である。さらに、ベクトル[W]k,0は周波数（時間周波数）の数であるK個の要素からなる列ベクトルであり、ベクトル[W]k,0のK個の各要素は、周波数インデクスkにより示される周波数に対応する成分である。
これらのベクトル[Q]j,0、ベクトル[H]l,0、およびベクトル[W]k,0は、それぞれ基底スペクトログラムV0’のチャネル方向の性質、時間方向の性質、および周波数方向の性質を表している。
同様に、基底スペクトログラムV1’は、矢印Ｒ１３−２に示すベクトル[Q]j,1、矢印Ｒ１４−２に示すベクト[H]l,1、および矢印Ｒ１５−２に示すベクトル[W]k,1の三つのベクトルの直積で表すことができる。また、基底スペクトログラムVP-1’は、矢印Ｒ１３−Ｐに示すベクトル[Q]j,P-1、矢印Ｒ１４−Ｐに示すベクトル[H]l,P-1、および矢印Ｒ１５−Ｐに示すベクトル[W]k,P-1の三つのベクトルの直積で表すことができる。
そして、P個の基底スペクトログラムVp’の三つの次元に対応する三つのベクトルを、それぞれ次元ごとに集めて行列としたものがチャネル行列Q、周波数行列W、および時間行列Hとなる。
すなわち、図４中、下側の矢印Ｒ１６に示すように、各基底スペクトログラムVp’の周波数方向の性質を表すベクトルであるベクトル[W]k,0乃至ベクトル[W]k,P-1からなる行列が周波数行列Wとされる。
同様に、矢印Ｒ１７に示すように、各基底スペクトログラムVp’の時間方向の性質を表すベクトルであるベクトル[H]l,0乃至ベクトル[H]l,P-1からなる行列が時間行列Hとされる。また、矢印Ｒ１８に示すように、各基底スペクトログラムVp’のチャネル方向の性質を表すベクトルであるベクトル[Q]j,0乃至ベクトル[Q]j,P-1からなる行列がチャネル行列Qとされる。
NTF（非負値テンソル分解）の性質により、P個に分離された各基底スペクトログラムVp’は、それぞれが音源中の固有の性質を表すように学習される。NTFでは、全要素を非負値に制約しているため、基底スペクトログラムVp’の加法性の組み合わせしか許容されず、その結果、組み合わせのパターンが減り、音源固有の性質によって分離され易くなっている。したがって、任意の範囲の基底インデクスpを選択することにより、各点音源を抽出し音響処理を行うことが可能である。
ここで、チャネル行列Q、周波数行列W、および時間行列Hの各行列の性質についてさらに説明する。
チャネル行列Qは、非負値スペクトログラムVのチャネル方向の性質を表している。すなわち、チャネル行列Qは、P個の各基底スペクトログラムVp’の合計J個の各チャネルjへの寄与度を示すと考えられる。
周波数行列Wは、非負値スペクトログラムVの周波数方向の性質を表している。より具体的には、周波数行列Wは合計P個の基底スペクトログラムVp’のK個の各周波数ビンへの寄与度、すなわち各基底スペクトログラムVp’の各々の周波数特性を表している。
また、時間行列Hは、非負値スペクトログラムVの時間方向の性質を表している。より具体的には、時間行列HはP個の各基底スペクトログラムVp’の合計L個の各時間フレームへの寄与度、すなわち各基底スペクトログラムVp’の各々の時間特性を表している。
特徴量抽出部４２による主音源特徴量の算出の説明に戻り、NTF（非負値テンソル分解）では、次式（６）の計算によりコスト関数Cをチャネル行列Q、周波数行列W、および時間行列Hについて最小化することで、最適化されたチャネル行列Q、周波数行列W、および時間行列Hが求められる。
Figure 0006485711
なお、式（６）において、vjklは非負値スペクトログラムVの要素を表しており、vjkl’は要素vjklの予測値である。この要素vjkl’は次式（７）により得られる。なお、式（７）において、qjpはチャネル行列Qを構成する、チャネルインデクスjと基底インデクスpにより特定される要素、つまり行列要素[Q]j,pである。同様にwkpは行列要素[W]k,pであり、hlpは行列要素[H]l,pである。
Figure 0006485711
式（７）により算出される要素vjkl’からなるスペクトログラムが、非負値スペクトログラムVの予測値である近似スペクトログラムV’となる。換言すれば、近似スペクトログラムV’は、基底数P個の基底スペクトログラムVp’から求まる、非負値スペクトログラムVの近似値である。
さらに、式（６）では非負値スペクトログラムVと近似スペクトログラムV’の距離を測る指標としてβダイバージェンスdβが用いられており、このβダイバージェンスは、任意の変数をx，yとして例えば次式（８）で表される。
Figure 0006485711
すなわち、βが１でも０でもない場合、式（８）中の一番上側に示す式によりβダイバージェンスが算出される。また、β＝１である場合、式（８）中の真ん中に示す式によりβダイバージェンスが算出される。
さらに、β＝０（板倉斉藤距離）である場合、式（８）中の一番下側に示す式によりβダイバージェンスが算出される。すなわちβ＝０である場合、次式（９）に示す演算が行われることになる。
Figure 0006485711
また、β＝０である場合のβダイバージェンスdβ=0(x|y)のyについての偏微分は次式（１０）に示すようになる。
Figure 0006485711
したがって、式（６）の例では、βダイバージェンスD0(V|V’)は次式（１１）に示すようになる。また、βダイバージェンスD0(V|V’)のチャネル行列Q、周波数行列W、および時間行列Hに関する偏微分は、それぞれ以下の式（１２）乃至式（１４）に示すようになる。但し、式（１１）乃至式（１４）において減算、除算、および対数演算は全て要素ごとに計算される。
Figure 0006485711
Figure 0006485711
Figure 0006485711
Figure 0006485711
続いて、チャネル行列Q、周波数行列W、および時間行列Hを同時に表すパラメータθを用いてNTFの更新式を表現すると、次式（１５）に示すようになる。但し、式（１５）において、記号「・」は要素ごとの乗算を表しており、除算は要素ごとに計算される。
Figure 0006485711
なお、式（１５）において、[∇θD0(V|V’)]+および[∇θD0(V|V’)]-は、それぞれ関数∇θD0(V|V’)の正の部分および負の部分を表している。
したがって、式（６）に示した場合、つまり制約関数を考慮しない場合におけるNTFの各行列の更新式は、次式（１６）乃至式（１８）に示す式となる。但し、式（１６）乃至式（１８）において階乗および除算は全て要素ごとに計算される。
Figure 0006485711
Figure 0006485711
Figure 0006485711
なお、式（１６）乃至式（１８）において記号「ｏ」は行列の直積を表している。すなわち、AがiA×P行列であり、BがiB×P行列である場合、「ＡｏＢ」はiA×iB×Pの三次元テンソルを表している。
また、〈A,B〉{C},{D}はテンソルの収縮積と呼ばれ、以下の式（１９）で表される。但し、式（１９）では、式中の各文字は、以上において説明してきた行列等を表す記号とは関連がないものとする。
Figure 0006485711
特徴量抽出部４２は、式（１６）乃至式（１８）によりチャネル行列Q、周波数行列W、および時間行列Hを更新しながら、式（６）のコスト関数Cの最小化を行なうことで、最適化されたチャネル行列Q、周波数行列W、および時間行列Hを求める。そして、特徴量抽出部４２は、得られた周波数行列Wを、主音源の周波数に関する特徴を表す主音源特徴量として、通信部４３に供給する。なお、以下では、主音源特徴量としての周波数行列Wを、特に主音源周波数行列WSとも称することとする。
（空間周波数分析部）
続いて、空間周波数分析部６２および空間周波数分析部８２について説明する。ここでは、主に空間周波数分析部６２について説明する。
空間周波数分析部６２は、時間周波数分析部６１から供給された時間周波数スペクトルS(nmic,nT,l)に対して、次式（２０）を計算することで空間周波数変換を行い、空間周波数スペクトルSSP(nS,nT,l)を算出する。
Figure 0006485711
なお、式（２０）においてMSは空間周波数変換に用いるポイント数を示しており、mS＝0,…,MS-1である。また、S’(mS,nT,l)は時間周波数スペクトルS(nmic,nT,l)に対してゼロ詰めを行うことにより得られるゼロ詰め信号を示しており、iは純虚数を示している。さらに、nSは空間周波数スペクトルインデクスを示している。
この実施の形態では、式（２０）の計算によってIDFT（Inverse Discrete Fourier Transform）（逆離散フーリエ変換）による空間周波数変換が行われている。
また、必要であればIDFTのポイント数MSに合わせて適切にゼロ詰めを行ってもよい。この実施の形態では、マイクアレイ２３−１で得られる信号の空間サンプリング周波数がfs S[Hz]であるとする。この空間サンプリング周波数fs S[Hz]は、マイクアレイ２３−１を構成するマイクロフォン同士の間隔により定まる。
式（２０）では、例えば空間サンプリング周波数fs S[Hz]に基づいてポイント数MSが定められる。そして、0≦mS≦Nmic-1であるポイントmSについては、ゼロ詰め信号S’(mS,nT,l)＝時間周波数スペクトルS(nmic,nT,l)とされ、Nmic≦mS≦MS-1であるポイントmSについては、ゼロ詰め信号S’(mS,nT,l)＝0とされる。
以上において説明した処理により得られる空間周波数スペクトルSSP(nS,nT,l)は、時間フレームlに含まれている時間周波数nTの信号が空間上においてどのような波形となっているかを示している。空間周波数分析部６２は、空間周波数スペクトルSSP(nS,nT,l)を通信部６３に供給する。
また、空間周波数分析部８２も、空間周波数分析部６２と同様の処理を行って、時間周波数分析部８１から供給された時間周波数スペクトルに基づいて空間周波数スペクトルを算出し、通信部８３に供給する。
（空間周波数合成部）
また、空間周波数合成部６５は、通信部６４および通信部６３を介して空間周波数分析部６２から供給された空間周波数スペクトルSSP(nS,nT,l)に基づいて、以下の式（２１）を計算し、スピーカアレイ２６−１で音場（波面）を再現するための空間領域の駆動信号DSP(mS,nT,l)を求める。すなわち、SDM(Spectral Division Method)により、駆動信号DSP(mS,nT,l)が算出される。
Figure 0006485711
ここで、式（２１）におけるkpwは次式（２２）により得られる。
Figure 0006485711
なお、式（２１）においてyrefはSDMの基準距離を示しており、基準距離yrefは波面が正確に再現される位置である。この基準距離yrefはマイクアレイ２３−１のマイクロフォンが並ぶ方向と垂直な方向の距離となる。例えば、ここでは基準距離yref＝1[m]とされているが、その他の値でもよい。
さらに、式（２１）においてH0 (2)はハンケル関数を示しており、iは純虚数を示している。また、mSは空間周波数スペクトルインデクスを示している。さらに、式（２２）においてcは音速を示しており、ωは時間角周波数を示している。
なお、ここではSDMにより駆動信号DSP(mS,nT,l)を算出する手法を例として説明したが、他の手法により駆動信号が算出されてもよい。また、SDMについては、特に「Jens Adrens, Sascha Spors, “Applying the Ambisonics Approach on Planar and Linear Arrays of Loudspeakers”, in 2nd International Symposium on Ambisonics and Spherical Acoustics」に詳細に記載されている。
続いて空間周波数合成部６５は、次式（２３）を計算することで空間領域の駆動信号DSP(mS,nT,l)を逆空間周波数変換して、時間周波数スペクトルD(nspk,nT,l)を算出する。式（２３）では、逆空間周波数変換として、DFT（Discrete Fourier Transform）（離散フーリエ変換）が行われる。
Figure 0006485711
なお、式（２３）において、nspkはスピーカアレイ２６−１を構成するスピーカを特定するスピーカインデクスを示している。また、MSはDFTのポイント数を示しており、iは純虚数を示している。
式（２３）では、空間周波数スペクトルである駆動信号DSP(mS,nT,l)が時間周波数スペクトルに変換されると同時に、駆動信号のリサンプリングも行われる。具体的には、空間周波数合成部６５は、スピーカアレイ２６−１のスピーカ間隔に応じた空間サンプリング周波数で駆動信号をリサンプリング（逆空間周波数変換）することで、収音空間の音場を再現することができるスピーカアレイ２６−１の駆動信号を得る。
空間周波数合成部６５は、このようにして得られた時間周波数スペクトルD(nspk,nT,l)を主音源分離部６６に供給する。また、空間周波数合成部８５も、空間周波数合成部６５と同様の処理を行ってスピーカアレイ２６−２の駆動信号である時間周波数スペクトルを算出し、主音源分離部８６に供給する。
（主音源分離部）
主音源分離部６６では、通信部４４および通信部４３を介して特徴量抽出部４２から供給された主音源特徴量としての主音源周波数行列WSが用いられて、空間周波数合成部６５から供給された時間周波数スペクトルD(nspk,nT,l)から、主音源信号が抽出される。ここでは、特徴量抽出部４２における場合と同様に、NTFが用いられて主音源信号（主音源成分）が抽出される。
すなわち、主音源分離部６６は次式（２４）の計算を行い、時間周波数スペクトルD(nspk,nT,l)を非負値スペクトルVSP(j,k,l)へと変換する。
Figure 0006485711
なお、ここでは時間周波数スペクトルD(nspk,nT,l)のスピーカインデクスnspkがチャネルインデクスjに置き換えられ、時間周波数スペクトルインデクスnTが周波数インデクスkに置き換えられている。
また、式（２４）において、conj(D(j,k,l))は、時間周波数スペクトルD(j,k,l)の複素共役を示しており、ρは非負値化制御値を示している。例えば、非負値化制御値ρはどのような値とされてもよいが、ここでは非負値化制御値ρ＝１とされる。
式（２４）の計算により得られた非負値スペクトルVSP(j,k,l)は、時間方向に連結されて非負値スペクトログラムVSPとされ、NTFの入力とされる。
また、主音源分離部６６は、このようにして得られた非負値スペクトログラムVSPについて、次式（２５）乃至式（２７）に示す更新式によりチャネル行列Q、周波数行列W、および時間行列Hを更新しながらコスト関数の最小化を行なうことで、最適化されたチャネル行列Q、周波数行列W、および時間行列Hを求める。
Figure 0006485711
Figure 0006485711
Figure 0006485711
但し、ここでの計算では、周波数行列Wの一部には主音源周波数行列WSが含まれているようになされ、式（２６）に示す周波数行列Wの更新では、主音源周波数行列WS以外の要素のみが更新される。つまり、周波数行列Wの更新時には、周波数行列Wに要素として含まれている主音源周波数行列WSの部分の更新は行われない。
以上の計算で最適化されたチャネル行列Q、周波数行列W、および時間行列Hが得られると、主音源分離部６６は、主音源に対応する要素と副音源に対応する要素とをそれらの行列から抽出することで、収音された音声を主音源成分と副音源成分とに分離させる。
すなわち、主音源分離部６６は、最適化された周波数行列Wの主音源周波数行列WS以外の要素を副音源周波数行列WNとする。
また、主音源分離部６６は、最適化されたチャネル行列Qから主音源周波数行列WSに対応する要素を主音源チャネル行列QSとして抽出するとともに、最適化されたチャネル行列Qの主音源チャネル行列QS以外の要素を副音源チャネル行列QNとする。副音源チャネル行列QNは副音源の成分である。
同様に主音源分離部６６は、最適化された時間行列Hから主音源周波数行列WSに対応する要素を主音源時間行列HSとして抽出するとともに、最適化された時間行列Hの主音源時間行列HS以外の要素を副音源時間行列HNとする。副音源時間行列HNは副音源の成分である。
ここで、チャネル行列Qや時間行列Hの主音源周波数行列WSに対応する要素とは、図４の例で示した基底スペクトログラムVp’のうちの主音源周波数行列WSの要素を含む基底スペクトログラムVp’の要素である。
主音源分離部６６は、さらに以上の処理により得られた行列群からWiener Filterを用いて主音源を抽出する。
すなわち、主音源分離部６６は、次式（２８）の計算を行うことで、主音源チャネル行列QS、主音源周波数行列WS、および主音源時間行列HSの各要素に基づいて、主音源の基底スペクトログラムVS’の各要素を求める。
Figure 0006485711
同様に、主音源分離部６６は、次式（２９）の計算を行うことで、副音源チャネル行列QN、副音源周波数行列WN、および副音源時間行列HNの各要素に基づいて、副音源の基底スペクトログラムVN’の各要素を求める。
Figure 0006485711
さらに、主音源分離部６６は、得られた主音源の基底スペクトログラムVS’および副音源の基底スペクトログラムVN’に基づいて、次式（３０）および式（３１）を計算し、主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を算出する。なお、式（３０）および式（３１）において、記号「・」は要素ごとの乗算を表しており、除算は要素ごとに計算される。
Figure 0006485711
Figure 0006485711
式（３０）では、時間周波数スペクトルD(nspk,nT,l)、すなわち時間周波数スペクトルD(j,k,l)のうちの主音源成分のみが抽出されて主音源時間周波数スペクトルDS(j,k,l)とされる。そして、主音源時間周波数スペクトルDS(j,k,l)のチャネルインデクスjおよび周波数インデクスkが、元のスピーカインデクスnspkおよび時間周波数スペクトルインデクスnTに置き換えられて主音源時間周波数スペクトルDS(nspk,nT,l)とされる。
同様に式（３１）では、時間周波数スペクトルD(j,k,l)のうちの副音源成分のみが抽出されて副音源時間周波数スペクトルDN(j,k,l)とされる。そして、副音源時間周波数スペクトルDN(j,k,l)のチャネルインデクスjおよび周波数インデクスkが、元のスピーカインデクスnspkおよび時間周波数スペクトルインデクスnTに置き換えられて副音源時間周波数スペクトルDN(nspk,nT,l)とされる。
主音源分離部６６は、以上の計算で得られた主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を、主音源強調部６７に供給する。
また、主音源分離部８６も、主音源分離部６６と同様の処理を行い、その結果得られた主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を、主音源低減部８７に供給する。
（主音源強調部）
主音源強調部６７は、主音源分離部６６から供給された主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を用いて、主音源強調時間周波数スペクトルDES(nspk,nT,l)を生成する。
具体的には、主音源強調部６７は次式（３２）を計算することで、時間周波数スペクトルD(nspk,nT,l)のうちの主音源時間周波数スペクトルDS(nspk,nT,l)の成分が強調された、主音源強調時間周波数スペクトルDES(nspk,nT,l)を算出する。
Figure 0006485711
なお、式（３２）においてαは主音源時間周波数スペクトルDS(nspk,nT,l)を強調させる度合いを示す重み係数を示しており、重み係数αは1.0より大きい係数とされる。したがって、式（３２）では、主音源時間周波数スペクトルが重み係数αにより重み付けされて副音源時間周波数スペクトルに加算され、主音源強調時間周波数スペクトルとされる。つまり、重み付け加算が行われる。
主音源強調部６７は、式（３２）の計算により得られた主音源強調時間周波数スペクトルDES(nspk,nT,l)を時間周波数合成部６８に供給する。
（主音源低減部）
主音源低減部８７は、主音源分離部８６から供給された主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を用いて、主音源低減時間周波数スペクトルDEN(nspk,nT,l)を生成する。
具体的には、主音源低減部８７は次式（３３）を計算することで、時間周波数スペクトルD(nspk,nT,l)のうちの副音源時間周波数スペクトルDN(nspk,nT,l)の成分が強調された、主音源低減時間周波数スペクトルDEN(nspk,nT,l)を算出する。
Figure 0006485711
なお、式（３３）においてαは副音源時間周波数スペクトルDN(nspk,nT,l)を強調させる度合いを示す重み係数を示しており、重み係数αは1.0より大きい係数とされる。なお、式（３３）における重み係数αは、式（３２）における重み係数αと同じ値であってもよいし、異なる値であってもよい。
式（３３）では、副音源時間周波数スペクトルが重み係数αにより重み付けされて主音源時間周波数スペクトルに加算され、主音源低減時間周波数スペクトルとされる。つまり、重み付け加算が行われ、副音源時間周波数スペクトルが強調されることで、相対的に主音源時間周波数スペクトルが低減される。
主音源低減部８７は、式（３３）の計算により得られた主音源低減時間周波数スペクトルDEN(nspk,nT,l)を時間周波数合成部８８に供給する。
（時間周波数合成部）
時間周波数合成部６８は、次式（３４）の計算を行うことで、主音源強調部６７から供給された主音源強調時間周波数スペクトルDES(nspk,nT,l)の時間周波数合成を行い、出力フレーム信号dfr(nspk,nfr,l)を得る。ここでは、時間周波数合成として、ISTFT（Inverse Short Time Fourier Transform）（短時間逆フーリエ変換）が用いられているが、時間周波数分析部６１で行われる時間周波数変換（順変換）の逆変換に相当するものを用いればよい。
Figure 0006485711
なお、式（３４）におけるD’(nspk,mT,l)は、次式（３５）により得られるものである。
Figure 0006485711
式（３４）においてiは純虚数を示しており、nfrは時間インデクスを示している。また、式（３４）および式（３５）において、MTはISTFTのポイント数を示しており、nspkはスピーカインデクスを示している。
さらに、時間周波数合成部６８は、得られた出力フレーム信号dfr(nspk,nfr,l)に、窓関数wT(nfr)を乗算し、オーバーラップ加算を行うことでフレーム合成を行う。例えば、次式（３６）の計算によりフレーム合成が行われて、出力信号d(nspk,t)が求められる。
Figure 0006485711
なお、ここでは、出力フレーム信号dfr(nspk,nfr,l)に乗算する窓関数wT(nfr)として、時間周波数分析部６１で用いた窓関数と同じものを用いているが、ハミング窓などのその他の窓の場合は矩形窓で構わない。
また、式（３６）において、dprev(nspk,nfr+lNfr)およびdcurr(nspk,nfr+lNfr)は、どちらも出力信号d(nspk,t)を示しているが、dprev(nspk,nfr+lNfr)は更新前の値を示し、dcurr(nspk,nfr+lNfr)は更新後の値を示している。
時間周波数合成部６８は、このようにして得られた出力信号d(nspk,t)を、スピーカ駆動信号としてスピーカアレイ２６−１に供給する。
また、時間周波数合成部８８も、時間周波数合成部６８と同様の処理を行って、主音源低減部８７から供給された主音源低減時間周波数スペクトルDEN(nspk,nT,l)に基づいてスピーカ駆動信号を生成し、スピーカアレイ２６−２に供給する。
〈音場再現処理の説明〉
次に、以上において説明した主音源強調音場再現器１１により行われる処理の流れについて説明する。主音源強調音場再現器１１は、収音空間における音声の波面の収音が指示されると、その波面の収音を行って音場を再現する音場再現処理を行う。
以下、図５のフローチャートを参照して主音源強調音場再現器１１による音場再現処理について説明する。
ステップＳ１１において、マイクロフォン２１は、収音空間において主音源の音声、すなわち主音源学習用の音声を収音し、その結果得られた収音信号を時間周波数分析部４１に供給する。
ステップＳ１２において、マイクアレイ２３−１は、収音空間において主音源の音声を収音し、その結果得られた収音信号を時間周波数分析部６１に供給する。
ステップＳ１３において、マイクアレイ２３−２は、収音空間において副音源の音声を収音し、その結果得られた収音信号を時間周波数分析部８１に供給する。
なお、より詳細にはステップＳ１１乃至ステップＳ１３の処理は同時に行われる。
ステップＳ１４において、時間周波数分析部４１は、マイクロフォン２１から供給された収音信号の時間周波数情報、つまり主音源の時間周波数情報を分析する。
具体的には、時間周波数分析部４１は収音信号に対して時間フレーム分割を行い、その結果得られた入力フレーム信号に窓関数を乗算し、窓関数適用信号を算出する。
また、時間周波数分析部４１は、窓関数適用信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルを特徴量抽出部４２に供給する。すなわち、式（４）の計算が行われて時間周波数スペクトルS(nmic,nT,l)が算出される。
ステップＳ１５において、特徴量抽出部４２は、時間周波数分析部４１から供給された時間周波数スペクトルに基づいて、主音源特徴量を抽出する。
すなわち、特徴量抽出部４２は式（５）の計算を行うとともに式（１６）乃至式（１８）を計算してチャネル行列Q、周波数行列W、および時間行列Hを最適化し、最適化により得られた主音源周波数行列WSを主音源特徴量として、通信部４３に供給する。
ステップＳ１６において、通信部４３は、特徴量抽出部４２から供給された主音源特徴量を送信する。
ステップＳ１７において、時間周波数分析部６１はマイクアレイ２３−１から供給された収音信号の時間周波数情報、つまり主音源の時間周波数情報を分析し、その結果得られた時間周波数スペクトルを空間周波数分析部６２に供給する。ステップＳ１７ではステップＳ１４と同様の処理が行われる。
ステップＳ１８において、空間周波数分析部６２は、時間周波数分析部６１から供給された時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた空間周波数スペクトルを通信部６３に供給する。すなわち、ステップＳ１８では、式（２０）の計算が行われる。
ステップＳ１９において、通信部６３は空間周波数分析部６２から供給された空間周波数スペクトルを送信する。
ステップＳ２０において、時間周波数分析部８１はマイクアレイ２３−２から供給された収音信号の時間周波数情報、つまり副音源の時間周波数情報を分析し、その結果得られた時間周波数スペクトルを空間周波数分析部８２に供給する。ステップＳ２０ではステップＳ１４と同様の処理が行われる。
ステップＳ２１において、空間周波数分析部８２は、時間周波数分析部８１から供給された時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた空間周波数スペクトルを通信部８３に供給する。すなわち、ステップＳ２１では、式（２０）の計算が行われる。
ステップＳ２２において、通信部８３は空間周波数分析部８２から供給された空間周波数スペクトルを送信する。
ステップＳ２３において、通信部４４は、通信部４３から送信された主音源特徴量を受信して、主音源分離部６６および主音源分離部８６に供給する。
ステップＳ２４において、通信部６４は、通信部６３から送信された、主音源の空間周波数スペクトルを受信して、空間周波数合成部６５に供給する。
ステップＳ２５において、空間周波数合成部６５は、通信部６４から供給された空間周波数スペクトルに基づいて、空間領域の駆動信号を求めるとともに、その駆動信号に対して逆空間周波数変換を行い、その結果得られた時間周波数スペクトルを主音源分離部６６に供給する。
すなわち、空間周波数合成部６５は、上述した式（２１）を計算して空間領域の駆動信号を求め、さらに式（２３）を計算して時間周波数スペクトルD(nspk,nT,l)を算出する。
ステップＳ２６において、主音源分離部６６は、通信部４４から供給された主音源特徴量に基づいて、空間周波数合成部６５から供給された時間周波数スペクトルを主音源成分と副音源成分とに分離させ、主音源強調部６７に供給する。
すなわち、主音源分離部６６は式（２４）乃至式（３１）の計算を行って、主音源時間周波数スペクトルDS(nspk,nT,l)および副音源時間周波数スペクトルDN(nspk,nT,l)を算出し、主音源強調部６７に供給する。
ステップＳ２７において、主音源強調部６７は、主音源分離部６６から供給された主音源時間周波数スペクトルおよび副音源時間周波数スペクトルに基づいて式（３２）を計算することで主音源成分を強調し、その結果得られた主音源強調時間周波数スペクトルを時間周波数合成部６８に供給する。
ステップＳ２８において、時間周波数合成部６８は、主音源強調部６７から供給された主音源強調時間周波数スペクトルの時間周波数合成を行う。
具体的には、時間周波数合成部６８は式（３４）の計算を行って、主音源強調時間周波数スペクトルから出力フレーム信号を算出する。さらに時間周波数合成部６８は、出力フレーム信号に窓関数を乗算して式（３６）の計算を行い、フレーム合成により出力信号を算出する。時間周波数合成部６８は、このようにして得られた出力信号を、スピーカ駆動信号としてスピーカアレイ２６−１に供給する。
ステップＳ２９において、通信部８４は、通信部８３から送信された、副音源の空間周波数スペクトルを受信して、空間周波数合成部８５に供給する。
ステップＳ３０において、空間周波数合成部８５は、通信部８４から供給された空間周波数スペクトルに基づいて、空間領域の駆動信号を求めるとともに、その駆動信号に対して逆空間周波数変換を行い、その結果得られた時間周波数スペクトルを主音源分離部８６に供給する。すなわち、ステップＳ３０ではステップＳ２５と同様の処理が行われる。
ステップＳ３１において、主音源分離部８６は、通信部４４から供給された主音源特徴量に基づいて、空間周波数合成部８５から供給された時間周波数スペクトルを主音源成分と副音源成分とに分離させ、主音源低減部８７に供給する。ステップＳ３１では、ステップＳ２６と同様の処理が行われる。
ステップＳ３２において、主音源低減部８７は、主音源分離部８６から供給された主音源時間周波数スペクトルおよび副音源時間周波数スペクトルに基づいて式（３３）を計算することで主音源成分を低減させ、その結果得られた主音源低減時間周波数スペクトルを時間周波数合成部８８に供給する。
ステップＳ３３において、時間周波数合成部８８は、主音源低減部８７から供給された主音源低減時間周波数スペクトルの時間周波数合成を行い、その結果得られた出力信号を、スピーカ駆動信号としてスピーカアレイ２６−２に供給する。ステップＳ３３では、ステップＳ２８と同様の処理が行われる。
ステップＳ３４において、スピーカアレイ２６は音声を再生する。
すなわち、スピーカアレイ２６−１は、時間周波数合成部６８から供給されたスピーカ駆動信号に基づいて音声を再生する。これにより、スピーカアレイ２６−１から主音源の音声が出力される。
また、スピーカアレイ２６−２は、時間周波数合成部８８から供給されたスピーカ駆動信号に基づいて音声を再生する。これにより、スピーカアレイ２６−２から副音源の音声が出力される。
このようにして主音源と副音源の音声が出力されると、再現空間において、収音空間の音場が再現される。収音空間の音場が再現されると音場再現処理は終了する。
以上のようにして、主音源強調音場再現器１１は、主音源特徴量を用いて、収音により得られた時間周波数スペクトルを主音源成分と副音源成分とに分離させる。そして主音源強調音場再現器１１は、主に主音源の音声を収音して得られた時間周波数スペクトルの主音源成分を強調してスピーカ駆動信号を生成するとともに、主に副音源の音声を収音して得られた時間周波数スペクトルの主音源成分を低減させてスピーカ駆動信号を生成する。
このように適切に主音源成分を強調したり、主音源成分を低減させたりしてスピーカアレイ２６のスピーカ駆動信号を生成することで、簡単な処理で、より正確に任意の収音空間の音場を再現することができる。
〈第１の実施の形態の変形例１〉
〈主音源強調音場再現器の構成例〉
なお、以上においては、主音源直線マイクアレイおよび副音源直線マイクアレイとして、それぞれ一つずつのマイクアレイ２３が用いられる例について説明したが、主音源直線マイクアレイや副音源直線マイクアレイとして複数のマイクアレイが用いられてもよい。
そのような場合、主音源強調音場再現器は、例えば図６に示すように構成される。なお、図６において図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図６に示す主音源強調音場再現器１４１は、マイクロフォン２１、主音源学習部２２、マイクアレイ２３−１乃至マイクアレイ２３−４、主音源用駆動信号生成部２４、主音源用駆動信号生成部１５１、副音源用駆動信号生成部２５、副音源用駆動信号生成部１５２、およびスピーカアレイ２６−１乃至スピーカアレイ２６−４から構成される。
この例では、収音空間には、四つのマイクアレイ２３−１乃至マイクアレイ２３−４が正方形状に配置されている。そして、二つのマイクアレイ２３−１およびマイクアレイ２３−３が主音源直線マイクアレイとして用いられ、残りの二つのマイクアレイ２３−２およびマイクアレイ２３−４が副音源直線マイクアレイとして用いられる。
また、再現空間には、これらのマイクアレイ２３−１乃至マイクアレイ２３−４に対応するスピーカアレイ２６−１乃至スピーカアレイ２６−４が正方形状に配置されている。
主音源用駆動信号生成部２４は、図３における場合と同様に、主音源学習部２２から供給された主音源特徴量を用いて、マイクアレイ２３−１から供給された収音信号から、主に主音源の音声を再生するためのスピーカ駆動信号を生成し、スピーカアレイ２６−１に供給する。
主音源用駆動信号生成部１５１は、図３に示した主音源用駆動信号生成部２４と同様の構成とされている。主音源用駆動信号生成部１５１は、主音源学習部２２から供給された主音源特徴量を用いて、マイクアレイ２３−３から供給された収音信号から、主に主音源の音声を再生するためのスピーカ駆動信号を生成し、スピーカアレイ２６−３に供給する。したがって、スピーカアレイ２６−３では、スピーカ駆動信号に基づいて主音源の音声が再現される。
また、副音源用駆動信号生成部２５は、図３における場合と同様に、主音源学習部２２から供給された主音源特徴量を用いて、マイクアレイ２３−２から供給された収音信号から、主に副音源の音声を再生するためのスピーカ駆動信号を生成し、スピーカアレイ２６−２に供給する。
副音源用駆動信号生成部１５２は、図３に示した副音源用駆動信号生成部２５と同様の構成とされている。副音源用駆動信号生成部１５２は、主音源学習部２２から供給された主音源特徴量を用いて、マイクアレイ２３−４から供給された収音信号から、主に副音源の音声を再生するためのスピーカ駆動信号を生成し、スピーカアレイ２６−４に供給する。したがって、スピーカアレイ２６−４では、スピーカ駆動信号に基づいて副音源の音声が再現される。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。
図７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Me mory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
さらに、本技術は、以下の構成とすることも可能である。
（１）
主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調する強調部を備える
音場再現装置。
（２）
前記特徴量に基づいて、副音源の前方に位置する第２のマイクアレイにより収音して得られた第２の収音信号の主音源成分を低減させる低減部をさらに備える
（１）に記載の音場再現装置。
（３）
前記強調部は、前記特徴量に基づいて、前記第１の収音信号を主音源成分と副音源成分とに分離させ、分離された主音源成分を強調する
（２）に記載の音場再現装置。
（４）
前記低減部は、前記特徴量に基づいて、前記第２の収音信号を主音源成分と副音源成分とに分離させ、分離された副音源成分を強調することで、前記第２の収音信号の主音源成分を低減させる
（３）に記載の音場再現装置。
（５）
前記強調部は、非負値テンソル分解により前記第１の収音信号を主音源成分と副音源成分とに分離させる
（３）または（４）に記載の音場再現装置。
（６）
前記低減部は、非負値テンソル分解により前記第２の収音信号を主音源成分と副音源成分とに分離させる
（４）または（５）に記載の音場再現装置。
（７）
前記音場再現装置には、複数の前記第１のマイクアレイのそれぞれに対応する複数の前記強調部のそれぞれが設けられている
（１）乃至（６）の何れか一項に記載の音場再現装置。
（８）
前記音場再現装置には、複数の前記第２のマイクアレイのそれぞれに対応する複数の前記低減部のそれぞれが設けられている
（２）乃至（６）の何れか一項に記載の音場再現装置。
（９）
前記第１のマイクアレイは、前記第１のマイクアレイおよび前記第２のマイクアレイにより囲まれる空間と、前記主音源とを結ぶ直線上に配置されている
（２）乃至（６）の何れか一項に記載の音場再現装置。
（１０）
前記収音部は、前記主音源の近傍に配置されている
（１）乃至（９）の何れか一項に記載の音場再現装置。
（１１）
主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調する
ステップを含む音場再現方法。
（１２）
主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調する
ステップを含む処理をコンピュータに実行させるプログラム。
１１ 主音源強調音場再現器， ４２ 特徴量抽出部， ６６ 主音源分離部， ６７ 主音源強調部， ８６ 主音源分離部， ８７ 主音源低減部

Claims (11)

  1. 主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調する強調部と、
    前記特徴量に基づいて、副音源の前方に位置する第２のマイクアレイにより収音して得られた第２の収音信号の主音源成分を低減させる低減部と
    を備える音場再現装置。
  2. 前記強調部は、前記特徴量に基づいて、前記第１の収音信号を主音源成分と副音源成分とに分離させ、分離された主音源成分を強調する
    請求項１に記載の音場再現装置。
  3. 前記低減部は、前記特徴量に基づいて、前記第２の収音信号を主音源成分と副音源成分とに分離させ、分離された副音源成分を強調することで、前記第２の収音信号の主音源成分を低減させる
    請求項２に記載の音場再現装置。
  4. 前記強調部は、非負値テンソル分解により前記第１の収音信号を主音源成分と副音源成分とに分離させる
    請求項２または請求項３に記載の音場再現装置。
  5. 前記低減部は、非負値テンソル分解により前記第２の収音信号を主音源成分と副音源成分とに分離させる
    請求項３に記載の音場再現装置。
  6. 前記音場再現装置には、複数の前記第１のマイクアレイのそれぞれに対応する複数の前記強調部のそれぞれが設けられている
    請求項１乃至請求項５の何れか一項に記載の音場再現装置。
  7. 前記音場再現装置には、複数の前記第２のマイクアレイのそれぞれに対応する複数の前記低減部のそれぞれが設けられている
    請求項１乃至請求項５の何れか一項に記載の音場再現装置。
  8. 前記第１のマイクアレイは、前記第１のマイクアレイおよび前記第２のマイクアレイにより囲まれる空間と、前記主音源とを結ぶ直線上に配置されている
    請求項１乃至請求項５の何れか一項に記載の音場再現装置。
  9. 前記収音部は、前記主音源の近傍に配置されている
    請求項１乃至請求項８の何れか一項に記載の音場再現装置。
  10. 主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調し、
    前記特徴量に基づいて、副音源の前方に位置する第２のマイクアレイにより収音して得られた第２の収音信号の主音源成分を低減させる
    ステップを含む音場再現方法。
  11. 主音源の音声を収音部により収音して得られた信号から抽出された特徴量に基づいて、前記主音源の前方に位置する第１のマイクアレイにより収音して得られた第１の収音信号の主音源成分を強調し、
    前記特徴量に基づいて、副音源の前方に位置する第２のマイクアレイにより収音して得られた第２の収音信号の主音源成分を低減させる
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2016513715A 2014-04-16 2015-04-03 音場再現装置および方法、並びにプログラム Active JP6485711B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014084290 2014-04-16
JP2014084290 2014-04-16
PCT/JP2015/060554 WO2015159731A1 (ja) 2014-04-16 2015-04-03 音場再現装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2015159731A1 JPWO2015159731A1 (ja) 2017-04-13
JP6485711B2 true JP6485711B2 (ja) 2019-03-20

Family

ID=54323943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016513715A Active JP6485711B2 (ja) 2014-04-16 2015-04-03 音場再現装置および方法、並びにプログラム

Country Status (5)

Country Link
US (1) US10477309B2 (ja)
EP (1) EP3133833B1 (ja)
JP (1) JP6485711B2 (ja)
CN (1) CN106165444B (ja)
WO (1) WO2015159731A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160071526A1 (en) * 2014-09-09 2016-03-10 Analog Devices, Inc. Acoustic source tracking and selection
US10674255B2 (en) 2015-09-03 2020-06-02 Sony Corporation Sound processing device, method and program
WO2017098949A1 (ja) 2015-12-10 2017-06-15 ソニー株式会社 音声処理装置および方法、並びにプログラム
EP3188504B1 (en) 2016-01-04 2020-07-29 Harman Becker Automotive Systems GmbH Multi-media reproduction for a multiplicity of recipients
WO2017118551A1 (en) * 2016-01-04 2017-07-13 Harman Becker Automotive Systems Gmbh Sound wave field generation
WO2018042791A1 (ja) 2016-09-01 2018-03-08 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
WO2018066376A1 (ja) * 2016-10-05 2018-04-12 ソニー株式会社 信号処理装置および方法、並びにプログラム
CN110544486B (zh) * 2019-09-02 2021-11-02 上海其高电子科技有限公司 基于麦克风阵列的语音增强方法及系统
CN110767247B (zh) * 2019-10-29 2021-02-19 支付宝(杭州)信息技术有限公司 语音信号处理方法、声音采集装置和电子设备
CN111272274B (zh) * 2020-02-22 2022-07-19 西北工业大学 基于传声器随机采样的封闭空间低频声场再现方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3541339B2 (ja) * 1997-06-26 2004-07-07 富士通株式会社 マイクロホンアレイ装置
JP2006245725A (ja) * 2005-03-01 2006-09-14 Yamaha Corp マイクロフォンシステム
JP4896449B2 (ja) * 2005-06-29 2012-03-14 株式会社東芝 音響信号処理方法、装置及びプログラム
US8135143B2 (en) 2005-11-15 2012-03-13 Yamaha Corporation Remote conference apparatus and sound emitting/collecting apparatus
JP2007235646A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 音源分離装置、方法及びプログラム
JP2008118559A (ja) 2006-11-07 2008-05-22 Advanced Telecommunication Research Institute International ３次元音場再生装置
JP4928376B2 (ja) 2007-07-18 2012-05-09 日本電信電話株式会社 収音装置、収音方法、その方法を用いた収音プログラム、および記録媒体
US9113240B2 (en) * 2008-03-18 2015-08-18 Qualcomm Incorporated Speech enhancement using multiple microphones on multiple devices
JP5229053B2 (ja) * 2009-03-30 2013-07-03 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム
BRPI0924076B1 (pt) * 2009-05-12 2021-09-21 Huawei Device (Shenzhen) Co., Ltd. Sistema de telepresença e método de telepresença
JP5678445B2 (ja) * 2010-03-16 2015-03-04 ソニー株式会社 音声処理装置、音声処理方法およびプログラム
US8583428B2 (en) * 2010-06-15 2013-11-12 Microsoft Corporation Sound source separation using spatial filtering and regularization phases
KR101715779B1 (ko) * 2010-11-09 2017-03-13 삼성전자주식회사 음원 신호 처리 장치 및 그 방법
CN103238182B (zh) * 2010-12-15 2015-07-22 皇家飞利浦电子股份有限公司 具有远程噪声检测器的降噪系统
US9549277B2 (en) * 2011-05-11 2017-01-17 Sonicemotion Ag Method for efficient sound field control of a compact loudspeaker array
JP5289517B2 (ja) * 2011-07-28 2013-09-11 株式会社半導体理工学研究センター センサネットワークシステムとその通信方法
JP5494699B2 (ja) * 2012-03-02 2014-05-21 沖電気工業株式会社 収音装置及びプログラム
JP5713964B2 (ja) 2012-06-25 2015-05-07 日本電信電話株式会社 音場収音再生装置、方法及びプログラム
JP2014215461A (ja) 2013-04-25 2014-11-17 ソニー株式会社 音声処理装置および方法、並びにプログラム
US9812150B2 (en) * 2013-08-28 2017-11-07 Accusonus, Inc. Methods and systems for improved signal decomposition
JP6458738B2 (ja) 2013-11-19 2019-01-30 ソニー株式会社 音場再現装置および方法、並びにプログラム
CN106797526B (zh) 2014-10-10 2019-07-12 索尼公司 音频处理装置、方法和计算机可读记录介质
WO2016167138A1 (ja) 2015-04-13 2016-10-20 ソニー株式会社 信号処理装置および方法、並びにプログラム
US10674255B2 (en) 2015-09-03 2020-06-02 Sony Corporation Sound processing device, method and program
WO2017098949A1 (ja) 2015-12-10 2017-06-15 ソニー株式会社 音声処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
US10477309B2 (en) 2019-11-12
WO2015159731A1 (ja) 2015-10-22
EP3133833B1 (en) 2020-02-26
JPWO2015159731A1 (ja) 2017-04-13
US20170034620A1 (en) 2017-02-02
EP3133833A4 (en) 2017-12-13
CN106165444A (zh) 2016-11-23
CN106165444B (zh) 2019-09-17
EP3133833A1 (en) 2017-02-22

Similar Documents

Publication Publication Date Title
JP6485711B2 (ja) 音場再現装置および方法、並びにプログラム
JP6637014B2 (ja) 音声信号処理のためのマルチチャネル直接・環境分解のための装置及び方法
US20210089967A1 (en) Data training in multi-sensor setups
JP6807029B2 (ja) 音源分離装置および方法、並びにプログラム
JP5124014B2 (ja) 信号強調装置、その方法、プログラム及び記録媒体
JP5957446B2 (ja) 音響処理システム及び方法
US20180213309A1 (en) Spatial Audio Processing Apparatus
JP2019191558A (ja) 音声を増幅する方法及び装置
Sakamoto et al. Sound-space recording and binaural presentation system based on a 252-channel microphone array
JP2012509632A5 (ja) オーディオ信号を変換するためのコンバータ及び方法
Choisel et al. Relating auditory attributes of multichannel reproduced sound to preference and to physical parameters
Verron et al. Spectral and spatial multichannel analysis/synthesis of interior aircraft sounds
WO2021212287A1 (zh) 音频信号处理方法、音频处理装置及录音设备
Okamoto et al. Wide-band dereverberation method based on multichannel linear prediction using prewhitening filter
JP5826712B2 (ja) マルチチャネルエコー消去装置、マルチチャネルエコー消去方法、およびプログラム
Pang et al. Multichannel Speech Enhancement based on Neural Beamforming and a Context-Focused Post-Filtering Network
Frey et al. Acoustical impulse response functions of music performance halls
Jin et al. Acoustic room compensation using local PCA-based room average power response estimation
JP6774912B2 (ja) 音像生成装置
Lee The Creation of Perceptually Optimized Sound Zones Using Variable Span Trade-Off Filters
Sakamoto et al. Binaural rendering of spherical microphone array recordings by directly synthesizing the spatial pattern of the head-related transfer function
Saini et al. An end-to-end approach for blindly rendering a virtual sound source in an audio augmented reality environment
Frey The Derivation of the Acoustical Impulse Response Function of
CN117079623A (zh) 音频降噪模型训练方法、歌唱作品处理方法、设备和介质
Juan et al. Synthesis of perceived distance in wave field synthesis

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180329

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190206

R151 Written notification of patent or utility model registration

Ref document number: 6485711

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151