JP7409833B2 - 音源分離装置及び音源分離方法 - Google Patents

音源分離装置及び音源分離方法 Download PDF

Info

Publication number
JP7409833B2
JP7409833B2 JP2019209838A JP2019209838A JP7409833B2 JP 7409833 B2 JP7409833 B2 JP 7409833B2 JP 2019209838 A JP2019209838 A JP 2019209838A JP 2019209838 A JP2019209838 A JP 2019209838A JP 7409833 B2 JP7409833 B2 JP 7409833B2
Authority
JP
Japan
Prior art keywords
sound source
sound
directional
vibrator
directional vibrator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019209838A
Other languages
English (en)
Other versions
JP2020092420A (ja
Inventor
誠 贊 姜
載 興 金
容 燮 尹
忠 鎬 李
赫 基 洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2020092420A publication Critical patent/JP2020092420A/ja
Application granted granted Critical
Publication of JP7409833B2 publication Critical patent/JP7409833B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R17/00—Piezoelectric transducers; Electrostrictive transducers
    • H04R17/02—Microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本発明は、音源分離装置及び音源分離方法に係り、さらに詳細には、複数の方向性振動体を利用し、２個の音源からの音を分離することができる音源分離装置及び音源分離方法に関する。
生活家電製品、映像ディスプレイ装置、仮想現実装置、拡張現実装置、人工知能スピーカなどに装着され、音が来る方向を探知し、音声を認識することができる音響センサの活用性が増大している。特に、互いに異なる２個の方向に位置した音源からの音をそれぞれ分離して識別する音響センサの有用性が増大している。
公知された音源分離方法には、例えば、ＩＣＡ（ｉｎｄｅｐｅｎｄｅｎｔ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）、ＧＳＳ（ｇｅｏｍｅｔｒｉｃ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ）などがある。ＩＣＡ方式またはＧＳＳ方式は、多数のマイクロホンに入力された信号を、時間・周波数領域変換を介して分析し、位置を推定した後、音源の特性を抽出して分離するのである。また、最近では、深層神経網技術を利用し、多数の音源を学習した後、学習された結果を基に、音源を分離する方法も開発されている。
米国特許第５６２５６９７号明細書 韓国公開特許第２０１７－００５０９０８号公報 米国特許第７７１６０４４号明細書 特許第３７２０７９５号明細書
本発明は、音源分離装置及び音源分離方法を提供する。
一実施形態による音源分離装置は、音が入力される音引入口と、前記音引入口を介して入力された音が出力される音排出口と、前記音引入口と前記音排出口との間の平面において、前記音引入口の中心と鉛直に対向する前記平面上の中心点を取り囲む形態に配列されたものであり、前記音引入口に入力される音の方向により、選択的に１以上が反応するように構成された複数の方向性振動体と、前記複数の方向性振動体の出力信号の強度を基に、互いに異なる第１音源と第２音源との方向を決定し、前記第１音源からの音と、第２音源からの音とをそれぞれ分離して獲得するために、前記複数の方向性振動体のうち、互いに異なる第１方向性振動体と第２方向性振動体とを選択するように構成された制御回路と、を含んでもよい。
前記制御回路は、第１方向性振動体の第１出力信号を基に、前記第１音源からの音情報を獲得し、前記第２方向性振動体の第２出力信号を基に、前記第２音源からの音情報を獲得するようにも構成される。
前記制御回路は、前記複数の方向性振動体のうち、前記第１音源の方向に対して最も敏感度が高い方向性振動体を、第１方向性振動体として選択し、前記複数の方向性振動体のうち、前記第２音源の方向に対して最も敏感度が高い方向性振動体を、第２方向性振動体として選択するようにも構成される。
前記制御回路は、前記複数の方向性振動体のうち、前記第１音源の方向に向けて配置された方向性振動体を、第１方向性振動体として選択し、前記複数の方向性振動体のうち、前記第２音源の方向に向けて配置された方向性振動体を、第２方向性振動体として選択するようにも構成される。
前記制御回路は、前記第１方向性振動体の第１出力信号に、前記第２音源の音が寄与した比率、及び前記第２方向性振動体の第２出力信号に、前記第１音源の音が寄与した比率を基に、第１出力信号と第２出力信号とを演算し、前記第１音源の音と、前記第２音源の音との情報を獲得するようにも構成される。
例えば、前記第１方向性振動体の第１出力信号をＣ１、前記第２方向性振動体の第２出力信号をＣ２、前記第１音源の音信号をＳ１、前記第２音源の音信号をＳ２、前記第１出力信号に、前記第２音源の音が寄与した比率をα、前記第２出力信号に、前記第１音源の音が寄与した比率をβとするとき、
Ｃ１＝Ｓ１＋αＳ２
Ｃ２＝Ｓ２＋βＳ１であり、
Ｓ１＝（Ｃ１－αＣ２）／（１－αβ）
Ｓ２＝（Ｃ２－βＣ１）／（１－αβ）にもなる。
前記第１方向性振動体の第１出力信号に、前記第２音源の音が寄与した比率は、前記第１方向性振動体と前記第２音源との角度によって決定され、前記第２方向性振動体の第２出力信号に、前記第１音源の音が寄与した比率は、前記第２方向性振動体と前記第１音源との角度によっても決定される。
前記音源分離装置は、それぞれの方向性振動体に入射する音の方向によるそれぞれの方向性振動体の敏感度を保存したメモリをさらに含んでもよい。
前記制御回路は、前記第１音源の方向を中心に、第１角度範囲内に配列された複数の方向性振動体のうち、前記第２音源の方向に対して最も敏感度が低い方向性振動体を、第１方向性振動体として選択し、前記第２音源の方向を中心に、第２角度範囲内に配列された複数の方向性振動体のうち、前記第１音源の方向に対して最も敏感度が低い方向性振動体を、第２方向性振動体として選択するようにも構成される。
前記制御回路は、前記第１音源からの音が小さくなる時間の間、前記第２音源の方向を決定し、前記第２音源からの音が小さくなる時間の間、前記第１音源の方向を決定するようにも構成される。
前記制御回路は、１８０°の角度範囲内に配列された複数の方向性振動体の出力信号の強度が、２個の以上のピークを有する場合、２個以上の音源が存在すると判断し、１８０°の角度範囲内に配列された複数の方向性振動体の出力信号の強度が１つのピークを有する時間の間、１つの音源の方向を決定するようにも構成される。
前記制御回路は、前記複数の方向性振動体のうち、出力信号の強度が最大である方向性振動体の配置方向を、第１音源または第２音源の方向に決定するようにも構成される。
前記制御回路は、前記複数の方向性振動体のうち、出力信号の強度が最小である方向性振動体の配置方向に垂直した方向を、第１音源または第２音源の方向に決定するようにも構成される。
前記制御回路は、出力信号の強度が最小である方向性振動体に対し、＋９０゜に配置された方向性振動体の振動強度と、出力信号の強度が最小である方向性振動体に対し、－９０゜に配置された方向性振動体の出力信号の強度とを比較し、出力信号の強度がさらに強い方向性振動体の配置方向を、第１音源または第２音源の方向に決定するようにも構成される。
前記音源分離装置は、音が入力される方向と関係なく反応する無方向性振動体をさらに含んでもよい。
前記制御回路は、出力信号の強度が最小である方向性振動体に対し、＋９０゜に配置された方向性振動体の位相と、振動強度が最小である方向性振動体に対し、－９０゜に配置された方向性振動体の位相と、を前記無方向性振動体の位相と比較し、前記無方向性振動体の位相と最も近い位相を有する方向性振動体の配置方向を、第１音源または第２音源の方向に決定するようにも構成される。
前記複数の方向性振動体と前記無方向性振動体は、同一平面上に配列され、前記複数の方向性振動体は、前記無方向性振動体を取り囲む形態にも配列される。
前記複数の方向性振動体は、前記中心点に対して、所定の対称性を有するようにも配列される。
前記音排出口は、前記複数の方向性振動体全体に対向するようにも形成される。
前記音排出口は、前記複数の方向性振動体それぞれと対向する複数個にも具備される。
前記複数の方向性振動体は、同一共振周波数を有することができる。
前記複数の方向性振動体は、互いに異なる共振周波数を有する複数の方向性振動体を含んでもよい。
他の実施形態による音源分離方法は、音引入口を介して音を受信し、音排出口を介して音を排出する段階と、前記音引入口と前記音排出口との間の平面において、前記音引入口の中心と鉛直に対向する前記平面上の中心点を取り囲む形態に配列されたものであり、前記音引入口に入力される音の方向により、選択的に１以上が反応するように構成された複数の方向性振動体の出力信号の強度を基に、互いに異なる第１音源と第２音源との方向を決定する段階と、前記第１音源からの音と、第２音源からの音とをそれぞれ分離して獲得するために、前記複数の方向性振動体のうち、互いに異なる第１方向性振動体と第２方向性振動体とを選択する段階と、前記第１方向性振動体と第２方向性振動体とを利用して音情報を獲得する段階と、を含んでもよい。
さらに他の実施形態による音源分離装置は、１以上の命令を保存するメモリと、前記１以上の命令を遂行するプロセッサと、を含んでもよく、前記プロセッサは、音引入口と音排出口との間の平面において、前記音引入口の中心と鉛直に対向する前記平面上の中心点を取り囲む形態に配列されたものであり、前記音引入口に入力される音の方向により、選択的に１以上が反応するように構成された複数の方向性振動体の出力信号の強度を基に、互いに異なる第１音源と第２音源との方向を決定し、前記第１音源からの音と、第２音源からの音とをそれぞれ分離して獲得するために、前記複数の方向性振動体のうち、互いに異なる第１方向性振動体と第２方向性振動体とを選択し、前記第１方向性振動体と第２方向性振動体とを利用して音情報を獲得するようにも構成される。
一実施形態による音源分離装置の概略的な構成を示す平面図である。 図１に図示された音源分離装置に係わるＡ－Ａ’断面図である。 図１に図示された音源分離装置に具備された複数の方向性振動体のうち一つの構造を詳細に示す断面図である。 図１に図示された音源分離装置に具備された複数の方向性振動体のうち一つの構造を詳細に示す平面図である。 他の実施形態による音源分離装置の概略的な構成を示す平面図である。 図４に図示された音源分離装置に係わるＡ－Ａ’断面図である。 複数の方向性振動体のうち一部を例示し、方向性振動体の動作原理及び指向性利得特性を示す図面である。 複数の方向性振動体のうち、１つの方向性振動体の指向性特性を例示的に示すグラフである。 一方向から音が入力されたとき、音源分離装置に具備された全ての方向性振動体の出力を例示的に示すグラフである。 ２個の互いに異なる方向から音が入力されたとき、音源分離装置に具備された全ての方向性振動体の出力を例示的に示すグラフである。 互いに異なる２つの音源から放出された音の波形を例示的に示す図面である。 多様な状況において音を分離するために、方向性振動体を選択する例を示す図面である。 多様な状況において音を分離するために、方向性振動体を選択する例を示す図面である。 多様な状況において音を分離するために、方向性振動体を選択する例を示す図面である。 多様な状況において音を分離するために、方向性振動体を選択する例を示す図面である。 選択された方向性振動体の組み合わせによる音声認識テスト結果を例示的に示すグラフである。 さらに他の実施形態による音源分離装置の概略的な構成を示す平面図である。 図１３に図示された音源分離装置に係わるＡ－Ａ’断面図である。 一方向に音が入力されたとき、１つの無方向性振動体、及び互いに対向する２個の方向性振動体の振動位相を例示的に示すグラフである。 一実施形態による事物インターネット（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）装置の概略的な構成を示すブロック図である。 図１６に図示された事物インターネット装置が日常生活に適用される動作を例示的に示す図面である。 一実施形態による自動車音声インターフェース装置の概略的な構成を示すブロック図である。 一実施形態による自動車音声インターフェース装置が自動車に適用された動作を例示的に示す図面である。 一実施形態による空間録音（ｓｐａｔｉａｌ ｒｅｃｏｒｄｉｎｇ）装置の概略的な構成を示すブロック図である。 一実施形態による全方向カメラの概略的な構成を示すブロック図である。
以下、添付された図面を参照し、音源分離装置及び音源分離方法について詳細に説明する。以下の図面において、同一参照符号は、同一構成要素を指し、図面上において、各構成要素の大きさは、説明の明瞭さと便宜さのために誇張されてもいる。また、以下で説明される実施形態は、単に例示的なものに過ぎず、そのような実施形態から、多様な変形が可能である。また、以下で説明する層構造において、「上部」であったり「上」であったりと記載された表現は、接触して真上にあるだけではなく、非接触で上にあるものも含んでもよい。
図１は、一実施形態による音源分離装置の概略的な構成を示す平面図である。図２は、図１に図示された音源分離装置に係わるＡ－Ａ’断面図である。図１及び図２を参照すれば、一実施形態による音源分離装置１００は、音が入力される音引入口（ｉｎｌｅｔ）１３４、音引入口１３４を介して入力された音が排出される音排出口（ｏｕｔｌｅｔ）１３５、音引入口１３４と音排出口１３５との間に配列された複数の方向性振動体１１０＿ｋを含んでもよい。ここで、複数の方向性振動体１１０＿ｋの個数をＮとするとき、ｋは、１からＮまでの整数である。
方向性振動体１１０＿ｋの個数Ｎにより、音源分離装置１００の物理的な角度分解能が決定される。例えば、音源分離装置１００の物理的分解能は、３６０゜／Ｎとも表現される。音源分離装置１００は、複数の方向性振動体１１０＿ｋそれぞれの出力信号の強度を比較し、入射する音の方向を探知することができ、相互比較する方向性振動体１１０＿ｋの個数が多くなるほど、さらに高い各分解能の獲得が可能である。
複数の方向性振動体１１０＿ｋは、音引入口１３４に入力される音の方向により、選択的に１以上が反応するように配列される。複数の方向性振動体１１０＿ｋは、音引入口１３４周囲を取り囲む形態にも配列される。複数の方向性振動体１１０＿ｋは、互いに重なることなしに平面的に配列され、音引入口１３４に対して、複数の方向性振動体１１０＿ｋ全体が露出されるようにも配列される。複数の方向性振動体１１０＿ｋは、図１に図示されているように、同一平面上にも配列される。また、複数の方向性振動体１１０＿ｋは、音引入口１３４の中心と鉛直に対向する前記平面上の中心点Ｃを取り囲む形態にも配列される。図１においては、複数の方向性振動体１１０＿ｋが、中心点Ｃを円形で取り囲むように図示されているが、それは、単に例示的なものである。複数の方向性振動体１１０＿ｋ配列は、それに限定されるものではなく、中心点Ｃに対して所定の対称性を有する多様な形態にも配列される。例えば、複数の方向性振動体１１０＿ｋは、多角形や楕円形の軌跡をなす形態にも配列される。本実施形態によれば、複数の方向性振動体１１０＿ｋは、検出される音の周波数特性によって異なる構成を提供するように異なる平面上にも配列される。
音排出口１３５は、複数の方向性振動体１１０＿ｋの個数と同一個数に設けられ、複数の方向性振動体１１０＿ｋのそれぞれと対向するようにも配置される。音引入口１３４と音排出口１３５との大きさや形状は、特別に制限されるものではなく、複数の方向性振動体１１０＿ｋを同一程度に露出させることができる任意の大きさと形状とを有することができる。
音引入口１３４と音排出口１３５との形成のために、音引入口１３４と音排出口１３５との形状に対応する開口が形成されたケース１３０が使用される。ケース１３０は、音響を遮断することができる多様な材質からもなる。例えば、ケース１３０は、アルミニウムのような材質が使用される。ケース１３０に形成された音引入口１３４と音排出口１３５は、図１に図示された形状に限定されるものではない。
ケース１３０の内部には、複数の方向性振動体１１０＿ｋを支持し、複数の方向性振動体１１０＿ｋが音に反応して振動する空間を提供する支持部１２０が配置される。支持部１２０は、基板内にホールを形成しても設けられる。該ホールは、図１に図示されているように、基板に貫通ホールＴＨを形成しても設けられる。複数の方向性振動体１１０＿ｋは、支持部１２０に一端が支持され、貫通ホールＴＨと対向するようにも配置される。貫通ホールＴＨは、方向性振動体１１０＿ｋが、外力によって振動する空間を提供し、それを満足する限り、形状や大きさは、特別に限定されるものではない。支持部１２０は、シリコン基板など多様な材質によっても形成される。
音源分離装置１００は、複数の方向性振動体１１０＿ｋの出力信号の強度を比較し、方位角方向に互いに異なる位置にある２個以上の音源の方向を探知し、探知された音源の方向を基に、音情報を獲得する方向性振動体１１０＿ｋを選択する制御回路１４０をさらに含んでもよい。また、音源分離装置１００は、音の入射方向によるそれぞれの方向性振動体１１０＿ｋの敏感度のようなデータを保存するメモリ１４１をさらに含んでもよい。
図３Ａは、図１に図示された音源分離装置１００に具備された複数の方向性振動体１１０＿ｋのうち一つの構造を詳細に示す断面図であり、図３Ｂは、図１に図示された音源分離装置１００に具備された複数の方向性振動体１１０＿ｋのうち一つの構造を詳細に示す平面図である。図３Ａ及び図３Ｂを参照すれば、方向性振動体１１０＿ｋは、支持部１２０に固定される固定部１０、信号に反応して稼動される稼動部３０、及び稼動部３０の動きをセンシングする感知部２０を含んでもよい。方向性振動体１１０＿ｋは、また、稼動部３０に所定の質量ｍを提供するための質量体４０をさらに含んでもよい。
稼動部３０は、例えば、弾性フィルムからもなる。該弾性フィルムは、長さＬ、幅Ｗを有することができ、質量体４０の質量ｍと共に、方向性振動体１１０＿ｋの共振特性を決定する要素になる。該弾性フィルムとしては、シリコン、金属、ポリマーなどの材質が使用される。一実施形態において、方向性振動体１１０＿ｋの共振周波数は、異なる重量の質量体４０を使用し、かつ／または方向性振動体１１０＿ｋの長さを変更することによっても調節される。
感知部２０は、稼動部３０の動きをセンシングするセンサ層を含んでもよい。感知部２０は、例えば、圧電素子を含んでもよい。その場合、感知部２０は、電極層、圧電物質層及び電極層が積層された構造を有することができる。該圧電物質としては、例えば、ＺｎＯ、ＳｎＯ、ＰＺＴ、ＺｎＳｎＯ３、ポリフッ化ビニリデン（ＰＶＤＦ）、ポリ（フッ化ビニリデン－トリフルオロエチレン）（Ｐ（ＶＤＦ－ＴｒＦＥ））、ＡｌＮまたはＰＭＮ－ＰＴなどが使用される。該電極層として、金属材料や、それ以外にも多様な導電性材料が使用される。
方向性振動体１１０＿ｋの幅、厚みのような具体的な数値は、方向性振動体１１０＿ｋに対して所望する共振周波数を考慮しても決定される。例えば、それぞれの方向性振動体１１０＿ｋは、大体数μｍから数百μｍの幅、数μｍ以下の厚み、及び大体数ｍｍ以下の長さを有することができるが、それらに限定されるものではない。そのような微細サイズの方向性振動体１１０＿ｋは、ＭＥＭＳ（ｍｉｃｒｏ ｅｌｅｃｔｒｏ ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍ）工程によっても作製される。
方向性振動体１１０＿ｋは、外部信号に反応し、Ｚ方向に沿って上下に振動し、変位（ｚ）に比例する出力を示すことになる。変位（ｚ）は、次の運動方程式による。
ここで、ｃは、ダンピング係数（ｄａｍｐｉｎｇ ｃｏｅｆｆｉｃｉｅｎｔ）であり、ｋは、弾性係数である。そして、Ｆ０ｃｏｓ ωｔは、外力（ｄｒｉｖｉｎｇ ｆｏｒｃｅ）であり、方向性振動体１１０＿ｋに入射される信号による作用を示す。ｋ値は、稼動部３０の物性と形状とによって決定される。
方向性振動体１１０＿ｋは、共振周波数ｆ０を中心にし、所定のバンド幅を有する周波数応答特性を示す。共振周波数ｆ０は、次の通りである。
そのように、音源分離装置１００に具備された方向性振動体１１０＿ｋは、設計された中心周波数を中心にする所定帯域の周波数を有する音を感知することができる。従って、中心周波数の設計において、与えられた環境において、活用性が高い周波数帯域を選択し、選択された周波数帯域に合うように、方向性振動体１１０＿ｋを具現することができる。
一実施形態による音源分離装置１００は、各位置に具備された方向性振動体１１０＿ｋが、いずれも同一共振周波数を有するように、同一長にも設定される。しかし、必ずしもそれに限定されるものではなく、複数の方向性振動体１１０＿ｋが互いに異なる共振周波数を有するように変形することも可能である。
また、図４は、他の実施形態による音源分離装置の概略的な構成を示す平面図であり、図５は、図４に図示された音源分離装置に係わるＡ－Ａ’断面図である。図４及び図５を参照すれば、音源分離装置１０１は、音が入力される音引入口１３４、音引入口１３４を介して入力された音が排出される音排出口１３７、及び音引入口１３４と音排出口１３７との間に配列された複数の方向性振動体１１０＿ｋを含んでもよい。ここで、複数の方向性振動体１１０＿ｋの個数をＮとするとき、ｋは、１からＮまでの整数である。
図４及び図５に図示された音源分離装置１０１は、音排出口１３７の形状において、図１及び図２に図示された音源分離装置１００と違いがあり、残り構成は、実質的に同一である。例えば、音排出口１３７は、複数の方向性振動体１１０＿ｋに対して、個別的に設けられるものではなく、１つの音排出口１３７が、複数の方向性振動体１１０＿ｋに対して共有される形態を有する。言い換えれば、１つの音排出口１３７が、複数の方向性振動体１１０＿ｋ全体と対向する。図４及び図５に図示された音排出口１３７の大きさは、例示的なものであり、音排出口１３７の大きさは、それより小さくともよい。
音引入口１３４と音排出口１３７との形成のために、音引入口１３４と音排出口１３７との形状に対応する開口が形成されたケース１３１が使用される。音排出口１３７の大きさは、特定されなくともよい。例えば、複数の方向性振動体１１０＿ｋに対して、音引入口１３４向かい側の空間がいずれも開かれた形態にもなる。そのように、開かれた空間が音排出口１３７として機能することができる。
前述の実施形態による音源分離装置１００，１０１において、複数の方向性振動体１１０＿ｋにおいて、方向性がある音が入射される経路に置かれている１以上の方向性振動体１１０＿ｋが、音に反応して振動する。例えば、図２に図示されているように、丸１の経路で音が入力されれば、この経路上に置かれた方向性振動体１１０＿１を含み、それと隣接した１以上の方向性振動体が振動することができる。また、丸２の経路で音が入力されれば、この経路上に置かれた方向性振動体１１０＿９を含み、それと隣接した１以上の方向性振動体が振動することができる。従って、入射された音の方向による複数の方向性振動体１１０＿ｋの出力を考慮し、入射された音の方向を知ることができる。
一実施形態において、方向性振動体の変位は、音引入口１３４の大きさと、音排出口１３５との大きさとの関係によっても異なる。例えば、音排出口１３５が音引入口１３４より大きい場合、音が入力される方向に対して１８０°方向にある方向性振動体１１０＿９の変位は、０°の方向から入力された音に応答する方向性振動体１１０＿１の変位よりも大きくなる。他の実施形態において、音引入口１３４の大きさが、音排出口１３５の大きさと同一である場合、０°の方向（すなわち、方向性振動体１１０＿１）から入力された音に応答して発生した出力は、１８０°の方向（すなわち、方向性振動体１１０＿９）から入力された音に応答して発生した出力と同一であろう。
図６は、複数の方向性振動体１１０＿ｋのうち一部を例示し、方向性振動体１１０＿ｋの動作原理及び指向性利得特性を示す。図６を参照すれば、複数の方向性振動体Ａ，Ｂ，Ｃのそれぞれは、音引入口１３４を中心とする円の半径方向の指向角を有する単位音響センサになる。それぞれの単位音響センサの指向性利得曲線は、８字（ｆｉｇｕｒｅ ｏｆ ｅｉｇｈｔ）形態になる。そのような指向性利得曲線により、音源分離装置１００，１０１は、全方向から入力される信号に対して選択的に反応する方向性振動体１１０＿ｋの出力が重畳（ｓｕｐｅｒｐｏｓｉｔｉｏｎ）されて形成された出力を有することになる。
一方、それぞれの方向性振動体１１０＿ｋは、その配置位置によって好む角度があり、それを主要方向（ｐｒｉｎｃｉｐａｌ ｄｉｒｅｃｔｉｏｎ）という。出力形成において、主要方向の音については、大きく寄与し、それ以外の方向の音については、小さく寄与する。従って、あらゆる、任意の方向に入射された音に対して、複数の方向性振動体１１０＿ｋそれぞれの出力サイズを単純に比較することにより、入射された音の方向を推定することができる。
図７は、複数の方向性振動体１１０＿ｋのうち１つの方向性振動体の指向性特性を例示的に示すグラフである。図７において、６４個の方向性振動体１１０＿ｋが１つの平面上で円形に配列されており、それぞれの方向性振動体１１０＿ｋは、音引入口１３４の中心と鉛直に対向する前記平面上の中心点Ｃに向けて整列されていると仮定した。しかし、方向性振動体１１０＿ｋの個数は、６４に限定されるものではなく、実際には、６４個より多くの個数の方向性振動体１１０＿ｋが使用されてもよい。図７を参照すれば、１８０°方向に配置された方向性振動体は、１８０°と０°との方向から入射する音に対して最大の出力を有し、－９０°と＋９０°との方向から入射する音に対して最小出力を有する８字形利得特性を示す。特に、１８０°方向から入射する音に対する出力が、０°方向から入射する音に対する出力より若干大きい。
図８は、一方向から音が入力されたとき、音源分離装置１００，１０１に具備された全方向性振動体１１０＿ｋの出力を例示的に示すグラフである。図８において、６４個（図中、横軸のチャネル）の方向性振動体１１０＿ｋが配列されており、１番から６４番までの方向性振動体が、０°方向から時計回り方向に沿って配列されており、１８０°方向に位置した３３番方向性振動体の長手方向に沿い、３３番方向性振動体に向けて音が入射すると仮定した。図８を参照すれば、１番方向性振動体近辺と、その反対側に配置された３３番方向性振動体近辺とにおいて、それぞれ出力のピークが形成される。そして、１番方向性振動体の＋９０°方向に配置された１７番方向性振動体近辺と、１番方向性振動体の－９０°方向に配置された４９番方向性振動体近辺とにおいて、出力が最小になる。特に、３３番方向性振動体近辺において、出力が最も大きい。
結果として、複数の方向性振動体１１０＿ｋにおいて、音が入射する側に配置された方向性振動体の出力が最も大きく、音が入射する方向の±９０°角度に配置された方向性振動体の出力が最も小さい。従って、音源分離装置１００，１０１の制御回路１４０は、出力が最大である方向性振動体、または出力が最も小さい方向性振動体を利用し、入力される音の方向、言い換えれば、音源の方向を決定することができる。
例えば、制御回路１４０は、複数の方向性振動体１１０＿ｋにおいて、出力信号の強度が最大である方向性振動体の配置方向を、音源の方向に決定することができる。代わりに、制御回路１４０は、複数の方向性振動体１１０＿ｋにおいて、出力信号の強度が最小である方向性振動体の配置方向に垂直の方向を、音源の方向に決定することができる。特に、制御回路１４０は、信号の強度が最小である方向性振動体に対し、＋９０゜に配置された方向性振動体の振動強度と、出力信号の強度が最小である方向性振動体に対し、－９０゜に配置された方向性振動体の出力信号の強度とを比較し、出力信号の強度がさらに強い方向性振動体の配置方向を音源の方向と決定することができる。
方位角方向に互いに異なる位置にある２個の音源から同時に音が入射する場合には、２つの音源の出力が経時的に違いがある点を利用し、２音源の方向を知ることができる。例えば、２つの音源のうち第１音源の出力が小さくなり、第２音源の出力が大きくなる時間の間、前述の方法により、第２音源の方向を決定することができる。そして、２つの音源のうち第１音源の出力が大きくなり、第２音源の出力が小さくなる他の時間の間、前述の方法により、第１音源の方向を決定することができる。
例えば、図９は、２個の互いに異なる方向から音が入力されたとき、音源分離装置１００，１０１に具備された全方向性振動体１１０＿ｋの出力を例示的に示すグラフである。図９においては、６４個の方向性振動体１１０＿ｋが配列されており、１番から６４番までの方向性振動体が、０°方向から時計回り方向に沿って配列されていると仮定した。そして、１８０°方向に位置した３３番方向性振動体の長手方向に沿い、３３番方向性振動体に向け、第１音源から音が入射し、それと同時に、９０°方向に位置した１７番方向性振動体の長手方向に沿い、１７番方向性振動体に向け、第２音源から他の音が入射すると仮定した。言い換えれば、第１音源が１８０°方向に位置し、第２音源９０°方向に位置すると仮定した。
図９を参照すれば、第１音源による方向性振動体１１０＿ｋの出力を示すグラフＩは、１番方向性振動体近辺と、その反対側に配置された３３番方向性振動体近辺とにおいて、それぞれ出力のピークが形成され、１７番方向性振動体近辺と、４９番方向性振動体近辺とにおいて、出力が最小になる。第２音源による方向性振動体１１０＿ｋの出力を示すグラフＩＩは、１７番方向性振動体近辺と、その反対側に配置された４９番方向性振動体近辺とにおいて、それぞれ出力のピークが形成され、１番方向性振動体近辺と、３３番方向性振動体近辺とにおいて出力が最小になる。
第１音源と第２音源とから同時に同一強度の音が入力されれば、方向性振動体１１０＿ｋの出力は、グラフＩとグラフＩＩとを合わせたグラフＩＩＩのようになる。結果として、１８０°の角度範囲内において、多数のピークが形成される。従って、制御回路１４０は、方向性振動体１１０＿ｋの出力を分析し、１８０°の角度範囲内に配列された複数の方向性振動体１１０＿ｋの出力信号の強度が、２個の以上のピークを有する場合、２個以上の音源が存在すると判断することができる。または、制御回路１４０は、方向性振動体１１０＿ｋの出力において明らかなピークと、明らかな最小点とを求めることができない場合、２個以上の音源が存在すると判断することができる。
第１音源と第２音源とからそれぞれ来る音の強度は、経時的に大きくなったり小さくなったりする。例えば、図１０は、互いに異なる２つの音源から放出された音の波形を例示的に示す。図１０に図示されているように、第１音源からの音と、第２音源からの音は、経時的に大きくなったり小さくなったりすることを反復する。そして、第１音源の音が小さくなると共に、第２音源の音が大きくなり、第２音源の音が小さくなると共に、第１音源の音の大きくなる瞬間が存在する。例えば、図１０において、時間Ｔ１の間には、第１音源の音が小さく、第２音源の音が大きい。そして、時間Ｔ２の間には、第２音源の音が小さく、第１音源の音が大きい。
それにより、制御回路１４０は、時間Ｔ１の間、第２音源の方向を決定し、時間Ｔ２の間、第１音源の方向を決定することができる。例えば、制御回路１４０は、方向性振動体１１０＿ｋの出力を分析し、１８０°の角度範囲内に配列された複数の方向性振動体１１０＿ｋの出力信号の強度が、１つの明らかなピークと、１つの明らかな最小点とを有する時間の間、１つの音源の方向を決定することができる。図９のグラフを参照すれば、方向性振動体１１０＿ｋの出力が、グラフＩＩＩからグラフＩに変わる瞬間、制御回路１４０は、第１音源の方向を決定することができる。そして、方向性振動体１１０＿ｋの出力が、グラフＩＩＩからグラフＩＩに変わる瞬間、制御回路１４０は、第２音源の方向を決定することができる。
第１音源の方向と第２音源との方向を決定した後、制御回路１４０は、複数の方向性振動体１１０＿ｋにおいて、第１音源からの音情報を獲得するための方向性振動体と、第２音源からの音情報を獲得するための方向性振動体とを選択することができる。特に、制御回路１４０は、第１音源からの音と、第２音源からの音とをそれぞれ効果的に分離して獲得することができるように、２個の方向性振動体を選択することができる。
図７に図示されているように、方向性振動体は、その長手方向に来る音に対して最も敏感である。そして、方向性振動体の長手方向と、音の方向との角度差が大きくなるほど、方向性振動体の敏感度がだんだんと低くなり、方向性振動体の長手方向に垂直に来る音に対して、方向性振動体の敏感度が最小になる。図７の例において、方向性振動体の長手方向を中心に±３０°までは、方向性振動体の敏感度が大きく低くならず、およそ±６０°ほどにおいて、およそ－５ｄＢほどに敏感度が低くなる。そして、±９０°ほどにおいては、およそ－１５ｄＢ未満に敏感度が低くなる。そのような方向性振動体の方向性特性を考慮し、クロストークを最小化させることができるように、方向性振動体を選択することができる。
例えば、図１１Ａないし図１１Ｄは、多様な状況において音を分離するために、方向性振動体を選択する例を示す。図１１Ａないし図１１Ｄにおいて、線形に表示された領域Ａ，Ｂは、選択された方向性振動体が音を好ましく獲得することができる角度範囲を示す。
まず、図１１Ａは、ただ１つの音源が０°方向に配置された場合である。その場合には、複数の方向性振動体１１０＿ｋにおいて、簡単に音源の方向に配置された方向性振動体を選択し、音情報を獲得することができる。図１１Ａにおいて、放射方向に延長された複数の線分は、複数の方向性振動体１１０＿ｋを示し、そのうち点線で表示されたものは、選択された方向性振動体を示す。
また、図１１Ｂは、第１音源と第２音源とが互いに９０°離れている場合である。その場合にも、複数の方向性振動体１１０＿ｋにおいて、第１音源の方向に配置された第１方向性振動体を選択し、第１方向性振動体の出力信号を基に、第１音源からの音情報を獲得することができる。そして、複数の方向性振動体１１０＿ｋにおいて、第２音源の方向に配置された第２方向性振動体を選択し、第２方向性振動体の出力信号を基に、第２音源からの音情報を獲得することができる。その場合、第１音源からの音の方向は、第２方向性振動体の長手方向に垂直であるので、第１音源の音が、第２方向性振動体に与える影響は小さい。同様に、第２音源からの音の方向は、第１方向性振動体の長手方向に垂直であるので、第２音源の音が、第１方向性振動体に与える影響は小さい。従って、第１音源と第２音源とが互いに９０°以上離れていれば、制御回路１４０は、複数の方向性振動体１１０＿ｋにおいて、第１音源の方向に対して、最も敏感度が高い方向性振動体を、第１方向性振動体として選択し、複数の方向性振動体１１０＿ｋにおいて、第２音源の方向に対して、最も敏感度が高い方向性振動体を、第２方向性振動体として選択することができる。
図１１Ｃは、第１音源と第２音源との角度が９０°未満である場合である。例えば、図１１Ｃにおいて、第１音源と第２音源との角度は６０°でもある。図１１Ｃの例においては、図１１Ｂの例と同様に、複数の方向性振動体１１０＿ｋにおいて、第１音源の方向に配置された第１方向性振動体を選択し、第１音源の音情報を獲得し、第２音源の方向に配置された第２方向性振動体を選択し、第２音源の音情報を獲得した。言い換えれば、複数の方向性振動体１１０＿ｋにおいて、第１音源の方向に対して、最も敏感度が高い方向性振動体を、第１方向性振動体として選択し、複数の方向性振動体１１０＿ｋにおいて、第２音源の方向に対して、最も敏感度が高い方向性振動体を、第２方向性振動体として選択した。
しかし、図１１Ｃのように、第１音源と第２音源との角度が９０°未満である場合にも、敏感度が最大である方向性振動体を選択すれば、干渉が大きくなり、音源分離が十分になされない。例えば、選択された第１方向性振動体で受信される第２音源の音が大きくなり、選択された第２方向性振動体で受信される第１音源の音が大きくなりもする。それにより、第１方向性振動体及び第２方向性振動体においてそれぞれ受信された音にノイズが増加することになる。
図１１Ｄは、第１音源と第２音源との角度が６０°である場合、図１１Ｃと異なる方式により、方向性振動体を選択した例を示す。図１１Ｄの場合には、目標音源以外の音源に対し、敏感度が最も小さい方向性振動体を選択した。例えば、複数の方向性振動体１１０＿ｋにおいて、第１音源の音を十分に獲得することができ、第２音源に対して敏感度が最も低い方向性振動体を、第１方向性振動体として選択し、第１音源の音情報を獲得し、第２音源の音を十分に獲得することができ、第１音源に対して敏感度が最も低い方向性振動体を、第２方向性振動体として選択し、第２音源の音情報を獲得することができる。
言い換えれば、制御回路１４０は、第１音源の方向を中心に、所定の角度範囲内に配列された複数の方向性振動体１１０＿ｋにおいて、第２音源の方向に対して、最も敏感度が低い方向性振動体を、第１方向性振動体として選択することができる。また、制御回路１４０は、第２音源の方向を中心に、所定の角度範囲内に配列された複数の方向性振動体１１０＿ｋにおいて、第１音源の方向に対して、最も敏感度が低い方向性振動体を、第２方向性振動体として選択することができる。図１１Ｄの例において、第１方向性振動体として、＋３０°方向に位置した方向性振動体を選択し、第２方向性振動体として、－１２０°方向に位置した方向性振動体を選択した。それにより、第１方向性振動体は、第２音源に対して、９０°離れ、第２方向性振動体も第１音源に対して、９０°離れることになる。
第１方向性振動体と第２方向性振動体とを選択した後には、第１方向性振動体と第２方向性振動体とを利用し、第１音源の音と第２音源の音とをそれぞれ獲得することができる。第１方向性振動体の出力信号をＣ１、第２方向性振動体の出力信号をＣ２、第１音源の音信号をＳ１、第２音源の音信号をＳ２とするとき、図１１Ａの場合には、Ｃ１＝Ｓ１になる。
そして、図１１Ｂの場合には、Ｃ１＝Ｓ１＋１／１０×Ｓ２及びＣ２＝１／１０×Ｓ１＋Ｓ２にもなる。ここで、１／１０は、図７に図示された例において、方向性振動体の方向性を基に、例示的に決定されたものであり、方向性振動体の方向性特性によっても、その値は、異なる。図１１Ｂの場合、第１方向性振動体で受信される第２音源の音は、第１音源の音の１／１０ほどであるので、十分に音源分離される。
図１１Ｃの場合には、Ｃ１＝Ｓ１＋１／２×Ｓ２及びＣ２＝１／２×Ｓ１＋Ｓ２にもなる。ここにおいても、１／２は、図７に図示された例において、方向性振動体の方向性を基に、例示的に決定されたものであり、方向性振動体の方向性特性によっても、その値は、異なる。図１１Ｃの場合、Ｃ１において、Ｓ１とＳ２とが占める比率が、２：１であるために、音源分離が十分になされない。
図１１Ｄの場合には、Ｃ１＝４／５×Ｓ１＋１／１０×Ｓ２及びＣ２＝１／１０×Ｓ１＋４／５×Ｓ２にもなる。ここにおいて、４／５と１／１０は、図７に図示された例において、方向性振動体の方向性を基に、例示的に決定されたものであり、方向性振動体の方向性特性によっても、その値は、異なる。図１１Ｄの場合、Ｃ１において、Ｓ１とＳ２とが占める比率が８：１であるので、十分に音源分離される。
図１２は、選択された方向性振動体の組み合わせによる音声認識テスト結果を例示的に示すグラフである。該音声認識テストは、第１音源と第２音源とにおいて、多数の単語を込められた音をそれぞれ出力し、選択された方向性振動体を介して、不正確に認識した単語の個数の比率を測定する方式によって遂行された。最も左側のグラフは、図１１Ａの場合であり、不正確に認識した比率（ｗｏｒｄ ｅｒｒｏｒ ｒａｔｅ）は、約２５．５％である。図１１Ａは、１つの音源のみを使用したために、２個の音源を使用する場合、干渉の影響を示す基準にもなる。左側から２番目グラフは、図１１Ｂの場合であり、不正確に認識した比率が約２９．７％と、基準より若干上昇した。左側から３番目グラフは、図１１Ｃの場合であり、不正確に認識した比率が約６７．９％と基準より大きく上昇した。そして、最も右側のグラフは、図１１Ｄの場合であり、不正確に認識した比率が約３１．１％であり、図１１Ｂの場合と類似した結果を示した。従って、目標音源以外の音源について、敏感度が最も小さい方向性振動体を選択することにより、十分に音源分離されるということが分かる。
そのような音源分離装置１００，１０１は、複雑な演算処理を必要とせず、複数の方向性振動体１１０＿ｋだけで、ハードウェア的に簡単に互いに異なる２個の音源からの音を分離することができる。従って、音源分離装置１００，１０１は、小型化が可能で小型電子製品に搭載することができる。本実施形態による音源分離装置１００，１０１を搭載した電子製品は、騷音がある環境にもユーザの音源を比較的正確に分離することができる。
以上では、１つの音源について、ただ１つの方向性振動体のみを選択し、音情報を獲得すると説明したが、必ずしもそれに限定されるものではない。必要によっては、１つの音源について隣接した１以上の方向性振動体、例えば、続けて隣接した２個または３個の方向性振動体を選択し、音情報を獲得することができる。その場合にも、音源が２個以上存在する場合、目標音源以外の音源について、敏感度が最も小さい方向性振動体のグループを選択することができる。
また、以上では、別途のソフトウェア的な信号処理なしに、ただ選択された方向性振動体の出力信号だけで、音源を分離して音情報を獲得すると説明した。例えば、第１音源について選択された第１方向性振動体の出力信号から、第１音源の音情報を獲得し、第２音源について選択された第２方向性振動体の出力信号から、第２音源の音情報を獲得した。しかし、ソフトウェア的に、第１方向性振動体の出力信号と、第２方向性振動体の出力信号とを演算し、音源を分離することも可能である。例えば、図１１Ｃの例において、Ｃ１＝Ｓ１＋１／２×Ｓ２及びＣ２＝１／２×Ｓ１＋Ｓ２であるので、連立方程式を解き、Ｃ１をＳ１だけで表現することができ、Ｃ２をＳ２だけで表現することができる。具体的に解けば、Ｃ１’＝Ｃ１－１／２×Ｃ２＝３／４×Ｓ１になり、Ｃ２’＝Ｃ２－１／２×Ｃ１＝３／４×Ｓ２になる。
従って、第１音源について選択された第１方向性振動体の出力信号に、第２音源の音が寄与する比率、及び第２音源について選択された第２方向性振動体の出力信号に、第１音源の音が寄与する比率を知ることができれば、制御回路１４０は、第１方向性振動体の出力信号と、第２方向性振動体の出力信号とを演算し、第１音源の音情報と、第２音源の音情報とを獲得することができる。さらに一般的に表現すれば、第１方向性振動体の出力信号をＣ１、第２方向性振動体の出力信号をＣ２、第１音源の音信号をＳ１、第２音源の音信号をＳ２、第１方向性振動体の出力信号に、第２音源の音が寄与した比率をα、第２方向性振動体の出力信号に、第１音源の音が寄与した比率をβとするとき、
Ｃ１＝Ｓ１＋αＳ２及び
Ｃ２＝Ｓ２＋βＳ１であり、
Ｓ１とＳ２とをＣ１とＣ２とで示せば、
Ｓ１＝（Ｃ１－αＣ２）／（１－αβ）及び
Ｓ２＝（Ｃ２－βＣ１）／（１－αβ）になる。
ここで、αとβは、入射する音の方向による、第１方向性振動体と第２方向性振動体との固有敏感度特性としてあらかじめ測定して知ることができる。例えば、第１方向性振動体と第２音源との角度により、α値が決定され、第２方向性振動体と、第１音源のとの角度により、β値が決定される。もし音源分離装置１００，１０１内の全方向性振動体１１０＿ｋが同一方向性特性を有するものであるならば、αとβは、同一値を有する。しかし、方向性振動体１１０＿ｋの方向性特性が互いに異なれば、αとβは、異なる値を有する。
メモリ１４１には、それぞれの方向性振動体に入射する音の方向によるそれぞれの方向性振動体の敏感度に対する既測定値が保存される。例えば、メモリ１４１には、それぞれの方向性振動体に入射する音の入射角と、それに対応する敏感度値の対が保存される。それにより、制御回路１４０は、メモリ１４１に保存された方向性振動体の敏感度特性から、αとβとを求め、それを基に、第１方向性振動体の出力信号と、第２方向性振動体の出力信号とを演算し、第１音源の音情報と、第２音源の音情報とを獲得することができる。従って、複数の方向性振動体１１０＿ｋにおいて、目標音源の方向に対して、最も敏感度が高い方向性振動体を選択した後、ソフトウェア的な信号処理を介し、音源を分離することもできる。
図１３は、さらに他の実施形態による音源分離装置の概略的な構成を示す平面図であり、図１４は、図１３に図示された音源分離装置に係わるＡ－Ａ’断面図である。図１３及び図１４を参照すれば、音源分離装置１０３は、音が入力される方向と関係なく反応する無方向性振動体１１５をさらに含んでもよい。図１３及び図１４に図示された音源分離装置１０３の残り構成は、図４及び図５に図示された音源分離装置１０１の構成と同一でもある。
無方向性振動体１１５は、例えば、音排出口１３７内にも配置され、複数の方向性振動体１１０＿ｋと同一平面上に位置することができる。その場合、複数の方向性振動体１１０＿ｋは、無方向性振動体１１５を取り囲む形態にも配列される。しかし、無方向性振動体１１５が配置される位置は、必ずしもそれに限定されるものではなく、多様な他の位置に、無方向性振動体１１５を配置することもできる。例えば、ケース１３１外部に、無方向性振動体１１５が位置することもできる。
無方向性振動体１１５は、方向性振動体１１０＿ｋと異なり、全方向から入力される音に対してほぼ同一出力を有することができる。そのために、無方向性振動体１１５は、円形薄膜の形態を有することができる。無方向性振動体１１５が、音排出口１３７内に配置される場合、円形の無方向性振動体１１５の中心と、音排出口１３７の中心点とが一致するように、無方向性振動体１１５が配置される。
一方、無方向性振動体１１５の出力は、音の入力方向と関係なく一定であるが、無方向性振動体１１５の振動位相は、音が入力される方向によっても異なる。例えば、図１４に概略的に図示されているように、無方向性振動体１１５の振動位相は、方向性振動体１１０＿ｋのうち音が入力される方向に配置された方向性振動体１１０＿１の振動位相と同一でもある。また、無方向性振動体１１５の振動位相は、方向性振動体１１０＿ｋのうち音が入力される方向と反対方向に配置された方向性振動体１１０＿９の位相と反対でもある。
図１５は、一方向に音が入力されたとき、１つの無方向性振動体１１５、及び互いに対向する２個の方向性振動体１１０＿１，１１０＿９の振動位相を例示的に示すグラフである。例えば、方向性振動体１１０＿１と方向性振動体１１０＿９とが互いに対向して配置されており、方向性振動体１１０＿１から方向性振動体１１０＿９への方向に音が入力されると仮定する。それにより、図１５に図示されているように、方向性振動体１１０＿１の振動位相は、方向性振動体１１０＿９の振動位相と１８０°反対である。そして、無方向性振動体１１５の振動位相は、方向性振動体１１０＿１の振動位相と同一であり、方向性振動体１１０＿９の振動位相と１８０°反対である。
従って、無方向性振動体１１５の振動位相と、方向性振動体１１０＿ｋの振動位相とを参照し、音源の方向を正確に探知することも可能である。例えば、制御回路１４０は、複数の方向性振動体１１０＿ｋにおいて、出力信号の強度が最小である方向性振動体を選択する。そして、制御回路１４０は、出力信号の強度が最小である方向性振動体に対して＋９０゜に配置された方向性振動体の位相と、出力信号の強度が最小である方向性振動体に対して－９０゜に配置された方向性振動体の位相とを無方向性振動体１１５の位相と比較する。その後、制御回路１４０は、無方向性振動体１１５の位相と最も近い位相を有する方向性振動体の配置方向を、音源の方向と決定することができる。
以上で説明した実施形態による音源分離装置１００，１０１，１０２，１０３は、多様な電子装置にも適用される。音源分離装置１００，１０１，１０２，１０３は、チップソリューション（ｃｈｉｐ ｓｏｌｕｔｉｏｎ）形態のセンサに具現され、モバイル機器、ＩＴ、家電、自動車などの分野において、複数音源の追跡、ノイズ除去、空間録音（ｓｐａｔｉａｌ ｒｅｃｏｒｄｉｎｇ）などを行うことができ、パノラマ撮影、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）、仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）の分野にも活用可能である。
以下では、前述の音源分離装置１００，１０１，１０２，１０３を活用する電子装置について説明する。
図１６は、一実施形態による事物インターネット（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）装置の概略的な構成を示すブロック図であり、図１７は、図１６に図示された事物インターネット装置が日常生活に適用される動作を例示的に示す。
事物インターネット装置２００は、ユーザが提供する音声信号を受信する音源分離装置２１０、音源分離装置２１０で受信した信号を入力変数として使用する１以上のアプリケーションモジュール２３２が保存されたメモリ２３０、アプリケーションモジュール２３２を実行するプロセッサ２２０を含む。事物インターネット装置２００は、また、通信部２５０を含んでもよい。
事物インターネット装置２００は、回転または移動のような駆動が可能な駆動機器２４０をさらに含んでもよい。駆動機器２４０は、音源分離装置２１０で受信した信号を入力変数にして実行されたアプリケーションモジュール２３２の実行結果により、決められた方向に回転または移動の駆動が制御される。回転や移動の方向は、例えば、音源分離装置２１０でセンシングした音の方向を向くか、あるいはそれを回避する方向でもある。駆動機器２４０は、アプリケーションモジュール２３２の実行結果をユーザに出力することができる出力機能を有するようにも具現される。駆動機器２４０は、例えば、スピーカやディスプレイのような出力装置でもある。音源分離装置２１０としたのは、前述の実施形態による音源分離装置１００，１０１，１０２，１０３のうちいずれか一つ、またはそれらが変形されたり組み合わされたりする構造が採用される。
プロセッサ２２０は、事物インターネット装置２００の全般的な動作を制御することができる。音源分離装置２１０、駆動機器２４０、通信部２５０の動作を制御することができ、関連制御信号を活用し、メモリ２３０に保存されたプログラムを実行することができる。メモリ２３０には、また、制御信号により、駆動機器２４０を所定方向に回転または移動させるようにプログラムされた駆動機器制御モジュール２３４が具備される。駆動機器制御モジュール２３４は、音源分離装置２１０でセンシングされた信号、及びそれと連繋されたアプリケーション実行結果を反映させ、駆動機器２４０が音源分離装置２１０でセンシングした音の方向を向くが、あるいはそれを回避する方向に回転または移動されるように、駆動機器２４０を制御することができる。それは、例示的なものであり、音源分離装置２１０でセンシングされた信号を反映させたアプリケーション実行結果による駆動機器制御方向は、多様に変化されるのである。
メモリ２３０には、また、音源分離装置２１０で受信した信号が有効な入力信号であるか否かということを、方向性と連繋して学習するようにプログラムされた学習モジュール２３６がさらに具備されてもよい。学習モジュール２３６は、例えば、音源分離装置２１０でセンシングした音の方向性と、有効信号であるか否かということとを判断した結果を反復して学習データとして生成して累積し、累積された学習データから統計的な特徴を抽出することにより、特定方向から入力される音は、有効信号ではないとして処理することができる。例えば、ユーザの声と異なる方向からの音をノイズとして処理することもでき、または互いに異なる方向にいる複数ユーザの声をそれぞれ分離して認識することができる。また、メモリ２３０には、それら以外にも、事物インターネット装置２００の全般的な動作をプロセッサ２２０で制御するのに必要な多様なプログラム及びデータが保存される。
メモリ２３０は、例えば、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ（例えば、ＳＤメモリまたはＸＤメモリなど）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも１つのタイプの記録媒体を含んでもよい。
通信部２５０は、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標））通信、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ ｌｏｗ ｅｎｅｒｇｙ）通信、近距離無線通信（ｎｅａｒ ｆｉｅｌｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｕｎｉｔ）、ＷＬＡＮ（ｗｉｒｅｌｅｓｓ ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）通信、ジグビー（ＺｉｇＢｅｅ（登録商標））通信、赤外線（ＩｒＤＡ：ｉｎｆｒａｒｅｄ ｄａｔａ ａｓｓｏｃｉａｔｉｏｎ）通信、ＷＦＤ（Ｗｉ－Ｆｉ ｄｉｒｅｃｔ）通信、ＵＷＢ（ｕｌｔｒａ ｗｉｄｅｂａｎｄ）通信、Ａｎｔ＋通信、ＷｉＦｉ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ）通信の方法を利用し、外部機器と通信することができるが、それらに制限されるものではない。
図１７を参照すれば、事物インターネット装置２００に具備される駆動機器２４０は、回転自在な構成のスピーカにとして例示されている。以下の説明は、駆動機器２４０において、スピーカを例示して説明するが、駆動機器２４０は、それに限定されるものではない。事物インターネット装置２００は、入力される音信号Ｓ１，Ｓ２の方向性を判断し、それに向かう方向にスピーカを回転させることができる。また、事物インターネット装置２００は、同時に入力される２個の音信号Ｓ１，Ｓ２を効率的に分離することができる。
事物インターネット装置２００は、入力される音信号Ｓ１，Ｓ２のうち有効な信号を識別することができる。例えば、ユーザＵからの音信号Ｓ１と、ユーザではない音源ＮＵからの音信号Ｓ２とを分離して認識することができる。そのような区別は、入力された音の方向性と連繋し、有効信号であるか否かということを学習することによって可能である。それにより、例えば、ＴＶ（ｔｅｌｅｖｉｓｉｏｎ）のように、固定された特定位置の方向から有効ではない信号が持続的に入力されることを、学習を介して判断した後、入力された音信号Ｓ１，Ｓ２のうち有効信号である音信号Ｓ２の方向にスピーカを回転させることができ、また、音信号Ｓ２と係わるアプリケーションを実行することができる。そのような事物インターネット装置２００は、人工知能スピーカに活用され、それ以外にも、多様な事物に適用され、当該事物が有する固有機能の活用度を高めることができる。
また、図１８は、一実施形態による自動車音声インターフェース装置の概略的な構成を示すブロック図であり、図１９は、一実施形態による自動車音声インターフェース装置が自動車に適用された動作を例示的に示す。
図１８を参照すれば、自動車音声インターフェース装置３００は、音源分離装置３１０及び有効信号抽出モジュール３５０を含む。有効信号抽出モジュール３５０は、有効信号抽出のための処理過程に係わるプログラムが保存されたメモリと、それを実行するプロセッサによっても具現される。音源分離装置３１０としては、前述の実施形態による音源分離装置１００，１０１，１０２，１０３のうちいずれか一つ、またはそれらが変形されたり組み合わされたりする構造が採用される。
有効信号抽出モジュール３５０は、音源分離装置３１０で受信した信号を、その方向性により、有効な信号であるか否かということを判断し、有効な信号である場合、それを自動車制御モジュールに伝達することができる。有効信号抽出モジュール３５０は、多様な方向から入力された音のうち、運転手の方向以外の方向性を有する音信号を分離した後、ノイズとして除去し、自動車制御モジュールに伝達することができる。
図１９を参照すれば、自動車４００に具備された音源分離装置３１０は、運転手ＤＲからの音信号Ｓ１と、乗客ＰＡからの音信号Ｓ２，Ｓ３，Ｓ４とを分離して感知する。音源分離装置３１０は、受信された音信号Ｓ１，Ｓ２，Ｓ３，Ｓ４の方向性を区分し、音信号Ｓ１，Ｓ２，Ｓ３，Ｓ４をそれぞれ分離して感知された結果を、有効信号抽出モジュール３５０に伝達することができる。有効信号抽出モジュール３５０は、運転手ＤＲによる音信号Ｓ１のみを自動車制御モジュール４２０に伝達することができる。
図２０は、一実施形態による空間録音（ｓｐａｔｉａｌ ｒｅｃｏｒｄｉｎｇ）装置の概略的な構成を示すブロック図である。図２０を参照すれば、一実施形態による空間録音装置５００は、音源分離装置５１０、音源分離装置５１０でセンシングした信号を分析し、音源分離装置５１０に入射された音の方向性を判断するプロセッサ５２０、並びにプロセッサ５２０の信号処理のためのプログラム、及び前記プロセッサの実行結果が保存されるメモリ５３０を含んでもよい。音源分離装置５１０としては、前述の実施形態による音源分離装置１００，１０１，１０２，１０３のうちいずれか一つ、またはそれらが変形されたり組み合わされたりする構造が採用される。音源分離装置５１０は、周辺音を、方向性と結びつけて録音することができる。音源分離装置５１０は、高分解能で音の入力方向を推定することができる。
空間録音装置５００は、音の入力方向を推定した結果を活用し、所望する音源についてのみ選択的に録音するか、あるいは互いに異なる方向にある音源の音を分離し、それぞれ個別的に録音することも可能である。空間録音装置５００は、録音された音を、ル方向性に合わせて再生するように、多チャネルスピーカ５５０をさらに含んでもよい。プロセッサ５２０は、メモリ５３０に保存されたオーディオ信号が、方向性に合わせて再生されるように、多チャネルスピーカ５５０を制御することができる。録音された音源を、方向性に合わせて再生することにより、録音されたコンテンツ（ｃｏｎｔｅｎｔｓ）の臨場感を増強させ、没入感、実際感を向上させることができる。そのような空間録音装置５００は、拡張現実または仮想現実装置にも活用される。
また、図２１は、一実施形態による全方向カメラの概略的な構成を示すブロック図である。図２１を参照すれば、一実施形態による全方向カメラ６００は、全方向に置かれた客体に対するパノラマ撮影が可能なカメラである。全方向カメラ６００は、音源分離装置６１０、全方向（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）撮影モジュール６４０、音源分離装置６１０でセンシングした方向性音信号と、全方向撮影モジュール６４０で撮影した全方向映像信号とが整合するように、音源分離装置６１０と全方向撮影モジュール６４０とを制御するプロセッサ６２０、及び方向性音信号及び全方向映像信号を保存するメモリ６３０を含んでもよい。音源分離装置６１０は、前述の実施形態による音源分離装置１００，１０１，１０２，１０３のうちいずれか一つであるか、あるいはそれらが変形されたり組み合わされたりする構造を有することができ、全方向からの音を感知し、互いに異なる方向からの音を分離することができる。
全方向撮影モジュール６４０として、一般的なパノラマ撮影モジュールが使用される。例えば、３６０°回転自在な本体内に、光学レンズやイメージセンサのような構成が具備された全方向撮影モジュール６４０が採用される。プロセッサ６２０の制御により、音源分離装置６１０でセンシングされた信号のうち、全方向撮影モジュール６４０での撮影方向に該当する方向の音のみを分離し、選択的にメモリ６３０に保存される。そのように、全方向カメラ６００により、３６０゜パノラマ映像信号と、映像に整合する音信号とがメモリ６３０に保存される。そのような映像／音情報は、多チャネルスピーカが具備されたディスプレイ装置によって再生され、臨場感を極大化することができ、また、拡張現実／仮想現実装置にも活用される。
一実施形態によれば、前述の音源分離装置とその方法とがＩＣＡ、ＧＳＳ、ＤＮＮのような技術と結合してハイブリッド技術が可能である。例えば、前述の音源分離装置の結果がＩＣＡ、ＧＳＳ、ＤＮＮの分析方法と結合し、正確性のような測定特性をさらに向上させるところにも使用される。
前述の実施形態による電子装置は、プロセッサ、プログラムデータを保存して実行するメモリ、ディスクドライブのような永久保存部（ｐｅｒｍａｎｅｎｔ ｓｔｏｒａｇｅ）、外部装置と通信する通信ポート、タッチパネル・キー（ｋｅｙ）・ボタンのようなユーザインターフェース装置などを含んでもよい。
前述の実施形態による電子装置において、ソフトウェアモジュールまたはアルゴリズムによって具現される方法は、前記プロセッサ上で実行可能なコンピュータで読み取り可能なコードまたはプログラム命令として、コンピュータで読み取り可能な記録媒体上にも保存される。ここで、コンピュータで読み取り可能な記録媒体として、マグネチック記録媒体（例えば、ＲＯＭ、ＲＡＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、及び光学的判読媒体（例えば、ＣＤ－ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ））がある。該コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行される。該媒体は、コンピュータによって読み取り可能であり、メモリに保存され、プロセッサによっても実行される。
以上、音源分離装置及び音源分離方法は、図面に図示された実施形態を参照に説明されたが、前述のように、１つの共振器のみを有する共振構造でも代替される。また、前述の実施形態は、例示的なものに過ぎず、当該分野で当業者であるならば、それらから多様な変形が可能であるという点を理解するであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本明細書の権利範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、権利範囲に含まれたものであると解釈されなければならないのである。
本発明の、音源分離装置及び音源分離方法は、例えば、音声認識関連の技術分野に効果的に適用可能である。
１００，１０１，１０２，１０３ 音源分離装置
１１０＿ｋ，１１０＿ｉ＿ｋ 方向性振動体
１１５ 無方向性振動体
１２０ 支持部
１３０，１３１ ケース
１３４ 音引入口
１３５，１３７ 音排出口
１４０ 制御回路
１４１ メモリ
２００ 事物インターネット装置
３００ 自動車音声インターフェース装置
５００ 空間録音装置
６００ 全方向カメラ

Claims (38)

  1. 音が入力される音引入口と、
    前記音引入口を介して入力された音が排出される音排出口と、
    前記音引入口と前記音排出口との間の平面において、前記音引入口の中心と鉛直に対向する前記平面上の中心点を取り囲む形態に配列されたものであり、前記音引入口に入力される音の方向により、選択的に１以上が反応するように構成された複数の方向性振動体と、
    前記複数の方向性振動体の出力信号の強度を基に、互いに異なる第１音源と第２音源との方向を決定し、前記第１音源からの音と、第２音源からの音とをそれぞれ分離して獲得するために、前記複数の方向性振動体のうち、互いに異なる第１方向性振動体と第２方向性振動体とを選択するように構成された制御回路と、を含む音源分離装置。
  2. 前記制御回路は、第１方向性振動体の第１出力信号を基に、前記第１音源からの音情報を獲得し、前記第２方向性振動体の第２出力信号を基に、前記第２音源からの音情報を獲得するように構成されたことを特徴とする請求項１に記載の音源分離装置。
  3. 前記制御回路は、前記複数の方向性振動体のうち、前記第１音源の方向に対して、最も敏感度が高い方向性振動体を、第１方向性振動体として選択し、前記複数の方向性振動体のうち、前記第２音源の方向に対して、最も敏感度が高い方向性振動体を、第２方向性振動体として選択することを特徴とする請求項２に記載の音源分離装置。
  4. 前記制御回路は、前記複数の方向性振動体のうち、前記第１音源の方向に向けて配置された方向性振動体を、第１方向性振動体として選択し、前記複数の方向性振動体のうち、前記第２音源の方向に向けて配置された方向性振動体を、第２方向性振動体として選択することを特徴とする請求項２に記載の音源分離装置。
  5. 前記制御回路は、前記第１方向性振動体の前記第１出力信号に、前記第２音源の音が寄与した比率、及び前記第２方向性振動体の前記第２出力信号に、前記第１音源の音が寄与した比率を基に、前記第１出力信号と前記第２出力信号とを演算し、前記第１音源の音と、前記第２音源の音との情報を獲得するように構成されたことを特徴とする請求項４に記載の音源分離装置。
  6. 前記第１方向性振動体の前記第１出力信号をＣ１、前記第２方向性振動体の前記第２出力信号をＣ２、前記第１音源の音信号をＳ１、前記第２音源の音信号をＳ２、前記第１出力信号に、前記第２音源の音が寄与した比率をα、前記第２出力信号に、前記第１音源の音が寄与した比率をβとするとき、
    Ｃ１＝Ｓ１＋αＳ２
    Ｃ２＝Ｓ２＋βＳ１であり、
    Ｓ１＝（Ｃ１－αＣ２）／（１－αβ）
    Ｓ２＝（Ｃ２－βＣ１）／（１－αβ）であることを特徴とする請求項５に記載の音源分離装置。
  7. 前記第１方向性振動体の前記第１出力信号に、前記第２音源の音が寄与した比率は、前記第１方向性振動体と前記第２音源との角度によって決定され、前記第２方向性振動体の前記第２出力信号に、前記第１音源の音が寄与した比率は、前記第２方向性振動体と前記第１音源との角度によって決定されることを特徴とする請求項５に記載の音源分離装置。
  8. それぞれの方向性振動体に入射する音の方向によるそれぞれの方向性振動体の敏感度を保存したメモリをさらに含むことを特徴とする請求項７に記載の音源分離装置。
  9. 前記制御回路は、前記第１音源の方向を中心に、第１角度範囲内に配列された複数の方向性振動体のうち、前記第２音源の方向に対して、最も敏感度が低い方向性振動体を、第１方向性振動体として選択し、前記第２音源の方向を中心に、第２角度範囲内に配列された複数の方向性振動体のうち、前記第１音源の方向に対して、最も敏感度が低い方向性振動体を、第２方向性振動体として選択するように構成されたことを特徴とする請求項２に記載の音源分離装置。
  10. 前記制御回路は、前記第１音源からの音が小さくなる時間の間、前記第２音源の方向を決定し、前記第２音源からの音が小さくなる時間の間、前記第１音源の方向を決定するように構成されたことを特徴とする請求項１に記載の音源分離装置。
  11. 前記制御回路は、１８０°の角度範囲内に配列された複数の方向性振動体の出力信号の強度が、２個の以上のピークを有する場合、２個以上の音源が存在すると判断し、１８０°の角度範囲内に配列された複数の方向性振動体の出力信号の強度が１つのピークを有する時間の間、１つの音源の方向を決定するように構成されたことを特徴とする請求項１０に記載の音源分離装置。
  12. 前記制御回路は、前記複数の方向性振動体のうち、出力信号の強度が最大である方向性振動体の配置方向を、第１音源または第２音源の方向と決定するように構成されたことを特徴とする請求項１に記載の音源分離装置。
  13. 前記制御回路は、前記複数の方向性振動体のうち、出力信号の強度が最小である方向性振動体の配置方向に垂直の方向を、第１音源または第２音源の方向と決定するように構成されたことを特徴とする請求項１に記載の音源分離装置。
  14. 前記制御回路は、出力信号の強度が最小である方向性振動体に対し、＋９０゜に配置された方向性振動体の振動強度と、出力信号の強度が最小である方向性振動体に対し、－９０゜に配置された方向性振動体の出力信号の強度とを比較し、出力信号の強度がさらに強い方向性振動体の配置方向を、第１音源または第２音源の方向と決定するように構成されたことを特徴とする請求項１３に記載の音源分離装置。
  15. 音が入力される方向と関係なく反応する無方向性振動体をさらに含むことを特徴とする請求項１３に記載の音源分離装置。
  16. 前記制御回路は、出力信号の強度が最小である方向性振動体に対し、＋９０゜に配置された方向性振動体の位相と、振動強度が最小である方向性振動体に対し、－９０゜に配置された方向性振動体の位相と、を前記無方向性振動体の位相と比較し、前記無方向性振動体の位相と最も近い位相を有する方向性振動体の配置方向を、第１音源または第２音源の方向と決定するように構成されたことを特徴とする請求項１５に記載の音源分離装置。
  17. 前記複数の方向性振動体と前記無方向性振動体は、同一平面上に配列され、前記複数の方向性振動体は、前記無方向性振動体を取り囲む形態に配列されることを特徴とする請求項１５に記載の音源分離装置。
  18. 前記複数の方向性振動体は、前記中心点に対して、所定の対称性を有するように配列されることを特徴とする請求項１に記載の音源分離装置。
  19. 前記音排出口は、前記複数の方向性振動体全体に対向するように形成されたことを特徴とする請求項１に記載の音源分離装置。
  20. 前記音排出口は、前記複数の方向性振動体それぞれと対向する複数個に具備されることを特徴とする請求項１に記載の音源分離装置。
  21. 前記複数の方向性振動体は、同一共振周波数を有することを特徴とする請求項１に記載の音源分離装置。
  22. 前記複数の方向性振動体は、互いに異なる共振周波数を有する複数の方向性振動体を含むことを特徴とする請求項１に記載の音源分離装置。
  23. 音引入口を介して音を受信し、音排出口を介して音を排出する段階と、
    前記音引入口と前記音排出口との間の平面において、前記音引入口の中心と鉛直に対向する前記平面上の中心点を取り囲む形態に配列されたものであり、前記音引入口に入力される音の方向により、選択的に１以上が反応するように構成された複数の方向性振動体の出力信号の強度を基に、互いに異なる第１音源と第２音源との方向を決定する段階と、
    前記第１音源からの音と、前記第２音源からの音とをそれぞれ分離して獲得するために、前記複数の方向性振動体のうち、互いに異なる第１方向性振動体と第２方向性振動体とを選択する段階と、
    前記第１方向性振動体と第２方向性振動体とを利用して音情報を獲得する段階と、を含む音源分離方法。
  24. 前記第１音源と前記第２音源との方向を決定する段階は、
    前記第１音源からの音が小さくなる時間の間、前記第２音源の方向を決定する段階と、
    前記第２音源からの音が小さくなる時間の間、前記第１音源の方向を決定する段階と、を含むことを特徴とする請求項２３に記載の音源分離方法。
  25. 前記第１音源と前記第２音源との方向を決定する段階は、
    １８０°の角度範囲内に配列された複数の方向性振動体の出力信号の強度が、２個の以上のピークを有する場合、２個以上の音源が存在すると判断する段階と、
    前記１８０°の角度範囲内に配列された複数の方向性振動体の出力信号の強度が１つのピークを有する時間の間、１つの音源の方向を決定する段階と、をさらに含むことを特徴とする請求項２４に記載の音源分離方法。
  26. 前記第１音源と前記第２音源との方向を決定する段階は、前記複数の方向性振動体のうち、出力信号の強度が最大である方向性振動体の配置方向を、前記第１音源または前記第２音源の方向と決定する段階を含むことを特徴とする請求項２３に記載の音源分離方法。
  27. 前記第１音源と前記第２音源との方向を決定する段階は、前記複数の方向性振動体のうち、出力信号の強度が最小である方向性振動体の配置方向に垂直の方向を、前記第１音源または前記第２音源の方向と決定する段階を含むことを特徴とする請求項２３に記載の音源分離方法。
  28. 前記第１音源と前記第２音源との方向を決定する段階は、
    出力信号の強度が最小である方向性振動体に対し、＋９０゜に配置された方向性振動体の振動強度と、出力信号の強度が最小である方向性振動体に対し、－９０゜に配置された方向性振動体の出力信号の強度とを比較する段階と、
    出力信号の強度がさらに強い方向性振動体の配置方向を、前記第１音源または前記第２音源の方向と決定する段階と、を含むことを特徴とする請求項２７に記載の音源分離方法。
  29. 音が入力される方向と関係なく反応する無方向性振動体を利用し、音を受信する段階をさらに含むことを特徴とする請求項２７に記載の音源分離方法。
  30. 前記第１音源と前記第２音源との方向を決定する段階は、
    出力信号の強度が最小である方向性振動体に対し、＋９０゜に配置された方向性振動体の位相と、振動強度が最小である方向性振動体に対し、－９０゜に配置された方向性振動体の位相と、を前記無方向性振動体の位相と比較する段階と、
    前記無方向性振動体の位相と最も近い位相を有する方向性振動体の配置方向を、前記第１音源または前記第２音源の方向と決定する段階と、をさらに含むことを特徴とする請求項２９に記載の音源分離方法。
  31. 前記第１方向性振動体と前記第２方向性振動体とを利用して音情報を獲得する段階は、前記第１方向性振動体の第１出力信号を基に、前記第１音源からの音情報を獲得し、前記第２方向性振動体の第２出力信号を基に、前記第２音源からの音情報を獲得する段階を含むことを特徴とする請求項２３に記載の音源分離方法。
  32. 前記第１方向性振動体と前記第２方向性振動体とを選択する段階は、
    前記複数の方向性振動体のうち、前記第１音源の方向に対して、最も敏感度が高い方向性振動体を、前記第１方向性振動体として選択する段階と、
    前記複数の方向性振動体のうち、前記第２音源の方向に対して、最も敏感度が高い方向性振動体を、前記第２方向性振動体として選択する段階と、を含むことを特徴とする請求項３１に記載の音源分離方法。
  33. 前記第１方向性振動体と前記第２方向性振動体とを選択する段階は、
    前記複数の方向性振動体のうち、前記第１音源の方向に向けて配置された方向性振動体を前記第１方向性振動体として選択する段階と、
    前記複数の方向性振動体のうち、前記第２音源の方向に向けて配置された方向性振動体を、前記第２方向性振動体として選択する段階と、を含むことを特徴とする請求項３１に記載の音源分離方法。
  34. 前記第１方向性振動体と前記第２方向性振動体とを利用して音情報を獲得する段階は、
    前記第１方向性振動体の前記第１出力信号に、前記第２音源の音が寄与した比率、及び前記第２方向性振動体の前記第２出力信号に、前記第１音源の音が寄与した比率を決定する段階と、
    前記第１出力信号と前記第２出力信号とを演算し、前記第１音源の音と、前記第２音源の音との情報を獲得する段階と、を含むことを特徴とする請求項３３に記載の音源分離方法。
  35. 前記第１方向性振動体の前記第１出力信号をＣ１、前記第２方向性振動体の前記第２出力信号をＣ２、前記第１音源の音信号をＳ１、前記第２音源の音信号をＳ２、前記第１出力信号に、前記第２音源の音が寄与した比率をα、前記第２出力信号に、前記第１音源の音が寄与した比率をβとするとき、
    Ｃ１＝Ｓ１＋αＳ２
    Ｃ２＝Ｓ２＋βＳ１であり、
    Ｓ１＝（Ｃ１－αＣ２）／（１－αβ）
    Ｓ２＝（Ｃ２－βＣ１）／（１－αβ）であることを特徴とする請求項３４に記載の音源分離方法。
  36. 前記第１方向性振動体の前記第１出力信号に、前記第２音源の音が寄与した比率は、前記第１方向性振動体と前記第２音源との角度によって決定され、前記第２方向性振動体の前記第２出力信号に、前記第１音源の音が寄与した比率は、前記第２方向性振動体と前記第１音源との角度によって決定されることを特徴とする請求項３４に記載の音源分離方法。
  37. 前記第１方向性振動体と前記第２方向性振動体とを選択する段階は、
    前記第１音源の方向を中心に、第１角度範囲内に配列された複数の方向性振動体のうち、前記第２音源の方向に対して、最も敏感度が低い方向性振動体を前記第１方向性振動体として選択する段階と、
    前記第２音源の方向を中心に、第２角度範囲内に配列された複数の方向性振動体のうち、前記第１音源の方向に対して、最も敏感度が低い方向性振動体を、前記第２方向性振動体として選択する段階と、を含むことを特徴とする請求項２３に記載の音源分離方法。
  38. １以上の命令を保存するメモリと、
    前記１以上の命令を遂行するプロセッサと、を含み、
    前記プロセッサは、
    音引入口と音排出口との間の平面において、前記音引入口の中心と鉛直に対向する前記平面上の中心点を取り囲む形態に配列されたものであり、前記音引入口に入力される音の方向により、選択的に１以上が反応するように構成された複数の方向性振動体の出力信号の強度を基に、互いに異なる第１音源と第２音源との方向を決定し、
    前記第１音源からの音と、第２音源からの音とをそれぞれ分離して獲得するために、前記複数の方向性振動体のうち、互いに異なる第１方向性振動体と第２方向性振動体とを選択し、
    前記第１方向性振動体と前記第２方向性振動体とを利用して音情報を獲得するように構成された音源分離装置。
JP2019209838A 2018-12-03 2019-11-20 音源分離装置及び音源分離方法 Active JP7409833B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180153726A KR102607863B1 (ko) 2018-12-03 2018-12-03 음원 분리 장치 및 음원 분리 방법
KR10-2018-0153726 2018-12-03

Publications (2)

Publication Number Publication Date
JP2020092420A JP2020092420A (ja) 2020-06-11
JP7409833B2 true JP7409833B2 (ja) 2024-01-09

Family

ID=68136161

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019209838A Active JP7409833B2 (ja) 2018-12-03 2019-11-20 音源分離装置及び音源分離方法

Country Status (5)

Country Link
US (1) US10750281B2 (ja)
EP (1) EP3664468A1 (ja)
JP (1) JP7409833B2 (ja)
KR (1) KR102607863B1 (ja)
CN (1) CN111261184B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7387565B2 (ja) * 2020-09-16 2023-11-28 株式会社東芝 信号処理装置、学習済みニューラルネットワーク、信号処理方法及び信号処理プログラム
CN112382306B (zh) * 2020-12-02 2022-05-10 思必驰科技股份有限公司 分离说话人音频的方法及装置
CN114495974B (zh) * 2022-02-18 2024-02-23 腾讯科技（深圳）有限公司 音频信号处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2986024A1 (en) 2014-08-13 2016-02-17 Samsung Electronics Co., Ltd Audio sensing device and method of acquiring frequency information
JP2018023103A (ja) 2016-08-03 2018-02-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 音響スペクトル分析機、及びそれに具備された共振器の配列方法
JP2019045481A (ja) 2017-09-01 2019-03-22 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 音方向探知センサー
JP2019103144A (ja) 2017-12-06 2019-06-24 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 方向性音響センサ、方向性探知方法、及びそれを含む電子装置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3789685B2 (ja) * 1999-07-02 2006-06-28 富士通株式会社 マイクロホンアレイ装置
JP2007129511A (ja) * 2005-11-04 2007-05-24 Sony Corp 音声出力装置および方法、プログラム、並びに記録媒体
WO2007072757A1 (ja) * 2005-12-19 2007-06-28 Yamaha Corporation 放収音装置
KR20080071287A (ko) 2007-01-30 2008-08-04 송영근 다양한 모양과 색상을 갖는 치킨 깍두기의 제조방법
JP5114106B2 (ja) * 2007-06-21 2013-01-09 株式会社船井電機新応用技術研究所 音声入出力装置及び通話装置
WO2009123411A1 (en) 2008-03-31 2009-10-08 Electronics And Telecommunications Research Institute User terminal with identity selector and method for identity authentication using identity selector of the same
KR20090104665A (ko) 2008-03-31 2009-10-06 후지필름 가부시키가이샤 필름 결함 검사 방법 및 장치
KR20090104638A (ko) 2008-03-31 2009-10-06 한국전자통신연구원 신원 선택기를 구비한 사용자 단말기 및 그의 신원 선택기를 이용한 신원 인증 방법
EP2145857B1 (fr) 2008-07-10 2014-03-19 The Swatch Group Research and Development Ltd. Procédé de fabrication d'une pièce micromécanique
US8577677B2 (en) 2008-07-21 2013-11-05 Samsung Electronics Co., Ltd. Sound source separation method and system using beamforming technique
KR101529647B1 (ko) 2008-07-22 2015-06-30 삼성전자주식회사 빔포밍 기술을 이용한 음원 분리 방법 및 시스템
JP5006364B2 (ja) * 2008-07-28 2012-08-22 アオイ電子株式会社 指向性マイクロフォン
US8041054B2 (en) * 2008-10-31 2011-10-18 Continental Automotive Systems, Inc. Systems and methods for selectively switching between multiple microphones
KR20100127332A (ko) 2009-05-26 2010-12-06 (주)부전 농수산물 건조 시스템
KR101612704B1 (ko) 2009-10-30 2016-04-18 삼성전자 주식회사 다중음원 위치 추적장치 및 그 방법
KR20110047852A (ko) 2009-10-30 2011-05-09 삼성전자주식회사 동작 환경에 적응 가능한 음원녹음장치 및 그 방법
JP4986248B2 (ja) * 2009-12-11 2012-07-25 沖電気工業株式会社 音源分離装置、方法及びプログラム
KR20110076622A (ko) 2009-12-29 2011-07-06 주식회사 동부하이텍 반도체 메모리 소자의 제조 방법
KR101670313B1 (ko) 2010-01-28 2016-10-28 삼성전자주식회사 음원 분리를 위해 자동적으로 문턱치를 선택하는 신호 분리 시스템 및 방법
WO2012001898A1 (ja) * 2010-07-02 2012-01-05 パナソニック株式会社 指向性マイクロホン装置及びその指向性制御方法
KR101726737B1 (ko) 2010-12-14 2017-04-13 삼성전자주식회사 다채널 음원 분리 장치 및 그 방법
US8525868B2 (en) 2011-01-13 2013-09-03 Qualcomm Incorporated Variable beamforming with a mobile platform
US8929564B2 (en) 2011-03-03 2015-01-06 Microsoft Corporation Noise adaptive beamforming for microphone arrays
KR20130014895A (ko) 2011-08-01 2013-02-12 한국전자통신연구원 음원 분리 기준 결정 장치와 방법 및 음원 분리 장치와 방법
KR20130048075A (ko) * 2011-11-01 2013-05-09 삼성전자주식회사 다중 음원 위치추적장치 및 그 위치추적방법
US9029963B2 (en) * 2012-09-25 2015-05-12 Sand 9, Inc. MEMS microphone
JP6237768B2 (ja) * 2013-05-15 2017-11-29 ソニー株式会社 音声出力装置、音声出力方法および映像表示装置
KR101509342B1 (ko) 2013-10-01 2015-04-07 재단법인대구경북과학기술원 인공와우용 음향 센서 장치
US20150281834A1 (en) * 2014-03-28 2015-10-01 Funai Electric Co., Ltd. Microphone device and microphone unit
KR20150140500A (ko) 2014-06-05 2015-12-16 삼성디스플레이 주식회사 액정 디스플레이
DK3007467T3 (da) * 2014-10-06 2017-11-27 Oticon As Høreapparat, der omfatter en lydkildeadskillelsesenhed med lav latenstid
CN104360309B (zh) * 2014-11-28 2017-03-01 北京智谷睿拓技术服务有限公司 移动声源信息确定方法及确定装置、用户设备
KR101610145B1 (ko) * 2014-11-28 2016-04-08 현대자동차 주식회사 마이크로폰 모듈 및 그 제어방법
JP6365435B2 (ja) 2015-06-24 2018-08-01 株式会社村田製作所 弾性波装置
KR101673347B1 (ko) * 2015-07-07 2016-11-07 현대자동차 주식회사 마이크로폰
KR101825949B1 (ko) 2015-10-06 2018-02-09 전자부품연구원 음원 분리를 포함하는 음원 위치 추정 장치 및 방법
JP6567942B2 (ja) 2015-10-07 2019-08-28 株式会社マキタ 作業工具
US11067661B2 (en) * 2015-11-17 2021-07-20 Sony Corporation Information processing device and information processing method
KR102590887B1 (ko) 2017-01-03 2023-10-19 한국전자통신연구원 음원의 공간적 위치 및 비음수 행렬 분해를 이용한 음원 분리 방법 및 장치
US10771898B2 (en) 2017-01-09 2020-09-08 Apple Inc. Locating wireless devices
US20180317006A1 (en) * 2017-04-28 2018-11-01 Qualcomm Incorporated Microphone configurations
KR102486395B1 (ko) 2017-11-23 2023-01-10 삼성전자주식회사 화자 인식을 위한 뉴럴 네트워크 장치, 및 그 동작 방법
KR102477099B1 (ko) * 2018-08-21 2022-12-13 삼성전자주식회사 소리 방향 탐지 센서 및 이를 포함하는 전자 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2986024A1 (en) 2014-08-13 2016-02-17 Samsung Electronics Co., Ltd Audio sensing device and method of acquiring frequency information
JP2018023103A (ja) 2016-08-03 2018-02-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 音響スペクトル分析機、及びそれに具備された共振器の配列方法
JP2019045481A (ja) 2017-09-01 2019-03-22 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 音方向探知センサー
JP2019103144A (ja) 2017-12-06 2019-06-24 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 方向性音響センサ、方向性探知方法、及びそれを含む電子装置

Also Published As

Publication number Publication date
US20200177992A1 (en) 2020-06-04
CN111261184A (zh) 2020-06-09
KR20200067300A (ko) 2020-06-12
US10750281B2 (en) 2020-08-18
CN111261184B (zh) 2023-07-14
JP2020092420A (ja) 2020-06-11
EP3664468A1 (en) 2020-06-10
KR102607863B1 (ko) 2023-12-01

Similar Documents

Publication Publication Date Title
JP7300265B2 (ja) 方向性音響センサ、方向性探知方法、及びそれを含む電子装置
JP7409833B2 (ja) 音源分離装置及び音源分離方法
JP7299091B2 (ja) 音方向探知センサ、及びそれを含む電子装置
US9031256B2 (en) Systems, methods, apparatus, and computer-readable media for orientation-sensitive recording control
JP6193349B2 (ja) 音場のジェスチャー操作のためのシステム、方法、装置、およびコンピュータ可読媒体
US20180146284A1 (en) Beamformer Direction of Arrival and Orientation Analysis System
CN207968904U (zh) 微型扬声器组件以及电声换能器组件
CN102056680B (zh) 微机电系统换能器
KR102566412B1 (ko) 음향 센서를 포함한 자동차 주행 제어 장치 및 그 방법
US9510110B2 (en) Open top back plate optical microphone
WO2021064468A1 (en) Sound source localization with co-located sensor elements
US20230197084A1 (en) Apparatus and method for classifying speakers by using acoustic sensor
US11747192B2 (en) Acoustic sensor assembly and method of sensing sound using the same
KR102664399B1 (ko) 공간 음향 녹음 소자, 공간 음향 녹음 방법 및 공간 음향 녹음 소자를 포함하는 전자 장치
KR20200077686A (ko) 공간 음향 녹음 소자, 공간 음향 녹음 방법 및 공간 음향 녹음 소자를 포함하는 전자 장치
KR20230094246A (ko) 음향 센서를 이용한 방향 추정 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231221

R150 Certificate of patent or registration of utility model

Ref document number: 7409833

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150