JP7175096B2 - 収音装置、プログラム及び方法 - Google Patents

収音装置、プログラム及び方法 Download PDF

Info

Publication number
JP7175096B2
JP7175096B2 JP2018062672A JP2018062672A JP7175096B2 JP 7175096 B2 JP7175096 B2 JP 7175096B2 JP 2018062672 A JP2018062672 A JP 2018062672A JP 2018062672 A JP2018062672 A JP 2018062672A JP 7175096 B2 JP7175096 B2 JP 7175096B2
Authority
JP
Japan
Prior art keywords
sound pickup
area
area sound
sound
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018062672A
Other languages
English (en)
Other versions
JP2019176328A (ja
Inventor
隆 矢頭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2018062672A priority Critical patent/JP7175096B2/ja
Priority to US16/235,571 priority patent/US10880642B2/en
Publication of JP2019176328A publication Critical patent/JP2019176328A/ja
Application granted granted Critical
Publication of JP7175096B2 publication Critical patent/JP7175096B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2410/00Microphones
    • H04R2410/01Noise reduction using microphones having different directional characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephone Function (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

この発明は、収音装置、プログラム及び方法に関し、例えば、雑音環境下で用いられる音声通信システム等に適用し得る。
雑音環境下で音声通信システムや音声認識応用システムを利用する場合、必要な目的音声と同時に混入する周囲の雑音は、良好なコミュニケーションを阻害し、音声認識率の低下をもたらす厄介な存在である。従来、このような複数の音源が存在する環境下において、特定の方向の音のみ分離・収音することで不要音の混入を避け必要な目的音を得る技術として、マイクアレイを用いたビームフォーマ(Beam Former;以下「BF」とも呼ぶ;特許文献1、2参照)がある。BFとは各マイクロホンに到達する信号の時間差を利用して指向性を形成する技術である。しかしBFだけでは収音を目的とするエリア(以下、「目的エリア」と呼ぶ)の周囲に他の音源が存在する場合、目的エリア内に存在する音(以下、「目的エリア音」と呼ぶ)だけを収音することが難しい。そのため、従来、特許文献1、2等により、複数のマイクアレイを用いて目的エリアを収音するエリア収音方式が提案されている。
図14は、2つのマイクアレイMA100、MA200を用いて、目的エリアの音源からの目的エリア音を収音する処理について示した説明図である。図14(a)は、各マイクアレイMA100、MA200の構成例について示した説明図である。図14(b)、図14(c)は、それぞれ図14(a)に示すマイクアレイMA100、MA200のBF出力について周波数領域で示した図(グラフ形式のイメージ図)である。図14において各マイクアレイMA100、MA200は、それぞれ2つのマイクロホンch1、ch2により構成されている。
従来のエリア収音では、図14(a)に示すように、マイクアレイMA100、MA200の指向性を別々の方向から収音したいエリア(目的エリア)で交差させて収音する。図14(a)の状態では、各マイクアレイMA100、MA200の指向性に目的エリア内に存在する音(目的エリア音)だけでなく、目的エリア方向の雑音(非目的エリア音)も含まれている。しかし、図14(b)、図14(c)に示すように、マイクアレイMA100、MA200の指向性を周波数領域で比較すると、目的エリア音成分はどちらの出力にも含まれるが、非目的エリア音成分は各マイクアレイで異なることになる。従来のエリア収音技術では、このような特性を利用し、2つのマイクアレイMA100、MA200のBF出力に、共通に含まれる成分以外を抑圧することで目的エリア音のみ抽出することができる。
特開2014-072708号公報 特開2005-195955号公報
浅野太著,"音響テクノロジーシリーズ16 音のアレイ信号処理-音源の定位・追跡と分離-",日本音響学会編,コロナ社,2011年2月25日発行
ところで、サイレンが鳴り響く火災現場や、救急現場から指令センタ(消防本部)への緊急連絡の手段として、緊急車両には連絡用のハンドセット(送受話器)が備えられている。従来の緊急車両に搭載されるハンドセットは、利用環境が大騒音下であるが故、現場からの連絡が周囲の騒音でかき消されて、本部(例えば、緊急車両の搭乗員を指揮する本部)に正確な情報を伝えられず誤った情報となり、的確な判断の阻害や、対応の遅れなどの問題が生じるおそれがある。そのため、これまでもハンドセットについて様々な雑音除去技術の活用が検討されてきたが、通話品質の確保、コスト増大など導入には多くの課題があった。このような利用環境において、上述のエリア収音技術は有効な解決策として期待される。例えば、ハンドセットの送話口周辺に2つのマイクアレイを設置し、当該2つのマイクアレイのそれぞれの指向性を、送話口の前で交差させエリア収音を機能させることにより、サイレン等の大騒音を排除し、消防隊員等の送話者の音声だけを本部等に正確に伝達することが可能になる。
エリア収音を実現するためには、少なくても2つのマイクアレイが必要である。一方、ハンドセットにおいて送話口部分の大きさは外形で直径6cm程度と小さく、そこにエリア収音実現のために2つのマイクアレイを装着する場合、それぞれのマイクアレイを非常に近接した状態で設置する必要がある。その結果、当該ハンドセットを用いたエリア収音において、収音エリアは送話器直近の非常に狭いエリアに限定される。しかしながら、ハンドセットに、従来のエリア収音処理を適用する場合、利用者(話者)によってハンドセットの持ち方や顔の大きさが異なり、口元が上述の狭く限定された収音エリア(ハンドセットについて設定される収音エリア)からずれる可能性がある。この場合、ハンドセットの収音エリアから利用者(話者)の口元がずれると、収音した音声の歪や脱落が生じ、安定した収音ができないという問題があった。
そのため、安定的にエリア収音を行うことができる収音装置、プログラム及び方法が望まれている。
第1の本発明の収音装置は、(1)3以上の異なる指向性のマイクアレイを形成可能なマイクアレイ部からの入力信号に基づいて、2パターン以上の前記マイクアレイの組み合わせに基づくエリア収音出力を取得する第1のエリア収音手段と、(2)前記第1のエリア収音手段が取得した各パターンのエリア収音出力を統合した結果をエリア収音結果として出力する第2のエリア収音手段とを有し、(3)前記第2のエリア収音手段は、前記第1のエリア収音手段が取得した各パターンのエリア収音出力を周波数毎に互いに比較し、周波数毎に最も強度の強い成分を選択した結果をエリア収音結果として出力することを特徴とする。
第2の本発明の収音プログラムは、コンピュータを、(1)3以上の異なる指向性のマイクアレイを形成可能なマイクアレイ部からの入力信号に基づいて、2パターン以上の前記マイクアレイの組み合わせに基づくエリア収音出力を取得する第1のエリア収音手段と、(2)前記第1のエリア収音手段が取得した各パターンのエリア収音出力を統合した結果をエリア収音結果として出力する第2のエリア収音手段として機能させ、(3)前記第2のエリア収音手段は、前記第1のエリア収音手段が取得した各パターンのエリア収音出力を周波数毎に互いに比較し、周波数毎に最も強度の強い成分を選択した結果をエリア収音結果として出力することを特徴とする。
第3の本発明は、収音装置が行う収音方法において、(1)第1のエリア収音手段、及び第2のエリア収音手段を備え、(2)前記第1のエリア収音手段は、3以上の異なる指向性のマイクアレイを形成可能なマイクアレイ部からの入力信号に基づいて、2パターン以上の前記マイクアレイの組み合わせに基づくエリア収音出力を取得し、(3)前記第2のエリア収音手段は、前記第1のエリア収音手段が取得した各パターンのエリア収音出力を統合した結果をエリア収音結果として出力し、(3)前記第2のエリア収音手段は、前記第1のエリア収音手段が取得した各パターンのエリア収音出力を周波数毎に互いに比較し、周波数毎に最も強度の強い成分を選択した結果をエリア収音結果として出力することを特徴とする。
本発明によれば、効率良く、かつ安定的にエリア収音を行う収音装置を提供することができる。
第1の実施形態に係る各装置の構成(第1の実施形態に係る収音部(収音装置)の機能的構成を含む)について示したブロック図である。 第1の実施形態に係るハンドセットの使用状態について示した図(斜視図)である。 第1の実施形態に係るハンドセットの送話口部分を拡大して示した図である。 3個のマイクロホンにより形成されるマイクアレイの構成例について示した説明図(イメージ図)である。 3個のマイクロホンにより形成されるマイクアレイの各組み合わせ(組み合わせのパターン)に対応するエリア収音処理について示した説明図(イメージ図)である。 2つのマイクアレイの指向性を交差させた場合におけるエリア収音の感度の分布(計算上の感度の分布)を示した図である。 マイクロホン数が2個の場合の減算型BFに係る構成を示すブロック図である。 2個のマイクロホンを用いた減算型BFにより形成される指向特性を示す図である。 第1の実施形態に係る収音部(収音装置)におけるエリア収音結果の統合処理の例について示した説明図(イメージ図)である。 第2の実施形態に係る各装置の構成(第2の実施形態に係る収音部(収音装置)の機能的構成を含む)について示したブロック図である。 第3の実施形態に係る各装置の構成(第3の実施形態に係る収音部(収音装置)の機能的構成を含む)について示したブロック図である。 第3の実施形態に係る収音部(収音装置)におけるエリア収音結果の統合処理の例について示した説明図(イメージ図)である。 実施形態に係るマイクアレイ部のマイクロホンの数を4つとした場合の構成(実施形態に係る変形例の構成)について示した説明図である。 従来の収音装置において、2つのマイクアレイのビームフォーマ(BF)による指向性を別々の方向から目的エリアへ向けた場合の構成例について示した説明図である。
(A)第1の実施形態
以下、本発明による収音装置、プログラム及び方法の第1の実施形態を、図面を参照しながら詳述する。この実施形態では、本発明の収音装置、プログラム及び方法を収音部に適用した例について説明する。
まず、この実施形態におけるマイクアレイを用いたエリア収音処理の基本的な原理について図4~図6を用いて説明する。
本願発明者は、多角形(N角形;Nは3以上の整数)の各頂点の位置にマイクロホンを配置し、多角形の中心方向に複数の収音エリアを構築することで、各収音エリアの広がり度合いの違いを利用して、1つのマイクアレイの組合せで実現した収音エリアより広い範囲のエリアの収音が可能になる方法を発明した。
例えば、3個のマイクロホンを用いたエリア収音の構成(3角形の角頂点の位置に配置したマイクロホンの構成)を考えた場合、図4に示すように、マイクロホンの組み合わせによって3個のマイクアレイ(指向性の方向の異なる3個のマイクアレイ)を設定することができる。図4に示すように、3個のマイクロホンch1~ch3では、マイクロホンch1、ch2を対とするマイクアレイMA301、マイクロホンch2、ch3を対とするマイクアレイMA302、及びマイクロホンch3、ch1を対とするマイクアレイMA303を設定することができる。
さらに、3個のマイクロホンch1~ch3の構成では、図5に示すように、3個のマイクアレイMA301、MA302、MA303の組み合わせ(3通りの組み合わせのパターン)に応じたエリア収音が可能となる。
図5(a)では、マイクアレイMA301の指向性を一点鎖線で図示し、マイクアレイMA302の指向性を二点鎖線で図示している。また、図5(b)では、マイクアレイMA302の指向性を一点鎖線で図示し、マイクアレイMA303の指向性を二点鎖線で図示している。さらに、図5(c)では、マイクアレイMA301の指向性を一点鎖線で図示し、マイクアレイMA303の指向性を二点鎖線で図示している。さらにまた、図5(a)では、マイクアレイMA301、MA302の組み合わせ(パターン)に応じた収音エリアA301にハッチ(斜線)を付している。また、図5(b)では、マイクアレイMA302、MA303の組み合わせ(パターン)に応じた収音エリアA302にハッチ(斜線)を付している。さらに、図5(c)では、マイクアレイMA301、MA303の組み合わせ(パターン)に応じた収音エリアA303にハッチ(斜線)を付している。
図5に示すように、3個のマイクロホンch1~ch3の構成では、いずれのマイクアレイでも、マイクアレイ同士(マイクアレイを構成する2つのマイクロホンの位置を結ぶ線分同士)で角度を有することから、互いの指向性を交差させて、組み合わせ毎に異なるエリア収音(異なる領域のエリア収音)が実現可能である。
一方、マイクアレイを用いたエリア収音の収音エリアは、マイクアレイの前方(マイクアレイから遠い方)に拡がる性質がある。以下、その性質について図6を用いて説明する。
図6は、2つのマイクアレイMA400、MA500の指向性を互いに直角を成すように交差させた場合におけるエリア収音の感度の分布(計算上の感度の分布)を示した図である。言い換えると、図6では、2つのマイクアレイMA400、MA500の指向性が交差する領域及びその周辺におけるエリア収音の感度を図示している。なお、図6では、マイクアレイMA400、MA500は、それぞれ2つのマイクロホンch1、ch2を備えている。また、図6では、エリア収音の感度を5段階(0~-5dB、-5~-10dB、-10~-15dB、-15~-20dB、-20~-25dB)に分けて、段階ごとに異なるパターン(模様)を付している。図6に示すように、マイクアレイMA400、MA500から遠い方(すなわち、右下方向)に向けて感度が高い領域が伸びている状態となることが分かる。
したがって、図5(a)の組み合わせ(マイクアレイMA301、MA302の組み合わせ)、図5(b)の組み合わせ(マイクアレイMA302、MA303の組み合わせ)、図5(c)の組み合わせ(マイクアレイMA303、MA301の組み合わせ)によるエリア収音の収音エリア(エリア収音の感度の分布)は、それぞれマイクアレイの組み合わせ毎に異なり、重なる部分とそうでない部分(感度の分布が一致する部分と一致しない部分)が生じることになる。
すなわち、図5に示すように、3個のマイクロホンch1~ch3の構成において、異なる2つないし3つのマイクアレイの組み合わせでエリア収音を行い、それぞれの収音結果を足し合わせれば、1つのマイクアレイの組合せで実現した収音エリアより広い範囲のエリア収音が可能になる。言い換えると、多角形(N角形;Nは3以上の整数)の角頂点の位置に配置されたマイクロホンで形成される複数のマイクアレイのうち、異なる複数のマイクアレイの組み合わせ(組み合わせのパターン)でエリア収音を行い、それぞれのエリア収音結果(エリア収音の出力)を加算した結果を、最終的な目的エリアの収音結果として取り扱う処理を行うことで、話者の口元の位置(送話器から見た話者の口元の位置)の差異に対して、より頑健なエリア収音(より安定的なエリア収音)を行うことができる。
しかし、重複エリアを有する複数のエリアの収音結果を足し合わせると、重複したエリアのゲインは重複しないエリアのそれに対して、エリア成分が加算されることでより強調されたものとなる。拡張されたエリアに関して、エリア内の収音特性は結果として不均一なものとなり、エリアに存在する目的音源が持つ本来の特性とは異なる特性になってしまう場合がある。とりわけ音源位置が重複エリアと重複しないエリアに跨る場合には特性が歪曲される可能性が高い。
そこで、第1の実施形態の収音部(収音装置)では、重複エリアを有する複数のエリア収音出力に対し、各々の出力の同一周波数成分同士を比較し、最大振幅を有するエリアの出力のみを、拡張された複数エリア収音の出力の成分として選択するものとする。そして、第1の実施形態の収音部(収音装置)では、当該最大値選択処理を全周波数成分対して実施する。したがって、第1の実施形態の収音部(収音装置)では複数エリアの成分の足し合わせは行なわれず、結果として、同一周波数成分に対して1つのエリア収音出力のみが選択されて出力されるため、収音特性の均一性が保たれる。
これにより、第1の実施形態の収音部(収音装置)では、拡張されたエリア内の収音特性を均一化し、歪の少ない安定した収音方法を提供することができる。
(A-1)第1の実施形態の構成
図1は、この実施形態に関連する各装置の構成について示したブロック図である。
図1では、この実施形態に係る収音部120を備える通信装置100と、通信装置200とを図示している。また、図1では、通信装置100、200間は、通信路Pにより通信可能な構成となっている。収音部120は、上述の基本的な原理を実現した構成となっている。
通信装置100は、第1のユーザU1が発話した音声(音)を収音し、収音した音声の音声データを通信路Pを介して通信装置200に送信するとともに、通信装置200から受信した音声データに基づく音声(第2のユーザU2が発話した音声)を表音出力する装置である。また、通信装置200は、第2のユーザU2が発話した音声(音)を収音し、収音した音声の音声データを通信路Pを介して通信装置100に送信するとともに、通信装置100から受信した音声データに基づく音声(第1のユーザU1が発話した音声)を表音出力する装置である。
第1のユーザU1は、例えば、救急車や消防車等の緊急車両に登場する搭乗員等が該当し、第2のユーザU2としては、例えば、遠隔地(例えば、緊急車両を指揮する司令センタ)の司令担当者等が該当する。
通信路Pは、有線・無線に限定されず種々の接続手段や接続構成(ネットワーク構成)を適用することができる。
次に、通信装置100の構成概要について図1を用いて説明する。
通信装置100は、ハンドセット110、収音部120、通信部130、及び出力部140を有している。
ハンドセット110は、3個のマイクロホンMC1~MC3(3chマイクロホン)により構成されるマイクアレイ部111とスピーカ112とを備えている。
通信部130は、通信路Pを介して通信装置200と通信するための通信インタフェースである。
収音部120は、マイクアレイ部111で捕捉した音響信号に基づいて第1のユーザU1の発話した音声(音)を収音する。そして、通信部130は、収音部120が収音した音声の音声データを通信装置200側に送信する。
出力部140は、通信部130を介して通信装置200から音声データ(第2のユーザU2が発話した音声の音声データ)を取得し、当該音声データに基づく音響信号をスピーカ112に供給し、スピーカ112に当該音響信号を表音出力させる。
通信装置100のハードウェア的な構成については限定されないものであるが、この実施形態の例では、図1に示すように、通信装置100は、ハードウェア的にはハンドセット110を備える電話機の構成となっているものとする。なお、通信装置100は、必ずしもハンドセット110を備える必要はなく、スマートホンのように筐体(シャーシ)全体が、実質的にハンドセットとして機能する構成(例えば、スマートホンの筐体の一部に送話口が設定された構成)としてもよい。
次に、通信装置200の構成概要について図1を用いて説明する。
通信装置200は、スピーカ210、マイク220、通信部230、出力部240、及び収音部250を有している。
通信部230は、通信路Pを介して通信装置200と通信するための通信インタフェースである。
収音部250は、マイク220で捕捉した音響信号に基づいて第2のユーザU2の発話した音声(音)を収音する。そして、通信部230は、収音部250が収音した音声の音声データを通信装置100側に送信する。
出力部240は、通信部230を介して通信装置100から音声データ(第1のユーザU1が発話した音声の音声データ)を取得し、当該音声データに基づく音響信号をスピーカ210に供給し、スピーカ210に当該音響信号を表音出力させる。
次に、収音部120の詳細構成について図1を用いて説明する。
収音部120は、信号入力部121、周波数変換部122、指向性形成部123、目的エリア音抽出部124及びエリア音成分選択部125を有している。
収音部120は、例えば、プロセッサやメモリ等を備えるコンピュータにプログラム(実施形態に係る収音プログラムを含む)を実行させるようにしてもよいが、その場合であっても、機能的には、図1のように示すことができる。収音部120の各構成要素の処理の詳細については後述する。
次に、送受話器としてのハンドセット110の構成について図2、図3を用いて説明する。
図2は、ハンドセット110が第1のユーザU1の手U1aで把持されている状態について示した斜視図である。
図2に示すようにハンドセット110は、第1のユーザU1(手U1a)に把持させるための棒形状の把手部115と、把手部115の一端に設けられた送話口113(送話器)と、把手部115の他端に設けられた受話口114(受話器)とを有している。
図3は、ハンドセット110の送話口113の部分を拡大して示した図である。
図2、に示すように、受話口114にはスピーカ112が配置されている。また、図2、図3に示すように、円形の面を備える送話口113には、マイクアレイ部111(マイクロホンMC1~MC3)が配置されている。
次に、マイクアレイ部111の構成について、図2、図3を用いて説明する。
この実施形態の例では、マイクアレイ部111は、3個のマイクロホンMC1~MC3を有する構成であるものとする。
図2に示すように、第1のユーザU1が通信装置100を手U1aで把持し、耳にスピーカSPを押し付けた場合に、第1のユーザU1の口元が位置する送話口113の周囲(第1のユーザU1の口元と最も近接する部分の周囲)に3個のマイクロホンMC1~MC3が配置されている。
図2、図3に示すハンドセット110では、上述の図4、図5に示す構成と同様に、マイクアレイ部111を構成する3個のマイクロホンMC1~MC3の各位置(各マイクロホンの中心位置)が、送話口113の周囲上で、正三角形の頂点となるように配置されている。図2、図3では、収音エリアの拡大を等方向とするため、マイクロホンMC1~MC3による三角形の各辺を同じ距離(マイクロホンMC1~MC3による三角形が正三角形)としているが、各辺の距離や各角の角度は全て同じでなくてもよい。
なお、図3に示すように、以下では、マイクアレイ部111において、マイクロホンMC1MC2を対とするマイクアレイをMA1、マイクロホンMC2、MC3を対とするマイクアレイをMA2、マイクロホンMC3、MC1を対とするマイクアレイをMA3と呼ぶものとする。
(A-2)第1の実施形態の動作
次に、以上のような構成を有するこの実施形態の動作(実施形態に係る収音方法)を説明する。
通信装置100では、収音部120が、マイクアレイ部111のマイクロホンMC1~MC3から供給される音響信号を用いて、目的エリアの目的エリア音を収音する目的エリア音収音処理を行う。
以下では、通信装置100を構成する収音部120内部の動作を中心に説明する。
信号入力部121は、各マイクロホンMC1~MC3で収音した音響信号をアナログ信号からデジタル信号に変換し、周波数変換部122に供給する。その後、周波数変換部122では、例えば高速フーリエ変換を用いてマイク信号を時間領域から周波数領域へ変換する。指向性形成部123はBFにより指向性を形成する。
ここで、図7、図8を用いてBFによる指向性形成について説明する。
BFとは、マイクアレイにおいて各マイクロホンに到達する信号の時間差を利用して収音の指向性を形成する技術である(非特許文献1参照)。BFは加算型と減算型の大きく2つの種類に分けられが、ここでは少ないマイクロホン数で指向性を形成できる減算型BFについて説明する。
図7は、マイクロホン数が2個(MC1、MC2)の場合の減算型BF600に係る構成を示すブロック図である。
図8は、2個のマイクロホンMC1、MC2を用いた減算型BF600により形成される指向特性を示す図である。
減算型BF600は、まず遅延器610により目的とする方向に存在する音(以下、「目的音」と呼ぶ)が各マイクロホンMC1、MC2に到来する信号の時間差を算出し、遅延を加えることにより目的音の位相を合わせる。時間差は(1)式により算出される。ここで、dはマイクロホンMC1、MC2間の距離、cは音速、τは遅延量を示している。またθは、マイクロホンMC1、M2の位置を結んだ直線に対する垂直方向から目的方向への角度を示している。
ここで、死角がマイクロホンMC1とマイクロホンMC2の中心に対し、マイクロホンMC1の方向に存在する場合、遅延器610は、マイクロホンMC1の入力信号x(t)に対し遅延処理を行う。その後、減算器620が、(2)式に従い減算処理を行う。減算器620では、この減算処理は周波数領域でも同様に行うことができ、その場合(2)式は(3)式のように変更される。
Figure 0007175096000001
ここでθ=±π/2の場合、形成される指向性は図8(a)に示すように、カージオイド型の単一指向性となり、θ=0,πの場合は、図8(b)のような8の字型の双指向性となる。また、減算器620では、スペクトル減算法(Spectral Subtraction)の処理(以下、単に「SS」とも呼ぶ)を用いることで、双指向性の死角に強い指向性を形成することもできる。SSによる指向性は、(4)式に従い全周波数、もしくは指定した周波数帯域で形成される。(4)式では、マイクロホンMC1の入力信号Xを用いているが、マイクロホンMC2の入力信号Xでも同様の効果を得ることができる。ここで、nはフレーム番号、βはSSの強度を調節するための係数を示している。減算器620では、減算時に値がマイナスなった場合は、0または元の値を小さくした値に置き換えるフロアリング処理を行うようにしてもよい。この方式では、双指向性の特性によって目的方向以外に存在する音(以下、「非目的音」と呼ぶ)を抽出し、抽出した非目的音の振幅スペクトルを入力信号の振幅スペクトルから減算することで、目的音を強調することができる。
Figure 0007175096000002
ところで、ある特定の目的エリア内に存在する目的エリア音だけを収音したい場合、減算型BFを用いるだけでは、そのエリアと同一方向の線上に存在する音源(以下、「非目的エリア音」と呼ぶ)も収音してしまう。
そこで、指向性形成部123では、特許文献1で提案されているエリア収音処理(複数のマイクアレイを用い、それぞれ別々の方向から目的エリアへ指向性を向け、指向性を目的エリアで交差させることで目的エリア音を収音する処理)を行うものとして説明する。具体的には、指向性形成部123は、以下のような処理によりエリア収音処理を行うようにしてもよい。
指向性形成部123は、マイクアレイMA1~MA3のそれぞれについて、三角形(マイクロホンMC1~MC3により形成される三角形)の内側に向かってBFによって指向性を形成する。そして、指向性形成部123は、マイクアレイMA1、MA2、MA3の各BF出力Y(n)、Y(n)、Y(n)を、目的エリア音抽出部124に供給する。
目的エリア音抽出部124は、指向性形成部123で形成したマイクアレイMA1、MA2、MA3のBF出力Y(n)、Y(n)、Y(n)を用いてエリア音を抽出する。上述の通り、各BF出力(Y(n)、Y(n)、Y(n))は、3角形(マイクロホンMC1~MC3により形成される三角形)の各辺から中心(三角形の内側方向)に向かう指向性を成したものである。したがって、各BF出力は、そのいずれの2つの組み合せ(組み合わせのパターン)においても2つの指向性が3角形の中心付近で交差するため、目的エリア音抽出部124は、以下に記すエリア収音方法によって、互いの指向性が交差したエリアの音を抽出することが出来る。ここでは、代表として、マイクアレイMA1のBF出力Y(n)と、マイクアレイMA2のBF出力Y(n)を用いた場合について説明する。目的エリア音抽出部124は、Y(n)、Y(n)を(5)、もしくは(6)式に従いSSし、目的エリア方向に存在する非目的エリア音N1-1(n)、N1-2(n)を抽出する。ここでα、αは、目的エリアと各マイクアレイの距離の違いによって生じる信号レベルの差を補正する補正係数であり、所定の処理によって逐一計算されるべきものであり、その手法は特許文献1にも記載されているが、ここでは簡単のため、目的エリアと各マイクアレイまでの距離は同一(α(n)=α(n)=1)とし、(5)、(6)式を(7)、(8)式に代える。
Figure 0007175096000003
その後、目的エリア音抽出部124は、(9)、(10)式に従い、各BF出力から非目的エリア音をSSして目的エリア音を抽出する。ここで、γ(n)、γ(n)はSS時の強度を変更するための係数である。
Figure 0007175096000004
目的エリア音抽出部124において、強調音Z1-1(n)、Z1-2(n)のうちいずれを出力としても構わないが、ここではZ1-1(n)をマイクアレイMA1-マイクアレイMA2の組み合せ(組み合わせのパターン)によるエリア収音出力Z(n)として用いることとする。
同様にして目的エリア音抽出部124は、マイクアレイMA2-マイクアレイMA3の組み合せによるエリア収音出力Z(n)、及びマイクアレイMA3-マイクアレイMA1の組み合せによるエリア収音出力Z(n)を抽出し、エリア音成分選択部125へ供給する。
以下では、マイクアレイMA1-マイクアレイMA2の組み合せによる収音エリア(上述の図5(a)のエリアA301に相当するエリア)をエリアA1、マイクアレイMA2-マイクアレイMA3の組み合せよる収音エリア(上述の図5(b)のエリアA302に相当するエリア)をエリアA2、マイクアレイMA3-マイクアレイMA1の組み合せによる収音エリア(上述の図5(c)のエリアA303に相当するエリア)をエリアA3と呼ぶものとする。
エリアA1、A2、A3は、それぞれ重複するエリアはあるものの、全体としては互いに異なるため、それぞれのエリア収音出力Z(n)、Z(n)、Z(n)は異なる周波数成分(特徴)を有する。エリア音成分選択部125では、各々のエリア収音出力の同一周波数成分同士を比較した結果に基づいて、最大振幅の成分を選択し、当該最大振幅成分を拡張された複数エリア収音の出力の成分として抽出する。
図9は、エリア音成分選択部125による処理を模式的に示した説明図(イメージ図)である。図9(a)、図9(b)、図9(c)は、それぞれZ(n)、Z(n)、Z(n)のエリア音成分(周波数ごとの強度)を棒グラフの形式で示した図である。そして、図9(d)は、エリア収音出力Z(n)、Z(n)、Z(n)を統合した結果である最終出力W(n)の成分(周波数ごとの強度)を棒グラフ形式で示した図である。
図9では、任意の周波数mにおけるエリア収音出力Z(n)の成分を「C1」(C1=Z(m))、周波数mにおけるエリア収音出力Z(n)の成分を「C2」(C2=Z(m))、周波数mにおけるエリア収音出力Z(n)の成分を「C3」(C3=Z(m))、周波数mにおける最終出力W(n)の成分を「CW」(CW=W(m))と図示している。
エリア音成分選択部125は、C1、C2、C3から最も強度の強い成分(最大振幅の成分)を選択して、CW(最終出力W(m))に適用する。図9では、C1、C2、C3から最も強度の強い成分(最大振幅の成分)として、C2を選択し、CWに適用している。エリア音成分選択部125は、全周波数(全成分)について同様の処理を行い、最終出力W(n)を生成する。
以上のように、収音部120は、拡大されたエリアから収音された目的音声として最終出力W(n)を出力する。このとき、収音部120は、W(n)を周波数-時間変換した音声データとして出力するようにしてもよい。
そして、通信部130は、最終出力W(n)に基づく音声データを、通信路Pを介して通信装置200に送信する。
そして、通信装置200の通信部230は、通信装置100から受信した音声データ(W(n)に基づく音声データ)を出力部140に供給する。出力部140は、受信した音声データに基づく音響信号をスピーカ210に供給して表音出力(第2のユーザU2に向けて表音出力)させる。
(A-3)第1の実施形態の効果
第1の実施形態によれば、以下のような効果を奏することができる。
第1の実施形態の収音部120では、別々の方向からエリア収音を行い、従来の1組のマイクアレイを用いたエリア収音よりも広く、等方向性をもった収音エリアを形成することができる。第1の実施形態の収音部120では、複数のエリア収音出力の周波数成分において、同一周波数成分に対して1つのエリア収音出力のみが選択されて出力されるため、エリア拡大においても収音特性の均一性が保たれる。これにより、収音部120では、ハンドセット110の送話口113に付けられたマイクロホンMC1~MC3を用いたエリア収音を行う際に、話者(第1のユーザU1)の口元と送話口113との相対的な位置がずれた場合等でも安定した音声収音が可能となる。
(B)第2の実施形態
以下、本発明による収音装置、プログラム及び方法の第2の実施形態を、図面を参照しながら詳述する。この実施形態では、本発明の収音装置、プログラム及び方法を収音部に適用した例について説明する。
第2の実施形態の収音部(収音装置)は、複数のエリア収音のエリア収音出力のパワーを算出し、最大パワーのエリア収音出力を拡張されたエリアの出力と見做して選択・代表させる点で第1の実施形態と異なっている。すなわち、第2の実施形態の収音部(収音装置)では、第1の実施形態と異なり、周波数成分毎の最大値検出は行なわず、最大パワーのエリアを選択する。
(B-1)第2の実施形態の構成
図10は、第2の実施形態に関連する各装置の構成について示したブロック図である。
第2の実施形態では、通信装置100が通信装置100Aに置き換わっている点で第1の実施形態と異なっている。
また、第2の実施形態の通信装置100Aでは、収音部120が、収音部120Aに置き換わっている点で第1の実施形態と異なっている。さらに、第2の実施形態の収音部120Aでは、目的エリア音抽出部124及びエリア音成分選択部125が除外され、エリア選択部126が追加されている点で第1の実施形態とことなっている。
(B-2)第2の実施形態の動作
次に、以上のような構成を有する第1の実施形態の動作(実施形態に係る収音方法)を説明する。
以下では、通信装置100Aを構成する収音部120A内部の動作について第1の実施形態との差異を説明する。
収音部120Aにおいて、マイクアレイ部111から、目的エリア音抽出部124までの処理は、第1の実施形態と同様の処理である。第2の実施形態においては、第1の実施形態における「複数のエリア音の同一周波数成分同士の大きさの比較」に代えて、複数のエリア収音出力のパワーを計算、最も大きなパワーを有するエリア収音出力を拡張されたエリアの出力と見做して選択・代表させる。
エリア選択部126では、エリア音抽出部で抽出されたエリア収音出力Z(n)、Z(n)、Z(n)のそれぞれのパワー(例えば、各周波数成分の加算値や、各周波数成分の平均値)を算出し、3つの出力のうち最もパワーが大きかった出力を、最終出力W(n)として取得する。
W(n)は、時間変換された後、通信路を介して通信装置200(スピーカ210)より出力される。
(B-3)第2の実施形態の効果
第2の実施形態によれば、第1の実施形態と比較して、以下のような効果を奏することができる。
第2の実施形態の収音部120Aでは、当該複数のエリア収音出力の中から、最もパワーの大きいエリア収音出力(すなわち最も目的音を多く含むエリアのエリア収音出力)が選択されて出力されるため、近似的に収音エリアの拡大が図れるとともに、1つのエリア音(エリア収音出力)のみを選択・出力しているため収音特性の均一性が保たれる。
(C)第3の実施形態
以下、本発明による収音装置、プログラム及び方法の第2の実施形態を、図面を参照しながら詳述する。この実施形態では、本発明の収音装置、プログラム及び方法を収音部に適用した例について説明する。
第3の実施形態の収音部(収音装置)では、複数のエリアに対してエリア毎に目的エリア音の有無を判定し、目的音が存在すると判定されたエリア収音出力に対してのみ、周波数成分の最大値選択処理(例えば、第1の実施形態におけるエリア音成分選択部125の処理)の対象とする点で第1の実施形態と異なっている。
(C-1)第3の実施形態の構成
図11は、第3の実施形態に関連する各装置の構成について示したブロック図である。
第3の実施形態では、通信装置100が通信装置100Bに置き換わっている点で第1の実施形態と異なっている。また、第3の実施形態では、収音部120が収音部120Bに置き換わっている点で第1の実施形態と異なっている。
第3の実施形態の収音部120Bでは、エリア音成分選択部125がエリア音成分選択部125Bに置き換えられ、エリア音判定部128及び振幅スペクトル比算出部129が追加されている点で、第1の実施形態と異なっている。
第1の実施形態の収音部120では、複数の収音エリアについてエリア収音出力を取得し、取得した全てのエリア収音出力を統合して収音エリアの拡大を図っているが、取得したエリア収音出力すべてに目的音成分が含まれているとは限らない。第1の実施形態の収音部120では、複数の収音エリアのエリア収音出力を得られるが、その複数のエリア収音出力の中には、目的音成分を含まないものも存在し得る。
従って、第1の実施形態の収音部120のように、目的音成分を含まないエリア収音出力の周波数成分も、目的音を含むエリア収音出力と同列に最大成分検出の対象とすることは得策でない場合がある。例えば、第1の実施形態の収音部120において、目的音を含まないエリア収音出力が選択に加わる場合、かえって雑音性分の増加を助長する可能性がある。そこで、第3の実施形態の収音部120Bでは、エリア音判定部128が、それぞれのエリア収音出力(この実施形態では、Z(n)、Z(n)、Z(n))について、目的エリア音が存在しているか否かを判定する。そして、第3の実施形態の収音部120Bでは、エリア音判定部128の判定により目的エリア音が存在していると判定されたエリア収音出力のみを、エリア音成分選択部125Bによる成分の最大値選択の対象とするものとする。
(C-2)第3の実施形態の動作
次に、以上のような構成を有する第3の実施形態の動作(実施形態に係る収音方法)を説明する。
以下では、通信装置100Bを構成する収音部120B内部の動作について第1の実施形態との差異を説明する。
収音部120Bにおいて、マイクアレイ部111から、目的エリア音抽出部124までの処理は、第1の実施形態と同様の処理である。
エリア音判定部128は、目的エリア音抽出部124が得たエリア収音出力Z(n)、Z(n)、Z(n)のそれぞれに対して目的エリア音の存在の有無を判定する。
エリア音判定部128が、各エリア収音出力について目的エリア音の存在の有無を判定する方法は限定されないものであり、例えば、エリア収音出力と入力音との振幅スペクトル比を用いて判定する方法や、エリア収音を行なう際のBF出力間のコヒーレンスを用いて判定する方法等がある。この実施形態の例では、エリア音判定部128は、各エリア収音出力の振幅スペクトル比に基づいて、目的エリア音の存在の有無を判定するものとして説明する。エリア音判定部128において、エリア収音出力の振幅スペクトル比に基づいて目的エリア音の存在の有無を判定する具体的処理としては、例えば、参考文献1(特開2016-127457)に記載された処理を適用することができる。
振幅スペクトル比算出部129は、周波数変換部122からは周波数変換された入力信号X、X、Xを、目的エリア音抽出部124からはエリア収音出力Z、Z、Zを取得して、振幅スペクトル比の算出を行う。例えば、振幅スペクトル比算出部129は、下記(11)、(12)(13)式を用いて、エリア収音出力Z、Z、Zと入力信号X、X、Xの振幅スペクトル比を周波数ごとに算出する。そして、振幅スペクトル比算出部129は、下記(14)、(15)(16)式を用いて、全周波数の振幅スペクトル比を加算して、振幅スペクトル比加算値U、U2、を求める。ここでエリア収音出力Z、Z、Zは、それぞれ(マイクアレイMA1-マイクアレイMA2)、(マイクアレイMA2-マイクアレイMA3)、(マイクアレイMA3-マイクアレイMA1)の組み合せによって得られたエリア収音出力であることから、(11)、(12)(13)式では、それぞれのマイクアレイの共通マイクロホンMC2、MC3、MC1の振幅スペクトルに対応するX、X、Xが用いられる。
なお、(14)式を用いて行われる処理において得られるUは、各周波数の振幅スペクトル比R1iを周波数の下限jから上限kでの帯域で足し合わせた振幅スペクトル比加算値である。また、(15)式を用いて行われる処理において得られるUは、各周波数の振幅スペクトル比R2iを、周波数の下限jから上限kでの帯域で足し合わせた振幅スペクトル比加算値である。さらに、(16)式を用いて行われる処理において得られるUは、各周波数の振幅スペクトル比R3iを、周波数の下限jから上限kでの帯域で足し合わせた振幅スペクトル比加算値である。ここで、振幅スペクトル比算出部129において演算対象とする周波数の帯域を制限しても良い。例えば、振幅スペクトル比算出部129は、演算対象を音声情報が十分に含まれる100Hzから6kHzに制限して、上記演算を行うようにしても良い。
Figure 0007175096000005
エリア音判定部128は、振幅スペクトル比算出部129により算出した振幅スペクトル比加算値を予め設定した閾値と比較し、エリア音が存在するかしないかを判定する。エリア音判定部128は、目的エリア音が存在すると判定したエリア収音出力はそのまま出力するが、目的エリア音が存在しないと判定されたエリア収音出力は出力せずに無音データ(例えば、予め設定されたダミーデータ)に置き換えて出力する。なお、エリア音判定部128は、無音データの代わりに、入力信号(エリア収音に用いたマイクアレイを構成するいずれかのマイクロホンの入力信号)のゲインを弱めたものを出力しても良い。さらに、エリア音判定部128は、振幅スペクトル比加算値が閾値よりも一定以上大きい場合、その後の数秒間は、振幅スペクトル比加算値に関わらず目的エリア音が存在すると判定する処理(ハングオーバー機能に対応する処理)を追加するようにしてもよい。
エリア音成分選択部125Bでは、エリア音判定部128から送られた各々のエリア収音出力の同一周波数成分同士を比較し、最大振幅の成分を選択、当該最大振幅成分を拡張された複数エリア収音の出力の成分として抽出する。エリア音判定部128で目的エリア音が存在しないと判定されたエリア収音出力は、ゼロもしくは大幅にゲインが弱められるため、エリア音成分選択部125Bで選択されることはほぼない。
図12は、エリア音成分選択部125Bによる処理を模式的に示した説明図(イメージ図)である。図12(a)、図12(b)、図12(c)は、それぞれZ(n)、Z(n)、Z(n)のエリア音成分(周波数ごとの強度)を棒グラフの形式で示した図である。そして、図12(d)は、最終出力W(n)の成分(周波数ごとの強度)を棒グラフ形式で示した図である。
図12の例では、エリア音判定部128が、エリア収音出力Z(n)、Z(n)については目的エリア音が含まれていると判定し、エリア収音出力Z(n)については目的エリア音が含まれていないと判断した例について示している。したがって、図12の例では、エリア音成分選択部125Bにより生成されるエリア収音出力W(n)には、エリア収音出力Z(n)、Z(n)から選択された成分(周波数ごとに、最も強度の強い成分)のみが含まれる結果となる。
以上のように、収音部120Bは、拡大されたエリアから収音された目的音声として最終出力W(n)を出力する。そして、この最終出力W(n)は、時間変換された後、通信路Pを介して通信装置200(スピーカ210)より出力される。
(C-3)第3の実施形態の効果
第3の実施形態によれば、第1の実施形態と比較して、以下のような効果を奏することができる。
第3の実施形態の収音部120Bでは、複数の収音エリア毎に目的音の存在有無を判定し、目的音が存在しないエリアの周波数成分に対しては、ゼロ化もしくはゲインの縮小を行なっている。これにより、第3の実施形態の収音部120Bでは、複数のエリアから収音しても不要なミュージカルノイズなどの混入が避けられ、拡大されやエリアにおいても均一かつ高品質なエリア収音結果が得られる。
(D)他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
(D-1)上記の各実施形態では、収音部120、120A、120Bは通信装置100の一部を構成するものとして説明したが、独立した装置として構成するようにしてもよい。また、上記の各実施形態では、収音部120、120A、120Bにマイクアレイ部1は含まない構成として説明したが、収音部120、120A、120Bとマイクアレイ部1を一体とした装置として構成するようにしてもよい。
(D-2)上記の各実施形態では、本発明の収音装置(収音部120、120A、120B)をハンドセット等の手持ち型の送話器(送受話器)を備える装置等に適用する例について説明したが、本発明の収音装置は、ヘッドセットやウェアラブルデバイス(例えば、マイクロホン付きのヘッドマウントディスプレイ、マイクロホン付きのネックバンド型ヘッドホン等)に適用し、第1のユーザU1による装着時に第1のユーザU1の口元が位置する領域を目的エリアとし、その周囲(送話口)の多角形(N角形)の各頂点にマイクロホンを設置し、上記の実施形態と同様にエリア収音処理するようにしてもよい。
(D-3)上記の実施形態では、3個のマイクロホンMC1~MC3を用いたエリア収音の例について示したが、マイクアレイ部111に設置するマイクロホンの数(マイクロホンを配置する多角形の辺(角)の数)は限定されないものでる。例えば、3方向あるいは4方向からエリア収音を行なってもマイクロホンの数の増加は僅かであり、結果的に処理量の増加も限定的である。具体的には、例えば、上記の実施形態において、4つのマイクロホンを四角形の角頂点に配置した場合、4エリアのエリア収音を行なっているにも係らず、マイク数は従来のエリア収音の最小構成である2マイクアレイ×2と同じ4つのマイクロホンで実現できるため、簡素な構成で処理量も少なくハンドセット110という限られたスペースの機器にも容易に実装できる。
以上のように、マイクアレイ部111に設置するマイクロホンの数(マイクロホンの位置により形成される多角形の角数)が増せば、指向性の方向(BF出力の指向性の方向)が多様化し、発話者(第1のユーザU1)の口元の変動(ハンドセット110の送話口113と第1のユーザU1の口元との相対的な位置の変動)に対して安定性がさらに向上する。
図13は、マイクアレイ部111のマイクロホンの数を4つとした場合の構成について示した説明図である。
図13では、4つのマイクロホンMC1~MC4が四角形(正方形)の角頂点の位置に配置されている。4つのマイクロホンMC1~MC4は互いに隣り合うマイクロホン同士と組み合わされて、マイクロホンMC1、MC2の対により形成されるマイクアレイMA701と、マイクロホンMC2、MC3の対により形成されるマイクアレイMA702と、マイクロホンMC3、MC4の対により形成されるマイクアレイMA703と、マイクロホンMC4、MC1の対により形成されるマイクアレイMA704の4つが形成される。さらにこれらのマイクロアレイは隣り合うマイクアレイとの組み合わせ(一部のマイクロホンを共有するマイクアレイの組み合わせ)により4つのエリア収音が可能となる。例えば、マイクアレイ部111に、4つのマイクロホンMC1~MC4の構成を適用した場合、収音部120では、マイクアレイMA701、MA702の組み合わせによるエリア収音と、マイクアレイMA702、MA703の組み合わせによるエリア収音と、マイクアレイMA703、MA704の組み合わせによるエリア収音と、マイクアレイMA704、MA701の組み合わせによるエリア収音の各出力(4つのエリア収音の出力)を取得することができる。そして、収音部120では、上述の4つのエリア収音の出力に基づいた収音結果(例えば、4つのエリア収音出力を第1~第3の実施形態のいずれかの処理で統合した結果)を取得することができる。
100…通信装置、110…ハンドセット、111…マイクアレイ部、MC1、MC2、MC3…マイクロホン、112…スピーカ、113…送話口、114…受話口、115…把手部、120…収音部、121…信号入力部、122…周波数変換部、123…指向性形成部、124…目的エリア音抽出部、125…エリア音選択部、130…通信部、140…出力部、200…通信装置、210…スピーカ、220…マイク、230…通信部、240…出力部、250…収音部、U1…第1のユーザ、U1a…聴者の手、U2…第2のユーザ、P…通信路。

Claims (7)

  1. 3以上の異なる指向性のマイクアレイを形成可能なマイクアレイ部からの入力信号に基づいて、2パターン以上の前記マイクアレイの組み合わせに基づくエリア収音出力を取得する第1のエリア収音手段と、
    前記第1のエリア収音手段が取得した各パターンのエリア収音出力を統合した結果をエリア収音結果として出力する第2のエリア収音手段とを有し、
    前記第2のエリア収音手段は、前記第1のエリア収音手段が取得した各パターンのエリア収音出力を周波数毎に互いに比較し、周波数毎に最も強度の強い成分を選択した結果をエリア収音結果として出力する
    ことを特徴とする収音装置。
  2. 前記第2のエリア収音手段は、前記第1のエリア収音手段が取得した各パターンのエリア収音出力について目的エリア音の有無の判定処理を行い、前記判定処理の結果目的エリア音を含むと判定されたエリア収音出力のみに基づきエリア収音結果を得ることを特徴とする請求項1に記載の収音装置。
  3. 前記マイクアレイ部は、N角形(Nは3以上の整数)の角頂点の位置に配置されたN個のマイクロホンを備えることを特徴とする請求項1又は2に記載の収音装置。
  4. それぞれの前記マイクアレイの指向性は、前記N角形の内側方向にむけられていることを特徴とする請求項に記載の収音装置。
  5. 前記第1のエリア収音手段は、それぞれのパターンの前記マイクアレイの組み合わせについて、
    それぞれの前記マイクアレイから入力されたそれぞれの入力信号について前記N角形の内側方向にビームフォーマにより指向性を形成する指向性形成処理と、
    それぞれの前記マイクアレイのビームフォーマ出力をスペクトル減算することで目的エリア方向に存在する非目的エリア音を抽出する非目的エリア音抽出処理と、
    それぞれの前記マイクアレイのビームフォーマ出力から前記非目的エリア音をスペクトル減算することにより、エリア収音出力を取得するエリア収音処理と
    を行うことを特徴とする請求項に記載の収音装置。
  6. コンピュータを、
    3以上の異なる指向性のマイクアレイを形成可能なマイクアレイ部からの入力信号に基づいて、2パターン以上の前記マイクアレイの組み合わせに基づくエリア収音出力を取得する第1のエリア収音手段と、
    前記第1のエリア収音手段が取得した各パターンのエリア収音出力を統合した結果をエリア収音結果として出力する第2のエリア収音手段として機能させ、
    前記第2のエリア収音手段は、前記第1のエリア収音手段が取得した各パターンのエリア収音出力を周波数毎に互いに比較し、周波数毎に最も強度の強い成分を選択した結果をエリア収音結果として出力する
    ことを特徴とする収音プログラム。
  7. 収音装置が行う収音方法において、
    第1のエリア収音手段、及び第2のエリア収音手段を備え、
    前記第1のエリア収音手段は、3以上の異なる指向性のマイクアレイを形成可能なマイクアレイ部からの入力信号に基づいて、2パターン以上の前記マイクアレイの組み合わせに基づくエリア収音出力を取得し、
    前記第2のエリア収音手段は、前記第1のエリア収音手段が取得した各パターンのエリア収音出力を統合した結果をエリア収音結果として出力し、
    前記第2のエリア収音手段は、前記第1のエリア収音手段が取得した各パターンのエリア収音出力を周波数毎に互いに比較し、周波数毎に最も強度の強い成分を選択した結果をエリア収音結果として出力する
    ことを特徴とする収音方法。
JP2018062672A 2018-03-28 2018-03-28 収音装置、プログラム及び方法 Active JP7175096B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018062672A JP7175096B2 (ja) 2018-03-28 2018-03-28 収音装置、プログラム及び方法
US16/235,571 US10880642B2 (en) 2018-03-28 2018-12-28 Sound pick-up apparatus, medium, and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018062672A JP7175096B2 (ja) 2018-03-28 2018-03-28 収音装置、プログラム及び方法

Publications (2)

Publication Number Publication Date
JP2019176328A JP2019176328A (ja) 2019-10-10
JP7175096B2 true JP7175096B2 (ja) 2022-11-18

Family

ID=68054097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018062672A Active JP7175096B2 (ja) 2018-03-28 2018-03-28 収音装置、プログラム及び方法

Country Status (2)

Country Link
US (1) US10880642B2 (ja)
JP (1) JP7175096B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4207185A4 (en) 2020-11-05 2024-05-22 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND CONTROL METHOD THEREFOR

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4212600B2 (ja) 2006-04-13 2009-01-21 株式会社東芝 無線通信端末装置
WO2013065088A1 (ja) 2011-11-02 2013-05-10 三菱電機株式会社 雑音抑圧装置
JP2016127457A (ja) 2015-01-05 2016-07-11 沖電気工業株式会社 収音装置、プログラム及び方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04212600A (ja) * 1990-12-05 1992-08-04 Oki Electric Ind Co Ltd 音声入力装置
US6603861B1 (en) * 1997-08-20 2003-08-05 Phonak Ag Method for electronically beam forming acoustical signals and acoustical sensor apparatus
JP4162604B2 (ja) 2004-01-08 2008-10-08 株式会社東芝 雑音抑圧装置及び雑音抑圧方法
JP5482854B2 (ja) * 2012-09-28 2014-05-07 沖電気工業株式会社 収音装置及びプログラム
JP6149818B2 (ja) * 2014-07-18 2017-06-21 沖電気工業株式会社 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム
US9781508B2 (en) * 2015-01-05 2017-10-03 Oki Electric Industry Co., Ltd. Sound pickup device, program recorded medium, and method
US20160255444A1 (en) * 2015-02-27 2016-09-01 Starkey Laboratories, Inc. Automated directional microphone for hearing aid companion microphone
JP6131989B2 (ja) * 2015-07-07 2017-05-24 沖電気工業株式会社 収音装置、プログラム及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4212600B2 (ja) 2006-04-13 2009-01-21 株式会社東芝 無線通信端末装置
WO2013065088A1 (ja) 2011-11-02 2013-05-10 三菱電機株式会社 雑音抑圧装置
JP2016127457A (ja) 2015-01-05 2016-07-11 沖電気工業株式会社 収音装置、プログラム及び方法

Also Published As

Publication number Publication date
US10880642B2 (en) 2020-12-29
JP2019176328A (ja) 2019-10-10
US20190306619A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
JP5007442B2 (ja) 発話改善のためにマイク間レベル差を用いるシステム及び方法
JP4873913B2 (ja) 音源分離システムおよび音源分離方法、並びに音響信号取得装置
US8180067B2 (en) System for selectively extracting components of an audio input signal
US8654990B2 (en) Multiple microphone based directional sound filter
KR102470962B1 (ko) 사운드 소스들을 향상시키기 위한 방법 및 장치
US8204263B2 (en) Method of estimating weighting function of audio signals in a hearing aid
JP6187626B1 (ja) 収音装置及びプログラム
WO2017093554A2 (en) Conference system with a microphone array system and a method of speech acquisition in a conference system
KR102352927B1 (ko) 상관 기반 근접장 검출기
JP6789690B2 (ja) 信号処理装置、信号処理方法、及びプログラム
US9232309B2 (en) Microphone array processing system
CN111078185A (zh) 录制声音的方法及设备
JP7067146B2 (ja) 収音装置、プログラム及び方法
JP6943120B2 (ja) 収音装置、プログラム及び方法
JP7175096B2 (ja) 収音装置、プログラム及び方法
KR102475869B1 (ko) 잡음이 포함된 오디오 신호를 처리하는 방법 및 장치
JP6436180B2 (ja) 収音装置、プログラム及び方法
US9729967B2 (en) Feedback canceling system and method
JP7176291B2 (ja) 収音装置、プログラム及び方法
JP7176316B2 (ja) 収音装置、プログラム及び方法
JP7067173B2 (ja) 収音装置、プログラム及び方法
JP6973224B2 (ja) 収音装置、プログラム及び方法
JP7040198B2 (ja) 収音装置、プログラム及び方法
Hoang et al. Maximum likelihood estimation of the interference-plus-noise cross power spectral density matrix for own voice retrieval
As’ad et al. Robust minimum variance distortionless response beamformer based on target activity detection in binaural hearing aid applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220422

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220422

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220509

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220510

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220715

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220726

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220809

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220913

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20221004

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20221108

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221108

R150 Certificate of patent or registration of utility model

Ref document number: 7175096

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150