JP7370014B2 - 収音装置、収音方法、及びプログラム - Google Patents

収音装置、収音方法、及びプログラム Download PDF

Info

Publication number
JP7370014B2
JP7370014B2 JP2020525268A JP2020525268A JP7370014B2 JP 7370014 B2 JP7370014 B2 JP 7370014B2 JP 2020525268 A JP2020525268 A JP 2020525268A JP 2020525268 A JP2020525268 A JP 2020525268A JP 7370014 B2 JP7370014 B2 JP 7370014B2
Authority
JP
Japan
Prior art keywords
sound
noise
noise source
source
collection device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020525268A
Other languages
English (en)
Other versions
JPWO2019239667A1 (ja
Inventor
良文 廣瀬
祐介 足立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2019239667A1 publication Critical patent/JPWO2019239667A1/ja
Application granted granted Critical
Publication of JP7370014B2 publication Critical patent/JP7370014B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Studio Devices (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

本開示は、目的音を収音する収音装置、収音方法、及びプログラムに関する。
特許文献1は、複数のマイクロホンから得られた収音信号に対し、ノイズ低減化処理を施す信号処理装置を開示している。この信号処理装置は、カメラの撮像データに基づいて話者を検出し、複数のスピーカに対する話者の相対方向を特定している。また、この信号処理装置は、収音信号の振幅スペクトルに含まれたノイズレベルからノイズ源の方向を特定している。信号処理装置は、話者の相対方向とノイズ源の方向とが一致するときに、ノイズ低減化処理を行っている。これにより、外乱信号を効率的に低減している。
特開2012-216998号公報
本開示は、目的音の収音の精度を向上させる収音装置、収音方法、及びプログラムを提供する。
本開示の一態様の収音装置は、雑音を抑圧して収音する収音装置であって、カメラによって生成された画像データを入力する第1の入力部と、マイクアレイから出力される音響信号を入力する第2の入力部と、雑音源又は目的音源を示す物体の画像の特徴量を示す第1のデータを記憶する記憶部と、画像データを第1のデータと照合する第1の照合を行うことによって、雑音源の方向を特定し、特定した雑音源の方向から到来する音を抑圧するような信号処理を音響信号に対して行う制御部と、を備える。
これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
本開示の収音装置、収音方法、及びプログラムによれば、カメラから得られる画像データを雑音源又は目的音源を示す物体の画像の特徴量と照合することによって、音を抑圧する方向を決定するため、雑音を精度良く抑圧することができる。これにより、目的音の収音の精度が向上する。
第1実施形態の収音装置の構成を示すブロック図 第1実施形態の制御部の機能と記憶部内のデータの一例を示すブロック図 収音環境の一例を模式的に示す図 目的音源からの音を強調し且つ雑音源からの音を抑圧する例を示す図 第1~第3の実施形態の収音方法を示すフローチャート 水平角における収音方向を説明するための図 垂直角における収音方向を説明するための図 判定領域を説明するための図 第1~第3の実施形態の雑音源方向の推定の全体動作を示すフローチャート 第1実施形態の非目的物の検出を示すフローチャート 第1実施形態の雑音の検出を示すフローチャート 雑音検出部の動作の一例を説明するための図 第1実施形態の雑音源方向の決定を示すフローチャート 第1~第3の実施形態の目的音源方向の推定の全体動作を示すフローチャート 目的物の検出を説明するための図 音源の検出を説明するための図 第1~第3の実施形態の目的音源方向の決定を示すフローチャート ビームフォーム部によるビームフォーム処理を説明するための図 第2実施形態における雑音源方向の決定を示すフローチャート 第3実施形態の制御部の機能と記憶部内のデータの一例を示すブロック図 第3実施形態の非目的物の検出を示すフローチャート 第3実施形態の雑音の検出を示すフローチャート
(本開示の基礎となった知見)
特許文献1の信号処理装置は、収音信号の振幅スペクトルに含まれたノイズレベルからノイズ源の方向を特定している。しかし、ノイズレベルだけではノイズ源の方向を精度良く特定することは難しい。本開示の収音装置は、カメラから取得した画像データとマイクアレイから取得した音響信号の少なくともいずれか一方を、雑音源又は目的音源の特徴量を示すデータと照合することによって、雑音源の方向を特定する。これにより、精度良く雑音源の方向を特定して、特定した方向から到来する雑音を信号処理によって抑圧することができる。雑音を精度良く抑圧することによって、目的音の収音の精度が向上する。
(第1実施形態)
以下、実施形態について、図面を参照しながら説明する。本実施形態では、人物の音声を目的音として収音する例について説明する。
1. 収音装置の構成
図1は、本開示の収音装置の構成を示している。収音装置1は、カメラ10、マイクアレイ20、制御部30、記憶部40、入出力インタフェース部50、及びバス60を備える。収音装置1は、例えば、会議中の人の音声を収音する。本実施形態において、収音装置1は、カメラ10、マイクアレイ20、制御部30、記憶部40、入出力インタフェース部50、及びバス60が一体化された専用の収音機である。
カメラ10は、CCDイメージセンサ、CMOSイメージセンサ、又はNMOSイメージセンサなどのイメージセンサを備える。カメラ10は、映像信号である画像データを生成して、出力する。
マイクアレイ20は、複数のマイクロホンを備える。マイクアレイ20は、音波を受信して、電気信号である音響信号に変換して出力する。
制御部30は、カメラ10から得られた画像データと、マイクアレイ20から得られた音響信号に基づいて、目的音源方向と雑音源方向を推定する。目的音源方向は、目的音を発する目的音源が存在する方向である。雑音源方向は、雑音を発する雑音源が存在する方向である。制御部30は、目的音源方向から到来する音を強調し且つ雑音源方向から到来する音を抑圧するような信号処理を行うことによって、マイクアレイ20が出力した音響信号から目的音を取り出す。制御部30は、半導体素子などで実現可能である。制御部30は、例えば、マイコン、CPU、MPU、DSP、FPGA、又はASICで構成することができる。
記憶部40は、雑音源の特徴量を示す雑音源データを格納する。カメラ10から得られた画像データ及びマイクアレイ20から得られた音響信号が記憶部40に格納されてもよい。記憶部40は、例えば、ハードディスク(HDD)、SSD、RAM、DRAM、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。
入出力インタフェース部50は、所定の通信規格に準拠して外部機器との通信を行う回路を含む。所定の通信規格は、例えば、LAN、Wi-Fi(登録商標)、Bluetooth(登録商標)、USB、及びHDMI(登録商標)を含む。
バス60は、カメラ10、マイクアレイ20、制御部30、記憶部40、及び入出力インタフェース部50を電気的に接続する信号線である。
制御部30が画像データをカメラ10から取得又は記憶部40から取り出すときは、制御部30が画像データの入力部に相当する。制御部30が音響信号をマイクアレイ20から取得又は記憶部40から取り出すときは、制御部30が音響信号の入力部に相当する。
図2は、制御部30の機能と記憶部40に格納されるデータとを示している。制御部30の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。
制御部30は、目的音源方向推定部31、雑音源方向推定部32、及びビームフォーム部33を含む。
目的音源方向推定部31は、目的音源方向を推定する。目的音源方向推定部31は、目的物検出部31a、音源検出部31b、及び目的音源方向決定部31cを含む。
目的物検出部31aは、カメラ10によって生成された画像データvから目的物を検出する。目的物は、目的音源となる物体である。目的物検出部31aは、例えば、人の顔を目的物として検出する。具体的には、目的物検出部31aは、動画1フレーム分又は静止画1枚分に相当する画像データv内の複数の判定領域r(θ,φ)内のそれぞれの画像が目的物である確率P(θ,φ|v)を算出する。判定領域r(θ,φ)については後述する。
音源検出部31bは、マイクアレイ20から得られる音響信号sから音源を検出する。具体的には、音源検出部31bは、収音装置1に対する水平角θ及び垂直角φによって特定される方向に音源が存在する確率P(θ,φ|s)を算出する。
目的音源方向決定部31cは、目的物である確率P(θ,φ|v)と音源が存在する確率P(θ,φ|s)とに基づいて、目的音源方向を決定する。目的音源方向は、例えば、収音装置1に対する水平角θ及び垂直角φで示される。
雑音源方向推定部32は、雑音源方向を推定する。雑音源方向推定部32は、非目的物検出部32a、雑音検出部32b、及び雑音源方向決定部32cを含む。
非目的物検出部32aは、カメラ10によって生成された画像データvから非目的物を検出する。具体的には、非目的物検出部32aは、動画1フレーム分又は静止画1枚分に相当する画像データv内の複数の判定領域r(θ,φ)内のそれぞれの画像が非目的物であるか否かを判定する。非目的物は、雑音源となる物体である。例えば、収音装置1が会議室で使用される場合、非目的物は会議室のドア及び会議室内にあるプロジェクタ等である。例えば、収音装置1が屋外で使用される場合、非目的物は救急車などの音を発する移動物体である。
雑音検出部32bは、マイクアレイ20が出力した音響信号sから雑音を検出する。本明細書において、雑音を非目的音とも称する。具体的には、雑音検出部32bは、水平角θ及び垂直角φによって特定される方向から到来する音が雑音か否かを判定する。雑音は、例えば、ドアの開閉時の音、プロジェクタのファンの音、及び救急車のサイレン音である。
雑音源方向決定部32cは、非目的物検出部32aの判定結果と雑音検出部32bの判定結果に基づいて、雑音源方向を決定する。例えば、非目的物検出部32aが非目的物を検出し、且つ雑音検出部32bが雑音を検出したときに、検出した位置又は方向に基づいて雑音源方向を決定する。雑音源方向は、例えば、収音装置1に対する水平角θ及び垂直角φで示される。
ビームフォーム部33は、マイクアレイ20が出力した音響信号sに対して、目的音源方向から到来する音を強調し、雑音源方向から到来する音を抑圧するような信号処理を行って、音響信号sから目的音を取り出す。これにより、雑音が低減された、クリアな音声を収音できる。
記憶部40には、雑音源の特徴量を示す雑音源データ41が格納されている。雑音源データ41に含まれる雑音源は1つであってもよいし、複数であってもよい。例えば、雑音源データ41は、車、ドア、及びプロジェクタを雑音源として含んでもよい。雑音源データ41は、非目的物データ41aと、非目的音データである雑音データ41bとを含む。
非目的物データ41aは、雑音源となる非目的物の画像特徴量を含む。非目的物データ41aは、例えば、非目的物の画像特徴量を含むデータベースである。画像特徴量は、例えば、wavelet特徴量、Haar-like特徴量、HOG(Histograms of Oriented Gradients)特徴量、EOH(Edge of Oriented Histograms)特徴量、Edgelet特徴量、Joint Haar-like特徴量、Joint HOG特徴量、スパース特徴量、Shapelet特徴量、及び共起確率特徴量のうちのいずれか1つ以上である。非目的物検出部32aは、例えば、画像データvから抽出した特徴量を非目的物データ41aと照合することによって、非目的物を検出する。
雑音データ41bは、雑音源が出力する雑音の音響特徴量を含む。雑音データ41bは、例えば、雑音の音響特徴量を含むデータベースである。音響特徴量は、例えば、MFCC(Mel-Frequency Cepstral Coefficient)及びi-vectorのうちのいずれか1つ以上である。雑音検出部32bは、例えば、音響信号sから抽出した特徴量を雑音データ41bと照合することによって、雑音を検出する。
2. 収音装置の動作
2.1 信号処理の概要
図3は、収音装置1が、周囲にある目的音源が発する目的音と雑音源が発する雑音を収音する例を模式的に示している。図4は、目的音を強調し且つ雑音を抑圧する信号処理の一例を示している。図4の横軸は、目的音及び雑音が到来する方向、すなわち収音装置1に対する目的音源及び雑音源の角度を示す。図4の縦軸は、音響信号のゲインを示す。図3に示すように、収音装置1の周囲に雑音源があると、マイクアレイ20は雑音を含む音響信号を出力する。よって、本実施形態の収音装置1は、図4に示すように、雑音源方向に対して、ビームフォーム処理により死角を形成する。すなわち、収音装置1は、音響信号に対して雑音を抑圧するような信号処理を行う。これにより、精度良く目的音を収音することができる。収音装置1は、さらに、音響信号に対して目的音源方向から到来する音を強調するような信号処理を行う。これにより、より精度良く目的音を収音することができる。
2.2 収音装置の全体動作
図5は、制御部30による収音動作を示している。
雑音源方向推定部32は、雑音源方向を推定する(S1)。目的音源方向推定部31は、目的音源方向を推定する(S2)。ビームフォーム部33は、推定された雑音源方向及び目的音源方向に基づいて、ビームフォーム処理を行う(S3)。具体的には、ビームフォーム部33は、マイクアレイ20が出力した音響信号に対して、雑音源方向から到来する音を抑圧し、目的音源方向から到来する音を強調するように信号処理を行う。ステップ1に示す雑音源方向の推定と、ステップS2に示す目的音源方向の推定の順序は、逆であってもよい。
図6Aは、水平角θにおける収音の例を模式的に示している。図6Bは、垂直角φにおける収音の例を模式的に示している。図6Cは、判定領域r(θ,φ)の一例を示している。カメラ10が生成する画像データv内の各領域の座標系の位置は、カメラ10の画角に応じて、収音装置1に対する水平角θ及び垂直角φに対応付けられる。カメラ10が生成する画像データvは、カメラ10の水平画角及び垂直画角に応じた複数の判定領域r(θ,φ)に分割されうる。なお、カメラ10の種類に応じて、画像データvは、円周状に分割されてもよいし、格子状に分割されてもよい。本実施形態では、ステップS1において判定領域r(θ,φ)に対応する方向が雑音源方向か否かを判定し、ステップS2において判定領域r(θ,φ)に対応する方向が目的音源方向か否かを判定する。本明細書において、雑音源方向を推定するとき(S1)の判定領域をr(θ,φ)と記載し、目的音源方向を推定するとき(S2)の判定領域をr(θ,φ)と記載する。判定領域r(θ,φ),r(θ,φ)の大きさ又は形状は、同一であってもよいし、異なってもよい。
2.3 雑音源方向の推定
図7から図11を参照して、雑音源方向の推定について説明する。図7は、雑音源方向の推定(S1)の詳細を示している。図7において、ステップS11に示す非目的物の検出と、ステップS12に示す雑音の検出の順序は、逆であってもよい。
非目的物検出部32aは、カメラ10によって生成された画像データvから非目的物を検出する(S11)。具体的には、非目的物検出部32aは、画像データvにおいて、判定領域r(θ,φ)内の画像が非目的物か否かを判定する。雑音検出部32bは、マイクアレイ20から出力された音響信号sから雑音を検出する(S12)。具体的には、雑音検出部32bは、音響信号sから、水平角θ及び垂直角φの方向から到来する音が雑音か否かを判定する。雑音源方向決定部32cは、非目的物と雑音の検出結果に基づいて、雑音源方向(θ,φ)を決定する(S13)。
図8は、非目的物の検出(S11)の一例を示している。非目的物検出部32aは、カメラ10が生成した画像データvを取得する(S111)。非目的物検出部32aは、判定領域r(θ,φ)内の画像特徴量を抽出する(S112)。抽出する画像特徴量は、非目的物データ41aが示す画像特徴量に対応する。例えば、抽出する画像特徴量は、wavelet特徴量、Haar-like特徴量、HOG特徴量、EOH特徴量、Edgelet特徴量、Joint Haar-like特徴量、Joint HOG特徴量、スパース特徴量、Shapelet特徴量、及び共起確率特徴量のうちのいずれか1つ以上である。画像特徴量はこれらに限定するものではなく、画像データから物体を特定するための特徴量であればよい。
非目的物検出部32aは、抽出した画像特徴量を非目的物データ41aと照合して、非目的物との類似度P(θ,φ|v)を算出する(S113)。類似度P(θ,φ|v)は、判定領域r(θ,φ)内の画像が非目的物である確率、すなわち、非目的物らしさを示す確度である。非目的物の検出方法は、任意である。例えば、非目的物検出部32aは、抽出した画像特徴量と非目的物データ41aとのテンプレートマッチングによって類似度を算出する。
非目的物検出部32aは、類似度が所定値以上か否かを判定する(S114)。類似度が所定値以上であれば、判定領域r(θ,φ)内の画像が非目的物であると判定する(S115)。類似度が所定値よりも低ければ、判定領域r(θ,φ)内の画像が非目的物ではないと判定する(S116)。
非目的物検出部32aは、画像データv内の全判定領域r(θ,φ)における判定が完了したか否かを判断する(S117)。判定していない判定領域r(θ,φ)があれば、ステップS112に戻る。全判定領域r(θ,φ)についての判定が完了すれば、図8に示す処理を終了する。
図9は、雑音の検出(S12)の一例を示している。雑音検出部32bは、判定領域r(θ,φ)の方向に指向性を形成して、音響信号sから判定領域r(θ,φ)の方向から到来する音を抽出する(S121)。雑音検出部32bは、抽出した音から音響特徴量を抽出する(S122)。抽出する音響特徴量は、雑音データ41bが示す音響特徴量に対応する。例えば、抽出する音響特徴量は、MFCC及びi-vectorのうちのいずれか1つ以上である。音響特徴量はこれらに限定するものではなく、音響データから物体を特定するための特徴量であればよい。
雑音検出部32bは、抽出した音響特徴量を雑音データ41bと照合して、雑音との類似度P(θ,φ|s)を算出する(S123)。類似度P(θ,φ|s)は、判定領域r(θ,φ)の方向から到来する音が雑音である確率、すなわち、雑音らしさを示す確度である。雑音の検出方法は、任意である。例えば、雑音検出部32bは、抽出した音響特徴量と雑音データ41bとのテンプレートマッチングによって類似度を算出する。
雑音検出部32bは、類似度が所定値以上か否かを判定する(S124)。類似度が所定値以上であれば、判定領域r(θ,φ)の方向から到来する音が雑音であると判定する(S125)。類似度が所定値よりも低ければ、判定領域r(θ,φ)の方向から到来する音は雑音ではないと判定する(S126)。
雑音検出部32bは、全判定領域r(θ,φ)における判定が完了したか否かを判断する(S127)。判定していない判定領域r(θ,φ)があれば、ステップS121に戻る。全判定領域r(θ,φ)についての判定が完了すれば、図9に示す処理を終了する。
図10は、ステップS121における指向性の形成の一例を示している。図10では、マイクアレイ20が2つのマイクロホン20i,20jを含む例を示している。マイクロホン20i,20jにおけるθ方向から到来する音波の受信のタイミングは、マイクロホン20i,20j間の間隔dに応じて異なる。具体的には、マイクロホン20jにおいては、距離dsinθに応じた分の伝搬遅延が発生する。すなわち、マイクロホン20i,20jから出力される音響信号において位相差が生じる。
雑音検出部32bは、距離dsinθに相当する遅延量によってマイクロホン20iの出力を遅延させてから、加算器321によりマイクロホン20i,20jから出力される音響信号を加算する。加算器321の入力において、θ方向から到来する信号の位相は一致するため、加算器321の出力において、θ方向から到来した信号は強調される。一方、θ以外の方向から到来した信号は、互いに位相が一致しないため、θから到来した信号ほど強調されることはない。よって、例えば、加算器321の出力を用いることによって、θ方向に指向性が形成される。
図10の例では、水平角θにおける方向について例示しているが、垂直角φにおける方向についても同様に、指向性を形成することができる。
図11は、雑音源方向の決定(S13)の一例を示している。雑音源方向決定部32cは、非目的物検出部32aと雑音検出部32bとからそれぞれ判定領域r(θ,φ)における判定結果を取得する(S131)。雑音源方向決定部32cは、判定領域r(θ,φ)における判定結果が、非目的物であり且つ雑音であることを示しているか否かを判断する(S132)。判定結果が非目的物であり且つ雑音であれば、雑音源方向決定部32cは、その判定領域r(θ,φ)の方向に雑音源があると判断して、判定領域r(θ,φ)から雑音源方向である水平角θ,垂直角φを特定する(S133)。
雑音源方向決定部32cは、全判定領域r(θ,φ)における判定が完了したか否かを判断する(S134)。判定していない判定領域r(θ,φ)があれば、ステップS131に戻る。全判定領域r(θ,φ)についての判定が完了すれば、図11に示す処理を終了する。
2.4 目的音源方向の推定
図12から図15を参照して、目的音源方向の推定について説明する。図12は、目的音源方向の推定(S2)の詳細を示している。図12において、ステップS21における目的物の検出とステップS22における音源の検出の順序は、逆であってもよい。
目的物検出部31aは、カメラ10によって生成された画像データvに基づいて、目的物を検出する(S21)。具体的には、目的物検出部31aは、画像データv内において判定領域r(θ,φ)内の画像が目的物である確率P(θ,φ|v)を算出する。目的物の検出方法は、任意である。一例として、目的物の検出は、各判定領域r(θ,φ)が目的物である顔の特徴と一致しているか否かを判定することによって行う(「Rapid Object Detection using a Boosted Cascade of Simple Features」 ACCEPTED CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION 2001を参照)。
音源検出部31bは、マイクアレイ20から出力された音響信号sに基づいて、音源を検出する(S22)。具体的には、音源検出部31bは、水平角θ及び垂直角φで特定される方向に音源が存在する確率P(θ,φ|s)を算出する。音源の検出方法は、任意である。例えば、音源の検出は、CSP(Cross-Power Spectrum Phase Analysis)法又はMUSIC(Multiple Signal Classification)法を使用して行うことができる。
目的音源方向決定部31cは、画像データvから算出した目的物である確率P(θ,φ|v)と音響信号sから算出した音源である確率P(θ,φ|s)とに基づいて、目的音源方向(θ,φ)を決定する(S23)。
ステップS21における顔の識別方法の一例について説明する。図13は、顔の識別方法の一例を示している。目的物検出部31aは、例えば、弱識別器310(1)~310(N)を備える。弱識別器310(1)~310(N)を特に区別しないときは、N個の弱識別器310とも称する。弱識別器310(1)~310(N)は、それぞれ、顔の特徴を示す情報を有する。顔の特徴を示す情報は、N個の弱識別器310のそれぞれにおいて、異なる。目的物検出部31aは、領域r(θ,φ)が顔であると判定した回数C(r(θ,φ))を計算する。具体的には、目的物検出部31aは、最初に、一つ目の弱識別器310(1)によって、領域r(θ,φ)が顔であるか否かを判定する。弱識別器310(1)が、領域r(θ,φ)は顔でないと判定した場合、「C(r(θ,φ))=0」となる。一つ目の弱識別器310(1)が、領域r(θ,φ)は顔であると判定した場合は、二つ目の弱識別器310(2)が、一つ目の弱識別器310(1)とは異なる顔の特徴の情報を用いて、領域r(θ,φ)が顔であるか否かを判定する。二つ目の弱識別器310(2)が、領域r(θ,φ)が顔であると判定した場合、三つ目の弱識別器310(3)が、領域r(θ,φ)が顔であるか否かを判定する。このように、動画1フレーム分又は静止画1枚分に相当する画像データvに対して、領域r(θ,φ)毎に、N個の弱識別器310を用いて顔であるか否かを判定する。例えば、N個の弱識別器310の全てが領域r(θ,φ)は顔であると判定した場合、顔であると判定された回数は「C(r(θ,φ))=N」となる。
顔を検出するときの領域r(θ,φ)の大きさは、一定であってもよいし、可変であってもよい。例えば、顔を検出するときの領域r(θ,φ)の大きさは、動画の1フレーム分又は静止画1枚分の画像データv毎に変わってもよい。
目的物検出部31aは、画像データv内の領域r(θ,φ)の全てについて、顔であるか否かの判定を行うと、下記式(1)によって、画像データv内において水平角θ及び垂直角φで特定される位置の画像が顔である確率P(θ,φ|v)を算出する。
Figure 0007370014000001
ステップS22における音源の検出方法の一例であるCSP法について説明する。図14は、音波がマイクアレイ20のマイクロホン20i及び20jに到来する状態を模式的に示している。マイクロホン20i及び20j間の距離dに応じて、音波がマイクロホン20i及び20jに到来するときに時間差τが生じる。
音源検出部31bは、水平角θにおいて、音源が存在する確率P(θ|s)を、CSP係数を用いた下記式(2)により算出する。
Figure 0007370014000002
ここで、CSP係数は、下記式(3)によって求めることができる(電子情報通信学会論文誌 D-II Vol.J83-D-II No.8 pp.1713-1721、「マイクロホンアレーを用いたCSP法に基づく複数音源位置推定」を参照)。式(3)において、nは時間、S(n)はマイクロホン20iで受音した音響信号、S(n)はマイクロホン20jで受音した音響信号を示している。式(3)において、DFTは、離散フーリエ変換を示す。また、*は共役複素数を示す。
Figure 0007370014000003
時間差τは、音速c、マイクロホン20i,20j間の距離d、及びサンプリング周波数Fを用いて、下記式(4)によって表せる。
Figure 0007370014000004
よって、下記式(5)に示すように、式(2)のCSP係数を式(5)によって時間軸から方向軸に変換することによって、水平角θにおいて音源が存在する確率P(θ|s)を算出できる。
Figure 0007370014000005
垂直角φにおける音源が存在する確率P(φ|s)は、水平角θにおける確率P(θ|s)と同様に、CSP係数と時間差τによって算出できる。また、確率P(θ|s)及び確率P(φ|s)に基づいて、確率P(θ,φ|s)を算出できる。
図15は、目的音源方向の決定(S23)の詳細を示している。目的音源方向決定部31cは、判定領域r(θ,φ)毎に、目的音源である確率P(θ,φ)を算出する(S231)。例えば、目的音源方向決定部31cは、目的物の確率P(θ,φ|v)とその重みWv、及び音源の確率P(θ,φ|s)とその重みWsを用いて、目的音源である人物がいる確率P(θ,φ)を下記式(6)によって算出する。
Figure 0007370014000006
それから、目的音源方向決定部31cは、下記式(7)により、確率P(θ,φ)が最大となる水平角θ及び垂直角φを目的音源方向として決定する(S232)。
Figure 0007370014000007
式(6)に示す、目的物の確率P(θ,φ|v)に対する重みWvは、例えば、目的物が画像データvに含まれている確からしさを示す画像確度CMvに基づいて決定されてもよい。具体的には、例えば、目的音源方向決定部31cは、画像データvに基づいて、画像確度CMvを設定する。例えば、目的音源方向決定部31cは、画像データvの平均輝度Yaveを推奨輝度(Ymin_base~Ymax_base)と比較する。推奨輝度は、最小推奨輝度(Ymin_base)から最大推奨輝度(Ymax_base)までの範囲を有する。推奨輝度を示す情報は、予め記憶部40に格納されている。平均輝度Yaveが最小推奨輝度よりも低ければ、目的音源方向決定部31cは、画像確度CMvを「CMv=Yave/Ymin_base」に設定する。平均輝度Yaveが最大推奨輝度よりも高ければ、目的音源方向決定部31cは、画像確度CMvを「CMv=Ymax_base/Yave」に設定する。平均輝度Yaveが推奨輝度の範囲内であれば、目的音源方向決定部31cは、画像確度CMvを「CMv=1」に設定する。平均輝度Yaveが最小推奨輝度Ymin_baseよりも低かったり、最大推奨輝度Ymax_baseよりも高かったりすれば、目的物である顔を誤検出する場合がある。よって、平均輝度Yaveが推奨輝度の範囲内のときは画像確度CMvを最大値「1」に設定し、平均輝度Yaveが推奨輝度より高い、或いは、低いほど画像確度CMvを低くする。目的音源方向決定部31cは、例えば、単調増加関数によって、画像確度CMvに応じた重みWvを決定する。
式(6)に示す、音源の確率P(θ,φ|s)に対する重みWsは、例えば、音声が音響信号sに含まれている確からしさを示す音響確度CMsに基づいて決定されてもよい。具体的には、目的音源方向決定部31cは、人の音声GMM(Gausian Mixture Model)と非音声GMMを用いて、音響確度CMsを算出する。音声GMMと非音声GMMは、予め学習して生成されたものである。音声GMMと非音声GMMを示す情報は記憶部40に格納されている。目的音源方向決定部31cは、まず、音響信号sにおける音声GMMによる尤度Lvを算出する。次に、目的音源方向決定部31cは、音響信号sにおける非音声GMMによる尤度Lnを算出する。それから、目的音源方向決定部31cは、音響確度CMsを「CMs=Lv/Ln」に設定する。目的音源方向決定部31cは、例えば、単調増加関数によって、音響確度CMsに応じた重みWsを決定する。
2.5 ビームフォーム処理
雑音源方向(θ,φ)と目的音源方向(θ,φ)が決定された後のビームフォーム部33によるビームフォーム処理(S3)について説明する。ビームフォーム処理の方法は任意である。一例として、ビームフォーム部33は、一般化サイドローブキャンセラ(GSC)を利用する(電子情報通信学会技術研究報告、No.DSP2001-108、ICD2001-113、IE2001-92、pp.61-68、October,2001.「一般化サイドローブキャンセラを用いた2チャンネルマイクロホンアレーにおける適応話者追尾アルゴリズムの提案」を参照)。図16は、一般化サイドローブキャンセラ(GSC)を利用したビームフォーム部33の機能的構成を示している。
ビームフォーム部33は、遅延素子33a,33b、ビームステアリング部33c、ヌルステアリング部33d、及び減算器33eを含む。
遅延素子33aは、目的音源方向(θ,φ)に応じた遅延量ZDtに基づいて、目的音に関する到来時間差を補正する。具体的には、遅延素子33aは、マイクロホン20jに入力された入力信号u2(n)について、マイクロホン20iに入力された入力信号u1(n)との到来時間差を補正する。
ビームステアリング部33cは、入力信号u1(n)と補正後の入力信号u2(n)の和に基づいて出力信号d(n)を生成する。ビームステアリング部33cの入力において、目的音源方向(θ,φ)から到来する信号成分の位相は一致するため、出力信号d(n)において目的音源方向(θ,φ)から到来する信号成分は強調されている。
遅延素子33bは、雑音源方向(θ,φ)に応じた遅延量ZDnに基づいて、雑音に関する到来時間差を補正する。具体的には、遅延素子33bは、マイクロホン20jに入力された入力信号u2(n)について、マイクロホン20iに入力された入力信号u1(n)との到来時間差を補正する。
ヌルステアリング部33dは、適応フィルタ(ADF)33fを含む。ヌルステアリング部33dは、入力信号u1(n)と補正後の入力信号u2(n)の和を適応フィルタ33fの入力信号x(n)とし、入力信号x(n)に適応フィルタ33fの係数を乗算することによって出力信号y(n)を生成する。適応フィルタ33fの係数は、ビームステアリング部33cの出力信号d(n)と、ヌルステアリング部33dの出力信号y(n)の平均二乗誤差、すなわち、減算器33eの出力信号e(n)の二乗平均が最小になるように更新される。
減算器33eは、ビームステアリング部33cの出力信号d(n)からヌルステアリング部33dの出力信号y(n)を減算して出力信号e(n)を生成する。ヌルステアリング部33dの入力において、雑音源方向(θ,φ)から到来する信号成分の位相は一致するため、減算器33eが出力する出力信号e(n)において雑音源方向(θ,φ)から到来する信号成分が抑圧される。
ビームフォーム部33は、減算器33eの出力信号e(n)を出力する。ビームフォーム部33の出力信号e(n)は、目的音が強調され且つ雑音が抑圧された信号となる。
本実施の形態では、ビームステアリング部33cおよびヌルステアリング部33dを用いて目的音を強調し、且つ雑音を抑圧する処理を実施する例を示したが、処理はこれに限るものではなく、目的音を強調し、且つ雑音を抑圧する処理であれば良い。
3. 効果及び補足
本実施形態の収音装置1は、入力部と、記憶部40と、制御部30とを備える。カメラ10及びマイクアレイ20を内蔵する収音装置1における入力部は、制御部30である。入力部は、マイクアレイ20から出力される音響信号とカメラ10によって生成された画像データを入力する。記憶部40は、雑音源となる非目的物の画像特徴量を示す非目的物データ41aと、雑音源が出力する雑音の音響特徴量を示す雑音データ41bを記憶する。制御部30は、画像データを非目的物データ41aと照合する第1の照合(S113)と、音響信号を雑音データ41bと照合する第2の照合(S123)を行うことによって、雑音源の方向を特定する(S133)。制御部30は、特定した雑音源の方向から到来する音を抑圧するような信号処理を音響信号に対して行う(S3)。
このように、カメラ10から得られる画像データを非目的物データ41aと照合し、マイクアレイ20から得られる音響信号を雑音データ41bと照合するため、精度良く雑音源の方向を特定することができる。これにより、雑音を精度良く抑圧することができるため、目的音の収音の精度が向上する。
(第2実施形態)
本実施形態では、判定領域r(θ,φ)の方向に雑音源があるか否かの判定が第1実施形態と異なる。第1実施形態では、非目的物検出部32aは、類似度P(θ,φ|v)を所定値と比較して、判定領域r(θ,φ)内の画像が非目的物か否かを判定した。雑音検出部32bは、類似度P(θ,φ|s)を所定値と比較して、判定領域r(θ,φ)の方向から到来する音が雑音か否かを判定した。雑音源方向決定部32cは、非目的物であり且つ雑音である場合に、判定領域r(θ,φ)の方向に雑音源があると判断した。
本実施形態では、非目的物検出部32aは、目的物との類似度P(θ,φ|v)を出力する。すなわち、図8に示すステップS114~116を実行しない。雑音検出部32bは、雑音との類似度P(θ,φ|s)を出力する。すなわち、図9に示すステップS124~126を実行しない。雑音源方向決定部32cが、目的物との類似度P(θ,φ|v)と雑音との類似度P(θ,φ|s)に基づいて、判定領域r(θ,φ)の方向に雑音源があるか否かを判定する。
図17は、第2実施形態における雑音源方向の決定(S13)の一例を示している。雑音源方向決定部32cは、非目的物との類似度P(θ,φ|v)と雑音との類似度P(θ,φ|s)の積を算出する(S1301)。非目的物との類似度P(θ,φ|v)と雑音との類似度P(θ,φ|s)は、それぞれ雑音源が判定領域r(θ,φ)内に存在する確度に相当する。雑音源方向決定部32cは、算出した積の値が所定値以上か否かを判断する(S1302)。積が所定値以上であれば、雑音源方向決定部32cは、判定領域(θ,φ)の方向に雑音源があると判断して、判定領域(θ,φ)に対応する水平角θ及び垂直角φを雑音源方向として特定する(S1303)。
図17では、非目的物との類似度P(θ,φ|v)と雑音との類似度P(θ,φ|s)の積を算出したが、これに限るものではない。例えば、類似度P(θ,φ|v)と雑音との類似度P(θ,φ|s)との和(式(8))や、重みつきの積(式(9)や、重みつきの和(式(10))により判定しても良い。
P(θ,φ|v)+P(θ,φ|s) ・・・(8)
P(θ,φ|v)Wv×P(θ,φ|s)Ws ・・・(9)
P(θ,φ|v)Wv+P(θn,φ|s)Ws ・・・(10)
雑音源方向決定部32cは、全判定領域r(θ,φ)における判定が完了したか否かを判断する(S1304)。判定していない判定領域r(θ,φ)があれば、ステップS1301に戻る。全判定領域r(θ,φ)についての判定が完了すれば、図117に示す処理を終了する。
本実施形態によれば、第1実施形態と同様に、雑音源方向を精度良く特定できる。
(第3実施形態)
本実施形態は、照合するデータが第1実施形態と異なる。第1実施形態では、記憶部40には、雑音源の特徴量を示す雑音源データ41が格納され、雑音源方向推定部32は雑音源データ41を用いて、雑音源方向を推定した。本実施形態では、記憶部40には、目的音源の特徴量を示す目的音源データが格納され、雑音源方向推定部32は目的音源データを用いて、雑音源方向を推定する。
図18は、第3実施形態における制御部30の機能と記憶部40に格納されるデータとを示している。記憶部40には、目的音源データ42が格納される。目的音源データ42は、目的物データ42aと目的音データ42bとを含む。目的物データ42aは、目的音源となる目的物の画像特徴量を含む。目的物データ42aは、例えば、目的物の画像特徴量を含むデータベースである。画像特徴量は、例えば、wavelet特徴量、Haar-like特徴量、HOG特徴量、EOH特徴量、Edgelet特徴量、Joint Haar-like特徴量、Joint HOG特徴量、スパース特徴量、Shapelet特徴量、及び共起確率特徴量のうちのいずれか1つ以上である。目的音データ42bは、目的音源が出力する目的音の音響特徴量を含む。目的音データ42bは、例えば、目的音の音響特徴量を含むデータベースである。目的音の音響特徴量は、例えば、MFCC及びi-vectorのうちの1つ以上である。
図19は、本実施形態における非目的物の検出(S11)の一例を示している。図19のステップS1101,S1102,S1107は、図8のステップS111,S112,S117とそれぞれ同一である。本実施形態では、非目的物検出部32aは、抽出した画像特徴量を目的物データ42aと照合して、目的物との類似度を算出する(S1103)。非目的物検出部32aは、類似度が所定値以下か否かを判断する(S1104)。非目的物検出部32aは、類似度が所定値以下であれば目的物ではない、すなわち非目的物であると判定する(S1105)。非目的物検出部32aは、類似度が所定値よりも大きければ、目的物である、すなわち非目的物ではないと判定する(S1106)。
図20は、本実施形態における雑音の検出(S12)の一例を示している。図20のステップS1201,S1202,S1207は、図9のステップS121,S122,S127とそれぞれ同一である。本実施形態では、雑音検出部32bは、抽出した音響特徴量を目的音データ42bと照合して、目的音との類似度を算出する(S1203)。雑音検出部32bは、類似度が所定値以下か否かを判断する(S1204)。類似度が所定値以下であれば、判定領域r(θ,φ)の方向から到来する音が目的音ではない、すなわち雑音であると判定する(S1205)。類似度が所定値よりも大きければ、判定領域r(θ,φ)の方向から到来する音は目的音である、すなわち雑音ではないと判定する(S1206)。
本実施形態によれば、第1実施形態と同様に、雑音源方向を精度良く特定できる。
本実施形態において、目的音源方向を特定するために目的音源データ42を使用してもよい。例えば、目的物検出部31aは、画像データvを目的物データ42aと照合して、目的物を検出してもよい。音源検出部31bは、音響信号sを目的音データ42bと照合して目的音を検出してもよい。この場合、目的音源方向推定部31と雑音源方向推定部32は、一つに統合されてもよい。
(他の実施形態)
以上のように、本出願において開示する技術の例示として、第1~第3実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。そこで、以下、他の実施形態を例示する。
第1実施形態では、図11のステップS132において、雑音源方向決定部32cは、判定領域r(θ,φ)における判定結果が非目的物であり且つ雑音であることを示しているか否かを判断した。さらに、雑音源方向決定部32cは、非目的物と雑音から特定される雑音源が同一か否かを判定してもよい。例えば、画像データから特定される非目的物がドアであり、且つ音響信号から特定される雑音がドアの開閉時の音であるか否かを判定してもよい。判定領域r(θ,φ)内においてドアの画像とドアの音が検出されたときに、判定領域r(θ,φ)の方向に雑音源であるドアがあると判断してもよい。
第1実施形態では、図11のステップS132において、雑音源方向決定部32cは、判定領域r(θ,φ)内において非目的物及び雑音を検出したときに、判定領域r(θ,φ)に対応する水平角θ及び垂直角φを雑音源方向に決定した。しかし、雑音源方向決定部32cは、判定領域r(θ,φ)内において、非目的物と雑音のいずれか一方しか検出できないときであっても、その判定領域r(θ,φ)に対応する水平角θ及び垂直角φを雑音源方向に決定してもよい。
非目的物検出部32aが非目的物の検出に基づいて雑音源方向を特定し、且つ雑音検出部32bが雑音の検出に基づいて雑音源方向を特定してもよい。この場合、雑音源方向決定部32cは、非目的物検出部32aが特定した雑音源方向と、雑音検出部32bが特定した雑音源方向とが一致するか否かに基づいて、ビームフォーム部33による雑音の抑圧をするか否かを決定してもよい。雑音源方向決定部32cは、非目的物検出部32aと雑音検出部32bのいずれか一方において雑音源方向を特定できたときに、ビームフォーム部33による雑音の抑圧を行ってもよい。
上記実施形態では、収音装置1は、非目的物検出部32aと、雑音検出部32bの両方を備えたが、いずれか一方のみを備えてもよい。すなわち、画像データのみから雑音源方向を特定してもよいし、音響信号のみから雑音源方向を特定してもよい。この場合、雑音源方向決定部32cはなくてもよい。
上記実施形態では、テンプレートマッチングによる照合について説明した。これに代えて、機械学習による照合を行ってもよい。例えば、非目的物検出部32aは、PCA(Principal Component Analysis)、ニューラルネットワーク、線形判別分析(LDA)、サポートベクタマシン(SVM)、AdaBoost、及びReal AdaBoostなどを使用してもよい。この場合、非目的物データ41aは、非目的物の画像特徴量を学習したモデルであってもよい。同様に、目的物データ42aは、目的物の画像特徴量を学習したモデルであってもよい。非目的物検出部32aは、例えば、非目的物の画像特徴量を学習したモデルを使用して、図8のステップS111~S117に対応する処理の全部又は一部を行ってもよい。雑音検出部32bは、例えば、PCA、ニューラルネットワーク、線形判別分析、サポートベクタマシン、AdaBoost、及びReal AdaBoostなどを使用してもよい。この場合、雑音データ41bは雑音の音響特徴量を学習したモデルであってもよい。同様に、目的音データ42bは、目的音の音響特徴量を学習したモデルであってもよい。雑音検出部32bは、例えば、雑音の音響特徴量を学習したモデルを使用して、図9のステップS121~S127に対応する処理の全部又は一部を行ってもよい。
目的音か雑音かの判定において、音源分離技術を使用してもよい。例えば、目的音源方向決定部31cは、音響信号を音源分離技術によって音声と非音声に分離し、音声と非音声のパワー比に基づいて、目的音か雑音かを判定してもよい。音源分離技術として、例えば、ブラインド音源分離(BSS)を用いてもよい。
上記実施形態では、ビームフォーム部33が適応フィルタ33fを含む例について説明したが、ビームフォーム部33は図10の雑音検出部32bが示す構成を備えてもよい。この場合、減算器322の出力により、死角を形成することができる。
上記実施形態では、マイクアレイ20が2つのマイクロホン20i及び20jを含む例について説明したが、マイクアレイ20は2つ以上のマイクロホンを含んでもよい。
雑音源方向は、1方向に限らず、複数方向であってもよい。目的音方向の強調及び雑音源方向の抑圧は、上記実施形態に限定されず、任意の方法で行われうる。
上記実施形態では、雑音源方向として、水平角θ及び垂直角φをそれぞれ決定する場合について説明したが、水平角θ及び垂直角φの少なくともいずれか一方のみで、雑音源方向を特定できる場合は、水平角θ及び垂直角φの少なくともいずれか一方を決定するだけであってもよい。目的音源方向についても同様に、水平角θ及び垂直角φの少なくともいずれか一方を決定するだけであってもよい。
収音装置1は、カメラ10とマイクアレイ20のいずれか一方又は両方を内蔵していなくてもよい。この場合、収音装置1は、外付けのカメラ10又はマイクアレイ20と電気的に接続される。例えば、収音装置1は、カメラ10を備えたスマートフォンなどの電子機器であって、マイクアレイ20を備えた外部機器と電気的及び機械的に接続されてもよい。入出力インタフェース部50が収音装置1に外付けされたカメラ10から画像データを入力するときは、入出力インタフェース部50が画像データの入力部に相当する。入出力インタフェース部50が収音装置1に外付けされたマイクアレイ20から音響信号を入力するときは、入出力インタフェース部50が音響信号の入力部に相当する。
上記実施形態においては、人の顔を検出する例について説明したが、人の音声を収音する場合、目的物は、人の顔に限らず、人として認識できる部分であればよい。例えば、目的物は、人の身体又は唇であってもよい。
上記実施形態においては、人の音声を目的音として収音したが、目的音は人の音声に限らない。例えば、目的音は、車の音又は動物の鳴き声であってもよい。
(実施形態の概要)
(1)本開示の収音装置は、雑音を抑圧して収音する収音装置であって、カメラによって生成された画像データを入力する第1の入力部と、マイクアレイから出力される音響信号を入力する第2の入力部と、雑音源又は目的音源を示す物体の画像の特徴量を示す第1のデータを記憶する記憶部と、画像データを第1のデータと照合する第1の照合を行うことによって、雑音源の方向を特定し、特定した雑音源の方向から到来する音を抑圧するような信号処理を音響信号に対して行う制御部と、を備える。
画像データを、雑音源又は目的音源を示す物体の画像の特徴量を示す第1のデータと照合することによって雑音源の方向を特定しているため、雑音源の方向を精度良く特定することができる。精度良く特定された雑音源の方向から到来する雑音を抑圧するため、目的音の収音の精度が向上する。
(2)(1)の収音装置において、記憶部は、物体から出力される音の特徴量を示す第2のデータを記憶し、制御部は、第1の照合と、音響信号を第2のデータと照合する第2の照合とを行うことによって、雑音源の方向を特定してもよい。
さらに、音響信号を、物体から出力される音の特徴量を示す第2のデータと照合することによって雑音源の方向を特定しているため、雑音源の方向を精度良く特定することができる。精度良く特定された雑音源の方向から到来する雑音を抑圧するため、目的音の収音の精度が向上する。
(3)(1)の収音装置において、第1のデータは、雑音源となる物体の画像の特徴量を示し、制御部は、第1の照合を行い、画像データから物体と類似する物体を検出したときに、検出した物体の方向を雑音源の方向として特定してもよい。
これにより、雑音源が雑音を出力する前に予め死角を形成することができる。よって、例えば、雑音源から発生する突発音を抑圧して目的音を収音することができる。
(4)(1)の収音装置において、第1のデータは、目的音源となる物体の画像の特徴量を示し、制御部は、第1の照合を行い、画像データから物体と類似していない物体を検出したときに、検出した物体の方向を雑音源の方向として特定してもよい。
これにより、雑音源が雑音を出力する前に予め死角を形成することができる。
(5)(3)又は(4)の収音装置において、制御部は、第1の照合において、画像データを複数の判定領域に分割し、各判定領域内の画像を第1のデータと照合して、検出した物体を含む判定領域の画像データ内における位置に基づいて雑音源の方向を特定してもよい。
(6)(2)の収音装置において、第2のデータは、雑音源から出力される雑音の特徴量を示し、制御部は、第2の照合を行い、音響信号から雑音と類似する音を検出したときに、検出した音が到来する方向を雑音源の方向として特定してもよい。
雑音の特徴量と照合することによって、精度良く雑音源の方向を特定することができる。
(7)(2)の収音装置において、第2のデータは、目的音源から出力される目的音の特徴量を示し、制御部は、第2の照合を行い、音響信号から目的音と類似していない音を検出したときに、検出した音が到来する方向を雑音源の方向として特定してもよい。
(8)(6)又は(7)の収音装置において、制御部は、第2の照合において、複数の判定方向の各々に指向性を向けて音響信号を収音し、収音した音響信号を第2のデータと照合して、音を検出した判定方向を雑音源の方向として特定してもよい。
(9)(2)の収音装置において、第1の照合と第2の照合のいずれか一方において雑音源の方向を特定できたときに、雑音源の方向から到来する音を抑圧してもよい。
(10)(2)の収音装置において、第1の照合と第2の照合の両方において雑音源の方向を特定できたときに、雑音源の方向から到来する音を抑圧してもよい。
(11)(2)の収音装置において、第1の照合によって雑音源が存在する第1の確度を算出し、且つ、第2の照合によって雑音源が存在する第2の確度を算出し、第1の確度と第2の確度に基づいて算出される算出値が所定の閾値以上のときに、雑音源の方向から到来する音を抑圧してもよい。
(12)(11)の収音装置において、算出値は、第1の確度と第2の確度の積、和、重み付き積、および、重み付き和のいずれかであるとしてもよい。
(13)(1)から(12)のいずれかの収音装置において、制御部は、画像データと音響信号とに基づいて、目的音源が存在する目的音源方向を決定して、目的音源方向から到来する音を強調するような信号処理を音響信号に対して行ってもよい。
(14)(1)の収音装置は、カメラ及びマイクアレイのうちの少なくとも一方を備えてもよい。
(15)本開示の収音方法は、演算部により雑音を抑圧して収音する収音方法であって、カメラによって生成された画像データを入力するステップと、マイクアレイから出力される音響信号を入力するステップと、雑音源又は目的音源を示す物体の画像の特徴量を示す第1のデータを取得するステップと、画像データを第1のデータと照合する第1の照合を行うことによって、雑音源の方向を特定し、特定した雑音源の方向から到来する音を抑圧するような信号処理を音響信号に対して行うステップと、を含む。
本開示の全請求項に記載の収音装置及び収音方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。
本開示の収音装置は、例えば、会話中の人の音声を収音する装置として、有用である。
1 収音装置
10 カメラ
20 マイクアレイ
30 制御部
31 目的音源方向推定部
31a 目的物検出部
31b 音源検出部
31c 目的音源方向決定部
32 雑音源方向推定部
32a 非目的物検出部
32b 雑音検出部
32c 雑音源方向決定部
33 ビームフォーム部
40 記憶部
50 入出力インタフェース部
60 バス

Claims (17)

  1. 雑音を抑圧して収音する収音装置であって、
    カメラによって生成された画像データを入力する第1の入力部と、
    マイクアレイから出力される音響信号を入力する第2の入力部と、
    雑音源又は目的音源を示す物体の画像の特徴量を示す第1のデータと、前記物体から出力される音の特徴量を示す第2のデータとを記憶する記憶部と、
    前記画像データを前記第1のデータと照合する第1の照合と前記音響信号を前記第2のデータと照合する第2の照合とを行い、前記第1の照合の結果と前記第2の照合の結果とに基づいて、前記雑音源の方向を特定し、特定した前記雑音源の方向から到来する音を抑圧するような信号処理を前記音響信号に対して行う制御部と、
    を備える、収音装置。
  2. 前記制御部は、前記第1の照合の結果と前記第2の照合の結果とに基づいて、前記目的音源の方向を特定し、特定した前記目的音源の方向から到来する音を強調するような信号処理を前記音響信号に対して行う、
    請求項1に記載の収音装置。
  3. 前記第1のデータは、前記雑音源となる物体の画像の特徴量を示し、
    前記制御部は、前記第1の照合を行い、前記画像データから前記物体と類似する物体を検出したときに、検出した前記物体の方向を前記雑音源の方向として特定する、
    請求項1に記載の収音装置。
  4. 前記第1のデータは、前記目的音源となる物体の画像の特徴量を示し、
    前記制御部は、前記第1の照合を行い、前記画像データから前記物体と類似していない物体を検出したときに、検出した前記物体の方向を前記雑音源の方向として特定する、
    請求項1に記載の収音装置。
  5. 前記制御部は、前記第1の照合において、前記画像データを複数の判定領域に分割し、各判定領域内の画像を前記第1のデータと照合して、検出した前記物体を含む判定領域の前記画像データ内における位置に基づいて前記雑音源の方向を特定する、
    請求項3又は請求項4に記載の収音装置。
  6. 前記第2のデータは、前記雑音源から出力される雑音の特徴量を示し、
    前記制御部は、前記第2の照合を行い、前記音響信号から前記雑音と類似する音を検出したときに、検出した前記音が到来する方向を前記雑音源の方向として特定する、
    請求項2に記載の収音装置。
  7. 前記第2のデータは、前記目的音源から出力される目的音の特徴量を示し、
    前記制御部は、前記第2の照合を行い、前記音響信号から前記目的音と類似していない音を検出したときに、検出した前記音が到来する方向を前記雑音源の方向として特定する、
    請求項2に記載の収音装置。
  8. 前記制御部は、前記第2の照合において、複数の判定方向の各々に指向性を向けて前記音響信号を収音し、収音した前記音響信号を前記第2のデータと照合して、前記音を検出した判定方向を前記雑音源の方向として特定する、
    請求項6又は請求項7に記載の収音装置。
  9. 前記第1の照合と前記第2の照合のいずれか一方において前記雑音源の方向を特定できたときに、前記雑音源の方向から到来する音を抑圧する、
    請求項2に記載の収音装置。
  10. 前記第1の照合と前記第2の照合の両方において前記雑音源の方向を特定できたときに、前記雑音源の方向から到来する音を抑圧する、
    請求項2に記載の収音装置。
  11. 前記第1の照合によって前記雑音源が存在する第1の確度を算出し、且つ、前記第2の照合によって前記雑音源が存在する第2の確度を算出し、前記第1の確度と前記第2の確度に基づいて算出される算出値が所定の閾値以上のときに、前記雑音源の方向を特定し、特定した前記雑音源の方向から到来する音を抑圧する、
    請求項2に記載の収音装置。
  12. 前記制御部は、前記画像データを複数の判定領域に分割し、各判定領域に対して前記算出値を算出し、前記算出値が所定の閾値以上である判定領域に対応する角度を雑音源方向として特定する、
    請求項11に記載の収音装置。
  13. 前記算出値は、前記第1の確度と前記第2の確度の積、和、重み付き積、および、重み付き和のいずれかである、
    請求項11に記載の収音装置。
  14. 前記制御部は、前記画像データと前記音響信号とに基づいて、前記目的音源が存在する目的音源方向を決定して、前記目的音源方向から到来する音を強調するような信号処理を前記音響信号に対して行う、
    請求項1から請求項13のいずれかに記載の収音装置。
  15. 前記カメラ及び前記マイクアレイのうちの少なくとも一方を備える、
    請求項1に記載の収音装置。
  16. 演算部により雑音を抑圧して収音する収音方法であって、
    カメラによって生成された画像データを入力するステップと、
    マイクアレイから出力される音響信号を入力するステップと、
    雑音源又は目的音源を示す物体の画像の特徴量を示す第1のデータと、前記物体から出力される音の特徴量を示す第2のデータとを取得するステップと、
    前記画像データを前記第1のデータと照合する第1の照合と前記音響信号を前記第2のデータと照合する第2の照合とを行い、前記第1の照合の結果と前記第2の照合の結果とに基づいて、前記雑音源の方向を特定し、特定した前記雑音源の方向から到来する音を抑圧するような信号処理を前記音響信号に対して行うステップと、
    を含む、収音方法。
  17. コンピュータに請求項16に記載の収音方法を実行させるためのプログラム。
JP2020525268A 2018-06-12 2019-03-19 収音装置、収音方法、及びプログラム Active JP7370014B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018112160 2018-06-12
JP2018112160 2018-06-12
PCT/JP2019/011503 WO2019239667A1 (ja) 2018-06-12 2019-03-19 収音装置、収音方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019239667A1 JPWO2019239667A1 (ja) 2021-07-08
JP7370014B2 true JP7370014B2 (ja) 2023-10-27

Family

ID=68842854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020525268A Active JP7370014B2 (ja) 2018-06-12 2019-03-19 収音装置、収音方法、及びプログラム

Country Status (3)

Country Link
US (1) US11375309B2 (ja)
JP (1) JP7370014B2 (ja)
WO (1) WO2019239667A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6935425B2 (ja) * 2016-12-22 2021-09-15 ヌヴォトンテクノロジージャパン株式会社 ノイズ抑圧装置、ノイズ抑圧方法、及びこれらを用いた受信装置、受信方法
WO2021124537A1 (ja) * 2019-12-20 2021-06-24 三菱電機株式会社 情報処理装置、算出方法、及び算出プログラム
EP4115404A1 (en) * 2020-03-06 2023-01-11 Cerence Operating Company System and method for integrated emergency vehicle detection and localization
JP2022119582A (ja) * 2021-02-04 2022-08-17 株式会社日立エルジーデータストレージ 音声取得装置および音声取得方法
CN114255733B (zh) * 2021-12-21 2023-05-23 中国空气动力研究与发展中心低速空气动力研究所 自噪声掩蔽系统及飞行设备
WO2023149254A1 (ja) * 2022-02-02 2023-08-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 音声信号処理装置、音声信号処理方法及び音声信号処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006039267A (ja) 2004-07-28 2006-02-09 Nissan Motor Co Ltd 音声入力装置
JP2006039447A (ja) 2004-07-30 2006-02-09 Nissan Motor Co Ltd 音声入力装置
JP2014153663A (ja) 2013-02-13 2014-08-25 Sony Corp 音声認識装置、および音声認識方法、並びにプログラム
US20150365759A1 (en) 2014-06-11 2015-12-17 At&T Intellectual Property I, L.P. Exploiting Visual Information For Enhancing Audio Signals Via Source Separation And Beamforming
US20180176680A1 (en) 2016-12-21 2018-06-21 Laura Elizabeth Knight Systems and methods for audio detection using audio beams

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5060631B1 (ja) 2011-03-31 2012-10-31 株式会社東芝 信号処理装置及び信号処理方法
CN103310339A (zh) * 2012-03-15 2013-09-18 凹凸电子(武汉)有限公司 身份识别装置和方法以及支付系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006039267A (ja) 2004-07-28 2006-02-09 Nissan Motor Co Ltd 音声入力装置
JP2006039447A (ja) 2004-07-30 2006-02-09 Nissan Motor Co Ltd 音声入力装置
JP2014153663A (ja) 2013-02-13 2014-08-25 Sony Corp 音声認識装置、および音声認識方法、並びにプログラム
US20150365759A1 (en) 2014-06-11 2015-12-17 At&T Intellectual Property I, L.P. Exploiting Visual Information For Enhancing Audio Signals Via Source Separation And Beamforming
US20180176680A1 (en) 2016-12-21 2018-06-21 Laura Elizabeth Knight Systems and methods for audio detection using audio beams

Also Published As

Publication number Publication date
JPWO2019239667A1 (ja) 2021-07-08
US11375309B2 (en) 2022-06-28
WO2019239667A1 (ja) 2019-12-19
US20210120333A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
JP7370014B2 (ja) 収音装置、収音方法、及びプログラム
JP7233035B2 (ja) 収音装置、収音方法、及びプログラム
CN112088315B (zh) 多模式语音定位
EP3791390B1 (en) Voice identification enrollment
CN106653041B (zh) 音频信号处理设备、方法和电子设备
JP6464449B2 (ja) 音源分離装置、及び音源分離方法
US11158333B2 (en) Multi-stream target-speech detection and channel fusion
US9881610B2 (en) Speech recognition system adaptation based on non-acoustic attributes and face selection based on mouth motion using pixel intensities
JP7194897B2 (ja) 信号処理装置及び信号処理方法
JP2011191423A (ja) 発話認識装置、発話認識方法
US11790900B2 (en) System and method for audio-visual multi-speaker speech separation with location-based selection
JP6888627B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11443760B2 (en) Active sound control
Nakadai et al. Footstep detection and classification using distributed microphones
US11114108B1 (en) Acoustic source classification using hyperset of fused voice biometric and spatial features
Wang et al. Real-time automated video and audio capture with multiple cameras and microphones
Choi et al. Real-time audio-visual localization of user using microphone array and vision camera
Ishi et al. Sound interval detection of multiple sources based on sound directivity
Aubrey et al. Study of video assisted BSS for convolutive mixtures

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231006

R151 Written notification of patent or utility model registration

Ref document number: 7370014

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151