JP4752153B2 - 情報処理装置および方法、情報生成装置および方法、記録媒体、並びにプログラム - Google Patents

情報処理装置および方法、情報生成装置および方法、記録媒体、並びにプログラム Download PDF

Info

Publication number
JP4752153B2
JP4752153B2 JP2001245991A JP2001245991A JP4752153B2 JP 4752153 B2 JP4752153 B2 JP 4752153B2 JP 2001245991 A JP2001245991 A JP 2001245991A JP 2001245991 A JP2001245991 A JP 2001245991A JP 4752153 B2 JP4752153 B2 JP 4752153B2
Authority
JP
Japan
Prior art keywords
sound
experimental
phase difference
audio signal
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001245991A
Other languages
English (en)
Other versions
JP2003061184A5 (ja
JP2003061184A (ja
Inventor
哲二郎 近藤
裕二 奥村
幸一 藤島
知之 大月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001245991A priority Critical patent/JP4752153B2/ja
Publication of JP2003061184A publication Critical patent/JP2003061184A/ja
Publication of JP2003061184A5 publication Critical patent/JP2003061184A5/ja
Application granted granted Critical
Publication of JP4752153B2 publication Critical patent/JP4752153B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、情報処理装置および方法、情報生成装置および方法、記録媒体、並びにプログラムに関し、特に、音源が発した音声を利用して、音源の位置や向きを検出することができるようにした情報処理装置および方法、情報生成装置および方法、記録媒体、並びにプログラムに関する。
【0002】
【従来の技術】
例えば、遠隔している複数の会議室における画像や音声を、ネットワークを介して相互に通信し、各会議室において、他の会議室の映像や音声を再生することにより、あたかも1つのテーブルを囲んでいるかのように会議を行うことができる遠隔システムが存在する。
【0003】
この遠隔会議システムにおいては、会議に参加しているユーザの顔の向きに応じて、映像の表示や音声の出力が制御される。すなわち、ユーザの顔の向きが検出されるようになされている。
【0004】
【発明が解決しようとする課題】
しかしながら、特殊なセンサを利用したり、ユーザの顔の部分の画像データを利用して、ユーザの顔の向きを検出する方法は、開示されているが、ユーザが発した音声を利用して、ユーザの顔の向きを検出する方法は、まだ開示されていない。
【0005】
本発明はこのような状況に鑑みてなされたものであり、音源が発した音声を利用して、音源の顔の向きを検出することができるようにするものである。
【0006】
【課題を解決するための手段】
本発明の第1の情報処理装置は、所定の位置に設置された複数の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出し、算出した位相差と前記実験位置との関係に基づく位置係数を算出する第1の算出手段と、算出された前記位置係数を記憶する記憶手段と、前記複数の集音装置により集音された、前記所定の範囲内に位置する音源が発した音声に対応する複数の音声信号を用い、音声信号間の位相差を前記音源の位置に対応する特徴量として算出する第2の算出手段と、前記音源の位置に対応する特徴量として算出された前記位相差と、前記位置係数との関係に基づいて、前記音源の位置を検出する状態検出手段とを備え、前記第1の算出手段は、前記第1乃至第3の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第3’の前記実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、および第1’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差を、前記実験位置毎に算出し、さらに、前記第1’の位相差と前記実験位置との関係に基づく第1の係数、および前記第2’の位相差と前記実験位置との関係に基づく第2の係数を算出し、前記記憶手段は、算出された前記第1および第2の係数を記憶し、前記第2の算出手段は、所定の位置に設置された第1乃至第3の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第3の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、および第1の音声信号と第3の音声信号との位相差を示す第2の位相差を、前記音源の位置に対応する特徴量として算出し、前記状態検出手段は、前記第1の位相差と前記第1の係数との関係、および前記第2の位相差と前記第2の係数との関係に基づいて、前記音源の平面上の位置を検出する
【0007】
前記第1の算出手段は、さらに、前記第2および第3の集音装置により集音された、複数の基準位置に位置して所定の方向を向いた状態の前記実験音源が発した音声に対応する前記第2’および第3’の実験音声信号から、前記第2’の実験音声信号と前記第3’の実験音声信号との音圧比を示す第1’の音圧比を算出して、前記第1’の音圧比と前記所定の方向との関係に基づく第3の係数を前記基準位置毎に算出し、前記記憶手段は、さらに、前記基準位置毎に算出された前記第3の係数を前記所定の方向に対応付けて記憶し、前記第2の算出手段は、さらに、前記第2の音声信号と前記第3の音声信号との音圧比を示す第1の音圧比を、前記音源の向きに対応する特徴量として算出し、前記状態検出手段は、さらに、検出した前記音源の平面状の位置に対応する前記基準位置を特定するとともに、特定した前記基準位置に対応する前記第3の係数を選択し、選択した前記第3の係数および前記第1の音圧比との関係に基づいて、前記音源の向きを検出することができる。
【0008】
本発明の第1の情報処理方法は、所定の位置に設置された複数の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出し、算出した位相差と前記実験位置との関係に基づく位置係数を算出する第1の算出ステップと、算出された前記位置係数を記憶する記憶ステップと、前記複数の集音装置により集音された、前記所定の範囲内に位置する音源が発した音声に対応する複数の音声信号を用い、音声信号間の位相差を前記音源の位置に対応する特徴量として算出する第2の算出ステップと、前記音源の位置に対応する特徴量として算出された前記位相差と、前記位置係数との関係に基づいて、前記音源の位置を検出する状態検出ステップとを含み、前記第1の算出ステップは、前記第1乃至第3の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第3’の前記実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、および第1’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差を、前記実験位置毎に算出し、さらに、前記第1’の位相差と前記実験位置との関係に基づく第1の係数、および前記第2’の位相差と前記実験位置との関係に基づく第2の係数を算出し、前記記憶ステップは、算出された前記第1および第2の係数を記憶し、前記第2の算出ステップは、所定の位置に設置された第1乃至第3の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第3の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、および第1の音声信号と第3の音声信号との位相差を示す第2の位相差を、前記音源の位置に対応する特徴量として算出し、前記状態検出ステップは、前記第1の位相差と前記第1の係数との関係、および前記第2の位相差と前記第2の係数との関係に基づいて、前記音源の平面上の位置を検出する。
【0009】
本発明の第1の記録媒体は、所定の位置に設置された複数の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出し、算出した位相差と前記実験位置との関係に基づく位置係数を算出する第1の算出ステップと、算出された前記位置係数を記憶する記憶ステップと、前記複数の集音装置により集音された、前記所定の範囲内に位置する音源が発した音声に対応する複数の音声信号を用い、音声信号間の位相差を前記音源の位置に対応する特徴量として算出する第2の算出ステップと、前記音源の位置に対応する特徴量として算出された前記位相差と、前記位置係数との関係に基づいて、前記音源の位置を検出する状態検出ステップとを含み、前記第1の算出ステップは、前記第1乃至第3の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第3’の前記実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、および第1’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差を、前記実験位置毎に算出し、さらに、前記第1’の位相差と前記実験位置との関係に基づく第1の係数、および前記第2’の位相差と前記実験位置との関係に基づく第2の係数を算出し、前記記憶ステップは、算出された前記第1および第2の係数を記憶し、前記第2の算出ステップは、所定の位置に設置された第1乃至第3の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第3の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、および第1の音声信号と第3の音声信号との位相差を示す第2の位相差を、前記音源の位置に対応する特徴量として算出し、前記状態検出ステップは、前記第1の位相差と前記第1の係数との関係、および前記第2の位相差と前記第2の係数との関係に基づいて、前記音源の平面上の位置を検出する処理をコンピュータに実行させるプログラムが記録されている。
【0010】
本発明の第1のプログラムは、所定の位置に設置された複数の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出し、算出した位相差と前記実験位置との関係に基づく位置係数を算出する第1の算出ステップと、算出された前記位置係数を記憶する記憶ステップと、前記複数の集音装置により集音された、前記所定の範囲内に位置する音源が発した音声に対応する複数の音声信号を用い、音声信号間の位相差を前記音源の位置に対応する特徴量として算出する第2の算出ステップと、前記音源の位置に対応する特徴量として算出された前記位相差と、前記位置係数との関係に基づいて、前記音源の位置を検出する状態検出ステップとを含み、前記第1の算出ステップは、前記第1乃至第3の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第3’の前記実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、および第1’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差を、前記実験位置毎に算出し、さらに、前記第1’の位相差と前記実験位置との関係に基づく第1の係数、および前記第2’の位相差と前記実験位置との関係に基づく第2の係数を算出し、前記記憶ステップは、算出された前記第1および第2の係数を記憶し、前記第2の算出ステップは、所定の位置に設置された第1乃至第3の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第3の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、および第1の音声信号と第3の音声信号との位相差を示す第2の位相差を、前記音源の位置に対応する特徴量として算出し、前記状態検出ステップは、前記第1の位相差と前記第1の係数との関係、および前記第2の位相差と前記第2の係数との関係に基づいて、前記音源の平面上の位置を検出する処理をコンピュータに実行させる。
【0011】
本発明の第1の情報処理装置、情報処理方法、およびプログラムにおいては、第1乃至第3の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第3’の実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、および第1’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差が実験位置毎に算出され、さらに、第1’の位相差と実験位置との関係に基づく第1の係数、および第2’の位相差と実験位置との関係に基づく第2の係数が算出される。また、算出された第1および第2の係数が記憶される。さらに、所定の位置に設置された第1乃至第3の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第3の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、および第1の音声信号と第3の音声信号との位相差を示す第2の位相差が、音源の位置に対応する特徴量として算出され、第1の位相差と第1の係数との関係、および第2の位相差と第2の係数との関係に基づいて、音源の平面上の位置が検出される。
【0012】
本発明の第2の情報処理装置は、所定の位置に設置された複数の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出し、算出した位相差と前記実験位置との関係に基づく位置係数を算出する第1の算出手段と、算出された前記位置係数を記憶する記憶手段と、前記複数の集音装置により集音された、前記所定の範囲内に位置する音源が発した音声に対応する複数の音声信号を用い、音声信号間の位相差を前記音源の位置に対応する特徴量として算出する第2の算出手段と、前記音源の位置に対応する特徴量として算出された前記位相差と、前記位置係数との関係に基づいて、前記音源の位置を検出する状態検出手段とを備え、前記第1の算出手段は、前記第1乃至第4の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第4’の前記実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、第2’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差、および第3’の実験音声信号と第4’の実験音声信号との位相差を示す第3’の位相差を、前記実験位置毎に算出し、さらに、前記第1’の位相差と前記実験位置との関係に基づく第1の係数、前記第2’の位相差と前記実験位置との関係に基づく第2の係数、および前記第3’の位相差と前記実験位置との関係に基づく第3の係数を算出し、前記記憶手段は、算出された前記第1乃至第3の係数を記憶し、前記第2の算出手段は、所定の位置に設置された第1乃至第4の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第4の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、第2の音声信号と第3の音声信号との位相差を示す第2の位相差、および第3の音声信号と第4の音声信号との位相差を示す第3の位相差を、前記音源の位置に対応する特徴量として算出し、前記状態検出手段は、前記第1の位相差と前記第1の係数との関係、前記第2の位相差と前記第2の係数との関係、および前記第3の位相差と前記第3の係数との関係に基づいて、前記音源の空間上の位置を検出する。
【0013】
前記第1の算出手段は、さらに、前記第1乃至第4の集音装置により集音された、複数の基準位置に位置して所定の方向を向いた状態の前記実験音源が発した音声に対応する前記第1’乃至第4’の実験音声信号から、前記第1’の実験音声信号と前記第2’の実験音声信号との音圧比を示す第1’の音圧比、前記第2’の実験音声信号と前記第3’の実験音声信号との音圧比を示す第2’の音圧比、および前記第3’の実験音声信号と前記第4’の実験音声信号との音圧比を示す第3’の音圧比を前記基準位置毎に算出し、前記記憶手段は、さらに、前記基準位置毎に算出された前記第1’乃至第3'の音圧比を前記音源の向きに対応付けて記憶し、前記第2の算出手段は、さらに、前記第1の音声信号と前記第2の音声信号との音圧比を示す第1の音圧比、前記第2の音声信号と前記第3の音声信号との音圧比を示す第2の音圧比、および前記第3の音声信号と前記第4の音声信号との音圧比を示す第3の音圧比を、前記音源の向きに対応する特徴量として算出し、前記状態検出手段は、さらに、検出した前記音源の空間状の位置に対応する前記基準位置を特定するとともに、特定した前記基準位置に対応する前記第1’乃至第3'の音圧比と、前記第1乃至第3の音圧比との関係に基づいて、前記音源の向きを検出することができる。
【0014】
本発明の第2の情報処理方法は、所定の位置に設置された複数の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出し、算出した位相差と前記実験位置との関係に基づく位置係数を算出する第1の算出ステップと、算出された前記位置係数を記憶する記憶ステップと、前記複数の集音装置により集音された、前記所定の範囲内に位置する音源が発した音声に対応する複数の音声信号を用い、音声信号間の位相差を前記音源の位置に対応する特徴量として算出する第2の算出ステップと、前記音源の位置に対応する特徴量として算出された前記位相差と、前記位置係数との関係に基づいて、前記音源の位置を検出する状態検出ステップとを含み、前記第1の算出ステップは、前記第1乃至第4の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第4’の前記実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、第2’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差、および第3’の実験音声信号と第4’の実験音声信号との位相差を示す第3’の位相差を、前記実験位置毎に算出し、さらに、前記第1’の位相差と前記実験位置との関係に基づく第1の係数、前記第2’の位相差と前記実験位置との関係に基づく第2の係数、および前記第3’の位相差と前記実験位置との関係に基づく第3の係数を算出し、前記記憶ステップは、算出された前記第1乃至第3の係数を記憶し、前記第2の算出ステップは、所定の位置に設置された第1乃至第4の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第4の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、第2の音声信号と第3の音声信号との位相差を示す第2の位相差、および第3の音声信号と第4の音声信号との位相差を示す第3の位相差を、前記音源の位置に対応する特徴量として算出し、前記状態検出ステップは、前記第1の位相差と前記第1の係数との関係、前記第2の位相差と前記第2の係数との関係、および前記第3の位相差と前記第3の係数との関係に基づいて、前記音源の空間上の位置を検出する。
【0015】
本発明の第2の記録媒体は、所定の位置に設置された複数の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出し、算出した位相差と前記実験位置との関係に基づく位置係数を算出する第1の算出ステップと、算出された前記位置係数を記憶する記憶ステップと、前記複数の集音装置により集音された、前記所定の範囲内に位置する音源が発した音声に対応する複数の音声信号を用い、音声信号間の位相差を前記音源の位置に対応する特徴量として算出する第2の算出ステップと、前記音源の位置に対応する特徴量として算出された前記位相差と、前記位置係数との関係に基づいて、前記音源の位置を検出する状態検出ステップとを含み、前記第1の算出ステップは、前記第1乃至第4の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第4’の前記実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、第2’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差、および第3’の実験音声信号と第4’の実験音声信号との位相差を示す第3’の位相差を、前記実験位置毎に算出し、さらに、前記第1’の位相差と前記実験位置との関係に基づく第1の係数、前記第2’の位相差と前記実験位置との関係に基づく第2の係数、および前記第3’の位相差と前記実験位置との関係に基づく第3の係数を算出し、前記記憶ステップは、算出された前記第1乃至第3の係数を記憶し、前記第2の算出ステップは、所定の位置に設置された第1乃至第4の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第4の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、第2の音声信号と第3の音声信号との位相差を示す第2の位相差、および第3の音声信号と第4の音声信号との位相差を示す第3の位相差を、前記音源の位置に対応する特徴量として算出し、前記状態検出ステップは、前記第1の位相差と前記第1の係数との関係、前記第2の位相差と前記第2の係数との関係、および前記第3の位相差と前記第3の係数との関係に基づいて、前記音源の空間上の位置を検出する処理をコンピュータに実行させるプログラムが記録されている。
【0016】
本発明の第2のプログラムは、所定の位置に設置された複数の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出し、算出した位相差と前記実験位置との関係に基づく位置係数を算出する第1の算出ステップと、算出された前記位置係数を記憶する記憶ステップと、前記複数の集音装置により集音された、前記所定の範囲内に位置する音源が発した音声に対応する複数の音声信号を用い、音声信号間の位相差を前記音源の位置に対応する特徴量として算出する第2の算出ステップと、前記音源の位置に対応する特徴量として算出された前記位相差と、前記位置係数との関係に基づいて、前記音源の位置を検出する状態検出ステップとを含み、前記第1の算出ステップは、前記第1乃至第4の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第4’の前記実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、第2’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差、および第3’の実験音声信号と第4’の実験音声信号との位相差を示す第3’の位相差を、前記実験位置毎に算出し、さらに、前記第1’の位相差と前記実験位置との関係に基づく第1の係数、前記第2’の位相差と前記実験位置との関係に基づく第2の係数、および前記第3’の位相差と前記実験位置との関係に基づく第3の係数を算出し、前記記憶ステップは、算出された前記第1乃至第3の係数を記憶し、前記第2の算出ステップは、所定の位置に設置された第1乃至第4の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第4の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、第2の音声信号と第3の音声信号との位相差を示す第2の位相差、および第3の音声信号と第4の音声信号との位相差を示す第3の位相差を、前記音源の位置に対応する特徴量として算出し、前記状態検出ステップは、前記第1の位相差と前記第1の係数との関係、前記第2の位相差と前記第2の係数との関係、および前記第3の位相差と前記第3の係数との関係に基づいて、前記音源の空間上の位置を検出する処理をコンピュータに実行させる。
【0017】
本発明の第2の情報処理装置、情報処理方法、およびプログラムにおいては、第1乃至第4の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第4’の実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、第2’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差、および第3’の実験音声信号と第4’の実験音声信号との位相差を示す第3’の位相差が実験位置毎に算出され、さらに、第1’の位相差と実験位置との関係に基づく第1の係数、第2’の位相差と実験位置との関係に基づく第2の係数、および第3’の位相差と実験位置との関係に基づく第3の係数が算出される。また、算出された第1乃至第3の係数が記憶される。さらに、所定の位置に設置された第1乃至第4の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第4の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、第2の音声信号と第3の音声信号との位相差を示す第2の位相差、および第3の音声信号と第4の音声信号との位相差を示す第3の位相差が、音源の位置に対応する特徴量として算出され、第1の位相差と第1の係数との関係、第2の位相差と第2の係数との関係、および第3の位相差と第3の係数との関係に基づいて、音源の空間上の位置が検出される。
【0018】
本発明の情報生成装置は、複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する複数の音声信号から、音声信号間の位相差を算出し、算出した前記位相差と位置係数との関係に基づいて、前記音源の位置を検出する検出装置に対して前記位置係数を供給する情報生成装置において、前記複数の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出する第1の算出手段と、算出された位相差と前記実験位置との関係に基づいて前記位置係数を算出する第2の算出手段とを備え、前記第1の算出手段は、第1乃至第3の集音装置のそれぞれにより集音された、所定の範囲内に設けられた複数の実験位置に位置した前記実験音源が発した音声に対応する第1’乃至第3’の実験音声信号を用い、前記第1’の実験音声信号と前記第2’の実験音声信号との位相差を示す第1’の位相差、および前記第1’の実験音声信号と前記第3’の実験音声信号との位相差を示す第2’の位相差を、前記実験位置毎に算出し、前記第2の算出手段は、前記第1’の位相差と前記実験位置との関係に基づいて、第1の位置係数を算出し、前記第2’の位相差と前記実験位置との関係に基づいて、第2の位置係数を算出する。
【0019】
前記第3の算出手段は、前記第2’の音声信号と前記第3’の音声信号との音圧比を算出し、前記第4の算出手段は、算出された音圧比と前記所定の方向との関係に基づいて前記向き係数を前記基準位置毎に算出することができる。
【0020】
本発明の情報生成方法は、複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する複数の音声信号から、音声信号間の位相差を算出し、算出した前記位相差と位置係数との関係に基づいて、前記音源の位置を検出する検出装置に対して前記位置係数を供給する情報生成装置の情報生成方法において、前記複数の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出する第1の算出ステップと、算出された位相差と前記実験位置との関係に基づいて前記位置係数を算出する第2の算出ステップとを含み、前記第1の算出ステップは、第1乃至第3の集音装置のそれぞれにより集音された、所定の範囲内に設けられた複数の実験位置に位置した前記実験音源が発した音声に対応する第1’乃至第3’の実験音声信号を用い、前記第1’の実験音声信号と前記第2’の実験音声信号との位相差を示す第1’の位相差、および前記第1’の実験音声信号と前記第3’の実験音声信号との位相差を示す第2’の位相差を、前記実験位置毎に算出し、前記第2の算出ステップは、前記第1’の位相差と前記実験位置との関係に基づいて、第1の位置係数を算出し、前記第2’の位相差と前記実験位置との関係に基づいて、第2の位置係数を算出する。
【0021】
本発明の第3の記録媒体は、複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する複数の音声信号から、音声信号間の位相差を算出し、算出した前記位相差と位置係数との関係に基づいて、前記音源の位置を検出する検出装置に対して前記位置係数を供給する情報生成装置の制御用のプログラムであって、前記複数の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出する第1の算出ステップと、算出された位相差と前記実験位置との関係に基づいて前記位置係数を算出する第2の算出ステップとを含み、前記第1の算出ステップは、第1乃至第3の集音装置のそれぞれにより集音された、所定の範囲内に設けられた複数の実験位置に位置した前記実験音源が発した音声に対応する第1’乃至第3’の実験音声信号を用い、前記第1’の実験音声信号と前記第2’の実験音声信号との位相差を示す第1’の位相差、および前記第1’の実験音声信号と前記第3’の実験音声信号との位相差を示す第2’の位相差を、前記実験位置毎に算出し、前記第2の算出ステップは、前記第1’の位相差と前記実験位置との関係に基づいて、第1の位置係数を算出し、前記第2’の位相差と前記実験位置との関係に基づいて、第2の位置係数を算出する処理を情報生成装置のコンピュータに実行させるプログラムが記録されている。
【0022】
本発明の第3のプログラムは、複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する複数の音声信号から、音声信号間の位相差を算出し、算出した前記位相差と位置係数との関係に基づいて、前記音源の位置を検出する検出装置に対して前記位置係数を供給する情報生成装置の制御用のプログラムであって、前記複数の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出する第1の算出ステップと、算出された位相差と前記実験位置との関係に基づいて前記位置係数を算出する第2の算出ステップとを含み、前記第1の算出ステップは、第1乃至第3の集音装置のそれぞれにより集音された、所定の範囲内に設けられた複数の実験位置に位置した前記実験音源が発した音声に対応する第1’乃至第3’の実験音声信号を用い、前記第1’の実験音声信号と前記第2’の実験音声信号との位相差を示す第1’の位相差、および前記第1’の実験音声信号と前記第3’の実験音声信号との位相差を示す第2’の位相差を、前記実験位置毎に算出し、前記第2の算出ステップは、前記第1’の位相差と前記実験位置との関係に基づいて、第1の位置係数を算出し、前記第2’の位相差と前記実験位置との関係に基づいて、第2の位置係数を算出する処理を情報生成装置のコンピュータに実行させる。
【0023】
本発明の情報生成装置、情報生成方法、および第3のプログラムにおいては、第1乃至第3の集音装置のそれぞれにより集音された、所定の範囲内に設けられた複数の実験位置に位置した実験音源が発した音声に対応する第1’乃至第3’の実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、および第1’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差が実験位置毎に算出され、第1’の位相差と実験位置との関係に基づいて、第1の位置係数が算出され、第2’の位相差と実験位置との関係に基づいて、第2の位置係数が算出される。
【0030】
【発明の実施の形態】
【0031】
図1は、本発明を適用した音源状態検出システムの第1の実施の形態の構成例を示している。このシステムでは、所定の位置にある音源が発した音声から、音源の向きが検出される。なお、ここでは、音源は、所定の位置にあるユーザの口元とし、ユーザが発した音声から、ユーザの口元の向き(ユーザの顔の向き)が検出される。
【0032】
マイクロフォン(以下、マイクと略称する)1Lおよびマイク1Rは、図2(A)に示すように、ユーザの頭部の中心点が位置Aに位置する場合において、ユーザの顔が正面方向を向いているとき、マイク1Lとユーザの口元(音源)の距離Lと、マイクRと音源の距離Rが、それぞれ等しくなる位置に設置されている。
【0033】
図1に戻り、マイク1Lおよびマイク1Rのそれぞれは、音源であるユーザの口元から発せられた音声を集音し、マイクアンプ2Lおよびマイクアンプ2Rに供給する。
【0034】
マイクアンプ2Lは、マイク1Lからの音声信号を増幅して、処理用音声信号Lを生成し、検出装置3に供給する。マイクアンプ2Rは、マイク1Rからの音声信号を増幅して、処理用音声信号Rを生成し、検出装置3に供給する。
【0035】
検出装置3は、マイクアンプ2Lから供給される処理用音声信号Lおよびマイクアンプ2Rから供給される処理用音声信号Rから、処理用音声信号Lの音圧Lと処理用音声信号Rの音圧Rとの音圧比RL(=音圧R/音圧L)を算出する。
【0036】
検出装置3は、算出した音圧比RLに対応する音源の向き、すなわち、この例の場合、ユーザの口元の向き(ユーザの顔の向き)を、図3に示す、音圧比RLと口元(音源)の向きとの対応関係を示すデータを参照することで検出し、それを、図示せぬ外部の装置に出力する。
【0037】
ところで、音声の音圧は、音源からの距離が短ければ短いほど大きくなることから、図2(C)に示すように、ユーザの顔(口元)が正面方向に対して右側を向いており、距離Rが、距離Lより短い場合、このとき検出される、マイク1Rにより集音される、ユーザが発した音声の音圧(処理用音声信号Rの音圧R)は、マイク1Lにより集音される、ユーザが発した音声の音圧(処理用音声信号Lの音圧L)より大きなる。すなわちこの場合、音圧比RLは、1より大きな所定の値となる。
【0038】
また、図2(B)に示すように、口元が正面方向に対して左側を向いており、距離Rが、距離Lより長い場合、音圧Rは、音圧Lより小さくなるので、音圧比RLは、1より小さい所定の値となる。
【0039】
また、図2(A)に示すように、口元が正面方向を向いており、距離Rが、距離Lと等しい場合、音圧Rは、音圧Lと等しくなるので、音圧比RLは、1となる。
【0040】
このように、音圧比RL(=音圧R/音圧L)は、口元(音源)の向き(正確には、口元とマイク1との距離)に対応するので、例えば、口元が向く方向を変え、そのとき発せられた音声の音圧比RL、および口元が向く方向を表す値を集計することで、図3に示すデータが得られる。
【0041】
図4は、検出装置3の構成例を示している。
【0042】
入力部11は、マイクアンプ2Lおよびマイクアンプ2Rのそれぞれから適宜供給される処理用音声信号Lおよび処理用音声信号Rを入力する。入力部11は、入力した、処理用音声信号L,Rの一部(例えば、所定の時間内に入力した部分)を、特徴量算出部12に供給する。
【0043】
特徴量算出部12は、入力部11から供給された処理用音声信号L,Rから、それぞれの音圧L,Rを算出するとともに、音圧比RL(=音圧R/音圧L)を算出し、それを、検出部13に供給する。

検出部13は、図3に示した、音圧比RLと口元(音源)の対応関係を示すデータを保持しており、そのデータに基づいて、特徴量算出部12から供給された音圧比RLに対応する口元の向きを検出し、出力部14に供給する。
【0044】
出力部14は、検出部13から供給された口元(音源)の向きを、外部の装置に供給する。
【0045】
図5は、特徴量算出部12の構成例を示している。入力部11から供給された処理用音声信号Lは、音圧算出部21Lに供給され、処理用音声信号Rは、音圧算出部21Rに、それぞれ供給される。
【0046】
音圧算出部21Lは、例えば、入力された処理用音声信号Lが示す値の2乗平均値、2乗平均の平方根、または絶対値の平均値を、処理用音声信号Lの音圧Lとして算出し、その算出結果を、音圧比算出部22に供給する。音圧算出部21Rは、音圧算出部21Lと同様の方法で、処理用音声信号Rの音圧Rを算出し、音圧比算出部22に供給する。
【0047】
音圧比算出部22は、音圧算出部21Lからの音圧Lと、音圧算出部21Rからの音圧Rに基づいて、音圧比RL(=音圧R/音圧L)を算出し、その算出結果を、検出部13に供給する。
【0048】
次に、第1の実施の形態における音源状態検出システムの動作を、図6のフローチャートを参照して説明する。
【0049】
ステップS1において、マイク1L,1Rのそれぞれは、所定の方向を向いているユーザが発した(所定の方向を向いている口元からの)音声を集音し、その結果得られた音声信号を、マイクアンプ2L,2Rに供給する。
【0050】
ステップS2において、マイクアンプ2L,2Rのそれぞれは、マイク1L,1Rから供給された音声信号を増幅して、処理用音声信号L,Rを生成し、検出装置3に供給する。
【0051】
ステップS3において、検出装置3は、マイクアンプ2L,2Rのそれぞれから供給された処理用音声信号L,Rに基づいて、口元(音源)の向きを検出する。ここでの処理の詳細は、図7のフローチャートに示されている。
【0052】
ステップS11において、検出装置3の入力部11は、入力したマイクアンプ2L,2Rのそれぞれからの処理用音声信号L,Rの一部(所定の時間内に入力した部分)を、特徴量算出部12に供給する。
【0053】
次に、ステップS12において、特徴量算出部12(音圧算出部21L,21R)は、入力部11から供給された処理用音声信号L,Rから、それらの音圧L,Rをそれぞれ算出する。
【0054】
ステップS13において、特徴量算出部12(音圧比算出部22)は、ステップS12で算出した音圧L,Rに基づいて、音圧比RL(=音圧R/音圧L)を算出し、検出部13に供給する。
【0055】
次に、ステップS14において、検出部13は、音圧比RLと口元(音源)の向きとの対応関係を示すデータ(図3)を参照して、特徴量算出部12から供給された音圧比RLに対応する音源の向きを検出し、出力部14に供給する。
【0056】
ステップS15において、出力部14は、検出部13から供給された口元(音源)の向きを、外部の装置に出力する。
【0057】
その後、検出装置3の処理は終了し、音源状態検出システムの動作(図6)も、終了する。
【0058】
図8は、本発明を適用した音源状態検出システムの第2の実施の形態の構成例を示している。このシステムでは、第1の実施の形態(図1)における場合と同様に、所定の位置にある音源が発した音声から、音源の向きが検出される。
【0059】
このシステムには、図1に示す検出装置3に代えて、検出装置31が設けられている。その他の構成は、図1における場合と同様であり、その説明は適宜省略する。
【0060】
マイク1Lとマイク1Rは、第1の実施の形態における場合と同様の位置に設置されている(図9)。
【0061】
検出装置31は、マイクアンプ2Lから供給される処理用音声信号Lおよびマイクアンプ2Rから供給される処理用音声信号Rから、処理用音声信号Lの高周波部分(以下、高周波処理用音声信号Lhと称する)の音圧Lhと、処理用音声信号Rの高周波部分(以下、高周波処理用音声信号Rhと称する)の音圧Rhとの音圧比RLh(=音圧Rh/音圧Hh)を算出する。
【0062】
検出装置31は、算出した音圧比RLhに対応する口元(音源)の向きを、図10に示す、音圧比RLhと口元の向きとの対応関係を示すデータに基づいて検出し、それを、図示せぬ外部の装置に出力する。
【0063】
ところで、音声、特にその高周波部分には指向性があるので、その高周波部分の音圧は、音源に対する角度が小さければ小さいほど大きくなる。このことから、図9(C)に示すように、口元が正面方向に対して右側を向いており、角度Rが、角度Lより小さい場合、このとき検出される、マイク1Rにより集音される、ユーザが発した音声の高周波部分の音圧(高周波処理用音声信号Rhの音圧Rh)は、マイク1Lにより集音される、ユーザが発した音声の高周波部分の音圧(高周波処理用音声信号Lhの音圧Lh)よりも大きくなる。すなわちこの場合、音圧比RLhは、1より大きい所定の値となる。
【0064】
また、図9(B)に示すように、口元が正面方向に対して左側を向いており、角度Rが、角度Lより大きい場合、音圧Rhは、音圧Lhよりも小さくなるので、音圧比RLhは、1より小さい所定の値となる。
【0065】
また、図9(A)に示すように、口元が正面方向を向いており、角度Rが、角度Lと等しい場合、音圧Rhは、音圧Lhと等しくなるので、音圧比RLhは、1となる。
【0066】
このように、音圧比RLhは、口元(音源)の向き(正確には、口元が向いている方向と、口元の位置からのマイク1が位置する方向との角度)に対応するので、口元が向く方向を変え、そのとき発せられた音声の音圧比RLh、および口元が向く方向を表す値を集計することで、図10に示すデータが得られる。
【0067】
図11は、検出装置31の構成例を示している。この検出装置31には、図4の検出装置3の特徴量算出部12および検出部13に代えて、特徴量算出部41および検出部42が設けられている。他の部分は、図4における場合と同様である。
【0068】
特徴量算出部41は、入力部11から供給された処理用音声信号L,Rの高周波部分のみを通過させることで得られた、高周波処理用音声信号Lhおよび高周波処理用音声信号Rhから、それらの音圧Lhおよび音圧Rhをそれぞれ算出するとともに、算出した音圧Lhと音圧Rhの音圧比RLh(=音圧Rh/音圧Lh)を算出し、検出部42に供給する。
【0069】
検出部42は、図10に示した、音圧比RLhと口元(音源)の向きとの対応関係を示すデータを保持しており、そのデータに基づいて、特徴量算出部41から供給された音圧比RLhに対応する口元の向きを検出し、出力部14に供給する。
【0070】
図12は、特徴量算出部41の構成例を示している。この特徴量算出部41には、図5の特徴量算出部12の音圧算出部21Lおよび音圧算出部21Rの前段に、ハイパスフィルタ(HPF)51Lおよびハイパスフィルタ51Rが設けられている。他の構成は、図5における場合と同様である。
【0071】
ハイパスフィルタ51Lは、入力部11から供給された処理用音声信号Lの高周波部分のみを通過させて、音圧算出部21Lに供給する。すなわち、高周波処理用音声信号Lhが、音圧算出部21Lに供給される。
【0072】
ハイパスフィルタ51Rは、入力部11から供給された処理用音声信号Rの高周波部分のみを通過させて、音圧算出部21Rに供給する。すなわち、高周波処理用音声信号Rhが、音圧算出部21Rに供給される。
【0073】
図13は、ハイパスフィルタ51のカットオフ特性を示している。カットオフ周波数fは、例えば、それを固定の値とすることや、ユーザの音声のピッチ周波数に比例する周波数とすることができる。
【0074】
ここでピッチ周波数とは、図14に示すようなユーザの音声の波形の中で繰り返される基本的な波形の周期Tの逆数である。ピッチ周波数は、人それぞれにより異なる。
【0075】
図12に戻り、音圧算出部21Lは、ハイパスフィルタ51Lから供給される高周波処理用音声信号Lhの音圧Lhを算出し、音圧比算出部22に供給する。音圧算出部21Rは、ハイパスフィルタ51Rから供給される高周波処理用音声信号Rhの音圧Rhを算出し、音圧比算出部22に供給する。
【0076】
音圧比算出部22は、音圧算出部21Lからの音圧Lhと、音圧算出部21Rからの音圧Rhとの音圧比RLh(=音圧Rh/音圧Lh)を算出し、検出部42に供給する。
【0077】
次に、第2の実施の形態における音源状態検出システムの動作を、図15のフローチャートを参照して説明する。
【0078】
ステップS21,S22においては、図6のステップS1,S2における場合と同様の処理が実行されるので、その説明は省略する。
【0079】
ステップS23において、検出装置31は、マイクアンプ2L,2Rのそれぞれから供給された処理用音声信号L,Rに基づいて、口元(音源)の向きを検出する。ここでの処理の詳細は、図16のフローチャートに示されている。
【0080】
ステップS31において、入力部11は、マイクアンプ2L,2Rのそれぞれからの処理用音声信号L,Rの一部(例えば、所定の時間内に入力した部分)を、特徴量算出部41に供給する。
【0081】
次に、ステップS32において、特徴量算出部41(ハイパスフィルタ51L,51R)は、入力部11から供給された処理用音声信号L,Rの高周波部分を濾過し、高周波処理用音声信号Lh,Rhを生成する。
【0082】
ステップS33において、特徴量算出部41(音圧算出部21L,21R)は、ステップS32で生成した高周波処理用音声信号Lh,Rhから、音圧Lh,Rhをそれぞれ算出する。
【0083】
次に、ステップS34において、特徴量算出部41(音圧比算出部22)は、ステップS33で算出した音圧Lh,Rhに基づいて、音圧比RLh(=音圧Rh/音圧Lh)を算出し、検出部42に供給する。
【0084】
ステップS35において、検出部42は、音圧比RLhと口元(音源)の向きとの対応関係を示すデータ(図10)を参照して、特徴量算出部41から供給された音圧比RLhに対応する音源の向きを検出し、出力部14に供給する。
【0085】
次に、ステップS36において、出力部14は、検出部42から供給された口元(音源)を、外部の装置に出力する。
【0086】
その後、検出装置31の処理は終了し、音源状態検出システムの動作(図15)も終了する。
【0087】
図17は、本発明を適用した音源状態検出システムの第3の実施の形態の構成例を示している。このシステムでは、第1の実施の形態(図1)および第2の実施の形態(図8)における場合と同様に、所定の位置にある音源が発した音声から、音源の向きが検出される。
【0088】
このシステムには、図1に示す検出装置3に代えて、検出装置61が設けられている。他の構成については同様である。

マイク1Lとマイク1Rは、第1の実施の形態における場合と同様の位置に設置されている(図2)。
【0089】
検出装置61は、マイクアンプ2Lから供給される処理用音声信号Lおよびマイクアンプ2Rから供給される処理用音声信号Rから、処理用音声信号Rの位相に対する処理用音声信号Lの位相のずれ(位相差)を算出する。検出装置61は、算出した位相差に対応するユーザの口元(音源)の向きを、図18に示す、位相差と口元(音源)の向きとの対応関係を示すデータに基づいて検出し、図示せぬ外部の装置に出力する。
【0090】
ところで、音声は、マイク1と音源との距離が長ければ長いほど、マイク1に到達するのに時間がかかり、また後に到達した音声の位相は、先に到達した音声の位相に比べ遅れる特徴がある。このことから、例えば、図2(B)に示すように、口元が正面方向に対して左側を向いており、距離Rが、距離Lより長い場合、このときユーザから発せられた音声は、マイク1Lに先に到達し、その後マイク1Rに到達するので、このとき検出されるマイク1Rにより集音される音声(処理用音声信号R)の位相(図19(B))は、マイク1Lにより集音される音声(処理用音声信号L)の位相(図19(A))に比べ遅れる。すなわちこの場合、処理用音声信号Rの位相に対する処理用音声信号Lの位相の差は、負の値となる。
【0091】
なおこのとき、距離Lは、距離Rより短いので、図19(A)に示す処理用音声信号Lのレベルは、図19(B)に示す処理用音声信号Rのレベルより高くなる。
【0092】
また、図2(C)に示すように、口元が正面方向に対して右側を向いており、距離Rが、距離Lより短い場合、このときユーザから発せられた音声は、マイク1Rに先に到達し、その後マイク1Lに到達するので、処理用音声信号R(図20(B))の位相は、処理用音声信号L(図20(A))の位相に比べ進む。すなわちこの場合、処理用音声信号Rの位相に対する処理用音声信号Lの位相の差は、正の値となる。

なおこのとき、距離Rは、距離Lより短いので、図20(B)に示す処理用音声信号Rのレベルは、図20(A)に示す処理用音声信号Lのレベルより高い。
【0093】
また、図2(A)に示すように、ユーザの顔が正面方向を向いており、距離Rが、距離Lと等しい場合、このときユーザから発せられた音声は、マイク1Rとマイク1Lに同時到達するので、処理用音声信号R(図21(B))の位相と、処理用音声信号L(図21(A))の位相は、一致する。すなわちこの場合、処理用音声信号Rの位相に対する処理用音声信号Lの位相の位相差は、零となる。
【0094】
なおこのとき、距離Rと距離Lは等しいので、図21(B)に示す処理用音声信号Rのレベルと図21(A)に示す処理用音声信号Lのレベルは同じになる。
【0095】
このように、位相差は、口元(音源)の向きに対応するので、口元が向く方向を変え、そのとき発せられた音声の位相差、および口元が向く方向を表す値を集計することで、図18に示すデータが得られる。
【0096】
図22は、検出装置61の構成例を示している。この検出装置61には、図4の検出装置3の特徴量算出部12および検出部13に代えて、特徴量算出部71および検出部72が設けられている。他の構成は、図4における場合と同様である。
【0097】
特徴量算出部71は、入力部11から供給された処理用音声信号Lと処理用音声信号Rから、処理用音声信号Rの位相に対する処理用音声信号Lの位相の位相差を算出する。
【0098】
具体的には、特徴量算出部71は、処理用音声信号L,Rを、所定のサンプリング周期Tでサンプリングして、量子化する。これにより、処理用音声信号Lからは、N個のサンプルL1乃至LNが、処理用音声信号Rからは、N個のサンプルR1乃至RNがそれぞれ得られる。なお、サンプルLまたはサンプルRに付されている下付の番号は、サンプリング順を表してる。すなわち、サンプルL1は、最初にサンプリングされたサンプル(第1番目のサンプル)を示す。
【0099】
次に、特徴量算出部71は、jが1乃至nであるときの式(1)をそれぞれ算出し、その算出結果の値が最大となるjの値mを検出する。そして特徴量算出部71は、検出した値mにサンプリング周期Tを掛け合わせて得られた値(時間)を、処理用音声信号Rの位相に対する処理用音声信号Lの位相の位相差とする。
【数1】
Figure 0004752153
【0100】
式中、Li-jは、サンプルLi-jの値を示し、Riは、サンプルRiの値を示す。
【0101】
すなわち、処理用音声信号Rと処理用音声信号Lとの相関値が、処理用音声信号Rに対して、処理用音声信号Lが、n個のサンプル分の時間まで、1サンプリング時間ずつずらされて算出され、その算出結果において最も高い相関値が得られたときの時間のずれが、処理用音声信号Rの位相に対する処理用音声信号Lの位相の差とされる。
【0102】
検出部72は、図18に示した、位相差と口元(音源)の向きとの対応関係を示すデータを保持しており、そのデータに基づいて、特徴量算出部71から供給された位相差に対応する音源の向きを検出し、出力部14に供給する。
【0103】
次に、第3の実施の形態における音源状態検出システムの動作を、図23のフローチャートを参照して説明する。
【0104】
ステップS41,S42においては、図6のステップS1,S2における場合と同様の処理が実行されるので、その説明は省略する。
【0105】
ステップS43において、検出装置61は、マイクアンプ2L,2Rのそれぞれから供給された処理用音声信号L,Rに基づいて、口元(音源)の向きを検出する。ここでの処理の詳細は、図24のフローチャートに示されている。
【0106】
ステップS51において、入力部11は、マイクアンプ2L,2Rのそれぞれからの処理用音声信号L,Rの一部(例えば、所定の時間内に入力した部分)を、特徴量算出部71に供給する。
【0107】
次に、ステップS52において、特徴量算出部71は、入力部11から供給された処理用音声信号L,Rから、処理用音声信号Rの位相に対する処理用音声信号Lの位相の位相差を算出し、検出部72に供給する。
【0108】
ステップS53において、検出部72は、位相差と口元(音源)の向きとの対応関係を示すデータ(図18)を参照して、特徴量算出部71から供給された位相差に対応する音源の向きを検出し、出力部14に供給する。
【0109】
ステップS54において、出力部14は、検出部72から供給された口元(音源)の向きを、外部の装置に出力する。
【0110】
その後、検出装置61の処理は終了し、音源状態検出システムの動作(図23)も、終了する。
【0111】
図25は、本発明を適用した音源状態検出システムの第4の実施の形態の構成例を示している。第1の実施の形態乃至第3の実施の形態においては、音源は、移動しないことを前提として、所定の位置ある音源の向きが検出されたが、このシステムでは、所定の範囲内で移動する音源の位置およびその向きが検出される。
【0112】
このシステムには、図1に示す検出装置3に代えて、検出装置101が設けられているとともに、マイク1L、マイク1C、およびマイク1Rの3個のマイク1、並びにマイク1Lにより集音された音声を増幅するマイクアンプ2L、マイク1Cにより集音された音声を増幅するマイクアンプ2C、およびマイク1Rにより集音された音声を増幅するマイクアンプ2Rの3個のマイクアンプ2が設けられている。
【0113】
マイク1Lおよびマイク1Rは、図26に示すように、例えば、ユーザの頭部の中心点が位置Aに位置する場合において、口元が正面方向を向いているとき、マイク1Lと口元の距離Lと、マイク1Rと口元の距離Rが、それぞれ等しくなる位置に設置されている。マイク1Cは、正面方向に、位置Aから所定の距離だけ離れた位置に設置されている。
【0114】
図25に戻り、検出装置101は、マイクアンプ2Cから供給される信号(以下、処理用音声信号Cと称する)の位相に対する、マイクアンプ2Lから供給された処理用音声信号Lの位相の位相差CL、および処理用音声信号Cの位相に対する、マイクアンプ2Rから供給された処理用音声信号Rの位相の位相差CR、および所定の係数(後述)に基づいて、所定の範囲内で移動する口元(音源)の位置を検出する。
【0115】
この例の場合、音源の位置は、図27に示すように、ユーザの頭部の中心点が位置Aにある場合において、ユーザの顔が正面方向を向いているときの口元(音源)の位置(以下、基準位置と称する)を原点とする座標(x,y)で示される。
【0116】
検出装置101はまた、検出した口元(音源)の位置に対応する所定の係数(後述)、および処理用音声信号Lの音圧Lと処理用音声信号Rの音圧Rとの音圧比RL(=音圧R/音圧L)に基づいて、音源の向きを検出する。
【0117】
この例の場合、音源の向きは、図27に示すように、Y軸に対する角度θで示される。
【0118】
図28は、検出装置101の構成例を示している。
【0119】
この検出装置101には、図4の検出装置3の特徴量算出部12および検出部13に代えて、特徴量算出部111および検出部112が設けられている。他の構成は、図4における場合と同様である。
【0120】
入力部11は、マイクアンプ2L,2C,2Rのそれぞれから適宜供給される処理用音声信号L,C,Rを入力し、特徴量算出部111に供給する。
【0121】
特徴量算出部111は、入力部11から供給された処理用音声信号L、処理用音声信号C、および処理用音声信号Rから、位相差CL(処理用音声信号Cの位相に対する処理用音声信号Lの位相の位相差)、および位相差CR(処理用音声信号Cの位相に対する処理用音声信号Rの位相の位相差)を算出する。
【0122】
特徴量算出部111はまた、処理用音声信号Lの音圧Lと処理用音声信号Rの音圧Rとの音圧比RL(=音圧R/音圧L)を算出する。
【0123】
特徴量算出部111は、それぞれ算出した位相差CLおよび位相差CR、並びに音圧比RLを、検出部112に出力する。
【0124】
検出部112は、特徴量算出部111からの位相差CLおよび位相差CR、並びに所定の係数(後述)に基づいて、所定の範囲内で移動する口元(音源)の位置を検出する。
【0125】
検出部112はまた、検出した口元(音源)の位置に対応する所定の係数(後述)(正確には、検出された音源の位置に対応する基準位置に対応する係数)、および特徴量算出部111からの音圧比RLに基づいて、音源の向きを検出する。
【0126】
検出部112は、検出した口元の位置およびその向きを、出力部14に供給する。
【0127】
図29は、特徴量算出部111の構成例を示している。
【0128】
位相差算出部121は、位相差CL(処理用音声信号Cの位相に対する処理用音声信号Lの位相の位相差)を算出する。
【0129】
具体的には、位相差算出部121は、処理用音声信号L,Cを、所定のサンプリング周期Tでサンプリングして、量子化する。これにより、処理用音声信号Lからは、N個のサンプルL1乃至LNが、処理用音声信号Cからは、N個のサンプルC1乃至CNがそれぞれ得られる。
【0130】
位相差算出部121は、次に、jが1乃至nであるときの式(2)をそれぞれ算出し、その算出結果の値が最大となるjの値mを検出する。そして位相差算出部121は、検出した値mにサンプリング周期Tを乗算し、その乗算結果(時間)を、位相差CLとして、検出部112に出力する。
【数2】
Figure 0004752153
【0131】
すなわち、処理用音声信号Lと処理用音声信号Cとの相関値が、処理用音声信号Cに対して、処理用音声信号Lが、n個のサンプル分の時間まで、1サンプリング時間ずつずらされて算出され、その算出結果において最も高い相関値が得られたときの時間(値m×サンプリング周期T)が、位相差CLとされる。
【0132】
位相差算出部122は、位相差CR(処理用音声信号Cの位相に対する処理用音声信号Rの位相の位相差)を算出する。
【0133】
具体的には、位相差算出部122は、処理用音声信号C,Rを、所定のサンプリング周期Tでサンプリングして、量子化する。これにより、処理用音声信号Rからは、N個のサンプルR1乃至RNが、処理用音声信号Cからは、N個のサンプルC1乃至CNがそれぞれ得られる。
【0134】
次に、位相差算出部122は、jが1乃至nであるときの式(3)をそれぞれ算出し、その算出結果の値が最大となるjの値mを検出する。そして位相差算出部122は、検出した値mにサンプリング周期Tを乗算し、その乗算結果(時間)を、位相差CRとして、検出部112に出力する。
【数3】
Figure 0004752153
【0135】
すなわち、処理用音声信号Rと処理用音声信号Cとの相関値が、処理用音声信号Cに対して、処理用音声信号Rが、n個のサンプル分の時間まで、1サンプリング時間ずつずらされて算出され、その算出結果において最も高い相関値が得られたときの時間(値m×サンプリング周期T)が、位相差CRとされる。
【0136】
音圧算出部123は、入力された処理用音声信号Lが示す値の2乗平均値、2乗平均の平方根、または絶対値の平均値を、処理用音声信号Lの音圧Lとして算出し、その算出結果を、音圧比算出部125に供給する。音圧算出部124は、音圧算出部123と同様の方法で、処理用音声信号Rの音圧Rを算出し、音圧比算出部125に供給する。
【0137】
音圧比算出部125は、音圧算出部123からの音圧Lと、音圧算出部124からの音圧Rに基づいて、音圧比RL(=音圧R/音圧L)を算出し、その算出結果を、検出部112に供給する。
【0138】
図30は、検出部112の構成例を示している。
【0139】
位置算出部131は、特徴量算出部111(位相差算出部121,122)からの位相差CLおよび位相差CR、並びに位置係数記憶部132に記憶されている、係数aL、係数bL、および係数cLからなるxおよびyの一次方程式(式(4))、並びに係数aR、係数bR、および係数cRからなるxおよびyの一次方程式(式(5))を解き、座標(x,y)(図27)を算出する。
L×x+bL×y+cL=位相差CL…(4)
R×x+bR×y+cR=位相差CR…(5)
【0140】
位置算出部131は、算出した位置(座標(x,y))を、向き係数決定部133および出力部14に供給する。
【0141】
ところで、マイク1Cと口元(音源)の距離Cと、マイク1Lと音源の距離L、およびマイク1Rと音源の距離Rの関係は、式(6)に示すように表すことができる。
距離L−距離C=ΔL
距離R−距離C=ΔR…(6)
【0142】
ΔLおよびΔRは、図31に示すように、X軸、Y軸、および距離の軸からなる座標空間において、なだらかな曲面で表される。すなわち、音源が、原点から比較的近い範囲内で移動する場合、ΔLおよびΔRを、ほぼ平面に近似することができるので、ΔLおよびΔRを、式(7)に示すように、xおよびyの一次方程式で表すことができる。
a'L×x+b'L×y+c'L=ΔL
a'R×x+b'R×y+c'R=ΔR…(7)
【0143】
一方、音声は、上述したように、音源からの距離が長ければ長いほど伝達に時間がかかるので、例えば、ユーザが、図32に示すように、正面方向に対して左側を向いているとき、距離Cは、距離Lより長くなるので、マイク1Cには、マイク1Lに比べ音源からの音声が遅れて到達する。
【0144】
また、遅れて到達した音声の位相は、先に到達した音声の位相に比べ遅れるので、すなわち、先に到達した音声の位相は、後に到達した音声の位相に比べ進むので、例えば、図32の例の場合、処理用音声信号Lの位相は、図33(A)に示すように、図33(B)に示す処理用音声信号Cの位相より進む。このときの位相のずれが、位相差CLである。
【0145】
一方、距離Cが距離Rより長い場合、音源からの音声は、マイク1Cよりマイク1Rに先に到達するので、処理用音声信号Rの位相は、図33(C)に示すように、処理用音声信号Cの位相より進む。このときの位相のずれが、位相差CRである。
【0146】
このように、位相差CLおよび位相差CRは、上述したように、距離L、距離C、および距離Rに対応する。すなわち、位相差CLおよび位相差CRは、音源が原点から比較的近い範囲内で移動し、ΔLおよびΔRを、平面に近似することができる場合、ΔLおよびΔRに対応するので、位相差CLおよび位相差CRは、上述した式(4)および式(5)に示すように、xおよびyの一次方程式で表すことができる。
【0147】
このシステムでは、所定の範囲内で移動する音源の位置および向きが検出されるが、所定の範囲とは、ΔLおよびΔRを、平面に近似することができる範囲内、すなわち、式(7)が成り立つ範囲を意味する。
【0148】
位置係数記憶部132に記憶されている係数aL、係数bL、係数cL、係数aR、係数bR、および係数cRは、次に説明するように、それら係数に関する連立一次方程式を、最小自乗法を用いて解くことで求められる。
【0149】
口元(音源)を、所定の複数の位置(座標(xk,yk)(k=1,2,…K)で特定されるK箇所の位置)に移動させ、各位置にあるときの音源から発せられた音声を集音し、位相差CLkおよび位相差CRkを算出する実験を行うことで、式(8)および式(9)に示すように、それぞれK個の、xおよびyの一次方程式が求められる。
【数4】
Figure 0004752153
【数5】
Figure 0004752153
【0150】
式(8)は、式(10)そしてさらに式(11)に示すように展開することで解くことができる。これにより、係数aL、係数bL、および係数cLが求められる。式(9)も、式(12)そしてさらに式(13)に示すように展開することで解くことができる。これにより、係数aR、係数bR、および係数cRが求められる。
【数6】
Figure 0004752153
【数7】
Figure 0004752153
【数8】
Figure 0004752153
【数9】
Figure 0004752153
【0151】
なお、式(11)および式(13)中、”+”が上付された行列は、擬似逆行列である。
【0152】
図30に戻り、向き係数決定部133は、位置算出部131から供給された座標(x,y)に対応する基準位置(後述)を検出する。
【0153】
向き係数決定部133はまた、P個の基準位置p(p=1,2,…P)のそれぞれに対応する係数αp、係数βp、係数γp、および係数δpを記憶しており、記憶しているそれらの係数から、検出した基準位置に対応する、係数α、係数β、係数γ、および係数δを選択し、向き算出部134に供給する。
【0154】
向き算出部134は、向き係数決定部133からの係数α、係数β係数γ、および係数δ、並びに特徴量算出部111からの音圧比RLに基づいて、式(14)に示すθの3次方程式を解いてθを算出し、出力部14に供給する。
【数10】
Figure 0004752153
【0155】
ところで、音圧比RLは、音源の位置および向きにより異なる。例えば、図34に示すように、音源が、座標(xp,yp)(p=1,2,…9)で特定される基準位置pにあるときに発せられた音声による音圧比RLは、それぞれ異なり、また向きによっても異なる。
【0156】
図35(A)は、基準位置p(=4)に位置し、角度θL乃至角度θRの方向を向いているときの音源から発生された音声による音圧比RL4を表している。図35(B)は、基準位置p(=5)に位置し、角度θL乃至角度θRの方向を向いているときの音源から発生された音声による音圧比RL5を表している。図35(C)は、基準位置p(=6)に位置し、角度θL乃至角度θRの方向を向いているときの音源から発生された音声による音圧比RL6を表している。
【0157】
図35(A)乃至(C)に示す軌跡から、音圧比RLは、式(14)に示すように、角度θの3次式で近似される。
【0158】
向き係数決定部133に記憶されている、P個の基準位置pのそれぞれに対応する係数αp、係数βp、係数γp、および係数δpは、次に説明するようにして求められる。
【0159】
音源の位置および向きにより音圧比RLが異なるので、音源が基準位置pに位置し、所定の方向(角度θq(q=1,2,…Q)の方向)を向いているときの音源から発せられる音声の音圧比RLpqを求めることで、基準位置1乃至基準位置P毎に、Q個の、θの3次元方程式が求められる。
【0160】
例えば、基準位置1に位置する音源が、それぞれ角度θ1乃至θQの方向を向いているときに発した音声から、音圧比RL11乃至RL1Qを求めることで、式(15)に示すような、Q個の、θの3次元方程式が求められる。
【数11】
Figure 0004752153
【0161】
同様にして、基準位置2乃至基準位置Pについても、それぞれQ個の、θの3次元方程式が得られ、これらを、ニュートン法やシンプレックス法などによる非線形最小自乗法により解くことで、基準位置1乃至基準位置P毎に、係数α、係数β、係数γ、および係数δが求められる。
【0162】
次に、検出装置101の動作を、図36のフローチャートを参照して説明する。
【0163】
ステップS61において、検出装置101の入力部11は、入力したマイクアンプ2L,2C,2Rのそれぞれからの処理用音声信号L,C,Rの一部(所定の時間内に入力した部分)を、特徴量算出部111に供給する。
【0164】
次に、ステップS62において、特徴量算出部111(位相差算出部121,122)は、入力部11から供給された処理用音声信号C,Lから、位相差CLを算出するとともに、処理用音声信号C,Rから、位相差CRを算出する。算出された位相差CLおよび位相差CRは、検出部112に供給される。
【0165】
ステップS63において、特徴量算出部111(音圧算出部123,124、音圧比算出部125)は、処理用音声信号L,Rの音圧L,Rをそれぞれ算出するとともに、音圧比RL(=音圧R/音圧L)を算出する。算出された音圧比RLは、検出部112に供給される。
【0166】
次に、ステップS64において、検出部112(位置算出部131)は、特徴量算出部111から供給された位相差CL、並びに自分自身(位置係数記憶部132)が記憶する係数aL、係数bL、および係数cLからなる式(4)と、位相差CR、並びに係数aR、係数bR、および係数cRからなる式(5)の連立方程式を解き、xおよびyを算出する。算出された座標(x,y)は、出力部14に供給される。
【0167】
ステップS65において、検出部112(向き係数決定部133)は、算出した座標(x,y)で特定される位置に最も近い基準位置を検出する。
【0168】
次に、ステップS66において、検出部112(向き係数決定部133)は、記憶している、P個の基準位置pのそれぞれに対応する係数αp、係数βp、係数γp、および係数δpから、決定した基準位置に対応する、係数α、係数β、係数γ、および係数δを選択する。
【0169】
ステップS67において、検出部112(向き算出部134)は、特徴量算出部111からの音圧比RL、並びにステップS66で選択した係数α、係数β、係数γ、および係数δからなる式(14)を解き、角度θを算出する。算出された角度θは、出力部14に供給される。
【0170】
次に、ステップS68において、出力部14は、検出部112から供給された座標(x,y)を、口元(音源)の位置として、そして角度θを、音源の向きとして外部の装置に出力する。
【0171】
その後、処理は終了する。
【0172】
なお、以上においては、検出部112において、算出された座標(x,y)に対応する基準位置が検出されるとともに、記憶されている、それぞれP個の係数αp、係数βp、係数γp、および係数δpのうちから、検出された基準位置に対応する係数α、係数β、係数γ、および係数δが選択されたが、検出部112が、式(16)乃至式(19)に示すように、係数αが算出されるx,yの関数e、係数βが算出されるx,yの関数f、係数γが算出されるx,yの関数g、および係数δが算出されるx,yの関数hを記憶し、検出された座標(x,y)でそれらの関数を演算することで、係数α、係数β、係数γ、および係数δのそれぞれを算出することもできる。
α=e(x,y)…(16)
β=f(x,y)…(17)
γ=g(x,y)…(18)
δ=h(x,y)…(19)
【0173】
この場合の検出装置101の動作を、図37のフローチャートを参照して説明する。
【0174】
ステップS71乃至ステップS74、およびステップS77においては、図36のステップS61乃至ステップS64、およびステップS68における場合と同様の処理が行われるので、その説明は省略する。
【0175】
ステップS75において、検出装置101の検出部112は、関数e(式(16))、関数f(式(17))、関数g(式(18))、および関数h(式(19))をそれぞれ演算し、係数α、係数β、係数γ、および係数δを算出する。
【0176】
次に、ステップS76において、検出部112は、特徴量算出部111からの音圧比RL、並びにステップS75で算出した係数α、係数β、係数γ、および係数δで、式(14)を演算し、角度θを算出する。
【0177】
また、以上においては、特徴量算出部111は、処理用音声信号L,Rから直接音圧L,Rを算出し、そして音圧比RLを算出する場合を例として説明したが、処理用音声信号L,Rの高周波部分の信号(高周波処理用音声信号Lh,Rh)の音圧Lh,Rhを算出し、それらの音圧比RLhを算出することができる。
【0178】
この例の場合における特徴量算出部111の構成例を、図38に示す。この特徴量算出部には、図29の特徴量算出部111の音圧算出部123および音圧算出部124の前段に、ハイパスフィルタ141およびハイパスフィルタ142が設けられている。
【0179】
ハイパスフィルタ141は、入力部11から供給された処理用音声信号Lの高周波部分のみを通過させて、音圧算出部123に供給する。ハイパスフィルタ142は、入力部11から供給された処理用音声信号Rの高周波部分のみを通過させて、音圧算出部124に供給する。
【0180】
音圧算出部123は、高周波処理用音声信号Lhの音圧Lhを算出し、音圧比算出部125に供給する。音圧算出部124は、高周波処理用音声信号Rhの音圧Rhを算出し、音圧比算出部125に供給する。
【0181】
音圧比算出部125は、音圧比RLhを算出し、検出部112に供給する。
【0182】
図39は、本発明を適用した音源状態検出システムの第5の実施の形態の構成例を示している。このシステムでは、第4の実施の形態における場合と同様に、所定の範囲内で移動する音源の位置およびその向きの両方が検出されるが、この例の場合、3次元空間上の位置および向きが検出される。
【0183】
このシステムには、図1に示す検出装置3に代えて、検出装置201が設けられている他、4個のマイク1―1乃至マイク1−4、および4個のマイクアンプ2−1乃至2−4が設けられている。
【0184】
マイク1−1乃至マイク1−4は、図40に示すような、それぞれ直交するX軸、Y軸、およびZ軸からなる3次元空間上に一定の広がりを持って配置されている。なお、図40中の原点、X軸、およびY軸は、図27の原点、X軸、およびY軸に対応するものである。すなわち、図40に示すZ軸は、図27においては、ユーザから見れば、原点から垂直方向に延びる軸である。
【0185】
図39に戻り、マイク1−1乃至マイク1−4は、音源からの音声(ユーザが発した音声)を集音し、音声信号として、マイクアンプ2−1乃至2−4に供給する。
【0186】
マイクアンプ2−1乃至2−4は、マイク1−1乃至1−4からの音声信号を増幅し、処理用音声信号S1乃至S4として、検出装置201に供給する。
【0187】
検出装置201は、音源(口元)の位置に対応する、図40の3次元空間における座標(x,y,z)を検出するとともに、口元の向きに対応する、Z軸の回りの角度θ、Y軸の回りの角度φ、およびX軸の回りの角度ψのそれぞれを検出する。
【0188】
図41は、検出装置201の構成例を示している。この検出装置201には、図4の検出装置3の特徴量算出部12に代えて特徴量算出部211が、また検出部13に代えて、検出部212が設けられている。
【0189】
入力部11は、マイクアンプ2−1乃至2−4のそれぞれから適宜供給される処理用音声信号S1乃至S4を入力し、特徴量算出部211に供給する。
【0190】
特徴量算出部211は、処理用音声信号S1の位相と処理用音声信号S2の位相との差(以下、位相差A1と称する)、処理用音声信号S2の位相と処理用音声信号S3の位相との差(以下、位相差A2と称する)、および処理用音声信号S3の位相と処理用音声信号S4の位相との差(以下、位相差A3と称する)を、それぞれ算出する。
【0191】
特徴量算出部211はまた、処理用音声信号S1乃至S4の音圧をそれぞれ算出するとともに、処理用音声信号S1の音圧と処理用音声信号S2の音圧の比(以下、音圧比B1と称する)、処理用音声信号S2の音圧と処理用音声信号S3の音圧の比(以下、音圧比B2と称する)、処理用音声信号S3の音圧と処理用音声信号S4の音圧の比(以下、音圧比B3と称する)を、それぞれ算出する。
【0192】
特徴量算出部211は、算出した位相差A1乃至位相差A3、および音圧比B1乃至音圧比B3を、検出部212に出力する。
【0193】
検出部212は、特徴量算出部211からの位相差A1乃至位相差A3、および所定の係数(後述)に基づいて、口元(音源)の位置を表す座標(x,y,z)を算出する。
【0194】
検出部212はまた、予め求められた、所定の位置、所定の向き、並びにその位置およびその向きの音源から発せられた音声の音圧比B1乃至B3の対応関係を表すデータから、算出した音圧比B1乃至B3および算出した音源の位置(座標)に対応する向きを、このときの音源の向きとして検出する。
【0195】
図42は、特徴量算出部211の構成例を示している。
【0196】
位相差算出部221は、位相差A1を算出し、検出部212に供給する。位相差算出部222は、位相差A2を算出し、検出部212に供給する。位相差算出部223は、位相差A3を算出し、検出部212に供給する。
【0197】
音圧算出部224は、処理用音声信号S1の音圧を算出し、音圧比算出部228に供給する。音圧算出部225は、処理用音声信号S2の音圧を算出し、音圧比算出部228および音圧比算出部229に供給する。
【0198】
音圧算出部226は、処理用音声信号S3の音圧を算出し、音圧比算出部229および音圧比算出部230に供給する。音圧算出部227は、処理用音声信号S4の音圧を算出し、音圧比算出部230に供給する。
【0199】
音圧比算出部228は、音圧比B1を算出し、検出部212に供給する。音圧比算出部229は、音圧比B2を算出し、検出部212に供給する。音圧比算出部230は、音圧比B3を算出し、検出部212に供給する。
【0200】
図43は、検出部212の構成例を示している。
【0201】
位置算出部241には、特徴量算出部211(位相差算出部221乃至位相差算出部223)からの位相差A1乃至位相差A3、並びに位置係数記憶部242に記憶されている係数a1、係数b1、係数c1、および係数d1、係数a2、係数b2、係数c2、および係数d2、並びに係数a3、係数b3、係数c3、および係数d3が供給される。
【0202】
位置算出部241は、係数a1、係数b1、係数c1、および係数d1、並びに位相差A1からなるx,y,zの1次方程式(式(20))、係数a2、係数b2、係数c2、および係数d2、並びに位相差A2からなるx,y,zの1次方程式(式(21))、そして係数a3、係数b3、係数c3、および係数d3、並びに位相差A3からなるx,y,zの1次方程式(式(22))の連立方程式を演算し、x,y,zを算出する。
1×x+b1×y+c1×z+d1=位相差A1…(20)
2×x+b2×y+c2×z+d2=位相差A2…(21)
3×x+b3×y+c3×z+d3=位相差A3…(22)
【0203】
位置算出部241は、算出した座標(x,y,z)(音源の位置)を、向き検出部243および出力部14に供給する。
【0204】
位置係数記憶部242が記憶する、係数a1乃至d1、係数a2乃至d2、および係数a3乃至d3は、基本的には、第4の実施の形態における係数aL乃至cLおよび係数aR乃至cRを算出する場合と同様にして求められる。
【0205】
すなわち、口元(音源)を、所定の複数の位置(座標(xk,yk,zk))に移動させ、各位置にあるときの音源から発せられた音声を集音し、位相差A1K、位相差A2k、および位相差A3kを算出する実験を行うことで、式(23)乃至式(25)に示すような連立方程式が求められる。
【数12】
Figure 0004752153
【数13】
Figure 0004752153
【数14】
Figure 0004752153
【0206】
式(23)乃至式(25)を、最小自乗法により解くことで、係数a1乃至d1、係数a2乃至d2、および係数a3乃至d3のそれぞれが求められる。
【0207】
向き検出部243は、図44に示すような、予め求められた、所定の位置(座標(x,y,z))、所定の向き(角度θ,φ,ψ)、並びにその位置およびその向きの音源から発せられた音声の音圧比B1,B2,B3の対応関係を表す対応表を記憶している。すなわち、向き検出部243は、位置算出部241からの座標(x,y,z)および特徴量算出部211からの音圧比B1,B2,B3に基づいて、それらに対応する角度θ,φ,ψを、音源の向きとして検出し、出力部14に出力する。
【0208】
この例の場合の検出装置201の動作を、図45のフローチャートを参照して説明する。
【0209】
ステップS81において、検出装置201の入力部11は、入力したマイクアンプ2−1乃至2−4のそれぞれからの処理用音声信号S1乃至S4の一部(所定の時間内に入力した部分)を、特徴量算出部211に供給する。
【0210】
次に、ステップS82において、特徴量算出部211(位相差算出部221乃至223)は、マイクアンプ2―1乃至2−4から供給された処理用音声信号S1乃至S4から、処理用音声信号S1の位相と処理用音声信号S2の位相との位相差A1、処理用音声信号S2の位相と処理用音声信号S3の位相との位相差A2、および処理用音声信号S3の位相と処理用音声信号S4の位相との位相差A3をそれぞれ算出する。算出された位相差A1乃至位相差A3は、検出部212に供給される。
【0211】
ステップS83において、特徴量算出部211(音圧算出部224乃至227、音圧比算出部228乃至230)は、処理用音声信号S1,S2,S3,S4の音圧を算出するとともに、処理用音声信号S1,S2の音圧から、音圧比B1を、処理用音声信号S2,S3の音圧から、音圧比B2を、そして処理用音声信号S3,S4の音圧から、音圧比B3を、それぞれ算出する。算出された音圧比B1乃至音圧比B3は、検出部212に供給される。
【0212】
次に、ステップS84において、検出部212(位置算出部241)は、特徴量算出部211から供給された位相差A1乃至位相差A3、並びに自分自身(位置係数記憶部242)が記憶する係数a1乃至d1、係数a2乃至d2、および係数a3乃至d3の式(20)乃至式(22)からなる連立方程式を解き、x、y、およびzを算出する。算出された座標(x,y,z)は、出力部14に供給される。
【0213】
ステップS85において、検出部212(向き検出部243)は、図44の対応表から、算出された座標(x,y,z)に最も近い座標および算出された音圧比B1,B2,B3に最も近い音圧比を検出するとともに、それらに対応する角度θ,φ,角度ψを検出する。検出された角度θ、角度φ、および角度ψは、出力部14に供給される。
【0214】
ステップS86において、出力部14は、検出部212から供給された座標(x,y,z)を、口元(音源)の位置として、並びに角度θ、角度φ、および角度ψを、口元の向きとして、外部の装置に出力する。
【0215】
その後、処理は終了する。
【0216】
なお、以上においては、特徴量算出部211は、処理用音声信号S1乃至S4から直接音圧を算出し、そして音圧比B1乃至B3を算出する場合を例として説明したが、処理用音声信号S1乃至S4の高周波部分の信号(高周波処理用音声信号S1h乃至S4h)の音圧を算出し、それらの音圧比B1h乃至B3hを算出することもできる。高周波部分の信号の音圧比は、音源との距離に応じても変化するが、指向性があることから、それを利用することで、より正確に音源の向きを検出することができる。特に有効である。
【0217】
この例の場合における特徴量算出部211の構成例を、図46に示す。この特徴量算出部211には、図42の特徴量算出部211の音圧算出部224乃至227の前段に、ハイパスフィルタ251乃至254が設けられている。
【0218】
ハイパスフィルタ251は、入力部11から供給された処理用音声信号S1の高周波部分のみを通過させて、音圧算出部224に供給する。ハイパスフィルタ252は、入力部11から供給された処理用音声信号S2の高周波部分のみを通過させて、音圧算出部225に供給する。
【0219】
ハイパスフィルタ253は、入力部11から供給された処理用音声信号S3の高周波部分のみを通過させて、音圧算出部226に供給する。ハイパスフィルタ254は、入力部11から供給された処理用音声信号S4の高周波部分のみを通過させて、音圧算出部227に供給する。
【0220】
音圧算出部224は、高周波処理用音声信号S1hの音圧を算出し、音圧比算出部228に供給する。音圧算出部225は、高周波処理用音声信号S2hの音圧を算出し、音圧比算出部228および音圧比算出部229に供給する。
【0221】
音圧算出部226は、高周波処理用音声信号S3hの音圧を算出し、音圧比算出部229および音圧比算出部230に供給する。音圧算出部227は、高周波処理用音声信号S4hの音圧を算出し、音圧比算出部230に供給する。
【0222】
音圧比算出部228は、高周波処理用音声信号S1hの音圧と高周波処理用音声信号S2hの音圧との音圧比B1を算出し、検出部212に供給する。音圧比算出部229は、高周波処理用音声信号S2hの音圧と高周波処理用音声信号S3hの音圧との音圧比B2を算出し、検出部212に供給する。音圧比算出部230は、高周波処理用音声信号S3hの音圧と高周波処理用音声信号S4hの音圧との音圧比B3を算出し、検出部212に供給する。
【0223】
なお、以上においては、音源(口元)の状態(位置、または向き)を検出するタイミングについては、言及しなかったが、検出装置3,31,61,101,201に、操作部を設け、その操作部が操作されたとき、音源の状態が検出されるようにしたり、また所定の周期で、所定の期間継続して検出されるようにしたりすることができる。
【0224】
また、以上においては、第1の実施の形態乃至第5の実施の形態について、それぞれ別個に説明したが、それらを組み合わせて、ユーザの状態を検出するようにすることもできる。例えば、第4の実施の形態および第5の実施の形態においては、音源の位置および向きの両方を算出する場合を例として説明したが、音源の位置のみを検出することもできる。
【0225】
また、第4の実施の形態および第5の実施の形態において、処理用音声信号から直接音圧を算出し、その音圧で音圧比を算出する場合と、高周波処理用音声信号の音圧を算出し、その音圧で音圧比を算出する場合を別個に説明したが、それらを組み合わせて利用することもできる。
【0226】
上述した一連の処理は、ハードウエアにより実現させることもできるが、ソフトウエアにより実現させることもできる。一連の処理をソフトウエアにより実現する場合には、そのソフトウエアを構成するプログラムがコンピュータにインストールされ、そのプログラムがコンピュータで実行されることより、上述した検出装置3,31,61,101,201が機能的に実現される。
【0227】
図47は、上述のような検出装置3,31,61,101,102として機能するコンピュータ501の一実施の形態の構成を示すブロック図である。CPU(Central Processing Unit)511にはバス515を介して入出力インタフェース516が接続されており、CPU511は、入出力インタフェース516を介して、ユーザから、キーボード、マウスなどよりなる入力部518から指令が入力されると、例えば、ROM(Read Only Memory)512、ハードディスク514、またはドライブ520に装着される磁気ディスク531、光ディスク532、光磁気ディスク533、若しくは半導体メモリ534などの記録媒体に格納されているプログラムを、RAM(Random Access Memory)513にロードして実行する。これにより、上述した各種の処理が行われる。さらに、CPU511は、その処理結果を、例えば、入出力インタフェース516を介して、LCD(Liquid Crystal Display)などよりなる表示部517に必要に応じて出力する。なお、プログラムは、ハードディスク514やROM512に予め記憶しておき、コンピュータ501と一体的にユーザに提供したり、磁気ディスク531、光ディスク532、光磁気ディスク533,半導体メモリ534等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部519を介してハードディスク514に提供することができる。
【0228】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0229】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0230】
【発明の効果】
本発明の第1の情報処理装置および方法、第1の記録媒体のプログラム、並びに第1のプログラムによれば、音源が発した音声から、音源の位置を検出することができる。
本発明の第2の情報処理装置および方法、第2の記録媒体のプログラム、並びに第2のプログラムによれば、音源が発した音声から、音源の位置を検出することができる。
【0231】
本発明の情報生成装置および方法、第の記録媒体のプログラム、並びに第のプログラムによれば、音声信号間の位相差と位置係数との関係に基づいて記音源の位置を検出する検出装置に対して前記位置係数を供給することができる。
【図面の簡単な説明】
【図1】本発明を適用した音源状態検出システムの第1の実施の形態の構成例を示すブロック図である。
【図2】マイク1の設置位置を示す図である。
【図3】音圧比RLと音源の向きとの対応関係を示す図である。
【図4】図1の検出装置3の構成例を示すブロック図である。
【図5】図4の特徴量算出部12の構成例を示すブロック図である。
【図6】音源状態検出システムの動作を説明するフローチャートである。
【図7】図6のステップS3の処理の詳細を説明するフローチャートである。
【図8】本発明を適用した音源状態検出システムの第2の実施の形態の構成例を示すブロック図である。
【図9】マイク1の設置位置を示す他の図である。
【図10】音圧比RLhと音源の向きとの対応関係を示す図である。
【図11】図8の検出装置31の構成例を示すブロック図である。
【図12】図11の特徴量算出部41の構成例を示すブロック図である。
【図13】カットオフ特性を示す図である。
【図14】ピッチ周波数を説明する図である。
【図15】音源状態検出システムの他の動作を説明するフローチャートである。
【図16】図15のステップS23の処理の詳細を説明するフローチャートである。
【図17】本発明を適用した音源状態検出システムの第3の実施の形態の構成例を示すブロック図である。
【図18】位相差と顔の向きとの対応関係を示す図である。
【図19】位相差を説明する図である。
【図20】位相差を説明する他の図である。
【図21】位相差を説明する他の図である。
【図22】図17の検出装置61の構成例を示すブロック図である。
【図23】音源状態検出システムの他の動作を説明するフローチャートである。
【図24】図23のステップS43の処理の詳細を説明するフローチャートである。
【図25】本発明を適用した音源状態検出システムの第4の実施の形態の構成例を示すブロック図である。
【図26】マイク1の配置位置を説明する図である。
【図27】位置および向きを説明する図である。
【図28】図25の検出装置101の構成例を示すブロック図である。
【図29】図28の特徴量算出部111の構成例を示すブロック図である。
【図30】図28の検出部112の構成例を示すブロック図である。
【図31】ΔLおよびΔRを説明する図である。
【図32】距離Cおよび距離Lを説明する図である。
【図33】位相差CLおよび位相差CRを説明する図である。
【図34】基準位置pを説明する図である。
【図35】音圧比RLを説明する図である。
【図36】検出装置101の動作を説明するフローチャートである。
【図37】検出装置101の他の動作を説明するフローチャートである。
【図38】特徴量算出部111の他の構成例を示すブロック図である。
【図39】本発明を適用した音源状態検出システムの第5の実施の形態の構成例を示すブロック図である。
【図40】位置および向きを説明する他の図である。
【図41】図39の検出装置201の構成例を示すブロック図である。
【図42】図41の特徴量算出部211の構成例を示すブロック図である。
【図43】図41の検出部212の構成例を示すブロック図である。
【図44】座標、音圧比、および角度の対応関係を示す対応表の例を示す図である。
【図45】検出装置202の動作を説明するフローチャートである。
【図46】特徴量算出部211の他の構成例を示すブロック図である。
【図47】パーソナルコンピュータ501の構成例を示すブロック図である。
【符号の説明】
1 マイクロフォン, 2 マイクアンプ, 3 検出装置, 11 入力部, 12 特徴量算出部, 13 検出部, 14 出力部, 21 音圧算出部, 22 音圧比算出部, 31 検出装置, 41 特徴量算出部, 42検出部, 51 ハイパスフィルタ, 61 検出装置, 71 特徴量算出部, 72 検出部, 101 検出装置, 111 特徴量算出部, 112検出部, 121 位相差算出部, 122 位相差算出部, 123 音圧算出部, 124 音圧算出部, 125 音圧比算出部, 131 位置算出部, 132 位置係数記憶部, 133 向き係数決定部, 134 向き算出部, 141 ハイパスフィルタ, 142 ハイパスフィルタ, 201 検出装置, 211 特徴量算出部, 212 検出部, 221 位相差算出部, 222 位相差算出部, 223 位相差算出部, 224 音圧算出部, 225 音圧算出部, 226 音圧算出部, 227 音圧算出部, 228 音圧比算出部, 229 音圧比算出部, 230 音圧比算出部, 241 位置算出部, 242 位置係数記憶部, 243 向き検出部, 251 ハイパスフィルタ, 252 ハイパスフィルタ, 253 ハイパスフィルタ, 254 ハイパスフィルタ

Claims (15)

  1. 所定の位置に設置された複数の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出し、算出した位相差と前記実験位置との関係に基づく位置係数を算出する第1の算出手段と、
    算出された前記位置係数を記憶する記憶手段と、
    前記複数の集音装置により集音された、前記所定の範囲内に位置する音源が発した音声に対応する複数の音声信号を用い、音声信号間の位相差を前記音源の位置に対応する特徴量として算出する第2の算出手段と、
    前記音源の位置に対応する特徴量として算出された前記位相差と、前記位置係数との関係に基づいて、前記音源の位置を検出する状態検出手段と
    を備え、
    前記第1の算出手段は、前記第1乃至第3の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第3’の前記実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、および第1’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差を、前記実験位置毎に算出し、さらに、前記第1’の位相差と前記実験位置との関係に基づく第1の係数、および前記第2’の位相差と前記実験位置との関係に基づく第2の係数を算出し、
    前記記憶手段は、算出された前記第1および第2の係数を記憶し、
    前記第2の算出手段は、所定の位置に設置された第1乃至第3の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第3の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、および第1の音声信号と第3の音声信号との位相差を示す第2の位相差を、前記音源の位置に対応する特徴量として算出し、
    前記状態検出手段は、前記第1の位相差と前記第1の係数との関係、および前記第2の位相差と前記第2の係数との関係に基づいて、前記音源の平面上の位置を検出する
    報処理装置。
  2. 前記第1の算出手段は、さらに、前記第2および第3の集音装置により集音された、複数の基準位置に位置して所定の方向を向いた状態の前記実験音源が発した音声に対応する前記第2’および第3’の実験音声信号から、前記第2’の実験音声信号と前記第3’の実験音声信号との音圧比を示す第1’の音圧比を算出して、前記第1’の音圧比と前記所定の方向との関係に基づく第3の係数を前記基準位置毎に算出し、
    前記記憶手段は、さらに、前記基準位置毎に算出された前記第3の係数を前記所定の方向に対応付けて記憶し、
    前記第2の算出手段は、さらに、前記第2の音声信号と前記第3の音声信号との音圧比を示す第1の音圧比を、前記音源の向きに対応する特徴量として算出し、
    前記状態検出手段は、さらに、検出した前記音源の平面状の位置に対応する前記基準位置を特定するとともに、特定した前記基準位置に対応する前記第3の係数を選択し、選択した前記第3の係数および前記第1の音圧比との関係に基づいて、前記音源の向きを検出する
    請求項に記載の情報処理装置。
  3. 所定の位置に設置された複数の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出し、算出した位相差と前記実験位置との関係に基づく位置係数を算出する第1の算出ステップと、
    算出された前記位置係数を記憶する記憶ステップと、
    前記複数の集音装置により集音された、前記所定の範囲内に位置する音源が発した音声に対応する複数の音声信号を用い、音声信号間の位相差を前記音源の位置に対応する特徴量として算出する第2の算出ステップと、
    前記音源の位置に対応する特徴量として算出された前記位相差と、前記位置係数との関係に基づいて、前記音源の位置を検出する状態検出ステップと
    を含み、
    前記第1の算出ステップは、前記第1乃至第3の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第3’の前記実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、および第1’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差を、前記実験位置毎に算出し、さらに、前記第1’の位相差と前記実験位置との関係に基づく第1の係数、および前記第2’の位相差と前記実験位置との関係に基づく第2の係数を算出し、
    前記記憶ステップは、算出された前記第1および第2の係数を記憶し、
    前記第2の算出ステップは、所定の位置に設置された第1乃至第3の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第3の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、および第1の音声信号と第3の音声信号との位相差を示す第2の位相差を、前記音源の位置に対応する特徴量として算出し、
    前記状態検出ステップは、前記第1の位相差と前記第1の係数との関係、および前記第2の位相差と前記第2の係数との関係に基づいて、前記音源の平面上の位置を検出する
    報処理方法。
  4. 所定の位置に設置された複数の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出し、算出した位相差と前記実験位置との関係に基づく位置係数を算出する第1の算出ステップと、
    算出された前記位置係数を記憶する記憶ステップと、
    前記複数の集音装置により集音された、前記所定の範囲内に位置する音源が発した音声に対応する複数の音声信号を用い、音声信号間の位相差を前記音源の位置に対応する特徴量として算出する第2の算出ステップと、
    前記音源の位置に対応する特徴量として算出された前記位相差と、前記位置係数との関係に基づいて、前記音源の位置を検出する状態検出ステップと
    を含み、
    前記第1の算出ステップは、前記第1乃至第3の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第3’の前記実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、および第1’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差を、前記実験位置毎に算出し、さらに、前記第1’の位相差と前記実験位置との関係に基づく第1の係数、および前記第2’の位相差と前記実験位置との関係に基づく第2の係数を算出し、
    前記記憶ステップは、算出された前記第1および第2の係数を記憶し、
    前記第2の算出ステップは、所定の位置に設置された第1乃至第3の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第3の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、および第1の音声信号と第3の音声信号との位相差を示す第2の位相差を、前記音源の位置に対応する特徴量として算出し、
    前記状態検出ステップは、前記第1の位相差と前記第1の係数との関係、および前記第2の位相差と前記第2の係数との関係に基づいて、前記音源の平面上の位置を検出する
    処理をコンピュータに実行させるプログラムが記録されている記録媒体。
  5. 所定の位置に設置された複数の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出し、算出した位相差と前記実験位置との関係に基づく位置係数を算出する第1の算出ステップと、
    算出された前記位置係数を記憶する記憶ステップと、
    前記複数の集音装置により集音された、前記所定の範囲内に位置する音源が発した音声に対応する複数の音声信号を用い、音声信号間の位相差を前記音源の位置に対応する特徴量として算出する第2の算出ステップと、
    前記音源の位置に対応する特徴量として算出された前記位相差と、前記位置係数との関係に基づいて、前記音源の位置を検出する状態検出ステップと
    を含み、
    前記第1の算出ステップは、前記第1乃至第3の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第3’の前記実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、および第1’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差を、前記実験位置毎に算出し、さらに、前記第1’の位相差と前記実験位置との関係に基づく第1の係数、および前記第2’の位相差と前記実験位置との関係に基づく第2の係数を算出し、
    前記記憶ステップは、算出された前記第1および第2の係数を記憶し、
    前記第2の算出ステップは、所定の位置に設置された第1乃至第3の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第3の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、および第1の音声信号と第3の音声信号との位相差を示す第2の位相差を、前記音源の位置に対応する特徴量として算出し、
    前記状態検出ステップは、前記第1の位相差と前記第1の係数との関係、および前記第2の位相差と前記第2の係数との関係に基づいて、前記音源の平面上の位置を検出する
    処理をコンピュータに実行させるプログラム。
  6. 所定の位置に設置された複数の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出し、算出した位相差と前記実験位置との関係に基づく位置係数を算出する第1の算出手段と、
    算出された前記位置係数を記憶する記憶手段と、
    前記複数の集音装置により集音された、前記所定の範囲内に位置する音源が発した音声に対応する複数の音声信号を用い、音声信号間の位相差を前記音源の位置に対応する特徴量として算出する第2の算出手段と、
    前記音源の位置に対応する特徴量として算出された前記位相差と、前記位置係数との関係に基づいて、前記音源の位置を検出する状態検出手段と
    を備え、
    前記第1の算出手段は、前記第1乃至第4の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第4’の前記実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、第2’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差、および第3’の実験音声信号と第4’の実験音声信号との位相差を示す第3’の位相差を、前記実験位置毎に算出し、さらに、前記第1’の位相差と前記実験位置との関係に基づく第1の係数、前記第2’の位相差と前記実験位置との関係に基づく第2の係数、および前記第3’の位相差と前記実験位置との関係に基づく第3の係数を算出し、
    前記記憶手段は、算出された前記第1乃至第3の係数を記憶し、
    前記第2の算出手段は、所定の位置に設置された第1乃至第4の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第4の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、第2の音声信号と第3の音声信号との位相差を示す第2の位相差、および第3の音声信号と第4の音声信号との位相差を示す第3の位相差を、前記音源の位置に対応する特徴量として算出し、
    前記状態検出手段は、前記第1の位相差と前記第1の係数との関係、前記第2の位相差と前記第2の係数との関係、および前記第3の位相差と前記第3の係数との関係に基づいて、前記音源の空間上の位置を検出する
    報処理装置。
  7. 前記第1の算出手段は、さらに、前記第1乃至第4の集音装置により集音された、複数の基準位置に位置して所定の方向を向いた状態の前記実験音源が発した音声に対応する前記第1’乃至第4’の実験音声信号から、前記第1’の実験音声信号と前記第2’の実験音声信号との音圧比を示す第1’の音圧比、前記第2’の実験音声信号と前記第3’の実験音声信号との音圧比を示す第2’の音圧比、および前記第3’の実験音声信号と前記第4’の実験音声信号との音圧比を示す第3’の音圧比を前記基準位置毎に算出し、
    前記記憶手段は、さらに、前記基準位置毎に算出された前記第1’乃至第3'の音圧比を前記音源の向きに対応付けて記憶し、
    前記第2の算出手段は、さらに、前記第1の音声信号と前記第2の音声信号との音圧比を示す第1の音圧比、前記第2の音声信号と前記第3の音声信号との音圧比を示す第2の音圧比、および前記第3の音声信号と前記第4の音声信号との音圧比を示す第3の音圧比を、前記音源の向きに対応する特徴量として算出し、
    前記状態検出手段は、さらに、検出した前記音源の空間状の位置に対応する前記基準位置を特定するとともに、特定した前記基準位置に対応する前記第1’乃至第3'の音圧比と、前記第1乃至第3の音圧比との関係に基づいて、前記音源の向きを検出する
    請求項に記載の情報処理装置。
  8. 所定の位置に設置された複数の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出し、算出した位相差と前記実験位置との関係に基づく位置係数を算出する第1の算出ステップと、
    算出された前記位置係数を記憶する記憶ステップと、
    前記複数の集音装置により集音された、前記所定の範囲内に位置する音源が発した音声に対応する複数の音声信号を用い、音声信号間の位相差を前記音源の位置に対応する特徴量として算出する第2の算出ステップと、
    前記音源の位置に対応する特徴量として算出された前記位相差と、前記位置係数との関係に基づいて、前記音源の位置を検出する状態検出ステップと
    を含み、
    前記第1の算出ステップは、前記第1乃至第4の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第4’の前記実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、第2’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差、および第3’の実験音声信号と第4’の実験音声信号との位相差を示す第3’の位相差を、前記実験位置毎に算出し、さらに、前記第1’の位相差と前記実験位置との関係に基づく第1の係数、前記第2’の位相差と前記実験位置との関係に基づく第2の係数、および前記第3’の位相差と前記実験位置との関係に基づく第3の係数を算出し、
    前記記憶ステップは、算出された前記第1乃至第3の係数を記憶し、
    前記第2の算出ステップは、所定の位置に設置された第1乃至第4の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第4の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、第2の音声信号と第3の音声信号との位相差を示す第2の位相差、および第3の音声信号と第4の音声信号との位相差を示す第3の位相差を、前記音源の位置に対応する特徴量として算出し、
    前記状態検出ステップは、前記第1の位相差と前記第1の係数との関係、前記第2の位相差と前記第2の係数との関係、および前記第3の位相差と前記第3の係数との関係に基づいて、前記音源の空間上の位置を検出する
    情報処理方法。
  9. 所定の位置に設置された複数の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出し、算出した位相差と前記実験位置との関係に基づく位置係数を算出する第1の算出ステップと、
    算出された前記位置係数を記憶する記憶ステップと、
    前記複数の集音装置により集音された、前記所定の範囲内に位置する音源が発した音声に対応する複数の音声信号を用い、音声信号間の位相差を前記音源の位置に対応する特徴量として算出する第2の算出ステップと、
    前記音源の位置に対応する特徴量として算出された前記位相差と、前記位置係数との関係に基づいて、前記音源の位置を検出する状態検出ステップと
    を含み、
    前記第1の算出ステップは、前記第1乃至第4の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第4’の前記実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、第2’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差、および第3’の実験音声信号と第4’の実験音声信号との位相差を示す第3’の位相差を、前記実験位置毎に算出し、さらに、前記第1’の位相差と前記実験位置との関係に基づく第1の係数、前記第2’の位相差と前記実験位置との関係に基づく第2の係数、および前記第3’の位相差と前記実験位置との関係に基づく第3の係数を算出し、
    前記記憶ステップは、算出された前記第1乃至第3の係数を記憶し、
    前記第2の算出ステップは、所定の位置に設置された第1乃至第4の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第4の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、第2の音声信号と第3の音声信号との位相差を示す第2の位相差、および第3の音声信号と第4の音声信号との位相差を示す第3の位相差を、前記音源の位置に対応する特徴量として算出し、
    前記状態検出ステップは、前記第1の位相差と前記第1の係数との関係、前記第2の位相差と前記第2の係数との関係、および前記第3の位相差と前記第3の係数との関係に基づいて、前記音源の空間上の位置を検出する
    処理をコンピュータに実行させるプログラムが記録されている記録媒体。
  10. 所定の位置に設置された複数の集音装置により集音された、所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出し、算出した位相差と前記実験位置との関係に基づく位置係数を算出する第1の算出ステップと、
    算出された前記位置係数を記憶する記憶ステップと、
    前記複数の集音装置により集音された、前記所定の範囲内に位置する音源が発した音声に対応する複数の音声信号を用い、音声信号間の位相差を前記音源の位置に対応する特徴量として算出する第2の算出ステップと、
    前記音源の位置に対応する特徴量として算出された前記位相差と、前記位置係数との関係に基づいて、前記音源の位置を検出する状態検出ステップと
    を含み、
    前記第1の算出ステップは、前記第1乃至第4の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する第1’乃至第4’の前記実験音声信号を用い、第1’の実験音声信号と第2’の実験音声信号との位相差を示す第1’の位相差、第2’の実験音声信号と第3’の実験音声信号との位相差を示す第2’の位相差、および第3’の実験音声信号と第4’の実験音声信号との位相差を示す第3’の位相差を、前記実験位置毎に算出し、さらに、前記第1’の位相差と前記実験位置との関係に基づく第1の係数、前記第2’の位相差と前記実験位置との関係に基づく第2の係数、および前記第3’の位相差と前記実験位置との関係に基づく第3の係数を算出し、
    前記記憶ステップは、算出された前記第1乃至第3の係数を記憶し、
    前記第2の算出ステップは、所定の位置に設置された第1乃至第4の複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する第1乃至第4の音声信号を用い、第1の音声信号と第2の音声信号との位相差を示す第1の位相差、第2の音声信号と第3の音声信号との位相差を示す第2の位相差、および第3の音声信号と第4の音声信号との位相差を示す第3の位相差を、前記音源の位置に対応する特徴量として算出し、
    前記状態検出ステップは、前記第1の位相差と前記第1の係数との関係、前記第2の位相差と前記第2の係数との関係、および前記第3の位相差と前記第3の係数との関係に基づいて、前記音源の空間上の位置を検出する
    処理をコンピュータに実行させるプログラム。
  11. 複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する複数の音声信号から、音声信号間の位相差を算出し、算出した前記位相差と位置係数との関係に基づいて、前記音源の位置を検出する検出装置に対して前記位置係数を供給する情報生成装置において、
    前記複数の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出する第1の算出手段と、
    算出された位相差と前記実験位置との関係に基づいて前記位置係数を算出する第2の算出手段と
    を備え、
    前記第1の算出手段は、第1乃至第3の集音装置のそれぞれにより集音された、所定の範囲内に設けられた複数の実験位置に位置した前記実験音源が発した音声に対応する第1’乃至第3’の実験音声信号を用い、前記第1’の実験音声信号と前記第2’の実験音声信号との位相差を示す第1’の位相差、および前記第1’の実験音声信号と前記第3’の実験音声信号との位相差を示す第2’の位相差を、前記実験位置毎に算出し、
    前記第2の算出手段は、前記第1’の位相差と前記実験位置との関係に基づいて、第1の位置係数を算出し、前記第2’の位相差と前記実験位置との関係に基づいて、第2の位置係数を算出する
    報生成装置。
  12. 前記第3の算出手段は、前記第2’の音声信号と前記第3’の音声信号との音圧比を算出し、
    前記第4の算出手段は、算出された音圧比と前記所定の方向との関係に基づいて前記向き係数を前記基準位置毎に算出する
    請求項11に記載の情報生成装置。
  13. 複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する複数の音声信号から、音声信号間の位相差を算出し、算出した前記位相差と位置係数との関係に基づいて、前記音源の位置を検出する検出装置に対して前記位置係数を供給する情報生成装置の情報生成方法において、
    前記複数の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出する第1の算出ステップと、
    算出された位相差と前記実験位置との関係に基づいて前記位置係数を算出する第2の算出ステップと
    を含み、
    前記第1の算出ステップは、第1乃至第3の集音装置のそれぞれにより集音された、所定の範囲内に設けられた複数の実験位置に位置した前記実験音源が発した音声に対応する第1’乃至第3’の実験音声信号を用い、前記第1’の実験音声信号と前記第2’の実験音声信号との位相差を示す第1’の位相差、および前記第1’の実験音声信号と前記第3’の実験音声信号との位相差を示す第2’の位相差を、前記実験位置毎に算出し、
    前記第2の算出ステップは、前記第1’の位相差と前記実験位置との関係に基づいて、第1の位置係数を算出し、前記第2’の位相差と前記実験位置との関係に基づいて、第2の位置係数を算出する
    情報生成方法。
  14. 複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する複数の音声信号から、音声信号間の位相差を算出し、算出した前記位相差と位置係数との関係に基づいて、前記音源の位置を検出する検出装置に対して前記位置係数を供給する情報生成装置の制御用のプログラムであって、
    前記複数の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出する第1の算出ステップと、
    算出された位相差と前記実験位置との関係に基づいて前記位置係数を算出する第2の算出ステップと
    を含み、
    前記第1の算出ステップは、第1乃至第3の集音装置のそれぞれにより集音された、所定の範囲内に設けられた複数の実験位置に位置した前記実験音源が発した音声に対応する第1’乃至第3’の実験音声信号を用い、前記第1’の実験音声信号と前記第2’の実験音声信号との位相差を示す第1’の位相差、および前記第1’の実験音声信号と前記第3’の実験音声信号との位相差を示す第2’の位相差を、前記実験位置毎に算出し、
    前記第2の算出ステップは、前記第1’の位相差と前記実験位置との関係に基づいて、第1の位置係数を算出し、前記第2’の位相差と前記実験位置との関係に基づいて、第2の位置係数を算出する
    処理を情報生成装置のコンピュータに実行させるプログラムが記録されている記録媒体。
  15. 複数の集音装置により集音された、所定の範囲内に位置する音源が発した音声に対応する複数の音声信号から、音声信号間の位相差を算出し、算出した前記位相差と位置係数との関係に基づいて、前記音源の位置を検出する検出装置に対して前記位置係数を供給する情報生成装置の制御用のプログラムであって、
    前記複数の集音装置により集音された、前記所定の範囲内に設けられた複数の実験位置に位置する実験音源が発した音声に対応する複数の実験音声信号を用い、実験音声信号間の位相差を前記実験位置毎に算出する第1の算出ステップと、
    算出された位相差と前記実験位置との関係に基づいて前記位置係数を算出する第2の算出ステップと
    を含み、
    前記第1の算出ステップは、第1乃至第3の集音装置のそれぞれにより集音された、所定の範囲内に設けられた複数の実験位置に位置した前記実験音源が発した音声に対応する第1’乃至第3’の実験音声信号を用い、前記第1’の実験音声信号と前記第2’の実験音声信号との位相差を示す第1’の位相差、および前記第1’の実験音声信号と前記第3’の実験音声信号との位相差を示す第2’の位相差を、前記実験位置毎に算出し、
    前記第2の算出ステップは、前記第1’の位相差と前記実験位置との関係に基づいて、第1の位置係数を算出し、前記第2’の位相差と前記実験位置との関係に基づいて、第2の位置係数を算出する
    処理を情報生成装置のコンピュータに実行させるプログラム。
JP2001245991A 2001-08-14 2001-08-14 情報処理装置および方法、情報生成装置および方法、記録媒体、並びにプログラム Expired - Fee Related JP4752153B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001245991A JP4752153B2 (ja) 2001-08-14 2001-08-14 情報処理装置および方法、情報生成装置および方法、記録媒体、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001245991A JP4752153B2 (ja) 2001-08-14 2001-08-14 情報処理装置および方法、情報生成装置および方法、記録媒体、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2003061184A JP2003061184A (ja) 2003-02-28
JP2003061184A5 JP2003061184A5 (ja) 2008-09-25
JP4752153B2 true JP4752153B2 (ja) 2011-08-17

Family

ID=19075636

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001245991A Expired - Fee Related JP4752153B2 (ja) 2001-08-14 2001-08-14 情報処理装置および方法、情報生成装置および方法、記録媒体、並びにプログラム

Country Status (1)

Country Link
JP (1) JP4752153B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005057545A (ja) * 2003-08-05 2005-03-03 Matsushita Electric Ind Co Ltd 音場制御装置及び音響システム
DE102005057406A1 (de) * 2005-11-30 2007-06-06 Valenzuela, Carlos Alberto, Dr.-Ing. Verfahren zur Aufnahme einer Tonquelle mit zeitlich variabler Richtcharakteristik und zur Wiedergabe sowie System zur Durchführung des Verfahrens
JP5235724B2 (ja) * 2008-10-21 2013-07-10 日本電信電話株式会社 発話正面・横向き推定装置、方法及びプログラム
JP5235605B2 (ja) * 2008-10-21 2013-07-10 日本電信電話株式会社 発話向き推定装置、方法及びプログラム
JP5235722B2 (ja) * 2009-03-02 2013-07-10 日本電信電話株式会社 発話向き推定装置、方法及びプログラム
JP5235723B2 (ja) * 2009-03-02 2013-07-10 日本電信電話株式会社 発話向き推定装置、方法及びプログラム
JP5235725B2 (ja) * 2009-03-03 2013-07-10 日本電信電話株式会社 発話向き推定装置、方法及びプログラム
JP5354672B2 (ja) * 2009-07-09 2013-11-27 エヌイーシーコンピュータテクノ株式会社 アクティブソナー装置、及びアクティブソナー装置を搭載したatm端末装置
JP5772447B2 (ja) * 2011-09-27 2015-09-02 富士ゼロックス株式会社 音声解析装置
JP5862318B2 (ja) * 2012-01-20 2016-02-16 富士ゼロックス株式会社 音解析装置、音解析システムおよびプログラム
JP6606921B2 (ja) * 2015-08-26 2019-11-20 アイシン精機株式会社 発声方向特定装置
JP7010136B2 (ja) 2018-05-11 2022-01-26 富士通株式会社 発声方向判定プログラム、発声方向判定方法、及び、発声方向判定装置
JP7250547B2 (ja) 2019-02-05 2023-04-03 本田技研工業株式会社 エージェントシステム、情報処理装置、情報処理方法、およびプログラム
JP7417829B2 (ja) * 2019-12-25 2024-01-19 パナソニックIpマネジメント株式会社 空気清浄システム及び空気清浄方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63262577A (ja) * 1987-04-20 1988-10-28 Sony Corp マイクロホン装置
JPH01109996A (ja) * 1987-10-23 1989-04-26 Sony Corp マイクロホン装置
JP3797751B2 (ja) * 1996-11-27 2006-07-19 富士通株式会社 マイクロホンシステム
JP4005203B2 (ja) * 1998-02-03 2007-11-07 富士通テン株式会社 車載用音声認識装置

Also Published As

Publication number Publication date
JP2003061184A (ja) 2003-02-28

Similar Documents

Publication Publication Date Title
JP4752153B2 (ja) 情報処理装置および方法、情報生成装置および方法、記録媒体、並びにプログラム
US10382849B2 (en) Spatial audio processing apparatus
JP5229053B2 (ja) 信号処理装置、および信号処理方法、並びにプログラム
CN107251579B (zh) 驱动扬声器阵列的装置和方法
JP6042858B2 (ja) マルチセンサ音源定位
US20190104357A1 (en) Machine learning based sound field analysis
CN109804559A (zh) 空间音频系统中的增益控制
JP6508539B2 (ja) 音場収音装置および方法、音場再生装置および方法、並びにプログラム
CN114450977A (zh) 用于在空间变换域中处理声场表示的装置、方法或计算机程序
US7116788B1 (en) Efficient head related transfer function filter generation
JP2007235334A (ja) オーディオ装置及び指向音生成方法
CN110515034B (zh) 一种声信号方位角测量系统及方法
JP5010148B2 (ja) 3次元パンニング装置
JP4293986B2 (ja) 音場を表す方法及びシステム
JP5986966B2 (ja) 音場収音再生装置、方法及びプログラム
Nakano et al. Automatic estimation of position and orientation of an acoustic source by a microphone array network
JP3588576B2 (ja) 収音装置および収音方法
JP6650245B2 (ja) インパルス応答生成装置及びプログラム
JP2012028874A (ja) 再生周波数分析装置及びそのプログラム
JP2013048360A (ja) 音場収音再生装置、方法及びプログラム
Gao et al. Multizone sound reproduction with adaptive control of scattering effects
Tuna et al. Data-driven local average room transfer function estimation for multi-point equalization
JP5513316B2 (ja) 音場収音再生装置、方法及びプログラム
JP2014007543A (ja) 音場収音再生装置、方法及びプログラム
JP5749221B2 (ja) 音場収音再生装置、方法及びプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080807

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110208

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110404

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110509

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140603

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140603

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees