JP3714706B2 - 音抽出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、音抽出装置に係り、より詳しくは、オブジェクト（本発明では、音を発すると予想される人間又は物体）の発する音を抽出する音抽出装置に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
従来、建物や橋等の建造物の老朽化の度合いを検査する場合、該建造物の所定の部位から発せられるきしみ音等を主にシミュレーションにより算出することにより老朽化の度合いを検査していた。しかし前記シミュレーションにより算出される値はあくまでも予測値であるので、より厳密な検査を行うためには該建造物の所定の部位から発せられる実際のきしみ音を周辺の雑音と弁別して抽出することが望まれていた。
【０００３】
一方、上記に関連して、複数のマイクロフォンにより集音された音の音声信号を同じ時間軸上に重ね、それらの音の各々に対しマイクロフォンと目的とする音源との距離に応じて適切な遅延操作を行ってから加算平均することにより、目的とする音源から発せられた音のみを抽出する技術が知られている。またこの技術を撮影と録音とを同時に行う手持ち式のビデオカメラに適用し、撮影における被写体から発せられた音を抽出することにより、被写体の映像の焦点と録音の焦点とを一致させる技術が知られている（特開平５−３０８５５３号公報参照）。
【０００４】
しかし、上記の手持ち式のビデオカメラに関する技術は、実際には当該ビデオカメラの撮影視野内という狭い領域内に位置する単一の被写体に対してのみ有効であり、手持ち式であるためにビデオカメラに付属したマイクロフォンは少数であり、それらの配置間隔が狭いため、雑音の影響が大きく、臨場感の高い音声を集音することは比較的困難であった。
【０００５】
ところで、従来より天井に複数のテレビカメラを配置し、該複数のテレビカメラにより撮影した画像情報に基づいて、部屋の中に存在するオブジェクトの位置を検出する画像認識技術が存在する。
【０００６】
しかしながら、オブジェクトが移動する場合、この移動するオブジェクトに合わせて複数のテレビカメラを動かし且つ焦点調整を行うことにより、当該移動するオブジェクトを撮影していた。このように、テレビカメラを動かし焦点調整を行う必要があるので、オブジェクトを含む画像データを得るまでに遅延時間が発生するという問題点があった。
【０００７】
本発明は、上記のような事実を考慮して成されたものであり、上記の位置の検出に関する画像認識技術と音抽出技術とを組合せ、位置が不確定であるオブジェクトの位置を検出し且つその位置に基づいてオブジェクトが発する音を抽出することができる音抽出装置を提供することを第１の目的とする。また、より効率的にオブジェクトの位置検出を行った上で、その検出位置に基づいてオブジェクトが発する音を抽出することができる音抽出装置を提供することを第２の目的とする。
【０００８】
【課題を解決するための手段】
上記第１の目的を達成するために、請求項１記載の発明は、複数の撮影手段と、画像認識手段と、複数のマイクロフォンと、抽出手段とを備えた音抽出装置であって、前記複数の撮影手段の各々は、他の撮影手段と重複する領域を撮影するように設置され、前記画像認識手段は、前記複数の撮影手段が撮影した複数の画像情報に基づいて、対象人物の頭部の位置を認識すると共に、該対象人物の頭部の方向を推定し、該頭部の位置より該頭部の方向に向かって所定距離離間した位置を対象人物位置として認識し、前記複数のマイクロフォンの各々は、予め定められた位置に配置され、採取音データを出力し、抽出手段は、第１処理〜第４処理を行い、第１処理では、採取音データのうち複数の採取音データを選択し、第２処理では、選択した各採取音データ毎に、対象人物位置及び当該採取音データのマイクロフォンの位置に基づいてシフト量を決定し、第３処理は、前記選択した各採取音データを、該採取音データ毎に決定されたシフト量だけシフトして補正を行い、第４処理では、補正された各採取音データを平均出力することを特徴とする。
【０００９】
この請求項１記載の発明では、複数の撮影手段の各々が他の撮影手段と重複する領域を撮影し、画像認識手段が複数の撮影手段が撮影した複数の画像情報より対象人物位置を認識する。
【００１０】
例えば、図２に示すように天井５２に設置された複数のテレビカメラ１６の各々により撮影された部屋５０の中の画像情報より以下のようにして、対象人物Ａの頭部Ｐの位置を認識する。即ち、画像情報より、表面の多くが毛髪で覆われており黒色部分が多い略球状である等のように人間の頭部に特有の特徴量を備えた領域を、対象人物Ａの頭部Ｐに相当する領域として抽出する。そして、抽出した頭部Ｐに相当する領域が、部屋５０を矢印Ｘ方向、矢印Ｙ方向、矢印Ｚ方向の各々に沿って仮想的に等分割することにより得られる多数の直方体状の領域のうち何れの領域に相当するかを認識する。
【００１１】
一方、対象人物の発した音は、予め定められた位置に配置された複数のマイクロフォン（以下、マイクと略称する）により採取される。例えば、図２に示すように２人の人物が存在する部屋の天井に配置されたマイクにより２人の対象人物Ａ、Ｂの声と若干の雑音とを含んだ採取音が集音される。各マイクにより集音された採取音データが図１（Ａ）に示す波形であるとする（なお、説明の都合上マイク数は７個としているが、本発明はこれに限定されるものでなくその数はもっと増やすこともできる）。
【００１２】
図１（Ａ）に示すように、各マイクで集音される採取音データの波形における対象人物Ａの声や対象人物Ｂの声に対応する部分は、各マイク毎に時間軸（横軸）に沿ってずれる。即ち、各対象人物と各マイクとの距離の大小により、対象人物の声がマイクに到達する時間が異なるためである。例えば、マイク１は対象人物Ａに近く対象人物Ｂからは遠いため、該マイク１での採取音データは時間軸に沿って先に対象人物Ａの声に対応する部分が表れ、後に対象人物Ｂの声に対応する部分が表れることになる。
【００１３】
抽出手段は、複数のマイクの各々により採取された採取音データのうち複数の採取音データを選択する。ここでは、全てのマイクにより採取された採取音データを選択しても良いし、後述する請求項４記載の発明のように、オブジェクトの位置から所定距離以上離れたマイクにより採取された採取音データを除外し、それ以外の採取音データを選択しても良い。
【００１４】
そして、抽出手段は、選択した採取音データを、画像認識手段により認識された対象人物位置及び選択した採取音データの採取音を採取したマイクロフォンの位置に基づいて、選択した複数の採取音データの位相が揃うように各採取音データのシフト量を決定し、決定されたシフト量だけシフトして補正を行う。
【００１５】
例えば、図２の対象人物Ａの声の抽出を例にして説明すると、対象人物Ａの頭部Ｐと各マイクとの距離を音速で除算することにより、対象人物Ａの発した声に対する各マイクでの集音の遅延時間を求める。そして、図１（Ｂ）に示すように各マイクについて、該マイクにより集音された採取音データを時間軸に沿って遅延時間だけシフトさせた採取音データを求める。これにより、各マイクで対象人物Ａの声に対応する部分が時間軸に沿ってほぼ同期する（同じ位相に揃う）ことになる。一方、当該対象人物Ａの声以外の対象人物Ｂの声やその他の雑音に対応する部分は時間軸に沿って位相が揃わない状態のままである。
【００１６】
さらに、抽出手段は、補正された各採取音データを平均することにより、対象人物が発する音を抽出する。例えば、図１（Ｂ）に示すマイク１〜７における採取音データを全て同期加算（重畳）し、加算した後の波形の振幅をマイク数「７」で除算する。これにより、相加平均した採取音データは図１（Ｃ）に示すように、対象人物Ａの声以外の対象人物Ｂの声やその他の雑音に対応する部分ではその振幅が極めて小さくなりほぼ誤差の範囲内の振幅値となるため、対象人物Ａの声に対応する部分のみが抽出されることになる。
【００１７】
以上のように、請求項１記載の発明によれば、対象人物の位置を認識し且つその位置に基づいて対象人物が発する音を周囲の雑音と弁別して抽出することができる。
【００１９】
また、請求項１記載の発明では、画像認識手段は、複数の撮影手段が撮影した複数の画像情報より、該対象人物の頭部の位置を認識し、認識された頭部の方向を推定する。例えば、図２に示す対象人物Ａが音（声）を発する方向は、以下のようにして認識する。即ち、まず頭部Ｐを前述した要領で認識した後、その頭部Ｐの下に位置する胴体Ｓを認識し、その胴体Ｓにおいて胸幅Ｌ２は肩幅Ｌ１よりも小さいということから、対象人物Ａは矢印Ｖ方向又はその逆方向を向いていると推定する。次に、頭部Ｐの表面における毛髪の占める比率は顔の位置する側よりも顔の位置しない側の方が高いという一般的特徴に基づいて、図２において紙面奥側の方が紙面手前側よりも黒色の度合いが高いことから、頭部Ｐは矢印Ｖ方向を向いていると推定し、対象人物Ａが声を発する方向は矢印Ｖ方向であると認識する。
【００２０】
さらに、画像認識手段は、対象人物位置及び該対象人物の頭部の方向に基づいて、該対象人物位置より前記頭部の方向に向かって所定距離離間した位置、即ち低周波域〜高周波域にわたる全ての周波数成分をもれなく原音と略同一レベルで抽出できる位置（例えば対象人物の位置から前記頭部の向きに所定距離（数十cm）離間した位置）を対象人物位置と認識する。
【００２１】
このようにして認識された対象人物位置、即ち対象人物が発する音を良好に抽出可能な位置に基づいて、前述したような音の抽出を行うので、特に対象人物が発する音の指向性が強い場合等には、より高い精度の音の抽出を行うことができる。
【００２６】
また、第１の目的を達成するために、請求項２記載の発明は、請求項１記載の発明において、音速及び音伝搬経路の少なくとも一方に影響を及ぼす要因とされる音響環境状態を検出する音響環境状態検出手段を更に備え、前記抽出手段における前記第２処理では、前記音響環境状態検出手段によって検出された音響環境状態に基づいて各採取音データのシフト量を補正することを特徴とする。
【００２７】
この請求項２記載の発明では、音響環境状態検出手段が、音速及び音伝搬経路の少なくとも一方に影響を及ぼす要因とされる音響環境状態、例えば温度や風力、風向を検出する。そして、抽出手段は、音響環境状態検出手段によって検出された音響環境状態に基づいて、例えば以下のようにして採取音データのシフト量を補正する。
【００２８】
即ち、予め算出された検出温度に対応した音速と標準音速との比が、該検出温度に対応させて予め記憶された音速補正テーブルを参照することにより、検出温度に対応した音速と標準音速との比を得て、その比に基づいて各マイクでの集音の遅延時間を補正し、この補正された遅延時間に従ってシフト操作を行う。又は、検出温度に対応した音速によって、対象人物の位置と各マイクの位置との距離を除算することにより、各マイクでの集音の遅延時間を補正し、この補正された遅延時間に従ってシフト操作を行う。
【００２９】
また、例えば、検出した風力、風向の下での対象人物の位置から各マイクの位置への音の伝搬経路を、予め各種の風力値、風向値を想定してシミュレーションすることにより求められた伝搬経路の曲がり（変化）に関する情報に基づいて推定し、推定された伝搬経路に沿った距離を音速で除算することにより、各マイクでの集音の遅延時間を補正し、この補正された遅延時間に従ってシフト操作を行う。
【００３０】
以上のようにして、音響環境状態に応じて精度の高い音の抽出を行うことができる。
【００３１】
また、第１の目的を達成するために、請求項３記載の発明は、請求項１記載の発明において、抽出手段における前記第２処理では、選択した各採取音データ毎に、対象人物位置と当該採取音データのマイクロフォンの位置とに基づいて、指向性に関する高周波成分補正量を決定し、前記第３処理では、選択した各採取音データを、該採取音データ毎に決定された高周波成分補正量に基づいて高周波成分のレベルを増減、又は、減縮して補正を行うことを特徴とする。
【００３２】
図１１に音の周波数帯毎の成分が伝搬する領域を示す。高音域は殆ど音の方向（矢印Ｄ）にのみ伝搬するのに対し、低音域ほどより広い範囲に伝搬することがわかる。即ち、音の指向性は、周波数帯により異なり、低音域ほど指向性が緩く、高音域は指向性が強くなるのが一般的である。よって、対象人物の頭部の向きに位置するマイクでは、低音域から高音域までほぼ全域の周波数成分が集音されるのに対し、その他のマイクでは低音域は集音されるものの高音域はあまり集音されない。
【００３３】
ところが、この請求項３記載の発明では、抽出手段の第２処理で、選択した各採取音データ毎に、対象人物位置と採取音データのマイクロフォンの位置とに基づいて、指向性に関する高周波成分補正量を決定し、対象人物の頭部の方向に位置するマイクによる高音域の採取音と、他のマイクによる高音域の採取音と、の不均衡を是正すべく、第３処理で高周波成分補正量に基づいて高周波成分のレベルを増減、又は、減縮して補正を行う。これにより、高音域が低音域よりも相対的に弱くなることを防止することができる。
【００３８】
また、第１の目的を達成するために、請求項４記載の発明は、請求項１記載の発明において、前記抽出手段の第１処理は、前記対象人物位置から所定距離以上離れて位置するマイクロフォンの採取音データを選択の対象から除外することを特徴とする。
【００３９】
一般的に音はその伝搬距離に応じて減衰するため、対象人物の発した音が長い伝搬距離を経てマイクに集音された場合に、当該マイクにより集音された採取音は、該対象人物の発した音の成分を少ししか含んでいないため、対象人物の採取音データを求める際に、該採取音データの形成に寄与する度合いが小さい。
【００４０】
そこで、この請求項４記載の発明では、抽出手段は、複数のマイクのうち対象人物位置から遠いマイク、即ち予め実験により求められた所定距離以上離れて位置するマイクによって採取された採取音データを、選択の対象から除外する。これにより、音の抽出の精度を低下させることなく、音の抽出に係る処理（抽出手段によるシフト及び平均処理）の負荷を軽減することができる。
【００４１】
なお、上記と同じ目的で、複数のマイクのうち、該マイクによって取られた採取音の音量が小さいマイク、即ち採取音の音量が予め実験により求められた所定音量レベルより小さいマイクによって取られた採取音を、選択の対象から除外するようにしても良い。
【００４３】
ところで、請求項１記載の発明では、対象人物の近くに配置されたより多くのマイクで取られた採取音の時系列データに対して上記のようにシフト及び平均を行うことにより、信号対雑音比を改善させて対象人物の音を抽出することができる。しかも通常のマイクで集音した音よりも信号対雑音比が高い音を抽出することも可能である。このように良質な音は、音声認識装置への入力として活用することができる。
【００４４】
そこで、出力手段が抽出手段により抽出された対象人物からの音を所定の音声認識装置へ出力し、音抽出装置により音の抽出が可能な領域内にいる人（一人又は複数人）が発した声を音声認識装置へ入力することができる。特に、身体の不自由な老人や障害者が音声認識装置を用いて声により家庭内の電気製品等のスイッチのオン／オフ等を制御する場合に、適用することができる。
【００８１】
【発明の実施の形態】
〔第１の実施形態〕
以下、図面を参照して本発明の第１の実施形態を説明する。本第１の実施形態では、図２に示す所定の部屋５０の中にいる対象人物Ａの声のみを抽出する例を示す。
【００８２】
図２及び図３に示すように、第１の実施形態に係る音抽出装置１０は、部屋５０の天井５２の所定位置に配置された複数のテレビカメラ１６と、各テレビカメラ１６に接続され該テレビカメラ１６により撮影された画像情報に基づいて音の抽出位置を設定する抽出位置演算プロセッサ１４と、天井５２に略等間隔にマトリックス状に配置された複数（ｎ個、図２には８×８個の例を示す）のマイク２２を含むマイクロフォンアレイ部１８と、各マイク２２に接続され該マイク２２により集音された音から対象人物の声を抽出する音声抽出ボード１２と、抽出された音を出力するための出力端子ボード２０と、を備えている。
【００８３】
各マイク２２は、集音部２４と、該集音部２４に接続され音声信号のノイズカット及び増幅を行うアンプフィルタ２６と、該アンプフィルタ２６に接続されアナログ信号のデジタル信号への変換を行うＡ／Ｄコンバータ２８と、を含んで構成されている。また、抽出位置演算プロセッサ１４は、ＣＰＵ１４Ａと、ＲＯＭ１４Ｂと、作業用記憶域として主に用いられるＲＡＭ１４Ｃと、入出力コントローラ（以後、Ｉ／Ｏと称す）１４Ｄと、を含んで構成されており、これらのＣＰＵ１４Ａ、ＲＯＭ１４Ｂ、ＲＡＭ１４Ｃ及びＩ／Ｏ１４Ｄは互いにバス１４Ｅによって接続されている。
【００８４】
また、音声抽出ボード１２には、デジタル回線３０を介して各マイク２２と一対一の対応で接続され該マイク２２から送信されてきた音声データを一時記憶するためのｎ個の入力バッファメモリｉ（ｉ：１、２・・・ｎ）から構成された入力バッファメモリ群３２と、各入力バッファメモリｉに接続され音声抽出ボード１２全体の制御等を行うプロセッサ３４と、プロセッサ３４に各々接続されプロセッサ３４から出力された各マイク２２に対応する音声データを一時記憶するためのｎ個の出力バッファメモリｉ（ｉ：１、２・・・ｎ）から構成された出力バッファメモリ群４４と、各出力バッファメモリｉに接続され各出力バッファメモリｉから出力された各マイク２２に対応する音声データを加算するための加算器４６と、加算器４６に接続されデジタル信号のアナログ信号への変換を行うＤ／Ａコンバータ４８と、が設けられている。なお、プロセッサ３４は、上記抽出位置演算プロセッサ１４と同様に、ＣＰＵ３８、ＲＯＭ４０、ＲＡＭ４２及びＩ／Ｏ３６を含んで構成されており、これらは互いにバス３７によって接続されている。Ｉ／Ｏ３６には上記の各入力バッファメモリｉ、各出力バッファメモリｉ及び抽出位置演算プロセッサ１４が接続されている。また、プロセッサ３４は、音抽出装置１０における各構成機器の動作の同期を取るための制御信号等を各構成機器に送信するために、各構成機器、即ち各マイク２２、入力バッファメモリ群３２、出力バッファメモリ群４４、加算器４６、及びＤ／Ａコンバータ４８、の各々と制御信号線４３を介して接続されている。なお、上記ＲＯＭ４０には、後述する音声抽出処理の制御プログラム、上記マイク２２の各々の配置位置に関する位置情報、後述する遅延テーブル等が予め記憶されている。
【００８５】
また、出力端子ボード２０は音声出力端子２１を備えており、該音声出力端子２１は音声抽出ボード１２のＤ／Ａコンバータ４８に接続されている。
【００８６】
なお、抽出位置演算プロセッサ１４に内蔵されたＲＯＭ１４Ｂには、上記テレビカメラ１６の各々の配置位置を表す位置情報や後述する抽出位置演算処理の制御プログラム等が予め記憶されている。
【００８７】
次に、本第１の実施形態の作用を説明する。音抽出装置１０の図示しないスタートボタンがオペレータによりオンされると、図４に示す抽出位置演算処理の制御ルーチンが抽出位置演算プロセッサ１４のＣＰＵ１４Ａにより、図５に示す音声抽出処理の制御ルーチンが音声抽出ボード１２のＣＰＵ３８により、それぞれ実行される。なお、これらの制御ルーチンは何れも所定時間間隔で繰り返し実行される。
【００８８】
まず、図４に示す抽出位置演算処理の制御ルーチンから説明する。ステップ１０２では、各テレビカメラ１６からの撮影情報を取り込む。次のステップ１０４では取り込んだ撮影情報より対象人物Ａ（図２参照）の頭部Ｐの位置を演算する。なお、この時の位置としては、一例として図２に示すように部屋５０を矢印Ｘ方向、矢印Ｙ方向、矢印Ｚ方向の各々に沿って仮想的に等分割することにより得られる多数の直方体状の領域のうち何れの領域内に対象人物Ａが位置するかを表す情報を用いることができる。図２では部屋５０を各方向に１６等分した場合を例として示している。即ちステップ１０４では、撮影画像から、表面の多くが毛髪で覆われており黒色部分が多い略球状である等のように人間の頭部に特有の特徴量を備えた領域を、対象人物Ａの頭部Ｐに相当する領域として抽出し、抽出した領域の撮影画像上における位置に基づいて上述した仮想的な３次元座標上における頭部Ｐの位置を演算する。
【００８９】
また、ステップ１０４では対象人物Ａの頭部Ｐの向きの推定も行う。即ち、まず図２に示す頭部Ｐの下に位置する胴体Ｓを認識し、その胴体Ｓにおいて胸幅Ｌ２は肩幅Ｌ１よりも小さいという一般的な特徴に基づいて、胸幅Ｌ２及び肩幅Ｌ１の大きさから対象人物Ａが矢印Ｖ方向又はその逆方向を向いていると推定する。次に、頭部Ｐの表面における毛髪の占める比率は顔の位置する側よりも顔の位置しない側の方が高いという一般的特徴に基づいて、図２において紙面奥側の方が紙面手前側よりも黒色の度合いが高いことから、対象人物Ａは矢印Ｖ方向を向いていると推定する。
【００９０】
次のステップ１０６では、ステップ１０４で求めた頭部Ｐの位置から矢印Ｖ方向に所定距離（例えば約３０センチメートル）離間した位置を、対象人物Ａに対する抽出位置として設定する。そして次のステップ１０８で、設定した抽出位置の位置情報を音声抽出ボード１２へ送信する。
【００９１】
次に図５に示す、音声抽出ボード１２に備えられたプロセッサ３４のＣＰＵ３８により実行される音声抽出処理の制御ルーチンを説明する。ステップ２００では、上記のステップ１０８で抽出位置演算プロセッサ１４から送信された抽出位置の情報を受信したか否かを判定する。抽出位置の情報を受信していない場合は制御ルーチンを終了し、抽出位置の情報を受信した場合はステップ２０２へ進む。ステップ２０２では、ＲＯＭ４０から取り出した各マイク２２の設置位置情報と受信した抽出位置情報とに基づいて、抽出位置から所定距離以上離れた位置に設置されたマイク２２を除外することにより抽出位置の音の抽出に適したマイク２２を選択する。
【００９２】
一方、対象人物Ａから発せられた音は、まずマイク２２の集音部２４により捉えられ、さらにアンプフィルタ２６によりノイズがカットされると共に所定増幅率で増幅されて図１（Ａ）に示すような音声信号となる。そしてそれらの音声信号はＡ／Ｄコンバータ２８によりデジタル化された音声データに変換される。
【００９３】
そして、音声抽出処理のステップ２０３において、ステップ２０２で選択したマイク２２の各々からデジタル回線３０を介して、上記のようにして集音され変換された音声データを取り込み、該音声データを各マイク２２に対応した入力バッファメモリｉへ書き込む。即ち、図１（Ａ）に示すような音声信号に対応する音声データが入力バッファメモリｉへ書き込まれる。この際、入力バッファメモリｉの所定の基準アドレスから順に書き込まれる。そして次に音声抽出処理ルーチンを実行する時には、前記基準アドレスから所定アドレスだけずらした新たな基準アドレスを設定し、該新たな基準アドレスから順に書き込まれる。そして入力バッファメモリｉへの書き込みが３回終了したときには、次の４回目には新たな基準アドレスを入力バッファメモリｉの先頭アドレスへ戻し、先頭アドレスから順に音声データが書き込まれる。このように入力バッファメモリｉは所謂リングバッファとして使用される。
【００９４】
次のステップ２１２では、選択したマイク２２のうちの１つのマイク２２の位置と抽出位置との距離に対応する遅延時間を、ＲＯＭ４０に予め記憶された遅延テーブルから取り込む。なお、遅延テーブルは、部屋５０の範囲内で変動しうる抽出位置の個々の抽出位置について、該抽出位置と各マイク２２との距離を標準室温における音速で除算することにより予め求められた音の伝搬時間（遅延時間）を記録したテーブルであり、部屋５０の範囲内で変動しうる抽出位置の候補数だけ予め準備されている。
【００９５】
次のステップ２１４では、当該１つのマイク２２からの音声データを、前記所定の基準アドレス（即ち入力バッファメモリｉへの書き込み開始アドレス）から遅延時間に対応するメモリアドレスだけずらしたアドレスを取り出しの先頭として、入力バッファメモリｉから取り出す。これにより、対象人物Ａが発した音が当該１つのマイク２２に到達する前に入力バッファメモリｉに書き込まれた音声データが切捨てられ、対象人物Ａが発し当該１つのマイク２２に到達した音が取り出されることになる。
【００９６】
そして次のステップ２１６では、取り出した音声データを、該１つのマイク２２に対応する出力バッファメモリｉへ書き込む。即ち、図１（Ｂ）に示すような音声信号に対応する音声データが出力バッファメモリｉへ書き込まれる。なお、出力バッファメモリｉも上記の入力バッファメモリｉと同様に所謂リングバッファとして使用される。
【００９７】
そして、上記のステップ２１２、２１４、２１６は、選択したマイクの全てに対して実行される。ステップ２１２、２１４、２１６の処理が、選択したマイクの全てに対して実行されると、ステップ２１８で肯定され、ステップ２２０へ進み選択したマイクの各々に対応する音声データを加算器４６により加算処理させる。
【００９８】
次のステップ２２２では、加算された音声データをＩＮＴ（ｌｏｇ₂ Ｍ）の桁数だけ小数点位置を上位にずらしてＤ／Ａコンバータ４８へ出力する。これにより、加算された音声データをマイク数Ｍで除算した場合と略同様の結果を得ることができる。なお、ここでは上記以外に、加算器４６の演算結果をプロセッサ３４で取り込み通常の除算を行っても良い。
【００９９】
その後加算器４６から出力された音声データは、Ｄ／Ａコンバータ４８により図１（Ｃ）に示すようなアナログの音声信号に変換され、変換された音声信号は出力端子ボード２０の音声出力端子２１へ送出される。なお、この音声出力端子２１には、音声再生装置等を接続することにより、抽出された対象人物Ａの声を再生し聞くことができる。
【０１００】
以上の説明から明らかなように、複数の（図１の例では７個の）マイク２２により集音された音に対し上記のような遅延操作及び加算平均を行うことにより、目的とする対象人物Ａの声以外の雑音成分はその振幅が極めて小さくなってしまうため、対象人物Ａの声のみを抽出することができる。
【０１０１】
また、上記の抽出位置演算処理（図４）及び音声抽出処理（図５）は、所定時間間隔で繰り返し実行される。これにより、対象人物Ａが移動した場合、複数のテレビカメラ１６により部屋５０の内部が継続して撮影され、その画像情報に基づいて上記対象人物Ａの移動に伴い変化する頭部Ｐの位置及び向きが求められ、その時点の頭部Ｐの位置及び向きに応じた抽出位置が設定される。そして音声抽出ボード１２で、その抽出位置に応じて上記の音声抽出処理を行うことにより、対象人物Ａが移動した場合でも、その声を抽出することができる。
【０１０２】
なお、本第１の実施形態の音声抽出処理では、設定された抽出位置に近いマイク（例えば７個のマイク）を選択し、選択したマイクからの音声データのみを取り込み、入力バッファメモリへ書き込む例を示したが、一旦全ての（ｎ個の）マイクからの音声データを取り込んで各入力バッファメモリへ書き込み、選択したマイク（例えば７個のマイク）からの音声データのみを、遅延時間に対応するメモリアドレスだけずらして入力バッファメモリから取り出すようにしても良い。
【０１０３】
また、本発明の音声抽出処理では、抽出位置の近くに配置された多数のマイクで対象人物（又は対象物）の音を集音し、集音された音声信号を前述したように遅延操作及び加算平均を行うことにより、信号対雑音比の改善された音の抽出を行うことができる。しかも通常のマイクで集音した音よりも信号対雑音比が高い音を抽出することも可能である。このように良質な音は、音声認識装置への入力として活用することができる。即ち、音抽出装置で音の抽出が可能な領域内にいる人（一人又は複数人）が話した声を音声認識装置へ入力することができる。
【０１０４】
〔第２の実施形態〕
次に、本発明の第２の実施形態を説明する。本第２の実施形態では、図２に示す所定の部屋５０の中にいる対象人物Ａの声と対象人物Ｂの声とを別々に抽出する例を示す。なお、第１の実施形態と同一の部分には同一の符号を付し、説明を省略する。
【０１０５】
図６に示すように、本第２の実施形態における音抽出装置１０には、第１の実施形態で説明した音声抽出ボード１２が複数個（Ｎ個）備えられており、さらに各マイク２２と各音声抽出ボード１２とを接続するための音声データ中継ボード５６が設置されている。また、抽出位置演算プロセッサ１４は各音声抽出ボード１２に備えられたプロセッサ３４に接続されている。さらに、出力端子ボード２０には各音声抽出ボード１２に対応する音声出力端子２１が設置されており、各音声出力端子２１は対応する音声抽出ボード１２のＤ／Ａコンバータ４８に接続されている。
【０１０７】
図７に示す抽出位置演算処理の制御ルーチンから説明する。なお、以下の説明では、対象人物Ａ、Ｂをそれぞれ対象人物１、２と便宜上称する。ステップ１０２で各テレビカメラ１６からの撮影情報を取り込み、次のステップ１０３では対象人物の数として「２」を変数Ｋに代入すると共に変数Ｌを「１」に初期設定する。
【０１０８】
次のステップ１０５では、対象人物Ｌ（即ち対象人物１）の頭部の位置の演算と向きの推定を上記第１の実施形態と同じ要領で行い、次のステップ１０７では当該対象人物Ｌの声を抽出するための抽出位置Ｌ（即ち抽出位置１）を設定する。そして、次のステップ１０９でその抽出位置Ｌの情報を、対応する音声抽出ボードＬへ送信する。
【０１０９】
次のステップ１１０では変数Ｌが対象人物の数を示す変数Ｋに等しいか否かを判定することにより、全ての対象人物に対して上記ステップ１０５、１０７、１０９の処理が完了したか否かを判定する。この場合初めは否定され、ステップ１１２へ進み、変数Ｌを増分１だけインクリメントする。これにより変数Ｌの値は「２」となる。
【０１１０】
その後ステップ１０５へ戻り対象人物Ｌ（即ち対象人物２）に対して、上記のステップ１０５、１０７、１０９の処理を行う。それらの処理が完了すると、ステップ１１０では、変数Ｌと変数Ｋとが等しいため肯定され、制御ルーチンを終了する。
【０１１１】
対象人物１、２にそれぞれ対応する音声抽出ボード１２では、上記ステップ１０９により抽出位置演算プロセッサ１４から送信された抽出位置１又は抽出位置２の情報をそれぞれ受信し、該受信した情報に基づいて、第１の実施形態と同じ図５に示す音声抽出処理を実行する。説明は省略するが、対象人物１、２にそれぞれ対応する各音声抽出ボード１２での音声抽出処理により、対象人物１、２の声をそれぞれ独立に抽出することができる。
【０１１２】
なお、本第２の実施形態では、複数の音声抽出ボード１２を備え、各音声抽出ボード１２で１つの抽出位置から音を抽出する例を示したが、音声抽出の即時性があまり高く要求されない場合等には、単一の音声抽出ボード１２において複数の抽出位置の各々に対する音声抽出処理を順次実行するようにしても良い。
【０１１３】
〔第３の実施形態〕
次に、本発明の第３の実施形態を説明する。本第３の実施形態では、図２に示す部屋５０内の温度変化による影響を考慮して該部屋５０の中にいる対象人物Ａの声のみを抽出する例を示す。なお、第１の実施形態と同一の部分には同一の符号を付し、説明を省略する。
【０１１４】
図８に示すように、本第３の実施形態における音抽出装置１０は、複数の温度センサ５８を備えており、該温度センサ５８は部屋５０内の複数の温度測定地点に１台ずつ設置されている。各温度センサ５８はプロセッサ３４内のＩ／Ｏ３６に接続されている。また、プロセッサ３４内のＲＯＭ４０には、温度センサ５８により測定された部屋５０の複数の温度測定地点の温度に基づいて、部屋５０内の温度分布を推定するための温度分布情報が予め記憶されている。
【０１１５】
次に本第３の実施形態の作用を説明する。音抽出装置１０の図示しないスタートボタンがオペレータによりオンされると、図４に示す上記第１の実施形態と同じ抽出位置演算処理の制御ルーチンが抽出位置演算プロセッサ１４のＣＰＵ１４Ａにより、図９に示す音声抽出処理の制御ルーチンが音声抽出ボード１２のＣＰＵ３８により、それぞれ実行される。以下では、抽出位置演算処理の説明は省略し、図９を用いて本第３の実施形態における音声抽出処理について説明する。
【０１１６】
ステップ２０３では、選択したマイク２２の各々について、該マイク２２からの音声データの取り込みと、取り込んだ音声データの入力バッファメモリｉへの書き込みと、を実行し、次のステップ２０４では選択したマイク２２のうちの１つのマイク２２に対して、該マイク２２と抽出位置との距離を算出する。
【０１１７】
次のステップ２０５で複数の温度センサ５８の各々から部屋５０の所定の温度測定地点における温度を取り込み、次のステップ２０６では、取り込んだ複数の温度測定地点の温度に基づき、ＲＯＭ４０に記憶された上記の温度分布情報を参照することによって、部屋５０内の温度分布を推定し、抽出位置から発せられた音が該マイク２２に到達するまでの音伝搬経路上の平均温度を算出する。
【０１１８】
次のステップ２０７で音伝搬経路上の平均温度に基づいて該音伝搬経路上の音速を算出し、次のステップ２０８では、ステップ２０４で算出した該マイク２２と抽出位置との距離を、ステップ２０７で算出した音速で除算することにより、該マイク２２に到達する音の伝搬時間、即ち該マイク２２についての遅延時間を算出する。そして次のステップ２０９では、算出した遅延時間を該マイク２２の識別番号と対応付けた形で、ＲＡＭ４２に確保された遅延テーブルへ記憶する。なお、本第３の実施形態における遅延テーブルは、算出した各マイク２２についての遅延時間を一時記憶するための一時記憶域として使用される。
【０１１９】
上記ステップ２０４〜２０９は、選択したマイク２２の各々に対して実行される。選択したマイク２２の全てに対して実行が完了すると、選択したマイク２２の各々についての遅延時間が記録された遅延テーブルが完成する。その後、上記第１の実施形態と同様に、ステップ２１４で１つのマイク２２からの音声データを上記遅延テーブルから得られた該マイク２２に対する遅延時間に対応するメモリアドレスだけずらして入力バッファメモリｉから取り出す。次のステップ２１６では取り出した音声データを出力バッファメモリｉへ書き込む。
【０１２０】
これらのステップ２１４、２１６の処理を、選択したマイク２２の全てに対して実行完了すると、ステップ２１８で肯定され、ステップ２２０へ進む。ステップ２２０、２２２では、選択したマイク２２の各々における音声データを加算平均し、Ｄ／Ａコンバータ４８へ出力する。音声データは、Ｄ／Ａコンバータ４８によりアナログの音声信号に変換され、変換された音声信号は出力端子ボード２０の音声出力端子２１へ出力される。
【０１２１】
このように本第３の実施形態によれば、部屋５０内の温度の変化に応じて精度の高い音の抽出を行うことができる。
【０１２２】
なお、本発明の音抽出装置１０は、上記と同様の要領で風（風向、風力）の影響による音の伝搬経路の曲がりを考慮して音の抽出を行うことができる。例えば図１０に示すように、矢印Ｒ方向に走行する列車６４が鉄橋６６を渡る時に鉄橋６６の特定の測定部位６６Ａが発するきしみ音を抽出する場合について説明する。この場合、屋外の音響環境であるので、音の伝搬に対し温度以外に風の影響が生じる。例えば、鉄橋６６の測定部位６６Ａから発せられ１つのマイク２２Ａに到達する音の伝搬経路が、破線Ｋ１で示す直線経路ではなく実線Ｋ２で示す曲線経路となり、音の伝搬経路長Ｌ１（曲線経路の長さ）が測定部位６６Ａとマイク２２Ａとの距離Ｌ２（直線経路の長さ）よりも長くなる。そこで、音抽出装置１０では、風力計６０により風力を、風向計６２により風向を、それぞれ検出する。そして、音の伝搬経路が風力及び風向の影響でどのような経路（曲線経路）に変わり、その伝搬経路長Ｌ１は距離Ｌ２に比べどの程度長くなるかを、抽出位置演算プロセッサ１４又は音声抽出ボード１２のプロセッサ３４で演算して求め、求められた伝搬経路長Ｌ１に基づいてマイク２２Ａにおける遅延時間を算出する。他のマイク２２についても同様に音の伝搬経路長を求め、遅延時間を算出する。そして、算出した遅延時間に基づいて、以後の遅延操作及び加算平均を行い、測定部位６６Ａから発せられる音の抽出を行う。このようにして、風（風向、風力）の影響による音の伝搬経路の曲がりを考慮して音の抽出を行うことができる。
【０１２３】
〔第４の実施形態〕
次に、本発明の第４の実施形態を説明する。本第４の実施形態では、音声における周波数による指向性の違いを考慮した上で図１１に示す部屋５０の中にいる対象人物Ｃの声を抽出する例を示す。なお、第１の実施形態と同一の部分には同一の符号を付し、説明を省略する。
【０１２４】
本第４の実施形態における音抽出装置１０の構成は、前述した第１の実施形態における音抽出装置１０の構成と同一であるので、その説明は省略する。但し、音声抽出ボード１２のプロセッサ３４内のＲＯＭ４０には、後述する重み付け定数が記録された重み付けテーブルが予め記憶されている。
【０１２５】
次に本第４の実施形態の作用を説明する。まず、音における周波数による指向性の違いについて説明する。図１１に示すように音の指向性は、周波数により異なり、低い周波数ほど指向性が緩く、高い周波数では指向性が強くなるのが一般的である。従って、対象人物Ｃが声を発する方向Ｄに位置するマイクでは、低周波数から高周波数までほぼ全域の周波数の音が集音されるのに対し、その他のマイクでは低周波数の音は集音されるものの高周波数の音はあまり集音されないことになる。
【０１２６】
そこで、本第４の実施形態では、上記の方向Ｄに位置するマイク２２により集音された採取音の高音域の音量と、他のマイク２２により集音された採取音の高音域の音量と、の不均衡を是正すべく、両者に重み付け操作をすることにより、上記の課題を解消する例を示す。
【０１２７】
なお、抽出位置演算処理は第１の実施形態と同一であるので説明は省略し、音声抽出処理について図１２を用いて説明する。
【０１２８】
ステップ２００、２０２、２０３では、第１の実施形態と同様に抽出位置演算プロセッサ１４から受信した抽出位置情報に基づいてマイクを選択し、選択したマイクからの音声データの取り込みと該音声データの入力バッファメモリｉへの書き込みとを行う。次のステップ２１３では、１つのマイク２２に対する抽出位置の相対的位置に対応した遅延テーブルから遅延時間を取り込むと共に、該マイク２２に対する抽出位置の相対的位置及び音の方向に対応した重み付けテーブルから重み付け定数を取り込む。なお、人物Ｃが声を発する方向Ｄに位置するマイク２２に対応する重み付け定数には、方向Ｄから外れた位置に位置するマイク２２に対応する重み付け定数よりも相対的に小さい値が設定されている。
【０１２９】
次のステップ２１４では第１の実施形態と同様に、該マイク２２からの音声データを上記遅延時間に対応するメモリアドレスだけずらして入力バッファメモリｉから取り出し、次のステップ２１７では取り出した音声データにおける高周波数成分に対して、上記重み付け定数に従って重み付けして（レベルの増幅又は減縮を行って）出力バッファメモリｉへ書き込む。
【０１３０】
上記ステップ２１３、２１４、２１７は、選択したマイク２２の各々に対して実行される。こうして、方向Ｄに位置するマイク２２により集音された採取音の高周波数成分はレベルが減縮される一方、方向Ｄから外れた位置に位置するマイク２２により集音された採取音の高周波数成分はレベルが増幅される。
【０１３１】
次のステップ２２０、２２２では選択したマイク２２の各々における音声データを加算平均し、Ｄ／Ａコンバータ４８へ出力する。音声データは、Ｄ／Ａコンバータ４８によりアナログの音声信号に変換され、変換された音声信号は出力端子ボード２０の音声出力端子２１へ出力される。
【０１３２】
本第４の実施形態によれば、方向Ｄに位置するマイクにより集音された採取音の高周波数成分と、方向Ｄから外れた位置に位置するマイク２２により集音された採取音の高周波数成分と、でレベルの不均衡が改善され、高周波数の音の有する強い指向性に起因した高周波数の音の低周波数の音に対する相対的なレベル低下を防止することができる。
【０１３３】
なお、上記第１乃至第４の実施形態では、対象人物（又は対象物）から発せられマイクに直接到達する直接音のみを抽出する例を示した。一般に、反射面としての壁面等から反射された後マイクに到達した反射音は、その大きさが上記直接音に比べ非常に小さいため、加算平均を行うことにより他の雑音成分と共に除去される。
【０１３４】
しかし、壁面が対象人物から近い位置であり且つ該対象人物が音を発する方向に位置している場合には、壁面での反射音は直接音よりも大きくなるため、むしろ該反射音を集音した方が対象人物が発する音の抽出効果が高いと言える。
【０１３５】
従って、テレビカメラ１６により撮影された画像情報に基づいて、壁面が対象人物から近い位置であり且つ該対象人物が音を発する方向に位置していると認識された場合、プロセッサ３４のＣＰＵ３８で実行される音声抽出処理において、各マイクについての遅延時間を演算するためのマイクと抽出位置との距離として両者の直接の距離ではなく、壁面で反射された反射音の伝搬距離を採用し、該反射音の伝搬距離に応じた遅延時間を算出し、そしてこの反射音の伝搬距離に応じた遅延時間に従って遅延操作を行えば良い。
【０１３６】
これにより、対象人物から各マイクに直接到達した音は雑音成分として除去され、代わりに壁面で反射された後各マイクに到達した反射音が対象人物の音として抽出される。このように、各マイクに到達した反射音の方が直接音よりも対象人物（対象物）の音の抽出のために適当である場合には、反射音の方を抽出することができる。
【０１３７】
なお、本発明の音抽出装置は、上記の各種の実施形態以外にも以下のように適用することができる。例えば、講演会場において聴衆の中の質問者の声を拡声する場合、聴衆を複数のテレビカメラで撮影しておき、係員が該質問者の映った画面で該質問者の口元付近をマウス等でポイントすると、抽出位置演算プロセッサが該質問者の口元付近を抽出位置に設定する。そして、音声抽出ボードでその抽出位置からの音の抽出を行い、所定のスピーカから抽出された音を出力する。これにより、聴衆の中の質問者の位置まで都度マイクを持っていく必要は無くなり、スムーズな講演会の進行の一助となる。
【０１３８】
また、例えば図１０に示す列車６４のように移動経路の定まった移動体から発せられる音を時間の経過と共に抽出し続ける（トレースする）場合には、移動経路上に略等間隔の複数の抽出位置（例えば鉄橋の部位６６Ｂ、６６Ｃ、６６Ｄ）を予め設定し、これらの抽出位置における音を時間の経過に沿って順に抽出すれば良い。こうすれば、抽出位置を設定するために移動体の動きをテレビカメラ１６により撮影された画像から把握する処理は不要となり、移動体の速い動きに追随して音をトレースすることができる。
【０１３９】
〔第５の実施形態〕
次に、本発明に係る第５の実施形態を説明する。本第５の実施形態では、オブジェクトの音の抽出を行うにあたり、広角固定焦点レンズを備えた複数のテレビカメラによりオブジェクトを含む画像を撮影し、その画像データに基づいてオブジェクトの位置を認識する例を示す。
【０１４０】
図１３に示すように、天井５２には、テレビカメラ１６が複数台（一例として４台）設置されており、各テレビカメラ１６には、広角固定焦点レンズとしての魚眼レンズ１６Ａが設置されている。各魚眼レンズ１６Ａの視野角は９０°以上に予め設定されている。よって、オブジェクトが移動している場合、静止している場合を問わず、テレビカメラ１６を動かさずに該オブジェクトを撮影可能となっている。
【０１４１】
この魚眼レンズとしては、例えば、等距離射影（ｅｑｕｉｄｉｓｔａｎｃｅｐｒｏｊｅｃｔｉｏｎ）型、立体射影型、等立体角射影型、正射影型等の種々の種類があり、本実施形態では何れの魚眼レンズも使用可能であるが、以下、等距離射影型の魚眼レンズを使用した例を説明する。また、各テレビカメラ１６はＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）エリアイメージセンサ１６Ｂ（図１８参照）を備えている。
また、物や人・動物等のオブジェクトは床や地面からの高さが概ね決まっており、更に、広角固定焦点レンズとしての魚眼レンズ１６Ａは焦点深度が大きいという特性を有しているので、テレビカメラ１６が焦点調整機構を有していなくても、鮮明にＣＣＤエリアイメージセンサ１６Ｂ上にオブジェクト像を結像することができる。このようにして、複数のテレビカメラ１６の各々により、オブジェクトを含む所定の領域が各々異なる位置から撮影される。
【０１４２】
次に、本第５の実施形態の作用を説明する。オペレータが、オブジェクトとして対象人物Ａを指定し、音抽出装置１０の図示しないスタートボタンをオンすると、前述した第１の実施形態と同じ図５に示す音声抽出処理の制御ルーチンが音声抽出ボード１２のＣＰＵ３８により実行開始されると共に、図１４に示す抽出位置演算処理の制御ルーチンがＣＰＵ１４Ａにより実行開始される。以下では、音声抽出処理の説明は省略し、図１４〜２４を用いて本第５の実施形態における抽出位置演算処理について説明する。
【０１４３】
図１４に示すステップ１２０では、オブジェクト分別処理が行われる。このオブジェクト分別処理では、図１５に示すサブルーチンが実行される。図１５のステップ１４０では、オブジェクト（対象人物Ａ）が部屋５０内に存在しないときの画像データＡをＲＯＭ１４Ｂから読み出し、次のステップ１４２において各テレビカメラ１６で撮影した画像データＢを各々取り込んでＲＡＭ１４Ｃに記憶する。次のステップ１４４では画像データＢと画像データＡとの差をとって部屋５０に存在する対象人物Ａを認識する（図１７参照）。
【０１４４】
次にステップ１４６では所定時間Ｔのタイマを設定し、次のステップ１４８では、所定時間Ｔの時間待ちに入り、タイムアウトになると、ステップ１５０へ進む。
【０１４５】
ステップ１５０では、各テレビカメラ１６で撮影した画像データＣ（即ち、画像データＢから所定時間Ｔ経過後の画像データ）を取り込む。そして、次のステップ１５２では、ＲＡＭ１４Ｃに記憶した画像データＢを読み出し、画像データＢと画像データＣとを比較し、次のステップ１５４ではこの比較結果に基づいて対象人物Ａが移動しているか否かを判断する。
【０１４６】
対象人物Ａが移動していない（静止している）場合は、ステップ１５４で否定判断され図１４のメインルーチンへリターンする。一方、対象人物Ａが移動している場合は、ステップ１５４で肯定判断されステップ１５６へ進み、画像データＢと画像データＣとの差異から対象人物Ａの進行方向を求め（図１７参照）、求めた進行方向から対象人物Ａの前後を判断する。そして、次のステップ１５８で、対象人物Ａの進行方向及び前後に関する情報をＲＡＭ１４Ｃに記憶し、図１４のメインルーチンへリターンする。
【０１４７】
次のステップ１２２では、対象人物Ａの位置及び高さを演算する。図１８に示すように、点Ｏに固定された等距離射影型魚眼レンズ１６Ａの焦点距離をｆ、点Ｏから部屋５０の床面５４に垂直に下ろした点Ｑまでの距離をＨ、点Ｑから対象人物Ａの床面５４上の点Ｐまでの距離をＲ、対象人物Ａの高さ（対象人物Ａの天井方向の先端を点Ｐ’としたときに点Ｐ’と点Ｐとの距離）をｈとする。また、点ＰＯＱのなす角をθ、点Ｐ’ＯＱのなす角をθ’、ＣＣＤエリアイメージセンサ１６ＢのＣＣＤ面上のオブジェクト像の高さに対応する距離をｈ’、オブジェクト像ｈ’のうち点Ｐに対応して結像した点をｐ、オブジェクト像ｈ’のうち点Ｐ’に対応して結像した点をｐ’、ＣＣＤ面の画像中心（ＣＣＤ面の中心）ｏから点ｐまでの距離をｒ、ＣＣＤ面の画像中心ｏから点ｐ’までの距離をｒ’とすると、角θ、θ’、距離ｒ、ｒ’は次式（１）〜（４）により求めることができる。
【０１４８】
θ＝ｔａｎ^-1（Ｒ／Ｈ） ・・・・・（１）
θ’＝ｔａｎ^-1｛Ｒ／（Ｈ−ｈ）｝ ・・・・・（２）
ｒ＝ｆθ ・・・・・（３）
ｒ’＝ｆθ’ ・・・・・（４）
従って、高さｈ及び距離Ｒは次式（５）及び（６）により求めることができる。
【０１４９】
ｈ＝Ｈ｛１−ｔａｎ（ｒ／ｆ）／ｔａｎ（ｒ’／ｆ）｝・・・（５）
Ｒ＝Ｈｔａｎ（ｒ／ｆ） ・・・・・（６）
なお、距離Ｈ及び焦点距離ｆは予め定められており、式（５）及び式（６）はＲＯＭ１４Ｂに記憶されている。このため、このステップ１２２では、式（５）をＲＯＭ１４Ｂから読み出して１台のテレビカメラ１６のＣＣＤ面上の情報から高さｈを演算し、式（６）を読み出して２台のテレビカメラ１６のＣＣＤ面上の情報からそれぞれ距離Ｒを求め、求めた２つの距離Ｒから対象人物Ａの２次元位置を演算する。
【０１５０】
次のステップ１２４では、上記ステップ１２２で演算した位置を中心として３次元空間をＸ方向、Ｙ方向及びＺ方向に沿って仮想的に細分割したマトリクス状の微小空間（以後、ボクセルと称す）を設定する。これにより、画像データＣはボクセルの集合体に変換される。図１９は４台のテレビカメラＡ、Ｂ、Ｃ及びＤから対象人物Ａを投影したとき、対象人物Ａが占有するボクセルを概念的に示す。
【０１５１】
即ち、各テレビカメラから対象人物Ａを投影したときの、対象人物Ａの視野角内に位置するボクセルは、影（死角）の部分Ｒ_A 、Ｒ_B 、Ｒ_C 、Ｒ_D も含めて、対象人物Ａが占有するボクセルとして設定される。なお、ボクセルは、ＣＣＤエリアイメージセンサ１６Ｂの解像度の限界まで細分割することが可能である。
【０１５２】
次のステップ１２６では、画像データのうち対象人物Ａが占有するボクセルを、対象人物Ａの高さｈに基づいて以下のようにして限定する第１次絞り込みを行う。
【０１５３】
対象人物Ａの高さｈは、成人の平均身長から概ねその値が予め設定可能であるので、図２０（Ａ）〜（Ｄ）に示すように各テレビカメラから対象人物Ａを投影したときに対象人物Ａの視野角内に位置するボクセルのうち、高さが０〜ｈの範囲のものを、対象人物Ａが占有するボクセルとして絞り込む。なお、ここで絞り込まれたボクセルで形成される領域を第１次絞り込み領域とする。
【０１５４】
次にステップ１２８では各画像データにおける第１次絞り込み領域から、それら全てに重複する領域に絞り込む第２次絞り込みを行う。これにより、図１９に示した影の領域Ｒ_A 、Ｒ_B 、Ｒ_C 及びＲ_D は対象人物Ａが占有するボクセルから排除され、図２１に示すように、対象人物Ａが占めるボクセル７０に絞りこまれる。次のステップ１３０では、このボクセル７０によって、オブジェクトの位置及び形状を正確に認識する。なお、ボクセルはＣＣＤエリアイメージセンサ１６Ｂの解像度の限界まで細分化することができるので、オブジェクトの形状を細部まで認識することも可能である。
【０１５５】
次のステップ１３２では、図２２に示すように、ボクセル７０の高さ、太さ等の寸法や、予めＲＯＭ１４Ｂに記憶された頭部の色差、目、鼻、口、耳の位置、腕の長さや位置、つま先の向き、関節の自由度等の人間の特徴に関する情報、さらに対象人物Ａが移動している場合にはＲＡＭ１４Ｃに記憶した対象人物Ａの進行方向や前後に関する情報に基づいて、ダミーモデル７２へ変換する。
【０１５６】
次のステップ１３４では、図１６に示す抽出位置設定処理のサブルーチンを実行する。図１６のステップ１６０では、対象人物Ａの頭部を撮影対象とした所定数（一例として２台）のテレビカメラの選択を行い、選択した各テレビカメラのＣＣＤ面上における対象人物Ａの頭部の位置に対応する２次元座標を取り込む。なお、テレビカメラの選択においては、例えば、対象人物Ａを写した際のオブジェクト像が大きい順に選択してもよいし、対象人物Ａの正面を捉えたテレビカメラを選択してもよい。また、選択された２台のテレビカメラをそれぞれカメラＬ、カメラＲとする。
【０１５７】
次のステップ１６２では３次元座標を演算する。図２３に示すように、カメラＬの３次元座標Ｃを（Ｘ，０，Ｚ）、カメラＲの３次元座標Ｃ’を（Ｘ’，０，Ｚ）とする。また、対象人物Ａの頭部の位置に対応するカメラＬのＣＣＤ面上の座標Ｐ_L を（α₁ ，β₁ ）、カメラＬのＣＣＤ面の画像中心Ｏ_L から座標Ｐ_L までの距離をｒ、対象人物Ａの頭部の位置に対応するカメラＲのＣＣＤ面上の座標Ｐ_R を（α₁ ’，β₁ ’）、カメラＲのＣＣＤ面の画像中心Ｏ_R から座標Ｐ_R までの距離をｒ’、座標Ｐ_L 及び座標Ｐ_R から出た光を仮想したときに２つの光が交わる点、即ち、対象人物Ａの頭部の３次元座標Ｐを（ｘ，ｙ，ｚ）とする。
【０１５８】
また、カメラＬの３次元座標位置からＺ軸に平行に下ろした垂線の足と、点Ｐを含みＺ軸に垂直な平面と、の交点Ｓの座標を（Ｘ，０，ｚ）とし、カメラＲの３次元座標位置からＺ軸に平行に下ろした垂線の足と、点Ｐを含みＺ軸に垂直な平面と、の交点Ｓ’の座標を（Ｘ’，０，ｚ）とする。更に、点ＰＣＳのなす角をθ₁ 、点ＰＣ’Ｓ’のなす角をθ₁ ’、点ＰＳＳ’のなす角をφ、点ＰＳ’Ｓのなす角をφ’とする。
【０１５９】
ＣＣＤ面上で画像中心Ｏ_L から像までの距離ｒは、上述した式（３）により、
ｒ＝ｆθ₁
として求められる。
【０１６０】
また、それぞれα₁ 、β₁ は、
α₁ ＝ｆθ₁ ｃｏｓ（π−φ）＝−ｆθ₁ ｃｏｓφ
β₁ ＝ｆθ₁ ｓｉｎ（π−φ）＝ｆθ₁ ｓｉｎφ ・・・（７）
である。ここで、
ｓｉｎφ＝ｙ／｛（ｘ−Ｘ）² ＋ｙ² ｝^1/2 ・・・（８）
ｃｏｓφ＝（ｘ−Ｘ）／｛（ｘ−Ｘ）² ＋ｙ² ｝^1/2
であるので、α₁ 、β₁ は、
α₁ ＝−ｆθ₁ （ｘ−Ｘ）／｛（ｘ−Ｘ）² ＋ｙ² ｝^1/2 ・・・・（９）
β₁ ＝ｆθ₁ ｙ／｛（ｘ−Ｘ）² ＋ｙ² ｝^1/2 ・・・（１０）
として求めることができる。式（１０）を式（９）で割ることにより、
ｙ＝（β₁ ／α₁ ）（Ｘ−ｘ） ・・・（１１）
同様に、
ｙ＝（β₁ ’／α₁ ’）（Ｘ’−ｘ） ・・・（１２）
式（１１）と式（１２）とからｙを消去して、
ｘ＝（α₁ β₁ ’Ｘ’−α₁ ’β₁ Ｘ）／（α₁ β₁ ’−α₁ ’β₁ ）・・・（１３）
により３次元座標ＰのＸ座標を求めることができる。
【０１６１】
次に、式（１１）と式（１３）とからｘを消去して、
ｙ＝β₁ β₁ ’（Ｘ−Ｘ’）／（α₁ β₁ ’−α₁ ’β₁ ）・・（１４）
により３次元座標ＰのＹ座標を求めることができる。
【０１６２】
ところで、
θ₁ ＝ｔａｎ^-1［｛（ｘ−Ｘ）² ＋ｙ² ｝^1/2 ／（Ｚ−ｚ）］
であるので、式（７）、式（８）から

従って、

また、式（１１）から
｛（ｘ−Ｘ）² ＋ｙ² ｝^1/2 ＝（ｘ−Ｘ）×｛１＋（β₁ ／α₁ ）² ｝^1/2
式（１１）と式（１４）とから
（ｘ−Ｘ）＝（Ｘ’−Ｘ）／｛１−（α₁ ’／α₁ ）×（β₁ ／β₁ ’）｝
であるので、式（１５）は、

と表すことができ、３次元座標ＰのＺ座標を求めることができる。
【０１６３】
なお、各テレビカメラ１６の３次元座標は予め定められているので、ステップ１６２では、ＲＯＭ１４Ｂから式（１３）、（１４）及び（１６）を読み出し、ステップ１６０で取り込んだカメラＬのＣＣＤ面上の座標Ｐ_L （α₁ ，β₁ ）及びカメラＲのＣＣＤ面上の座標Ｐ_R （α₁ ’，β₁ ’）の値を、式（１３）、（１４）及び（１６）に代入することにより、対象人物Ａの頭部の３次元座標Ｐ（ｘ，ｙ，ｚ）を求めることができる。
【０１６４】
次のステップ１６４では、前述した第１の実施形態と同様に（図４のステップ１０４における処理と同様に）対象人物Ａの頭部の向きを推定する。次のステップ１６６では、ステップ１６２で求めた頭部の位置から矢印Ｖ方向（図１３参照）に所定距離（例えば約３０センチメートル）離間した位置を、対象人物Ａに対する抽出位置として設定する。そして次のステップ１６８で、前記設定した抽出位置の位置情報を音声抽出ボード１２へ送信してリターンする。
【０１６５】
このように本第５の実施形態によれば、広角固定焦点レンズ１６Ａを用いて撮影しているので、テレビカメラ１６を動かしたり焦点調整を行う必要はない。このため、オブジェクト（対象人物Ａ）を捉えるまでの時間を短縮することができ、速やかにオブジェクトの位置を認識することができる。
【０１６６】
また、テレビカメラの向きを変えたり焦点を調整調整するための機構が不要となるので、オブジェクトを捉える作業を自動化することができると共に、駆動部分がなくなるので、テレビカメラの耐久性や信頼性を高めることができる。
【０１６７】
また、１つのオブジェクトに対して複数のテレビカメラにより撮影しているので、例えば家具等の視野を遮る障害物や他のオブジェクトが存在していても、３次元座標を演算することができる。
【０１６８】
また、テレビカメラは３次元空間を構成する部屋の天井に配置されているので、壁面を有効に使用することができる。
【０１６９】
なお、本第５の実施形態では複数のテレビカメラ１６を天井５２に配置したが、図２４の（Ａ）〜（Ｆ）に示すように、壁の近くに配置したり壁に埋め込んで配置してもよく、天井と壁で構成される２面のコーナー部や天井と２面の壁で構成される３面のコーナー部に配置してもよい。更に、図２４の（Ｍ）〜（Ｏ）に示すように、等距離射影型魚眼レンズ１６Ａを部屋の中心に向けるようにしてもよい。
【０１７０】
また、本第５の実施形態では、図１５に示すオブジェクト分別処理におけるステップ１４０で、オブジェクトが部屋５０内に存在しないときの画像データＡを読み出したが、このステップ１４０を行わないで、テレビカメラ１６で撮影した画像データＢと画像データＢから所定時間Ｔ経過後の画像データＣとに基づいて、オブジェクトを認識するようにしてもよい。
【０１７１】
また、本第５の実施形態では２台のテレビカメラを用いてオブジェクトを含む画像を撮影したが、３台以上のテレビカメラを用いても良い。
【０１７２】
また、本第５の実施形態では、等距離射影型魚眼レンズを用いたが、上述したように等立体角射影型魚眼レンズ、立体射影型魚眼レンズや正射影型魚眼レンズを用いても、上記と同様に対象人物Ａの頭部の３次元座標を演算することができる。以下に等立体角射影型魚眼レンズを用いたときの式（１）〜式（６）に相当する式をそれぞれ次の式（１）’〜式（６）’を示す。
【０１７３】

〔第６の実施形態〕
次に、本発明に係る第６の実施形態について説明する。本第６の実施形態では、オブジェクトの音の抽出を行うにあたり、１台のテレビカメラと１枚の鏡とを用いて得たオブジェクトを含む画像データに基づいて、オブジェクトの３次元座標を演算し、オブジェクトの位置を認識する例を示す。なお、本第６の実施形態は前記第５の実施形態と略同一であるので、図１３乃至図１６において同一の部分には同一の符号を付し、説明を省略する。
【０１７４】
図２５に示すように、各テレビカメラ１６の１側面には、ＣＣＤエリアイメージセンサ１６Ｂの１端面の方向（Ｘ方向）と平行で鉛直方向（Ｚ方向）に縦長の鏡７４が天井５２に固設されている。
【０１７５】
次に、本第６の実施形態の等距離射影型魚眼レンズ１６Ａ、ＣＣＤエリアイメージセンサ１６Ｂ及び鏡７４の位置、距離及び角度等の諸量を図２５、２６を参照して説明する。なお、図２６は等距離射影型魚眼レンズ１６ＡとＣＣＤエリアイメージセンサ１６Ｂとの距離は微小であるものとして無視したときの上記諸量の詳細を表したものである。
【０１７６】
図２５に示すように、ＣＣＤエリアイメージセンサ１６ＢのＣＣＤ面と同一のＸＹ平面上にある鏡７４の上端部の中央を３次元座標の原点Ｏ（０，０，０）にとる。ＣＣＤ面の画像中心Ｈは原点ＯからＹ方向に距離ｈだけ離れており、画像中心Ｈの３次元座標を（０，ｈ，０）にとる。なお、対象人物Ａの所定部位（例えば頭部）Ｐの３次元座標を（ｘ，ｙ，ｚ）とし、点Ｐから出た光は等距離射影型魚眼レンズ１６Ａで屈折してＣＣＤ面上の点Ｄに結像する。このＣＣＤ面上の点Ｄの２次元座標を（α_D ，β_D ）とする。また、点Ｐから出た光で鏡７４により反射した光は等距離射影型魚眼レンズ１６Ａで屈折してＣＣＤ面上の点Ｒに結像する。このＣＣＤ面上の点Ｒの２次元座標を（α_R ，β_R ）とする。なお、鏡７４がないときの仮想のテレビカメラ１７を想定し、ＣＣＤ面の画像中心Ｈ’の３次元座標を（０，−ｈ，０）にとったときに、点Ｐから出た光は仮想の等距離射影型魚眼レンズ１７Ａで屈折して仮想のＣＣＤエリアイメージセンサ１７ＢのＣＣＤ面上の点Ｒ’に結像するものとし、上述した点Ｒと仮想した点Ｒ’とは鏡７４に対して対称であるものとする。また、ＣＣＤ面上の画像中心Ｈから点Ｄまでの距離をｒ_D 、ＣＣＤ面上の画像中心Ｈから点Ｒまでの距離をｒ_R とする。
【０１７７】
図２６に示したように、点ＨからＺ方向に下ろした垂線上にある任意の点を点Ｖとし、点Ｈ’からＺ方向に下ろした垂線上にある任意の点を点Ｖ’としたとき、点ＰＨＶのなす角を角θ_D 、点ＰＨ’Ｖ’のなす角を角θ_R'とする。また、３次元座標（ｘ，ｙ，０）で表される点を点Ｓ、点Ｓと点Ｈとの距離を距離Ｂ_R 、点Ｓと点Ｈ’との距離を距離Ｂ_R'、点Ｐと点Ｈとの距離を距離Ａ_D 、点Ｐと点Ｈ’との距離を距離Ａ_R'とする。
【０１７８】
次に、本第６の実施形態の作用について説明する。図１６に示す抽出位置設定処理におけるステップ１６０では、対象人物Ａを撮影するための１台のテレビカメラ１６を選択（例えば距離ｒ_D が最も小さいテレビカメラを選択）し、対象人物Ａの頭部の位置に対応するＣＣＤ面上の点Ｄ（α_D ，β_D ）及び点Ｒ（α_R ，β_R ）の各々の２次元座標値を取り込む。
【０１７９】
次のステップ１６２では、３次元座標を演算する。ここで、図２５及び２６を参照して上述した諸量について更に説明する。
【０１８０】
角θ_D 及びθ_R'はそれぞれ、

により求めることができるので、上記式（３）から距離ｒ_D 及びｒ_R は次式により表される。
【０１８１】
ｒ_D ＝ｆ・ｔａｎ^-1［｛（ｙ−ｈ）² ＋ｘ² ｝^1/2 ／ｚ］
ｒ_R ＝ｆ・ｔａｎ^-1［｛（ｙ＋ｈ）² ＋ｘ² ｝^1/2 ／ｚ］
ところで、
α_D ＝ｒ_D ｃｏｓ（π−φ_D ）＝−ｒ_D ｃｏｓφ_D ・・・（１７）
β_D ＝ｒ_D ｓｉｎ（π−φ_D ）＝ｒ_D ｓｉｎφ_D ・・・（１８）
α_R ＝ｒ_R ｃｏｓφ_R' （∵φ_R'＝φ_R ） ・・・（１９）
β_R ＝ｒ_R ｓｉｎφ_R' （∵φ_R'＝φ_R ） ・・・（２０）
また、
ｃｏｓφ_D ＝（ｙ−ｈ）／｛（ｙ−ｈ）² ＋ｘ² ｝^1/2 ・・・（２１）
ｓｉｎφ_D ＝ｘ／｛（ｙ−ｈ）² ＋ｘ² ｝^1/2 ・・・（２２）
ｃｏｓφ_R'＝（ｙ＋ｈ）／｛（ｙ＋ｈ）² ＋ｘ² ｝^1/2 ・・・（２３）
ｓｉｎφ_R'＝ｘ／｛（ｙ＋ｈ）² ＋ｘ² ｝^1/2 ・・・（２４）
であるので、式（１７）及び式（２１）並びに式（１８）及び式（２２）から、
α_D ＝−ｆθ_D （ｙ−ｈ）／｛（ｙ−ｈ）² ＋ｘ² ｝^1/2 ・・・（２５）
β_D ＝ｆθ_D ｘ／｛（ｙ−ｈ）² ＋ｘ² ｝^1/2 ・・・（２６）
と表すことができる。この２つの式からｆθ_D を消去すると、
ｙ＝ｈ−（α_D ／β_D ）ｘ ・・・（２７）
同様に、
α_R ＝ｆθ_R'（ｙ＋ｈ）／｛（ｙ＋ｈ）² ＋ｘ² ｝^1/2 ・・・（２８）
β_R ＝ｆθ_R'ｘ／｛（ｙ＋ｈ）² ＋ｘ² ｝^1/2 ・・・（２９）
ｙ＝−ｈ＋（α_R ／β_R ）ｘ ・・・（３０）
式（２７）及び（３０）から
ｘ＝２ｈβ_D β_R ／（α_D β_R ＋α_R β_D ） ・・・（３１）
により３次元座標ＰのＸ座標を求めることができる。
【０１８２】
次に、式（３１）を式（２７）に代入して、
ｙ＝ｈ（α_R β_D −α_D β_R ）／（α_D β_R ＋α_R β_D ）・・・（３２）
により３次元座標ＰのＹ座標を求めることができる。
【０１８３】
また、

この式を変形して、

ところで、式（３１）及び式（３２）から、
｛（ｙ−ｈ）² ＋ｘ² ｝^1/2 ＝２ｈβ_R （α_D ² ＋β_D ² ）^1/2 ／（α_D β_R ＋α_R β_D ）であるので、

により３次元座標ＰのＺ座標を求めることができる。
【０１８４】
なお、鏡７４からのＣＣＤ面の画像中心Ｈまでの距離ｈは予め定められている。従って、ステップ１６２では、ＲＯＭ１４Ｂから式（３１）、（３２）及び（３３）を読み出し、ステップ１６０で取り込んだＣＣＤ面上の点Ｄ（α_D ，β_D ）及び点Ｒ（α_R ，β_R ）の各々の２次元座標値を代入して対象人物Ａの頭部の３次元座標Ｐ（ｘ，ｙ，ｚ）を演算する。
【０１８５】
このように本第６の実施形態によれば、１台のテレビカメラによって対象人物Ａの頭部の３次元座標を演算することができるので、天井５２に設置するテレビカメラの台数を少なくすることができる。
【０１８６】
なお、本第６の実施形態では、天井５２に設置された１台のテレビカメラ及び１枚の鏡によりオブジェクトの３次元座標を演算する例を示したが、図２４の（Ｇ）〜（Ｌ）に示したように、鏡を壁面に取付けるようにしてもよいし、１台のテレビカメラ及び複数の鏡を使用してもよい。また、湾曲した鏡を使用してもよい。複数の鏡を使用した場合、ＣＣＤ面にはより多くのオブジェクト像が形成されるので、他の物体（例えば家具や柱等）により死角が生じても、上記のようにして３次元座標を演算することができる。
【０１８７】
〔第７の実施形態〕
次に、本発明に係る第７の実施形態について説明する。本第７の実施形態では、オブジェクトの音の抽出を行うにあたり、ボクセルを設定することなくオブジェクトの形状を認識する例を示す。なお、本第７の実施形態は上記第５の実施形態と略同一であるので、図１３及び図１６の同一の部分には同一の符号を付し、説明を省略する。また、本第７の実施形態では、説明を簡単にするために、図２８に示したように対象人物ＡをテレビカメラＡ、Ｂ、Ｃ、Ｄで捉えた場合を想定する。
【０１８８】
本第７の実施形態における抽出位置演算プロセッサ１４は、オブジェクト像を含む歪曲した画像データを、平面化した画像データに変換し、該変換した画像データに基づいて少なくともオブジェクト像の正面、背面、左側面、右側面及び平面の画像データを求め、該求めた画像データを合成してオブジェクトを認識する機能を有する。
【０１８９】
次に、本第７の実施形態の作用について説明する。図２７に示す抽出位置演算処理におけるステップ１２１では、テレビカメラＡ、Ｂ、Ｃ、Ｄにより撮影された画像データを取り込む。このステップ１２１で取り込んだ画像データの画像は、図２９（Ａ）〜（Ｄ）に示すように、歪曲が生じている。次のステップ１２３では、これらの歪曲した画像の画像データを、平面化した画像データに変換し、図３０（Ａ）〜（Ｄ）に示すような画像データとする。
【０１９０】
次のステップ１２５では、平面化した画像データから対象人物Ａの前面、背面、左側面、右側面及び平面の画像データを求める。図３１（Ａ）〜（Ｃ）には、このステップ１２５で求められた対象人物Ａの前面、右側面及び平面の画像データをそれぞれ示す。次のステップ１２７では、ステップ１２５で求めた前面、背面、左側面、右側面及び平面の画像データを合成する。これにより、オブジェクトの形状を認識することができる。次のステップ１３４では、前記合成した対象人物Ａの画像データに基づいて、図１６に示す抽出位置設定処理を上記第５の実施形態と同様に実行する。
【０１９１】
このように本第７の実施形態によれば、ボクセルを設定することなくオブジェクトの形状を認識することができる。
【０１９２】
なお、上記第１〜第７の実施形態のテレビカメラ１６は可視光のテレビカメラを用いたが、これを例えば、赤外線カメラのように可視光以外の波長域で撮影するようにしてもよい。このようにすれば、照明灯が点灯していないときにもオブジェクトを撮影することができるので、防犯装置や監視装置としても使用することが可能となる。
【０１９３】
また、上記第５〜第７の実施形態では、第１の実施形態の音抽出装置１０に、広角固定焦点レンズとしての魚眼レンズ１６Ａ及びＣＣＤエリアイメージセンサ１６Ｂを備えたテレビカメラ１６を適用することにより、オブジェクトの位置、形状を効率的に（速やかに）求める例を示したが、上記第２〜第４の実施形態の音抽出装置１０に、広角固定焦点レンズとしての魚眼レンズ１６Ａ及びＣＣＤエリアイメージセンサ１６Ｂを備えたテレビカメラ１６を適用しても同様の効果を得ることができる。
【０１９４】
以上の説明からも明らかなように、本発明は次の技術的態様を含むものである。
【０１９５】
前記撮影手段は、３次元空間を構成する部屋の天井に配置されたことを特徴とする請求項１乃至４の何れか１項に記載の音抽出装置。
【０１９６】
前記撮影手段は、可視光以外の波長域で撮影することを特徴とする請求項１乃至４の何れか１項に記載の音抽出装置。
【０１９９】
【発明の効果】
請求項１記載の発明によれば、対象人物の位置を認識し且つその位置に基づいて対象人物が発する音を周囲の雑音と弁別して抽出することができる、という効果が得られる。
【０２００】
また、請求項１記載の発明によれば、特に対象人物が発する音の指向性が強い場合や対象人物の音を発する部分（面）が大きい場合等には、より高い精度の音の抽出を行うことができる、という効果が得られる。
【０２０３】
また、請求項２記載の発明によれば、音響環境の状態に応じて精度の高い音の抽出を行うことができる、という効果が得られる。
【０２０４】
また、請求項３記載の発明によれば、高音域が低い周波数成分よりも相対的に弱くなることを防止することができる、という効果が得られる。
【０２０６】
また、請求項４記載の発明によれば、音の抽出の精度を低下させることなく、音の抽出に係る処理（抽出手段によるシフト及び抽出処理）の負荷を軽減することができる、という効果が得られる。
【図面の簡単な説明】
【図１】本発明に係る集音の原理を示す模式図である。
【図２】第１〜第４の実施形態に係る集音環境を示す模式図である。
【図３】第１、第４の実施形態に係る音抽出装置の概略構成図である。
【図４】第１、第３、第４の実施形態に係る集音位置演算プロセッサで実行される制御ルーチンを示す流図である。
【図５】第１、第２の実施形態に係る音声抽出ボードのプロセッサで実行される制御ルーチンを示す流図である。
【図６】第２の実施形態に係る音抽出装置の概略構成図である。
【図７】第２の実施形態に係る集音位置演算プロセッサで実行される制御ルーチンを示す流図である。
【図８】第３の実施形態に係る音抽出装置の概略構成図である。
【図９】第３の実施形態に係る音声抽出ボードのプロセッサで実行される制御ルーチンを示す流図である。
【図１０】屋外での音の抽出に本発明の音抽出装置を適用した場合の構成例である。
【図１１】第４の実施形態に係る音の音域による指向性の違いを示す模式図である。
【図１２】第４の実施形態に係る音声抽出ボードのプロセッサで実行される制御ルーチンを示す流図である。
【図１３】第５〜第７の実施形態に係る集音環境を示す模式図である。
【図１４】第５、第６の実施形態に係る集音位置演算プロセッサで実行される制御ルーチンを示す流図である。
【図１５】オブジェクト分別処理のサブルーチンを示す流図である。
【図１６】抽出位置設定処理のサブルーチンを示す流図である。
【図１７】オブジェクトを分別する概念を説明する説明図である。
【図１８】オブジェクトの高さ等の諸量を説明する説明図である。
【図１９】オブジェクトの影の部分とボクセルとの関係を説明する説明図である。
【図２０】（Ａ）はテレビカメラＡの画像データによるボクセルを示す図であり、（Ｂ）はテレビカメラＢの画像データによるボクセルを示す図であり、（Ｃ）はテレビカメラＣの画像データによるボクセルを示す図であり、（Ｄ）はテレビカメラＤの画像データによるボクセルを示す図である。
【図２１】第２次絞り込みで絞り込まれたボクセルの概念を説明する説明図である。
【図２２】第２次絞り込みで絞り込まれたボクセルからダミーモデルに変換する概念を説明する説明図である。
【図２３】２つのテレビカメラにより３次元座標を演算するときの諸量を説明する概念図である。
【図２４】テレビカメラ又は鏡の各種配置を示す図である。
【図２５】第６の実施形態に係る３次元位置認識装置の構成図である。
【図２６】第６の実施形態のＣＣＤエリアイメージセンサ等の位置を説明するための説明図である。
【図２７】第７の実施形態に係る集音位置演算プロセッサで実行される制御ルーチンを示す流図である。
【図２８】第７の実施形態のオブジェクト及びテレビカメラの配置を示す平面図である。
【図２９】（Ａ）はテレビカメラＡの画像データの画像を示す図であり、（Ｂ）はテレビカメラＢの画像データの画像を示す図であり、（Ｃ）はテレビカメラＣの画像データの画像を示す図であり、（Ｄ）はテレビカメラＤの画像データの画像を示す図である。
【図３０】（Ａ）は歪曲したテレビカメラＡの画像データを平面化した画像データに変換したときの画像を示す図であり、（Ｂ）は歪曲したテレビカメラＢの画像データを平面化した画像データに変換したときの画像を示す図であり、（Ｃ）は歪曲したテレビカメラＣの画像データを平面化した画像データに変換したときの画像を示す図であり、（Ｄ）は歪曲したテレビカメラＤの画像データを平面化した画像データに変換したときの画像を示す図である。
【図３１】（Ａ）は真正面の画像データの画像を示す図であり、（Ｂ）は真横の画像データの画像を示す図であり、（Ｃ）は真上の画像データの画像を示す図である。
【符号の説明】
１０ 音抽出装置
１２ 音声抽出ボード
１４ 抽出位置演算プロセッサ
１６ テレビカメラ（撮影手段）
１６Ａ 等距離射影型魚眼レンズ（広角固定焦点レンズ）
１６Ｂ ＣＣＤエリアイメージセンサ（エリアセンサ）
２１ 音声出力端子
２２ マイク
３２ 入力バッファメモリ
３４ プロセッサ
４４ 出力バッファメモリ
４６ 加算器
５８ 温度センサ
６０ 風力計
６２ 風向計
７４ 鏡（反射手段）

Claims (4)

1. 複数の撮影手段と、画像認識手段と、複数のマイクロフォンと、抽出手段とを備えた音抽出装置であって、
   前記複数の撮影手段の各々は、他の撮影手段と重複する領域を撮影するように設置され、
   前記画像認識手段は、前記複数の撮影手段が撮影した複数の画像情報に基づいて、対象人物の頭部の位置を認識すると共に、該対象人物の頭部の方向を推定し、該頭部の位置より該頭部の方向に向かって所定距離離間した位置を対象人物位置として認識し、
   前記複数のマイクロフォンの各々は、予め定められた位置に配置され、採取音データを出力し、
   前記抽出手段は、第１処理〜第４処理を行い、
   第１処理では、採取音データのうち複数の採取音データを選択し、
   第２処理では、前記選択した各採取音データ毎に、対象人物位置及び当該採取音データのマイクロフォンの位置に基づいてシフト量を決定し、
   第３処理は、前記選択した各採取音データを、該採取音データ毎に決定されたシフト量だけシフトして補正を行い、
   第４処理では、補正された各採取音データを平均出力する
   音抽出装置。
2. 音速及び音伝搬経路の少なくとも一方に影響を及ぼす要因とされる音響環境状態を検出する音響環境状態検出手段を更に備え、
   前記抽出手段における前記第２処理では、前記音響環境状態検出手段によって検出された音響環境状態に基づいて各採取音データのシフト量を補正する請求項１記載の音抽出装置。
3. 前記抽出手段における前記第２処理では、選択した各採取音データ毎に、対象人物位置と当該採取音データのマイクロフォンの位置とに基づいて、指向性に関する高周波成分補正量を決定し、
   前記第３処理では、各採取音データを、該採取音データ毎に決定された高周波成分補正量に基づいて高周波成分のレベルを増減、又は、減縮して補正を行う請求項１記載の音抽出装置。
4. 前記抽出手段における前記第１処理では、前記対象人物位置から所定距離以上離れて位置するマイクロフォンの採取音データを選択の対象から除外する請求項１記載の音抽出装置。

Images