JP6253031B2 - キャリブレーション方法 - Google Patents

Description

本発明は、音声データの収音指向性を制御するキャリブレーション方法に関する。

従来、工場、店舗（例えば小売店、銀行）或いは公共の場（例えば図書館）の所定位置（例えば天井）に設置される監視システムでは、ネットワークを介して複数のカメラ（例えばパンチルトカメラ又は全方位カメラ）を接続することで、監視対象の所定範囲の映像データ（静止画像及び動画像を含む。以下同様）の広画角化が図られている。

また、映像だけの監視では得られる情報量がどうしても限界があるため、カメラだけでなくマイクアレイも配置することで、カメラが撮像している方向の音声データを得る監視システムの要請が高い。

ここで、カメラとマイクアレイとを用いてカメラが撮像する方向の音声データを得る先行技術として、例えば特許文献１に示す制御システムが知られている。特許文献１に示す制御システムは、カメラと、マイクアレイと、カメラ及びマイクアレイの動作を制御する会議端末とを含む。

特許文献１に示す制御システムは、例えばＴＶ会議システムが利用可能な会議室に設置され、カメラとカメラが撮像する被写体との間の距離と、カメラのパン方向と、カメラとマイクアレイとの間の距離と、カメラからマイクアレイに向かう方向とを基に、マイクアレイの収音範囲を変更する。

日本国特開２０１２−１８６５５１号公報

特許文献１では、カメラとマイクアレイと被写体（例えば発話者）とが同一平面上に存在することが想定されている。

しかし、上述した監視システムでは、カメラ、マイクアレイ、被写体（例えば小売店の店員）は、同一平面上、即ち２次元の座標上に存在することは少なく、立体的な３次元の座標上に存在することが多い。

このため、マイクアレイの収音範囲をカメラのパン方向、即ち水平方向の角度だけを用いる特許文献１の制御システムを上述した監視システムに適用すると、マイクアレイは、カメラが撮像している監視対象の映像に対する特定方向の音声を高精度に収音することが困難になる。

また、上述した監視システムでは、カメラとマイクアレイとが一体的に組み込まれて同軸上に配置されている場合、カメラの光軸とマイクアレイの物理的な中心軸とが共通する。これにより、カメラが撮像している映像中の被写体の会話をマイクアレイが収音する場合、マイクアレイが収音する方向を示す座標（水平角，垂直角）は、カメラが撮像している方向を示す座標（水平角，垂直角）をそのまま用いることができる。

ところが、カメラとマイクアレイとが別体として異なる位置に配置されている場合、カメラの光軸とマイクアレイの物理的な中心軸とが異なる。このため、カメラが撮像している映像中の被写体の会話をマイクアレイが収音する場合、マイクアレイが収音する方向を示す座標（水平角，垂直角）は、カメラが撮像している方向を示す座標（水平角，垂直角）をそのまま用いることができないという課題がある。

本発明は、上述した従来の課題を解決するために、マイクアレイ装置を基準として、カメラ装置が撮像する所定範囲の映像から指定された位置に対応する場所又は方向に向けて音声の収音指向性を形成し、該当方向の音声データを高精度に収音する指向性制御システム及び指向性制御方法を提供することを目的とする。

また、本発明は、所定の撮像範囲の映像を撮像するカメラ装置と、前記カメラ装置の撮像範囲の音声を収音するマイクアレイ装置とを同軸上に位置合わせする工程と、前記マイクアレイ装置の筐体中心に形成された開口部の周縁部に、前記カメラ装置を取り付ける工程と、前記開口部の内側への前記カメラ装置の取り付けにより、前記同軸に対して直交する平面における、前記カメラ装置及び前記マイクアレイ装置の各水平角の基準方向を一致させる工程と、を有するキャリブレーション方法である。

また、本発明は、所定の撮像範囲の映像を撮像するカメラ装置と、前記カメラ装置の撮像範囲の音声を収音するマイクアレイ装置とを同軸上に位置合わせする工程と、前記マイクアレイ装置の筐体中心に形成された開口部の周縁部に、前記カメラ装置を取り付ける工程と、前記マイクアレイ装置の水平角の基準方向を表す冶具を、前記マイクアレイ装置の筐体の対向する両端部に取り付ける工程と、前記カメラ装置により、前記冶具を撮像する工程と、前記冶具の撮影画像を基に、前記カメラ装置の水平角の基準方向と前記マイクアレイ装置の水平角の基準方向とのズレ量を算出する工程と、算出された前記ズレ量を用いて、前記マイクアレイ装置の収音方向の水平角を調整することで、前記同軸に対して直交する平面における、前記カメラ装置及び前記マイクアレイ装置の各水平角の基準方向を一致させる工程と、を有するキャリブレーション方法である。

本発明によれば、カメラ装置とマイクアレイ装置とを一体的に用いる場合に、カメラ装置の撮像方向を示す座標の水平角とマイクアレイ装置の収音方向を示す座標の水平角との各基準方向を一致させることができる。

（Ａ）、（Ｂ）本実施形態の指向性制御システムのシステム構成を示すブロック図 （Ａ）〜（Ｅ）マイクアレイ装置の外観図 マイクアレイ装置が音声の収音方向として所定方向θに収音指向性を形成する内容を説明する原理図 本実施形態の指向性制御システムの動作概要を示す図、（Ａ）１つのカメラ装置が画角の範囲内に映る被写体を撮像する様子と、マイクアレイ装置が収音方向に存在する被写体の人物の会話と収音方向に存在しないスピーカ装置が出力する音楽とを収音する様子とを示す図、（Ｂ）マイクアレイ装置から、ディスプレイ装置に表示された映像の中からユーザの指が指定した位置Ａ’に対応する収音範囲中心位置Ａに向かう方向を収音方向として収音された音声データがスピーカ装置から出力される様子を示す図 本実施形態の指向性制御システムの初期設定（キャリブレーション）の動作手順を説明するフローチャート 本実施形態の指向性制御システムの指向性制御装置がマイクアレイ装置の収音方向を算出する動作手順を説明するフローチャート 第１の算出方法におけるマイクアレイ装置の収音方向を算出するための基準点Ｏと指定された位置Ａ’とのディスプレイ装置の画面上における位置関係を示す説明図 第１の算出方法の指向性制御システムのカメラ装置、マイクアレイ装置、基準点Ｏ及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＫ−Ｋ’線における垂直方向断面図 第１の算出方法の指向性制御システムのカメラ装置、マイクアレイ装置、基準点Ｏ及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＱ−Ｑ’線における垂直方向断面図 第１の算出方法の指向性制御システムのカメラ装置、マイクアレイ装置、基準点Ｏ及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＲ−Ｒ’線における垂直方向断面図 第２の算出方法におけるマイクアレイ装置の収音方向を算出するための基準点Ｏと指定された位置Ａ’とのディスプレイ装置の画面上における位置関係を示す説明図 第２の算出方法の指向性制御システムのカメラ装置、マイクアレイ装置、マーカ位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＫ−Ｋ’線における垂直方向断面図 第２の算出方法の指向性制御システムのカメラ装置、マイクアレイ装置、マーカ位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＲ−Ｒ’線における垂直方向断面図 第３の算出方法の指向性制御システムのカメラ装置、マイクアレイ装置、音源位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＫ−Ｋ’線における垂直方向断面図 第３の算出方法の指向性制御システムのカメラ装置、マイクアレイ装置、音源位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＱ−Ｑ’線における垂直方向断面図 第３の算出方法の指向性制御システムのカメラ装置、マイクアレイ装置、音源位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＲ−Ｒ’線における垂直方向断面図 第４の算出方法のマイクアレイ装置とカメラ装置とが専用冶具を用いて連結して設置された場合のマイクアレイ装置とカメラ装置と収音範囲中心位置Ａとの位置関係を示す説明図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＫ−Ｋ’線における垂直方向断面図 第４の算出方法のマイクアレイ装置とカメラ装置とが専用冶具を用いて連結して設置された場合のマイクアレイ装置とカメラ装置と収音範囲中心位置Ａとの位置関係を示す説明図、（Ａ）斜視図、（Ｂ）水平方向上面図、（Ｃ）（Ｂ）のＱ−Ｑ’線における垂直方向断面図 （Ａ）、（Ｂ）マイクアレイ装置とカメラ装置とが設置された天井が水平面に対してα_Ｍｖの方向に傾いている場合の収音方向の垂直角の説明図、（Ｃ）マイクアレイ装置の収音方向θ_ＭＡｖの説明図 （Ａ）第２の実施形態の収音システムにおけるキャリブレーション方法を表す模式図、（Ｂ）全方位カメラ装置を鉛直方向の下側から見た平面図、（Ｃ）全方位マイクアレイ装置を鉛直方向の下側から見た平面図 （Ａ）第３の実施形態の収音システムにおけるキャリブレーション方法を表す模式図、（Ｂ）全方位カメラ装置を鉛直方向の下側から見た平面図、（Ｃ）全方位マイクアレイ装置を鉛直方向の下側から見た平面図 第４の実施形態の収音システムにおけるキャリブレーション方法を表す模式図 （Ａ）取付部材に全方位カメラ装置と全方位マイクアレイ装置とが取り付けられた状態を示す平面図、（Ｂ）図２３（Ａ）のＥ−Ｅ断面図 （Ａ）固定ピンが係合孔に係合する様子を表す側面図、（Ｂ）係合孔に挿通された固定ピンが移動する様子を表す平面図及び側面図、（Ｃ）固定ピンが係合孔において係止された様子を表す平面図及び側面図 （Ａ）第５の実施形態のキャリブレーション方法において冶具を全方位マイクアレイ装置に取り付ける様子を示す側面図、（Ｂ）冶具の全方位マイクアレイ装置への取り付けが完了した様子を示す側面図、（Ｃ）冶具の全方位マイクアレイ装置への取り付けが完了した収音システムの外観斜視図 全方位カメラ装置の撮像画像に冶具が映った様子を示す図 （Ａ）キャリブレーション用全方位カメラ装置と全方位マイクアレイ装置とが一体的に取り付けられる場合の第６の実施形態の収音システムのシステム概要図、（Ｂ）全方位マイクアレイ装置の収音方向の水平角の基準方向とキャリブレーション用全方位カメラ装置の撮像方向の水平角の基準方向とが一致するように全方位マイクアレイ装置が取り付けられる場合の第６の実施形態の収音システムのシステム概要図 （Ａ）図２７（Ａ）に示す収音システムのシステム構成の一例を示すブロック図、（Ｂ）図２７（Ｂ）に示す収音システムのシステム構成の一例を示すブロック図 全方位マイクアレイ装置から、ディスプレイ装置に表示された画像の中からユーザの指が指定した指定位置Ａ’に対応する音声収音位置Ａに向かう方向を収音方向として収音された音声データがスピーカ装置から出力される様子を示す図 （Ａ）第６の実施形態の収音システムにおける第１水平偏差角ε_Ｃｈ、第２水平偏差角ε_Ｋｈの算出及び収音指向性の形成に関する動作手順を説明するフローチャート、（Ｂ）図３０（Ａ）に示すステップＳＴ２０のキャリブレーションの動作手順を詳細に説明するフローチャート 第６の実施形態における全方位カメラ装置、キャリブレーション用全方位カメラ装置、及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）図３１（Ａ）中の上側から鉛直下方向を見た場合の平面図、（Ｃ）図３１（Ｂ）のＰ−Ｐ’線における垂直方向断面図 第６の実施形態における全方位カメラ装置、キャリブレーション用全方位カメラ装置、及び収音範囲中心位置Ａの各位置関係を示す図、（Ａ）斜視図、（Ｂ）図３２（Ａ）中の上側から鉛直下方向を見た場合の平面図、（Ｃ）図３１（Ｂ）のＱ−Ｑ’線における垂直方向断面図 第７の実施形態の収音システムのシステム構成を示すブロック図 （Ａ）収音システムが設置された収音空間Ｋ内において、カメラ装置が対象物を撮像する様子と、全方位マイクアレイ装置が収音指向方向に存在する対象物の会話と収音指向方向に存在しないスピーカ装置からの出力音楽とを収音する様子とを示す図、（Ｂ）全方位マイクアレイ装置から、ディスプレイ装置に表示された映像データからユーザの指ＦＧにより指定された指定位置Ａ’に対応する対象音源位置Ａに向かう収音指向方向の収音音声（例えば「Ｈｅｌｌｏ」）の音量レベルがスピーカ装置からの出力音楽（例えば「♪」）の音量レベルよりも大きく音声出力される様子を示す図 （Ａ）第７の実施形態の収音システムの初期設定の動作手順を説明するフローチャート、（Ｂ）第７の実施形態の収音システムの初期設定後の動作手順を説明するフローチャート （Ａ）カメラ装置、全方位マイクアレイ装置、基準点Ｏ及び対象音源位置Ａの各位置を示す斜視図、（Ｂ）図３６（Ａ）の鉛直上方向から鉛直下方向を見た水平方向平面図、（Ｃ）図３６（Ｂ）のＫ−Ｋ’線による垂直方向断面図 （Ａ）カメラ装置、全方位マイクアレイ装置、基準点Ｏ及び対象音源位置Ａの各位置を示す斜視図、（Ｂ）図３７（Ａ）の鉛直上方向から鉛直下方向を見た水平方向平面図、（Ｃ）図３７（Ｂ）のＱ−Ｑ’線による垂直方向断面図 （Ａ）第８の実施形態の収音システムのシステム構成を示すブロック図、（Ｂ）ディスプレイ装置に表示された、映像データの表示画面ＷＤ１と対象音源位置の床面からの高さを選択させるための選択画面ＷＤ２とを示す図 （Ａ）第８の実施形態の収音システムの初期設定の動作手順を説明するフローチャート、（Ｂ）第８の実施形態の収音システムの初期設定後の動作手順を説明するフローチャート （Ａ）第９の実施形態の収音システムのシステム構成を示すブロック図、（Ｂ）ディスプレイ装置に表示された、映像データの表示画面ＷＤ１と対象音源位置の床面からの高さを入力させるための入力フォーム画面ＷＤ３とを示す図 （Ａ）第９の実施形態の収音システムの初期設定の動作手順を説明するフローチャート、（Ｂ）第９の実施形態の収音システムの初期設定後の動作手順を説明するフローチャート （Ａ）第１０の実施形態の収音システムのシステム構成を示すブロック図、（Ｂ）ディスプレイ装置に表示された映像データの表示画面ＷＤ４において第１指定位置Ａ１’と第２指定位置Ａ２’とが指定される様子を示す図 （Ａ）第１０の実施形態の収音システムの初期設定の動作手順を説明するフローチャート、（Ｂ）第１０の実施形態の収音システムの初期設定後の動作手順を説明するフローチャート （Ａ）カメラ装置から、床面ＢＬ上に存在している対象物（人物）の対象音源位置Ａ１及び対象音源位置Ａ１から鉛直下方向の床面ＢＬ上の位置Ａ２への距離及び方向の説明図、（Ｂ）カメラ装置と対象音源位置Ａ１及び床面ＢＬ上の位置Ａ２とを鉛直上方向から鉛直下方向に見た平面図、（Ｃ）図４４（Ｂ）のＡ−Ａ’断面図 （Ａ）カメラ装置１１から、床面ＢＬ上に設置された台ＲＣ上に存在している対象物（人物）の対象音源位置Ａ１及び対象音源位置Ａ１から鉛直下方向の台ＲＣ上の位置Ａ２への距離及び方向の説明図、（Ｂ）カメラ装置１１と対象音源位置Ａ１及び台ＲＣ上の位置Ａ２とを鉛直上方向から鉛直下方向に見た平面図、（Ｃ）図４５（Ｂ）のＡ−Ａ’断面図 従来の監視システムにおける課題の説明図 第１１の実施形態の収音システムのシステム構成を示すブロック図 （Ａ）第１１の実施形態の収音システムの動作概要を示す図、（Ｂ）全方位マイクアレイ装置から、ディスプレイ装置に表示された撮像画像データの中で指定された指定位置Ａ’に対応する目的音源位置Ａに向かう収音方向に存在する人物の音声の音量レベルが、収音方向に存在していないスピーカ装置の音声の音量レベルより大きく出力される様子を示す図 （Ａ）第１１の実施形態の収音システムの動作手順の全体を説明するフローチャート、（Ｂ）第１１の実施形態の収音システムのキャリブレーションの動作手順を詳細に説明するフローチャート 第１１の実施形態における第１のキャリブレーション方法の説明図 （Ａ）第１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの位置関係を示す図、（Ｂ）図５１（Ａ）の水平方向上面図、（Ｃ）図５１（Ｂ）のＫ−Ｋ’線における垂直方向断面図 （Ａ）第１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図５２（Ａ）の水平方向上面図、（Ｃ）図５２（Ｂ）のＱ−Ｑ’線における垂直方向断面図 （Ａ）第１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図５３（Ａ）の水平方向上面図、（Ｃ）図５３（Ｂ）のＲ−Ｒ’線における垂直方向断面図 第１１の実施形態における第２のキャリブレーション方法の説明図 （Ａ）第２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの位置関係を示す図、（Ｂ）図５５（Ａ）の水平方向上面図、（Ｃ）図５５（Ｂ）のＫ−Ｋ’線における垂直方向断面図 （Ａ）第２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図５６（Ａ）の水平方向上面図、（Ｃ）図５６（Ｂ）のＱ−Ｑ’線における垂直方向断面図 （Ａ）第２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図５７（Ａ）の水平方向上面図、（Ｃ）図５７（Ｂ）のＲ−Ｒ’線における垂直方向断面図 第１１の実施形態における第３のキャリブレーション方法の説明図 （Ａ）第３のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図、（Ｂ）図５９（Ａ）の水平方向上面図、（Ｃ）図５９（Ｂ）のＫ−Ｋ’線における垂直方向断面図 第１１の実施形態における第４のキャリブレーション方法の説明図 （Ａ）第４のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図、（Ｂ）図６１（Ａ）の水平方向上面図、（Ｃ）図６１（Ｂ）のＫ−Ｋ’線における垂直方向断面図 第１１の実施形態における第５のキャリブレーション方法の説明図 （Ａ）第５のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫ３の位置関係を示す図、（Ｂ）図６３（Ａ）の水平方向上面図、（Ｃ）図６３（Ｂ）のＫ−Ｋ’線における垂直方向断面図 第１１の実施形態における第６のキャリブレーション方法の説明図 （Ａ）第６のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの位置関係を示す図、（Ｂ）図６５（Ａ）の水平方向上面図、（Ｃ）図６５（Ｂ）のＫ−Ｋ’線における垂直方向断面図 （Ａ）第６のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図６６（Ａ）の水平方向上面図、（Ｃ）図６６（Ｂ）のＱ−Ｑ’線における垂直方向断面図 （Ａ）第６のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図６７（Ａ）の水平方向上面図、（Ｃ）図６７（Ｂ）のＲ−Ｒ’線における垂直方向断面図 第１１の実施形態における第７のキャリブレーション方法の説明図 （Ａ）第７のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図、（Ｂ）図６９（Ａ）の水平方向上面図、（Ｃ）図６９（Ｂ）のＫ−Ｋ’線における垂直方向断面図 （Ａ）第７のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図７０（Ａ）の水平方向上面図、（Ｃ）図７０（Ｂ）のＱ−Ｑ’線における垂直方向断面図 （Ａ）第７のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図７１（Ａ）の水平方向上面図、（Ｃ）図７１（Ｂ）のＲ−Ｒ’線における垂直方向断面図 第１１の実施形態における第８のキャリブレーション方法の説明図 （Ａ）第８のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２、キャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図、（Ｂ）図７３（Ａ）の水平方向上面図、（Ｃ）図７３（Ｂ）のＫ−Ｋ’線における垂直方向断面図 第１１の実施形態における第９のキャリブレーション方法の説明図 （Ａ）第９のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図、（Ｂ）図７５（Ａ）の水平方向上面図、（Ｃ）図７５（Ｂ）のＫ−Ｋ’線における垂直方向断面図 第１１の実施形態における第１０のキャリブレーション方法の説明図 （Ａ）第１０のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの位置関係を示す図、（Ｂ）図７７（Ａ）の水平方向上面図、（Ｃ）図７７（Ｂ）のＫ−Ｋ’線における垂直方向断面図 （Ａ）第１０のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図７８（Ａ）の水平方向上面図、（Ｃ）図７８（Ｂ）のＱ−Ｑ’線における垂直方向断面図 （Ａ）第１０のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図、（Ｂ）図７９（Ａ）の水平方向上面図、（Ｃ）図７９（Ｂ）のＲ−Ｒ’線における垂直方向断面図 部屋の壁面に取り付けられたカメラと、部屋の天井面に取り付けられた全方位マイクアレイ装置と、音源位置との位置関係を示す説明図 ＰＴＺカメラのカメラ座標系から変換した全方位マイクアレイ装置のマイク座標系を用いて算出される、全方位マイクアレイ装置から音源の位置に向かう水平角及び垂直角の説明図 （Ａ）第１１のキャリブレーション方法において用いられるキャリブレーション用床置きマーカＭＡＫ４の平面図、（Ｂ）ＰＴＺカメラ装置１のフォーカス機能による点Ｏ及び点Ｘの拡大画面 （Ａ）第１１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図、（Ｂ）図８３（Ａ）の水平方向上面図、（Ｃ）図８３（Ｂ）のＫ−Ｋ’断面図 （Ａ）第１１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図、（Ｂ）図８４（Ａ）の水平方向上面図、（Ｃ）図８４（Ｂ）のＬ−Ｌ’断面図 （Ａ）第１２のキャリブレーション方法において用いられるキャリブレーション用床置きマーカＭＡＫ４の平面図、（Ｂ）ＰＴＺカメラ装置１のフォーカス機能による点Ｏ及び点Ｘの拡大画面 （Ａ）第１２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図、（Ｂ）図８６（Ａ）の水平方向上面図、（Ｃ）図８６（Ｂ）のＫ−Ｋ’断面図 （Ａ）第１２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図、（Ｂ）図８７（Ａ）の水平方向上面図、（Ｃ）図８７（Ｂ）のＬ−Ｌ’断面図 （Ａ）第１３のキャリブレーション方法において用いられるキャリブレーション用床置きマーカＭＡＫ４の平面図、（Ｂ）ＰＴＺカメラ装置１のフォーカス機能による点Ｏ、点Ｏ’及び点Ｘの拡大画面 （Ａ）第１３のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図、（Ｂ）図８９（Ａ）の水平方向上面図、（Ｃ）図８９（Ｂ）のＫ−Ｋ’断面図 （Ａ）第１３のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図、（Ｂ）図９０（Ａ）の水平方向上面図、（Ｃ）図９０（Ｂ）のＬ−Ｌ’断面図 （Ａ）角度メモリ付きのキャリブレーション用床置きマーカＭＡＫ５の平面図、（Ｂ）ＰＴＺカメラ装置１のフォーカス機能による点Ｏ及び点Ｏ’の拡大画面

以下、本発明に係る指向性制御システム及び指向性制御方法の実施形態について、図面を参照して説明する。本実施形態の指向性制御システムは、例えば工場、公共施設（例えば図書館、イベント会場）、又は店舗（例えば小売店、銀行）に設置される監視システム（有人監視システム及び無人監視システムを含む）として用いられる。

なお、本発明は、指向性制御システムを構成する各装置（例えば後述する指向性制御装置）、又は指向性制御システムを構成する各装置が行う各動作（ステップ）を有する指向性制御方法として表現することも可能である。

（第１の実施形態）
（指向性制御システムのシステム構成）
図１（Ａ）及び図１（Ｂ）は、本実施形態の指向性制御システム１０，１０Ａのシステム構成を示すブロック図である。図１（Ａ）に示す指向性制御システム１０は、少なくとも１つのカメラ装置１１，…，１ｎと、マイクアレイ装置（又は全方位マイクアレイ装置）２と、指向性制御装置３とを含む構成である。以下、ｎはカメラ装置の台数を表し、１以上の整数である。カメラ装置１１〜１ｎと、マイクアレイ装置２と、指向性制御装置３とは、ネットワークＮＷ１を介して相互に接続されている。

また、図１（Ｂ）に示す指向性制御システム１０Ａは、少なくとも１つのカメラ装置１１，…，１ｎと、マイクアレイ装置２と、指向性制御装置３と、レコーダ装置４とを含む構成である。カメラ装置１１〜１ｎと、マイクアレイ装置２と、指向性制御装置３と、レコーダ装置４とは、ネットワークＮＷ２を介して相互に接続されている。

以下、指向性制御システム１０の各部の動作を主に説明し、指向性制御システム１０Ａの各部の動作については指向性制御システム１０の各部の動作と異なる内容について説明する。

少なくとも１つの撮像部としてのカメラ装置１１〜１ｎは、ネットワークＮＷ１に接続され、例えばイベント会場の室内の天井面や壁面（図８１参照）又はスタンド（図４（Ａ）参照）に固定して設置される監視カメラであり、ネットワークＮＷ１を介して接続された監視システム制御室（不図示）からの遠隔操作によってパン動作、チルト動作、ズーム動作（例えばズームイン、ズームアウト）、撮像映像において指定された特定位置との測距動作及び測角動作を行う。

カメラ装置１１〜１ｎは、光軸ＣＸを中心とした既定の画角ＣＡＲの範囲内に存在する監視対象の位置の映像（静止画及び動画を含む。以下同様）を撮像する。カメラ装置１１〜１ｎは、撮像した映像データと後述する収音方向（θ_ＭＡｈ，θ_ＭＡｖ）を算出するための入力パラメータを、ネットワークＮＷ１を介して、指向性制御装置３又はレコーダ装置４に送信する。

収音部としてのマイクアレイ装置２は、ネットワークＮＷ１に接続され、例えばイベント会場の室内の天井や壁面又はスタンド（図４（Ａ）参照）に固定して設置され、複数のマイクロホン２２，２３（図２参照）が一様に設けられたマイクロホンと各マイクロホンの動作を制御するための制御部（不図示）とを少なくとも含む構成である。

マイクアレイ装置２は、各々のマイクロホン（又はマイクロホンユニット）２２，２３を用いて、監視対象となる収音方向の音声を収音し、各々のマイクロホン２２，２３が収音した音声データを、ネットワークＮＷ１又はネットワークＮＷ２を介して、指向性制御装置３又はレコーダ装置４に送信する。

マイクアレイ装置２は、後述する信号処理部３３からの指向性形成指示に応じて、信号処理部３３が導出（以下、「算出」という）した収音方向（θ_ＭＡｈ，θ_ＭＡｖ）に、各々のマイクロホン２２，２３の収音指向性を形成する。

これにより、マイクアレイ装置２は、収音指向性が形成された収音方向（θ_ＭＡｈ，θ_ＭＡｖ）から収音した音声データの音量レベルを増大でき、収音指向性が形成されない方向から収音した音声データの音量レベルを低減できる。なお、収音方向（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法については後述する。

マイクアレイ装置２の外観については、図２を参照して後述する。なお、マイクアレイ装置２の各マイクロホン２２，２３は、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン、超指向性マイクロホン（例えばガンマイク）又はこれらの組み合わせが用いられても良い。

ネットワークＮＷ１，ＮＷ２は、有線通信ネットワーク（例えばイントラネット、インターネット）、又は無線通信ネットワーク（例えば無線ＬＡＮ（Local Area Network））である。

指向性制御装置３は、ネットワークＮＷ１又はネットワークＮＷ２に接続され、例えば監視システム制御室（不図示）に設置される据置型のＰＣ（Personal Computer）でも良いし、ユーザが携帯可能な携帯電話機、タブレット端末、スマートフォンでも良い。

指向性制御装置３は、通信部３１と、操作部３２と、信号処理部３３と、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８とを少なくとも含む構成である。信号処理部３３は、座標変換処理部３４ｚと、出力制御部３５とを少なくとも含む。

通信部３１は、ネットワークＮＷ１又はネットワークＮＷ２を介して、カメラ装置１１〜１ｎ又はマイクアレイ装置２が送信した映像データ又は音声データを受信して信号処理部３３に出力する。

操作部３２は、ユーザの入力操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部３２は、例えばディスプレイ装置３６の画面に対応して配置され、ユーザの指ＦＧ又はスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。

操作部３２は、ユーザの入力操作に応じて、ユーザが音量レベルの増大又は低減を所望する範囲、即ち図４（Ｂ）に示す位置Ａ’又は範囲Ｂを表す座標データを信号処理部３３に出力する。

信号処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、指向性制御装置３の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。

座標変換処理部３４ｚは、操作部３２が出力した位置Ａ’又は範囲Ｂを表す座標データを用いて、マイクアレイ装置２の設置位置から後述する収音範囲中心位置（又は音声位置）Ａに向かう方向を表す座標（θ_ＭＡｈ，θ_ＭＡｖ）を収音方向として算出する。収音方向（θ_ＭＡｈ，θ_ＭＡｖ）のうち、θ_ＭＡｈはマイクアレイ装置２から収音範囲中心位置Ａに向かう俯角θ_ＭＡの水平角を表し、θ_ＭＡｖはマイクアレイ装置２から収音範囲中心位置Ａに向かう俯角θ_ＭＡの垂直角を表す。なお、収音方向（θ_ＭＡｈ，θ_ＭＡｖ）の算出処理については図面を参照して詳しく後述する。

なお、収音範囲中心位置Ａは、操作部３２がディスプレイ装置３６の画面においてユーザの指ＦＧ又はスタイラスペンによって指定された位置Ａ’に対応する実際の監視対象となる現場の位置である。

出力制御部３５は、ディスプレイ装置３６及びスピーカ装置３７の動作を制御し、カメラ装置１１〜１ｎから送信された映像データをディスプレイ装置３６に再生出力させ、マイクアレイ装置２から送信された音声データをスピーカ装置３７に音声出力させる。

表示部としてのディスプレイ装置３６は、カメラ装置１１〜１ｎが撮像した映像データを画面に表示する。

音声出力部としてのスピーカ装置３７は、マイクアレイ装置２が収音した音声データ、又は座標変換処理部３４ｚが算出した収音方向（θ_ＭＡｈ，θ_ＭＡｖ）に収音指向性が形成された後にマイクアレイ装置２が収音した音声データを音声出力する。なお、ディスプレイ装置３６及びスピーカ装置２７は、指向性制御装置３とは別々の構成としても良い。

メモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、指向性制御装置３の各部の動作時のワークメモリとして機能する。

レコーダ装置４は、カメラ装置１１〜１ｎが撮像した映像データと、マイクアレイ装置２が収音した音声データとを記録する。レコーダ装置４は、カメラ装置１１〜１ｎが撮像した映像データと、マイクアレイ装置２が収音した音声データとを対応付けて記録する。なお、ネットワークＮＷ１，ＮＷ２が相互に接続され、指向性制御システム１０−１０Ａ間において、各種データが転送されても良い。

図２（Ａ）〜図２（Ｅ）は、マイクアレイ装置２の外観図である。図２（Ａ）〜図２（Ｅ）に示すマイクアレイ装置２は、外観及び複数のマイクロホンの配置位置が異なり、マイクアレイ装置２自身の機能とは同等である。

図２（Ａ）に示すマイクアレイ装置２は、円盤状の筐体２１に配置された複数のマイクロホン２２，２３を含む構成である。複数のマイクロホン２２，２３は筐体２１の面上に沿って配置されている。具体的には、筐体２１と同一の中心を有する大きい円状に沿って複数のマイクロホン２２が、筐体２１と同一の中心を有する小さい円状に沿って複数のマイクロホン２３が、同心円状に配置されている。

大きい円状に沿って配置された複数のマイクロホン２２は、互いの間隔が広く、直径が大きく、低い音域に適した特性を有する。一方、小さい円状に沿って配置された複数のマイクロホン２３は、互いの間隔が狭く、直径が小さく、高い音域に適した特性を有する。

図２（Ｂ）に示すマイクアレイ装置２Ａは、円盤状の筐体２１の面上に、複数のマイクロホン２２が縦横に一様に配列された構成である。マイクアレイ装置２Ａは、複数のマイクロホン２２が縦横の直線状に配置されているので、音声データの収音指向性の形成処理の演算量を低減できる。なお、縦方向又は横方向の１列だけに、複数のマイクロホン２２が配置されても良い。

図２（Ｃ）に示すマイクアレイ装置２Ｂは、図２（Ａ）に示すマイクアレイ装置２に比べ、円盤状の筐体２１Ｂの径が小さいが、円盤状の筐体２１Ｂの面上に複数のマイクロホン２２が円状に沿って一様に配置された構成である。各々のマイクロホン２２の間隔が短いので、マイクアレイ装置２Ｂは、高い音域に適した特性を有する。

図２（Ｄ）に示すマイクアレイ装置２Ｃは、内側に開口部２１ａが形成されたドーナツ型形状の筐体２１Ｃと、同筐体２１Ｃに一様に設けられた複数のマイクロホン２２とを含む構成である。複数のマイクロホン２２は、筐体２１Ｃに対して同心円状に沿って配置されている。なお、開口部２１ａの内側には、例えばカメラ装置（例えば全方位カメラ装置）が挿通した状態にて取り付けられても良い。

図２（Ｅ）に示すマイクアレイ装置２Ｄは、矩形を有する筐体２１Ｄの面上に、複数のマイクロホン２２が矩形に沿って一様に配置されている。筐体２１Ｄが矩形に形成されているので、コーナー等の場所であってもマイクアレイ装置２Ｄの設置を簡易化できる。

図３は、マイクアレイ装置２が音声の収音方向として所定方向θに収音指向性を形成する内容を説明する原理図である。図３では、遅延和方式を用いた指向性制御処理の原理について簡単に説明する。音源８０から発した音波は、マイクアレイ装置２の各マイクロホン２２１，２２２，２２３，…，２２（ｎ−１），２２ｎに対し、ある一定の角度（入射角＝（９０−θ）［度］）で入射する。図３に示す入射角θは、マイクアレイ装置２から収音範囲中心位置Ａに向かう俯角θ_ＭＡの水平角θ_ＭＡｈでも垂直角θ_ＭＡｖでも良い。

音源８０は、例えばマイクアレイ装置２が収音する収音方向に存在するカメラ装置１１の被写体の会話であり、マイクアレイ装置２の筐体２１の面上に対し、所定角度θの方向に存在する。また、マイクロホン２２１，２２２，２２３，…，２２（ｎ−１），２２ｎ間の間隔ｄは一定とする。

音源８０から発した音波は、最初にマイクロホン２２１に到達して収音され、次にマイクロホン２２２に到達して収音され、同様に次々に収音され、最後にマイクロホン２２ｎに到達して収音される。

なお、マイクアレイ装置２の各マイクロホン２２１，２２２，２２３，…，２２（ｎ−１），２２ｎの位置から音源８０に向かう方向は、例えば音源８０が人物の会話時の音声である場合に、各マイクロホンからユーザがディスプレイ装置３６の画面上に指定した位置に対応する収音範囲中心位置に向かう方向と同じである。

ここで、音波がマイクロホン２２１，２２２，２２３，…，２２（ｎ−１）に到達した時刻から最後に収音されたマイクロホン２２ｎに到達した時刻までには、到達時間差τ１，τ２，τ３，…，τｎ−１が生じる。このため、各々のマイクロホン２２１，２２２，２２３，…，２２（ｎ−１），２２ｎが収音した音声データがそのまま加算された場合には、位相がずれたまま加算されるため、音波の音量レベルが全体的に弱め合うことになってしまう。

なお、τ１は音波がマイクロホン２２１に到達した時刻と音波がマイクロホン２２ｎに到達した時刻との差分の時間であり、τ２は音波がマイクロホン２２２に到達した時刻と音波がマイクロホン２２ｎに到達した時刻との差分の時間であり、同様に、τｎ−１は音波がマイクロホン２２（ｎ−１）に到達した時刻と音波がマイクロホン２２ｎに到達した時刻との差分の時間である。

本実施形態では、マイクアレイ装置２は、マイクロホン２２１，２２２，２２３，…，２２（ｎ−１），２２ｎ毎に対応して設けられたＡ／Ｄ変換器２４１，２４２，２４３，…，２４（ｎ−１），２４ｎと、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎと、加算器２６と、を有する構成である（図３参照）。

即ち、マイクアレイ装置２は、各マイクロホン２２１，２２２，２２３，…，２２（ｎ−１），２２ｎが収音したアナログの音声データを、Ａ／Ｄ変換器２４１，２４２，２４３，…，２４（ｎ−１），２４ｎにおいてデジタルの音声データにＡＤ変換する。

更に、マイクアレイ装置２は、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎにおいて、各々のマイクロホン２２１，２２２，２２２，…，２２（ｎ−１），２２ｎにおける到達時間差に対応する遅延時間を与えて位相を揃えた後、加算器２６において遅延処理後の音声データを加算する。これにより、マイクアレイ装置２は、各マイクロホン２２１，２２２，２２３,…，２２（ｎ−１）,２２ｎに、所定角度θの方向に音声データの収音指向性を形成できる。

例えば図３では、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎに設定された各遅延時間Ｄ１，Ｄ２，Ｄ３，…，Ｄ（ｎ−１），Ｄｎは、それぞれ到達時間差τ１，τ２，τ３，…，τ（ｎ−１）に相当し、数式（１）により示される。

Ｌ１は、マイクロホン２２１とマイクロホン２２ｎとにおける音波到達距離の差である。Ｌ２は、マイクロホン２２２とマイクロホン２２ｎとにおける音波到達距離の差である。Ｌ３は、マイクロホン２２３とマイクロホン２２ｎとにおける音波到達距離の差であり、同様に、Ｌ（ｎ−１）は、マイクロホン２２（ｎ−１）とマイクロホン２２ｎとにおける音波到達距離の差である。Ｖｓは音波の速度（音速）である。Ｌ１,Ｌ２，Ｌ３，…，Ｌ（ｎ−１），Ｖｓは既知の値である。図３では、遅延器２５ｎに設定される遅延時間Ｄｎは０（ゼロ）である。

このように、マイクアレイ装置２は、遅延器２５１，２５２，２５３，…，２５（ｎ−１），２５ｎに設定される遅延時間Ｄ１，Ｄ２，Ｄ３，…，Ｄｎ−１，Ｄｎを変更することで、各々のマイクロホン２２，２３が収音した音声データの収音指向性を簡易に形成することができる。

なお、図３に示す説明の処理は、マイクアレイ装置２が行うことを前提として説明したが、信号処理部３３が同様にマイクロホンの数と同数のＡＤ変換器及び遅延器と１つの加算器とを有する構成であれば、信号処理部３３が上述した処理を行っても良い。

次に、本実施形態の指向性制御システム１０の動作概要について、図４（Ａ）及び図４（Ｂ）を参照して説明する。図４は、本実施形態の指向性制御システム１０の動作概要を示す図である。図４（Ａ）は、１つのカメラ装置１１が画角ＣＡＲの範囲内に映る被写体を撮像する様子と、マイクアレイ装置２が収音方向に存在する被写体の人物の会話と収音方向に存在しないスピーカ装置ＳＰが出力する音楽とを収音する様子とを示す図である。図４（Ｂ）は、マイクアレイ装置２から、ディスプレイ装置３６に表示された映像の中からユーザの指ＦＧが指定した位置Ａ’に対応する収音範囲中心位置Ａに向かう方向を収音方向として収音された音声データがスピーカ装置３７から出力される様子を示す図である。

指向性制御システム１０では、カメラ装置１１は、既定された画角ＣＡＲの範囲内に映る被写体（例えば２人の人物）及びスピーカ装置ＳＰを撮像する。マイクアレイ装置２は、周囲の音声を収音する。図４（Ａ）では、被写体の２人の人物は会話しており、スピーカ装置ＳＰは音楽（♪〜）を音声出力している。カメラ装置１１が撮像した映像データは、指向性制御装置３のディスプレイ装置３６に表示される（図４（Ｂ）参照）。

ここで、ユーザの指ＦＧがディスプレイ装置３６の位置Ａ’、即ち会話している２人の人物の略中心位置又は範囲Ｂを指定すると、指向性制御装置３は、位置Ａ’又は範囲Ｂを表す座標データを用いて、マイクアレイ装置２の設置位置から収音範囲中心位置Ａに向かう方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）を、マイクアレイ装置２の収音方向として算出する。マイクアレイ装置２は、指向性制御装置３が算出した（θ_ＭＡｈ，θ_ＭＡｖ）の座標データを用いて、マイクアレイ装置２から収音範囲中心位置Ａに向かう方向に、収音指向性ＭＩＸを形成する。

従って、マイクアレイ装置２は、収音指向性ＭＩＸが形成された方向に存在する２人の人物の会話（Ｈｅｌｌｏ）の音量レベルを、収音指向性ＭＩＸが形成された方向に存在しないスピーカ装置ＳＰの音楽（♪〜）の音量レベルより増大できる。

これにより、指向性制御装置３は、スピーカ装置３７に、収音指向性ＭＩＸが形成された方向に存在する２人の人物の会話（Ｈｅｌｌｏ）の音量レベルを、収音指向性ＭＩＸが形成された方向に存在しないスピーカ装置ＳＰの音楽（♪〜）の音量レベルより大きく音声出力させることができる（図４（Ｂ）参照）。

次に、本実施形態の指向性制御システム１０，１０Ａの初期設定（キャリブレーション）について、図５を参照して説明する。図５は、本実施形態の指向性制御システム１０，１０Ａの初期設定（キャリブレーション）の動作手順を説明するフローチャートである。初期設定（キャリブレーション）は、マイクアレイ装置２が形成する収音指向性の方向を指向性制御装置３の信号処理部３３が算出するために必要となる入力パラメータを取得する動作を含む。

以下、説明を簡単にするために、指向性制御システム１０，１０Ａのうち指向性制御システム１０を例示し、更に、指向性制御システム１０は１つのカメラ装置１１を含む構成であるとして説明する。

図５において、指向性制御システム１０を構成するカメラ装置１１及びマイクアレイ装置２が所定の位置（例えばイベント会場の室内の天井面や壁面又はスタンド）に固定するように初期設置される（ＳＴ１）。本実施形態では、カメラ装置１１及びマイクアレイ装置２はそれぞれ異なる位置に設置される。

カメラ装置１１及びマイクアレイ装置２が初期設置された後、信号処理部３３がマイクアレイ装置２の収音方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出するために必要となる各入力パラメータの測定が行われる（ＳＴ２）。ステップＳＴ２では、ユーザが測定器（例えばレーザ距離計）を用いて測定する場合、又はカメラ装置１１がカメラ装置１１自身の公知技術の機能を用いて測定して取得する場合、或いは設置空間（例えば建物）の設計図（レイアウト）を用いて取得する場合が含まれる。ステップＳＴ２における各入力パラメータは後述する実施形態毎に異なるので、各入力パラメータの詳細な内容は後述する。

ステップＳＴ２の後、ステップＳＴ２において測定された各入力パラメータが指向性制御装置３の信号処理部３３に入力される（ＳＴ３）。例えばカメラ装置１１は、カメラ装置１１自身の公知技術の機能によって取得した入力パラメータを指向性制御装置３の通信部３１に送信する。通信部３１は、カメラ装置１１が送信した入力パラメータを信号処理部３３に出力する。

また、マイクアレイ装置２は、マイクアレイ装置２自身の公知技術の機能によって取得した入力パラメータを指向性制御装置３の通信部３１に送信する。通信部３１は、マイクアレイ装置２が送信した入力パラメータを信号処理部３３に出力する。

また、指向性制御装置３を操作するユーザの入力操作に応じて、操作部３２が入力パラメータを信号処理部３３に出力する。

信号処理部３３は、ステップＳＴ３において取得した各入力パラメータをメモリ３８に一時的に保存する（ＳＴ４）。以上により、指向性制御システム１０の初期設定（キャリブレーション）の動作は終了する。

次に、本実施形態の指向性制御システム１０の指向性制御装置３がマイクアレイ装置２の収音方向を算出する動作手順について、図６，８０，８１を参照して説明する。図６は、本実施形態の指向性制御システム１０の指向性制御装置３がマイクアレイ装置２の収音方向を算出する動作手順を説明するフローチャートである。図６では、本実施形態の指向性制御システム１０の指向性制御装置３がマイクアレイ装置２の収音方向を算出する全体的な動作手順が示され、図８０，８１では基本的な算出の考え方を示す。詳細な算出過程については図７以降を参照して後述する。

図６において、指向性制御装置３は、ディスプレイ装置３６の画面に表示されている映像データの中から任意の位置Ａ’又は範囲Ｂの指定を、操作部３２を介して受け付ける（ＳＴ１１）。指向性制御装置３は、ディスプレイ装置３６の画面に表示されている映像データの任意の位置Ａ’又は範囲Ｂの指定を受け付けたことをカメラ装置１１に送信する。

ステップＳＴ１１の後、カメラ装置１１は、位置Ａ’又は範囲Ｂの指定を受け付けたことを指向性制御装置３から受信した場合、カメラ装置１１の設置位置を起点として、ステップＳＴ１１において指定された画面の位置Ａ’又は範囲Ｂに対応する収音範囲中心位置Ａまでの距離、水平角及び垂直角（Ｌ_ＣＡ，θ_ＣＡｈ，θ_ＣＡｖ）の全部又は一部の座標を取得する（ＳＴ１２）。

カメラ装置１１は、カメラ装置１１の設置位置を起点として、ステップＳＴ１１において指定された画面の位置Ａ’又は範囲Ｂに対応する収音範囲中心位置Ａまでの距離、水平角及び垂直角（Ｌ_ＣＡ，θ_ＣＡｈ，θ_ＣＡｖ）の全部又は一部の座標を指向性制御装置３に送信する。

指向性制御装置３の信号処理部３３は、ステップＳＴ１２において取得したカメラ装置１１の設置位置を起点として、ステップＳＴ１１において指定された画面の位置Ａ’又は範囲Ｂに対応する収音範囲中心位置Ａまでの距離、水平角及び垂直角（Ｌ_ＣＡ，θ_ＣＡｈ，θ_ＣＡｖ）の全部又は一部の座標と、図５に示すステップＳＴ４においてメモリ３８に一時的に保存している各入力パラメータとを用いて、マイクアレイ装置２の収音方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する（ＳＴ１３）。

指向性制御装置３は、ステップＳＴ１３において算出した座標（θ_ＭＡｈ，θ_ＭＡｖ）のデータを含む指向性形成指示をマイクアレイ装置２に送信する。マイクアレイ装置２は、指向性制御装置３からの指向性形成指示に応じて、指向性制御装置３が算出した座標（θ_ＭＡｈ，θ_ＭＡｖ）の収音方向に、各々のマイクロホン２２，２３の収音指向性を形成する（ＳＴ１４）。

これにより、マイクアレイ装置２は、収音指向性が形成された収音方向（θ_ＭＡｈ，θ_ＭＡｖ）から収音した音声データの音量レベルを増大でき、収音指向性が形成されない方向から収音した音声データの音量レベルを低減できる。以上により、指向性制御システム１０の指向性制御装置３がマイクアレイ装置２の収音方向を算出する動作は終了する。

（カメラ装置はパン・チルト・ズーム情報を送るだけの場合）
またこれまでの説明では、図６に示すステップＳＴ１２の動作がカメラ装置１１で行われているが、カメラ装置１１は、パン方向の角度情報とチルト方向の角度とズーム情報とを指向性制御装置３へ送り、指向性制御装置３が、カメラ装置１１から収音範囲中心位置Ａまでの距離、水平角及び垂直角（Ｌ_ＣＡ，θ_ＣＡｈ，θ_ＣＡｖ）を算出しても良く、以下の各実施形態においても同様である。

なお、本実施形態の指向性制御システム１０において、マイクアレイ装置２が音声を収音するタイミングは、ステップＳＴ１４の直後に限定されず、例えばマイクアレイ装置２の電源がＯＮされた後でも良い。

（カメラ座標系からマイク座標系への座標変換処理の一般化に関する説明）
図８０は、部屋の壁面に取り付けられたカメラＣＸと、部屋の天井面に取り付けられた全方位マイクアレイ装置ＭＸと、音源位置Ｐとの位置関係を示す説明図である。図８１は、ＰＴＺカメラ装置１のカメラ座標系から変換した全方位マイクアレイ装置２のマイク座標系を用いて算出される、全方位マイクアレイ装置２から音源Ｐの位置に向かう水平角及び垂直角の説明図である。

図８０に示すように、例えばカメラＣＸ（例えばＰＴＺカメラ装置１）が部屋の壁面に取り付けられ、全方位マイクアレイ装置ＭＸ（例えば全方位マイクアレイ装置２）が部屋の天井面に取り付けられている場合を想定する。この場合、空間全体を一つの座標系で考察すると、カメラＣＸから全方位マイクアレイ装置ＭＸまでの位置（即ち、ベクトルＶ_ＣＸＭＸ）が既知であれば、カメラＣＸから見た音源Ｐの位置（即ち、ベクトルＶ_ＣＸＰ）を用いて、全方位マイクアレイ装置ＭＸから見た音源Ｐの位置（即ち、ベクトルＶ_ＭＸＰ）が分かる。即ち、数式（２）が成り立つ（図８０参照）。

しかし、カメラＣＸにより撮像された画像における音源Ｐの位置はカメラＣＸ独自の座標系（以下、「カメラ座標系」という）に対応する座標により示され、更に、全方位マイクアレイ装置ＭＸの収音対象となる音源Ｐの位置は全方位マイクアレイ装置ＭＸ独自の座標系（以下、「マイク座標系」という）に対応する座標により示される。このため、カメラＣＸから見たカメラ座標系による音源Ｐの位置を用いて、全方位マイクアレイ装置ＭＸから見た音源Ｐの位置を算出するためには、カメラ座標系からマイク座標系への座標変換処理が必要となる。

マイク座標系に対応する座標（Ｘ，Ｙ，Ｚ）は、カメラ座標系に対応する座標（ｘ，ｙ，ｚ）と所定の座標変換行列Ｕとを用いて、数式（３）により示される。

具体的な一例として、カメラ座標系のｘ軸、ｙ軸、ｚ軸において、ｚ軸を中心にγ度回転させ、ｘ軸を中心にα度回転させ、ｙ軸を中心にβ度回転させ、カメラＣＸの座標を（ｘ_０，ｙ_０，ｚ_０）ほど平行移動させる場合には、座標変換行列Ｕは、数式（４）により示される。なお、数式（４）において、平行移動や座標軸の回転行列の積算順序や回転軸の選択はこれに限定されるものではない。

座標変換行列Ｕを算出するためには、カメラＣＸ及び全方位マイクアレイ装置ＭＸが取り付けられる空間（例えば部屋）の設計図（レイアウト）を用いる方法が考えられる（例えば図８１参照）、設計図が無い場合には実測結果を用いる方法も考えられる。また、座標変換行列Ｕは、１台のカメラＣＸに対して１台の全方位マイクアレイ装置２が取り付けられた場合に算出される。但し、複数のカメラＣＸと１台の全方位マイクアレイ装置ＭＸとが取り付けられた場合や、複数のカメラＣＸと複数の全方位マイクアレイ装置ＭＸとが取り付けられた場合にも、それぞれのカメラＣＸ−全方位マイクアレイ装置ＭＸ間において座標変換行列Ｕを算出する必要がある。

ここで、例えばカメラＣＸとしてのＰＴＺカメラ装置１と全方位マイクアレイ装置ＭＸとしての全方位マイクアレイ装置２との間の距離を示すカメラ座標系における座標（ｘ_０，ｙ_０，ｚ_０）のデータとカメラ座標系及びマイク座標系が予め規定されていて、カメラの水平基準軸のなす角ξがわかっているとする。ユーザはＰＴＺカメラ装置１の直交座標系における座標のデータと角度ξを、レイアウト図から求め、操作部３２から入力する。

以下、指向性制御装置３の信号処理部３３の座標変換処理部３４ｚにおける座標変換行列Ｕと座標変換行列Ｕを用いたマイク座標系における収音方向座標（Θ，Φ）の算出例について、図８１を参照して説明する。

図８１に示すように、収音空間（例えば部屋）の壁面にＰＴＺカメラ装置１が取り付けられ、更に、収音空間（例えば部屋）の天井面に全方位マイクアレイ装置２が取り付けられている。壁面は水平な床面に対して鉛直（垂直）であり、更に、天井面は水平な床面に対して平行（水平）とする。

ＰＴＺカメラ装置１におけるカメラ座標系は、原点Ｏ_ＣがＰＴＺカメラ装置１のパン方向及びチルト方向それぞれへの回転中心であり、ＰＴＺカメラ装置１の台座と平行にｘ−ｙ平面が規定され、このｘ−ｙ平面は壁面と平行である。また、ｘ軸は鉛直上方向を向いている。

先ず、ＰＴＺカメラ装置１は、数式（５）に従って、カメラ座標系の球座標系における座標（ｒ，θ，φ）を直交座標系における座標（ｘ，ｙ，ｚ）に変換し、変換処理後の座標（ｘ，ｙ，ｚ）のデータを指向性制御装置３に送信する。

ＰＴＺカメラ装置１から見た全方位マイクアレイ装置２の原点Ｏ_Ｍは、ＰＴＺカメラ装置１の直交座標系から見ると、（ｘ_０，ｙ_０，ｚ_０）の位置に設置されている。全方位マイクアレイ装置２におけるマイク座標系は、原点Ｏ_Ｍが全方位マイクアレイ装置２の中心であり、全方位マイクアレイ装置２のアレイ形成面がＸ−Ｙ平面となり、このＸ−Ｙ平面は天井面と平行である。また、Ｚ軸はアレイ形成面（Ｘ−Ｙ平面）に垂直であり、鉛直下方向を向いている。

指向性制御装置３の信号処理部３３の座標変換処理部３４ｚは、ＰＴＺカメラ装置１から受信したＰＴＺカメラ装置１の直交座標系における座標（ｘ，ｙ，ｚ）のデータを用いて、ＰＴＺカメラ装置１の原点Ｏ_Ｃを（ｘ_０，ｙ_０，ｚ_０）ほど平行移動させ、その後ｙ軸を中心に９０度回転させ、更に、ｚ軸を中心にξ度回転させることにより、全方位マイクアレイ装置２の直交座標系における座標（Ｘ，Ｙ，Ｚ）のデータを算出する（数式（６）参照）。なお、数式（６）において、平行移動や座標軸の回転行列の積算順序は特に限定されるものではなく、数学における座標変換の考え方にしたがって、回転軸周りの回転と平行移動の順によって、各ベクトルの内容は変化する。

指向性制御装置３の信号処理部３３の座標変換処理部３４ｚは、数式（６）の算出結果を用いて、数式（７）に従って、全方位マイクアレイ装置２の直交座標系における座標（Ｘ，Ｙ，Ｚ）から全方位マイクアレイ装置２の球座標系における座標（Ｒ，Θ，Φ）に変換する。これにより、指向性制御装置３は、全方位マイクアレイ装置２の球座標系における座標（Θ，Φ）を収音方向座標（Θ，Φ）として算出できる。更に、指向性制御装置３の信号処理部３３の出力制御部３５は、収音方向座標（Θ，Φ）に指向性を形成する。

なお、上述した収音方向座標（Θ，Φ）の算出例は、図８１に示すように、ＰＴＺカメラ装置１の位置を基準として説明したが、ＰＴＺカメラ装置１の位置を基準とする場合に限定されず、例えば音源Ｐの位置を基準としても良い。
また、ＰＴＺカメラ装置１が直交座標に変換後のデータを送るように説明したが、カメラ座標系のデータを指向性制御装置３に送信して、指向性制御装置３で座標変換しても良い。

以下、カメラ装置１１及び全方位マイクアレイ装置２が取り付けられる空間（例えば部屋）の設計図（レイアウト図）が無く、カメラ装置１１からの音声位置までの実測値を基にして、カメラ装置１１から見た音声位置に対する全方位マイクアレイ装置２の収音方向を具体的に算出する方法の例を説明する。

（マイクアレイ装置２の収音方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法）
次に、指向性制御装置３の信号処理部３３がマイクアレイ装置２の収音方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する方法について、図７〜図１８を参照して詳細に説明する。ここでは合計４種類の算出方法を説明する。

（第１の算出方法）
第１の算出方法では、カメラ装置１１の光軸ＣＸの方向に基準点Ｏを設ける。

信号処理部３３は、
（１）カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭの水平成分（方向）の距離Ｌ_ＣＭｈと、
（２）カメラ装置１１から基準点Ｏまでの距離Ｌ_ＣＯ及び俯角θ_ＣＯと、
（３）マイクアレイ装置２から基準点Ｏとの距離Ｌ_ＭＯ及び俯角θ_ＭＯと、
（４）カメラ装置１１、マイクアレイ装置２、基準点Ｏの水平面からの各高さＨ_Ｃ，Ｈ_Ｍ，Ｈ_Ｏと、
（５）カメラ装置１１から収音範囲中心位置Ａまでの水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖと、
（６）収音範囲中心位置Ａの水平面からの高さＨ_Ａと、を基に、
マイクアレイ装置２の収音方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。

第１の算出方法では、図５に示すステップＳＴ２における入力パラメータは、
（１）カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭの水平成分（方向）の距離Ｌ_ＣＭｈと、
（２）カメラ装置１１から基準点Ｏまでの距離Ｌ_ＣＯ及び俯角θ_ＣＯと、
（３）マイクアレイ装置２から基準点Ｏとの距離Ｌ_ＭＯ及び俯角θ_ＭＯと、
（４）カメラ装置１１、マイクアレイ装置２、基準点Ｏの水平面からの各高さＨ_Ｃ，Ｈ_Ｍ，Ｈ_Ｏである。

（１）カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭの水平成分（方向）の距離Ｌ_ＣＭｈは、カメラ装置１１とマイクアレイ装置２とが初期設置された場合に決まる固定値である。
（２）カメラ装置１１から基準点Ｏまでの距離Ｌ_ＣＯ及び俯角θ_ＣＯは、例えばユーザが基準点Ｏの位置においてレーザ距離計をカメラ装置１１に向けることで、簡易に測定できる。
（３）マイクアレイ装置２から基準点Ｏとの距離Ｌ_ＭＯ及び俯角θ_ＭＯは、例えばユーザが基準点Ｏの位置においてレーザ距離計をマイクアレイ装置２に向けることで、簡易に測定できる。
（４）カメラ装置１１、マイクアレイ装置２、基準点Ｏの水平面からの各高さＨ_Ｃ，Ｈ_Ｍ，Ｈ_Ｏは、カメラ装置１１、マイクアレイ装置２の各初期設定時に決まる固定値であり、更に、基準点Ｏの位置が決められた時に定まる固定値である。

また、第１の算出方法では、図６に示すステップＳＴ１２における座標（Ｌ_ＣＡ，θ_ＣＡｈ，θ_ＣＡｖ）のうち、
（５）カメラ装置１１から収音範囲中心位置Ａまでの水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖ、が用いられ、これらはカメラ装置１１における公知技術の機能によって取得される。

更に、第１の算出方法では、
（６）収音範囲中心位置Ａの水平面からの高さＨ_Ａは、予め決められた固定値であり、例えばユーザの指ＦＧが位置Ａ’を指定する時に、収音範囲中心位置Ａの周囲に人物がいる場合には人物の大きさをＨ_Ａとして選択された値又は入力された値である。又は、ユーザの指ＦＧが位置Ａ’を指定した時に、指向性制御装置３が指定された位置に人物（例えば大人又は子供）がいることを判定した場合に、既定の値（例えば１．５ｍ又は０．８ｍ）が用いられても良い。

図７は、第１の算出方法におけるマイクアレイ装置２の収音方向を算出するための基準点Ｏと指定された位置Ａ’とのディスプレイ装置３６の画面上における位置関係を示す説明図である。第１の算出方法における基準点Ｏは、カメラ装置１１の光軸ＣＸの方向に存在するので、ディスプレイ装置３６の画面の中心点に位置する。

また、以下の第１の算出方法の説明において、ユーザの指ＦＧが指定した位置Ａ’は基準点Ｏと異なる位置であり、基準点Ｏの右下方向の位置であるとする（図７参照）。

図８は、第１の算出方法の指向性制御システム１０のカメラ装置１１、マイクアレイ装置２、基準点Ｏ及び収音範囲中心位置Ａの各位置関係を示す図である。図８（Ａ）は、斜視図である。図８（Ｂ）は、水平方向上面図である。図８（Ｃ）は、図８（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。

図９は、第１の算出方法の指向性制御システム１０のカメラ装置１１、マイクアレイ装置２、基準点Ｏ及び収音範囲中心位置Ａの各位置関係を示す図である。図９（Ａ）は、斜視図である。図９（Ｂ）は、水平方向上面図である。図９（Ｃ）は、図９（Ｂ）のＱ−Ｑ’線における垂直方向断面図である。

図１０は、第１の算出方法の指向性制御システム１０のカメラ装置１１、マイクアレイ装置２、基準点Ｏ及び収音範囲中心位置Ａの各位置関係を示す図である。図１０（Ａ）は、斜視図である。図１０（Ｂ）は、水平方向上面図である。図１０（Ｃ）は、図１０（Ｂ）のＲ−Ｒ’線における垂直方向断面図である。

以下、信号処理部３３におけるマイクアレイ装置２の収音方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）の第１の算出方法について、具体的に説明する。第１の算出方法では、マイクアレイ装置２の水平角の０度方向基準線はカメラ装置１１に向かう方向である。また、以下の各算出方法における説明の算出動作は信号処理部３３により行われるものとして説明するが、信号処理部３３を座標変換処理部３４ｚに読み替えても良い。

信号処理部３３は、カメラ装置１１から基準点Ｏまでの距離Ｌ_ＣＯ及び俯角θ_ＣＯを用いて、カメラ装置１１から基準点Ｏまでの距離Ｌ_ＣＯの水平成分の距離Ｌ_ＣＯｈを数式（８）に従って算出する。

信号処理部３３は、マイクアレイ装置２から基準点Ｏまでの距離Ｌ_ＭＯ及び俯角θ_ＭＯを用いて、マイクアレイ装置２から基準点Ｏまでの距離Ｌ_ＭＯの水平成分の距離Ｌ_ＭＯｈを数式（９）に従って算出する。

信号処理部３３は、数式（８），（９）の各算出結果を用いて、図８（Ｂ）に示す△ＣＯＭに対する余弦定理により、数式（１０）に従って、カメラ装置１１から基準点Ｏまでの俯角θ_ＣＯの水平角θ_ＣＯｈの余弦値ｃｏｓθ_ＣＯｈを算出する。

信号処理部３３は、数式（８），（９）の各算出結果を用いて、図８（Ｂ）に示す△ＣＯＭに対する余弦定理により、数式（１１）に従って、カメラ装置１１から基準点Ｏまでの俯角θ_ＭＯの水平角θ_ＭＯｈの余弦値ｃｏｓθ_ＭＯｈを算出する。

信号処理部３３は、カメラ装置１１及び基準点Ｏの水平面からの各高さＨ_Ｃ，Ｈ_Ｏと、数式（８）及び（１０）の各算出結果とを用いて、数式（１２）に従って、カメラ装置１１から基準点Ｏまでの距離Ｌ_ＣＯの垂直成分の距離Ｌ_ＣＯｖを算出する。

信号処理部３３は、マイクアレイ装置２及び基準点Ｏの水平面からの各高さＨ_Ｍ，Ｈ_Ｏと、数式（９）及び（１１）の各算出結果とを用いて、数式（１３）に従って、マイクアレイ装置２から基準点Ｏまでの距離Ｌ_ＭＯの垂直成分の距離Ｌ_ＭＯｖを算出する。

信号処理部３３は、カメラ装置１１及びマイクアレイ装置２の水平面からの各高さＨ_Ｃ，Ｈ_Ｍと、カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭの水平成分の距離Ｌ_ＣＭｈとを用いて、数式（１４）に従って、カメラ装置１１とマイクアレイ装置２との距離Ｌ_ＣＭの垂直成分の距離Ｌ_ＣＭｖ（＝Ｌ_ＣＭ）を算出する。

信号処理部３３は、数式（１２）〜（１４）の各算出結果を用いて、図８（Ｃ）に示す△ＣＯＭに対する余弦定理により、数式（１５）に従って、カメラ装置１１から基準点Ｏまでの俯角θ_ＣＯの垂直角θ_ＣＯｖの余弦値ｃｏｓθ_ＣＯｖを算出する。

信号処理部３３は、数式（１４）の算出結果と、カメラ装置１１及びマイクアレイ装置２の水平面からの各高さＨ_Ｃ，Ｈ_Ｍとを用いて、数式（１６）に従って、図８（Ｃ）に示すカメラ装置１１からマイクアレイ装置２に向かう方向と水平面との間の角度θ_δの正弦値ｓｉｎθ_δを算出する。

次に、信号処理部３３は、数式（１５），（１６）の各算出結果と、カメラ装置１１から収音範囲中心位置Ａまでの垂直角θ_ＣＡｖと、収音範囲中心位置Ａの水平面からの高さＨ_Ａと、カメラ装置１１の水平面からの高さＨ_Ｃとを用いて、数式（１７）に従って、カメラ装置１１と収音範囲中心位置Ａまでの距離Ｌ_ＣＡを算出する。

信号処理部３３は、数式（１５）〜（１７）の各算出結果と、カメラ装置１１から収音範囲中心位置Ａまでの垂直角θ_ＣＡｖとを用いて、数式（１８）に従って、カメラ装置１１と収音範囲中心位置Ａまでの距離Ｌ_ＣＡの水平成分の距離Ｌ_ＣＡｈを算出する。

信号処理部３３は、数式（１０），（１８）の各算出結果と、カメラ装置１１から収音範囲中心位置Ａまでの水平角θ_ＣＡｈと、カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭの水平成分の距離Ｌ_ＣＭｈとを用いて、図８（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（１９）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの距離の水平成分の距離Ｌ_ＭＡｈを算出する。

信号処理部３３は、数式（１８），（１９）の各算出結果と、カメラ装置１１とマイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈとを用いて、図８（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（２０）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θ_ＭＡの水平角θ_ＭＡｈの余弦値ｃｏｓθ_ＭＡｈを算出する。

これにより、信号処理部３３は、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θ_ＭＡの水平角θ_ＭＡｈを、数式（２１）に従って、算出できる。

更に、信号処理部３３は、数式（２１）の算出結果と、マイクアレイ装置２の水平面からの高さＨ_Ｍと、収音範囲中心位置Ａの水平面からの高さＨ_Ａとを用いて、図１０（Ｃ）に示す△ＭＡＰに対する正接により、数式（２２）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θ_ＭＡの垂直角θ_ＭＡｖの正接値ｔａｎθ_ＭＡｖを算出する。

これにより、信号処理部３３は、数式（２３）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θ_ＭＡの垂直角θ_ＭＡｖを算出できる。

以上により、第１の算出方法では、指向性制御装置３は、カメラ装置１１の光軸ＣＸの方向に基準点Ｏを設け、カメラ装置１１と基準点Ｏとの距離Ｌ_ＣＯ及び俯角θ_ＣＯと、マイクアレイ装置２と基準点Ｏとの距離Ｌ_ＭＯ及び俯角θ_ＭＯと、カメラ装置１１とマイクアレイ装置２との距離Ｌ_ＣＭの水平成分の距離Ｌ_ＣＭｈと、カメラ装置１１、マイクアレイ装置２、基準点Ｏの水平面からの各高さＨ_Ｃ，Ｈ_Ｍ，Ｈ_Ｏとを各入力パラメータとして用いる。

更に、指向性制御装置３は、これらの各入力パラメータを用いて、マイクアレイ装置２の位置を基準として、カメラ装置１１が監視対象として撮像する所定範囲の映像のうちユーザの指ＦＧによって指定された位置Ａ’に対応する収音範囲中心位置Ａに向かう方向、即ち、マイクアレイ装置２から収音範囲中心位置Ａに向かう方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）を収音方向として算出する。

これにより、本実施形態の指向性制御システム１０は、第１の算出方法によれば、マイクアレイ装置２の位置を基準として、指定された収音範囲中心位置Ａの方向に音声の収音指向性を高精度に形成でき、該当方向の音声データを高精度に収音することができる。

（第２の算出方法）
第２の算出方法では、カメラ装置１１の光軸ＣＸの方向ではなく、マイクアレイ装置２から鉛直下方向に糸ＳＴＲによってつり下げられたマーカＭＡＫの位置を基準点Ｏとして設ける。

なお、糸ＳＴＲの長さは、マイクアレイ装置２の水平面からの高さＨ_Ｍ未満とする。更に、マーカＭＡＫは、例えばカメラ装置１１が撮像した場合にユーザが視覚的に認識し易い色のボール等である。

信号処理部３３は、
（１）カメラ装置１１からマイクアレイ装置２の鉛直下方向につり下げられたマーカＭＡＫまでの距離Ｌ_ＣＯと、
（２）マイクアレイ装置２からマーカＭＡＫまでの距離Ｌ_ＭＯと、
（３）カメラ装置１１の光軸ＣＸの方向とカメラ装置１１からマーカＭＡＫに向かう方向との間の水平角θ_ＣＭｈ（＝θ_ＣＯｈ）及び垂直角θ_ＣＯｖと、
（４）カメラ装置１１から収音範囲中心位置Ａまでの距離Ｌ_ＣＡ、水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖと、を基に、マイクアレイ装置２の収音方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。

第２の算出方法では、図５にステップＳＴ２における入力パラメータは、
（１）カメラ装置１１からマイクアレイ装置２の鉛直下方向につり下げられたマーカＭＡＫまでの距離Ｌ_ＣＯと、
（２）マイクアレイ装置２からマーカＭＡＫまでの距離Ｌ_ＭＯと、
（３）カメラ装置１１の光軸ＣＸの方向とカメラ装置１１からマーカＭＡＫに向かう方向との間の水平角θ_ＣＭｈ及び垂直角θ_ＣＯｖである。

（１）カメラ装置１１からマイクアレイ装置２の鉛直下方向につり下げられたマーカＭＡＫまでの距離Ｌ_ＣＯは、カメラ装置１１の公知技術の機能によって取得される。例えば、カメラ装置１１がマーカＭＡＫにピントを合わせて撮像した場合の焦点距離をＬ_ＣＯとして用いることができる。
（２）マイクアレイ装置２からマーカＭＡＫまでの距離Ｌ_ＭＯは、糸ＳＴＲの長さに等しい。
（３）カメラ装置１１の光軸ＣＸの方向とカメラ装置１１からマーカＭＡＫに向かう方向との間の水平角θ_ＣＭｈ及び垂直角θ_ＣＯｖは、カメラ装置１１の公知技術の機能によって取得される。

また、第２の算出方法では、
（４）カメラ装置１１から収音範囲中心位置Ａまでの距離Ｌ_ＣＡ、水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖは、図６に示すステップＳＴ１２においてカメラ装置１１の公知技術の機能によって取得される。

図１１は、第２の算出方法におけるマイクアレイ装置２の収音方向を算出するための基準点Ｏと指定された位置Ａ’とのディスプレイ装置３６の画面上における位置関係を示す説明図である。第２の算出方法における基準点Ｏは、カメラ装置１１の光軸ＣＸの方向には存在しないので、ディスプレイ装置３６の画面の中心点には位置せず、例えばディスプレイ装置３６の画面の中心点より左上方向に位置する。

また、以下の第２の算出方法の説明において、ユーザの指ＦＧが指定した位置Ａ’は基準点Ｏ及び光軸方向を示す画面の中心点の位置と異なる位置であり、基準点Ｏの右下方向の位置であるとする（図１１参照）。

図１２は、第２の算出方法の指向性制御システム１０のカメラ装置１１、マイクアレイ装置２、マーカＭＡＫの位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図である。図１２（Ａ）は、斜視図である。図１２（Ｂ）は、水平方向上面図である。図１２（Ｃ）は、図１２（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。

図１３は、第２の算出方法の指向性制御システム１０のカメラ装置１１、マイクアレイ装置２、マーカＭＡＫの位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図である。図１３（Ａ）は、斜視図である。図１３（Ｂ）は、水平方向上面図である。図１３（Ｃ）は、図１３（Ｂ）のＲ−Ｒ’線における垂直方向断面図である。

以下、信号処理部３３におけるマイクアレイ装置２の収音方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）の第２の算出方法について、具体的に説明する。第２の算出方法では、マイクアレイ装置２の水平角の０度方向基準線はカメラ装置１１に向かう方向であり、カメラ装置１１とマイクアレイ装置２の水平面からの各高さＨ_Ｃ，Ｈ_Ｍは同じとする。

信号処理部３３は、カメラ装置１１からマイクアレイ装置２の鉛直下方向につり下げられたマーカＭＡＫまでの距離Ｌ_ＣＯと、マイクアレイ装置２からマーカＭＡＫまでの距離Ｌ_ＭＯとを用いて、数式（２４）に従って、カメラ装置１１からマーカＭＡＫに向かう方向とカメラ装置１１からマイクアレイ装置２に向かう方向との間の角度θ’_ＣＯｖの正弦値ｓｉｎθ’_ＣＯｖを算出する。

信号処理部３３は、数式（２４）の算出結果と、カメラ装置１１からマイクアレイ装置２の鉛直下方向につり下げられたマーカＭＡＫまでの距離Ｌ_ＣＯとを用いて、数式（２５）に従って、カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭを算出する。

信号処理部３３は、数式（２４），（２５）の各算出結果と、カメラ装置１１から収音範囲中心位置Ａまでの距離Ｌ_ＣＡ及び垂直角θ_ＣＡｖと、カメラ装置１１の光軸ＣＸの方向とカメラ装置１１からマーカＭＡＫに向かう方向との間の垂直角θ_ＣＯｖとを用いて、数式（２６）に従って、カメラ装置１１から収音範囲中心位置Ａまでの距離Ｌ_ＣＡの水平成分の距離Ｌ_ＣＡｈを算出する。

信号処理部３３は、数式（２５），（２６）の各算出結果と、カメラ装置１１から収音範囲中心位置Ａまでの水平角θ_ＣＡｈと、カメラ装置１１の光軸ＣＸの方向とカメラ装置１１からマーカＭＡＫに向かう方向との間の水平角θ_ＣＭｈとを用いて、図１２（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（２７）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの距離の水平成分の距離Ｌ_ＭＡｈを算出する。

信号処理部３３は、数式（２５），（２６），（２７）の各算出結果と、カメラ装置１１とマイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈとを用いて、図１２（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（２８）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θ_ＭＡの水平角θ_ＭＡｈの余弦値ｃｏｓθ_ＭＡｈを算出する。

これにより、信号処理部３３は、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θ_ＭＡの水平角θ_ＭＡｈを、数式（２９）に従って、算出できる。

更に、信号処理部３３は、カメラ装置１１から収音範囲中心位置Ａまでの距離Ｌ_ＣＡ及び水平角θ_ＣＡｈと、カメラ装置１１の光軸ＣＸの方向とカメラ装置１１からマーカＭＡＫに向かう方向との間の水平角θ_ＣＭｈとを用いて、数式（３０）に従って、カメラ装置１１から収音範囲中心位置Ａまでの距離Ｌ_ＣＡの垂直成分の距離Ｌ_ＣＡｖを算出する。

信号処理部３３は、数式（２５），（２６），（３０）の各算出結果を用いて、図１２（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（３１）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの距離の垂直成分の距離Ｌ_ＭＡｖを算出する。

信号処理部３３は、数式（２５），（３０），（３１）の各算出結果を用いて、図１２（Ｃ）に示す△ＭＡＰに対する余弦定理により、数式（３２）に従って、マイクアレイ装置２からカメラ装置１１に向かう方向とマイクアレイ装置２から収音範囲中心位置Ａに向かう方向との間の角度θ’_ＭＡｖの余弦値ｃｏｓθ’_ＭＡｖを算出する。

信号処理部３３は、図１３（Ｃ）に示す△ＭＡＳに対する正弦により、数式（３３）に従って、マイクアレイ装置２からカメラ装置１１に向かう方向とマイクアレイ装置２から収音範囲中心位置Ａに向かう方向との間の角度θ’_ＭＡｖの正弦値ｓｉｎθ’_ＭＡｖを算出する。

信号処理部３３は、数式（２７），（３３）の各算出結果を用いて、式（３４）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θ_ＭＡの垂直角θ_ＭＡｖの正接値ｔａｎθ_ＭＡｖを算出できる。

これにより、信号処理部３３は、数式（３５）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θ_ＭＡの垂直角θ_ＭＡｖを算出できる。

以上により、第２の算出方法では、指向性制御装置３は、マイクアレイ装置２の鉛直下方向に糸でつり下げられたマーカＭＡＫを基準点Ｏとして設け、カメラ装置１１とマーカＭＡＫとの距離Ｌ_ＣＯ及び俯角θ_ＣＯの垂直角θ_ＣＯｖと、カメラ装置１１の光軸ＣＸの方向からカメラ装置１１からマイクアレイ装置２に向かう方向との間の角度θ_ＣＭｈと、マイクアレイ装置２からマーカＭＡＫまでの距離Ｌ_ＭＯとを各入力パラメータとして用いる。

更に、指向性制御装置３は、これらの各入力パラメータを用いて、マイクアレイ装置２の位置を基準として、カメラ装置１１が監視対象として撮像する所定範囲の映像のうちユーザの指ＦＧによって指定された位置Ａ’に対応する収音範囲中心位置Ａに向かう方向、即ち、マイクアレイ装置２から収音範囲中心位置Ａに向かう方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）を収音方向として算出する。

これにより、本実施形態の指向性制御システム１０は、第２の算出方法によれば、第１の算出方法に比べて、各入力パラメータの数が少ないので、マイクアレイ装置２から収音範囲中心位置Ａに向かう方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）をより簡易に算出できる。更に、指向性制御システム１０は、マイクアレイ装置２の位置を基準として、指定された収音範囲中心位置Ａの方向に音声の収音指向性を高精度に形成でき、該当方向の音声データを高精度に収音することができる。

なお、第２の算出方法において、マーカＭＡＫの位置はカメラ装置１１の光軸ＣＸの方向とマイクアレイ装置２の鉛直下方向との交点の位置でも良い。この場合には、光軸ＣＸの方向とカメラ装置１１からマーカＭＡＫに向かう方向との間の角度θ_ＣＯｖが０（ゼロ）となるので、信号処理部３３におけるマイクアレイ装置２から収音範囲中心位置Ａに向かう方向の座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出量が低減する。

また、第２の算出方法において、マイクアレイ装置２がレーザ光を照射する機能を有する場合には、マーカＭＡＫを用いずに、マイクアレイ装置２が鉛直下方向にレーザ光を照射し、カメラ装置１１がレーザ光の照射地点（例えば、マイクアレイ装置２の鉛直下方向のある高さの地点）の撮像画像を画像解析する。これにより、信号処理部３３は、上述した第２の算出方法と同様に、マイクアレイ装置２から収音範囲中心位置Ａに向かう方向の座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出できる。

（第３の算出方法）
第３の算出方法では、カメラ装置１１の光軸ＣＸの方向に基準点Ｏとしての音源を設ける。

信号処理部３３は、
（１）カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭと、
（２）カメラ装置１１から光軸方向の所定の音源位置（基準点Ｏ）までの距離Ｌ_ＣＯと、
（３）マイクアレイ装置２から音源位置（基準点Ｏ）までの水平角θ_ＭＯｈ及び垂直角θ_ＭＯｖと、
（４）カメラ装置１１、マイクアレイ装置２及び音源位置（基準点Ｏ）の水平面からの各高さＨ_Ｃ，Ｈ_Ｍ，Ｈ_Ｏと、
（５）カメラ装置１１から収音範囲中心位置Ａまでの距離Ｌ_ＣＡ、水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖと、を基に、マイクアレイ装置２の収音方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。

第３の算出方法では、図５に示すステップＳＴ２における入力パラメータは、
（１）カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭと、
（２）カメラ装置１１から光軸方向の所定の音源位置（基準点Ｏ）までの距離Ｌ_ＣＯと、
（３）マイクアレイ装置２から音源位置（基準点Ｏ）までの水平角θ_ＭＯｈ及び垂直角θ_ＭＯｖと、
（４）カメラ装置１１、マイクアレイ装置２及び音源位置（基準点Ｏ）の水平面からの各高さＨ_Ｃ，Ｈ_Ｍ，Ｈ_Ｏである。

（１）カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭは、カメラ装置１１とマイクアレイ装置２とが初期設置された場合に決まる固定値である。
（２）カメラ装置１１から光軸方向の所定の音源位置（基準点Ｏ）までの距離Ｌ_ＣＯは、例えばユーザが基準点Ｏの位置においてレーザ距離計をカメラ装置１１に向けることで、簡易に測定できる。
（３）マイクアレイ装置２から音源位置（基準点Ｏ）までの水平角θ_ＭＯｈ及び垂直角θ_ＭＯｖは、マイクアレイ装置２の公知技術の機能（例えば音源検出機能）を用いて測定できる。
（４）カメラ装置１１、マイクアレイ装置２、基準点Ｏの水平面からの各高さＨ_Ｃ，Ｈ_Ｍ，Ｈ_Ｏは、カメラ装置１１、マイクアレイ装置２の各初期設定時に決まる固定値であり、更に、基準点Ｏの位置が決められた時に定まる固定値である。

また、第３の算出方法では、
（５）カメラ装置１１から収音範囲中心位置Ａまでの距離Ｌ_ＣＡ、水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖは、図６に示すステップＳＴ１２においてカメラ装置１１の公知技術の機能によって取得される。

また、第３の算出方法では、基準点Ｏとなる音源がカメラ装置１１の光軸ＣＸの方向に存在しているので、マイクアレイ装置２の収音方向を算出するための基準点Ｏと指定された位置Ａ’とのディスプレイ装置３６の画面上における位置関係は図７に示す位置関係となるので、説明を省略する。

図１４は、第３の算出方法の指向性制御システム１０のカメラ装置１１、マイクアレイ装置２、音源位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図である。図１４（Ａ）は、斜視図である。図１４（Ｂ）は、水平方向上面図である。図１４（Ｃ）は、図１４（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。

図１５は、第３の算出方法の指向性制御システム１０のカメラ装置１１、マイクアレイ装置２、音源位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図である。図１５（Ａ）は、斜視図である。図１５（Ｂ）は、水平方向上面図である。図１５（Ｃ）は、図１５（Ｂ）のＱ−Ｑ’線における垂直方向断面図である。

図１６は、第３の算出方法の指向性制御システム１０のカメラ装置１１、マイクアレイ装置２、音源位置（基準点Ｏ）及び収音範囲中心位置Ａの各位置関係を示す図である。図１６（Ａ）は、斜視図である。図１６（Ｂ）は、水平方向上面図である。図１６（Ｃ）は、図１６（Ｂ）のＲ−Ｒ’線における垂直方向断面図である。

以下、信号処理部３３におけるマイクアレイ装置２の収音方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）の第３の算出方法について、具体的に説明する。第３の算出方法では、マイクアレイ装置２の水平角の０度の基準線はカメラ装置１１に向かう方向ではない方向であり、カメラ装置１１とマイクアレイ装置２の水平面からの各高さＨ_Ｃ，Ｈ_Ｍは同じとする。

先ず、信号処理部３３は、カメラ装置１１から光軸方向の所定の音源位置（基準点Ｏ）までの距離Ｌ_ＣＯと、カメラ装置１１及び音源位置（基準点Ｏ）の水平面からの各高さＨ_Ｃ，Ｈ_Ｏとを用いて、数式（３６）に従って、カメラ装置１１から光軸方向の所定の音源位置（基準点Ｏ）までの距離Ｌ_ＣＯの水平成分の距離Ｌ_ＣＯｈを算出する。

信号処理部３３は、マイクアレイ装置２から音源位置（基準点Ｏ）までの垂直角θ_ＭＯｖと、マイクアレイ装置２及び音源位置（基準点Ｏ）の水平面からの各高さＨ_Ｍ，Ｈ_Ｏとを用いて、数式（３７）に従って、マイクアレイ装置２から光軸方向の音源位置（基準点Ｏ）までの距離Ｌ_ＭＯの水平成分の距離Ｌ_ＭＯｈを算出する。

信号処理部３３は、数式（３６），（３７）の各算出結果と、カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭとを用いて、図１４（Ｂ）に示す△ＣＯＭに対する余弦定理により、数式（３８）に従って、カメラ装置１１から音源（基準点Ｏ）に向かう方向の俯角θ_ＣＯの水平角θ_ＣＯｈの余弦値ｃｏｓθ_ＣＯｈを算出し、更に同様にして、数式（３９）に従って、マイクアレイ装置２の０度方向基準線から音源（基準点Ｏ）に向かう方向の俯角（θ_ＭＯ−θ_ＭＣ）の水平角（θ_ＭＯｈ−θ_ＭＣｈ）の余弦値ｃｏｓ（θ_ＭＯｈ−θ_ＭＣｈ）を算出する。

これにより、信号処理部３３は、マイクアレイ装置２の０度方向基準線とマイクアレイ装置２からカメラ装置１１に向かう方向との間の角度θ_ＭＣｈを、数式（４０）に従って、算出できる。

次に、信号処理部３３は、数式（３６），（３８）の各算出結果と、カメラ装置１１及び音源位置（基準点Ｏ）の水平面からの各高さＨ_Ｃ，Ｈ_Ｏとを用いて、数式（４１）に従って、カメラ装置１１から音源（基準点Ｏ）までの距離Ｌ_ＣＯの垂直成分の距離Ｌ_ＣＯｖを算出する。

信号処理部３３は、数式（３７），（３９）の各算出結果と、マイクアレイ装置２及び音源位置（基準点Ｏ）の水平面からの各高さＨ_Ｍ，Ｈ_Ｏとを用いて、数式（４２）に従って、マイクアレイ装置２から音源（基準点Ｏ）までの距離Ｌ_ＭＯの垂直成分の距離Ｌ_ＭＯｖを算出する。

信号処理部３３は、数式（４１），（４２）の各算出結果と、カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭ（＝Ｌ_ＣＭｖ）とを用いて、図１４（Ｃ）に示す△ＣＯＭに対する余弦定理により、数式（４３）に従って、カメラ装置１１から音源（基準点Ｏ）に向かう方向とカメラ装置１１からマイクアレイ装置２に向かう方向との間の角度θ_ＣＯｖの余弦値ｃｏｓθ_ＣＯｖを算出する。

次に、信号処理部３３は、数式（４３）の算出結果と、カメラ装置１１から収音範囲中心位置Ａまでの距離Ｌ_ＣＡ及び垂直角θ_ＣＡｖとを用いて、数式（４４）に従って、カメラ装置１１から収音範囲中心位置Ａまでの距離Ｌ_ＣＡの水平成分の距離Ｌ_ＣＡｈを算出する。

信号処理部３３は、数式（３９），（４４）の各算出結果と、カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭとを用いて、図１４（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（４５）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの距離Ｌ_ＭＡの水平成分の距離Ｌ_ＭＡｈを算出する。

信号処理部３３は、数式（４４），（４５）の各算出結果と、カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭとを用いて、図１４（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（４６）に従って、マイクアレイ装置２の０度方向基準線から収音範囲中心位置Ａに向かう方向の俯角（θ_ＭＡ−θ_ＭＣ）の水平角（θ_ＭＡｈ−θ_ＭＣｈ）の余弦値ｃｏｓ（θ_ＭＡｈ−θ_ＭＣｈ）を算出する。

これにより、信号処理部３３は、マイクアレイ装置２の０度方向基準線から収音範囲中心位置Ａに向かう方向の俯角θ_ＭＡの水平角θ_ＭＡｈを、数式（４７）に従って、算出する。

更に、信号処理部３３は、数式（４０）の算出結果と、カメラ装置１１から収音範囲中心位置Ａまでの距離Ｌ_ＣＡ及び水平角θ_ＣＡｈとを用いて、数式（４８）に従って、カメラ装置１１から収音範囲中心位置Ａまでの距離Ｌ_ＣＡの垂直成分の距離Ｌ_ＣＡｈを算出する。

信号処理部３３は、数式（４１），（４８）の各算出結果と、カメラ装置１１から収音範囲中心位置Ａまでの水平角θ_ＣＡｈと、カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭとを用いて、図１４（Ｃ）に示す△ＣＡＭに対する余弦定理により、数式（４９）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの距離Ｌ_ＭＡの垂直成分の距離Ｌ_ＭＡｖを算出する。

信号処理部３３は、数式（４８），（４９）の各算出結果と、カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭとを用いて、図１４（Ｃ）に示す△ＣＡＭに対する余弦定理により、数式（５０）に従って、図１４（Ｂ）に示すＫ−Ｋ’断面におけるマイクアレイ装置２から収音範囲中心位置Ａに向かう方向とマイクアレイ装置２からカメラ装置１１に向かう方向との間の角度θ’_ＭＡｖの余弦値ｃｏｓθ’_ＭＡｖを算出する。

信号処理部３３は、数式（４９），（５０）の各算出結果を用いて、数式（５１）に従って、マイクアレイ装置２，収音範囲中心位置Ａの水平面からの各高さＨ_Ｍ，Ｈ_Ａの差分（Ｈ_Ｍ−Ｈ_Ａ）を算出する。

信号処理部３３は、数式（４５），（５１）の各算出結果を用いて、図１６（Ｃ）に示す△ＭＳＡに対する正接により、数式（５２）に従って、マイクアレイ装置２の０度方向基準線から収音範囲中心位置Ａに向かう俯角θ_ＭＡの垂直角θ_ＭＡｖの正接値ｔａｎθ_ＭＡｖを算出する。

これにより、信号処理部３３は、数式（５３）に従って、マイクアレイ装置２の０度方向基準線から収音範囲中心位置Ａまでの俯角θ_ＭＡの垂直角θ_ＭＡｖを算出できる。

以上により、第３の算出方法では、指向性制御装置３は、カメラ装置１１の光軸ＣＸの方向に基準点Ｏとしての音源を設け、カメラ装置１１と音源（基準点Ｏ）との距離Ｌ_ＣＯと、マイクアレイ装置２から音源（基準点Ｏ）に向かう俯角θ_ＭＯの水平角θ_ＭＯｈ及び垂直角θ_ＭＯｖと、カメラ装置１１とマイクアレイ装置２との距離Ｌ_ＣＭと、カメラ装置１１、マイクアレイ装置２、基準点Ｏの水平面からの各高さＨ_Ｃ，Ｈ_Ｍ，Ｈ_Ｏとを各入力パラメータとして用いる。

更に、指向性制御装置３は、これらの各入力パラメータを用いて、マイクアレイ装置２の位置を基準として、カメラ装置１１が監視対象として撮像する所定範囲の映像のうちユーザの指ＦＧによって指定された位置Ａ’に対応する収音範囲中心位置Ａに向かう方向、即ち、マイクアレイ装置２から収音範囲中心位置Ａに向かう方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）を収音方向として算出する。

これにより、本実施形態の指向性制御システム１０は、第３の算出方法によれば、マイクアレイ装置２の０度方向基準線がカメラ装置１１を向く方向に予め設定されていない場合であっても、マイクアレイ装置２の位置を基準として、指定された収音範囲中心位置Ａの方向に音声の収音指向性を高精度に形成でき、該当方向の音声データを高精度に収音することができる。

なお、第１〜第３の各算出方法では、マイクアレイ装置２の収音方向を示す座標の計算を簡易にするために、当該座標を示す垂直角及び水平角を近似的に算出している箇所があるが、例えば幾何学的な位置関係を用いて、より厳密に算出しても良い。

（第４の算出方法）
第４の算出方法では、カメラ装置１１とマイクアレイ装置２とが専用冶具５０を用いて連結して固定され、例えば室内の天井面に設置される（図１７又は図１８参照）。

専用冶具５０は、マイクアレイ装置２の例えば０度方向基準線とカメラ装置１１の例えば０度方向基準線とを対向させ、カメラ装置１１とマイクアレイ装置２とが水平面からの各高さが同一となるように連結して固定する。なお、専用冶具５０の形状は、カメラ装置１１とマイクアレイ装置２とを所定の水平角及び垂直角にて連結して固定する形状であれば特に問わない。

専用冶具５０を用いてカメラ装置１１とマイクアレイ装置２とを連結して固定することで、第４の算出方法では、カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭは、専用冶具のパラメータに応じた固定値となる。

信号処理部３３は、
（１）専用冶具５０の長さと、
（２）カメラ装置１１から収音範囲中心位置（点Ａ）までの距離Ｌ_ＣＡ、水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖと、を基に、マイクアレイ装置２の収音方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。

第４の算出方法では、図５に示すステップＳＴ２における入力パラメータは、
（１）専用冶具５０の長さ、
即ち、どの種類の専用冶具５０が用いられるかという情報である。例えば専用冶具５０の長さが５ｍであれば、カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭも５ｍとなり、専用冶具５０の長さが１０ｍであれば、カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭも１０ｍとなる。

また、第４の算出方法では、
（２）カメラ装置１１から収音範囲中心位置Ａまでの距離Ｌ_ＣＡ、水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖは、図６に示すステップＳＴ１２においてカメラ装置１１の公知技術の機能によって取得される。

図１７は、第４の算出方法のマイクアレイ装置２とカメラ装置１１とが専用冶具５０を用いて連結して設置された場合のマイクアレイ装置２とカメラ装置１１と収音範囲中心位置Ａとの位置関係を示す説明図である。図１７（Ａ）は、斜視図である。図１７（Ｂ）は、水平方向上面図である。図１７（Ｃ）は、図１７（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。

図１８は、第４の算出方法のマイクアレイ装置２とカメラ装置１１とが専用冶具５０を用いて連結して設置された場合のマイクアレイ装置２とカメラ装置１１と収音範囲中心位置Ａとの位置関係を示す説明図である。図１８（Ａ）は、斜視図である。図１８（Ｂ）は、水平方向上面図である。図１８（Ｃ）は、図１８（Ｂ）のＱ−Ｑ’線における垂直方向断面図である。

以下、信号処理部３３におけるマイクアレイ装置２の収音方向を定める座標（θ_ＭＡｈ，θ_ＭＡｖ）の第４の算出方法について、具体的に説明する。

信号処理部３３は、カメラ装置１１から収音範囲中心位置Ａまでの距離Ｌ_ＣＡ及び垂直角θ_ＣＡｖを用いて、数式（５４）に従って、カメラ装置１１から収音範囲中心位置Ａまでの距離Ｌ_ＣＡの水平成分の距離Ｌ_ＣＡｈを算出する。

信号処理部３３は、数式（５４）の算出結果と、カメラ装置１１から収音範囲中心位置（点Ａ）までの水平角θ_ＣＡｈと、カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭとを用いて、図１７（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（５５）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの距離の水平成分の距離Ｌ_ＭＡｈを算出する。

信号処理部３３は、数式（５４），（５５）の各算出結果と、カメラ装置１１とマイクアレイ装置２との間の距離Ｌ_ＣＭとを用いて、図１７（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（５６）に従って、マイクアレイ装置２から収音範囲中心位置Ａに向かう俯角θ_ＭＡの水平角θ_ＭＡｈの余弦値ｃｏｓθ_ＭＡｈを算出する。

これにより、信号処理部３３は、数式（５７）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θ_ＭＡの水平角θ_ＭＡｈを算出できる。

信号処理部３３は、図１７（Ｃ）に示す△ＣＡＰに対する正弦により、マイクアレイ装置２と収音範囲中心位置Ａとの水平面からの各高さの差分（Ｈ_Ｍ−Ｈ_Ａ）を、数式（５８）に従って、算出する。

更に、信号処理部３３は、図１８（Ｃ）に示す△ＭＡＳに対する正接により、数式（５９）に従って、マイクアレイ装置２から収音範囲中心位置Ａに向かう俯角θ_ＭＡの垂直角θ_ＭＡｖの正接値ｔａｎθ_ＭＡｖを算出する。

これにより、信号処理部３３は、数式（６０）に従って、マイクアレイ装置２から収音範囲中心位置Ａまでの俯角θ_ＭＡの垂直角θ_ＭＡｖを算出できる。

以上により、第４の算出方法では、指向性制御装置３は、専用冶具５０を用いてマイクアレイ装置２とカメラ装置１１とが連結して固定され、例えば室内の天井面に設置された状態において、専用冶具５０の長さ、即ち、マイクアレイ装置２とカメラ装置１１との間の距離Ｌ_ＣＭを入力パラメータとして用いる。

更に、指向性制御装置３は、この入力パラメータを用いて、マイクアレイ装置２の位置を基準として、カメラ装置１１が監視対象として撮像する所定範囲の映像のうちユーザの指ＦＧによって指定された位置Ａ’に対応する収音範囲中心位置Ａに向かう方向、即ち、マイクアレイ装置２から収音範囲中心位置Ａに向かう方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）を収音方向として算出する。

これにより、本実施形態の指向性制御システム１０は、第４の算出方法によれば、第１〜第３の各算出方法に比べて、各入力パラメータの数が少なく、カメラ装置１１とマイクアレイ装置２との各０度方向基準線とが対向するので、マイクアレイ装置２から収音範囲中心位置Ａに向かう方向の座標（θ_ＭＡｈ，θ_ＭＡｖ）をより簡易に算出できる。更に、指向性制御システム１０は、マイクアレイ装置２の位置を基準として、指定された収音範囲中心位置Ａの方向に音声の収音指向性を高精度に形成でき、該当方向の音声データを高精度に収音することができる。

なお、上述した各実施形態では、指向性制御装置３がマイクアレイ装置２の収音方向の座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出を開始するタイミングは、ユーザの指ＦＧがディスプレイ装置３６の画面の任意の位置Ａ’又は範囲Ｂが指定された時として説明したが、これに限定されない。

例えば、カメラ装置１１〜１ｎが既定された所定間隔毎にパン方向、チルト方向又はパン方向及びチルト方向に回転したことでカメラ装置１１〜１ｎの画角ＣＡＲの範囲が異なった時でも良い。これにより、指向性制御システム１０は、予め収音方向を決めておくことで、マイクアレイ装置２の収音方向をユーザが指定することなく、既定の収音方向に音声の収音指向性を形成できる。

なお、上述した各算出方法では、マイクアレイ装置２は水平面に対して平行な面に沿って設置されていることを前提として説明した。しかし、マイクアレイ装置２が設置される天井面が斜めに傾いている場合がある。

この場合、マイクアレイ装置２の収音方向の水平角θ_ＭＡｈ又は垂直角θ_ＭＡｖは、上述した第１〜第４の算出方法によって信号処理部３３が算出した値をそのまま用いることができず、天井面が傾いている角度の分を補正する必要がある。

以下、マイクアレイ装置２が設置される室内の天井面が水平面に対して平行な方向ではなく斜めに傾いている場合に、信号処理部３３におけるマイクアレイ装置２の収音方向（θ_ＭＡｈ，θ_ＭＡｖ）のうち例えば垂直角θ_ＭＡｖの補正について、図１９を参照して説明する。図１９（Ａ）、（Ｂ）は、マイクアレイ装置２とカメラ装置１１とが設置された天井が水平面に対してα_Ｍｖの方向に傾いている場合の収音方向の垂直角の説明図である。図１９（Ｃ）は、マイクアレイ装置２の収音方向θ_ＭＡｖの説明図である。

上述した第１〜第４の各算出方法によって信号処理部３３が算出したマイクアレイ装置２の収音方向の例えば垂直角は、水平面に平行な面ＨＲを基準とした収音方向の垂直角θ’_ＭＡｖとなる。図１９（Ｂ）において、垂直角θ’_ＭＡｖの方向は、マイクアレイ装置２の筐体の長手方向ＮＴの方向を基準とした角度ではない。

このため、信号処理部３３は、垂直角θ’_ＭＡｖを算出し、更に、室内の天井面の傾き角度α_Ｍｖを算出する。具体的には、信号処理部３３は、カメラ装置１１とマイクアレイ装置２との距離Ｌ_ＣＭの水平成分の距離Ｌ_ＣＭｈと、カメラ装置１１，マイクアレイ装置２の水平面からの各高さＨ_Ｃ，Ｈ_Ｍとを用いて、数式（６１）に従って、室内の天井面の傾き角度α_Ｍｖの余弦値ｃｏｓα_Ｍｖを算出する。

これにより、信号処理部３３は、数式（６１）の算出結果を用いて、室内の天井面の傾き角度α_Ｍｖを算出する（数式（６２）参照）。

信号処理部３３は、数式（６２）の算出結果と、上述した第１〜第４の各算出方法に従って算出した垂直角θ’_ＭＡｖとを用いて、マイクアレイ装置２の収音方向の垂直角θ_ＭＡｖを、数式（６３）に従って、算出する。

これにより、指向性制御装置３は、マイクアレイ装置２が設置される室内の天井面が水平面に対して平行でなく所定の角度に傾いている場合でも、マイクアレイ装置２の収音方向を適正に算出でき、マイクアレイ装置２の位置を基準として、指定された収音範囲中心位置Ａの方向に音声の収音指向性を高精度に形成でき、該当方向の音声データを高精度に収音することができる。

以下に後述する第２〜第５の各実施形態は、カメラ装置からの撮像方向の水平角と、マイクアレイ装置からの収音方向の水平角との各基準方向を一致させるキャリブレーション方法に関する。

ここで、カメラ装置及びマイクアレイ装置の各動作を制御して、カメラ装置が撮像する方向の音声データを得る制御装置が知られている（例えば参考特許文献１参照）。特許文献１に示す制御装置は、例えばＴＶ会議システムが利用可能な会議室に設置され、全方位の画像を取得出来るカメラ装置と、集音範囲を変更可能なマイクアレイ装置との各動作を制御する。

参考特許文献１に示す制御装置は、音声により話者方向を検出して、全方位の画像から話者を中心とした領域だけの映像を切り出してデータ量を圧縮し、マイクアレイ装置のビーム方向を話者に向け、話者の会話以外の雑音を低減させる。

（参考特許文献１） 日本国特許第４２５２３７７号公報

例えば、カメラ装置とマイクアレイ装置とが一体的に組み込まれて同軸上に配置された場合には、カメラ装置の光軸とマイクアレイ装置の物理的な中心軸とが共通する。従って、カメラ装置が撮像している映像中の被写体の会話音声をマイクアレイ装置が収音する場合、マイクアレイ装置の収音方向を示す座標（水平角，垂直角）の垂直角と、カメラ装置の撮像方向を示す座標（水平角，垂直角）の垂直角とは同一となる。

しかし、カメラ装置とマイクアレイ装置とが一体的に組み込まれて同軸上に配置され、カメラ装置とマイクアレイ装置との各々が単独に動作するものを組み合わせて使用する場合、マイクアレイ装置の収音方向を示す座標（水平角，垂直角）の水平角と、カメラ装置の撮像方向を示す座標（水平角，垂直角）の水平角とは、マイクアレイ装置及びカメラ装置の各水平角の基準方向（例えば０°方向）が一致していなければ、同一とならない。

上述した参考特許文献１では、カメラ装置とマイク装置とが音響的に透明なシリンダを介して一体的に接続された構成ではあるが、カメラ装置及びマイク装置の各水平角の基準方向を一致させることは言及されていない。また、カメラ装置とマイク装置とはそれぞれ単独で使用出来る構造になっていない。

従って、各々が単独に動作するカメラ装置とマイク装置とを一体的に用いる際、カメラ装置及びマイク装置の各水平角の基準方向が一致しないと、パン方向におけるカメラ装置の撮影範囲とマイク装置の収音範囲とが合わなくなる。このため、カメラ装置が撮像している映像中の被写体の会話音声がマイク装置により適正に収音されないことがあるという課題があった。

そこで、本発明に係る第２〜第５の各実施形態では、上述した従来の課題を解決するために、カメラ装置とマイクアレイ装置とを一体的に用いる場合に、カメラ装置の撮像方向を示す座標の水平角とマイクアレイ装置の収音方向を示す座標の水平角との各基準方向を一致させるキャリブレーション方法の例を説明する。

以下、本発明に係るキャリブレーション方法の第２〜第５の各実施形態について、図面を参照して説明する。以下の各実施形態のキャリブレーション方法は、例えば全方位カメラ装置と全方位マイクアレイ装置とが同軸上に一体的に配置された収音システムにおいて、全方位カメラ装置の撮像方向を示す座標の水平角と全方位マイクアレイ装置の収音方向を示す座標の水平角とを一致させる方法である。各実施形態の収音システムは、例えば所定の収音空間内の所定の設置面（例えばイベント会場の天井面）に設置される。

（第２の実施形態）
第２の実施形態のキャリブレーション方法について、図２０（Ａ）、図２０（Ｂ）及び図２０（Ｃ）を参照して説明する。図２０（Ａ）は、第２の実施形態の収音システム１Ｚにおけるキャリブレーション方法を表す模式図である。図２０（Ｂ）は、全方位カメラ装置３ｚを鉛直方向の下側から見た平面図である。図２０（Ｃ）は、全方位マイクアレイ装置５を鉛直方向の下側から見た平面図である。

全方位カメラ装置３ｚは、不図示の光学系（例えば魚眼レンズ）及び撮像部（例えばイメージセンサ）が内蔵された筐体がドーム状の透明なカバー３ａにより覆われ、全方位マイクアレイ装置５の筐体中心に形成された開口部１３の内側の内周空間に嵌め込まれる。全方位カメラ装置３ｚは、例えば監視カメラとしての機能を有し、不図示のネットワークを介して、中央制御室のホストコンピュータ（不図示）に接続され、全方位の映像をモニター（不図示）に表示する。また、全方位カメラ装置３ｚは、ホストコンピュータからの遠隔操作に応じて、指定方向の映像を切り出してモニター（不図示）に表示することも可能である。

全方位マイクアレイ装置５は、開口部１３の内側の内周空間に全方位カメラ装置３ｚの筐体が嵌め込まれるリング状の筐体１７を有し、開口部１３の周囲であって筐体１７の円周方向に沿って複数のマイクロホンユニット１８が同心円状に配置される。マイクロホンユニット１８は、例えば高音質小型エレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられ、以下の各実施形態においても同様である。全方位マイクアレイ装置５は、所定の収音方向に指向性を形成し、指向性が形成された収音方向の音声を強調して収音する。

なお、本実施形態を含む各実施形態において、全方位カメラ装置及び全方位マイクアレイ装置の構成及び動作は上述した説明の内容と同一であるが、各実施形態において異なる内容については必要に応じて説明する。

ここで、全方位マイクアレイ装置５と全方位カメラ装置３ｚとを同軸ｉ方向に取り付けることで一体化された収音システム１Ｚを設置する場合、全方位カメラ装置３ｚの撮像方向と全方位マイクアレイ装置５の収音方向とを揃えるために、全方位カメラ装置３ｚと全方位マイクアレイ装置５の各水平角の基準方向（例えば０°方向）を一致させる必要がある。

本実施形態では、同軸ｉ方向に対して直交する平面における、全方位カメラ装置３ｚ及び全方位マイクアレイ装置５の各水平角の基準方向を一致させるために、全方位カメラ装置３ｚのカバー３ａの外周には、図２０（Ｂ）中の上方向に沿って突起した係止部材の一例としてのキー１１ｙが形成されている。キー１１ｙは、全方位カメラ装置３ｚの撮像方向を示す座標（水平角，垂直角）の水平角の基準方向ｇ、つまり水平角０°の方向に形成されている。

また、全方位マイクアレイ装置５の開口部１３の周縁部には、全方位カメラ装置３ｚのカバー３ａが開口部１３に挿通される際、キー１１ｙが嵌合する係止溝の一例としてのキー溝１５が形成されている。キー溝１５は、全方位マイクアレイ装置５の収音方向を示す座標（水平角，垂直角）の水平角の基準方向ｈ、つまり水平角０°の方向に形成されている。なお、本実施形態では、キー１１ｙ及びキー溝１５の断面形状が四角形であるが、四角形の他に、多角形や半円形でも良い。

全方位カメラ装置３ｚと全方位マイクアレイ装置５とを同軸ｉ方向に取り付ける場合、キー１１ｙをキー溝１５に嵌合するように、全方位カメラ装置３ｚを全方位マイクアレイ装置５の開口部１３の内側の内周空間に嵌めこむことで、全方位カメラ装置３ｚと全方位マイクアレイ装置５が一体として合体する。

以上により、本実施形態のキャリブレーション方法では、例えばキー１１ｙとキー溝１５に嵌合するように、全方位カメラ装置３ｚを全方位マイクアレイ装置５の開口部１３の内側の内周空間に嵌め込むことで、全方位カメラ装置３ｚの水平角の基準方向ｇと、全方位マイクアレイ装置５の水平角の基準方向ｈとを簡易に一致させることができ、全方位カメラ装置３ｚ及び全方位マイクアレイ装置５の設置時の制約を緩和できる。従って、本実施形態の収音システム１Ｚでは、全方位マイクアレイ装置５は、全方位カメラ装置３ｚの撮像方向を示す座標（水平角，垂直角）の水平角と同じ水平角を用いて、収音方向の音声を高精度に収音することができる。

なお、本実施形態では、全方位カメラ装置３ｚを全方位マイクアレイ装置５の開口部１３の内側の内周空間に嵌めこむことで、全方位カメラ装置３ｚと全方位マイクアレイ装置５とが一体化されるケースである。

なお、本実施形態で図示している全方位カメラ装置３ｚは、魚眼レンズを備えて全方向を撮影出来るカメラ装置であるが、パン方向の回転、チルト方向の回転及びズーム機能を有する半球状の透明なドーム形状を有するカメラ装置でも良い。

（第３の実施形態）
次に、第３の実施形態のキャリブレーション方法について、図２１（Ａ）、図２１（Ｂ）及び図２１（Ｃ）を参照して説明する。図２１（Ａ）は、第３の実施形態の収音システム１Ａにおけるキャリブレーション方法を表す模式図である。図２１（Ｂ）は、全方位カメラ装置３ＡＺを鉛直方向の下側から見た平面図である。図２１（Ｃ）は、全方位マイクアレイ装置５Ａを鉛直方向の下側から見た平面図である。

なお、本実施形態を含む以下の各実施形態では、上述した第２の実施形態と同一の構成要素については同一の符号を用いることで説明を省略又は簡略化し、異なる内容について説明する。

本実施形態では、全方位カメラ装置３ＡＺのカバー３ａの外周には、例えば図２１（Ａ）に示す三角形のマーカ２１ｚが付加されている。なお、マーカ２１ｚの形状は三角形に限定されず、例えば四角形でも良い。マーカ２１ｚは、全方位カメラ装置３ＡＺの撮像方向を示す座標（水平角，垂直角）の水平角の基準方向ｇ、つまり水平角０°の方向に付加されている。

また、全方位マイクアレイ装置５Ａの開口部１３の周縁部には、全方位カメラ装置３ＡＺのカバー３ａが開口部１３に挿通される際、マーカ２１ｚと対向する位置に同様の三角形のマーカ２３ｚが付加されている。なお、マーカ２３ｚの形状は三角形に限定されず、例えば四角形でも良い。マーカ２３ｚは、全方位マイクアレイ装置５Ａの水平角の基準方向ｈ、つまり水平角０°の方向に付加されている。

全方位カメラ装置３ＡＺと全方位マイクアレイ装置５Ａとを同軸ｉ方向に取り付ける場合、マーカ２１ｚの尖端とマーカ２３ｚの尖端とが対向するように、全方位カメラ装置３ＡＺを全方位マイクアレイ装置５Ａの開口部１３の内側の内周空間に嵌め込むことで、全方位カメラ装置３ＡＺと全方位マイクアレイ装置５Ａとが一体として合体する。

以上により、本実施形態のキャリブレーション方法では、例えば三角形のマーカ２１ｚ，２３の各尖端が対向するように、全方位カメラ装置３ＡＺを全方位マイクアレイ装置５Ａの開口部１３の内側の内周空間に嵌め込むことで、全方位カメラ装置３ＡＺの水平角の基準方向ｇと、全方位マイクアレイ装置５Ａの水平角の基準方向ｈとを簡易に一致させることができる。更に、本実施形態のキャリブレーション方法では、全方位カメラ装置３ＡＺ及び全方位マイクアレイ装置５Ａの設置時の制約を緩和できる。従って、本実施形態の収音システム１Ａでは、全方位マイクアレイ装置５Ａは、全方位カメラ装置３ＡＺの撮像方向を示す座標（水平角，垂直角）の水平角と同じ水平角を用いて、収音方向の音声を高精度に収音することができる。

なお、上述した第２の実施形態と同様に、本実施形態では、全方位カメラ装置３ＡＺを全方位マイクアレイ装置５Ａの開口部１３の内側の内周空間に嵌め込まずに、例えば全方位マイクアレイ装置５Ａの開口部１３の内側に予め刻まれた雌ねじ部に、全方位カメラ装置３ＡＺのカバー３ａの外周に刻まれた雄ねじ部を螺合させることで、全方位カメラ装置３ＡＺと全方位マイクアレイ装置５Ａを一体化して合体させても良い。

（第４の実施形態）
次に、第４の実施形態のキャリブレーション方法について、図２２、図２３（Ａ）及び図２３（Ｂ）を参照して説明する。図２２は、第４の実施形態の収音システム１Ｂにおけるキャリブレーション方法を表す模式図である。図２３（Ａ）は、取付部材７に全方位カメラ装置と全方位マイクアレイ装置とが取り付けられた状態を示す平面図である。図２３（Ｂ）は、図２３（Ａ）のＥ−Ｅ断面図である。

上述した第２、第３の各実施形態の収音システムでは、全方位マイクアレイ装置と全方位カメラ装置とが、それぞれ所定の設置面に直接に取り付けられた。

本実施形態の収音システム１Ｂでは、先ず所定の設置面（例えば天井面８）に取付部材７（取付具）が取り付けられて固定され、全方位マイクアレイ装置５Ｂ及び全方位カメラ装置３ＢＺの両方が取付部材７に取り付けられる（図２２参照）。これにより、本実施形態の収音システム１Ｂでは、全方位マイクアレイ装置５Ｂと全方位カメラ装置３ＢＺとが一体化して合体する。

図２３（Ａ）には、取付部材７の表面から見た場合、つまり所定の設置面の一例としての天井面８から図２３（Ｂ）に示す下方向を見た場合の全方位カメラ装置３ＢＺ及び全方位マイクアレイ装置５Ｂの取付状態が示されている。取付部材７は、表面に凹凸を有する略円盤状に形成された金属製の部材である。なお、取付部材７は、セラミックス製又は合成樹脂（例えばプラスチック又はエラストマ）製の部材でも良い。

取付部材７の表面、即ち天井面８に対向する取付部材７の表面には、同軸ｉ方向に突出し、全方位カメラ装置３ＢＺを取り付けて固定するための係止片７ａが同心円上の３箇所に形成されている。更に、取付部材７の表面には、同軸ｉ方向に突出し、全方位マイクアレイ装置５Ｂを取り付けて固定するための係止片７ｂが、係止片７ａが形成された同心円よりも大きな直径の同心円上の３箇所に形成されている。

図２４（Ａ）は、固定ピン３３ｚ，３５ｚが係合孔７１，７３に係合する様子を表す側面図である。図２４（Ｂ）は、係合孔７１，７３に挿通された固定ピン３３ｚ，３５ｚが移動する様子を表す平面図及び側面図である。図２４（Ｃ）は、固定ピン３３ｚ，３５が係合孔７１，７３において係止された様子を表す平面図及び側面図である。

係止片７ａには、全方位カメラ装置３ＢＺの底面に設けられた固定ピン３３ｚと係合する係合孔７１が、一端部の径が他端部の径に比べて大きい略ひょうたん状に形成されている。同様に、係止片７ｂには、全方位マイクアレイ装置５Ｂの底面に設けられた固定ピン３５ｚと係合する係合孔７３が、一端部の径が他端部の径に比べて大きい略ひょうたん状に形成されている。

固定ピン３３ｚ，３５ｚは、それぞれ係合孔７１，７３の一端部と他端部との間の太さ（直径）を有する頭部と頭部より細い胴部とからなる。

取付部材７の表面には、係止片７ａ及び係止片７ｂの外側に広がるように、扇形の孔部７ｃ，７ｄがそれぞれ３箇所に形成されている。これらの扇形の孔部７ｃ，７ｄの形状及び位置は、取付部材７に全方位カメラ装置３ＢＺ及び全方位マイクアレイ装置５Ｂが取り付けられた際、全方位カメラ装置３ＢＺ及び全方位マイクアレイ装置５Ｂの各水平角の基準方向ｇ，ｈが一致するように設計されている。

取付部材７の表面の中央部には、ビス３１ｚが挿通されるビス孔７ｅが３箇所に形成されている。取付部材７は、ビス孔７ｅを介して、天井面８にビス３１ｚを螺合させることで、天井面８に固定される。

全方位カメラ装置３ＢＺ及び全方位マイクアレイ装置５Ｂが取付部材７に取り付けられる場合、先ず、全方位カメラ装置３ＢＺが取付部材７に取り付けられる。この場合、固定ピン３３ｚを係止片７ａに形成された係合孔７１に係合させる（図２４（Ａ）参照）。

即ち、図２４（Ａ）に示すように、全方位カメラ装置３ＢＺの底面に突出する固定ピン３３ｚを、係合孔７１の径の大きい一端部側に挿し込む。そして、図２４（Ｂ）に示すように、固定ピン３３ｚの頭部が係合孔７１から突出した状態で、全方位カメラ装置３ＢＺを回転させることで固定ピン３３ｚを係合孔７１において移動させる。そして、図２４（Ｃ）に示すように、固定ピン３３ｚの頭部が係合孔７１の他端部側に移動した状態で、固定ピン３３ｚと係合孔７１とは係合したことになり、全方位カメラ装置３ＢＺは同軸ｉ方向に固定される。

全方位カメラ装置３ＢＺを取付部材７に取り付けた後、全方位マイクアレイ装置５Ｂを、全方位マイクアレイ装置５Ｂの開口部１３の内側から全方位カメラ装置３ＢＺが露出するように、取付部材７に取り付ける。この場合、固定ピン３５ｚを係止片７ｂに形成された係合孔７３に係合させる。なお、固定ピン３５ｚを係合孔７３に固定する手順は、固定ピン３３ｚを係合孔７１に固定する手順と同様である。

以上により、本実施形態のキャリブレーション方法では、天井面８に取り付けて固定された取付部材７に、全方位カメラ装置３ＢＺ及び全方位マイクアレイ装置５Ｂが一体として取り付けられる。これにより、本実施形態のキャリブレーション方法では、全方位カメラ装置３ＢＺと全方位マイクアレイ装置５Ｂとの各水平角の基準方向を一致させた状態で、全方位カメラ装置３ＢＺと全方位マイクアレイ装置５Ｂとを簡易に設置することができる。従って、本実施形態の収音システム１Ｂでは、全方位マイクアレイ装置５Ｂは、全方位カメラ装置３ＢＺの撮像方向を示す座標（水平角，垂直角）の水平角と同じ水平角を用いて、収音方向の音声を高精度に収音することができる。

（第５の実施形態）
次に、第５の実施形態のキャリブレーション方法について、図２５（Ａ）、図２５（Ｂ）、図２５（Ｃ）及び図２６を参照して説明する。図２５（Ａ）は、第５の実施形態のキャリブレーション方法において冶具６１を全方位マイクアレイ装置５Ｃに取り付ける様子を示す側面図である。図２５（Ｂ）は、冶具６１の全方位マイクアレイ装置５Ｃへの取り付けが完了した様子を示す側面図である。図２５（Ｃ）は、冶具６１の全方位マイクアレイ装置５Ｃへの取り付けが完了した収音システム１Ｃの外観斜視図である。図２６は、全方位カメラ装置３ＣＺの撮像画像８０ｚに冶具６１が映った様子を示す図である。

本実施形態のキャリブレーション方法では、収音システム１Ｃにおける全方位カメラ装置３ＣＺ及び全方位マイクアレイ装置５Ｃの構成及び設置面への取り付け手順は、上述した第３の実施形態における全方位カメラ装置３ＡＺ及び全方位マイクアレイ装置５Ａの取り付け手順と同様であるため、説明を省略する。

全方位マイクアレイ装置５Ｃの筐体１７における対向する両端部には、全方位マイクアレイ装置５Ｃの水平角の基準方向ｈを表す冶具６１が取り付けられる。本実施形態では、冶具６１として、全方位カメラ装置３ＣＺの筐体を跨ぐようにワイヤが架けられている。ワイヤの両方の先端が全方位マイクアレイ装置５Ｃの筐体１７に予め形成された穴に装着されることで、冶具６１は全方位マイクアレイ装置５Ｃに取り付けられる。

また、冶具６１の一部には、水平角の基準方向（例えば０°方向）であることを表す目印６３が付加されている。目印６３は、例えば冶具６１の他部と異なる色に着色しても良いし、冶具６１の材質は、セラミックス、合成樹脂（例えばプラスチック又はエラストマ）、金属など特に限定されるもので無く、形状も球体に限らず、円柱やその他の形状でも良い。

本実施形態では、図２５（Ａ）及び図２５（Ｂ）に示すように、全方位カメラ装置３ＣＺが全方位マイクアレイ装置５Ｃの開口部１３の内側の内周空間に嵌め込まれた後に、冶具６１が全方位マイクアレイ装置５Ｃの筐体１７における対向する両端部に取り付けられる。

また、本実施形態では、図２５（Ｃ）に示すように、冶具６１が全方位カメラ装置３ＣＺの筐体を跨ぐように取り付けられた状態で、全方位カメラ装置３ＣＺは、例えば全方位方向（３６０°）の所定の撮像範囲の被写体を撮像する。この場合、冶具６１以外の物があまり撮像画像の中に写り込まないように、全方位カメラ装置３ＣＺは、撮像画像の背景部分を特定の色で覆っても良い。

また、冶具６１は一本のワイヤに限定されるものではなく、水平角の基準を示す目印６３が所定の位置に固定されてカメラ映像で認識されれば、その形状には拘らず、例えば板金で作られていても、三本足形状でもよい。

更には、冶具６１は全方位カメラ装置３の筐体全体を覆う不透明なドーム状形状で、全方位マイクアレイ装置５Ｃの水平角の基準方向に目印となる開口を有した形状でも良い。

図２６に示す全方位カメラ装置３ＣＺによる円形の撮像画像８０ｚには、撮像画像８０ｚの中心を通り基準方向ｈを表す治具画像６１Ａが映っている。治具画像６１Ａの上には、全方位マイクアレイ装置５Ｃの水平角の基準方向ｈ（例えば０°方向）を表す目印６３の目印画像６３Ａが重なって映っている。目印画像６３Ａは、全方位カメラ装置３ＣＺにおける画像処理により認識されても良いし、収音システム１Ｃのオペレータが目視で認識しても良い。

撮像画像８０ｚでは、全方位カメラ装置３ＣＺの水平角の基準方向ｇは図２６中の上下方向を表す。従って、撮像画像８０ｚから、全方位カメラ装置３ＣＺは、治具画像６１Ａとして現れる全方位マイクアレイ装置５Ｃの水平角の基準方向ｈと、全方位カメラ装置３ＣＺの水平角の基準方向ｇとの角度差を、水平角のズレ量εとして算出できる。

従って、全方位カメラ装置３ＣＺと全方位マイクアレイ装置５Ｃとはネットワーク（不図示）を介して接続されている場合には、全方位マイクアレイ装置５Ｃは、全方位マイクアレイ装置５の水平角の基準方向ｈを、全方位カメラ装置３ＣＺの水平角の基準方向ｇに対し、水平角のズレ量εだけずれた値として設定することができる。つまり、全方位マイクアレイ装置５Ｃは、実際の収音方向を示す座標（水平角，垂直角）の水平角として、水平角のズレ量εだけ逆方向に戻した角度を用いて、収音方向の座標を適正に演算できる。

以上により、本実施形態のキャリブレーション方法では、全方位マイクアレイ装置５Ｃは、例えば全方位カメラ装置３ＣＺが演算した水平角のズレ量εを用いて、全方位カメラ装置３ＣＺの撮像方向を示す水平角と全方位マイクアレイ装置５Ｃの収音方向を示す水平角とを一致させ、全方位マイクアレイ装置５Ｃにおける収音方向の座標（水平角，垂直角）を調整することができる。

以下、上述したキャリブレーション方法の構成、作用及び効果を説明する。

本発明の一実施形態は、所定の撮像範囲の映像を撮像するカメラ装置と、前記カメラ装置の撮像範囲の音声を収音するマイクアレイ装置とを同軸上に位置合わせする工程と、前記マイクアレイ装置の筐体中心に形成された開口部の周縁部に、前記カメラ装置を取り付ける工程と、前記開口部の内側への前記カメラ装置の取り付けにより、前記同軸に対して直交する平面における、前記カメラ装置及び前記マイクアレイ装置の各水平角の基準方向を一致させる工程と、を有するキャリブレーション方法である。

上述した方法では、全方位カメラ装置３ｚの水平角の基準方向ｇと、全方位マイクアレイ装置５の水平角の基準方向ｈとを簡易に一致させることができ、全方位カメラ装置３ｚ及び全方位マイクアレイ装置５の設置時の制約を緩和できる。従って、本実施形態の収音システム１Ｚでは、全方位マイクアレイ装置５は、全方位カメラ装置３ｚの撮像方向を示す座標（水平角，垂直角）の水平角と同じ水平角を用いて、収音方向の音声を高精度に収音することができる。

また、本発明の一実施形態は、前記一致させる工程では、前記開口部の周縁部に形成された係止溝に前記カメラ装置の筐体外周に形成された係止部材を嵌合させることで、前記マイクアレイ装置の水平角の基準方向と前記カメラ装置の水平角の基準方向とを一致させる、キャリブレーション方法である。

上述した方法では、例えばキー１１ｙとキー溝１５に嵌合するように、全方位カメラ装置３ｚを全方位マイクアレイ装置５の開口部１３の内側の内周空間に嵌め込むことで、全方位カメラ装置３ｚと全方位マイクアレイ装置５との各水平角の基準方向を簡易に一致させることができる。

また、本発明の一実施形態は、前記一致させる工程では、前記開口部の周縁部に付加された第１マーカ部と前記カメラ装置の筐体外周に付加された第２マーカ部とを対向させることで、前記マイクアレイ装置の水平角の基準方向と前記カメラ装置の水平角の基準方向とを一致させる、キャリブレーション方法である。

上述した方法では、例えば三角形のマーカ２１，２３の各尖端が対向するように、全方位カメラ装置３ＡＺを全方位マイクアレイ装置５Ａの開口部１３の内側の内周空間に嵌め込むことで、全方位カメラ装置３ＡＺの水平角の基準方向ｇと、全方位マイクアレイ装置５Ａの水平角の基準方向ｈとを簡易に一致させることができる。

また、本発明の一実施形態は、前記取り付ける工程では、前記カメラ装置の筐体が、所定の取付具に取り付けられ、前記マイクアレイ装置の筐体が、前記所定の取付具に取り付けられた前記カメラ装置の筐体を前記開口部の内側に嵌め入れるように挿通して前記所定の取付具に取り付けられる、キャリブレーション方法である。

上述した方法では、天井面８に取り付けて固定された取付部材７に、全方位カメラ装置３ＢＺ及び全方位マイクアレイ装置５Ｂが一体として取り付けられるので、全方位カメラ装置３ＢＺと全方位マイクアレイ装置５Ｂとの各水平角の基準方向を一致させることができる。

また、本発明の一実施形態は、所定の撮像範囲の映像を撮像するカメラ装置と、前記カメラ装置の撮像範囲の音声を収音するマイクアレイ装置とを同軸上に位置合わせする工程と、前記マイクアレイ装置の筐体中心に形成された開口部の周縁部に、前記カメラ装置を取り付ける工程と、前記マイクアレイ装置の水平角の基準方向を表す冶具を、前記マイクアレイ装置の筐体の対向する両端部に取り付ける工程と、前記カメラ装置により、前記冶具を撮像する工程と、前記冶具の撮影画像を基に、前記カメラ装置の水平角の基準方向と前記マイクアレイ装置の水平角の基準方向とのズレ量を算出する工程と、算出された前記ズレ量を用いて、前記マイクアレイ装置の収音方向の水平角を調整することで、前記同軸に対して直交する平面における、前記カメラ装置及び前記マイクアレイ装置の各水平角の基準方向を一致させる工程と、を有するキャリブレーション方法である。

上述した方法では、全方位マイクアレイ装置５Ｃは、例えば全方位カメラ装置３ＣＺが演算した水平角のズレ量εを用いて、全方位カメラ装置３ＣＺの撮像方向を示す水平角と全方位マイクアレイ装置５Ｃの収音方向を示す水平角とを一致させ、全方位マイクアレイ装置５Ｃにおける収音方向の座標（水平角，垂直角）を調整することができる。

また、上述した各実施形態では、水平角の基準方向は、水平角が０°である方向として説明したが、任意の角度を基準方向として設定されても良い。

また、上述した各実施形態における全方位マイクアレイ装置の筐体の内部に配置される各マイクロホンは、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン、超指向性マイクロホン（例えばガンマイク）又はこれらの組み合わせが用いられても良い。

以下に後述する第６の実施形態は、カメラ装置とマイクアレイ装置とを結ぶ方向を各々の基準方向とし、カメラ装置の正面方向（０°方向）とカメラ装置の基準方向との偏差角と、マイクアレイ装置の正面方向（０°方向）とマイクアレイ装置の基準方向との偏差角とを算出して、水平角のキャリブレーションを行う指向性制御システム及び水平偏差角算出方法に関する。

上述した監視システムにおいて、カメラ装置とマイクアレイ装置とが別体として異なる位置に配置された場合、カメラ装置の光軸とマイクアレイ装置の物理的な中心軸とが異なる。このため、カメラ装置の撮像方向に存在している被写体の会話音声をマイクアレイ装置が収音する場合、マイクアレイ装置が会話音声を収音する方向（以下、単に「収音方向」という）を示す座標（水平角，垂直角）と、カメラ装置の撮像方向を示す座標（水平角，垂直角）とを適正値に調整する必要がある。

この調整のためには、例えばカメラ装置においてカメラ装置の撮像方向を示す座標（以下、「撮像方向座標」という）の水平角の正面方向（例えば０°方向）が既知であり、更に、マイクアレイ装置においてマイクアレイ装置の収音方向を示す座標（以下、「収音方向座標」という）の水平角の正面方向（例えば０°方向）が既知である必要がある。

また、カメラ装置とマイクアレイ装置との位置関係を適切に把握する必要があり、カメラ装置を基準としたマイクアレイ装置の方向と、マイクアレイ装置を基準としたカメラ装置の方向とが既知となるためにも、例えばマイクアレイ装置の設置時にはマイクアレイ装置における水平角の正面方向（例えば０°方向）がカメラ装置に向いていることが望ましい。

しかし、特許文献１では、カメラ装置の水平角の正面方向（例えば０°方向）と、マイクアレイ装置の水平角の正面方向（例えば０°方向）とが既知でない場合に、カメラ装置を基準としたマイクアレイ装置の方向と、マイクアレイ装置を基準としたカメラ装置の方向とを算出することは言及されていないので、各水平角がどの方向からの角度であるかが不明となってしまい、カメラ装置とマイクアレイ装置との位置関係を適切に把握できない。

従って、例えばマイクアレイ装置が被写体の音声を収音する間、マイクアレイ装置の収音方向が被写体の存在する方向を向かないことがあり得るので、マイクアレイ装置は、カメラ装置の撮像方向に存在している被写体の会話音声を適正に収音することが困難となるという課題がある。

また、マイクアレイ装置が設置されている場所に、後からカメラ装置を設置する場合は、マイクアレイ装置の水平角の正面方向（例えば０°方向）をカメラ装置に向けて設置することが困難な場合が多い。更に、複数のカメラ装置が設置された場所に、マイクアレイ装置を後から追加的に設置する場合には、マイクアレイ装置の水平角の正面方向（例えば０°方向）を複数のカメラ装置の方向に合わせることが出来ないという課題もある。

そこで、本発明に係る第６の実施形態では、上述した従来の課題を解決するために、カメラ装置の撮像方向座標とマイクアレイ装置の収音方向座標との各水平角における０°方向と両者を結ぶ互いの基準方向との間の角度を示す水平偏差角を算出し、マイクアレイ装置に、カメラ装置の撮像方向に存在している被写体の会話音声を適正に収音させる指向性制御システム及び水平偏差角算出方法の例を説明する。

以下、本発明に係る指向性制御システム及び水平偏差角算出方法の第６の実施形態について、図面を参照して説明する。本実施形態の指向性制御システムは、例えば工場、公共施設（例えば図書館、イベント会場）、又は店舗（例えば小売店、銀行）に設置される監視システム（有人監視システム及び無人監視システムを含む）として用いられる。

なお、本発明は、指向性制御システムを構成する各装置（例えば後述する指向性制御装置）、又は指向性制御システムを構成する各装置（例えば後述する指向性制御装置）が行う各動作（ステップ）を有する水平偏差角算出方法として表現することも可能である。

（第６の実施形態）
（指向性制御システムのシステム構成）
図２７（Ａ）は、キャリブレーション用全方位カメラ装置Ｃ１と全方位マイクアレイ装置２とが一体的に取り付けられる場合の本実施形態の指向性制御システム１０のシステム概要図である。図２７（Ｂ）は、全方位マイクアレイ装置２の収音方向の水平角の基準方向とキャリブレーション用全方位カメラ装置Ｃ１の撮像方向の水平角の基準方向とが一致するように全方位マイクアレイ装置２が取り付けられる場合の本実施形態の指向性制御システム１０Ａのシステム概要図である。

図２７（Ａ）に示す指向性制御システム１０は、被写体（例えば図２７（Ａ）中の２人の人物。以下同様。）を撮像する第１撮像部としての全方位カメラ装置１１ｚと、同一の被写体を撮像する第２撮像部としてのキャリブレーション用全方位カメラ装置Ｃ１と、同一の被写体の音声（例えば２人の人物の会話音声）を収音する収音部としての全方位マイクアレイ装置２とを含む。図２７（Ａ）に示す指向性制御システム１０では、例えば全方位マイクアレイ装置２の筐体中心に円柱状の開口部２１ａ（図２（Ｄ）参照）が形成され、全方位マイクアレイ装置２とキャリブレーション用全方位カメラ装置Ｃ１とは、キャリブレーション用全方位カメラ装置Ｃ１が開口部２１ａの内側の内周空間に嵌め入れられることで一体として形成される。

全方位カメラ装置１１ｚは、例えば監視カメラとしての機能を有し、不図示の光学系（例えば魚眼レンズ又は広角レンズ）及び撮像系（例えばイメージセンサ）が内蔵された筐体を有し、所定の設置面（例えばイベント会場の室内の天井面又はスタンド）に設置される。全方位カメラ装置１１ｚは、不図示のネットワークを介して、中央制御室のホストコンピュータ（不図示）に接続され、ホストコンピュータからの遠隔操作に応じて、パン方向動作、チルト方向動作、ズーム動作、撮像動作、撮像画像において指定された位置（例えば後述する指定位置Ａ’）に対応する実際の位置までの測距動作及び測角動作等を行う。全方位カメラ装置１１ｚは、例えば全方位カメラ装置１１ｚから後述する音声収音位置（又は音声位置）Ａに向かう第１撮像方向ＣＡＸ１に存在する被写体を撮像する（図２７（Ａ）参照）。

キャリブレーション用全方位カメラ装置Ｃ１は、例えば全方位カメラ装置１１ｚの撮像方向座標及び全方位マイクアレイ装置２の収音方向座標の各水平角の正面方向（例えば０°方向）と、全方位カメラ装置１１ｚと全方位マイクアレイ装置２とを結ぶ互いの基準方向からの水平偏差角を算出するためのキャリブレーション用カメラとしての機能を有する。キャリブレーション用全方位カメラ装置Ｃ１は、不図示の光学系（例えば魚眼レンズ又は広角レンズ）及び撮像系（例えばイメージセンサ）が内蔵された筐体を有し、所定の設置面（例えば天井面又はスタンド）に設置される。キャリブレーション用全方位カメラ装置Ｃ１は、不図示のネットワークを介して、中央制御室のホストコンピュータ（不図示）に接続され、ホストコンピュータからの遠隔操作に応じて、パン方向動作、チルト方向動作、ズーム動作、撮像動作、撮像画像において指定された位置（例えば後述する指定位置Ａ’）に対応する実際の位置までの測距動作及び測角動作等を行う。キャリブレーション用全方位カメラ装置Ｃ１は、例えばキャリブレーション用全方位カメラ装置Ｃ１から後述する音声収音位置Ａに向かう第２撮像方向ＣＡＸ２に存在する被写体を撮像する（図２７（Ａ）参照）。

図２７（Ａ）に示す指向性制御システム１０の全方位マイクアレイ装置２は、例えば開口部２１ａの内側の内周空間にキャリブレーション用全方位カメラ装置Ｃ１の筐体が嵌め込まれるドーナツ状型又はリング状型の筐体２１（図２（Ｄ）参照）を有する。全方位マイクアレイ装置２では、開口部２１ａの周囲であって、更に筐体２１の円周方向に沿って、複数のマイクロホンユニット２２が同心円状に配置される。マイクロホンユニット１８は、例えば高音質小型エレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられ、以下同様である。全方位マイクアレイ装置２は、例えば全方位マイクアレイ装置２から音声収音位置Ａに向かう収音方向ＭＩＸに音声の収音指向性を形成し、収音方向ＭＩＸに存在する被写体の音声を収音する。

一方、図２７（Ｂ）に示す指向性制御システム１０Ａでは、キャリブレーション用全方位カメラ装置Ｃ１と全方位マイクアレイ装置２とは一体として形成されず、キャリブレーション用全方位カメラ装置Ｃ１と全方位マイクアレイ装置２とは別体として動作する。このため、図２７（Ｂ）に示す指向性制御システム１０Ａでは、後述する指向性制御装置３が水平偏差角を算出した後、キャリブレーション用全方位カメラ装置Ｃ１が取り外され、キャリブレーション用全方位カメラ装置Ｃ１の撮像方向ＣＡＸ２の水平角０°方向（第２正面方向、図３１（Ｂ）又は図３２（Ｂ）参照）と全方位マイクアレイ装置２の水平角０°方向とが一致するように全方位マイクアレイ装置２が取り付けられる。

これにより、図２７（Ａ）に示す指向性制御システム１０と同様に、全方位マイクアレイ装置２は、キャリブレーション用全方位カメラ装置Ｃ１の水平角０°方向（第２正面方向）を共通に用いることができるので、音声収音位置Ａに向かう収音方向ＭＩＸに音声の収音指向性を適正に形成でき、収音方向ＭＩＸに存在する被写体の音声を適正に収音できる。以下、本実施形態の指向性制御システムのシステム構成として、図２７（Ａ）に示す指向性制御システム１０を想定して説明するが、図２７（Ｂ）に示す指向性制御システム１０Ａに置き換えても同様な効果が得られる。

なお、本実施形態では、魚眼レンズ又は広角レンズを含む全方位カメラ装置１１ｚを用いているが、標準的なレンズ或いは望遠レンズを含み、機械的にパン方向、チルト方向への動作及びズーム動作を行うＰＴＺ（Pan Tilt Zoom）カメラ装置でも良い。

図２８（Ａ）は、図２７（Ａ）に示す指向性制御システム１０のシステム構成の一例を示すブロック図である。図２８（Ｂ）は、図２７（Ｂ）に示す指向性制御システム１０Ａのシステム構成の一例を示すブロック図である。図２８（Ａ）に示す指向性制御システム１０は、全方位カメラ装置１１ｚと、全方位マイクアレイ装置２と、キャリブレーション用全方位カメラ装置Ｃ１と、指向性制御装置３と、レコーダ装置４とを含む構成である。全方位カメラ装置１１ｚと、全方位マイクアレイ装置２と、キャリブレーション用全方位カメラ装置Ｃ１と、指向性制御装置３と、レコーダ装置４とは、ネットワークＮＷを介して相互に接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でも良いし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でも良く、以下も同様である。

また、図２８（Ｂ）に示す指向性制御システム１０Ａでは、キャリブレーション用全方位カメラ装置Ｃ１と全方位マイクアレイ装置２とが別体として形成されていることを除けば、図２８（Ａ）に示す指向性制御システム１０と同様の構成である。

全方位カメラ装置１１ｚは、ネットワークＮＷに接続され、後述する全方位マイクアレイ装置２の収音方向（θ_ＭＡｈ，θ_ＭＡｖ）を算出するための入力パラメータ（例えば全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１との間の距離Ｌ_ＣＫ）を測定して取得し、測定された入力パラメータと撮像された画像データとを、ネットワークＮＷを介して、指向性制御装置３又はレコーダ装置４に送信する。

キャリブレーション用全方位カメラ装置Ｃ１は、ネットワークＮＷに接続され、同様に後述する全方位マイクアレイ装置２の収音方向（θ_ＭＡｈ，θ_ＭＡｖ）を算出するための入力パラメータ（例えば全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１との間の距離Ｌ_ＣＫ）を測定して取得し、測定された入力パラメータと撮像された画像データとを、ネットワークＮＷを介して、指向性制御装置３又はレコーダ装置４に送信する。

全方位マイクアレイ装置２は、ネットワークＮＷに接続され、マイクロホンを含み、等間隔毎に設けられたマイクロホンユニット２２，２３（図２（Ａ）〜図２（Ｅ）参照）と、各マイクロホンユニット２２，２３の各動作を制御するための制御部（不図示）とを少なくとも含む構成である。

全方位マイクアレイ装置２は、各々のマイクロホンユニット２２，２３を用いて、音声収音対象となる被写体が存在する収音方向の音声を収音し、各々のマイクロホンユニット２２，２３が収音した音声データを、ネットワークＮＷを介して、指向性制御装置３又はレコーダ装置４に送信する。

全方位マイクアレイ装置２は、後述する指向性制御装置３からの指向性形成指示に応じて、指向性制御装置３の信号処理部３３の座標算出部３４ｘが算出した収音方向（θ_ＭＡｈ，θ_ＭＡｖ）に、各々のマイクロホンユニット２２，２３の収音指向性を形成する。

これにより、全方位マイクアレイ装置２は、収音指向性が形成された収音方向（θ_ＭＡｈ，θ_ＭＡｖ）から収音した音声データの音量レベルを相対的に増大でき、収音指向性が形成されない方向から収音した音声データの音量レベルを相対的に低減できる。なお、収音方向（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法については後述する。

全方位マイクアレイ装置２の外観については、図２を参照して上述したので説明を省略する。なお、全方位マイクアレイ装置２の各マイクロホンユニット２２，２３は、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン、超指向性マイクロホン（例えばガンマイク）又はこれらの組み合わせが用いられても良い。

指向性制御装置３は、ネットワークＮＷに接続され、例えば監視システム制御室（不図示）に設置される据置型のＰＣ（Personal Computer）でも良いし、ユーザが携帯可能な携帯電話機、タブレット端末、スマートフォン等のデータ通信端末でも良い。

指向性制御装置３は、通信部３１と、操作部３２と、信号処理部３３と、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８とを少なくとも含む構成である。信号処理部３３は、水平偏差角算出部３４ｗと、座標算出部３４ｘと、出力制御部３４ｃとを含む。

通信部３１は、ネットワークＮＷを介して、全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１又は全方位マイクアレイ装置２が送信した画像データ又は音声データを受信して信号処理部３３に出力する。

操作部３２は、ユーザの入力操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部３２は、例えばディスプレイ装置３６の画面に対応して配置され、ユーザの指ＦＧ又はスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。

操作部３２は、ユーザの入力操作に応じて、ユーザが音量レベルの増大又は低減を所望する範囲、即ち図２９に示す指定位置Ａ’を表す座標データを取得して信号処理部３３に出力する。

信号処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、指向性制御装置３の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。

偏差量算出部としての水平偏差角算出部３４ｗは、ディスプレイ装置３６に表示された画像データのユーザによる任意の位置（＝指定位置Ａ’）の指定に応じて、全方位カメラ装置１１ｚから指定位置Ａ’に対応する音声収音位置Ａに向かう第１撮像方向ＣＡＸ１の方向角度情報と、キャリブレーション用全方位カメラ装置Ｃ１から音声収音位置Ａに向かう第２撮像方向ＣＡＸ２の方向角度情報と、全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１の距離とを基に、全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１とを結ぶ基準位置（図３１（Ｂ）に示すＫ−Ｋ’線）から、全方位カメラ装置１１ｚの第１正面方向（水平角０°方向）までの第１水平偏差角ε_Ｃｈと、キャリブレーション用全方位カメラ装置Ｃ１の第２正面方向（水平角０°方向）までの第２水平偏差角ε_Ｋｈとを算出する。水平偏差角算出部３４ｗの具体的な算出方法は、図３１及び図３２を参照して後述する。

座標算出部３４ｘは、水平偏差角算出部３４ｗにより算出された第１水平偏差角ε_Ｃｈ及び第２水平偏差角ε_Ｋｈを基に、全方位マイクアレイ装置２から音声収音位置Ａに向かう収音方向ＭＩＸの水平角θ_ＭＡｈ及び垂直角θ_ＭＡｖを、被写体の音声を全方位マイクアレイ装置２に収音させる収音方向を示す座標（収音方向座標）として算出する。

収音方向（θ_ＭＡｈ，θ_ＭＡｖ）のうち、θ_ＭＡｈは全方位マイクアレイ装置２から音声収音位置Ａに向かう収音方向ＭＩＸの水平角を表し、θ_ＭＡｖは全方位マイクアレイ装置２から音声収音位置Ａに向かう収音方向ＭＩＸの垂直角を表す。

全方位カメラ装置１１ｚの座標軸と全方位マイクアレイ装置２の座標軸との関係は、第１水平偏差角ε_Ｃｈと第２水平偏差角ε_Ｋｈ及び相互の距離Ｌ_ｃｋからわかっているので、指向性制御装置３は、ディスプレイ装置３６に表示された画像データから音声集音位置の指定に応じて、収音方向（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。

なお、音声収音位置Ａは、操作部３２がディスプレイ装置３６の画面においてユーザの指ＦＧ又はスタイラスペンによって指定された指定位置Ａ’に対応する実際の監視対象となる現場の位置である（図２７（Ａ）及び図２９参照）。

出力制御部３４ｃは、ディスプレイ装置３６及びスピーカ装置３７の動作を制御し、全方位カメラ装置１１ｚから送信された映像データをディスプレイ装置３６に再生出力させ、全方位マイクアレイ装置２から送信された音声データをスピーカ装置３７に音声出力させる。また、出力制御部３４ｃは、全方位マイクアレイ装置２の動作を制御し、例えば座標算出部３４ｘにより算出された収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）に対応する収音方向ＭＩＸに、音声データの収音指向性を全方位マイクアレイ装置２に形成させる。

表示部としてのディスプレイ装置３６は、全方位カメラ装置１１ｚ又はキャリブレーション用全方位カメラ装置Ｃ１が撮像した画像データを画面に表示する。

音声出力部としてのスピーカ装置３７は、全方位マイクアレイ装置２が収音した音声データ、又は座標算出部３４ｘが算出した収音方向（θ_ＭＡｈ，θ_ＭＡｖ）に収音指向性が形成された後に全方位マイクアレイ装置２が収音した音声データを音声出力する。なお、ディスプレイ装置３６及びスピーカ装置３７は、指向性制御装置３とは別々の構成としても良い。

メモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、指向性制御装置３の各部の動作時のワークメモリとして機能する。

レコーダ装置４は、全方位カメラ装置１１ｚ又はキャリブレーション用全方位カメラ装置Ｃ１が撮像した画像データと、全方位マイクアレイ装置２が収音した音声データとを記録する。レコーダ装置４は、全方位カメラ装置１１ｚが撮像した画像データと、全方位マイクアレイ装置２が収音した音声データとを対応付けて記録する。

次に、本実施形態の指向性制御システム１０の動作概要について、図２７（Ａ）及び図２９を参照して説明する。図２９は、全方位マイクアレイ装置２から、ディスプレイ装置３６に表示された画像の中からユーザの指が指定した指定位置Ａ’に対応する音声収音位置Ａに向かう方向を収音方向として収音された音声データがスピーカ装置３７から出力される様子を示す図である。

指向性制御システム１０では、全方位カメラ装置１１ｚは図２７（Ａ）に示す被写体（例えば２人の人物）を撮像する。全方位マイクアレイ装置２は、被写体の会話音声を含む周囲の音声を収音する。図２７（Ａ）では、被写体の２人の人物は会話している。例えば全方位カメラ装置１１ｚが撮像した画像データは、指向性制御装置３のディスプレイ装置３６に表示される（図２９参照）。

ここで、ユーザの指ＦＧによって、ディスプレイ装置３６の指定位置Ａ’、即ち会話している２人の人物の中心位置又は略中心位置が指定された場合には、指向性制御装置３は、指定位置Ａ’を表す第１撮像方向ＣＡＸ１の座標データ（θ_ＣＡｈ，θ_ＣＡｖ）を取得する。

指向性制御装置３は、キャリブレーションによって算出されている、全方位カメラ装置１１ｚの座標系と全方位マイクアレイ装置２の座標系との関係から、全方位マイクアレイ装置２の設置位置から音声収音位置Ａに向かう方向、即ち収音方向を示す収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を、全方位マイクアレイ装置２の収音方向として算出する。全方位マイクアレイ装置２は、指向性制御装置３が算出した（θ_ＭＡｈ，θ_ＭＡｖ）の座標データを用いて、全方位マイクアレイ装置２から音声収音位置Ａに向かう方向に、収音指向性を形成する。

従って、全方位マイクアレイ装置２は、収音指向性が形成された方向に存在する２人の人物の会話（Ｈｅｌｌｏ）の音量レベルを、収音指向性が形成された方向に存在しない他の物体から発せられる音量レベルより増大できる。

これにより、指向性制御装置３は、スピーカ装置３７に、収音指向性が形成された方向に存在する２人の人物の会話（Ｈｅｌｌｏ）の音量レベルを、収音指向性が形成された方向に存在しない他の物体の音量レベルより大きく音声出力させることができる（図２９参照）。

次に、本実施形態の指向性制御システム１０又は指向性制御システム１０Ａの詳細な動作手順について、図３０（Ａ）及び図３０（Ｂ）を参照して説明する。図３０（Ａ）は、本実施形態の指向性制御システム１０，１０Ａにおける第１水平偏差角ε_Ｃｈ、第２水平偏差角ε_Ｋｈの算出及び収音指向性の形成に関する動作手順を説明するフローチャートである。図３０（Ｂ）は、図３０（Ａ）に示すステップＳ２０のキャリブレーションの動作手順を詳細に説明するフローチャートである。

図３０（Ｂ）に示すキャリブレーションの説明において、初期設置には、指向性制御システム１０又は指向性制御システム１０Ａを構成する全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１及び全方位マイクアレイ装置２が所定の設置面に設置又は取り付けられる動作が含まれる。図３０（Ｂ）に示すキャリブレーションの説明を簡単にするために、例えば図２７（Ａ）に示す指向性制御システム１０の動作手順について説明し、図２７（Ａ）に示す指向性制御システム１０の動作手順と異なる内容がある場合に必要に応じて、指向性制御システム１０Ａの動作手順について説明する。

図３０（Ａ）において、全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１及び全方位マイクアレイ装置２が設置され、全方位カメラ装置１１ｚと全方位マイクアレイ装置２との各座標軸の関係を定めるためのキャリブレーションが行われる（ＳＴ２０）。なお、ステップＳ２０の動作の詳細は図３０（Ｂ）を参照して後述する。

ステップＳＴ２０でキャリブレーションが終わった後、例えばユーザの入力操作により、全方位カメラ装置１１ｚが撮影した映像（又は画像）から収音したい位置がディスプレイ装置３６の画面上において指定される（ＳＴ２１）。

指向性制御装置３の座標算出部３４ｘは、ステップＳＴ１２（後述）により測定された入力パラメータＬ_ＣＫとステップＳＴ１５により算出された第１水平変位角ε_Ｃｈ及び第２水平変位角ε_Ｋｈとを用いて、ステップＳＴ２１により指定された第１撮像方向ＣＡＸ１の水平角及び垂直角（θ_ＣＡｈ，θ_ＣＡｖ）から、被写体の音声を全方位マイクアレイ装置２に収音させる収音方向を示す座標（収音方向座標、即ち（θ_ＭＡｈ，θ_ＭＡｖ））として算出する（ＳＴ２２）。

指向性制御装置３の出力制御部３４ｃは、ステップＳＴ２２により算出された収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の収音方向に、各々のマイクロホンユニット２２，２３の収音指向性を形成する（ＳＴ２３）。

これにより、全方位マイクアレイ装置２は、収音指向性が形成された収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）により定められる収音方向から収音した音声データの音量レベルを相対的に増大でき、収音指向性が形成されない方向から収音した音声データの音量レベルを想定的に低減できる。

なお、本実施形態の指向性制御システム１０において、全方位マイクアレイ装置２が音声を収音するタイミングは、ステップＳＴ２０の直後に限定されず、例えば全方位マイクアレイ装置２の電源がＯＮされた後でも良い。

ステップＳＴ２０のキャリブレーションに関して詳細に説明を行う。図３０（Ｂ）において、指向性制御システム１０を構成する全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１及び全方位マイクアレイ装置２が所定の設置面（例えばイベント会場の室内の天井面又はスタンド）に固定されるように初期設置される（ＳＴ１１、図３１（Ａ）参照）。

ステップＳＴ１１では、例えば次のようにして、キャリブレーション用全方位カメラ装置Ｃ１と全方位マイクアレイ装置２とが一体として取り付けられる。

具体的には、先ず所定の設置面（例えばスタンド）に取付具（不図示、例えば金属製の取付金具、セラミックス製の取付具、又は合成樹脂（例えばプラスチック又はエラストマ）製の取付具）が取り付けられて固定される。

取付具が所定の設置面に取り付けられた後、キャリブレーション用全方位カメラ装置Ｃ１及び全方位マイクアレイ装置２の両方が取付具に取り付けられる。上述したように、取付具に取り付けられたキャリブレーション用全方位カメラ装置Ｃ１と全方位マイクアレイ装置２とは、キャリブレーション用全方位カメラ装置Ｃ１が全方位マイクアレイ装置２の筐体中心に形成された開口部２１ａの内周空間に嵌め入れられることで一体として形成される。また、キャリブレーション用全方位カメラ装置Ｃ１と全方位マイクアレイ装置２とは、各水平角の正面方向（０°方向）が共通するように一体として形成される。

従って、キャリブレーション用全方位カメラ装置Ｃ１の第２撮像方向ＣＡＸ２の水平角及び垂直角と、全方位マイクアレイ装置２の収音方向の水平角及び垂直角とは同一となるので、少なくとも第２水平偏差角ε_Ｋｈが算出されたことで第２正面方向が判明すれば、全方位マイクアレイ装置２における収音方向座標が適正に算出可能となる。

全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１及び全方位マイクアレイ装置２が初期設置された後、水平偏差角算出部３４ｗが第１水平偏差角ε_Ｃｈ及び第２水平偏差角ε_Ｋｈを算出するために必要となる入力パラメータ（例えば距離Ｌ_ＣＫ）の測定が行われる（ＳＴ１２）。距離Ｌ_ＣＫは、全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１との間の距離を表す。

ステップＳＴ１２では、ユーザが測定器（例えばレーザ測距計）を用いて距離Ｌ_ＣＫを測定する場合、又は全方位カメラ装置１１ｚが全方位カメラ装置１１ｚ自身の公知技術の機能を用いて距離Ｌ_ＣＫを測定して取得する場合が含まれる。以下、説明を簡単にするために、ステップＳ１２では、ユーザが測定器（例えばレーザ測距計）を用いて距離Ｌ_ＣＫを測定したとする。信号処理部３３は、ユーザの入力操作に応じて操作部３２から出力された入力パラメータとしての距離Ｌ_ＣＫのデータを取得する。

ステップＳＴ１２の後、指向性制御装置３は、ディスプレイ装置３６の画面に表示されている画像データの中から任意の指定位置Ａ’の指定を、操作部３２を介して受け付ける（ＳＴ１３）。指向性制御装置３は、ディスプレイ装置３６の画面に表示されている画像データの指定位置Ａ’の指定を受け付けたことを全方位カメラ装置１１ｚ及びキャリブレーション用全方位カメラ装置Ｃ１に送信する。

ステップＳＴ１３の後、全方位カメラ装置１１ｚは、指定位置Ａ’の指定を受け付けたことを指向性制御装置３から受信した場合、全方位カメラ装置１１ｚの設置位置を起点として、ステップＳＴ１３において指定された画像データ上の指定位置Ａ’に対応する音声収音位置Ａに向かう第１撮像方向ＣＡＸ１の水平角及び垂直角（θ_ＣＡｈ，θ_ＣＡｖ）の座標データを測定して取得する（ＳＴ１４）。但し、ステップＳＴ１４で得られた水平角及び垂直角（θ_ＣＡｈ，θ_ＣＡｖ）の座標データのうち、水平角θ_ＣＡｈは、第１正面方向がどの方向であるかが未だ判明していない状態のデータである。

更に、キャリブレーション用全方位カメラ装置Ｃ１は、指定位置Ａ’の指定を受け付けたことを指向性制御装置３から受信した場合、キャリブレーション用全方位カメラ装置Ｃ１の設置位置を起点として、ステップＳＴ１３において指定された画像データ上の指定位置Ａ’に対応する音声収音位置Ａに向かう第２撮像方向ＣＡＸ２の水平角及び垂直角（θ_ＫＡｈ，θ_ＫＡｖ）の座標データを測定して取得する（ＳＴ１４）。同様に、ステップＳＴ１４で得られた水平角及び垂直角（θ_ＫＡｈ，θ_ＫＡｖ）の座標データのうち、水平角θ_ＫＡｈは、第２正面方向がどの方向であるかが未だ判明していない状態のデータである。

全方位カメラ装置１１ｚは、第１撮像方向ＣＡＸ１の水平角及び垂直角（θ_ＣＡｈ，θ_ＣＡｖ）の座標データを指向性制御装置３に送信する。キャリブレーション用全方位カメラ装置Ｃ１は、第２撮像方向ＣＡＸ２の水平角及び垂直角（θ_ＫＡｈ，θ_ＫＡｖ）の座標データを指向性制御装置３に送信する。

指向性制御装置３の水平偏差角算出部３４ｗは、ステップＳ１２により測定された入力パラメータＬ_ＣＫと、ステップＳ１４により測定された第１撮像方向ＣＡＸ１の水平角及び垂直角（θ_ＣＡｈ，θ_ＣＡｖ）の座標データ及び第２撮像方向ＣＡＸ２の水平角及び垂直角（θ_ＫＡｈ，θ_ＫＡｖ）の座標データとを基に、第１水平偏差角ε_Ｃｈ及び第２水平偏差角ε_Ｋｈを算出する（ＳＴ１５）。ステップＳ１５の動作の詳細については、図３１及び図３２を参照して後述する。

これにより、指向性制御装置３は、全方位マイクアレイ装置２の収音方向座標を算出する前に、全方位カメラ装置１１ｚの水平角の第１正面方向（水平角０°）がどの方向であるかを判明でき、更に、キャリブレーション用全方位カメラ装置Ｃ１の第２正面方向（水平角０°）がどの方向であるかを判明できる。

ここで、ステップＳＴ１１の初期設置において、全方位マイクアレイ装置２の収音方向の水平角の正面方向（例えば０°方向）とキャリブレーション用全方位カメラ装置Ｃ１の水平角の正面方向（０°方向）とが一致するように全方位マイクアレイ装置２が設置されている場合には（ＳＴ１６、ＹＥＳ）、キャリブレーションを終了してステップＳＴ２１に進む。

一方、ステップＳＴ１１の初期設置において、全方位マイクアレイ装置２の収音方向の水平角の基準方向（例えば０°方向）とキャリブレーション用全方位カメラ装置Ｃ１の水平角の正面方向（０°方向）とが一致するように全方位マイクアレイ装置２が設置されていない場合には（ＳＴ１６、ＮＯ）、指向性制御システム１０の動作手順は、ステップＳＴ２１に進む。

即ち、ステップＳＴ１７では、全方位マイクアレイ装置２の収音方向の水平角の正面方向（例えば０°方向）とキャリブレーション用全方位カメラ装置Ｃ１の水平角の正面方向（０°方向）とが一致するように全方位マイクアレイ装置２が設置される（ＳＴ１７）。

ステップＳＴ１７では、例えば次のようにして、全方位マイクアレイ装置２の収音方向の水平角の基準方向（例えば０°方向）とキャリブレーション用全方位カメラ装置Ｃ１の第２撮像方向ＣＡＸ２の水平角の基準方向とが一致するように全方位マイクアレイ装置２が設置される。

具体的には、キャリブレーション用全方位カメラ装置Ｃ１の筐体の外周には、例えば三角形又は四角形のマーカ（不図示）が付加される。マーカは、キャリブレーション用全方位カメラ装置Ｃ１の第２撮像方向の水平角の正面方向（０°方向）を表す方向に付加されている。また、全方位マイクアレイ装置２の筐体中心に形成された開口部２１ａの周縁部には、キャリブレーション用全方位カメラ装置Ｃ１のマーカと対向する位置に、例えば同様な形状のマーカ（不図示）が付加される。

従って、キャリブレーション用全方位カメラ装置Ｃ１のマーカと全方位マイクアレイ装置２のマーカとが対向するように、全方位マイクアレイ装置２が設置されることで、全方位マイクアレイ装置２の収音方向の水平角の正面方向（０°方向）とキャリブレーション用全方位カメラ装置Ｃ１の第２撮像方向ＣＡＸ２の水平角の正面方向とが一致するように全方位マイクアレイ装置２が設置され、キャリブレーションが終了する。

（全方位マイクアレイ装置２の収音方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法）
次に、指向性制御装置３の水平偏差角算出部３４ｗが第１水平偏差角ε_Ｃｈ及び第２水平偏差角ε_Ｋｈを算出する方法について、図３１及び図３２を参照して詳細に説明する。

図３１は、本実施形態における全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１、及び音声収音位置Ａの各位置関係を示す図である。図３１（Ａ）は、斜視図である。図３１（Ｂ）は、図７（Ａ）中の上側から鉛直下方向を見た場合の平面図である。図３１（Ｃ）は、図７（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。

図３２は、本実施形態における全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１、及び音声収音位置Ａの各位置関係を示す図である。図３２（Ａ）は、斜視図である。図３２（Ｂ）は、図３２（Ａ）中の上側から鉛直下方向を見た場合の平面図である。図３２（Ｃ）は、図３２（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。

水平偏差角算出部３４ｗは、ディスプレイ装置３６に表示された画像データのユーザによる任意の指定位置Ａ’の指定に応じて、
（１）ステップＳＴ１２により測定された全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１との間の距離Ｌ_ＣＫと、
（２）ステップＳＴ１４により測定された第１撮像方向ＣＡＸ１の水平角及び垂直角（θ_ＣＡｈ，θ_ＣＡｖ）の座標と、
（３）ステップＳＴ１４により測定された第２撮像方向ＣＡＸ２の水平角及び垂直角（θ_ＫＡｈ，θ_ＫＡｖ）の座標と、
（４）ステップＳＴ１１の初期設置時において測定された全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１の水平面からの各高さＨ_Ｃ，Ｈ_Ｋと、
（５）音声収音位置Ａの水平面からの高さＨ_Ａと、を基に、
第１水平偏差角ε_Ｃｈ及び第２水平偏差角ε_Ｋｈを算出する。

（４）全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１、更に全方位マイクアレイ装置２の水平面からの各高さＨ_Ｃ，Ｈ_Ｋ，Ｈ_Ｍは、全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１、全方位マイクアレイ装置２の各初期設置時に決まる固定値である。例えば、全方位カメラ装置１１ｚ、キャリブレーション用全方位カメラ装置Ｃ１、更に全方位マイクアレイ装置２の水平面からの各高さＨ_Ｃ，Ｈ_Ｋ，Ｈ_Ｍは、同一である。

（５）音声収音位置Ａの水平面からの高さＨ_Ａは、予め決められた固定値であり、例えばユーザの指ＦＧが指定位置Ａ’を指定する時に、音声収音位置Ａの周囲に人物がいる場合には人物の大きさをＨ_Ａとして選択された値又は入力された値である。又は、ユーザの指ＦＧが指定位置Ａ’を指定した時に、指向性制御装置３が指定された位置に人物（例えば大人又は子供）がいることを判定した場合に、既定の値（例えば１．５ｍ又は０．８ｍ）が用いられても良い。

以下、水平偏差角算出部３４ｗにおける第１水平偏差角ε_Ｃｈ及び第２水平偏差角ε_Ｋｈの算出方法について、具体的に説明する。先ず、本算出方法を説明する前提として、全方位カメラ装置１１ｚの第１撮像方向ＣＡＸ１の水平角を定める場合に必要となる水平角の正面方向（０°方向）を示す第１正面方向は既知でない、即ち未知であるとする（図３１（Ｂ）又は図３２（Ｂ）参照）。同様に、キャリブレーション用全方位カメラ装置Ｃ１の第２撮像方向ＣＡＸ２の水平角を定める場合に必要となる水平角の正面方向（０°方向）を示す第２正面方向は既知でない、即ち未知であるとする（図３１（Ｂ）又は図３２（Ｂ）参照）。

水平偏差角算出部３４ｗは、図３１（Ｃ）に示す△ＣＡＳにおいて、全方位カメラ装置１１ｚの水平面からの高さＨ_Ｃと、音声収音位置Ａの水平面からの高さＨ_Ａと、第１撮像方向ＣＡＸ１の垂直角θ_ＣＡｖとを基に、全方位カメラ装置１１ｚから音声収音位置Ａまでの距離の水平成分の距離Ｌ_ＣＡｈを数式（６４）に従って算出する。

水平偏差角算出部３４ｗは、図３２（Ｃ）に示す△ＫＡＳにおいて、キャリブレーション用全方位カメラ装置Ｃ１の水平面からの高さＨ_Ｋと、音声収音位置Ａの水平面からの高さＨ_Ａと、第２撮像方向ＣＡＸ２の垂直角θ_ＫＡｖとを基に、キャリブレーション用全方位カメラ装置Ｃ１から音声収音位置Ａまでの距離の水平成分の距離Ｌ_ＫＡｈを数式（６５）に従って算出する。

水平偏差角算出部３４ｗは、距離Ｌ_ＣＫと数式（６４）及び数式（６５）により算出された距離Ｌ_ＣＡｈ及びＬ_ＫＡｈとを用いて、図３１（Ｂ）に示す△ＫＣＡにおける余弦定理により、数式（６６）に従って、全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１とが対向する直線と、全方位カメラ装置１１ｚから音声収音位置Ａまでの直線Ｋ−Ｋ ‘とがなす水平角ψ_ＫＣＡｈの余弦値ｃｏｓψ_ＫＣＡｈを算出する。

水平偏差角算出部３４ｗは、数式（６６）の算出結果により、数式（６７）に従って、水平角ψ_ＫＣＡｈを算出する。

水平偏差角算出部３４ｗは、距離Ｌ_ＣＫと数式（６４）及び数式（６５）により算出された距離Ｌ_ＣＡｈ及びＬ_ＫＡｈとを用いて、図３１（Ｂ）に示す△ＫＣＡにおける余弦定理により、数式（６８）に従って、全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１とが対向する直線と、キャリブレーション用全方位カメラ装置Ｃ１から音声収音位置Ａまでの直線Ｋ−Ｋ‘とがなす水平角ψ_ＣＫＡｈの余弦値ｃｏｓψ_ＣＫＡｈを算出する。

水平偏差角算出部３４ｗは、数式（６８）の算出結果により、数式（６９）に従って、水平角ψ_ＫＣＡｈを算出する。

水平偏差角算出部３４ｗは、第１撮像方向ＣＡＸ１の水平角θ_ＣＡｈと数式（６７）により算出された水平角ψ_ＫＣＡｈとを用いて、数式（７０）に従って、第１水平偏差角ε_Ｃｈを算出する。

水平偏差角算出部３４ｗは、第２撮像方向ＣＡＸ２の水平角θ_ＫＡｈと数式（６８）により算出された水平角ψ_ＣＫＡｈとを用いて、数式（７１）に従って、第２水平偏差角ε_Ｋｈを算出する。

以上により、本実施形態の指向性制御システム１０又は指向性制御システム１０Ａでは、全方位カメラ装置１１ｚ及びキャリブレーション用全方位カメラ装置Ｃ１は、同一の被写体の画像を撮像し、全方位マイクアレイ装置２は、撮像される被写体の音声を収音する。指向性制御装置３の水平偏差角算出部３４ｗは、ディスプレイ装置３６に表示された全方位カメラ装置１１ｚの画像データにおいて任意の指定位置Ａ’が指定されると、全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１とを結ぶ互いの基準方向に対して全方位カメラ装置１１ｚの水平角の正面方向がなす偏差の角度である第１水平偏差角ε_Ｃｈと、キャリブレーション用全方位カメラ装置Ｃ１の水平角の第２正面方向とキャリブレーション用全方位カメラ装置Ｃ１の基準方向とがなす偏差の角度である第２水平偏差角ε_Ｋｈとを算出する。

これにより、指向性制御システム１０では、指向性制御装置３は、全方位カメラ装置１１ｚから音声収音位置Ａに向かう撮像方向座標から、キャリブレーション用全方位カメラ装置Ｃ１の筐体周囲を囲むように取り付けられた全方位マイクアレイ装置２、又はキャリブレーション用全方位カメラ装置Ｃ１の水平角の基準方向と一致するようにキャリブレーション用全方位カメラ装置Ｃ１の位置に取り付けられた全方位マイクアレイ装置２の収音方向座標を算出できる。

即ち、指向性制御装置３は、全方位マイクアレイ装置２の収音方向座標を算出する前に、全方位カメラ装置１１ｚの水平角の第１正面方向が全方位カメラ装置１１ｚの基準方向からどのくらいの偏差が生じているかを判明でき、更に、キャリブレーション用全方位カメラ装置Ｃ１の第２正面方向がキャリブレーション用全方位カメラ装置Ｃ１の基準方向からどのくらいの偏差が生じているかを判明できる。従って、指向性制御システム１０では、キャリブレーション用全方位カメラ装置Ｃ１の第２撮像方向ＣＡＸ２の水平角及び垂直角と、全方位マイクアレイ装置２の収音方向の水平角及び垂直角とは同一となるので、第１水平偏差角ε_Ｃｈと第２水平偏差角ε_Ｋｈが算出されたことで、距離Ｌ_ｃｋから、全方位マイクアレイ装置２における収音方向座標が適正に算出可能となる。

即ち、指向性制御装置３は全方位カメラ装置１１ｚにより撮像された画像データの任意の音声収音位置に向かう全方位マイクアレイ装置２からの収音方向座標を適正に算出することができる。

以下、上述した本発明に係る指向性制御システム及び水平偏差角算出方法の構成、作用及び効果を説明する。

本発明の一実施形態は、被写体の画像を撮像する第１撮像部と、前記被写体の画像を撮像する第２撮像部と、前記被写体の音声を収音する収音部と、前記第１撮像部により撮像された画像データを表示する表示部と、表示された前記画像データの任意の位置の指定に応じて、前記第１撮像部から前記画像データの指定位置に対応する音声収音位置に向かう第１撮像方向の水平角の第１基準水平角からの第１水平偏差角と、前記第２撮像部から前記音声収音位置に向かう第２撮像方向の水平角の第２基準方向からの第２水平偏差角とを算出する偏差量算出部と、を備える、指向性制御システムである。

上述した構成では、全方位カメラ装置１１ｚ及びキャリブレーション用全方位カメラ装置Ｃ１は、同一の被写体の画像を撮像し、全方位マイクアレイ装置２は、撮像される被写体の音声を収音する。指向性制御装置３の水平偏差角算出部３４ｗは、ディスプレイ装置３６に表示された全方位カメラ装置１１ｚの画像データにおいて任意の指定位置Ａ’が指定されると、全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１とを結ぶ互いの基準方向に対して全方位カメラ装置１１ｚの水平角の第１正面方向（例えば０°方向）がなす偏差の角度である第１水平偏差角ε_Ｃｈと、キャリブレーション用全方位カメラ装置Ｃ１の水平角の第２正面方向とキャリブレーション用全方位カメラ装置Ｃ１の基準方向とがなす偏差の角度である第２水平偏差角ε_Ｋｈとを算出する。

これにより、指向性制御システム１０では、指向性制御装置３は、全方位カメラ装置１１ｚから音声収音位置Ａに向かう撮像方向座標から、キャリブレーション用全方位カメラ装置Ｃ１の筐体周囲を囲むように取り付けられた全方位マイクアレイ装置２、又はキャリブレーション用全方位カメラ装置Ｃ１の水平角の基準方向と一致するようにキャリブレーション用全方位カメラ装置Ｃ１の位置に取り付けられた全方位マイクアレイ装置２の収音方向座標の各水平角の正面方向（例えば０°方向）と互いの基準方向とがなす各偏差量を算出できる。従って、指向性制御システム１０では、指向性制御装置３は、全方位カメラ装置１１ｚにより撮像された画像データの任意の音声収音位置に向かう全方位マイクアレイ装置２からの収音方向座標を適正に算出することができる。

また、本発明の一実施形態は、前記偏差量算出部が、前記第１撮像部から前記第２撮像部までの距離と、前記第１撮像部から前記音声収音位置に向かう水平角及び垂直角と、前記第２撮像部から前記音声収音位置に向かう水平角及び垂直角と、前記第１撮像部の水平面からの高さと、前記第２撮像部の前記水平面からの高さと、前記音声収音位置の前記水平面からの高さと、を基に、前記第１水平偏差角及び前記第２水平偏差角を算出する、指向性制御システムである。

上述した構成では、指向性制御装置３の水平偏差角算出部３４ｗは、全方位カメラ装置１１ｚからキャリブレーション用全方位カメラ装置Ｃ１までの距離Ｌ_ＣＫと、全方位カメラ装置１１ｚから音声収音位置Ａに向かう水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖと、キャリブレーション用全方位カメラ装置Ｃ１から音声収音位置Ａに向かう水平角θ_ＫＡｈ及び垂直角θ_ＫＡｖと、全方位カメラ装置１１ｚの水平面からの高さＨ_Ｃと、キャリブレーション用全方位カメラ装置Ｃ１の水平面からの高さＨ_Ｋと、音声収音位置Ａの水平面からの高さＨ_Ａと、を基に、第１水平偏差角ε_Ｃｈ及び第２水平偏差角ε_Ｋｈを算出する。これにより、指向性制御装置３は、第１水平偏差角ε_Ｃｈ及び第２水平偏差角ε_Ｋｈを簡易に算出することができる。

また、本発明の一実施形態は、前記第１水平偏差角及び前記第２水平偏差角を基に、前記収音部から前記音声収音位置に向かう方向の水平角及び垂直角を、前記被写体の音声を前記収音部に収音させる収音方向を示す座標として算出する座標算出部を更に備える、指向性制御システムである。

上述した構成では、指向性制御装置３の座標算出部３４ｘは、水平偏差角算出部３４ｗにより算出された第１水平偏差角ε_Ｃｈ及び第２水平偏差角ε_Ｋｈを基に、キャリブレーション用全方位カメラ装置Ｃ１の筐体周囲を囲むように取り付けられた全方位マイクアレイ装置２、又はキャリブレーション用全方位カメラ装置Ｃ１の水平角の基準方向と一致するようにキャリブレーション用全方位カメラ装置Ｃ１の位置に取り付けられた全方位マイクアレイ装置２の収音方向座標の水平角及び垂直角を算出することができる。

また、本発明の一実施形態は、算出された前記収音方向を示す座標に対応する前記収音方向に、音声データの収音指向性を前記収音部に形成させる出力制御部を更に備える、指向性制御システムである。

上述した構成では、指向性制御装置３の出力制御部３４ｃは、座標算出部３４ｘにより算出された全方位マイクアレイ装置２の収音方向座標に対応する収音方向ＭＩＸに、音声データの収音指向性を全方位マイクアレイ装置２に形成させる。これにより、指向性制御装置３は、全方位マイクアレイ装置２に、全方位カメラ装置１１ｚの撮像方向に存在している被写体の会話音声を適正に収音させることができる。

また、本発明の一実施形態は、前記収音部の筐体中心に円柱状の開口部が形成され、前記収音部と前記第２撮像部とは、前記第２撮像部が前記開口部の内周空間に嵌め入れられることで一体として形成される、指向性制御システムである。

上述した構成では、全方位マイクアレイ装置２の筐体中心に円柱状の開口部が形成され、全方位マイクアレイ装置２とキャリブレーション用全方位カメラ装置Ｃ１とは、キャリブレーション用全方位カメラ装置Ｃ１が開口部２１ａの内周空間に嵌め入れられたことで一体として形成される。これにより、全方位マイクアレイ装置２は、キャリブレーション用全方位カメラ装置Ｃ１から音声収音位置Ａに向かう第２撮像方向ＣＡＸ２の水平角及び垂直角を、全方位マイクアレイ装置２における収音方向ＭＩＸの水平角及び垂直角として共通に用いることができる。

また、本発明の一実施形態は、第１撮像部と、第２撮像部と、収音部とを含む指向性制御システムにおける水平偏差角算出方法であって、前記第１撮像部において、被写体の画像を撮像するステップと、前記第２撮像部において、前記被写体の画像を撮像するステップと、前記収音部において、前記被写体の音声を収音するステップと、前記第１撮像部により撮像された画像データを表示部に表示するステップと、前記表示部に表示された前記画像データの任意の位置の指定に応じて、前記第１撮像部から前記画像データの指定位置に対応する音声収音位置に向かう第１撮像方向の水平角の第１基準方向からの第１水平偏差角と、前記第２撮像部から前記音声収音位置に向かう第２撮像方向の水平角の第２基準方向からの第２水平偏差角とを算出するステップと、を有する、水平偏差角算出方法である。

上述した方法では、全方位カメラ装置１１ｚ及びキャリブレーション用全方位カメラ装置Ｃ１は、同一の被写体の画像を撮像し、全方位マイクアレイ装置２は、撮像される被写体の音声を収音する。指向性制御装置３の水平偏差角算出部３４ｗは、ディスプレイ装置３６に表示された全方位カメラ装置１１ｚの画像データにおいて任意の指定位置Ａ’が指定されると、全方位カメラ装置１１ｚとキャリブレーション用全方位カメラ装置Ｃ１とを結ぶ互いの基準方向に対して全方位カメラ装置１１ｚの水平角の第１正面方向（例えば０°方向）がなす偏差の角度である第１水平偏差角ε_Ｃｈと、キャリブレーション用全方位カメラ装置Ｃ１の水平角の第２正面方向とキャリブレーション用全方位カメラ装置Ｃ１の基準方向とがなす偏差の角度である第２水平偏差角ε_Ｋｈとを算出する。

これにより、指向性制御システム１０では、指向性制御装置３は、全方位カメラ装置１１ｚから音声収音位置に向かう撮像方向座標から、キャリブレーション用全方位カメラ装置Ｃ１の筐体周囲を囲むように取り付けられた全方位マイクアレイ装置２、又はキャリブレーション用全方位カメラ装置Ｃ１の水平角の基準方向と一致するようにキャリブレーション用全方位カメラ装置Ｃ１の位置に取り付けられた全方位マイクアレイ装置２の収音方向座標の各水平角の正面方向（例えば０°方向）と互いの基準方向とがなす各偏差量を算出できる。従って、指向性制御システム１０では、指向性制御装置３は、全方位カメラ装置１１ｚにより撮像された画像データの任意の音声収音位置に向かう全方位マイクアレイ装置２からの収音方向座標を適正に算出することができる。

以下に後述する第７〜第１０の各実施形態は、音源として収音空間内に存在する対象物の基準面からの高さを判定し、対象物の基準面からの高さを用いて、マイクアレイ装置により収音される音声の収音指向性を形成する指向性制御システム及び指向性制御方法に関する。

特許文献１では、例えばテレビ会議システムにおける使用形態が想定され、カメラ装置とマイクアレイ装置と対象物（例えば人物）とが同一平面上に存在することが前提とされている。しかし、上述した監視システムでは、カメラ装置、マイクアレイ装置、対象物（例えば人物）が実際に同一平面上に存在することは少ない。

例えば図４６に示すように、カメラ装置ＣＡ及びマイクアレイ装置Ｍｉｃ−Ａは、音声の収音対象としての対象物（２人の人物）から上方（例えば店舗の天井面）に設置されることが多いので、カメラ装置ＣＡ、マイクアレイ装置Ｍｉｃ−Ａ及び対象物（２人の人物）は、立体的な３次元の座標上に存在する。図４６は、従来の監視システムにおける課題の説明図である。

従って、図４６に示す監視システムにおいて、カメラ装置ＣＡが撮像している対象物（２人の人物）の会話をマイクアレイ装置Ｍｉｃ−Ａが収音する場合、特許文献１の方法を用いると、マイクアレイ装置Ｍｉｃ−Ａが収音する方向を示す座標（水平角，垂直角）が適切に算出することができないという課題がある。

また、図４６に示す監視システムにおいて、カメラ装置ＣＡが撮像している対象物（２人の人物）の会話をマイクアレイ装置Ｍｉｃ−Ａが収音する場合、カメラ装置ＣＡから対象物に向かう方向を示す水平角及び垂直角が同一でも、対象物の音源位置（以下、単に「対象音源位置」又は「音声位置」という）の基準面（例えば床面）からの高さが異なると、マイクアレイ装置Ｍｉｃ―Ａから対象音源位置に向かう収音指向方向が一意に定まらないという課題が生じる。

例えば図４６において、点Ａ，点Ａ’，点Ａ’’はカメラ装置ＣＡからの水平角及び垂直角が同一となる位置であるが、点Ａ，点Ａ’，点Ａ’’の基準面（例えば床面）からの高さＨ_Ａ，Ｈ_Ａ’，Ｈ_Ａ’’のいずれかが定まらないと、マイクアレイ装置Ｍｉｃ−Ａから点Ａ，点Ａ’，点Ａ’’に向かう収音指向方向が全て異なってしまう。即ち、マイクアレイ装置Ｍｉｃ−Ａは、カメラ装置ＣＡの被写体である対象物（２人の人物）の会話を高精度に収音することが困難となる。

そこで、本発明の第７〜第１０の各実施形態では、上述した従来の課題を解決するために、収音空間内に存在する対象音源位置の基準面からの高さを判定し、対象音源位置の基準面からの高さを基に、マイクアレイ装置から対象音源位置に向かう収音指向方向に音声の収音指向性を形成する指向性制御システム及び指向性制御方法の例を説明する。

以下、本発明に係る指向性制御システム及び指向性制御方法の第７〜第１０の各実施形態について、図面を参照して説明する。各実施形態の指向性制御システムは、例えば工場、企業、公共施設（例えばイベント会場）、又は店舗（例えば小売店）に設置される監視システム（有人監視システム及び無人監視システムを含む）として用いられるが、設置場所は特に限定されない。以下の各実施形態では、各実施形態の指向性制御システムは、例えば店舗内に設置されるとして説明する。

なお、本発明は、指向性制御システムを構成する各装置（例えば後述する指向性制御装置）、又は指向性制御システムを構成する各装置が行う各動作（ステップ）を有する指向性制御方法として表現することも可能である。

（第７の実施形態）
（指向性制御システムのシステム構成）
図３３は、第７の実施形態の指向性制御システム１０のシステム構成を示すブロック図である。図３３に示す指向性制御システム１０は、少なくとも１つのカメラ装置１１〜１ｎと、全方位マイクアレイ装置２と、指向性制御装置３と、レコーダ装置４とを含む。ｎはカメラ装置の台数を表し、１以上の整数である。カメラ装置１１〜１ｎと、全方位マイクアレイ装置２と、指向性制御装置３と、レコーダ装置４とは、ネットワークＮＷを介して互いに接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でも良いし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でも良く、以下の各実施形態においても同様である。

少なくとも１つの撮像部としてのカメラ装置１１〜１ｎは、不図示の光学系（例えば広角レンズ）及び撮像系（例えばイメージセンサ）が内蔵された筐体を有し、例えば店舗内の天井面又は所定のスタンド（図３４（Ａ）参照）に固定して設置され、監視カメラとしての機能を有する。カメラ装置１１〜１ｎは、ネットワークＮＷを介して接続された中央制御室（不図示）の指向性制御装置３に接続され、指向性制御装置３からの遠隔操作に応じて、パン方向動作、チルト方向動作、ズーム動作、撮像動作、撮像映像において指定された位置（例えば後述する図３４（Ｂ）に示す指定位置Ａ’）に対応する実際の対象音源位置Ａまでの測距動作及び測角動作等を行う。

また、カメラ装置１１〜１ｎは、光軸を中心とした既定の画角内に存在する対象物の映像（静止画及び動画を含む。以下同様。）を撮像する。カメラ装置１１〜１ｎは、撮像した映像データと後述する収音指向方向の水平角θ_ＭＡｈ及び垂直角θ_ＭＡｖを算出するための入力パラメータを取得して、ネットワークＮＷを介して、指向性制御装置３又はレコーダ装置４に送信する。

収音部としての全方位マイクアレイ装置２は、例えば筐体中心に開口部２１ａが形成されたドーナツ型又はリング型（環状型）の形状の筐体２１Ｃ（図２（Ｄ）参照）を有し、例えば店舗内の天井面又は所定のスタンド（図３４（Ａ）参照）に固定して設置される。全方位マイクアレイ装置２は、全方位マイクアレイ装置２の設置位置Ｍから後述する対象音源位置Ａに向かう収音指向方向に、音声を高精度に収音するための収音指向性を形成し、収音指向方向に存在する対象物（２人の人物）の会話音声（例えば「Ｈｅｌｌｏ」）を高精度に収音する。なお、全方位マイクアレイ装置２の筐体形状については、ドーナツ型又はリング型（環状型）形状に限定されず、図２を参照して上述したので説明を省略する。

全方位マイクアレイ装置２では、開口部２１ａの周囲であって、更に筐体２１Ｃの円周方向に沿って、複数のマイクロホンユニット２２が同心円状に配置される。マイクロホンユニット２２は、例えば高音質小型エレクトレットコンデンサーマイクロホン（ＥＣＭ：Electret Condenser Microphone）が用いられ、以下の各実施形態においても同様である。

全方位マイクアレイ装置２は、ネットワークＮＷに接続され、等間隔毎に設けられたマイクロホンを含むマイクロホンユニット２２，２３（図２（Ａ）〜図２（Ｅ）参照）と、各マイクロホンユニット２２，２３の各動作を制御するための制御部（不図示）とを少なくとも含む構成である。

全方位マイクアレイ装置２は、各々のマイクロホンユニット２２，２３を用いて、音声収音対象となる対象物（音源）が存在する収音指向方向の音声を収音し、各々のマイクロホンユニット２２，２３が収音した音声データに所定の音声処理を施して、ネットワークＮＷを介して、指向性制御装置３又はレコーダ装置４に送信する。

全方位マイクアレイ装置２は、後述する指向性制御装置３からの指向性形成指示に応じて、指向性制御装置３の信号処理部３３の収音指向方向算出部３４ｂが算出した収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）に、各々のマイクロホンユニット２２，２３の収音指向性を形成する。

これにより、全方位マイクアレイ装置２は、収音指向性が形成された収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）から収音した音声の音量レベルを相対的に増大でき、収音指向性が形成されない方向から収音した音声の音量レベルを相対的に低減できる。なお、収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法については後述する。

指向性制御装置３は、ネットワークＮＷに接続され、例えば企業内の中央制御室（不図示）に設置される据置型のＰＣ（Personal Computer）でも良いし、ユーザが携帯可能な携帯電話機、タブレット端末、スマートフォン等のデータ通信端末機でも良い。

指向性制御装置３は、通信部３１と、操作部３２と、信号処理部３３と、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８とを少なくとも含む構成である。信号処理部３３は、音源高さ判定部３４ａと、収音指向方向算出部３４ｂと、出力制御部３４ｃとを少なくとも含む。

通信部３１は、ネットワークＮＷを介して、カメラ装置１１〜１ｎ又は全方位マイクアレイ装置２が送信した映像データ又は音声データを受信して信号処理部３３に出力する。

操作部３２は、ユーザの入力操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部３２は、例えばディスプレイ装置３６の画面に対応して配置され、ユーザの指ＦＧ又はスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。

操作部３２は、ユーザの入力操作に応じて、ユーザが音声の音量レベルの増大又は低減を所望する場所、即ち図３４（Ｂ）に示す指定位置Ａ’を表す座標データを取得して信号処理部３３に出力する。

信号処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、指向性制御装置３の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。

高さ判定部としての音源高さ判定部３４ａは、ディスプレイ装置３６に表示された映像データとして、例えばカメラ装置１１により撮像された映像データにおいて指定位置Ａ’がユーザの指ＦＧ又はスタイラスペンにより指定されると、指定された指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａを判定する。以下の各実施形態において、特段の説明が無い限り、例えば基準面は店舗内の床面ＢＬとする。

具体的には、音源高さ判定部３４ａは、ディスプレイ装置３６に表示された映像データの指定位置Ａ’がユーザの指ＦＧにより指定されると、指定位置Ａ’の座標データに対応する対象音源位置Ａの床面ＢＬからの高さデータを設定ファイルＣＦ１から読み出す。音源高さ判定部３４ａは、読み出した指定位置Ａ’の座標データに対応する対象音源位置Ａの床面ＢＬからの高さデータを、指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａであると判定する。

収音指向方向算出部３４ｂは、ディスプレイ装置３６に表示された映像データにおける指定位置Ａ’の指定に応じて、全方位マイクアレイ装置２の設置位置Ｍから、指定位置Ａ’に対応する対象音源位置Ａに向かう収音指向方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）（以下、「収音指向座標」と略記する）を算出する。

収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）のうち、θ_ＭＡｈは全方位マイクアレイ装置２から対象音源位置Ａに向かう収音指向方向の水平角を表し、θ_ＭＡｖは全方位マイクアレイ装置２から対象音源位置Ａに向かう収音指向方向の垂直角を表す。なお、対象音源位置Ａは、操作部３２がディスプレイ装置３６に表示された映像データにおいてユーザの指ＦＧ又はスタイラスペンによって指定された指定位置Ａ’に対応する実際の監視対象となる現場の位置である。

制御部としての出力制御部３４ｃは、カメラ装置１１〜１ｎ、全方位マイクアレイ装置２、ディスプレイ装置３６及びスピーカ装置３７の各動作を制御し、カメラ装置１１〜１ｎから送信された映像データをディスプレイ装置３６に再生出力させ、全方位マイクアレイ装置２から送信された音声データをスピーカ装置３７に音声出力させる。出力制御部３４ｃは、収音指向方向算出部３４ｂにより算出された収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）に対応する収音指向方向に、音声データの収音指向性を全方位マイクアレイ装置２に形成させる。

表示部としてのディスプレイ装置３６は、カメラ装置１１〜１ｎが撮像した映像データを画面に表示する。

音声出力部としてのスピーカ装置３７は、全方位マイクアレイ装置２が収音した音声データ、又は収音指向方向算出部３４ｂが算出した収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）の収音指向方向に収音指向性が形成された後に全方位マイクアレイ装置２が収音した音声データを音声出力する。なお、ディスプレイ装置３６及びスピーカ装置２７は、指向性制御装置３とは別々の構成としても良い。

記憶部としてのメモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、指向性制御装置３の各部の動作時のプログラムメモリ、データメモリ、ワークメモリとして機能する。また、メモリ３８は、図３３に示す設定ファイルＣＦ１を記憶する。設定ファイルＣＦ１には、例えばカメラ装置１１の床面ＢＬからの高さＨ_Ｃのデータと、全方位マイクアレイ装置２の床面ＢＬからの高さＨ_Ｍのデータと、例えばカメラ装置１１が撮像している映像データの所定の指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａのデータ（第１設定データ）とが少なくとも含まれる。

レコーダ装置４は、カメラ装置１１〜１ｎが撮像した映像データと、全方位マイクアレイ装置２が収音した音声データとを対応付けて記録する。

次に、本実施形態の指向性制御システム１０の動作概要について、図３４（Ａ）及び図３４（Ｂ）を参照して説明する。図３４（Ａ）は、指向性制御システム１０が設置された収音空間Ｋ内において、カメラ装置１１が対象物（２人の人物）を撮像する様子と、全方位マイクアレイ装置２が収音指向方向に存在する対象物（２人の人物）の会話と収音指向方向に存在しないスピーカ装置ＳＰからの出力音楽とを収音する様子とを示す図である。

図３４（Ｂ）は、全方位マイクアレイ装置２から、ディスプレイ装置３６に表示された映像データからユーザの指ＦＧにより指定された指定位置Ａ’に対応する対象音源位置Ａに向かう収音指向方向の収音音声（例えば「Ｈｅｌｌｏ」）の音量レベルがスピーカ装置ＳＰからの出力音楽（例えば「♪」）の音量レベルよりも大きく音声出力される様子を示す図である。

図３４（Ａ）に示す指向性制御システム１０では、カメラ装置１１は、カメラ装置１１に固有の画角の範囲内に映る被写体（例えば図３４（Ａ）に示す２人の人物）を撮像する。全方位マイクアレイ装置２は、収音空間Ｋ内において、全方位マイクアレイ装置２の設置位置Ｍの周囲の音声を収音する。図３４（Ａ）では、対象物としての２人の人物は会話を行っており、「Ｈｅｌｌｏ」は会話内容の一例である。カメラ装置１１が撮像した映像データは、指向性制御装置３のディスプレイ装置３６に表示され（図３４（Ｂ）参照）、例えば対象物としての２人の人物とスピーカ装置ＳＰとが表示されている。

図３４（Ｂ）において、ユーザの指ＦＧにより、ディスプレイ装置３６の指定位置Ａ’が指定されると、指向性制御装置３は、指定位置Ａ’を表す座標データに対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａのデータを設定ファイルＣＦ１から読み出し、読み出した高さＨ_Ａのデータを用いて、全方位マイクアレイ装置２の設置位置Ｍから対象音源位置Ａに向かう収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。全方位マイクアレイ装置２は、指向性制御装置３が算出した収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）の座標データを用いて、全方位マイクアレイ装置２の設置位置Ｍから対象音源位置Ａに向かう方向に、収音指向性を形成する。

次に、本実施形態の指向性制御システム１０の初期設定の動作手順について、図３５（Ａ）を参照して説明する。図３５（Ａ）は、第７の実施形態の指向性制御システム１０の初期設定の動作手順を説明するフローチャートである。初期設定には、例えばカメラ装置１１〜１ｎ又は全方位マイクアレイ装置２が初期設置される動作、収音指向方向算出部３４ｂが収音指向方向を算出するために必要となる入力パラメータが取得される動作が含まれ、以下の各実施形態においても同様である。

図３５（Ａ）において、指向性制御システム１０を構成するカメラ装置１１及び全方位マイクアレイ装置２が所定の位置（例えば店舗内の天井面又はスタンド）に固定するように初期設置される（ＳＴ１）。カメラ装置１１及び全方位マイクアレイ装置２は、それぞれ異なる位置に設置される（図３４（Ａ）参照）。

カメラ装置１１及び全方位マイクアレイ装置２が初期設置された後、収音指向方向算出部３４ｂが収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出するために必要となる各入力パラメータの測定が行われる（ＳＴ２）。ステップＳＴ２では、ユーザが測定器（例えばレーザ距離計）を用いて測定する場合、又はカメラ装置１１がカメラ装置１１自身の公知技術の機能を用いて測定して取得する場合が含まれる。ステップＳＴ２における各入力パラメータは収音指向座標の算出方法毎に異なり、詳しくは図３６〜図３８を参照して説明する。

ステップＳＴ２の後、ステップＳＴ２において測定された各入力パラメータが、カメラ装置１１から指向性制御装置３の信号処理部３３に入力され、又は操作部３２から信号処理部３３に入力される（ＳＴ３）。例えばカメラ装置１１は、カメラ装置１１自身の公知技術の機能によって取得した入力パラメータを指向性制御装置３の通信部３１に送信する。通信部３１は、カメラ装置１１が送信した入力パラメータを信号処理部３３に出力する。また、操作部３２は、ユーザの入力操作に応じて、入力パラメータの一例としての対象音源位置Ａの床面ＢＬからの高さＨ_Ａのデータを信号処理部３３に出力する。

信号処理部３３は、ステップＳＴ３において取得した各入力パラメータを含む設定ファイルＣＦ１を生成してメモリ３８に保存する（ＳＴ４）。以上により、指向性制御システム１０の初期設定の動作は終了する。

次に、本実施形態の指向性制御システム１０の初期設定後の動作手順について、図３５（Ｂ）を参照して説明する。図３５（Ｂ）は、第７の実施形態の指向性制御システム１０の初期設定後の動作手順を説明するフローチャートである。

図３５（Ｂ）において、指向性制御装置３は、図３４（Ｂ）に示すディスプレイ装置３６に表示されている映像データの中から指定位置Ａ’の指定を、操作部３２を介して受け付ける（ＳＴ１１）。指向性制御装置３は、ディスプレイ装置３６に表示されている映像データの中で指定位置Ａ’の指定を受け付けた旨をカメラ装置１１に送信する。

ステップＳＴ１１の後、カメラ装置１１は、指定位置Ａ’の指定を受け付けた旨を指向性制御装置３から受信した場合、カメラ装置１１の設置位置Ｃを起点として、ステップＳＴ１１において指定された指定位置Ａ’に対応する対象音源位置Ａまでの水平角及び垂直角（θ_ＣＡｈ，θ_ＣＡｖ）の座標データを取得する（ＳＴ１２）。

カメラ装置１１は、カメラ装置１１の設置位置Ｃを起点として、ステップＳＴ１１において指定された指定位置Ａ’に対応する対象音源位置Ａまでの水平角及び垂直角（θ_ＣＡｈ，θ_ＣＡｖ）の座標データを指向性制御装置３に送信する。

指向性制御装置３の信号処理部３３の音源高さ判定部３４ａは、指定位置Ａ’の座標データに対応する対象音源位置Ａの床面ＢＬからの高さデータを、ステップＳＴ４においてメモリ３８に記憶された設定ファイルＣＦ１から読み出す。音源高さ判定部３４ａは、読み出した指定位置Ａ’の座標データに対応する対象音源位置Ａの床面ＢＬからの高さデータを、指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａであると判定する。

更に、指向性制御装置３の信号処理部３３の収音指向方向算出部３４ｂは、カメラ装置１１から対象音源位置Ａまでの水平角及び垂直角（θ_ＣＡｈ，θ_ＣＡｖ）の座標データと、設定ファイルＣＦ１から読み出された各入力パラメータ（指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａを含む）とを用いて、全方位マイクアレイ装置２の設置位置Ｍから対象音源位置Ａに向かう収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する（ＳＴ１３）。収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出処理については、図３６及び図３７を参照して詳述する。

指向性制御装置３は、ステップＳＴ１３において算出した収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）の座標データを含む指向性形成指示を全方位マイクアレイ装置２に送信する。全方位マイクアレイ装置２は、指向性制御装置３からの指向性形成指示に応じて、指向性制御装置３が算出した収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）により示される収音指向方向に、各々のマイクロホンユニット２２，２３の収音指向性を形成する（ＳＴ１４）。

これにより、全方位マイクアレイ装置２は、収音指向性が形成された収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）により示される収音指向方向から収音した音声データの音量レベルを増大でき、収音指向性が形成されない方向から収音した音声データの音量レベルを低減できる。以上により、指向性制御システム１０の初期設定後の動作が終了する。

なお、本実施形態の指向性制御システム１０において、全方位マイクアレイ装置２が音声を収音するタイミングは、ステップＳＴ１４の直後に限定されず、例えば全方位マイクアレイ装置２の電源がＯＮされた後でも良い。

（全方位マイクアレイ装置２の収音指向方向を示す座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法）
ここで、指向性制御装置３の信号処理部３３の収音指向方向算出部３４ｂが全方位マイクアレイ装置２の収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する方法について、図３６及び図３７を参照して詳細に説明する。

図３６（Ａ）は、カメラ装置１１、全方位マイクアレイ装置２、基準点Ｏ及び対象音源位置Ａの各位置を示す斜視図である。図３６（Ｂ）は、図３６（Ａ）の鉛直上方向から鉛直下方向を見た水平方向平面図である。図３６（Ｃ）は、図３６（Ｂ）のＫ−Ｋ’線による垂直方向断面図である。

図３７（Ａ）は、カメラ装置１１、全方位マイクアレイ装置２、基準点Ｏ及び対象音源位置Ａの各位置を示す斜視図である。図３７（Ｂ）は、図３７（Ａ）の鉛直上方向から鉛直下方向を見た水平方向平面図である。図３７（Ｃ）は、図３７（Ｂ）のＱ−Ｑ’線による垂直方向断面図である。

収音指向方向算出部３４ｂは、
（１）カメラ装置１１と全方位マイクアレイ装置２との間の距離Ｌ_ＣＭと、
（２）カメラ装置１１から対象音源位置Ａまでの水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖと、
（３）カメラ装置１１，全方位マイクアレイ装置２の床面ＢＬからの各高さＨ_Ｃ，Ｈ_Ｍ（Ｈ_Ｃ＝Ｈ_Ｍ）と、
（４）対象音源位置Ａの床面ＢＬからの高さＨ_Ａと、を基に、
全方位マイクアレイ装置２の収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。

本算出方法では、図３５（Ａ）に示すステップＳＴ２における入力パラメータは、
（１）カメラ装置１１と全方位マイクアレイ装置２との間の距離Ｌ_ＣＭと、
（３）カメラ装置１１、全方位マイクアレイ装置２の床面ＢＬからの各高さＨ_Ｃ，Ｈ_Ｍ（Ｈ_Ｃ＝Ｈ_Ｍ）である。

また、本算出方法における各入力パラメータのうち、
（１）カメラ装置１１と全方位マイクアレイ装置２との間の距離Ｌ_ＣＭは、例えば図３５（Ａ）に示すステップＳＴ１の初期設置時に測定された固定値である。
（３）カメラ装置１１、全方位マイクアレイ装置２の床面ＢＬからの各高さＨ_Ｃ，Ｈ_Ｍ（Ｈ_Ｃ＝Ｈ_Ｍ）は、例えば図３５（Ａ）に示すステップＳＴ１の初期設置時に測定された固定値である。また、説明を簡単にするために、カメラ装置１１、全方位マイクアレイ装置２の床面ＢＬからの各高さＨ_Ｃ，Ｈ_Ｍは等しいとして説明するが、異なっても良い。

また、本算出方法における各入力パラメータのうち、
（２）カメラ装置１１から対象音源位置Ａまでの水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖは、図３５（Ｂ）に示すステップＳＴ１２においてカメラ装置１１の公知技術の機能によって取得される。

更に、本算出方法では、
（４）対象音源位置Ａの床面ＢＬからの高さＨ_Ａは、指向性制御装置３の信号処理部３３の音源高さ判定部３４ａにより判定された固定値、即ち、図３５（Ａ）に示すステップＳＴ４において設定ファイルＣＦ１に書き込まれた固定値（所定値）である。

以下、収音指向方向算出部３４ｂにおける全方位マイクアレイ装置２の収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法について、具体的に説明する。

収音指向方向算出部３４ｂは、図３６（Ｃ）に示す△ＣＡＰにおいて、カメラ装置１１，全方位マイクアレイ装置２の床面ＢＬからの各高さＨ_Ｃ，Ｈ_Ｍと、カメラ装置１１から対象音源位置Ａまでの垂直角θ_ＣＡｖとを用いて、数式（５８）に従って、カメラ装置１１から対象音源位置Ａまでの距離Ｌ_ＣＡの水平成分の距離Ｌ_ＣＡｈを算出する。

収音指向方向算出部３４ｂは、数式（６４）の算出結果と、カメラ装置１１から対象音源位置Ａまでの水平角θ_ＣＡｈと、カメラ装置１１と全方位マイクアレイ装置２との間の距離Ｌ_ＣＭとを用いて、図３６（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（７２）に従って、全方位マイクアレイ装置２から対象音源位置Ａまでの距離の水平成分の距離Ｌ_ＭＡｈを算出する。

収音指向方向算出部３４ｂは、数式（６４），（７２）の各算出結果と、カメラ装置１１と全方位マイクアレイ装置２との間の距離Ｌ_ＣＭとを用いて、図３６（Ｂ）に示す△ＣＡＭに対する余弦定理により、数式（７３）に従って、全方位マイクアレイ装置２から対象音源位置Ａに向かう俯角θ_ＭＡの水平角θ_ＭＡｈの余弦値ｃｏｓθ_ＭＡｈを算出する。

これにより、収音指向方向算出部３４ｂは、数式（７４）に従って、全方位マイクアレイ装置２から対象音源位置Ａまでの俯角θ_ＭＡの水平角θ_ＭＡｈを算出できる。

更に、収音指向方向算出部３４ｂは、図３７（Ｃ）に示す△ＭＡＳに対する正接により、数式（７５）に従って、全方位マイクアレイ装置２から対象音源位置Ａに向かう俯角θ_ＭＡの垂直角θ_ＭＡｖの正接値ｔａｎθ_ＭＡｖを算出する。

これにより、収音指向方向算出部３４ｂは、数式（７６）に従って、全方位マイクアレイ装置２から対象音源位置Ａまでの俯角θ_ＭＡの垂直角θ_ＭＡｖを算出できる。

以上により、本実施形態の指向性制御システム１０では、指向性制御装置３の音源高さ判定部３４ａは、ディスプレイ装置３６に表示された映像データの表示画面においてユーザによる指定位置Ａ’の指定に応じて、指定された映像データの指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａを判定する。指向性制御装置３の収音指向方向算出部３４ｂは、対象音源位置Ａの床面ＢＬからの高さＨ_Ａを基に、全方位マイクアレイ装置２から、指定された指定位置Ａ’に対応する対象音源位置Ａに向かう収音指向方向を示す収音指向座標を算出する。指向性制御装置３の出力制御部３４ｃは、算出された収音指向座標により示される収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させる。

これにより、指向性制御システム１０では、指向性制御装置３は、収音空間Ｋ内においてカメラ装置１１が撮像している撮像方向に存在する対象物の対象音源位置Ａの床面ＢＬからの高さＨ_Ａを一意に判定でき、対象音源位置Ａの床面ＢＬからの高さＨ_Ａを基に、全方位マイクアレイ装置２から対象音源位置Ａに向かう収音指向方向を正確に算出することができる。更に、指向性制御装置３は、算出された収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させることができる。

また、本実施形態の指向性制御システム１０では、指向性制御装置３のメモリ３８には、例えばユーザの入力操作に応じて指定される映像データの指定位置Ａ’に対応する対象音源位置Ａと、対象音源位置Ａの床面ＢＬからの高さ（固定値）とが予め対応付けられた第１設定データを含む設定ファイルＣＦ１が記憶されている。

従って、音源高さ判定部３４ａは、設定ファイルＣＦ１の第１設定データを基に、例えばユーザの入力操作に応じて指定された指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａを簡易に判定できる。

（第８の実施形態）
第８の実施形態では、指向性制御装置３Ａは、対象音源位置Ａの床面ＢＬからの高さの選択肢をディスプレイ装置３６に表示させ、例えばユーザにいずれかの選択肢を選択させるように促す。指向性制御装置３Ａは、いずれかの選択肢の選択に応じて、対象音源位置Ａの床面ＢＬからの高さを判定する。

図３８（Ａ）は、第８の実施形態の指向性制御システム１０Ａのシステム構成を示すブロック図である。図３８（Ｂ）は、ディスプレイ装置３６に表示された、映像データの表示画面ＷＤ１と対象音源位置Ａの床面ＢＬからの高さＨ_Ａを選択させるための選択画面ＷＤ２とを示す図である。図３８（Ａ）に示す指向性制御システム１０Ａは、少なくとも１つのカメラ装置１１〜１ｎと、全方位マイクアレイ装置２と、指向性制御装置３Ａと、レコーダ装置４とを含む。

指向性制御装置３Ａは、通信部３１と、操作部３２と、信号処理部３３Ａと、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８Ａとを含む。信号処理部３３Ａは、音源高さ判定部３４ａＡと、収音指向方向算出部３４ｂと、出力制御部３４ｃＡとを少なくとも含む。図３８（Ａ）に示す指向性制御システム１０Ａを構成する各部の動作が図３３に示す指向性制御システム１０を構成する各部の動作と同一であるものには、同一の符号を付して説明を省略又は簡略化し、異なる内容について説明する。

本実施形態では、メモリ３８Ａは、図３８（Ａ）に示す設定ファイルＣＦ２を記憶する。設定ファイルＣＦ２には、例えばカメラ装置１１の床面ＢＬからの高さＨ_Ｃのデータと、全方位マイクアレイ装置２の床面ＢＬからの高さＨ_Ｍのデータと、例えばカメラ装置１１が撮像している映像データの所定の指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａの選択肢としての複数種類の高さデータ（第２設定データ）とが少なくとも含まれる。

例えば図３８（Ａ）及び図３８（Ｂ）に示すように、第２設定データでは、対象音源高さＨ_Ａ−Ａは成人男性が想定された平均身長である１７０ｃｍであり、対象音源高さＨ_Ａ−Ｂは成人女性が想定された平均身長である１５０ｃｍであり、対象音源高さＨ_Ａ−Ａは子どもが想定された身長である１２０ｃｍである。信号処理部３３Ａの出力制御部３４ｃＡは、メモリ３８Ａの設定ファイルＣＦ２を読み出して、ユーザの指ＦＧにより指定される指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａを選択させるための選択肢を含む選択画面ＷＤ２をディスプレイ装置３６に表示させる。

信号処理部３３Ａの音源高さ判定部３４ａＡは、選択画面ＷＤ２においてユーザの指ＦＧにより選択された選択肢に対応する対象音源高さ（例えば対象音源高さＨ_Ａ−Ａ）を、図３８（Ｂ）に示す映像データの表示画面ＷＤ１において、ユーザの指ＦＧにより指定された指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａとして判定する。

次に、本実施形態の指向性制御システム１０Ａの初期設定の動作手順について、図３９（Ａ）を参照して説明する。図３９（Ａ）は、第８の実施形態の指向性制御システム１０Ａの初期設定の動作手順を説明するフローチャートである。図３９（Ａ）に示すフローチャートでは、図３５（Ａ）に示すフローチャートと同一内容のステップには同一のステップ番号を付して説明を省略又は簡略化し、異なる内容について説明する。

図３９（Ａ）において、ステップＳＴ２の後、ステップＳＴ２において測定された各入力パラメータが、カメラ装置１１から指向性制御装置３Ａの信号処理部３３Ａに入力され、又は操作部３２から信号処理部３３Ａに入力される（ＳＴ３Ａ）。例えば、操作部３２は、ユーザの入力操作に応じて、入力パラメータの一例としての対象音源位置Ａの床面ＢＬからの高さＨ_Ａの選択肢としての複数種類の高さデータ（第２設定データ）を信号処理部３３Ａに出力する。

信号処理部３３Ａは、ステップＳＴ３において取得した各入力パラメータを含む設定ファイルＣＦ２を生成してメモリ３８Ａに保存する（ＳＴ４）。以上により、指向性制御システム１０Ａの初期設定の動作は終了する。

次に、本実施形態の指向性制御システム１０Ａの初期設定後の動作手順について、図３９（Ｂ）を参照して説明する。図３９（Ｂ）は、第８の実施形態の指向性制御システム１０Ａの初期設定後の動作手順を説明するフローチャートである。図３９（Ｂ）に示すフローチャートでは、図３５（Ｂ）に示すフローチャートと同一内容のステップには同一のステップ番号を付して説明を省略又は簡略化し、異なる内容について説明する。

図３９（Ｂ）において、ステップＳＴ１２の後、出力制御部３４ｃＡは、メモリ３８Ａの設定ファイルＣＦ２を読み出して、ユーザの指ＦＧにより指定される指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａを選択させるための選択肢を含む選択画面ＷＤ２をディスプレイ装置３６に表示させる（図３８（Ｂ）参照）。

ここで、選択画面ＷＤ２において、ユーザの指ＦＧにより、対象音源位置Ａの床面ＢＬからの高さＨ_Ａを選択させるための複数の選択肢のうち、いずれかの選択肢が選択されたとする（ＳＴ１５）。音源高さ判定部３４ａＡは、ユーザの指ＦＧにより選択された選択肢に対応する対象音源高さ（例えば対象音源高さＨ_Ａ−Ａ）を、図３８（Ｂ）に示す映像データの表示画面ＷＤ１において、ユーザの指ＦＧにより指定された指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａとして判定する。

指向性制御装置３Ａの信号処理部３３Ａの収音指向方向算出部３４ｂは、カメラ装置１１から対象音源位置Ａまでの水平角及び垂直角（θ_ＣＡｈ，θ_ＣＡｖ）の座標データと、ステップＳＴ１５において選択された選択肢に応じて判定された対象音源位置Ａの床面ＢＬからの高さＨ_Ａとを用いて、全方位マイクアレイ装置２の設置位置Ｍから対象音源位置Ａに向かう収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する（ＳＴ１３Ａ）。ステップＳＴ１３Ａの算出内容及びステップＳＴ１４の動作内容は、上述した第７の実施形態における算出内容及び動作内容と同一であるため、説明を省略する。以上により、指向性制御システム１０Ａの初期設定後の動作が終了する。

以上により、本実施形態の指向性制御システム１０Ａでは、指向性制御装置３Ａのメモリ３８Ａには、対象音源位置Ａの床面ＢＬからの高さとして、複数種類の高さＨ_Ａ−Ａ，Ｈ_Ａ−Ｂ，Ｈ_Ａ−Ｄ，…の高さデータ（第２設定データ）を含む設定ファイルＣＦ２が記憶されている。指向性制御装置３Ａの出力制御部３４ｃＡは、対象音源位置Ａの床面ＢＬからの高さとして、設定ファイルＣＦ２の第２設定データの複数種類の高さデータの選択肢をディスプレイ装置３６に表示させる。

従って、指向性制御装置３Ａの音源高さ判定部３４ａＡは、表示された複数種類の高さデータの選択肢のうちいずれかの選択に応じて、例えばユーザの入力操作に応じて指定された指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａを簡易に判定できる。

また、本実施形態の指向性制御システム１０Ａでも、第７の実施形態の指向性制御システム１０と同様に、指向性制御装置３Ａは、収音空間Ｋ内においてカメラ装置１１が撮像している撮像方向に存在する対象物の対象音源位置Ａの床面ＢＬからの高さＨ_Ａを一意に判定でき、対象音源位置Ａの床面ＢＬからの高さＨ_Ａを基に、全方位マイクアレイ装置２から対象音源位置Ａに向かう収音指向方向を正確に算出することができる。更に、指向性制御装置３は、算出された収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させることができる。

（第９の実施形態）
第９の実施形態では、指向性制御装置３Ｂは、対象音源位置Ａの床面ＢＬからの高さを直接に入力させるための入力フォーム画面ＷＤ３をディスプレイ装置３６に表示させ、例えばユーザに入力を促す。指向性制御装置３Ｂは、入力フォーム画面ＷＤ３に入力されたデータを、対象音源位置Ａの床面ＢＬからの高さＨ_Ａとして判定する。

図４０（Ａ）は、第９の実施形態の指向性制御システム１０Ｂのシステム構成を示すブロック図である。図４０（Ｂ）は、ディスプレイ装置３６に表示された、映像データの表示画面ＷＤ１と対象音源位置Ａの床面ＢＬからの高さを入力させるための入力フォーム画面ＷＤ３とを示す図である。図４０（Ａ）に示す指向性制御システム１０Ｂは、少なくとも１つのカメラ装置１１〜１ｎと、全方位マイクアレイ装置２と、指向性制御装置３Ｂと、レコーダ装置４とを含む。

指向性制御装置３Ｂは、通信部３１と、操作部３２と、信号処理部３３Ｂと、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８Ｂとを含む。信号処理部３３Ｂは、音源高さ判定部３４ａＢと、収音指向方向算出部３４ｂと、出力制御部３４ｃＢとを少なくとも含む。図４０（Ａ）に示す指向性制御システム１０Ｂを構成する各部の動作が図３３に示す指向性制御システム１０を構成する各部の動作と同一であるものには、同一の符号を付して説明を省略又は簡略化し、異なる内容について説明する。

本実施形態では、メモリ３８Ｂは、図４０（Ａ）に示す設定ファイルＣＦ３を記憶する。設定ファイルＣＦ２には、例えばカメラ装置１１の床面ＢＬからの高さＨ_Ｃのデータと、全方位マイクアレイ装置２の床面ＢＬからの高さＨ_Ｍのデータとが少なくとも含まれ、以下の第１０の実施形態においても同様である。

信号処理部３３Ｂの出力制御部３４ｃＢは、ユーザの指ＦＧにより指定される指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さをユーザに直接に入力させるための入力フォーム画面ＷＤ３をディスプレイ装置３６に表示させる。

信号処理部３３Ｂの音源高さ判定部３４ａＢは、入力フォーム画面ＷＤ３に入力された対象音源位置Ａの床面ＢＬからの高さの数値を、ユーザが所望する対象音源位置Ａの床面ＢＬからの高さＨ_Ａとして判定する。

次に、本実施形態の指向性制御システム１０Ｂの初期設定の動作手順について、図４１（Ａ）を参照して説明する。図４１（Ａ）は、第９の実施形態の指向性制御システム１０Ｂの初期設定の動作手順を説明するフローチャートである。図４１（Ａ）に示すフローチャートでは、図３５（Ａ）に示すフローチャートと同一内容のステップには同一のステップ番号を付して説明を省略又は簡略化し、異なる内容について説明する。

図４１（Ａ）において、ステップＳＴ２の後、ステップＳＴ２において測定された各入力パラメータが、カメラ装置１１から指向性制御装置３Ｂの信号処理部３３Ｂに入力され、又は操作部３２から信号処理部３３Ｂに入力される（ＳＴ３Ｂ）。なお、ステップＳＴ３Ｂでは、図３５（Ａ）に示すステップＳＴ３又は図４０（Ａ）に示すステップＳＴ３Ａと異なり、入力パラメータには対象音源位置Ａの床面ＢＬからの高さＨ_Ａは含まれない。

信号処理部３３Ｂは、ステップＳＴ３Ｂにおいて取得した各入力パラメータを含む設定ファイルＣＦ３を生成してメモリ３８Ａに保存する（ＳＴ４）。以上により、指向性制御システム１０Ｂの初期設定の動作は終了する。

次に、本実施形態の指向性制御システム１０Ｂの初期設定後の動作手順について、図４１（Ｂ）を参照して説明する。図４１（Ｂ）は、第９の実施形態の指向性制御システム１０Ｂの初期設定後の動作手順を説明するフローチャートである。図４１（Ｂ）に示すフローチャートでは、図３５（Ｂ）に示すフローチャートと同一内容のステップには同一のステップ番号を付して説明を省略又は簡略化し、異なる内容について説明する。

図４１（Ｂ）において、ステップＳＴ１２の後、出力制御部３４ｃＢは、ユーザの指ＦＧにより指定される指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さをユーザに直接に入力させるための入力フォーム画面ＷＤ３をディスプレイ装置３６に表示させる（図４０（Ｂ）参照）。

ここで、入力フォーム画面ＷＤ３において、ユーザの入力操作（例えば指ＦＧによる入力、又はキーボード（不図示）からの入力）により、対象音源位置Ａの床面ＢＬからの高さとなる数値が直接に入力されたとする（ＳＴ１６）。音源高さ判定部３４ａＢは、入力フォーム画面ＷＤ３に入力された対象音源位置Ａの床面ＢＬからの高さの数値を、ユーザが所望する対象音源位置Ａの床面ＢＬからの高さＨ_Ａとして判定する。

指向性制御装置３Ｂの信号処理部３３Ｂの収音指向方向算出部３４ｂは、カメラ装置１１から対象音源位置Ａまでの水平角及び垂直角（θ_ＣＡｈ，θ_ＣＡｖ）の座標データと、ステップＳＴ１６における入力フォーム画面ＷＤ３への入力に応じて判定された対象音源位置Ａの床面ＢＬからの高さＨ_Ａとを用いて、全方位マイクアレイ装置２の設置位置Ｍから対象音源位置Ａに向かう収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する（ＳＴ１３Ｂ）。ステップＳＴ１３Ｂの算出内容及びステップＳＴ１４の動作内容は、上述した第７の実施形態における算出内容及び動作内容と同一であるため、説明を省略する。以上により、指向性制御システム１０Ｂの初期設定後の動作が終了する。

以上により、本実施形態の指向性制御システム１０Ｂでは、指向性制御装置３Ｂの出力制御部３４ｃＢは、対象音源位置Ａの床面ＢＬからの高さを直接に入力させるための入力フォーム画面ＷＤ３をディスプレイ装置３６に表示させる。

従って、指向性制御装置３Ｂの音源高さ判定部３４ａＢは、表示された入力フォーム画面ＷＤ３への対象音源位置Ａの床面ＢＬからの高さの入力に応じて、ユーザが所望する対象音源位置Ａの床面ＢＬからの高さを正確に判定することができる。これにより、指向性制御装置３Ｂの収音指向方向算出部３４ｂは、全方位マイクアレイ装置２から、指定された指定位置Ａ’に対応する対象音源位置Ａに向かう収音指向方向の収音指向座標を正確に算出することができる。

また、本実施形態の指向性制御システム１０Ｂでも、第７の実施形態の指向性制御システム１０と同様に、指向性制御装置３Ｂは、収音空間Ｋ内においてカメラ装置１１が撮像している撮像方向に存在する対象物の対象音源位置Ａの床面ＢＬからの高さＨ_Ａを一意に判定でき、対象音源位置Ａの床面ＢＬからの高さＨ_Ａを基に、全方位マイクアレイ装置２から対象音源位置Ａに向かう収音指向方向を正確に算出することができる。更に、指向性制御装置３Ｂは、算出された収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させることができる。

（第１０の実施形態）
第１０の実施形態では、指向性制御装置３Ｃは、ディスプレイ装置３６に表示された映像データの表示画面ＷＤ４において、例えばユーザの指ＦＧにより、対象物（例えば人物）の周囲の第１指定位置Ａ１’と第２指定位置Ａ１’の鉛直下方向（真下）の床面ＢＬ上の第２指定位置Ａ２’とが指定されると、第１指定位置Ａ１’に対応する対象音源位置Ａ１の床面ＢＬからの高さを算出する。指向性制御装置３Ｃは、算出された高さを、対象音源位置Ａ１の床面ＢＬからの高さＨ_Ａ１として判定する。

図４２（Ａ）は、第１０の実施形態の指向性制御システム１０Ｃのシステム構成を示すブロック図である。図４２（Ｂ）は、ディスプレイ装置３６に表示された映像データの表示画面ＷＤ４において第１指定位置Ａ１’と第２指定位置Ａ２’とが指定される様子を示す図である。図４２（Ａ）に示す指向性制御システム１０Ｃは、少なくとも１つのカメラ装置１１〜１ｎと、全方位マイクアレイ装置２と、指向性制御装置３Ｂと、レコーダ装置４とを含む。

指向性制御装置３Ｃは、通信部３１と、操作部３２と、信号処理部３３Ｃと、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８Ｂとを含む。信号処理部３３Ｃは、音源高さ判定部３４ａＣと、収音指向方向算出部３４ｂと、出力制御部３４ｃとを少なくとも含む。図４２（Ａ）に示す指向性制御システム１０Ｃを構成する各部の動作が図３３に示す指向性制御システム１０を構成する各部の動作と同一であるものには、同一の符号を付して説明を省略又は簡略化し、異なる内容について説明する。

信号処理部３３Ｃの高さ判定部３４ａＣは、ディスプレイ装置３６に表示された映像データの表示画面ＷＤ４において、例えばユーザの指ＦＧにより、第１指定位置Ａ１’と第１指定位置Ａ１’に対応する床面ＢＬ上の第２指定位置Ａ２’とが指定されると、指定された第１指定位置Ａ１’に対応する対象音源位置Ａ１の床面ＢＬからの高さを算出する。

なお、本実施形態の指向性制御システム１０Ｃの初期設定の動作手順（図４３（Ａ）参照）は、図４１（Ａ）に示す第１０の実施形態の指向性制御システム１０Ｂの初期設定の動作手順と同一であるため、説明を省略する。図４３（Ａ）は、第１０の実施形態の指向性制御システム１０Ｃの初期設定の動作手順を説明するフローチャートである。

次に、本実施形態の指向性制御システム１０Ｃの初期設定後の動作手順について、図４３（Ｂ）を参照して説明する。図４３（Ｂ）は、第１０の実施形態の指向性制御システム１０Ｃの初期設定後の動作手順を説明するフローチャートである。図４３（Ｂ）に示すフローチャートでは、図３５（Ｂ）に示すフローチャートと同一内容のステップには同一のステップ番号を付して説明を省略又は簡略化し、異なる内容について説明する。

図４３（Ｂ）において、指向性制御装置３Ｃは、図４２（Ｂ）に示すディスプレイ装置３６に表示されている映像データの表示画面ＷＤ４から第１指定位置Ａ１’及び第２指定位置Ａ２’の指定を、操作部３２を介して受け付ける（ＳＴ１１Ｃ）。指向性制御装置３Ｃは、ディスプレイ装置３６に表示されている映像データの表示画面ＷＤ４中において第１指定位置Ａ１’及び第２指定位置Ａ２’の指定を受け付けた旨をカメラ装置１１に送信する。

ステップＳＴ１１Ｃの後、カメラ装置１１は、第１指定位置Ａ１’及び第２指定位置Ａ２’の指定を受け付けた旨を指向性制御装置３Ｃから受信した場合、カメラ装置１１の設置位置Ｃを起点として、ステップＳＴ１１Ｃにおいて指定された第１指定位置Ａ１’に対応する対象音源位置Ａ１までの水平角及び垂直角（θ_ＣＡ１ｈ，θ_ＣＡ１ｖ）の座標データと、ステップＳＴ１１Ｃにおいて指定された第２指定位置Ａ２’に対応する位置Ａ２までの水平角及び垂直角（θ_ＣＡ２ｈ，θ_ＣＡ２ｖ）の座標データとを取得する（ＳＴ１２Ｃ）。

カメラ装置１１は、カメラ装置１１の設置位置Ｃを起点として、ステップＳＴ１１Ｃにおいて指定された第１指定位置Ａ１’に対応する対象音源位置Ａ１までの水平角及び垂直角（θ_ＣＡ１ｈ，θ_ＣＡ１ｖ）の座標データと、第２指定位置Ａ２’に対応する位置Ａ２までの水平角及び垂直角（θ_ＣＡ２ｈ，θ_ＣＡ２ｖ）の座標データとを指向性制御装置３Ｃに送信する。

指向性制御装置３Ｃの信号処理部３３Ｃの高さ判定部３４ａＣは、カメラ装置１１から送信された（θ_ＣＡ１ｈ，θ_ＣＡ１ｖ）の座標データ及び（θ_ＣＡ２ｈ，θ_ＣＡ２ｖ）の座標データを用いて、ユーザの指ＦＧにより指定された第１指定位置Ａ１’に対応する対象音源位置Ａ１の床面ＢＬからの高さＨ_Ａ１を算出する（ＳＴ１７）。ステップＳＴ１７の詳細については、図４４及び図４５を参照して後述する。

指向性制御装置３Ｃの信号処理部３３Ｃの収音指向方向算出部３４ｂは、カメラ装置１１から対象音源位置Ａ１までの水平角及び垂直角（θ_ＣＡｈ，θ_ＣＡｖ）の座標データと、ステップＳＴ１７において算出された対象音源位置Ａ１の床面ＢＬからの高さＨ_Ａ１とを用いて、全方位マイクアレイ装置２の設置位置Ｍから対象音源位置Ａに向かう収音指向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する（ＳＴ１３Ｃ）。ステップＳＴ１３Ｃの算出内容及びステップＳＴ１４の動作内容は、上述した第７の実施形態における算出内容及び動作内容と同一であるため、説明を省略する。以上により、指向性制御システム１０Ｃの初期設定後の動作が終了する。

（対象音源位置Ａ１の床面ＢＬからの高さＨ_Ａ１の算出方法）
ここで、指向性制御装置３Ｃの信号処理部３３Ｃの音源高さ判定部３４ａＣが対象音源位置Ａ１の床面ＢＬからの高さＨ_Ａ１を算出する方法（以下、「本高さ算出方法」という）について、図４４及び図４５を参照して詳細に説明する。

図４４（Ａ）は、カメラ装置１１から、床面ＢＬ上に存在している対象物（人物）の対象音源位置Ａ１及び対象音源位置Ａ１から鉛直下方向の床面ＢＬ上の位置Ａ２への距離及び方向の説明図である。図４４（Ｂ）は、カメラ装置１１と対象音源位置Ａ１及び床面ＢＬ上の位置Ａ２とを鉛直上方向から鉛直下方向に見た平面図である。図４４（Ｃ）は、図４４（Ｂ）のＡ−Ａ’断面図である。

図４５（Ａ）は、カメラ装置１１から、床面ＢＬ上に設置された台ＲＣ上に存在している対象物（人物）の対象音源位置Ａ１及び対象音源位置Ａ１から鉛直下方向の台ＲＣ上の位置Ａ２への距離及び方向の説明図である。図４５（Ｂ）は、カメラ装置１１と対象音源位置Ａ１及び台ＲＣ上の位置Ａ２とを鉛直上方向から鉛直下方向に見た平面図である。図４５（Ｃ）は、図４５（Ｂ）のＡ−Ａ’断面図である。

音源高さ判定部３４ａＣは、
（１）カメラ装置１１の床面ＢＬからの高さＨ_Ｃと、
（２）カメラ装置１１から対象音源位置Ａ１までの距離（水平成分）Ｌ_ＣＡ１ｈ及び角度（垂直角）θ_ＣＡ１ｖと、
（３）カメラ装置１１から床面ＢＬ上の位置Ａ２までの距離（水平成分）Ｌ_ＣＡ２ｈ及び角度（垂直角）θ_ＣＡ２ｖと、を基に、
指定された第１指定位置Ａ１’に対応する対象音源位置Ａ１の床面ＢＬからの高さＨ_Ａ１を算出する。

本高さ算出方法では、図４３（Ａ）に示すステップＳＴ２における入力パラメータは、カメラ装置１１の床面ＢＬからの高さＨ_Ｃである。また、カメラ装置１１から対象音源位置Ａ１までの角度（垂直角）θ_ＣＡ１ｖと、カメラ装置１１から床面ＢＬ上の位置Ａ２までの角度（垂直角）θ_ＣＡ２ｖとは、ステップＳＴ１２Ｃにおいてカメラ装置１１から得られる。

以下、音源高さ判定部３４ａＣが対象音源位置Ａ１の床面ＢＬからの高さＨ_Ａ１の算出方法（本高さ算出方法）について、具体的に説明する。

音源高さ判定部３４ａＣは、図４４（Ｃ）に示す△ＣＡ１Ｑに対する正接により、数式（７７）に従って、カメラ装置１１から対象音源位置Ａ１に向かう撮像方向の垂直角θ_ＣＡ１ｖの正接値ｔａｎθ_ＣＡ１ｖを算出する。数式（７７）において、Ｌ_ＣＡ１ｈは、カメラ装置１１から対象音源位置Ａ１までの距離の水平成分である。

同様に、音源高さ判定部３４ａＣは、図４４（Ｃ）に示す△ＣＡ２Ｑに対する正接により、数式（７８）に従って、カメラ装置１１から床面ＢＬ上の位置Ａ２に向かう撮像方向の垂直角θ_ＣＡ２ｖの正接値ｔａｎθ_ＣＡ２ｖを算出する。数式（７８）において、Ｌ_ＣＡ２ｈは、カメラ装置１１から床面ＢＬ上の位置Ａ２までの距離の水平成分である。

ここで、対象音源位置Ａ１と床面ＢＬ上の位置Ａ２とは、図４４（Ａ）に示す鉛直上方向又は鉛直下方向において座標が異なるが、水平成分の座標は同一である。従って、図４４（Ｂ）に示すように、カメラ装置１１から対象音源位置Ａ１までの距離Ｌ_ＣＡ１の水平成分Ｌ_ＣＡ１ｈと、カメラ装置１１から床面ＢＬ上の位置Ａ２までの距離Ｌ_ＣＡ２の水平成分Ｌ_ＣＡ２ｈとは等しい（数式（７９）参照）。

従って、音源高さ判定部３４ａＣは、数式（７７）〜（７９）の各算出結果を用いて、対象音源位置Ａ１の床面ＢＬからの高さＨ_Ａ１を、数式（８０）に従って算出する。

また、対象物（人物）が床面ＢＬ上に存在せずに、床面ＢＬ上に設置された所定の高さＨ_Ｄの台ＲＣ上に存在する場合に（図４５（Ａ）参照）、対象音源位置Ａ１の床面ＢＬからの高さＨ_Ａ１の算出方法についても説明する。

音源高さ判定部３４ａＣは、図４５（Ｃ）に示す△ＣＡ１Ｑに対する正接により、数式（８１）に従って、カメラ装置１１から対象音源位置Ａ１に向かう撮像方向の垂直角θ_ＣＡ１ｖの正接値ｔａｎθ_ＣＡ１ｖを算出する。数式（８１）において、Ｌ_ＣＡ１ｈは、カメラ装置１１から対象音源位置Ａ１までの距離の水平成分である。

同様に、音源高さ判定部３４ａＣは、図４５（Ｃ）に示す△ＣＡ２Ｑに対する正接により、数式（８２）に従って、カメラ装置１１から台ＲＣ上の位置Ａ２に向かう撮像方向の垂直角θ_ＣＡ２ｖの正接値ｔａｎθ_ＣＡ２ｖを算出する。数式（８２）において、Ｌ_ＣＡ２ｈは、カメラ装置１１から台ＲＣ上の位置Ａ２までの距離の水平成分である。

ここで、対象音源位置Ａ１と台ＲＣ上の位置Ａ２とは、図４５（Ａ）に示す鉛直上方向又は鉛直下方向において座標が異なるが、水平成分の座標は同一である。従って、図４５（Ｂ）に示すように、カメラ装置１１から対象音源位置Ａ１までの距離Ｌ_ＣＡ１の水平成分Ｌ_ＣＡ１ｈと、カメラ装置１１から台ＲＣ上の位置Ａ２までの距離Ｌ_ＣＡ２の水平成分Ｌ_ＣＡ２ｈとは等しい（数式（７９）参照）。

従って、音源高さ判定部３４ａＣは、数式（７９）、（８１）及び（８２）の各算出結果を用いて、対象音源位置Ａ１の床面ＢＬからの高さＨ_Ａ１を、数式（８３）に従って算出する。

以上により、本実施形態の指向性制御システム１０Ｃでは、指向性制御装置３Ｃの音源高さ判定部３４ａＣは、ディスプレイ装置３６に表示された映像データの第１指定位置Ａ１’と、第１指定位置Ａ１’に対応する床面ＢＬ上の第２指定位置Ａ２’との指定に応じて、指定された第１指定位置Ａ１’に対応する対象音源位置Ａ１の床面ＢＬからの高さを正確に算出することができる。

従って、指向性制御装置３Ｃは、映像データの指定位置に対応する対象音源位置と対象音源位置の床面ＢＬからの高さとを予め対応付けした設定ファイルの作成を不要とし、対象音源位置の床面ＢＬからの高さの選択肢又は入力フォームをディスプレイ装置３６に表示することなく、２つの指定位置の指定という簡易な指定操作に応じて、ユーザが所望する対象音源位置Ａ１の床面ＢＬからの高さを正確に算出することができる。

また、本実施形態の指向性制御システム１０Ｃでも、第７の実施形態の指向性制御システム１０と同様に、指向性制御装置３Ｃは、収音空間Ｋ内においてカメラ装置１１が撮像している撮像方向に存在する対象物の対象音源位置Ａ１の床面ＢＬからの高さＨ_Ａを一意に判定でき、対象音源位置Ａ１の床面ＢＬからの高さＨ_Ａ１を基に、全方位マイクアレイ装置２から対象音源位置Ａ１に向かう収音指向方向を正確に算出することができる。更に、指向性制御装置３Ｃは、算出された収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させることができる。

以下、上述した本発明に係る指向性制御システム及び指向性制御方法の構成、作用及び効果を説明する。

本発明の一実施形態は、映像を撮像する少なくとも１つの撮像部と、音声を収音する収音部と、前記少なくとも１つの撮像部により撮像された映像データを表示する表示部と、前記映像データの位置指定に応じて、指定された前記映像データの指定位置に対応する対象音源位置の基準面からの高さを判定する高さ判定部と、前記対象音源位置の基準面からの高さを基に、前記収音部から前記対象音源位置に向かう収音指向方向を算出する収音指向方向算出部と、算出された前記収音指向方向に、前記音声の収音指向性を前記収音部に形成させる制御部と、を備える、指向性制御システムである。

上述した構成では、指向性制御装置３の音源高さ判定部３４ａは、ディスプレイ装置３６に表示された映像データ中のユーザによる指定位置Ａ’の指定に応じて、指定された映像データの指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａを判定する。指向性制御装置３の収音指向方向算出部３４ｂは、対象音源位置Ａの床面ＢＬからの高さＨ_Ａを基に、全方位マイクアレイ装置２から、指定された指定位置Ａ’に対応する対象音源位置Ａに向かう収音指向方向を算出する。指向性制御装置３の出力制御部３４ｃは、算出された収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させる。

これにより、指向性制御システム１０では、指向性制御装置３は、収音空間Ｋ内においてカメラ装置１１が撮像している撮像方向に存在する対象物の対象音源位置Ａの床面ＢＬからの高さＨ_Ａを一意に判定でき、対象音源位置Ａの床面ＢＬからの高さＨ_Ａを基に、全方位マイクアレイ装置２から対象音源位置Ａに向かう収音指向方向を正確に算出することができる。更に、指向性制御装置３は、算出された収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させることができる。

また、本発明の一実施形態は、前記映像データの指定位置に対応する対象音源位置と、前記対象音源位置の基準面からの高さとが予め対応付けられた第１設定データを記憶する記憶部を更に備え、前記高さ判定部は、前記第１設定データを基に、指定された前記指定位置に対応する対象音源位置の基準面からの高さを判定する、指向性制御システムである。

上述した構成では、指向性制御装置３のメモリ３８には、例えばユーザの入力操作に応じて指定される映像データの指定位置Ａ’に対応する対象音源位置Ａと、対象音源位置Ａの床面ＢＬからの高さとが予め対応付けられた第１設定データを含む設定ファイルＣＦ１が記憶されている。

従って、音源高さ判定部３４ａは、設定ファイルＣＦ１の第１設定データを基に、例えばユーザの入力操作に応じて指定された指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａを簡易に判定できる。

また、本発明の一実施形態は、前記対象音源位置の基準面からの高さとして、複数種類の高さデータを含む第２設定データを記憶する記憶部を更に備え、前記制御部は、前記対象音源位置の基準面からの高さとして、前記第２設定データの前記複数種類の高さデータの選択肢を前記表示部に表示させ、前記高さ判定部は、表示された前記複数種類の高さデータの選択肢のうちいずれかの選択に応じて、指定された前記指定位置に対応する対象音源位置の基準面からの高さを判定する、指向性制御システムである。

上述した構成では、指向性制御装置３Ａのメモリ３８Ａには、対象音源位置Ａの床面ＢＬからの高さとして、複数種類の高さＨ_Ａ−Ａ，Ｈ_Ａ−Ｂ，Ｈ_Ａ−Ｄ，…の高さデータ（第２設定データ）を含む設定ファイルＣＦ２が記憶されている。指向性制御装置３Ａの出力制御部３４ｃＡは、対象音源位置Ａの床面ＢＬからの高さとして、設定ファイルＣＦ２の第２設定データの複数種類の高さデータの選択肢をディスプレイ装置３６に表示させる。

従って、指向性制御装置３Ａの音源高さ判定部３４ａＡは、表示された複数種類の高さデータの選択肢のうちいずれかの選択に応じて、例えばユーザの入力操作に応じて指定された指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａを簡易に判定できる。

また、本発明の一実施形態は、前記制御部は、前記対象音源位置の基準面からの高さの入力フォームを前記表示部に表示させ、前記高さ判定部は、表示された前記入力フォームへの前記対象音源位置の基準面からの高さの入力に応じて、指定された前記指定位置に対応する対象音源位置の基準面からの高さを判定する、指向性制御システムである。

上述した構成では、指向性制御装置３Ｂの出力制御部３４ｃＢは、対象音源位置Ａの床面ＢＬからの高さを直接に入力させるための入力フォーム画面ＷＤ３をディスプレイ装置３６に表示させる。

従って、指向性制御装置３Ｂの音源高さ判定部３４ａＢは、表示された入力フォーム画面ＷＤ３への対象音源位置Ａの床面ＢＬからの高さの入力に応じて、ユーザが所望する対象音源位置Ａの床面ＢＬからの高さを正確に判定することができる。これにより、指向性制御装置３Ｂの収音指向方向算出部３４ｂは、全方位マイクアレイ装置２から、指定された指定位置Ａ’に対応する対象音源位置Ａに向かう収音指向方向を正確に算出することができる。

また、本発明の一実施形態は、前記高さ判定部は、表示された前記映像データの第１指定位置と前記第１指定位置に対応する前記基準面上の第２指定位置との指定に応じて、指定された前記第１指定位置に対応する前記対象音源位置の基準面からの高さを算出する、指向性制御システムである。

上述した構成では、指向性制御装置３Ｃの高さ判定部３４ａＣは、ディスプレイ装置３６に表示された映像データの第１指定位置Ａ１’と、第１指定位置Ａ１’に対応する床面ＢＬ上の第２指定位置Ａ２’との指定に応じて、指定された第１指定位置Ａ１’に対応する対象音源位置Ａ１の床面ＢＬからの高さを正確に算出することができる。

従って、指向性制御装置３Ｃは、映像データの指定位置に対応する対象音源位置と対象音源位置の床面ＢＬからの高さとを予め対応付けした設定ファイルの作成を不要とし、対象音源位置の床面ＢＬからの高さの選択肢又は入力フォームをディスプレイ装置３６に表示することなく、２つの指定位置の指定という簡易な指定操作に応じて、ユーザが所望する対象音源位置Ａ１の床面ＢＬからの高さを正確に算出することができる。

また、本発明の一実施形態は、前記高さ判定部は、前記少なくとも１つの撮像部の前記基準面からの高さと、前記少なくとも１つの撮像部から前記第１指定位置に対応する前記対象音源位置までの距離及び角度と、前記少なくとも１つの撮像部から前記第２指定位置に対応する前記基準面の位置までの距離及び角度と、を基に、指定された前記第１指定位置に対応する前記対象音源位置の基準面からの高さを算出する、指向性制御システムである。

上述した構成では、指向性制御装置３Ｃの音源高さ判定部３４ａＣは、カメラ装置１１の床面ＢＬからの高さＨ_Ｃと、カメラ装置１１から第１指定位置Ａ１’に対応する対象音源位置Ａ１までの距離Ｌ_ＣＡ１ｈ及び角度θ_ＣＡ１ｖと、カメラ装置１１から第２指定位置Ａ２’に対応する床面ＢＬの位置Ａ２までの距離Ｌ_ＣＡ２ｈ及び角度θ_ＣＡ２ｖと、を基に、指定された第１指定位置Ａ１’に対応する対象音源位置Ａ１の床面ＢＬからの高さを正確に算出することができる。

また、本発明の一実施形態は、映像を撮像する少なくとも１つの撮像部と、音声を収音する収音部とを含む指向性制御システムにおける指向性制御方法であって、前記少なくとも１つの撮像部により撮像された映像データを表示するステップと、前記映像データの位置指定に応じて、指定された前記映像データの指定位置に対応する対象音源位置の基準面からの高さを判定するステップと、前記対象音源位置の基準面からの高さを基に、前記収音部から前記対象音源位置に向かう収音指向方向を算出するステップと、算出された前記収音指向方向に、前記音声の収音指向性を前記収音部に形成させるステップと、を有する、指向性制御方法である。

上述した方法では、指向性制御装置３の音源高さ判定部３４ａは、ディスプレイ装置３６に表示された映像データ中のユーザによる指定位置Ａ’の指定に応じて、指定された映像データの指定位置Ａ’に対応する対象音源位置Ａの床面ＢＬからの高さＨ_Ａを判定する。指向性制御装置３の収音指向方向算出部３４ｂは、対象音源位置Ａの床面ＢＬからの高さＨ_Ａを基に、全方位マイクアレイ装置２から、指定された指定位置Ａ’に対応する対象音源位置Ａに向かう収音指向方向を算出する。指向性制御装置３の出力制御部３４ｃは、算出された収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させる。

これにより、指向性制御システム１０では、指向性制御装置３は、収音空間Ｋ内においてカメラ装置１１が撮像している撮像方向に存在する対象物の対象音源位置Ａの床面ＢＬからの高さＨ_Ａを一意に判定でき、対象音源位置Ａの床面ＢＬからの高さＨ_Ａを基に、全方位マイクアレイ装置２から対象音源位置Ａに向かう収音指向方向を正確に算出することができる。更に、指向性制御装置３は、算出された収音指向方向に、音声の収音指向性を全方位マイクアレイ装置２に形成させることができる。

以下に後述する第１１の実施形態は、音声を収音するマイクアレイ装置の収音指向性を制御する指向性制御システム及び指向性制御方法に関する。

特許文献１では、例えばテレビ会議システムにおける使用形態を想定して、カメラ装置とマイクアレイ装置と被写体（例えば発話者）とが同一平面上に存在することが前提とされている。しかし、上述した監視システムでは、カメラ装置、マイクアレイ装置、被写体（例えば店舗の店員、来客者）の全てが実際に同一平面上に存在することは少ない。

例えばカメラ装置及びマイクアレイ装置は、被写体から上方（例えば店舗の天井面）に設置されることが多いので、カメラ装置、マイクアレイ装置及び被写体は、平面的な２次元の座標上には存在せず、むしろ立体的な３次元の座標上に存在することが多い。

従って、上述した監視システムにおいて、カメラ装置が撮像している映像中の被写体の会話をマイクアレイ装置が収音する場合、特許文献１の方法によって算出されたマイクアレイ装置が収音する方向を示す座標（水平角，垂直角）をそのまま用いることが困難であるという課題がある。

このため、マイクアレイ装置の収音範囲をカメラのパン方向、即ち水平方向の角度だけを用いる特許文献１の制御システムを上述した監視システムに適用すると、マイクアレイ装置は、カメラ装置の撮像方向の音声を高精度に収音することが困難になる。

また、上述した監視システムでは、カメラ装置とマイクアレイ装置とが一体的に組み込まれて同軸上に配置されている場合、カメラ装置の光軸とマイクアレイ装置の物理的な中心軸とが共通する。従って、カメラ装置の撮像方向に存在する被写体の会話をマイクアレイ装置が収音する場合、マイクアレイ装置が収音する方向（以下、「収音方向」という）を示す座標（水平角，垂直角）と、カメラ装置の撮像方向を示す座標（水平角，垂直角）とは同一となる。

ところが、カメラ装置とマイクアレイ装置とが別体として異なる位置に配置されている場合、カメラ装置の光軸とマイクアレイ装置の物理的な中心軸とが異なる。このため、カメラ装置の撮像方向に存在する被写体の会話をマイクアレイ装置が収音する場合、マイクアレイ装置の収音方向を示す座標（水平角，垂直角）と、カメラ装置の撮像方向を示す座標（水平角，垂直角）とは同一とならないという課題がある。

そこで、本発明に係る第１１の実施形態では、上述した従来の課題を解決するために、マイクアレイ装置を基準として、カメラ装置の撮像画像における指定位置に対応する目的音源位置（又は音声位置）に向かう収音方向への収音指向性を形成し、収音方向の音声を高精度に収音する指向性制御システム及び指向性制御方法の例を説明する。

（第１１の実施形態）
以下、本発明に係る指向性制御システム及び指向性制御方法の第１１の実施形態として、例えば収音システム及び収音制御方法の実施形態（以下、「本実施形態」という）について、図面を参照して説明する。本実施形態の収音システムは、例えば工場、公共施設（例えば図書館、イベント会場）、又は店舗（例えば小売店、銀行）に設置される監視システム（有人監視システム及び無人監視システムを含む）として用いられる。

なお、本発明は、収音システムを構成する装置（例えば後述する指向性制御装置）、又は収音システムを構成する装置が行う各動作（ステップ）を有する収音制御方法として表現することも可能である。

（収音システムのシステム構成）
図４７は、本実施形態の収音システム１０のシステム構成を示すブロック図である。図４７に示す収音システム１０は、ＰＴＺ（Pan Tilt Zoom）カメラ装置１と、全方位マイクアレイ装置２と、指向性制御装置３と、レコーダ装置４とを含む構成である。ＰＴＺカメラ装置１と、全方位マイクアレイ装置２と、指向性制御装置３と、レコーダ装置４とは、ネットワークＮＷを介して相互に接続されている。ネットワークＮＷは、有線ネットワーク（例えばイントラネット、インターネット）でも良いし、無線ネットワーク（例えば無線ＬＡＮ（Local Area Network））でも良い。図４７に示す収音システム１０では、説明を簡単にするために、ＰＴＺカメラ装置１は１台だけ図示されているが、複数のＰＴＺカメラ装置が含まれる構成でも良い。

以下、収音システム１０を構成する各装置について説明する。

撮像部の一例としてのＰＴＺカメラ装置１は、例えば店舗内の天井又はスタンド（図４８（Ａ）参照）に固定して設置される。ＰＴＺカメラ装置１は、例えば監視システムにおける監視カメラとしての機能を有し、ネットワークＮＷに接続された監視制御室（不図示）からの遠隔操作によって、公知技術であるパン方向又はチルト方向への筐体駆動機能及びズーム機能（例えばズームイン処理、ズームアウト処理）を用いて、所定の収音領域（例えば店舗内の既定の領域）に存在する対象物（例えば人物）を撮像する。ＰＴＺカメラ装置１は、ネットワークＮＷを介して、撮像により得られた撮像画像データを指向性制御装置３又はレコーダ装置４に送信する。

ＰＴＺカメラ装置１は、ディスプレイ装置３６に表示された撮像画像データの中で、キャリブレーション用マーカＭＡＫ，ＭＡＫ３、キャリブレーション用床置きマーカＭＡＫ２（後述参照）及び全方位マイクアレイ装置２のうち少なくとも１つがユーザの指ＦＧにより指定されると、撮像画像データ中の指定位置の座標データを指向性制御装置３から受信する。ＰＴＺカメラ装置１は、ＰＴＺカメラ装置１の設置位置から、キャリブレーション用マーカＭＡＫ，ＭＡＫ３、キャリブレーション用床置きマーカＭＡＫ２及び全方位マイクアレイ装置２のうち少なくとも１つまでの距離、方向のパラメータを算出する。ＰＴＺカメラ装置１における距離、方向のパラメータの算出処理は公知技術であるため、説明は割愛する。

また、ＰＴＺカメラ装置１は、後述するディスプレイ装置３６に表示された撮像画像データの中で、ユーザの指ＦＧにより任意の位置（例えば指定位置Ａ’）が指定されると、撮像画像データ中の指定位置Ａ’の座標データを指向性制御装置３から受信する。ＰＴＺカメラ装置１は、ＰＴＺカメラ装置１の設置位置から、指定位置Ａ’に対応する実際の現場の位置（目的音源位置Ａ）までの距離、方向のパラメータを算出する。ＰＴＺカメラ装置１は、ＰＴＺカメラ装置１の設置位置から、キャリブレーション用マーカＭＡＫ，ＭＡＫ３、キャリブレーション用床置きマーカＭＡＫ２、全方位マイクアレイ装置２及び目的音源位置Ａのうち少なくとも１つまでの距離、方向のパラメータを指向性制御装置３に送信する。

収音部の一例としての全方位マイクアレイ装置２は、例えば店舗内の天井又はスタンド（図４８（Ａ）参照）に固定して設置される。全方位マイクアレイ装置２は、複数のマイクロホンユニット２２，２３（図２（Ａ）〜（Ｅ）参照）が一様に設けられたマイクロホン部と、マイクロホン部の各マイクロホンユニット２２，２３の動作を制御する制御部（不図示）とを少なくとも含む構成である。

全方位マイクアレイ装置２は、指向性制御装置３から送信された指向性形成指示（後述参照）に応じて、指向性形成指示に含まれる収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）が示す収音方向に、各々のマイクロホンユニット２２，２３の収音指向性を形成する。全方位マイクアレイ装置２は、各々のマイクロホンユニット２２，２３が収音した音声データに所定の音声処理を施し、所定の音声処理により得られた音声データを、ネットワークＮＷを介して、指向性制御装置３又はレコーダ装置４に送信する。

これにより、全方位マイクアレイ装置２は、収音指向性が形成された収音方向の音声データの音量レベルを相対的に増大でき、収音指向性が形成されない方向の音声データの音量レベルを相対的に低減できる。なお、収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法については後述する。

なお、全方位マイクアレイ装置２の外観については、図２（Ａ）〜（Ｅ）を参照して後述する。全方位マイクアレイ装置２の各マイクロホンユニット２２，２３を構成するマイクロホンは、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン、超指向性マイクロホン（例えばガンマイク）又はこれらの組み合わせでも良い。

指向性制御装置３は、例えば監視制御室（不図示）に設置される据置型のＰＣ（Personal Computer）でも良いし、ユーザが携帯可能な携帯電話機、ＰＤＡ（Personal Digital Assistant）、タブレット端末、スマートフォン等のデータ通信端末でも良い。

指向性制御装置３は、通信部３１と、操作部３２と、信号処理部３３と、ディスプレイ装置３６と、スピーカ装置３７と、メモリ３８とを少なくとも含む構成である。信号処理部３３は、収音方向算出部３４と、出力制御部３５とを少なくとも含む。

通信部３１は、ＰＴＺカメラ装置１が送信した撮像画像データ、又は全方位マイクアレイ装置２が送信した音声データを受信して信号処理部３３に出力する。

操作部３２は、ユーザの入力操作の内容を信号処理部３３に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部３２は、例えばディスプレイ装置３６の画面に対応して配置され、ユーザの指ＦＧ又はスタイラスペンによって入力操作が可能なタッチパネル又はタッチパッドを用いて構成されても良い。

操作部３２は、ディスプレイ装置３６に表示されたＰＴＺカメラ装置１の撮像画像データ（図４８（Ｂ）参照）の中で、ユーザが音量レベルの増大を希望する範囲、即ち図４８（Ｂ）に示す収音範囲Ｂにおいてユーザの指ＦＧにより指定された指定位置Ａ’の座標データを信号処理部３３に出力する。

また、操作部３２は、ディスプレイ装置３６に表示されたＰＴＺカメラ装置１の撮像画像データの中で、キャリブレーション用マーカＭＡＫ，ＭＡＫ３、キャリブレーション用床置きマーカＭＡＫ２（後述参照）及び全方位マイクアレイ装置２のうち少なくとも１つがユーザの指ＦＧにより指定されると、指定された位置の座標データを信号処理部３３に出力する。

信号処理部３３は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成され、指向性制御装置３の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。

収音方向算出部３４は、キャリブレーション時では（後述参照）、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ，ＭＡＫ３、キャリブレーション用床置きマーカＭＡＫ２及び全方位マイクアレイ装置２のうち少なくとも１つの座標データを操作部３２から取得すると、通信部３１からＰＴＺカメラ装置１に座標データを送信させる。収音方向算出部３４は、ＰＴＺカメラ装置１の設置位置からキャリブレーション用マーカＭＡＫ，ＭＡＫ３、キャリブレーション用床置きマーカＭＡＫ２及び全方位マイクアレイ装置２のうち少なくとも１つまでの距離、方向のパラメータを、通信部３１から取得する。

収音方向算出部３４は、ＰＴＺカメラ装置１の設置位置からキャリブレーション用マーカＭＡＫ，ＭＡＫ３、キャリブレーション用床置きマーカＭＡＫ２及び全方位マイクアレイ装置２のうち少なくとも１つまでの距離、方向のパラメータを用いて、キャリブレーション方法（後述参照）毎に異なるキャリブレーションパラメータを算出する。

また、収音方向算出部３４は、収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出時では（後述参照）、指定位置Ａ’の座標データを操作部３２から取得すると、通信部３１からＰＴＺカメラ装置１に座標データを送信させる。収音方向算出部３４は、ＰＴＺカメラ装置１の設置位置から目的音源位置Ａまでの距離、方向のパラメータを、通信部３１から取得する。

収音方向算出部３４は、ＰＴＺカメラ装置１の設置位置から目的音源位置Ａまでの距離、方向のパラメータ（後述参照）と、キャリブレーション時に算出したキャリブレーションパラメータ（後述参照）とを用いて、全方位マイクアレイ装置２の設置位置から目的音源位置Ａ（後述参照）に向かう収音方向の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）のうち、θ_ＭＡｈは全方位マイクアレイ装置２の設置位置から目的音源位置Ａに向かう収音方向の水平角を示し、θ_ＭＡｖは全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の垂直角を示す。

なお、以下の説明において、目的音源位置とは、ディスプレイ装置３６に表示されたＰＴＺカメラ装置１の撮像画像データの中で、ユーザ（例えばユーザの指ＦＧ又はスタイラスペン）によって指定された指定位置Ａ’に対応する実際の監視対象となる現場の位置であると定義する。更に、本実施形態の説明を簡単にするために、目的音源位置は１つとして説明するが、ユーザにより指定される指定位置に対応する目的音源位置は複数でも良い。

出力制御部３５は、ディスプレイ装置３６及びスピーカ装置３７の動作を制御し、ＰＴＺカメラ装置１から送信された撮像画像データをディスプレイ装置３６に表示させ、全方位マイクアレイ装置２から送信された音声データをスピーカ装置３７に音声出力させる。また、出力制御部３５は、全方位マイクアレイ装置２の動作を制御し、例えば収音方向算出部３４により算出された収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）が示す収音方向ＭＩＸに、全方位マイクアレイ装置２により収音された音声の収音指向性を全方位マイクアレイ装置２に形成させ、又は全方位マイクアレイ装置２により収音された音声の収音指向性を出力制御部３５自身において形成する（図４８（Ａ）参照）。

表示部の一例としてのディスプレイ装置３６は、例えばＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electroluminescence）を用いて構成され、出力制御部３５の制御の下で、ＰＴＺカメラ装置１の撮像画像データを表示する。

音声出力部の一例としてのスピーカ装置３７は、全方位マイクアレイ装置２により収音された音声の音声データ、又は、収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）が示す収音方向に収音指向性が形成された後に収音された音声の音声データを音声出力する。なお、ディスプレイ装置３６及びスピーカ装置３７は、指向性制御装置３とは別の構成としても良い。

記憶部の一例としてのメモリ３８は、例えばＲＡＭ（Random Access Memory）を用いて構成され、指向性制御装置３の各部の動作時のワークメモリとして機能する。

レコーダ装置４は、ＰＴＺカメラ装置１の撮像画像データと、全方位マイクアレイ装置２により収音された音声の音声データとを対応付けて記憶する。

次に、本実施形態の収音システム１０の動作概要について、図４８（Ａ）及び図４８（Ｂ）を参照して説明する。図４８（Ａ）は、本実施形態の収音システム１０の動作概要を示す図である。図４８（Ｂ）は、全方位マイクアレイ装置２から、ディスプレイ装置３６に表示された撮像画像データの中で指定された指定位置Ａ’に対応する目的音源位置Ａに向かう収音方向に存在する人物の音声の音量レベルが、収音方向に存在していないスピーカ装置ＳＰの音声音量レベルより大きく出力される様子を示す図である。

図４８（Ａ）に示す収音システム１０では、ＰＴＺカメラ装置１は、目的音源位置Ａの周囲に存在している対象物（例えば２人の人物）と、目的音源位置Ａから離れた位置に設置されたスピーカ装置ＳＰを撮像している。また、全方位マイクアレイ装置２は、収音システム１０が設置された収音領域における音声を収音する。図４８（Ａ）では、収音の対象物である２人の人物は会話しており、スピーカ装置ＳＰは音楽（♪〜）を音声出力している。ＰＴＺカメラ装置１の撮像画像データは、指向性制御装置３のディスプレイ装置３６に表示される（図４８（Ｂ）参照）。

ここで、例えばユーザの指ＦＧによって、ディスプレイ装置３６に表示された撮像画像データの中で、対象物である２人の人物の略中心位置である指定位置Ａ’が指定されると、指向性制御装置３は、指定位置Ａ’を表す座標データを用いて、全方位マイクアレイ装置２の設置位置から目的音源位置Ａに向かう収音方向の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。全方位マイクアレイ装置２は、指向性制御装置３が算出した収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の座標データを用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向に、音声の収音指向性（収音方向ＭＩＸ）を形成する。

従って、全方位マイクアレイ装置２は、収音指向性（収音方向ＭＩＸ）が形成された方向に存在する２人の人物の会話（Ｈｅｌｌｏ）の音量レベルを、収音指向性（収音方向ＭＩＸ）が形成された方向に存在しないスピーカ装置ＳＰの音楽（♪〜）の音量レベルより増大できる。

これにより、指向性制御装置３は、スピーカ装置３７に、収音指向性（収音方向ＭＩＸ）が形成された方向に存在する２人の人物の会話（Ｈｅｌｌｏ）の音量レベルを、収音指向性（収音方向ＭＩＸ）が形成された方向に存在しないスピーカ装置ＳＰの音楽（♪〜）の音量レベルより大きく音声出力させることができる（図４８（Ｂ）参照）。

次に、本実施形態の収音システム１０の詳細な動作手順について、図４９（Ａ）及び（Ｂ）を参照して説明する。図４９（Ａ）は、本実施形態の収音システム１０の動作手順の全体を説明するフローチャートである。図４９（Ｂ）は、本実施形態の収音システム１０のキャリブレーションの動作手順を詳細に説明するフローチャートである。ここで、キャリブレーションとは、指向性制御装置３が収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出するために必要であって、且つ、キャリブレーション方法毎に異なる所定のキャリブレーションパラメータを算出又は取得する動作であると定義する。

図４９（Ａ）において、本実施形態の収音システム１０を構成するＰＴＺカメラ装置１及び全方位マイクアレイ装置２がそれぞれ異なる所定の位置（例えばイベント会場の室内の天井面又はスタンド）に固定するように初期設置される（ＳＴ１１）。

ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の初期設置後、収音方向算出部３４が収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出するために必要となるキャリブレーションパラメータの算出又は取得の処理、即ちキャリブレーションが行われる（ＳＴ１２）。

ここで、キャリブレーションの処理内容について、図４９（Ｂ）を参照して説明する。本実施形態では、図５０以降の図面を参照して複数のキャリブレーション方法を説明するが、図４９（Ｂ）では、各々のキャリブレーション方法に共通する内容を説明する。また、各々のキャリブレーション方法では、少なくとも１つのキャリブレーション用マーカＭＡＫ，ＭＡＫ３又はキャリブレーション用床置きマーカＭＡＫ２が用いられるが、図４９（Ｂ）では、例えばキャリブレーション用マーカＭＡＫを用いた場合を説明する。

図４９（Ｂ）において、キャリブレーション用マーカＭＡＫが設置される（ＳＴ１２−１）。キャリブレーション用マーカＭＡＫは、各々のキャリブレーション方法において用いられるマーカ（例えばボール又は紙）等の固体物又は円形状物体であり、ＰＴＺカメラ装置１の撮像視野角内に含まれるように設置されるのでディスプレイ装置３６に表示される。

ステップＳＴ１２−１の後、操作部３２は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫがユーザの指ＦＧにより指定されると、指定位置の座標データを取得して信号処理部３３に出力する（ＳＴ１２−２）。収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの座標データを操作部３２から取得すると、通信部３１からＰＴＺカメラ装置１に座標データを送信させる。ＰＴＺカメラ装置１は、ＰＴＺカメラ装置１の設置位置から、キャリブレーション用マーカＭＡＫまでの距離、方向のパラメータを算出して指向性制御装置３に送信する。通信部３１は、ＰＴＺカメラ装置１の設置位置から、キャリブレーション用マーカＭＡＫまでの距離、方向のパラメータをＰＴＺカメラ装置１から受信して信号処理部３３に出力する。収音方向算出部３４は、ＰＴＺカメラ装置１の設置位置からキャリブレーション用マーカＭＡＫまでの距離、方向のパラメータを、通信部３１から取得する。

収音方向算出部３４は、ＰＴＺカメラ装置１の設置位置からキャリブレーション用マーカＭＡＫまでの距離、方向のパラメータを用いて、キャリブレーション方法（後述参照）毎に異なるキャリブレーションパラメータを算出する（ＳＴ１２−３）。ステップＳＴ１２−３の後、ステップＳＴ１２−１において設置されたキャリブレーション用マーカＭＡＫが取り外される（ＳＴ１２−４）。なお、収音方向算出部３４は、ステップＳＴ１２−３において算出したキャリブレーションパラメータをメモリ３８に一時的に保存する。これにより、ステップＳＴ１２に示すキャリブレーションの処理が終了する。

図４９（Ａ）において、操作部３２は、ディスプレイ装置３６に表示されたＰＴＺカメラ装置１の撮像画像データ（図４８（Ｂ）参照）の中で、ユーザが音量レベルの増大を希望する範囲、即ち目的音源位置Ａに対応する指定位置Ａ’の座標データを取得して信号処理部３３に出力する（ＳＴ１３）。

収音方向算出部３４は、指定位置Ａ’の座標データを操作部３２から取得すると、通信部３１からＰＴＺカメラ装置１に座標データを送信させる。ＰＴＺカメラ装置１は、撮像画像データ中の指定位置Ａ’の座標データを指向性制御装置３から受信し、ＰＴＺカメラ装置１の設置位置から、指定位置Ａ’に対応する目的音源位置Ａまでの距離、方向のパラメータを算出する。ＰＴＺカメラ装置１は、ＰＴＺカメラ装置１の設置位置から、指定位置Ａ’に対応する目的音源位置Ａまでの距離、方向のパラメータを指向性制御装置３に送信する。収音方向算出部３４は、ＰＴＺカメラ装置１の設置位置から目的音源位置Ａまでの距離、方向のパラメータを、通信部３１から取得する。

収音方向算出部３４は、ＰＴＺカメラ装置１の設置位置から目的音源位置Ａまでの距離、方向のパラメータと、ＳＴ１２におけるキャリブレーション時に算出したキャリブレーションパラメータとを用いて、全方位マイクアレイ装置２の設置位置から目的音源位置Ａに向かう収音方向の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する（ＳＴ１４）。

出力制御部３５は、ステップＳＴ１４において算出された収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の座標データが示す収音方向に音声の指向性を形成させるための指向性形成指示を生成し、収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の座標データを含む指向性形成指示を、通信部３１から全方位マイクアレイ装置２に送信させる。全方位マイクアレイ装置２は、指向性制御装置３から送信された指向性形成指示に応じて、指向性形成指示に含まれる収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）が示す収音方向ＭＩＸに、各々のマイクロホンユニット２２，２３の収音指向性を形成する（ＳＴ１５）。以上により、本実施形態の収音システム１０の動作は終了する。

なお、ステップＳＴ１５に示す収音指向性の形成処理では、指向性制御装置３から送信された指向性形成指示に従って全方位マイクアレイ装置２が行うと説明したが、指向性制御装置３がステップＳ１５に示す収音指向性の形成処理を行っても良い。具体的には、出力制御部３５は、ステップＳＴ１４において算出された収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の座標データと、全方位マイクアレイ装置２により収音された音声の音声データとを用いて、図３を参照して説明した指向性の形成処理を行う。これにより、指向性制御装置３は、収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）が示す収音方向ＭＩＸに、高精度に収音指向性が形成された音声データを容易に得ることができる。

なお、本実施形態の収音システム１０において、全方位マイクアレイ装置２が音声を収音するタイミングは、ステップＳＴ１４の直後に限定されず、例えばステップＳＴ１１の初期設置後に全方位マイクアレイ装置２の電源がＯＮされた後でも良い。

（キャリブレーション方法に応じた収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法）
次に、指向性制御装置３の収音方向算出部３４がキャリブレーション方法毎に異なるキャリブレーションパラメータと収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）とを算出する方法について、図５０〜図７９を参照して詳細に説明する。ここでは、合計１０通りのキャリブレーション方法、即ち１０通りのキャリブレーションパラメータの算出方法を説明し、合計４通りの収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法を説明する。なお、合計１０通りのキャリブレーションパラメータの算出方法のうちいずれかと、合計４通りの収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法のうちいずれかとが対応している。

（第１のキャリブレーション方法に応じた第１の収音方向座標の算出方法）
先ず、第１のキャリブレーション方法と、第１のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第１の収音方向座標の算出方法について、図５０、図５１（Ａ）〜（Ｃ）、図５２（Ａ）〜（Ｃ）及び図５３（Ａ）〜（Ｃ）を参照して説明する。

図５０は、第１１の実施形態における第１のキャリブレーション方法の説明図である。図５１（Ａ）は、第１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの位置関係を示す図である。図５１（Ｂ）は、図５１（Ａ）の水平方向上面図である。図５１（Ｃ）は、図５１（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。

図５２（Ａ）は、第１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図５２（Ｂ）は、図５２（Ａ）の水平方向上面図である。図５２（Ｃ）は、図５２（Ｂ）のＱ−Ｑ’線における垂直方向断面図である。図５３（Ａ）は、第１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図５３（Ｂ）は、図５３（Ａ）の水平方向上面図である。図５３（Ｃ）は、図５３（Ｂ）のＲ−Ｒ’線における垂直方向断面図である。

第１のキャリブレーション方法では、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後にキャリブレーション用マーカＭＡＫにフォーカスを当ててズームするので、キャリブレーション用マーカＭＡＫはディスプレイ装置３６の画面の中心点に位置する（図５０参照）。

第１のキャリブレーション方法では、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との水平面（例えば店舗内の床。以下同様であり、水平面の一例として床とする。）からの各高さが同一であり、全方位マイクアレイ装置２の所定位置（例えば全方位マイクアレイ装置２の筐体中心。以下同様とする。）から鉛直方向の真下に、例えば糸ＳＴＲ又は紐を用いて、固体物であるキャリブレーション用マーカＭＡＫが吊り下げられる（図５１（Ａ）参照）。全方位マイクアレイ装置２からキャリブレーション用マーカＭＡＫまでの距離Ｌ_ＭＯは一定である。第１のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈである。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏ（図５０参照）がユーザの指ＦＧにより指定されると、全方位マイクアレイ装置２からキャリブレーション用マーカＭＡＫまでの距離Ｌ_ＭＯを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈを算出する。図５１（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離Ｌ_ＣＭｈの算出方法を具体的に説明する。

以下の各キャリブレーション方法の説明では、ＰＴＺカメラ装置１からの水平角が０度となる正面方向は、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう方向ではないとし、全方位マイクアレイ装置２からの水平角が０度となる正面方向は、全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう方向とする（例えば図５１（Ｂ）参照）。

以下の第１〜第５の各キャリブレーション方法の説明では、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さは同一である（例えば図５１（Ｃ）参照）。このため、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう垂直角θ_ＣＭｖと、全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう垂直角θ_ＣＭｖとはともにゼロとなる（θ_ＣＭｖ＝θ_ＭＣｖ＝０）。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏ（図５０参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう水平角θ_ＣＯｈ，垂直角θ_ＣＯｖを取得する。水平角θ_ＣＯｈ，垂直角θ_ＣＯｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用マーカＭＡＫは全方位マイクアレイ装置２の所定位置から鉛直方向の真下に吊り下げられているので、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう水平角θ_ＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈと同じである（θ_ＣＯｈ＝θ_ＣＭｈ）。

収音方向算出部３４は、図５１（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう垂直角θ_ＣＯｖと、全方位マイクアレイ装置２からキャリブレーション用マーカＭＡＫまでの距離Ｌ_ＭＯとを用いて、数式（７８）に従って、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈを算出する。なお、キャリブレーション用マーカＭＡＫは全方位マイクアレイ装置２の所定位置から鉛直方向の真下に吊り下げられているので、ＰＴＺカメラ装置１とキャリブレーション用マーカＭＡＫとの間の水平方向の距離Ｌ_ＣＯｈは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと同じである（Ｌ_ＣＯｈ＝Ｌ_ＣＭｈ）。

次に、第１の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法では、キャリブレーション用マーカＭＡＫと目的音源位置Ａとの床からの各高さが同一であり（Ｈ_Ｏ＝Ｈ_Ａ）、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さが同一である。

具体的には、収音方向算出部３４は、
（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈと、
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θ_ＭＣｈと、
（４）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈ，垂直角θ_ＣＡｖと、を用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。図５２（Ｂ），（Ｃ）及び図５３（Ｂ），（Ｃ）を参照して、収音方向算出部３４における第１の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法を具体的に説明する。

（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈは、第１のキャリブレーション方法においてＰＴＺカメラ装置１により算出された値が用いられる（θ_ＣＭｈ＝θ_ＣＯｈ）。
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈは、第１のキャリブレーション方法におけるキャリブレーションパラメータである（数式（８４）参照）。
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θ_ＭＣｈは、第１のキャリブレーション方法においてＰＴＺカメラ装置１及び全方位マイクアレイ装置２の位置関係から与えられる既定値（ゼロ）である。
（４）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈ，垂直角θ_ＣＡｖは、ディスプレイ装置３６に表示された撮像画像データにおいて指定位置Ａ’の指定に応じてＰＴＺカメラ装置１により算出された値が用いられる。

収音方向算出部３４は、図５２（Ｃ）に示す△ＣＡＳ’において、全方位マイクアレイ装置２と目的音源位置Ａとの床からの高さの差分に相当する距離Ｌ_ＭＯ（＝Ｌ_ＭＯｖ）と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう垂直角θ_ＣＡｖとを用いて、数式（８５）に従って、ＰＴＺカメラ装置１から目的音源位置Ａまでの距離Ｌ_ＣＡの水平方向の距離Ｌ_ＣＡｈを算出する。

収音方向算出部３４は、数式（７８），（７９）の各算出結果と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈとＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈとの差分に相当する角度（θ_ＣＡｈ−θ_ＣＭｈ）を用いて、図５２（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（８６）に従って、全方位マイクアレイ装置２から目的音源位置Ａまでの距離Ｌ_ＭＡの水平方向の距離Ｌ_ＭＡｈを算出する。

収音方向算出部３４は、数式（８４）〜（８６）の各算出結果を用いて、図５２（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（８７）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θ_ＭＡｈの余弦値ｃｏｓθ_ＭＡｈを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θ_ＭＡｈを、数式（８８）に従って算出できる。

更に、収音方向算出部３４は、数式（８６）の算出結果と、全方位マイクアレイ装置２と目的音源位置Ａとの床からの高さの差分に相当する距離Ｌ_ＭＯとを用いて、図５３（Ｃ）に示す△ＭＡＳ”における正接により、数式（８９）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θ_ＭＡｖの正接値ｔａｎθ_ＭＡｖを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θ_ＭＡｖを、数式（９０）に従って算出できる。

以上により、第１のキャリブレーション方法及び第１の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏがユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２の真下の床上に障害物が存在しているために、ＰＴＺカメラ装置１が全方位マイクアレイ装置２の真下の床面を撮像できない場合でも、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈをキャリブレーションパラメータとして簡易に算出できる。

また、収音方向算出部３４は、収音方向座標の算出時に目的音源位置Ａの水平面からの高さＨ_Ａをユーザに入力させること無く、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を簡易に算出できる。

（第２のキャリブレーション方法に応じた第２の収音方向座標の算出方法）
次に、第２のキャリブレーション方法と、第２のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第２の収音方向座標の算出方法について、図５４、図５５（Ａ）〜（Ｃ）、図５６（Ａ）〜（Ｃ）及び図５７（Ａ）〜（Ｃ）を参照して説明する。

図５４は、第１１の実施形態における第２のキャリブレーション方法の説明図である。図５５（Ａ）は、第２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの位置関係を示す図である。図５５（Ｂ）は、図５５（Ａ）の水平方向上面図である。図５５（Ｃ）は、図５５（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。

図５６（Ａ）は、第２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図５６（Ｂ）は、図５６（Ａ）の水平方向上面図である。図５６（Ｃ）は、図５６（Ｂ）のＱ−Ｑ’線における垂直方向断面図である。図５７（Ａ）は、第２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図５７（Ｂ）は、図５７（Ａ）の水平方向上面図である。図５７（Ｃ）は、図５７（Ｂ）のＲ−Ｒ’線における垂直方向断面図である。

第２のキャリブレーション方法では、第１のキャリブレーション方法と同様に、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後にキャリブレーション用マーカＭＡＫにフォーカスを当ててズームするので、キャリブレーション用マーカＭＡＫはディスプレイ装置３６の画面の中心点に位置する（図５４参照）。

第２のキャリブレーション方法では、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さが同一であり、全方位マイクアレイ装置２の所定位置から鉛直方向の真下に、例えば糸ＳＴＲ又は紐を用いて、固体物であるキャリブレーション用マーカＭＡＫが吊り下げられる（図５５（Ａ）参照）。全方位マイクアレイ装置２からキャリブレーション用マーカＭＡＫまでの距離Ｌ_ＭＯは一定である。第２のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈである。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏ（図５４参照）がユーザの指ＦＧにより指定されると、全方位マイクアレイ装置２からキャリブレーション用マーカＭＡＫまでの距離Ｌ_ＭＯを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈを算出する。図５５（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離Ｌ_ＣＭｈの算出方法を具体的に説明する。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏ（図５４参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう水平角θ_ＣＯｈ，垂直角θ_ＣＯｖを取得する。水平角θ_ＣＯｈ，垂直角θ_ＣＯｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用マーカＭＡＫは全方位マイクアレイ装置２の所定位置から鉛直方向の真下に吊り下げられているので、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう水平角θ_ＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈと同じである（θ_ＣＯｈ＝θ_ＣＭｈ）。

収音方向算出部３４は、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう垂直角θ_ＣＯｖと、全方位マイクアレイ装置２からキャリブレーション用マーカＭＡＫまでの距離Ｌ_ＭＯとを用いて、数式（９１）に従って、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈを算出する。なお、キャリブレーション用マーカＭＡＫは全方位マイクアレイ装置２の所定位置から鉛直方向の真下に吊り下げられているので、ＰＴＺカメラ装置１とキャリブレーション用マーカＭＡＫとの間の水平方向の距離Ｌ_ＣＯｈは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと同じである（Ｌ_ＣＯｈ＝Ｌ_ＣＭｈ）。

次に、第２の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法では、目的音源位置Ａの床からの高さはユーザにより入力された入力値であり、第１の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法とは異なる。また、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さＨ_Ｃ，Ｈ_Ｍは同一である。

具体的には、収音方向算出部３４は、
（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈと、
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θ_ＭＣｈと、
（４）ＰＴＺカメラ装置１，全方位マイクアレイ装置２の床からの各高さＨ_Ｃ，Ｈ_Ｍと、
（５）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈ，垂直角θ_ＣＡｖと、
（６）ユーザにより入力された、目的音源位置Ａの床からの高さＨ_Ａと、
を用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。図５６（Ｂ），（Ｃ）及び図５７（Ｂ），（Ｃ）を参照して、収音方向算出部３４における第２の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法を具体的に説明する。

（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈは、第２のキャリブレーション方法においてＰＴＺカメラ装置１により算出された値が用いられる（Ｌ_ＣＭｈ＝Ｌ_ＣＯｈ）。
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈは、第２のキャリブレーション方法におけるキャリブレーションパラメータである（数式（８５）参照）。
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θ_ＭＣｈは、第２のキャリブレーション方法においてＰＴＺカメラ装置１及び全方位マイクアレイ装置２の位置関係から与えられる既定値（ゼロ）である。
（４）ＰＴＺカメラ装置１，全方位マイクアレイ装置２の床からの各高さＨ_Ｃ，Ｈ_Ｍは、第２の収音方向座標の算出方法では既定値である（Ｈ_Ｃ＝Ｈ_Ｍ）。
（５）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈ，垂直角θ_ＣＡｖは、ディスプレイ装置３６に表示された撮像画像データにおいて指定位置Ａ’の指定に応じてＰＴＺカメラ装置１により算出された値が用いられる。
（６）目的音源位置Ａの床からの高さＨ_Ａは、ユーザの入力操作によって入力された値である。

収音方向算出部３４は、図５６（Ｃ）に示す△ＣＡＳ’において、ＰＴＺカメラ装置１と目的音源位置Ａとの床からの高さの差分に相当する距離（Ｈ_Ｃ−Ｈ_Ａ）と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう垂直角θ_ＣＡｖとを用いて、数式（９２）に従って、ＰＴＺカメラ装置１から目的音源位置Ａまでの距離Ｌ_ＣＡの水平方向の距離Ｌ_ＣＡｈを算出する。

収音方向算出部３４は、数式（９１），（９２）の各算出結果と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈとＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈとの差分に相当する角度（θ_ＣＡｈ−θ_ＣＭｈ）を用いて、図５６（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（９３）に従って、全方位マイクアレイ装置２から目的音源位置Ａまでの距離Ｌ_ＭＡの水平方向の距離Ｌ_ＭＡｈを算出する。

収音方向算出部３４は、数式（９１）〜（９３）の各算出結果を用いて、図５６（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（９４）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θ_ＭＡｈの余弦値ｃｏｓθ_ＭＡｈを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θ_ＭＡｈを、数式（９５）に従って算出できる。

更に、収音方向算出部３４は、数式（９３）の算出結果と、全方位マイクアレイ装置２と目的音源位置Ａとの床からの高さの差分に相当する距離（Ｈ_Ｍ−Ｈ_Ａ）とを用いて、図５７（Ｃ）に示す△ＭＡＳ”における正接により、数式（９６）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θ_ＭＡｖの正接値ｔａｎθ_ＭＡｖを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θ_ＭＡｖを、数式（９７）に従って算出できる。

以上により、第２のキャリブレーション方法及び第２の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏがユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２の真下の床上に障害物が存在しているために、ＰＴＺカメラ装置１が全方位マイクアレイ装置２の真下の床面を撮像できない場合でも、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈをキャリブレーションパラメータとして簡易に算出できる。

また、収音方向算出部３４は、全方位マイクアレイ装置２の初期設置時に測定が比較的簡易である全方位マイクアレイ装置２の床からの高さＨ_Ｍを用いる。従って、キャリブレーション用マーカＭＡＫが全方位マイクアレイ装置２から吊り下げられる場合、吊り下げ距離の調整を簡易化できる。更に、目的音源位置Ａの床からの高さＨ_Ａは、ユーザの所望値が使用可能となるので、目的音源位置Ａの床からの高さＨ_Ａの選択の自由度が向上する。

（第３のキャリブレーション方法に応じた第２の収音方向座標の算出方法）
次に、第３のキャリブレーション方法と、第３のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第２の収音方向座標の算出方法について、図５８及び図５９（Ａ）〜（Ｃ）を参照して説明する。

図５８は、第１１の実施形態における第３のキャリブレーション方法の説明図である。図５９（Ａ）は、第３のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図である。図５９（Ｂ）は、図５９（Ａ）の水平方向上面図である。図５９（Ｃ）は、図５９（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。

第３のキャリブレーション方法では、第１のキャリブレーション方法と同様に、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後にキャリブレーション用床置きマーカＭＡＫ２にフォーカスを当ててズームするので、キャリブレーション用床置きマーカＭＡＫ２はディスプレイ装置３６の画面の中心点に位置する（図５８参照）。

第３のキャリブレーション方法では、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さが同一であり、全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される（図５９（Ａ）参照）。従って、全方位マイクアレイ装置２からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＭＯは、全方位マイクアレイ装置２の床からの高さＨ_Ｍと同じである（Ｌ_ＭＯ＝Ｈ_Ｍ）。第３のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、全方位マイクアレイ装置２の床からの高さＨ_Ｍである。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ（図５８参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θ_ＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、全方位マイクアレイ装置２の床からの高さＨ_Ｍとを算出する。図５９（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離Ｌ_ＣＭｈと、全方位マイクアレイ装置２の水平面（例えば床）からの高さＨ_Ｍとの算出方法を具体的に説明する。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ（図５８参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θ_ＣＯｈ，垂直角θ_ＣＯｖとを取得する。距離Ｌ_ＣＯ，水平角θ_ＣＯｈ，垂直角θ_ＣＯｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されるので、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θ_ＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈと同じである（θ_ＣＯｈ＝θ_ＣＭｈ）。

収音方向算出部３４は、図５９（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θ_ＣＯｖとを用いて、数式（９８）に従って、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈを算出する。なお、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されているので、ＰＴＺカメラ装置１とキャリブレーション用床置きマーカＭＡＫ２との間の水平方向の距離Ｌ_ＣＯｈは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと同じである（Ｌ_ＣＯｈ＝Ｌ_ＣＭｈ）。

また、収音方向算出部３４は、図５９（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θ_ＣＯｖとを用いて、数式（９９）に従って、全方位マイクアレイ装置２の床からの高さＨ_Ｍを算出する。

なお、第３のキャリブレーション方法によりキャリブレーションパラメータが算出された後の収音方向算出部３４における収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法は、上述した第２の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法と同じであるため、説明を割愛する。

以上により、第３のキャリブレーション方法及び第２の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ（図５９参照）がユーザの指ＦＧにより指定されると、例えばＰＴＺカメラ装置１のフォーカス機能を用いて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈをキャリブレーションパラメータとして簡易に算出できる。

（第４のキャリブレーション方法に応じた第２の収音方向座標の算出方法）
次に、第４のキャリブレーション方法と、第４のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第２の収音方向座標の算出方法について、図６０及び図６１（Ａ）〜（Ｃ）を参照して説明する。

図６０は、第１１の実施形態における第４のキャリブレーション方法の説明図である。図６１（Ａ）は、第４のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図である。図６１（Ｂ）は、図６１（Ａ）の水平方向上面図である。図６１（Ｃ）は、図６１（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。

第４のキャリブレーション方法では、第１のキャリブレーション方法と同様に、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後にキャリブレーション用床置きマーカＭＡＫ２にフォーカスを当ててズームするので、キャリブレーション用床置きマーカＭＡＫ２はディスプレイ装置３６の画面の中心点に位置する（図６０参照）。

第４のキャリブレーション方法では、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さが同一であり、全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される（図６１（Ａ）参照）。従って、全方位マイクアレイ装置２からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＭＯは、全方位マイクアレイ装置２の床からの高さＨ_Ｍと同じである（Ｌ_ＭＯ＝Ｈ_Ｍ）。第４のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、全方位マイクアレイ装置２の床からの高さＨ_Ｍである。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び円周上の端点Ｏ’の２箇所（図６０参照）がユーザの指ＦＧにより指定されると、キャリブレーション用床置きマーカＭＡＫ２の半径Ｒ_Ｏと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏに向かう垂直角θ_ＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の端点Ｏ’に向かう垂直角θ_ＣＯ’ｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、全方位マイクアレイ装置２の床からの高さＨ_Ｍとを算出する。図６１（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離Ｌ_ＣＭｈと、全方位マイクアレイ装置２の床からの高さＨ_Ｍとの算出方法を具体的に説明する。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び円周上の端点Ｏ’の２箇所（図６０参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏに向かう水平角θ_ＣＯｈ，垂直角θ_ＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の端点Ｏ’に向かう水平角θ_ＣＯ’ｈ，垂直角θ_ＣＯ’ｖとを取得する。水平角θ_ＣＯｈ，垂直角θ_ＣＯｖ，水平角θ_ＣＯ’ｈ，垂直角θ_ＣＯ’ｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されるので、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θ_ＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈと同じである（θ_ＣＯｈ＝θ_ＣＭｈ）。

ここで、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏが最初に指定されると、出力制御部３５は、次に指定されるべき箇所を示すためのガイド線ＧＵＤを表示させる。これにより、出力制御部３５は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点の次に指定させるべき端点Ｏ’の位置をユーザに簡易に把握させることができる。

なお、円周上の端点Ｏ’は、キャリブレーション用床置きマーカＭＡＫ２の円周上の任意の位置ではなく、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の中心点に向かう水平角θ_ＣＯｈと同じ水平角を与える位置である。従って、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の中心点に向かう水平角θ_ＣＯｈと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の円周上の端点Ｏ’に向かう水平角θ_ＣＯ’ｈとは同じである（θ_ＣＯｈ＝θ_ＣＯ’ｈ）。

収音方向算出部３４は、図６１（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏに向かう垂直角θ_ＣＯｖと、全方位マイクアレイ装置２の床からの高さＨ_Ｍと、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈとの関係式を、数式（１００）に従って算出する。

同様に、収音方向算出部３４は、図６１（Ｃ）に示す△ＣＯ’Ｔにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の端点Ｏ’に向かう垂直角θ_ＣＯ’ｖと、全方位マイクアレイ装置２の床からの高さＨ_Ｍと、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、キャリブレーション用床置きマーカＭＡＫ２の半径Ｒ_Ｏとの関係式を、数式（１０１）に従って算出する。

収音方向算出部３４は、数式（１００），（１０１）により示される関係式を用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈを、数式（１０２）に従って算出する。

また、収音方向算出部３４は、数式（１００），（１０２）の各算出結果を用いて、全方位マイクアレイ装置２の床からの高さＨ_Ｍを、数式（１０３）に従って算出する。なお、収音方向算出部３４は、ＰＴＺカメラ装置１の床からの高さＨ_Ｃも数式（１０３）に従って算出できる。

なお、第４のキャリブレーション方法によりキャリブレーションパラメータが算出された後の収音方向算出部３４における収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法は、上述した第２の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法と同じであるため、説明を割愛する。

以上により、第４のキャリブレーション方法及び第２の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び円周上の端点Ｏ’の２箇所（図６０参照）がユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２からキャリブレーション用床置きマーカＭＡＫ２の中心点までの距離の測定が困難な場合でも全方位マイクアレイ装置２の床からの高さＨ_Ｍを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈをキャリブレーションパラメータとして簡易に算出できる。

（第５のキャリブレーション方法に応じた第１の収音方向座標の算出方法）
次に、第５のキャリブレーション方法と、第５のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第１の収音方向座標の算出方法について、図６２及び図６３（Ａ）〜（Ｃ）を参照して説明する。

図６２は、第１１の実施形態における第５のキャリブレーション方法の説明図である。図６３（Ａ）は、第５のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫ３の位置関係を示す図である。図６３（Ｂ）は、図６３（Ａ）の水平方向上面図である。図６３（Ｃ）は、図６３（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。

第５のキャリブレーション方法では、第１のキャリブレーション方法と同様に、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後にキャリブレーション用マーカＭＡＫ３にフォーカスを当ててズームするので、キャリブレーション用マーカＭＡＫ３はディスプレイ装置３６の画面の中心点に位置する（図６２参照）。

第５のキャリブレーション方法では、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さが同一であり、全方位マイクアレイ装置２の所定位置から鉛直方向の真下であって床からの高さが一定の位置に、円形状のキャリブレーション用マーカＭＡＫ３が設置される（図６３（Ａ）参照）。従って、キャリブレーション用マーカＭＡＫ３の床からの高さＨ_Ｏは、既定値である。第５のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、全方位マイクアレイ装置２とキャリブレーション用マーカＭＡＫ３との間の距離Ｌ_ＭＯｖ（＝Ｌ_ＭＯ）である。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ３の中心点Ｏ（図６２参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３までの距離Ｌ_ＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３に向かう垂直角θ_ＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、全方位マイクアレイ装置２とキャリブレーション用マーカＭＡＫ３との間の距離Ｌ_ＭＯｖとを算出する。図６３（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離Ｌ_ＣＭｈと、全方位マイクアレイ装置２とキャリブレーション用マーカＭＡＫ３との間の距離Ｌ_ＭＯｖとの算出方法を具体的に説明する。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ３の中心点Ｏ（図６２参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３の中心点Ｏに向かう水平角θ_ＣＯｈ，垂直角θ_ＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３の中心点Ｏまでの距離Ｌ_ＣＯ（＝Ｌ_ＣＯｖ）とを取得する。距離Ｌ_ＣＯ，水平角θ_ＣＯｈ，垂直角θ_ＣＯｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用マーカＭＡＫ３は全方位マイクアレイ装置２の所定位置から鉛直方向の真下で床からの高さが一定の位置に設置されるので、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３に向かう水平角θ_ＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈと同じである（θ_ＣＯｈ＝θ_ＣＭｈ）。

収音方向算出部３４は、図６３（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３の中心点Ｏまでの距離Ｌ_ＣＯ（＝Ｌ_ＣＯｖ）と、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３の中心点Ｏに向かう垂直角θ_ＣＯｖとを用いて、数式（１０４）に従って、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈを算出する。

また、収音方向算出部３４は、図６３（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３までの距離Ｌ_ＣＯ（＝Ｌ_ＣＯｖ）と、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ３に向かう垂直角θ_ＣＯｖとを用いて、数式（１０５）に従って、全方位マイクアレイ装置２とキャリブレーション用マーカＭＡＫ３との間の距離Ｌ_ＭＯｖを算出する。

なお、第５のキャリブレーション方法によりキャリブレーションパラメータが算出された後の収音方向算出部３４における収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法は、上述した第１の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法と同じであるため、説明を割愛する。

以上により、第５のキャリブレーション方法及び第１の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ３の中心点Ｏ（図６２参照）がユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２の真下の床上に障害物が存在しているために、ＰＴＺカメラ装置１が全方位マイクアレイ装置２の真下の床面を撮像できない場合でも、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈ，全方位マイクアレイ装置２のキャリブレーション用マーカＭＡＫ３からの高さＬ_ＭＯｖをキャリブレーションパラメータとして簡易に算出できる。

（第６のキャリブレーション方法に応じた第３の収音方向座標の算出方法）
次に、第６のキャリブレーション方法と、第６のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第３の収音方向座標の算出方法について、図６４、図６５（Ａ）〜（Ｃ）、図６６（Ａ）〜（Ｃ）及び図６７（Ａ）〜（Ｃ）を参照して説明する。

図６４は、第１１の実施形態における第６のキャリブレーション方法の説明図である。図６５（Ａ）は、第６のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの位置関係を示す図である。図６５（Ｂ）は、図６５（Ａ）の水平方向上面図である。図６５（Ｃ）は、図６５（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。

図６６（Ａ）は、第６のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図６６（Ｂ）は、図６６（Ａ）の水平方向上面図である。図６６（Ｃ）は、図６６（Ｂ）のＱ−Ｑ’線における垂直方向断面図である。図６７（Ａ）は、第６のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図６７（Ｂ）は、図６７（Ａ）の水平方向上面図である。図６７（Ｃ）は、図６７（Ｂ）のＲ−Ｒ’線における垂直方向断面図である。

第６のキャリブレーション方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さが異なり、且つ、全方位マイクアレイ装置２がＰＴＺカメラ装置１の撮像視野角内に存在するように設置される。このため、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後に全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの両方にフォーカスを当ててズームするので、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫはディスプレイ装置３６の画面の中心点に位置する（図６４参照）。

第６のキャリブレーション方法では、ＰＴＺカメラ装置１の床からの高さＨ_Ｃより全方位マイクアレイ装置２の床からの高さＨ_Ｍの方が高く（Ｈ_Ｃ＜Ｈ_Ｍ）、全方位マイクアレイ装置２の所定位置から鉛直方向の真下に、例えば糸ＳＴＲ又は紐を用いて、固体物であるキャリブレーション用マーカＭＡＫが吊り下げられる（図６５（Ａ）参照）。全方位マイクアレイ装置２からキャリブレーション用マーカＭＡＫまでの距離Ｌ_ＭＯは一定である。第６のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、ＰＴＺカメラ装置１とキャリブレーション用マーカＭＡＫとの間の垂直方向の距離Ｌ_ＭＯｖ’である。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏ及び全方位マイクアレイ装置２（図６４参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう垂直角θ_ＣＯｖと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう垂直角θ_ＣＭｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、ＰＴＺカメラ装置１とキャリブレーション用マーカＭＡＫとの間の垂直方向の距離Ｌ_ＭＯｖ’とを算出する。図６５（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離Ｌ_ＣＭｈと垂直方向の距離Ｌ_ＭＯｖ’との算出方法を具体的に説明する。

以下の第６〜第１０の各キャリブレーション方法の説明では、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さが異なる（例えば図６５（Ｃ）参照）。このため、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう垂直角θ_ＣＭｖと、全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう垂直角θ_ＣＭｖとはともにゼロとならない（θ_ＣＭｖ＝θ_ＭＣｖ≠０）。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏ及び全方位マイクアレイ装置２（図６４参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう水平角θ_ＣＯｈ，垂直角θ_ＣＯｖと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈ，垂直角θ_ＣＭｖとを取得する。水平角θ_ＣＯｈ，垂直角θ_ＣＯｖ，水平角θ_ＣＭｈ，垂直角θ_ＣＭｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用マーカＭＡＫは全方位マイクアレイ装置２の所定位置から鉛直方向の真下に吊り下げられるので、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう水平角θ_ＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈと同じである（θ_ＣＯｈ＝θ_ＣＭｈ）。

収音方向算出部３４は、図６５（Ｃ）に示す△ＣＯＰにおいて、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫの中心点Ｏに向かう垂直角θ_ＣＯｖと、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、ＰＴＺカメラ装置１とキャリブレーション用マーカＭＡＫとの間の垂直方向の距離Ｌ_ＭＯｖ’との関係式を、数式（１０６）に従って算出する。

同様に、収音方向算出部３４は、図６５（Ｃ）に示す△ＣＭＰにおいて、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう垂直角θ_ＣＭｖと、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の垂直方向の距離Ｌ_ＭＯｖ“との関係式を、数式（１０７）に従って算出する。

また、全方位マイクアレイ装置２とキャリブレーション用マーカＭＡＫとの間の垂直方向の距離Ｌ_ＭＯｖは、ＰＴＺカメラ装置１とキャリブレーション用マーカＭＡＫとの間の垂直方向の距離Ｌ_ＭＯｖ’と、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の垂直方向の距離Ｌ_ＭＯｖ“との和となるので、数式（１０８）が成立する。

収音方向算出部３４は、数式（１０６）〜（１０８）により示される関係式を用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈを数式（１０９）に従って算出し、ＰＴＺカメラ装置１とキャリブレーション用マーカＭＡＫとの間の垂直方向の距離Ｌ_ＭＯｖ’を数式（１１０）に従って算出し、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の垂直方向の距離Ｌ_ＭＯｖ“を数式（１１１）に従って算出する。

次に、第３の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法では、キャリブレーション用マーカＭＡＫと目的音源位置Ａとの床からの各高さＨ_Ｏ，Ｈ_Ａが同一であり（Ｈ_Ｏ＝Ｈ_Ａ）、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さＨ_Ｃ，Ｈ_Ｍが異なる（Ｈ_Ｃ≠Ｈ_Ｍ）。

具体的には、収音方向算出部３４は、
（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈ，垂直角θ_ＣＭｖと、
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θ_ＭＣｈと、
（４）ＰＴＺカメラ装置１の目的音源位置Ａからの高さＬ_ＭＯｖ’と、全方位マイクアレイ装置２の目的音源位置Ａからの高さＬ_ＭＯと、
（５）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈ，垂直角θ_ＣＡｖと、を用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。図６６（Ｂ），（Ｃ）及び図６７（Ｂ），（Ｃ）を参照して、収音方向算出部３４における第３の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法を具体的に説明する。

（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈ，垂直角θ_ＣＭｖは、第６のキャリブレーション方法においてＰＴＺカメラ装置１により算出された値が用いられる（θ_ＣＭｈ＝θ_ＣＯｈ）。
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈは、第６のキャリブレーション方法におけるキャリブレーションパラメータである（数式（１０９）参照）。
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θ_ＭＣｈは、第６のキャリブレーション方法においてＰＴＺカメラ装置１及び全方位マイクアレイ装置２の位置関係から与えられる既定値（ゼロ）である。
（４）ＰＴＺカメラ装置１の目的音源位置Ａからの高さＬ_ＭＯｖ’は、第６のキャリブレーション方法におけるキャリブレーションパラメータであり（数式（１１０）参照）、全方位マイクアレイ装置２の目的音源位置Ａからの高さＬ_ＭＯは既定値である。
（５）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈ，垂直角θ_ＣＡｖは、ディスプレイ装置３６に表示された撮像画像データにおいて指定位置Ａ’の指定に応じてＰＴＺカメラ装置１により算出された値が用いられる。

収音方向算出部３４は、図６６（Ｃ）に示す△ＣＡＳ’において、ＰＴＺカメラ装置１から目的音源位置Ａに向かう垂直角θ_ＣＡｖと、数式（１１０）の算出結果であるＰＴＺカメラ装置１とキャリブレーション用マーカＭＡＫとの間の垂直方向の距離Ｌ_ＭＯｖ’とを用いて、数式（１１２）に従って、ＰＴＺカメラ装置１から目的音源位置Ａまでの距離Ｌ_ＣＡの水平方向の距離Ｌ_ＣＡｈを算出する。

収音方向算出部３４は、数式（１０９），（１１２）の各算出結果と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈとを用いて、図６６（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（１１３）に従って、全方位マイクアレイ装置２から目的音源位置Ａまでの距離Ｌ_ＭＡの水平方向の距離Ｌ_ＭＡｈを算出する。

収音方向算出部３４は、数式（１０９），（１１２），（１１３）の各算出結果を用いて、図６６（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（１１４）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θ_ＭＡｈの余弦値ｃｏｓθ_ＭＡｈを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θ_ＭＡｈを、数式（１１５）に従って算出できる。

更に、収音方向算出部３４は、数式（１０８），（１１３）の各算出結果を用いて、図６７（Ｃ）に示す△ＭＡＳ”における正接により、数式（１１６）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θ_ＭＡｖの正接値ｔａｎθ_ＭＡｖを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θ_ＭＡｖを、数式（１１７）に従って算出できる。

以上により、第６のキャリブレーション方法及び第３の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫの中心点Ｏ及び全方位マイクアレイ装置２（図６４参照）の２箇所がユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２の真下の床上に障害物が存在しているために、ＰＴＺカメラ装置１が全方位マイクアレイ装置２の真下の床面を撮像できない場合でも、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈをキャリブレーションパラメータとして簡易に算出できる。

また、収音方向算出部３４は、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの高さが異なる場合でも、目的音源位置Ａの床からの高さＨ_Ａをユーザに入力させること無く、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の座標を簡易に算出できる。

（第７のキャリブレーション方法に応じた第４の収音方向座標の算出方法）
次に、第７のキャリブレーション方法と、第７のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第４の収音方向座標の算出方法について、図６８、図６９（Ａ）〜（Ｃ）、図７０（Ａ）〜（Ｃ）及び図７１（Ａ）〜（Ｃ）を参照して説明する。

図６８は、第１１の実施形態における第７のキャリブレーション方法の説明図である。図６９（Ａ）は、第７のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図である。図６９（Ｂ）は、図６９（Ａ）の水平方向上面図である。図６９（Ｃ）は、図６９（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。

図７０（Ａ）は、第７のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図７０（Ｂ）は、図７０（Ａ）の水平方向上面図である。図７０（Ｃ）は、図７０（Ｂ）のＱ−Ｑ’線における垂直方向断面図である。図７１（Ａ）は、第７のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図７１（Ｂ）は、図７１（Ａ）の水平方向上面図である。図７１（Ｃ）は、図７１（Ｂ）のＲ−Ｒ’線における垂直方向断面図である。

第７のキャリブレーション方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さが異なり、且つ、全方位マイクアレイ装置２がＰＴＺカメラ装置１の撮像視野角内に存在するように設置される。このため、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後に全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの両方にフォーカスを当ててズームするので、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫはディスプレイ装置３６の画面の中心点に位置する（図６８参照）。

第７のキャリブレーション方法では、ＰＴＺカメラ装置１の床からの高さＨ_Ｃより全方位マイクアレイ装置２の床からの高さＨ_Ｍの方が高く（Ｈ_Ｃ＜Ｈ_Ｍ）、全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される（図６９（Ａ）参照）。第７のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨ_Ｃと、全方位マイクアレイ装置２の床からの高さＨ_Ｍである。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び全方位マイクアレイ装置２（図６８参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θ_ＣＯｖと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう垂直角θ_ＣＭｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨ_Ｃと、全方位マイクアレイ装置２の床からの高さＨ_Ｍとを算出する。図６９（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離Ｌ_ＣＭｈと高さＨ_Ｍ，Ｈ_Ｃとの算出方法を具体的に説明する。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び全方位マイクアレイ装置２（図６８参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θ_ＣＯｈ，垂直角θ_ＣＯｖと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈ，垂直角θ_ＣＭｖとを取得する。距離Ｌ_ＣＯｖ，水平角θ_ＣＯｈ，垂直角θ_ＣＯｖ，水平角θ_ＣＭｈ，垂直角θ_ＣＭｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置されるので、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θ_ＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈと同じである（θ_ＣＯｈ＝θ_ＣＭｈ）。

収音方向算出部３４は、図６９（Ｃ）に示す△ＣＯＰにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯ（＝Ｌ_ＣＯｖ）と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏに向かう垂直角θ_ＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈを数式（１１８）に従って算出し、ＰＴＺカメラ装置１の床からの高さＨ_Ｃを数式（１１９）に従って算出する。

収音方向算出部３４は、図６９（Ｃ）に示す△ＣＭＰにおいて、数式（１１８）の算出結果と、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう垂直角θ_ＣＭｖとを用いて、全方位マイクアレイ装置２の床からの高さＨ_ＭとＰＴＺカメラ装置１の床からの高さＨ_Ｃとの差分（Ｈ_Ｍ−Ｈ_Ｃ）に相当する距離Ｌ_ＭＯｖ”を数式（１２０）に従って算出する。これにより、収音方向算出部３４は、数式（１１９），（１２０）の各算出結果を用いて、全方位マイクアレイ装置２の床からの高さＨ_Ｍを数式（１２１）に従って算出する。

次に、第４の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法では、目的音源位置Ａの床からの高さはユーザにより入力された入力値であり、第３の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法とは異なる。また、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さＨ_Ｃ，Ｈ_Ｍが異なる。

具体的には、収音方向算出部３４は、
（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈと、
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θ_ＭＣｈと、
（４）ＰＴＺカメラ装置１，全方位マイクアレイ装置２の床からの各高さＨ_Ｃ，Ｈ_Ｍと、
（５）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈ，垂直角θ_ＣＡｖと、
（６）ユーザにより入力された、目的音源位置Ａの床からの高さＨ_Ａと、
を用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。図７０（Ｂ），（Ｃ）及び図７１（Ｂ），（Ｃ）を参照して、収音方向算出部３４における第４の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法を具体的に説明する。

（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈは、第７のキャリブレーション方法においてＰＴＺカメラ装置１により算出された値が用いられる（θ_ＣＭｈ＝θ_ＣＯｈ）。
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈは、第７のキャリブレーション方法におけるキャリブレーションパラメータである（数式（１１２）参照）。
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θ_ＭＣｈは、第７のキャリブレーション方法においてＰＴＺカメラ装置１及び全方位マイクアレイ装置２の位置関係から与えられる既定値（ゼロ）である。
（４）ＰＴＺカメラ装置１，全方位マイクアレイ装置２の床からの各高さＨ_Ｃ，Ｈ_Ｍは、第７のキャリブレーション方法におけるキャリブレーションパラメータである（数式（１１９），（１２１）参照）。
（５）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈ，垂直角θ_ＣＡｖは、ディスプレイ装置３６に表示された撮像画像データにおいて指定位置Ａ’の指定に応じてＰＴＺカメラ装置１により算出された値が用いられる。
（６）目的音源位置Ａの水平面（例えば床）からの高さＨ_Ａは、ユーザの入力操作によって入力された値である。

収音方向算出部３４は、図７０（Ｃ）に示す△ＣＡＳ’において、ＰＴＺカメラ装置１と目的音源位置Ａとの床からの高さの差分（Ｈ_Ｃ−Ｈ_Ａ）に相当する距離と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう垂直角θ_ＣＡｖとを用いて、数式（１２２）に従って、ＰＴＺカメラ装置１から目的音源位置Ａまでの距離Ｌ_ＣＡの水平方向の距離Ｌ_ＣＡｈを算出する。

収音方向算出部３４は、数式（１１８），（１２２）の各算出結果と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈとを用いて、図７０（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（１２３）に従って、全方位マイクアレイ装置２から目的音源位置Ａまでの距離Ｌ_ＭＡの水平方向の距離Ｌ_ＭＡｈを算出する。

収音方向算出部３４は、数式（１１８），（１２２），（１２３）の各算出結果を用いて、図７０（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（１２４）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θ_ＭＡｈの余弦値ｃｏｓθ_ＭＡｈを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θ_ＭＡｈを、数式（１２５）に従って算出できる。

更に、収音方向算出部３４は、数式（１２３）の算出結果と、数式（１２１）の算出結果である全方位マイクアレイ装置２の床からの高さＨ_Ｍと目的音源位置Ａの床からの高さＨ_Ａとの差分（Ｈ_Ｍ−Ｈ_Ａ）に相当する距離とを用いて、図７１（Ｃ）に示す△ＭＡＳ”における正接により、数式（１２６）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θ_ＭＡｖの正接値ｔａｎθ_ＭＡｖを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θ_ＭＡｖを、数式（１２７）に従って算出できる。

以上により、第７のキャリブレーション方法及び第４の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び全方位マイクアレイ装置２（図６８参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの高さＨ_Ｃ，Ｈ_Ｍを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈをキャリブレーションパラメータとして簡易に算出できる。

また、収音方向算出部３４は、キャリブレーション時に算出された水平角θ_ＣＭｈ，水平方向の距離Ｌ_ＣＭｈ，ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの各高さＨ_Ｃ，Ｈ_Ｍと、既定の水平角θ_ＭＣｈと、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖと、ユーザにより入力された目的音源位置Ａの水平面からの高さＨ_Ａの入力値とを用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標を簡易に算出できる。また、目的音源位置Ａの床からの高さＨ_Ａは、ユーザの所望値が使用可能となるので、目的音源位置Ａの床からの高さＨ_Ａの選択の自由度が向上する。

（第８のキャリブレーション方法に応じた第４の収音方向座標の算出方法）
次に、第８のキャリブレーション方法と、第８のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第４の収音方向座標の算出方法について、図７２及び図７３（Ａ）〜（Ｃ）を参照して説明する。

図７２は、第１１の実施形態における第８のキャリブレーション方法の説明図である。図７３（Ａ）は、第８のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２、キャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図である。図７３（Ｂ）は、図７３（Ａ）の水平方向上面図である。図７３（Ｃ）は、図７３（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。

第８のキャリブレーション方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さＨ_Ｃ，Ｈ_Ｍが異なり、且つ、全方位マイクアレイ装置２がＰＴＺカメラ装置１の撮像視野角外に存在するように設置される。このため、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後にキャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２の両方にフォーカスを当ててズームするので、キャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２はディスプレイ装置３６の画面の中心点に位置する（図７２参照）。

第８のキャリブレーション方法では、ＰＴＺカメラ装置１の床からの高さＨ_Ｃより全方位マイクアレイ装置２の床からの高さＨ_Ｍの方が高く（Ｈ_Ｃ＜Ｈ_Ｍ）、全方位マイクアレイ装置２の所定位置から鉛直方向の真下に、例えば糸ＳＴＲ又は紐を用いて、固体物であるキャリブレーション用マーカＭＡＫが吊り下げられ、更に、全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される（図７３（Ａ）参照）。第８のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨ_Ｃと、全方位マイクアレイ装置２の床からの高さＨ_Ｍである。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２の各中心点Ｏ’，Ｏ”（図７２参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう垂直角θ_ＣＯ’ｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θ_ＣＯ”ｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯ”ｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨ_Ｃと、全方位マイクアレイ装置２の床からの高さＨ_Ｍとを算出する。図７３（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離Ｌ_ＣＭｈと高さＨ_Ｍ，Ｈ_Ｃとの算出方法を具体的に説明する。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２の各中心点Ｏ’，Ｏ”（図７２参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯ”ｖと、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫに向かう水平角θ_ＣＯ’ｈ，垂直角θ_ＣＯ’ｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θ_ＣＯ”ｈ，垂直角θ_ＣＯ”ｖとを取得する。距離Ｌ_ＣＯ”ｖ，水平角θ_ＣＯ’ｈ，垂直角θ_ＣＯ’ｖ，水平角θ_ＣＯ”ｈ，垂直角θ_ＣＯ”ｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用マーカＭＡＫは全方位マイクアレイ装置２の所定位置から鉛直方向の真下に吊り下げられ、且つ、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されるので、ＰＴＺカメラ装置１からキャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２に向かう各水平角θ_ＣＯ’ｈ，θ_ＣＯ”ｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈと同じである（θ_ＣＯ’ｈ＝θ_ＣＯ”ｈ＝θ_ＣＭｈ）。

収音方向算出部３４は、図７３（Ｃ）に示す△ＣＯ”Ｐにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯ”ｖ（＝Ｌ_ＣＯ”）と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θ_ＣＯ”ｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈを数式（１２８）に従って算出し、ＰＴＺカメラ装置１の床からの高さＨ_Ｃを数式（１２９）に従って算出する。なお、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されるので、ＰＴＺカメラ装置１とキャリブレーション用床置きマーカＭＡＫ２との間の水平方向の距離Ｌ_ＣＯｈは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと同じである（Ｌ_ＣＯｈ＝Ｌ_ＣＭｈ）。

図７３（Ｃ）に示す△ＣＯ”Ｏ’における正弦定理により、数式（１３０）の関係式が成り立つ。従って、収音方向算出部３４は、数式（１３０）の算出結果を用いて、全方位マイクアレイ装置２の床からの高さＨ_Ｍを、数式（１３１）に従って算出する。

なお、第８のキャリブレーション方法によりキャリブレーションパラメータが算出された後の収音方向算出部３４における収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法は、上述した第４の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法と同じであるため、説明を割愛する。

以上により、第８のキャリブレーション方法及び第４の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２の各中心点Ｏ’，Ｏ”（図７２参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの高さＨ_Ｃ，Ｈ_Ｍを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈをキャリブレーションパラメータとして簡易に算出できる。

（第９のキャリブレーション方法に応じた第４の収音方向座標の算出方法）
次に、第９のキャリブレーション方法と、第９のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第４の収音方向座標の算出方法について、図７４及び図７５（Ａ）〜（Ｃ）を参照して説明する。

図７４は、第１１の実施形態における第９のキャリブレーション方法の説明図である。図７５（Ａ）は、第９のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ２の位置関係を示す図である。図７５（Ｂ）は、図７５（Ａ）の水平方向上面図である。図７５（Ｃ）は、図７５（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。

第９のキャリブレーション方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さＨ_Ｃ，Ｈ_Ｍが異なり、且つ、全方位マイクアレイ装置２がＰＴＺカメラ装置１の撮像視野角外に存在するように設置される。このため、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後にキャリブレーション用床置きマーカＭＡＫ２にフォーカスを当ててズームするので、キャリブレーション用床置きマーカＭＡＫ２はディスプレイ装置３６の画面の中心点に位置する（図７４参照）。

第９のキャリブレーション方法では、ＰＴＺカメラ装置１の床からの高さＨ_Ｃより全方位マイクアレイ装置２の床からの高さＨ_Ｍの方が高く（Ｈ_Ｃ＜Ｈ_Ｍ）、全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される（図７５（Ａ）参照）。第９のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨ_Ｃである。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ（図７４参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θ_ＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨ_Ｃとを算出する。図７５（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離Ｌ_ＣＭｈと高さＨ_Ｃとの算出方法を具体的に説明する。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ（図７４参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θ_ＣＯｈ，垂直角θ_ＣＯｖとを取得する。距離Ｌ_ＣＯｖ，水平角θ_ＣＯｈ，垂直角θ_ＣＯｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されるので、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θ_ＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈと同じである（θ_ＣＯｈ＝θ_ＣＭｈ）。

収音方向算出部３４は、図７５（Ｃ）に示す△ＣＯＰにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯｖ（＝Ｌ_ＣＯ）と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θ_ＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈを数式（１３２）に従って算出し、ＰＴＺカメラ装置１の床からの高さＨ_Ｃを数式（１３３）に従って算出する。なお、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されるので、ＰＴＺカメラ装置１とキャリブレーション用床置きマーカＭＡＫ２との間の水平方向の距離Ｌ_ＣＯｈは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと同じである（Ｌ_ＣＯｈ＝Ｌ_ＣＭｈ）。

なお、第９のキャリブレーション方法によりキャリブレーションパラメータが算出された後の収音方向算出部３４における収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法は、上述した第４の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法と同じであるため、説明を割愛する。

以上により、第９のキャリブレーション方法及び第４の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの高さが異なり、ＰＴＺカメラ装置１からの撮像視野角内に全方位マイクアレイ装置２が存在しない場合でも、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ（図７４参照）がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１の床からの高さＨ_Ｃを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈをキャリブレーションパラメータとして簡易に算出できる。

（第１０のキャリブレーション方法に応じた第４の収音方向座標の算出方法）
最後に、第１０のキャリブレーション方法と、第１０のキャリブレーション方法によりキャリブレーションパラメータを算出した後における第４の収音方向座標の算出方法について、図７６、図７７（Ａ）〜（Ｃ）、図７８（Ａ）〜（Ｃ）及び図７９（Ａ）〜（Ｃ）を参照して説明する。

図７６は、第１１の実施形態における第１０のキャリブレーション方法の説明図である。図７７（Ａ）は、第１０のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの位置関係を示す図である。図７７（Ｂ）は、図７７（Ａ）の水平方向上面図である。図７７（Ｃ）は、図７７（Ｂ）のＫ−Ｋ’線における垂直方向断面図である。

図７８（Ａ）は、第１０のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図７８（Ｂ）は、図７８（Ａ）の水平方向上面図である。図７８（Ｃ）は、図７８（Ｂ）のＱ−Ｑ’線における垂直方向断面図である。図７９（Ａ）は、第１０のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及び目的音源位置Ａの位置関係を示す図である。図７９（Ｂ）は、図７９（Ａ）の水平方向上面図である。図７９（Ｃ）は、図７９（Ｂ）のＲ−Ｒ’線における垂直方向断面図である。

第１０のキャリブレーション方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さが異なり、且つ、全方位マイクアレイ装置２がＰＴＺカメラ装置１の撮像視野角内に存在するように設置される。このため、ＰＴＺカメラ装置１がパン方向、チルト方向に駆動した後に全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの両方にフォーカスを当ててズームするので、全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫはディスプレイ装置３６の画面の中心点に位置する（図７６参照）。

第１０のキャリブレーション方法では、全方位マイクアレイ装置２の床からの高さＨ_ＭよりＰＴＺカメラ装置１の床からの高さＨ_Ｃの方が高く（Ｈ_Ｍ＜Ｈ_Ｃ）、全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される（図７７（Ａ）参照）。第１０のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨ_Ｃと、全方位マイクアレイ装置２の床からの高さＨ_Ｍである。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び全方位マイクアレイ装置２（図７６参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう垂直角θ_ＣＯｖと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう垂直角θ_ＣＭｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨ_Ｃと、全方位マイクアレイ装置２の床からの高さＨ_Ｍとを算出する。図７７（Ｂ）及び（Ｃ）を参照して、収音方向算出部３４における水平方向の距離Ｌ_ＣＭｈと高さＨ_Ｍ，Ｈ_Ｃとの算出方法を具体的に説明する。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び全方位マイクアレイ装置２（図７６参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯｖ（＝Ｌ_ＣＯ）と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θ_ＣＯｈ，垂直角θ_ＣＯｖと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈ，垂直角θ_ＣＭｖとを取得する。距離Ｌ_ＣＯｖ，水平角θ_ＣＯｈ，垂直角θ_ＣＯｖ，水平角θ_ＣＭｈ，垂直角θ_ＣＭｖのデータは、ＰＴＺカメラ装置１により算出された後、ＰＴＺカメラ装置１から指向性制御装置３に送信されたものである。なお、キャリブレーション用床置きマーカＭＡＫ２は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置されるので、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２に向かう水平角θ_ＣＯｈは、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈと同じである（θ_ＣＯｈ＝θ_ＣＭｈ）。

収音方向算出部３４は、図７７（Ｃ）に示す△ＣＯＰにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯｖ（＝Ｌ_ＣＯ）と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏに向かう垂直角θ_ＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈを数式（１３４）に従って算出し、ＰＴＺカメラ装置１の床からの高さＨ_Ｃを数式（１３５）に従って算出する。

収音方向算出部３４は、図７７（Ｃ）に示す△ＣＭＰにおいて、数式（１３４）の算出結果と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏに向かう垂直角θ_ＣＯｖとＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう垂直角θ_ＣＭｖとの差分（θ_ＣＯｖ−θ_ＣＭｖ）とを用いて、ＰＴＺカメラ装置１の床からの高さＨ_Ｃと全方位マイクアレイ装置２の床からの高さＨ_Ｍとの差分（Ｈ_Ｃ−Ｈ_Ｍ）の距離を数式（１３６）に従って算出し、全方位マイクアレイ装置２の床からの高さＨ_Ｍを数式（１３７）に従って算出する。

次に、第４の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法では、目的音源位置Ａの水平面（例えば床）からの高さはユーザにより入力された入力値であり、第３の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法とは異なる。また、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との床からの各高さＨ_Ｃ，Ｈ_Ｍは異なる。

具体的には、収音方向算出部３４は、
（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈと、
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θ_ＭＣｈと、
（４）ＰＴＺカメラ装置１，全方位マイクアレイ装置２の床からの各高さＨ_Ｃ，Ｈ_Ｍと、
（５）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈ，垂直角θ_ＣＡｖと、
（６）ユーザにより入力された、目的音源位置Ａの床からの高さＨ_Ａと、
を用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。図７８（Ｂ），（Ｃ）及び図７９（Ｂ），（Ｃ）を参照して、収音方向算出部３４における収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法を具体的に説明する。

（１）ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈは、第１０のキャリブレーション方法においてＰＴＺカメラ装置１により算出された値が用いられる（θ_ＣＭｈ＝θ_ＣＯｈ）。
（２）ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈは、第１０のキャリブレーション方法におけるキャリブレーションパラメータである（数式（１３４）参照）。
（３）全方位マイクアレイ装置２からＰＴＺカメラ装置１に向かう水平角θ_ＭＣｈは、第１０のキャリブレーション方法においてＰＴＺカメラ装置１及び全方位マイクアレイ装置２の位置関係から与えられる既定値（ゼロ）である。
（４）ＰＴＺカメラ装置１，全方位マイクアレイ装置２の床からの各高さＨ_Ｃ，Ｈ_Ｍは、第１０のキャリブレーション方法におけるキャリブレーションパラメータである（数式（１３５），（１３７）参照）。
（５）ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈ，垂直角θ_ＣＡｖは、ディスプレイ装置３６に表示された撮像画像データにおいて指定位置Ａ’の指定に応じてＰＴＺカメラ装置１により算出された値が用いられる。
（６）目的音源位置Ａの床からの高さＨ_Ａは、ユーザの入力操作によって入力された値である。

収音方向算出部３４は、図７８（Ｃ）に示す△ＣＡＳ’において、ＰＴＺカメラ装置１と目的音源位置Ａとの床からの高さの差分（Ｈ_Ｃ−Ｈ_Ａ）に相当する距離と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう垂直角θ_ＣＡｖとを用いて、数式（１３８）に従って、ＰＴＺカメラ装置１から目的音源位置Ａまでの距離Ｌ_ＣＡの水平方向の距離Ｌ_ＣＡｈを算出する。

収音方向算出部３４は、数式（１３４），（１３８）の各算出結果と、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈと、ＰＴＺカメラ装置１から全方位マイクアレイ装置２に向かう水平角θ_ＣＭｈとを用いて、図７８（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（１３９）に従って、全方位マイクアレイ装置２から目的音源位置Ａまでの距離Ｌ_ＭＡの水平方向の距離Ｌ_ＭＡｈを算出する。

収音方向算出部３４は、数式（１３４），（１３８），（１３９）の各算出結果を用いて、図７８（Ｂ）に示す△ＣＡＭにおける余弦定理により、数式（１４０）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θ_ＭＡｈの余弦値ｃｏｓθ_ＭＡｈを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう水平角θ_ＭＡｈを、数式（１４１）に従って算出できる。

更に、収音方向算出部３４は、数式（１３９）の算出結果と、数式（１３７）の算出結果である全方位マイクアレイ装置２の床からの高さＨ_Ｍと目的音源位置Ａの床からの高さＨ_Ａとの差分（Ｈ_Ｍ−Ｈ_Ａ）に相当する距離とを用いて、図７９（Ｃ）に示す△ＭＡＳ”における正接により、数式（１４２）に従って、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θ_ＭＡｖの正接値ｔａｎθ_ＭＡｖを算出する。これにより、収音方向算出部３４は、全方位マイクアレイ装置２から目的音源位置Ａに向かう垂直角θ_ＭＡｖを、数式（１４３）に従って算出できる。

以上により、第１０のキャリブレーション方法及び第４の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）の算出方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び全方位マイクアレイ装置２（図７６参照）の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの高さＨ_Ｃ，Ｈ_Ｍを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈをキャリブレーションパラメータとして簡易に算出できる。

また、収音方向算出部３４は、キャリブレーション時に算出された水平角θ_ＣＭｈ，水平方向の距離Ｌ_ＣＭｈ，ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さＨ_Ｃ，Ｈ_Ｍと、既定の水平角θ_ＭＣｈと、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖと、ユーザにより入力された目的音源位置Ａの床からの高さＨ_Ａの入力値とを用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標を簡易に算出できる。また、目的音源位置Ａの床からの高さＨ_Ａは、ユーザの所望値が使用可能となるので、目的音源位置Ａの床からの高さＨ_Ａの選択の自由度が向上する。

なお、第１０のキャリブレーション方法に応じた第４の収音方向座標の算出方法は、全方位マイクアレイ装置２の床からの高さＨ_ＭがＰＴＺカメラ装置１の床からの高さＨ_Ｃより高い場合に対応した第７のキャリブレーション方法に応じた第４の収音方向座標の算出方法と同様である。また、全方位マイクアレイ装置２の床からの高さＨ_ＭがＰＴＺカメラ装置１の床からの高さＨ_Ｃより高い場合、第６のキャリブレーション方法に応じた第３の収音方向座標の算出方法、又は第８，９の各キャリブレーション方法に応じた第４の収音方向座標の算出方法も同様に適用することで、収音方向算出部は、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標を算出できる。

以下、上述した本発明に係る指向性制御システム及び指向性制御方法の構成、作用及び効果を説明する。

本発明の一実施形態は、所定の収音領域の対象物を撮像する撮像部と、前記収音領域の音声を収音する収音部と、前記撮像部により撮像された前記対象物の画像データを表示する表示部と、前記対象物の画像データにおける任意の位置の指定に応じて、前記収音部から、前記画像データの指定位置に対応する目的音源位置に向かう収音方向を算出する収音方向算出部と、前記収音方向算出部により算出された前記収音方向に、前記収音部により収音された音声の収音指向性を形成する収音制御部と、を備える指向性制御システムである。

上述した構成では、ＰＴＺカメラ装置１は、公知のパン方向又はチルト方向への筐体駆動機能及びズーム機能を用いて、所定の収音領域に存在している対象物（例えば人物）を撮像する。全方位マイクアレイ装置２は、ＰＴＺカメラ装置１の撮像方向に存在する対象物の音声を収音する。指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたＰＴＺカメラ装置１の撮像画像データにおいて任意の位置が指定されると、ＰＴＺカメラ装置１から指定位置Ａ’に対応する目的音源位置Ａに向かう収音方向の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。指向性制御装置３の出力制御部３５は、算出された収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）が示す収音方向に、全方位マイクアレイ装置２により収音された音声の収音指向性を形成する。

これにより、収音システム１０では、ＰＴＺカメラ装置１の撮像画像データが表示されたディスプレイ装置３６上で、目的音源位置Ａに対応する指定位置Ａ’が指定されるので、指向性制御装置３は、収音方向座標の算出前に予め必要なキャリブレーション時に、所定のキャリブレーションパラメータの算出に必要となる入力パラメータ（例えば距離、方向）を容易に取得でき、キャリブレーションパラメータを簡易に算出できる。従って、指向性制御装置３は、全方位マイクアレイ装置２を基準として、ＰＴＺカメラ装置１の撮像画像データの中の指定位置Ａ’に対応する目的音源位置Ａに向かう収音方向への収音指向性を容易に形成でき、高精度に収音された収音方向の音声の音声データを容易に得ることができる。

また、本発明の一実施形態は、前記撮像部及び前記収音部の水平面からの各高さは同一であり、前記収音方向算出部が、前記撮像部から前記収音部に向かう水平角と、前記撮像部と前記収音部との間の水平方向の距離と、前記収音部から前記撮像部に向かう水平角と、前記撮像部から前記目的音源位置に向かう水平角及び垂直角と、を用いて、前記収音部から前記目的音源位置に向かう収音方向の水平角及び垂直角を算出する、指向性制御システムである。

上述した構成では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さは同一である。従って、指向性制御装置３の収音方向算出部３４は、キャリブレーション時に算出された水平角θ_ＣＭｈ，水平方向の距離Ｌ_ＣＭｈと、既定の水平角θ_ＭＣｈと、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖとを用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向座標を簡易に算出できる。

また、指向性制御装置３の収音方向算出部３４は、収音方向座標の算出時に目的音源位置Ａの床からの高さＨ_Ａをユーザに入力させること無く、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を簡易に算出できる。

また、本発明の一実施形態は、前記収音部の真下に、前記収音部からの距離が一定の第１マーカが吊り下げられ、前記第１マーカの前記水平面からの高さと、前記目的音源位置の前記水平面からの高さとは同一であり、前記収音方向算出部が、前記表示部に表示された前記第１マーカの指定に応じて、前記収音部と前記第１マーカとの間の距離を用いて、前記撮像部と前記収音部との間の水平方向の距離を算出する、指向性制御システムである。

上述した構成では、全方位マイクアレイ装置２の真下に、全方位マイクアレイ装置２からの距離（Ｌ_ＭＯｖ）が一定のキャリブレーション用マーカＭＡＫが吊り下げられ、キャリブレーション用マーカＭＡＫ及び目的音源位置Ａの床からの各高さＨ_Ｏ，Ｈ_Ａは同一である。従って、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫがユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２の真下の床に障害物が存在しているために、ＰＴＺカメラ装置１が全方位マイクアレイ装置２の真下の床面を撮像できない場合でも、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈをキャリブレーションパラメータとして簡易に算出できる。

また、本発明の一実施形態は、前記撮像部及び前記収音部の水平面からの各高さは同一であり、前記収音方向算出部が、前記撮像部から前記収音部に向かう水平角と、前記撮像部と前記収音部との間の水平方向の距離と、前記収音部から前記撮像部に向かう水平角と、前記撮像部及び前記収音部の水平面からの各高さと、前記撮像部から前記目的音源位置に向かう水平角及び垂直角と、前記目的音源位置の水平面からの高さの入力値と、を用いて、前記収音部から前記目的音源位置に向かう収音方向の水平角及び垂直角を算出する、指向性制御システムである。

上述した構成では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの各高さは同一である。従って、指向性制御装置３の収音方向算出部３４は、キャリブレーション時に算出された水平角θ_ＣＭｈ，水平方向の距離Ｌ_ＣＭｈと、既定の水平角θ_ＭＣｈと、既定のＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの各高さＨ_Ｃ，Ｈ_Ｍと、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖと、ユーザにより入力された目的音源位置Ａの床からの高さＨ_Ａの入力値とを用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標を簡易に算出できる。

また、指向性制御装置３の収音方向算出部３４は、全方位マイクアレイ装置２の初期設置時に測定が比較的簡易である全方位マイクアレイ装置２の水平面からの高さＨ_Ｍを用いる。従って、キャリブレーション用マーカＭＡＫを全方位マイクアレイ装置２から吊り下げる場合、吊り下げ距離の調整を簡易化できる。更に、目的音源位置Ａの床からの高さＨ_Ａは、ユーザの所望値が使用可能となるので、目的音源位置Ａの床からの高さＨ_Ａの選択の自由度が向上する。

また、本発明の一実施形態は、前記収音部の真下に、前記収音部からの距離が一定の第１マーカが吊り下げられ、前記収音部の前記水平面からの高さが所定値であり、前記収音方向算出部が、前記表示部に表示された前記第１マーカの指定に応じて、前記収音部と前記第１マーカとの間の距離を用いて、前記撮像部と前記収音部との間の水平方向の距離を算出する、指向性制御システムである。

上述した構成では、全方位マイクアレイ装置２の真下に、全方位マイクアレイ装置２からの距離（Ｌ_ＭＯｖ）が一定のキャリブレーション用マーカＭＡＫが吊り下げられ、全方位マイクアレイ装置２の水平面からの高さＨ_Ｍは既知である。従って、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫがユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２の真下の床に障害物が存在しているために、ＰＴＺカメラ装置１が全方位マイクアレイ装置２の真下の床面を撮像できない場合でも、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈをキャリブレーションパラメータとして簡易に算出できる。

また、本発明の一実施形態は、前記収音部の真下の前記水平面上の位置に、円形状の第２マーカが設置され、前記収音方向算出部が、前記表示部に表示された前記第２マーカの中心点の指定に応じて、前記撮像部から前記第２マーカまでの距離と、前記撮像部から前記第２マーカに向かう垂直角と、を用いて、前記撮像部と前記収音部との間の水平方向の距離と、前記収音部の前記水平面からの高さとを算出する、指向性制御システムである。

上述した構成では、全方位マイクアレイ装置２の真下の水平面上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される。従って、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏがユーザの指ＦＧにより指定されると、例えばＰＴＺカメラ装置１のフォーカス機能を用いて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ２までの距離Ｌ_ＣＯを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈをキャリブレーションパラメータとして簡易に算出できる。

また、本発明の一実施形態は、前記収音部の真下の前記水平面上の位置に、所定の半径を有する円形状の第２マーカが設置され、前記収音方向算出部が、前記表示部に表示された前記第２マーカの中心点及び円周上の端点の指定に応じて、前記撮像部から前記第２マーカの中心点に向かう垂直角と、前記撮像部から前記第２マーカの円周上の端点に向かう垂直角と、前記第２マーカの半径と、を用いて、前記撮像部と前記収音部との間の水平方向の距離と、前記収音部の前記水平面からの高さとを算出する、指向性制御システムである。

上述した構成では、全方位マイクアレイ装置２の真下の床上の位置に、所定の半径を有する円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される。従って、例えば全方位マイクアレイ装置２からキャリブレーション用床置きマーカＭＡＫ２までの距離が測定できない場合でも、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び円周上の端点Ｏ’の２箇所がユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２からキャリブレーション用床置きマーカＭＡＫ２の中心点までの距離の測定が困難な場合でも全方位マイクアレイ装置２の床からの高さＨ_Ｍを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈをキャリブレーションパラメータとして簡易に算出できる。

また、本発明の一実施形態は、前記収音部の真下に、前記水平面からの高さが一定の第３マーカが設置され、前記第３マーカの前記水平面からの高さと、前記目的音源位置の前記水平面からの高さとは同一であり、前記収音方向算出部が、前記表示部に表示された前記第３マーカの指定に応じて、前記撮像部から前記第３マーカまでの距離と、前記撮像部から前記第３マーカに向かう垂直角と、を用いて、前記撮像部と前記収音部との間の水平方向の距離と、前記収音部の前記第３マーカからの高さとを算出する、指向性制御システムである。

上述した構成では、全方位マイクアレイ装置２の真下に、水平面からの高さＨ_Ｏが一定の位置にキャリブレーション用マーカＭＡＫ３が設置され、キャリブレーション用マーカＭＡＫ３及び目的音源位置Ａの水平面からの高さＨ_Ｏ，Ｈ_Ａは同一である。従って、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ３の中心点Ｏがユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２の真下の床上に障害物が存在しているために、ＰＴＺカメラ装置１が全方位マイクアレイ装置２の真下の床面を撮像できない場合でも、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈ，全方位マイクアレイ装置２のキャリブレーション用マーカＭＡＫ３からの高さＬ_ＭＯｖをキャリブレーションパラメータとして簡易に算出できる。

また、本発明の一実施形態は、前記撮像部及び前記収音部の水平面からの各高さが異なり、前記収音部が、前記撮像部の撮像視野角内に存在するように設置され、前記収音方向算出部が、前記撮像部から前記収音部に向かう水平角及び垂直角と、前記撮像部と前記収音部との間の水平方向の距離と、前記収音部から前記撮像部に向かう水平角と、前記撮像部の前記目的音源位置からの高さと、前記収音部の前記目的音源位置からの高さと、前記撮像部から前記目的音源位置に向かう水平角及び垂直角と、を用いて、前記収音部から前記目的音源位置に向かう収音方向の水平角及び垂直角を算出する、指向性制御システムである。

上述した構成では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さは異なり、全方位マイクアレイ装置２はＰＴＺカメラ装置１の撮像視野角内に存在し、即ち全方位マイクアレイ装置２がディスプレイ装置３６に表示されるように設置される。従って、指向性制御装置３の収音方向算出部３４は、キャリブレーション時に算出された水平角θ_ＣＭｈ及び垂直角θ_ＣＭｖ，水平方向の距離Ｌ_ＣＭｈ，ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の目的音源位置Ａからの各高さＬ_ＭＯｖ’，Ｌ_ＭＯと、既定の水平角θ_ＭＣｈと、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖとを用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向座標を簡易に算出できる。

また、指向性制御装置３の収音方向算出部３４は、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの高さが異なる場合でも、目的音源位置Ａの床からの高さＨ_Ａをユーザに入力させること無く、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の座標を簡易に算出できる。

また、本発明の一実施形態は、前記収音部の真下に、前記収音部からの距離が一定の第１マーカが吊り下げられ、前記第１マーカの前記水平面からの高さと、前記目的音源位置の前記水平面からの高さとが同一であり、前記収音方向算出部が、前記表示部に表示された前記収音部及び前記第１マーカの指定に応じて、前記撮像部から前記収音部に向かう垂直角と、前記撮像部から前記第１マーカに向かう垂直角と、を用いて、前記撮像部と前記収音部との間の水平方向の距離と、前記撮像部の前記目的音源位置からの高さとを算出する、指向性制御システムである。

上述した構成では、全方位マイクアレイ装置２の真下に、全方位マイクアレイ装置２からの距離（Ｌ_ＭＯｖ）が一定のキャリブレーション用マーカＭＡＫが吊り下げられ、キャリブレーション用マーカＭＡＫ及び目的音源位置Ａの床からの各高さＨ_Ｏ，Ｈ_Ａは同一である。従って、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示された全方位マイクアレイ装置２及びキャリブレーション用マーカＭＡＫの２箇所がユーザの指ＦＧにより指定されると、例えば全方位マイクアレイ装置２の真下の床上に障害物が存在しているために、ＰＴＺカメラ装置１が全方位マイクアレイ装置２の真下の床面を撮像できない場合でも、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈをキャリブレーションパラメータとして簡易に算出できる。

また、本発明の一実施形態は、前記撮像部及び前記収音部の水平面からの各高さが異なり、前記収音部は、前記撮像部の撮像視野角内に存在するように設置され、前記収音方向算出部が、前記撮像部から前記収音部に向かう水平角と、前記撮像部と前記収音部との間の水平方向の距離と、前記収音部から前記撮像部に向かう水平角と、前記撮像部の前記水平面からの高さと、前記収音部の前記水平面からの高さと、前記撮像部から前記目的音源位置に向かう水平角及び垂直角と、前記目的音源位置の水平面からの高さの入力値と、を用いて、前記収音部から前記目的音源位置に向かう収音方向の水平角及び垂直角を算出する、指向性制御システムである。

上述した構成では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さは異なり、全方位マイクアレイ装置２はディスプレイ装置３６に表示されるように設置される。従って、指向性制御装置３の収音方向算出部３４は、キャリブレーション時に算出された水平角θ_ＣＭｈ，水平方向の距離Ｌ_ＣＭｈ，ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床面からの各高さＨ_Ｃ，Ｈ_Ｍと、既定の水平角θ_ＭＣｈと、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖと、ユーザにより入力された目的音源位置Ａの床からの高さＨ_Ａの入力値とを用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標を簡易に算出できる。

また、目的音源位置Ａの床からの高さＨ_Ａは、ユーザの所望値が使用可能となるので、目的音源位置Ａの床からの高さＨ_Ａの選択の自由度が向上する。

また、本発明の一実施形態は、前記収音部の真下の前記水平面上の位置に、円形状の第２マーカが設置され、前記収音方向算出部が、前記表示部に表示された前記収音部及び前記第２マーカの中心点の指定に応じて、前記撮像部から前記収音部に向かう垂直角と、前記撮像部から前記第２マーカに向かう垂直角と、前記撮像部から前記第２マーカまでの距離と、を用いて、前記撮像部と前記収音部との間の水平方向の距離と、前記撮像部の前記水平面からの高さと、前記収音部の前記水平面からの高さとを算出する、指向性制御システムである。

上述した構成では、全方位マイクアレイ装置２の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される。従って、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏ及び全方位マイクアレイ装置２の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの高さＨ_Ｃ，Ｈ_Ｍを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈをキャリブレーションパラメータとして簡易に算出できる。

また、本発明の一実施形態は、前記撮像部及び前記収音部の水平面からの各高さが異なり、前記収音部が、前記撮像部の撮像視野角外に存在するように設置され、前記収音方向算出部が、前記撮像部から前記収音部に向かう水平角と、前記撮像部と前記収音部との間の水平方向の距離と、前記収音部から前記撮像部に向かう水平角と、前記撮像部の前記水平面からの高さと、前記収音部の前記水平面からの高さと、前記撮像部から前記目的音源位置に向かう水平角及び垂直角と、前記目的音源位置の水平面からの高さの入力値と、を用いて、前記収音部から前記目的音源位置に向かう収音方向の水平角及び垂直角を算出する、指向性制御システムである。

上述した構成では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの各高さは異なり、全方位マイクアレイ装置２はＰＴＺカメラ装置１の撮像視野角外に存在し、即ち全方位マイクアレイ装置２がディスプレイ装置３６に表示されないように設置される。従って、指向性制御装置３の収音方向算出部３４は、キャリブレーション時に算出された水平角θ_ＣＭｈ，水平方向の距離Ｌ_ＣＭｈ，ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの各高さＨ_Ｃ，Ｈ_Ｍと、既定の水平角θ_ＭＣｈと、ＰＴＺカメラ装置１から目的音源位置Ａに向かう水平角θ_ＣＡｈ及び垂直角θ_ＣＡｖと、ユーザにより入力された目的音源位置Ａの水平面からの高さＨ_Ａの入力値とを用いて、全方位マイクアレイ装置２から目的音源位置Ａに向かう収音方向の収音方向座標を簡易に算出できる。

また、目的音源位置Ａの床からの高さＨ_Ａは、ユーザの所望値が使用可能となるので、目的音源位置Ａの床からの高さＨ_Ａの選択の自由度が向上する。

また、本発明の一実施形態は、前記収音部の真下に、前記収音部からの距離が一定の第１マーカが吊り下げられ、前記収音部の真下の前記水平面上の位置に、円形状の第２マーカが設置され、前記収音方向算出部が、前記表示部に表示された前記第１マーカ及び前記第２マーカの中心点の指定に応じて、前記撮像部から前記第１マーカに向かう垂直角と、前記撮像部から前記第２マーカに向かう垂直角と、前記撮像部から前記第２マーカまでの距離と、を用いて、前記撮像部と前記収音部との間の水平方向の距離と、前記撮像部の前記水平面からの高さと、前記収音部の前記水平面からの高さとを算出する、指向性制御システムである。

上述した構成では、全方位マイクアレイ装置２の真下に、全方位マイクアレイ装置２からの距離が一定のキャリブレーション用マーカＭＡＫが吊り下げられ、全方位マイクアレイ装置２の真下の床上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される。従って、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用マーカＭＡＫ及びキャリブレーション用床置きマーカＭＡＫ２の中心点の２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの高さＨ_Ｃ，Ｈ_Ｍを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈをキャリブレーションパラメータとして簡易に算出できる。

また、本発明の一実施形態は、前記収音部の真下の前記水平面上の位置に、円形状の第２マーカが設置され、前記収音方向算出部が、前記表示部に表示された前記第２マーカの中心点の指定に応じて、前記撮像部から前記第２マーカに向かう垂直角と、前記撮像部から前記第２マーカまでの距離と、を用いて、前記撮像部と前記収音部との間の水平方向の距離と、前記撮像部の前記水平面からの高さとを算出する、指向性制御システムである。

上述した構成では、全方位マイクアレイ装置２の真下の水平面上の位置に、円形状のキャリブレーション用床置きマーカＭＡＫ２が設置される。従って、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの高さが異なり、ＰＴＺカメラ装置１からの撮像視野角内に全方位マイクアレイ装置２が存在しない場合でも、指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ２の中心点Ｏがユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の床からの高さＨ_Ｃを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈをキャリブレーションパラメータとして簡易に算出できる。

本発明の一実施形態は、所定の収音領域の対象物を撮像する撮像部と、前記収音領域の音声を収音する収音部とを含む指向性制御システムにおける指向性制御方法であって、前記撮像部により撮像された前記対象物の画像データを表示するステップと、表示された前記対象物の画像データにおける任意の位置の指定を受け付けるステップと、前記対象物の画像データにおける任意の位置の指定に応じて、前記収音部から、前記画像データの指定位置に対応する目的音源位置に向かう収音方向を算出するステップと、算出された前記収音方向に、前記収音部により収音された音声の収音指向性を形成するステップと、を有する指向性制御方法である。

上述した方法では、ＰＴＺカメラ装置１は、公知のパン方向又はチルト方向への筐体駆動機能及びズーム機能を用いて、所定の収音領域に存在している対象物（例えば人物）を撮像する。全方位マイクアレイ装置２は、ＰＴＺカメラ装置１の撮像方向に存在する対象物の音声を収音する。指向性制御装置３の収音方向算出部３４は、ディスプレイ装置３６に表示されたＰＴＺカメラ装置１の撮像画像データにおいて任意の位置が指定されると、ＰＴＺカメラ装置１から指定位置Ａ’に対応する目的音源位置Ａに向かう収音方向の収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）を算出する。指向性制御装置３の出力制御部３５は、算出された収音方向座標（θ_ＭＡｈ，θ_ＭＡｖ）が示す収音方向に、全方位マイクアレイ装置２により収音された音声の収音指向性を形成する。

これにより、収音システム１０では、ＰＴＺカメラ装置１の撮像画像データが表示されたディスプレイ装置３６上で、目的音源位置Ａに対応する指定位置Ａ’が指定されるので、指向性制御装置３は、収音方向座標の算出前に予め必要なキャリブレーション時に、所定のキャリブレーションパラメータの算出に必要となる入力パラメータ（例えば距離、方向）を容易に取得でき、キャリブレーションパラメータを簡易に算出できる。従って、指向性制御装置３は、全方位マイクアレイ装置２を基準として、ＰＴＺカメラ装置１の撮像画像データの中の指定位置Ａ’に対応する目的音源位置Ａに向かう収音方向への収音指向性を容易に形成でき、高精度に収音された収音方向の音声の音声データを容易に得ることができる。

（第１１の実施形態におけるキャリブレーション方法の変形例）
次に、第１１の実施形態の収音システム１０におけるキャリブレーション方法の変形例（以下、「本変形例」という）について、図８２〜図９１を参照して説明する。本変形例では、上述した収音方向座標の算出方法とは異なり、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２における各水平角の正面方向（０度方向）が対向せず、更に、異なる方向を指す。

具体的には、上述した収音方向座標の算出方法では、全方位マイクアレイ装置２からＰＴＺカメラ装置１を見た方向の水平角θ_ＭＣｈはゼロである。言い換えると、全方位マイクアレイ装置２のＸ軸方向（水平角の０度方向、図８２参照）のずれ量を示す水平角θ_ＭＣｈは０であったが、以下の本変形例では、この水平角θ_ＭＣｈはゼロではない場合について説明する。なお、以下の本変形例ではキャリブレーションパラメータの算出方法について説明し、キャリブレーションパラメータを用いた収音方向座標の算出方法は上述した第１１の実施形態と同様であるため、説明は割愛する。

（第１１のキャリブレーション方法に応じたキャリブレーションパラメータの算出方法）
第１１のキャリブレーション方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面（床面）からの高さＨ_Ｃ，Ｈ_Ｍは等しいが、Ｈ_Ｃ及びＨ_Ｍは既知でないとする。第１１のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨ_Ｃと、全方位マイクアレイ装置２の床からの高さＨ_Ｍと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θ_ＭＣｈである。

図８２（Ａ）は、第１１のキャリブレーション方法において用いられるキャリブレーション用床置きマーカＭＡＫ４の平面図である。図８２（Ｂ）は、ＰＴＺカメラ装置１のフォーカス機能による点Ｏ及び点Ｘの拡大画面である。図８２（Ａ）に示すキャリブレーション用床置きマーカＭＡＫ４は、例えばシート材を用いて構成される。シート材の中心点Ｏは、全方位マイクアレイ装置２の中心位置の鉛直下方向の直下に対応するように設置される。点Ｘは全方位マイクアレイ装置２の水平角の正面方向（０度方向）と一致するように設けられる。キャリブレーション用床置きマーカＭＡＫ４の中心点Ｏから点Ｘまでの距離（円の半径Ｒ_０）は既知（一定）値である。

ＰＴＺカメラ装置１は、ユーザの入力操作（例えばディスプレイ装置３６に対する指ＦＧのタッチ操作）に応じたＰＴＺカメラ装置１自身のフォーカス機能により、キャリブレーション用床置きマーカＭＡＫ４の点Ｏにピント合わせすることで、ＰＴＺカメラ装置１から点Ｏまでの距離Ｌ_ＣＯ、水平角θ_ＣＯｈ及び垂直角θ_ＣＯｖを算出する。また、ＰＴＺカメラ装置１は、ユーザの入力操作（例えばディスプレイ装置３６に対する指ＦＧのタッチ操作）に応じたＰＴＺカメラ装置１自身のフォーカス機能により、キャリブレーション用床置きマーカＭＡＫ４の点Ｘにピント合わせすることで、ＰＴＺカメラ装置１から点Ｘまでの距離Ｌ_ＣＸ、水平角θ_ＣＸｈ及び垂直角θ_ＣＸｖを算出する。ＰＴＺカメラ装置１の算出結果は、指向性制御装置３に送信される。

図８３（Ａ）は、第１１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図である。図８３（Ｂ）は、図８３（Ａ）の水平方向上面図である。図８３（Ｃ）は、図８３（Ｂ）のＫ−Ｋ’断面図である。図８４（Ａ）は、第１１のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図である。図８４（Ｂ）は、図８４（Ａ）の水平方向上面図である。図８４（Ｃ）は、図８４（Ｂ）のＬ−Ｌ’断面図である。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏ及び点Ｘ（図８２（Ｂ）参照）の２箇所がユーザの指ＦＧにより指定されると、キャリブレーション用床置きマーカＭＡＫ４の半径Ｒ_０と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏに向かう距離Ｌ_ＣＯ，垂直角θ_ＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘに向かう垂直角θ_ＣＸｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨ_Ｃと、全方位マイクアレイ装置２の床からの高さＨ_Ｍと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θ_ＭＣｈとを算出する。図８３（Ｂ）、図８３（Ｃ）、図８４（Ｂ）及び図８４（Ｃ）を参照して、収音方向算出部３４における水平方向の距離Ｌ_ＣＭｈと高さＨ_Ｍ，Ｈ_Ｃと水平角θ_ＭＣｈの算出方法を具体的に説明する。

収音方向算出部３４は、図８３（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏまでの距離Ｌ_ＣＯと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏに向かう垂直角θ_ＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈを数式（１４４）に従って算出し、ＰＴＺカメラ装置１の床からの高さＨ_Ｃを数式（１４５）に従って算出する。なお、キャリブレーション用床置きマーカＭＡＫ４は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されるので、ＰＴＺカメラ装置１とキャリブレーション用床置きマーカＭＡＫ４との間の水平方向の距離Ｌ_ＣＯｈは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと同じである（Ｌ_ＣＯｈ＝Ｌ_ＣＭｈ）。

また、収音方向算出部３４は、図８４（Ｃ）に示す△ＣＸＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘまでの距離Ｌ_ＣＸと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘに向かう垂直角θ_ＣＸｖとを用いて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘまでの水平方向の距離Ｌ_ＣＸｈを数式（１４６）に従って算出する。

収音方向算出部３４は、図８３（Ｂ）又は図８４（Ｂ）に示す△ＣＸＭにおける余弦定理により、数式（１４４）〜数式（１４６）の各算出結果を用いて、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θ_ＭＣｈを数式（１４７）に従って算出する。

以上により、本変形例の第１１のキャリブレーション方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏ及び点Ｘの２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの高さＨ_Ｃ，Ｈ_Ｍを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θ_ＭＣｈとをキャリブレーションパラメータとして簡易に算出できる。

これにより、全方位マイクアレイ装置２の水平角の正面方向（０度方向）が分かるので、指向性制御装置３は、１つの全方位マイクアレイ装置２に対して複数のＰＴＺカメラ装置１が設置された収音システムのシステム構成の場合でも、各ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間のキャリブレーションパラメータを同様に算出できる。従って、全方位マイクアレイ装置２をＰＴＺカメラ装置１の方に向けて設置する等、全方位マイクアレイ装置２の設置制限がなくなり、全方位マイクアレイ装置２の設置が容易になる。

（第１２のキャリブレーション方法に応じたキャリブレーションパラメータの算出方法）
第１２のキャリブレーション方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面（床面）からの高さＨ_Ｃ，Ｈ_Ｍが等しく、Ｈ_Ｃ及びＨ_Ｍは既知とする。第１２のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θ_ＭＣｈである。なお、ＰＴＺカメラ装置１の床からの高さＨ_Ｃは既知であるが、第１２のキャリブレーション方法により具体的に算出されても良い。なお、第１２のキャリブレーション方法の説明では、第１１のキャリブレーション方法の説明と同一の内容の説明は省略又は簡略化し、異なる内容について説明する。

図８５（Ａ）は、第１２のキャリブレーション方法において用いられるキャリブレーション用床置きマーカＭＡＫ４の平面図である。図８５（Ｂ）は、ＰＴＺカメラ装置１のフォーカス機能による点Ｏ及び点Ｘの拡大画面である。図８５（Ａ）に示すキャリブレーション用床置きマーカＭＡＫ４は図８２（Ａ）に示すキャリブレーション用床置きマーカＭＡＫ４と同一であるため、説明は割愛する。

図８６（Ａ）は、第１２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図である。図８６（Ｂ）は、図８６（Ａ）の水平方向上面図である。図８６（Ｃ）は、図８６（Ｂ）のＫ−Ｋ’断面図である。図８７（Ａ）は、第１２のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図である。図８７（Ｂ）は、図８７（Ａ）の水平方向上面図である。図８７（Ｃ）は、図８７（Ｂ）のＬ−Ｌ’断面図である。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏ及び点Ｘ（図８５（Ｂ）参照）の２箇所がユーザの指ＦＧにより指定されると、キャリブレーション用床置きマーカＭＡＫ４の半径Ｒ_０と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏに向かう距離Ｌ_ＣＯ，垂直角θ_ＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘに向かう垂直角θ_ＣＸｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θ_ＭＣｈとを算出する。図８６（Ｂ）、図８６（Ｃ）、図８７（Ｂ）及び図８７（Ｃ）を参照して、収音方向算出部３４における水平方向の距離Ｌ_ＣＭｈと水平角θ_ＭＣｈの算出方法を具体的に説明する。

収音方向算出部３４は、図８６（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏまでの距離Ｌ_ＣＯと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏに向かう垂直角θ_ＣＯｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈを数式（１４８）に従って算出する。なお、収音方向算出部３４は、数式（１４８）に従って、ＰＴＺカメラ装置１の床からの高さＨ_Ｃを算出しても良い。

また、収音方向算出部３４は、図８７（Ｃ）に示す△ＣＸＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘまでの距離Ｌ_ＣＸと、ＰＴＺカメラ装置１の水平面からの高さＨ_Ｃ（既知の値）又は数式（１４８）により算出されたＰＴＺカメラ装置１の水平面からの高さＨ_Ｃと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘに向かう垂直角θ_ＣＸｖとを用いて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘまでの水平方向の距離Ｌ_ＣＸｈを数式（１４９）に従って算出する。

収音方向算出部３４は、図８６（Ｂ）又は図８７（Ｂ）に示す△ＣＸＭにおける余弦定理により、数式（１４８）及び数式（１４９）の各算出結果を用いて、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θ_ＭＣｈを数式（１５０）に従って算出する。

以上により、本変形例の第１２のキャリブレーション方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏ及び点Ｘの２箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θ_ＭＣｈとをキャリブレーションパラメータとして簡易に算出できる。なお、第１２のキャリブレーション方法では、収音方向算出部３４は、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの高さＨ_Ｃ，Ｈ_Ｍが等しくない場合でも、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの高さＨ_Ｃ，Ｈ_Ｍを簡易に算出できる。

これにより、全方位マイクアレイ装置２の水平角の正面方向（０度方向）が分かるので、指向性制御装置３は、１つの全方位マイクアレイ装置２に対して複数のＰＴＺカメラ装置１が設置された収音システムのシステム構成の場合でも、各ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間のキャリブレーションパラメータを同様に算出できる。従って、全方位マイクアレイ装置２をＰＴＺカメラ装置１の方に向けて設置する等、全方位マイクアレイ装置２の設置制限がなくなり、全方位マイクアレイ装置２の設置が容易になる。

（第１３のキャリブレーション方法に応じたキャリブレーションパラメータの算出方法）
第１３のキャリブレーション方法では、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面（床面）からの高さＨ_Ｃ，Ｈ_Ｍは等しいが、Ｈ_Ｃ及びＨ_Ｍは既知でないとする。第１３のキャリブレーション方法におけるキャリブレーションパラメータは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨ_Ｃと、全方位マイクアレイ装置２の床からの高さＨ_Ｍと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θ_ＭＣｈである。なお、第１３のキャリブレーション方法の説明では、第１１のキャリブレーション方法の説明と同一の内容の説明は省略又は簡略化し、異なる内容について説明する。

図８８（Ａ）は、第１３のキャリブレーション方法において用いられるキャリブレーション用床置きマーカＭＡＫ４の平面図である。図８８（Ｂ）は、ＰＴＺカメラ装置１のフォーカス機能による点Ｏ、点Ｏ’及び点Ｘの拡大画面である。図８８（Ｂ）に示す点Ｏ’は、ＰＴＺカメラ装置１からの中心点Ｏまでの水平角θ_ＣＯｈと同一の水平角が得られる点であり、指向性制御装置３は、この同一の水平角が得られる箇所を視覚的に示すためにガイド線ＧＵＤ２をディスプレイ装置３６に表示している。

ＰＴＺカメラ装置１は、ユーザの入力操作（例えばディスプレイ装置３６に対する指ＦＧのタッチ操作）に応じたＰＴＺカメラ装置１自身のフォーカス機能により、キャリブレーション用床置きマーカＭＡＫ４の中心点Ｏにピント合わせすることで、ＰＴＺカメラ装置１から中心点Ｏまでの距離Ｌ_ＣＯ、水平角θ_ＣＯｈ及び垂直角θ_ＣＯｖを算出する。また、ＰＴＺカメラ装置１は、ユーザの入力操作（例えばディスプレイ装置３６に対する指ＦＧのタッチ操作）に応じたＰＴＺカメラ装置１自身のフォーカス機能により、キャリブレーション用床置きマーカＭＡＫ４の点Ｘにピント合わせすることで、ＰＴＺカメラ装置１から点Ｘまでの距離Ｌ_ＣＸ、水平角θ_ＣＸｈ及び垂直角θ_ＣＸｖを算出する。更に、ＰＴＺカメラ装置１は、ユーザの入力操作（例えばディスプレイ装置３６に対する指ＦＧのタッチ操作）に応じたＰＴＺカメラ装置１自身のフォーカス機能により、キャリブレーション用床置きマーカＭＡＫ４の点Ｏ’にピント合わせすることで、ＰＴＺカメラ装置１から点Ｏ’までの距離Ｌ_ＣＯ’、水平角θ_ＣＯ’ｈ及び垂直角θ_ＣＯ’ｖを算出する。ＰＴＺカメラ装置１の算出結果は、指向性制御装置３に送信される。

図８９（Ａ）は、第１３のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図である。図８９（Ｂ）は、図８９（Ａ）の水平方向上面図である。図８９（Ｃ）は、図８９（Ｂ）のＫ−Ｋ’断面図である。図９０（Ａ）は、第１３のキャリブレーション方法におけるＰＴＺカメラ装置１、全方位マイクアレイ装置２及びキャリブレーション用床置きマーカＭＡＫ４の位置関係を示す図である。図９０（Ｂ）は、図９０（Ａ）の水平方向上面図である。図９０（Ｃ）は、図９０（Ｂ）のＬ−Ｌ’断面図である。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏ、点Ｘ及び点Ｏ’の３箇所がユーザの指ＦＧにより指定されると、キャリブレーション用床置きマーカＭＡＫ４の半径Ｒ_０と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏに向かう垂直角θ_ＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘに向かう垂直角θ_ＣＸｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｏ’に向かう垂直角θ_ＣＯ’ｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨ_Ｃと、全方位マイクアレイ装置２の床からの高さＨ_Ｍと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θ_ＭＣｈとを算出する。図８９（Ｂ）、図８９（Ｃ）、図９０（Ｂ）及び図９０（Ｃ）を参照して、収音方向算出部３４における水平方向の距離Ｌ_ＣＭｈと高さＨ_Ｍ，Ｈ_Ｃと水平角θ_ＭＣｈの算出方法を具体的に説明する。

収音方向算出部３４は、図８９（Ｃ）に示す△ＣＯＭにおいて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏに向かう垂直角θ_ＣＯｖを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈとＰＴＺカメラ装置１の水平面からの高さＨ_Ｃとの関係式を数式（１５１）に従って求め、更に、キャリブレーション用床置きマーカＭＡＫ４の半径Ｒ_０とＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｏ’に向かう垂直角θ_ＣＯ’ｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈとＰＴＺカメラ装置１の水平面からの高さＨ_Ｃとの関係式を数式（１５２）に従って求める。なお、キャリブレーション用床置きマーカＭＡＫ４は全方位マイクアレイ装置２の所定位置から鉛直方向の真下の床上の位置に設置されるので、ＰＴＺカメラ装置１とキャリブレーション用床置きマーカＭＡＫ４との間の水平方向の距離Ｌ_ＣＯｈは、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと同じである（Ｌ_ＣＯｈ＝Ｌ_ＣＭｈ）。

収音方向算出部３４は、数式（１５１）及び数式（１５２）の各算出結果を用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈを数式（１５３）に従って算出し、ＰＴＺカメラ装置１の床からの高さＨ_Ｃを数式（１５４）に従って算出する。

また、収音方向算出部３４は、図９１（Ｃ）に示す△ＣＸＭにおいて、数式（１５４）の算出結果と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘに向かう垂直角θ_ＣＸｖとを用いて、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ４の点Ｘまでの水平方向の距離Ｌ_ＣＸｈを数式（１５５）に従って算出する。

収音方向算出部３４は、図８９（Ｂ）又は図９０（Ｂ）に示す△ＣＸＭにおける余弦定理により、数式（１５３）〜数式（１５５）の各算出結果を用いて、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θ_ＭＣｈを数式（１５６）に従って算出する。

以上により、本変形例の第１３のキャリブレーション方法では、収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ４の中心点Ｏ、点Ｏ’及び点Ｘの３箇所がユーザの指ＦＧにより指定されると、ＰＴＺカメラ装置１及び全方位マイクアレイ装置２の水平面からの高さＨ_Ｃ，Ｈ_Ｍを簡易に算出でき、更に、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θ_ＭＣｈとをキャリブレーションパラメータとして簡易に算出できる。

これにより、全方位マイクアレイ装置２の水平角の正面方向（０度方向）が分かるので、指向性制御装置３は、１つの全方位マイクアレイ装置２に対して複数のＰＴＺカメラ装置１が設置された収音システムのシステム構成の場合でも、各ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間のキャリブレーションパラメータを同様に算出できる。従って、全方位マイクアレイ装置２をＰＴＺカメラ装置１の方に向けて設置する等、全方位マイクアレイ装置２の設置制限がなくなり、全方位マイクアレイ装置２の設置が容易になる。

なお、第１３のキャリブレーション方法に用いたキャリブレーション用床置きマーカＭＡＫ４では、ユーザは、全方位マイクアレイ装置２の水平角の正面方向（０度方向）を示す点Ｘを予め規定する必要があった。しかし、点Ｘを予め規定するユーザの作業を省略し、ＰＴＺカメラ装置１の画像から、全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θ_ＭＣｈを読み取り、操作部３２から直接入力しても良い。

この場合には、ユーザは、図９１（Ａ）に示す角度メモリ付きのキャリブレーション用床置きマーカＭＡＫ５を用いる。図９１（Ａ）は、角度メモリ付きのキャリブレーション用床置きマーカＭＡＫ５の平面図である。図９１（Ｂ）は、ＰＴＺカメラ装置１のフォーカス機能による点Ｏ及び点Ｏ’の拡大画面である。なお、図９１（Ｂ）に示す点Ｏ及び点Ｏ’の位置は、図８８（Ｂ）に示す点Ｏ及び点Ｏ’と同一である。

収音方向算出部３４は、ディスプレイ装置３６に表示されたキャリブレーション用床置きマーカＭＡＫ５の中心点Ｏ、及び点Ｏ’の２箇所がユーザの指ＦＧにより指定され、さらに画像から読み取られた角度情報を、ユーザが操作部３２から入力すると、キャリブレーション用床置きマーカＭＡＫ５の半径Ｒ_０と、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ５の中心点Ｏに向かう垂直角θ_ＣＯｖと、ＰＴＺカメラ装置１からキャリブレーション用床置きマーカＭＡＫ５の点Ｏ’に向かう垂直角θ_ＣＯ’ｖとを用いて、ＰＴＺカメラ装置１と全方位マイクアレイ装置２との間の水平方向の距離Ｌ_ＣＭｈと、ＰＴＺカメラ装置１の床からの高さＨ_Ｃと、全方位マイクアレイ装置２の床からの高さＨ_Ｍを算出する。全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θ_ＭＣｈはユーザが操作部３２から入力した値である。。以下のキャリブレーションパラメータの算出方法は、第４の実施例におけるキャリブレーション方法の説明と同一であり、未知数となる全方位マイクアレイ装置２のＸ軸方向のずれ量を示す水平角θ_ＭＣｈは直接入力されるため、説明を省略する。

なお、本出願は、２０１３年２月１５日出願の日本特許出願（特願２０１３−０２８４０２）、２０１３年６月６日出願の日本特許出願（特願２０１３−１１９８５０）、２０１３年６月２０日出願の日本特許出願（特願２０１３−１２９９６４）、２０１３年７月２５日出願の日本特許出願（特願２０１３−１５４８６７）、２０１３年１０月１８日出願の日本特許出願（特願２０１３−２１７７０７）に基づくものであり、その内容は本出願の中に参照として援用される。

本発明は、カメラ装置とマイクアレイ装置とを一体的に用いる場合に、カメラ装置の撮像方向を示す座標の水平角とマイクアレイ装置の収音方向を示す座標の水平角との各基準方向を一致させるキャリブレーション方法として有用である。

１ ＰＴＺカメラ装置
１Ｚ、１Ａ、１Ｂ、１Ｃ 収音システム
２、２Ａ、２Ｂ、２Ｃ、２Ｄ マイクアレイ装置（全方位マイクアレイ装置）
３、３Ａ、３Ｂ、３Ｃ 指向性制御装置
３ｚ、３Ａ、３Ｃ、３Ｄ 全方位カメラ装置
４ レコーダ（レコーダ装置）
５、５Ａ、５Ｂ、５Ｃ 全方位マイクアレイ装置
７ 取付部材
７ａ、７ｂ 係止片
７ｃ、７ｄ 孔部
７ｅ ビス孔
８ 天井面
１０、１０Ａ 指向性制御システム（収音システム）
１１、１１ｎ カメラ装置
１１ｙ キー
１１ｚ 全方位カメラ装置
１３ 開口部
１５ キー溝
１７ 筐体
１８ マイクロホンユニット
２１ｚ、２３ｚ マーカ
２６ 加算部
３１、３１Ａ 通信部
３２ 操作部
３３、３３Ａ、３３Ｂ、３３Ｃ 信号処理部
３４ 収音方向算出部
３４ａ 音源高さ判定部
３４ｂ 収音指向方向算出部
３４ｃ 出力制御部
３４ｗ 水平偏差角算出部
３４ｘ 座標算出部
３４ｚ 座標変換処理部
３５ 出力制御部
３６ ディスプレイ装置
３７ スピーカ装置
３８、３８Ａ、３８Ｂ メモリ
６１ 冶具
６３ 目印
６１Ａ 冶具画像
６３Ａ 目印画像
７１ 係合孔
２２１、２２２、２２３、２２（ｎ−１）、２２ｎ マイクロホン
２４１、２４２、２４３、２４（ｎ−１）、２４ｎ Ａ／Ｄ変換器
２５１、２５２、２５３、２５（ｎ−１）、２５ｎ 遅延器
Ｃ１ キャリブレーション用全方位カメラ装置
ＣＦ１、ＣＦ２、ＣＦ３ 設定ファイル

Claims (5)

1. 所定の撮像範囲の映像を撮像するカメラ装置と、前記カメラ装置の撮像範囲の音声を収音するマイクアレイ装置とを同軸上に位置合わせする工程と、
   前記マイクアレイ装置の筐体中心に形成された開口部の周縁部に、前記カメラ装置を取り付ける工程と、
   前記開口部の内側への前記カメラ装置の取り付けにより、前記同軸に対して直交する平面における、前記カメラ装置及び前記マイクアレイ装置の各水平角の基準方向を一致させる工程と、を有する、
   キャリブレーション方法。
2. 請求項１に記載のキャリブレーション方法であって、
   前記一致させる工程では、
   前記開口部の周縁部に形成された係止溝に前記カメラ装置の筐体外周に形成された係止部材を嵌合させることで、前記マイクアレイ装置の水平角の基準方向と前記カメラ装置の水平角の基準方向とを一致させる、
   キャリブレーション方法。
3. 請求項１に記載のキャリブレーション方法であって、
   前記一致させる工程では、
   前記開口部の周縁部に付加された第１マーカ部と前記カメラ装置の筐体外周に付加された第２マーカ部とを対向させることで、前記マイクアレイ装置の水平角の基準方向と前記カメラ装置の水平角の基準方向とを一致させる、
   キャリブレーション方法。
4. 請求項１に記載のキャリブレーション方法であって、
   前記取り付ける工程では、
   前記カメラ装置の筐体が、所定の取付具に取り付けられ、
   前記マイクアレイ装置の筐体が、前記所定の取付具に取り付けられた前記カメラ装置の筐体を前記開口部の内側に嵌め入れるように挿通して前記所定の取付具に取り付けられる、
   キャリブレーション方法。
5. 所定の撮像範囲の映像を撮像するカメラ装置と、前記カメラ装置の撮像範囲の音声を収音するマイクアレイ装置とを同軸上に位置合わせする工程と、
   前記マイクアレイ装置の筐体中心に形成された開口部の周縁部に、前記カメラ装置を取り付ける工程と、
   前記マイクアレイ装置の水平角の基準方向を表す冶具を、前記マイクアレイ装置の筐体の対向する両端部に取り付ける工程と、
   前記カメラ装置により、前記冶具を撮像する工程と、
   前記冶具の撮影画像を基に、前記カメラ装置の水平角の基準方向と前記マイクアレイ装置の水平角の基準方向とのズレ量を算出する工程と、
   算出された前記ズレ量を用いて、前記マイクアレイ装置の収音方向の水平角を調整することで、前記同軸に対して直交する平面における、前記カメラ装置及び前記マイクアレイ装置の各水平角の基準方向を一致させる工程と、を有する、
   キャリブレーション方法。

Images