以下、本発明に係る指向性制御装置、指向性制御方法、記憶媒体及び指向性制御システムの各実施形態について、図面を参照して説明する。各実施形態の指向性制御システムは、例えば工場、公共施設(例えば図書館、イベント会場)、又は店舗(例えば小売店、銀行)に設置される監視システム(有人監視システム及び無人監視システムを含む)として用いられる。
なお、本発明は、コンピュータである指向性制御装置に、指向性制御方法により規定される動作を実行させるためのプログラム、又は指向性制御方法により規定される動作をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体として表現することも可能である。
(第1の実施形態)
図1は、第1の実施形態の指向性制御システム100,100Aの動作概要を示す説明図である。図2は、第1の実施形態の指向性制御システム100の第1のシステム構成例を示すブロック図である。図3は、第1の実施形態の指向性制御システム100Aの第2のシステム構成例を示すブロック図である。
指向性制御システム100,100Aの具体的な構成については後述し、先ず指向性制御システム100,100Aの動作概要について、図1を参照して簡単に説明する。
図1では、カメラ装置C1は、例えば監視システムとして使用される指向性制御システム100,100Aの監視対象物(例えば人物HM1)を撮像し、撮像により得られた画像のデータを、ネットワークNWを介して接続された指向性制御装置3に送信する。
本実施形態を含む各実施形態では、人物HM1は、静止しても良いし移動しても良いが移動するものとして説明する。人物HM1は、例えばトラッキング時刻t1においてトラッキング位置A1(x1,y1,z0)から、トラッキング時刻t2までにトラッキング位置A2(x2,y2,z0)に移動する。
ここで、トラッキングポイントとは、移動する人物HM1がカメラ装置C1により撮像された画像がディスプレイ装置35のトラッキング画面TRWに表示された場合に、ユーザがトラッキング画面TRW上で人物HM1を指定した位置(即ち、トラッキング画面TRW上の位置)である。トラッキングポイントには、トラッキング位置及びトラッキング時刻のデータが対応付けられる(例えば後述する図16(B)参照)。トラッキング位置は、人物HM1が指定されたトラッキング画面TRW上の位置に対応する実空間上の位置を示す3次元座標である。
また、トラッキング画面TRWとは、カメラ装置(例えばカメラ装置C1)により撮像された画像がディスプレイ装置35に表示された画面(以下、「カメラ画面」という)のうち、例えば人物HM1が音声トラッキング処理(後述参照)の対象となる監視対象物として映し出されている画面を示す。以下の各実施形態において、人物HM1等が監視対象物として映し出されていない画面をカメラ画面と記載し、監視対象物として映し出されている画面をトラッキング画面と記載し、特に説明が無い限り、カメラ画面とトラッキング画面とを区別して記載する。
なお図1では、説明を簡単にするために、同一の人物HM1が移動することを想定して説明するため、トラッキングポイントTP1,TP2におけるトラッキング位置のz座標は同じとする。更に、人物HM1がトラッキング位置A1からトラッキング位置A2に移動してもカメラ装置C1により撮像されるが、カメラ装置C1は、人物HM1の移動に追従して人物HM1の撮像を継続しても良いし、撮像を中止しても良い。
全方位マイクアレイ装置M1は、人物HM1の発する音声を収音し、ネットワークNWを介して接続された指向性制御装置3に、収音音声のデータを送信する。
指向性制御装置3は、監視対象物としての人物HM1がトラッキング位置A1に静止している場合には、全方位マイクアレイ装置M1からトラッキング位置A1への指向方向に、収音音声の指向性を形成する。また、指向性制御装置3は、人物HM1がトラッキング位置A1からトラッキング位置A2に移動した場合には、全方位マイクアレイ装置M1からトラッキング位置A2への指向方向に、収音音声の指向性を切り替えて形成する。
言い換えると、指向性制御装置3は、監視対象物としての人物HM1のトラッキング位置A1からトラッキング位置A2への移動に伴って、全方位マイクアレイ装置M1からトラッキング位置A1への方向から、全方位マイクアレイ装置M1からトラッキング位置A2への方向に収音音声の指向性を追従制御する、即ち音声トラッキング処理を行う。
図2に示す指向性制御システム100は、1つ以上のカメラ装置C1,…,Cnと、1つ以上の全方位マイクアレイ装置M1,…,Mmと、指向性制御装置3と、レコーダ装置4とを含む構成である。n,mは1以上の整数であり、同数でも良いし異数でも良く、以下の各実施形態でも同様である。
カメラ装置C1,…,Cnと、全方位マイクアレイ装置M1,…,Mmと、指向性制御装置3と、レコーダ装置4とは、ネットワークNWを介して相互に接続されている。ネットワークNWは、有線ネットワーク(例えばイントラネット、インターネット)でも良いし、無線ネットワーク(例えば無線LAN(Local Area Network)、WiMAX(登録商標)、無線WAN(Wide Area Network))でも良い。以下の本実施形態では、説明を簡単にするために、1つのカメラ装置C1及び全方位マイクアレイ装置M1が設けられた構成として説明する。
以下、指向性制御システム100を構成する各装置について説明する。なお、本実施形態を含む各実施形態では、カメラ装置C1の筐体と全方位マイクアレイ装置M1の筐体とは異なる位置に別体として取り付けられるが、カメラ装置C1の筐体と全方位マイクアレイ装置M1の筐体とは同一の位置に一体的に取り付けられても良い。
撮像部の一例としてのカメラ装置C1は、例えばイベント会場の天井面に固定して設置され、監視システムにおける監視カメラとしての機能を有し、ネットワークNWに接続された監視制御室(不図示)からの遠隔操作によって、所定の収音エリア(例えばイベント会場内の既定領域)において、カメラ装置C1の所定画角内の映像を撮像する。なお、カメラ装置C1は、PTZ機能を有するカメラでも良いし、全方位を撮像可能なカメラでも良い。なお、カメラ装置C1は、全方位を撮像可能なカメラである場合には、収音エリアの全方位の映像を示す画像データ(即ち、全方位画像データ)、又は全方位画像データに所定の歪み補正処理を施してパノラマ変換して生成した平面画像データを、ネットワークNWを介して指向性制御装置3又はレコーダ装置4に送信する。
カメラ装置C1は、ディスプレイ装置35に表示された画像データの中で、任意の位置がカーソルCSR又はユーザの指FGにより指定されると、画像データ中の指定位置の座標データを指向性制御装置3から受信し、カメラ装置1から、指定位置に対応する実空間上の音声位置(以下、単に「音声位置」と略記する)までの距離、方向(水平角及び垂直角を含む。以下同様。)のデータを算出して指向性制御装置3に送信する。なお、カメラ装置C1における距離、方向のデータ算出処理は公知技術であるため、説明は省略する。
収音部の一例としての全方位マイクアレイ装置M1は、例えばイベント会場の天井面に固定して設置され、複数のマイクロホンユニット22,23(図36(A)〜(E)参照)が均等な間隔で設けられたマイクロホン部と、マイクロホン部の各マイクロホンユニット22,23の動作を制御するCPU(Central Processing Unit)とを少なくとも含む構成である。
全方位マイクアレイ装置M1は、電源がONされると、マイクロホンユニット内のマイク素子により収音された音声の音声データに所定の音声信号処理(例えば増幅処理、フィルタ処理、加算処理)を施し、所定の音声信号処理により得られた音声データを、ネットワークNWを介して、指向性制御装置3又はレコーダ装置4に送信する。
ここで、全方位マイクアレイ装置M1の筐体の外観について、図36(A)〜(E)を参照して説明する。図36(A)〜(E)は、全方位マイクアレイ装置M1の筐体の外観図である。図36(A)〜(E)に示す全方位マイクアレイ装置M1C,M1A,M1B,M1,M1Dは、外観及び複数のマイクロホンユニットの配置位置が異なるが、全方位マイクアレイ装置の機能は同等である。
図36(A)に示す全方位マイクアレイ装置M1Cは、円盤状の筐体21を有する。筐体21には、複数のマイクロホンユニット22,23が同心円状に配置されている。具体的には、複数のマイクロホンユニット22が、筐体21と同一の中心を有する同心円状に且つ筐体21の円周に沿って配置され、複数のマイクロホンユニット23が、筐体21と同一の中心を有する同心円状に且つ筐体21の内側に配置されている。各々のマイクロホンユニット22は、互いの間隔が広く、直径が大きく、低い音域に適した特性を有する。一方、各々のマイクロホンユニット23は、互いの間隔が狭く、直径が小さく、高い音域に適した特性を有する。
図36(B)に示す全方位マイクアレイ装置M1Aは、円盤状の筐体21を有する。筐体21には、複数のマイクロホンユニット22が、均等な間隔で縦方向と横方向の2方向に沿って十字状に配置され、縦方向の配列と横方向の配列とが筐体21の中心において交わっている。全方位マイクアレイ装置M1Aは、複数のマイクロホンユニット22が縦方向と横方向の2方向に直線的に配置されているので、音声データの指向性を形成する場合の演算量を低減できる。なお、図36(B)に示す全方位マイクアレイ装置M1Aにおいて、縦方向又は横方向の1列だけに、複数のマイクロホンユニット22が配置されても良い。
図36(C)に示す全方位マイクアレイ装置M1Bは、図36(A)に示す全方位マイクアレイ装置M1Cに比べ、直径の小さい円盤状の筐体21Bを有する。筐体21Bには、複数のマイクロホンユニット22が、筐体21Bの円周に沿って均等な間隔で配置されている。図36(C)に示す全方位マイクアレイ装置M1Bは、各々のマイクロホンユニット22の間隔が短いので、高い音域に適した特性を有する。
図36(D)に示す全方位マイクアレイ装置M1は、筐体21Cの中心に所定の直径を有する開口部21aが形成されたドーナツ型形状又はリング型形状の筐体21Cを有する。本実施形態の指向性制御システム100,100Aでは、例えば図36(D)に示す全方位マイクアレイ装置M1が用いられる。筐体21Cでは、複数のマイクロホンユニット22が、筐体21Cの円周方向に沿って、均等な間隔で同心円状に配置されている。
図36(E)に示す全方位マイクアレイ装置M1Dは、矩形状の筐体21Dを有する。筐体21Dには、複数のマイクロホンユニット22が、筐体21Dの外周に沿って均等な間隔で配置されている。図36(E)に示す全方位マイクアレイ装置M1Dでは、筐体21Dが矩形形状であるため、例えばコーナー又は壁面においても全方位マイクアレイ装置M1Dの設置を簡易化できる。
全方位マイクアレイ装置M1の各マイクロホンユニット22,23は、無指向性マイクロホンでも良いし、双指向性マイクロホン、単一指向性マイクロホン、鋭指向性マイクロホン、超指向性マイクロホン(例えばガンマイク)又はこれらの組み合わせでも良い。
指向性制御装置3,3Aは、例えば監視制御室(不図示)に設置される据置型のPC(Personal Computer)でも良いし、ユーザが携帯可能な携帯電話機、PDA(Personal Digital Assistant)、タブレット端末、スマートフォン等のデータ通信端末でも良い。
指向性制御装置3は、通信部31と、操作部32と、メモリ33と、信号処理部34と、ディスプレイ装置35と、スピーカ装置36とを少なくとも含む構成である。信号処理部34は、指向方向算出部34aと、出力制御部34bと、トラッキング処理部34cとを少なくとも含む。
通信部31は、カメラ装置C1から送信された画像データ又は全方位マイクアレイ装置M1から送信された音声データを受信して信号処理部34に出力する。
操作部32は、ユーザの入力操作を信号処理部34に通知するためのユーザインターフェース(UI:User Interface)であり、例えばマウス、キーボード等のポインティングデバイスである。また、操作部32は、例えばディスプレイ装置35の表示画面に対応して配置され、ユーザの指FG又はスタイラスペンによる入力操作を検出可能なタッチパネルを用いて構成されても良い。
操作部32は、ディスプレイ装置35に表示された画像データ(即ち、カメラ装置C1により撮像された画像データ)の中で、ユーザのマウス操作によるカーソルCSR又はユーザの指FGにより指定された指定位置の座標データを信号処理部34に出力する。
メモリ33は、例えばRAM(Random Access Memory)を用いて構成され、指向性制御装置3の各部の動作時のワークメモリとして機能する。また、画像記憶部又は音声記憶部の一例としてのメモリ33は、例えばハードディスク又はフラッシュメモリを用いて構成され、レコーダ装置4において記憶されている画像データ又は音声データ、即ち、一定期間にわたってカメラ装置C1により撮像された画像データ又は全方位マイクアレイ装置M1により収音された音声データを記憶している。
また、指定リスト記憶部の一例としてのメモリ33は、ディスプレイ装置35に表示された画像データのトラッキング画面TRW上の全ての指定位置及び指定時刻(後述参照)のデータを含む指定リストの一例としてのトラッキングリストLST(例えば図16(B)参照)のデータを記憶する。
信号処理部34は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成され、指向性制御装置3の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算(計算)処理及びデータの記憶処理を行う。
指向方向算出部34aは、指向方向座標(θMAh,θMAv)の算出時では、ユーザのマウス操作によるカーソルCSR又はユーザの指FGにより指定された画像データの指定位置の座標データを操作部32から取得すると、通信部31からカメラ装置C1に座標データを送信させる。指向方向算出部34aは、カメラ装置1の設置位置から、画像データの指定位置に対応する実空間上の音声(音源)位置までの距離、方向のデータを、通信部31から取得する。
指向方向算出部34aは、カメラ装置C1の設置位置から、音声位置までの距離、方向のデータを用いて、全方位マイクアレイ装置M1の設置位置から音声位置に向かう指向方向座標(θMAh,θMAv)を算出する。
また、本実施形態のように、カメラ装置C1の筐体と全方位マイクアレイ装置M1の筐体とが離れて別体として取り付けられている場合には、指向方向算出部34aは、事前に算出された所定のキャリブレーションパラメータのデータと、カメラ装置C1から音声位置(音源位置)までの方向(水平角,垂直角)のデータとを用いて、全方位マイクアレイ装置M1から音声位置(音源位置)までの指向方向座標(θMAh,θMAv)を算出する。なお、キャリブレーションとは、指向性制御装置3の指向方向算出部34aが指向方向座標(θMAh,θMAv)を算出するために必要となる所定のキャリブレーションパラメータを算出又は取得する動作であり、具体的なキャリブレーション方法及びキャリブレーションパラメータの内容は特に限定されず、例えば公知技術の範囲で実現可能である。
また、カメラ装置C1の筐体を囲むように全方位マイクアレイ装置M1の筐体が一体的に取り付けられている場合には、カメラ装置C1から音声位置(音源位置)までの方向(水平角,垂直角)を、全方位マイクアレイ装置2から音声位置までの指向方向座標(θMAh,θMAv)として用いることができる。
ここで、指向方向座標(θMAh,θMAv)のうち、θMAhは全方位マイクアレイ装置2の設置位置から音声位置に向かう指向方向の水平角を示し、θMAvは全方位マイクアレイ装置2の設置位置から音声位置に向かう指向方向の垂直角を示す。以下の説明では、説明を簡単にするために、カメラ装置C1及び全方位マイクアレイ装置M1の各水平角の基準方向(0度方向)が一致するとする。
出力制御部34bは、ディスプレイ装置35及びスピーカ装置36の動作を制御する。例えば、表示制御部の一例としての出力制御部34bは、例えばユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、カメラ装置C1から送信された画像データをディスプレイ装置35に表示させる。音声出力制御部の一例としての出力制御部34bは、全方位マイクアレイ装置2から送信された音声データ、又は一定期間にわたって全方位マイクアレイ装置M1により収音された音声データをレコーダ装置4から取得した場合には、例えばユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、音声データをスピーカ装置36に出力させる。
また、画像再生部の一例としての出力制御部34bは、一定期間にわたってカメラ装置C1により撮像された画像データをレコーダ装置4から取得した場合には、例えばユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、画像データをディスプレイ装置35に再生させる。
また、指向性形成部の一例としての出力制御部34bは、全方位マイクアレイ装置2から送信された音声データ又はレコーダ装置4から取得した音声データを用いて、指向方向算出部34aにより算出された指向方向座標(θMAh,θMAv)が示す指向方向に、全方位マイクアレイ装置2により収音された音声(収音音声)の指向性(ビーム)を形成する。
これにより、指向性制御装置3は、指向性が形成された指向方向に存在する監視対象物(例えば人物HM1)の発する音声の音量レベルを相対的に増大でき、指向性が形成されない方向の音声を抑圧して音量レベルを相対的に低減できる。
情報取得部の一例としてのトラッキング処理部34cは、上述した音声トラッキング処理に関する情報を取得する。例えば、トラッキング処理部34cは、カメラ装置C1により撮像された画像データが表示されたディスプレイ装置35のトラッキング画面TRW上において、例えばユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて新たな位置が指定された場合には、新たに指定された位置に関する情報を取得する。
ここで、新たに指定された位置に関する情報には、トラッキング画面TRW上で指定された画像データ上の位置を示す座標情報以外に、新たに指定された時刻(指定時刻)、指定時刻に指定された画像データ上の位置に対応する実空間上の監視対象物(例えば人物HM1)が存在する音声位置(音源位置)の座標情報、又は全方位マイクアレイ装置M1からその音声位置(音源位置)までの距離情報が含まれる。
また、再生時刻算出部の一例としてのトラッキング処理部34cは、メモリ33に記憶されたトラッキングリストLSTのデータを用いて、例えばユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、指定された動線上の位置における音声の再生時刻を算出する(後述参照)。
表示部の一例としてのディスプレイ装置35は、例えばLCD(Liquid Crystal Display)又は有機EL(Electroluminescence)を用いて構成され、出力制御部34bの制御の下で、カメラ装置C1により撮像された画像データを表示する。
音声出力部の一例としてのスピーカ装置36は、全方位マイクアレイ装置M1により収音された音声の音声データ、又は指向方向座標(θMAh,θMAv)が示す指向方向に指向性が形成された音声データを出力する。なお、ディスプレイ装置35及びスピーカ装置36は、指向性制御装置3とは別の構成としても良い。
レコーダ装置4は、カメラ装置C1により撮像された画像データと、全方位マイクアレイ装置M1により収音された音声の音声データとを対応付けて記憶している。
図3に示す指向性制御システム100Aは、1つ以上のカメラ装置C1,…,Cnと、1つ以上の全方位マイクアレイ装置M1,…,Mmと、指向性制御装置3Aと、レコーダ装置4とを含む構成である。図3では、図2の各部と同一の構成及び動作のものには同一の符号を付して説明を簡略化又は省略し、異なる内容について説明する。
指向性制御装置3Aは、通信部31と、操作部32と、メモリ33と、信号処理部34Aと、ディスプレイ装置35と、スピーカ装置36と、画像処理部37とを少なくとも含む構成である。信号処理部34Aは、指向方向算出部34aと、出力制御部34bと、トラッキング処理部34cと、音源検出部34dとを少なくとも含む。
音源検出部34dは、ディスプレイ装置35に表示されている画像データから、監視対象物である人物HM1の発した音声に対応する実空間上の音声位置(音源位置)を検出する。例えば、音源検出部34dは、全方位マイクアレイ装置M1の収音エリアを複数の格子状エリアに分割し、全方位マイクアレイ装置M1から各格子状エリアの中心位置に対して指向性が形成された音声の強さ又は音量レベルを計測する。音源検出部34dは、全ての格子状エリアの中で、最も音声の強さ又は音量レベルが高い格子状エリアに音源が存在すると推定する。音源検出部34dの検出結果には、例えば全方位マイクアレイ装置M1から最も音声の強さ又は音量レベルが高い格子状エリアの中心位置までの距離情報が含まれる。
画像処理部37は、信号処理部34の指示に応じて、ディスプレイ装置35に表示された画像データに対して所定の画像処理(例えば人物HM1の動きを検出するためのVMD(Video Motion Detector)処理、人物の顔及び顔の向きの検出処理、人物検出処理)を行い、画像処理結果を信号処理部34に出力する。
また、画像処理部37は、例えばユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、ディスプレイ装置35に表示された監視対象物(例えば人物HM1)の顔の輪郭DTLを検出し、顔にマスキング処理を施す。具体的には、画像処理部37は、検出された顔の輪郭DTLを包含する矩形領域を算出し、矩形領域内に所定のぼかしを入れる処理を行う(図22(C)参照)。図22(C)は、検出された人物の顔の輪郭DTL内にぼかしを入れる処理の説明図である。画像処理部37は、ぼかしを入れる処理により生成された画像データを信号処理部34に出力する。
図37は、全方位マイクアレイ装置M1が角度θの方向に音声データの指向性を形成する遅延和方式の簡単な説明図である。説明を分かり易くするため、マイク素子221〜22nは直線上に配列しているとする。この場合、指向性は面内の二次元領域となるが、三次元空間において指向性を形成するためには、マイクロホンを二次元配列にして、同じ処理方法を行えば良い。
音源80から発した音波は、全方位マイクアレイ装置M1のマイクロホンユニット22,23に内蔵される各マイク素子221,222,223,…,22(n−1),22nに対し、ある一定の角度(入射角=(90−θ)[度])で入射する。
音源80は、例えば全方位マイクアレイ装置M1の指向方向に存在する監視対象物(例えば人物HM1)であり、全方位マイクアレイ装置M1の筐体21の面上に対し、所定角度θの方向に存在する。また、各マイク素子221,222,223,…,22(n−1),22n間の間隔dは一定とする。
音源80から発した音波は、最初にマイク素子221に到達して収音され、次にマイク素子222に到達して収音され、同様に次々に収音され、最後にマイク素子22nに到達して収音される。
なお、全方位マイクアレイ装置M1の各マイク素子221,222,223,…,22(n−1),22nの位置から音源80に向かう方向は、例えば音源80が監視対象物(例えば人物HM1)の発する音声である場合に、全方位マイクアレイ装置2の各マイクロホン(マイク素子)から、ユーザがディスプレイ装置35上において指定した指定位置に対応する音声位置(音源位置)に向かう方向と同じである。
ここで、音波がマイク素子221,222,223,…,22(n−1)の順に到達した時刻から最後のマイク素子22nに到達した時刻までには、到達時間差τ1,τ2,τ3,…,τ(n−1)が生じる。このため、各々のマイク素子221,222,223,…,22(n−1),22nが収音した音声の音声データがそのまま加算された場合には、位相がずれた状態で加算されるため、音波の音量レベルが全体的に弱め合う。
なお、τ1は音波がマイク素子221に到達した時刻と音波がマイク素子22nに到達した時刻との差分の時間であり、τ2は音波がマイク素子222に到達した時刻と音波がマイク素子22nに到達した時刻との差分の時間であり、同様に、τ(n−1)は音波がマイク素子22(n−1)に到達した時刻と音波がマイク素子22nに到達した時刻との差分の時間である。
本実施形態では、全方位マイクアレイ装置M1は、マイク素子221,222,223,…,22(n−1),22n毎に対応して設けられたA/D変換器241,242,243,…,24(n−1),24nと、遅延器251,252,253,…,25(n−1),25nと、加算器26と、を有する構成である(図37参照)。
即ち、全方位マイクアレイ装置M1は、各マイク素子221,222,223,…,22(n−1),22nが収音したアナログの音声データを、A/D変換器241,242,243,…,24(n−1),24nにおいてデジタルの音声データにAD変換する。
更に、全方位マイクアレイ装置M1は、遅延器251,252,253,…,25(n−1),25nにおいて、各々のマイク素子221,222,223,…,22(n−1),22nにおける到達時間差に対応する遅延時間を与えて全ての音波の位相を揃えた後、加算器26において遅延処理後の音声データを加算する。これにより、全方位マイクアレイ装置M1は、各マイク素子221,222,223,…,22(n−1),22nに、所定角度θの方向に音声データの指向性を形成できる。
例えば図37では、遅延器251,252,253,…,25(n−1),25nに設定された各遅延時間D1,D2,D3,…,D(n−1),Dnは、それぞれ到達時間差τ1,τ2,τ3,…,τ(n−1)に相当し、数式(1)により示される。
L1は、マイク素子221とマイク素子22nとにおける音波到達距離の差である。L2は、マイク素子222とマイク素子22nとにおける音波到達距離の差である。L3は、マイク素子223とマイク素子22nとにおける音波到達距離の差であり、同様に、L(n−1)は、マイク素子22(n−1)とマイク素子22nとにおける音波到達距離の差である。Vsは音波の速度(音速)である。L1,L2,L3,…,L(n−1),Vsは既知の値である。図37では、遅延器25nに設定される遅延時間Dnは0(ゼロ)である。
このように、全方位マイクアレイ装置M1は、遅延器251,252,253,…,25(n−1),25nに設定される遅延時間D1,D2,D3,…,Dn−1,Dnを変更することで、マイクロホンユニット22,23に内蔵された各々のマイク素子221,222,223,…,22(n−1),22nが収音した音声の音声データの指向性を簡易に形成できる。
なお、図37に示す指向性の形成処理の説明は、説明を簡単にするために全方位マイクアレイ装置2が行うことを前提として記載し、他の全方位マイクアレイ装置(例えば全方位マイクアレイ装置Mm)にも同様に適用可能である。但し、指向性制御装置3、3Aの信号処理部34,34Aの出力制御部34bが全方位マイクアレイ装置M1のマイクロホンの数と同数のAD変換器241〜24n及び遅延器251〜25nと1つの加算器26とを有する構成である場合には、指向性制御装置3,3Aの信号処理部34,34Aの出力制御部34bが、全方位マイクアレイ装置M1の各マイク素子により収音された音声の音声データを用いて、図37に示す指向性の形成処理を行っても良い。
(各種モード、各種方法の説明)
ここで、本実施形態を含む各実施形態において共通する各種モード及び各種方法について、詳細に説明する。
本実施形態を含む各実施形態では、次のような各種モード及び各種方法が存在する。それぞれについて簡単に説明する。
(1)録画再生モード:オン/オフ
(2)トラッキングモード:オン/オフ
(3)トラッキング処理方法:手動/自動
(4)トラッキング対象数:シングル/マルチ
(5)手動指定方法:クリック操作/ドラッグ操作
(6)スロー再生モード:オン/オフ
(7)拡大表示モード:オン/オフ
(8)音声プライバシー保護モード:オン/オフ
(9)画像プライバシー保護モード:オン/オフ
(10)結線モード:都度/一括
(11)補正モード:オン/オフ
(12)複数カメラ切替方法:自動/手動
(13)複数マイク切替方法:自動/手動
(14)トラッキングポイントの上限設定モード:オン/オフ
(1)録画再生モードとは、例えば一定期間にわたってカメラ装置C1により撮像された映像の画像データを、撮像後のある時点でユーザ(例えば監視者。以下同様)が内容確認等のために再生する場合に使用される。なお、録画再生モードがオフである場合、カメラ装置C1がリアルタイムに撮像している映像の画像データがディスプレイ装置35に表示される。
(2)トラッキングモードとは、監視対象物(例えば人物HM1)の移動に伴って、全方位マイクアレイ装置M1により収音された音声の指向性の追従制御(音声トラッキング処理)を行う場合に使用される。
(3)トラッキング処理方法とは、監視対象物(例えば人物HM1)の移動により、全方位マイクアレイ装置M1により収音された音声の指向性の追従制御(音声トラッキング処理)を行う場合に監視対象物の位置(例えばディスプレイ装置35のトラッキング画面TRW上の指定位置、又は実空間上の位置)を設定する方法であり、手動トラッキング処理と自動トラッキング処理とに分かれる。それぞれの詳細については後述する。
(4)トラッキング対象数とは、全方位マイクアレイ装置M1により収音された音声の指向性の追従制御(音声トラッキング処理)を行う対象となる監視対象物の数を示し、例えば人物であれば1人又は複数人である。
(5)手動指定方法とは、手動トラッキング処理(後述参照)において、トラッキング画面TRW上においてユーザがトラッキングポイントを指定する場合の方法を示し、例えばマウス操作によるカーソルCSRのクリック操作又はドラッグ操作、ユーザの指FGによるタッチ操作又はタッチスライド操作が該当する。
(6)スロー再生モードとは、録画再生モードがオンであることを前提に、ディスプレイ装置35において再生される画像データの再生速度が初期値(例えば通常値)よりも小さい速度値で再生される場合に使用される。
(7)拡大表示モードとは、ディスプレイ装置35のトラッキング画面TRW上に表示された監視対象物(例えば人物HM1)を拡大表示させる場合に使用される。
(8)音声プライバシー保護モードとは、全方位マイクアレイ装置M1により収音された音声データがスピーカ装置36において出力される際、出力される音声が誰であるかの特定を困難にするための音声処理(例えばボイスチェンジ処理)が行われる場合に使用される。
(9)画像プライバシー保護モードとは、拡大表示モードがオンである場合に、ディスプレイ装置35のトラッキング画面TRW上に表示された監視対象物(例えば人物HM1)が誰であるかの特定を困難にするための画像処理が行われる場合に使用される。
(10)結線モードとは、監視対象物の移動過程において手動指定又は自動指定によりトラッキング画面TRW上で指定された指定位置(例えば後述するポイントマーカMR1参照)同士を結線する場合に使用される。結線モードが都度であれば、監視対象物の移動過程において指定位置が指定される度に、隣接するポイントマーカ同士が結線される。結線モードが一括であれば、監視対象物の移動過程において得られた全ての指定位置に対応するポイントマーカが隣接するポイントマーカとの間において一括で結線される。
(11)補正モードとは、自動トラッキング処理において自動指定された指定位置が監視対象物の移動過程から外れている場合等において、自動トラッキング処理から手動トラッキング処理に切り替える場合に使用される。
(12)複数カメラ切替方法とは、複数のカメラ装置C1〜Cnのうち、監視対象物の画像の撮像に用いるカメラ装置を切り替える場合に使用される。複数カメラ切替方法の詳細については第2の実施形態において説明する。
(13)複数マイク切替方法とは、複数の全方位マイクアレイ装置M1〜Mmのうち、監視対象物の発する音声の収音に用いる全方位マイクアレイ装置を切り替える場合に使用される。複数マイク切替方法の詳細については第2の実施形態において説明する。
(14)トラッキングポイントの上限設定モードとは、トラッキングポイントの上限値が設定される場合に使用される。例えばトラッキングポイントの上限設定モードがオンである場合には、トラッキングポイントの数が上限値に到達すると、トラッキング処理部34cは、全てのトラッキングポイントをリセット(消去)しても良いし、トラッキングポイントの数が上限値に達したことをトラッキング画面TRW上に表示させても良い。また、トラッキングポイントの数が上限値に達するまでであれば、複数回の音声トラッキング処理も実行可能である。
なお、上述した(1)〜(14)の各種モード又は各種方法を指定するためには、例えば監視システム用のアプリケーション(不図示)における所定の設定ボタン若しくは設定メニュー、トラッキング画面TRW上に表示される設定ボタン若しくは設定メニューに対し、ユーザのマウス操作によるカーソルCSRのクリック操作又はユーザの指FGによるタッチ操作によって決められる。
次に、指向性制御装置3,3Aにおける手動トラッキング処理の操作例について、図4を参照して説明する。図4は、手動トラッキング処理の操作例を示す説明図である。
図4では、ディスプレイ装置35に表示されたトラッキング画面TRW上に、監視対象物としての人物HM1の移動過程が示され、例えばユーザのマウス操作によるカーソルCSRのクリック操作又はドラッグ操作により、3つのトラッキングポイントb1,b2,b3が指定されている。
トラッキング処理部34cは、カーソルCSRがトラッキングポイントb1を指定したトラッキング時刻t1、トラッキングポイントb2を指定したトラッキング時刻t2、トラッキングポイントb3を指定したトラッキング時刻t3の情報を取得する。また、トラッキング処理部34cは、トラッキングポイントb1のトラッキング画面TRW上の座標情報又はこの座標情報に対応する実空間上の位置を示す3次元座標とトラッキング時刻t1の情報とを対応付けてメモリ33に保存する。また、トラッキング処理部34cは、トラッキングポイントb2のトラッキング画面TRW上の座標情報又はこの座標情報に対応する実空間上の位置を示す3次元座標とトラッキング時刻t2の情報とを対応付けてメモリ33に保存する。また、トラッキング処理部34cは、トラッキングポイントb3のトラッキング画面TRW上の座標情報又はこの座標情報に対応する実空間上の位置を示す3次元座標とトラッキング時刻t3の情報とを対応付けてメモリ33に保存する。
出力制御部34bは、トラッキング画面TRW上のトラッキングポイントb1にポイントマーカMR1を表示させ、トラッキング画面TRW上のトラッキングポイントb2にポイントマーカMR2を表示させ、更に、トラッキング画面TRW上のトラッキングポイントb3にポイントマーカMR3を表示させる。これにより、出力制御部34bは、移動中の人物HM1が通過したトラッキングポイントを軌跡としてトラッキング画面TRW上に明示的に示すことができる。
また、出力制御部34bは、ポイントマーカMR1,MR2間を結線して動線LN1を表示させ、更に、ポイントマーカMR2,MR3間を結線して動線LN2を表示させる。
次に、指向性制御装置3,3Aにおける補正モードの操作例について、図5を参照して説明する。図5は、自動トラッキング処理において自動指定されたトラッキングポイントが間違っていた場合に、手動トラッキング処理によりトラッキングポイントを変更する操作例を示す説明図である。
図5の左側のトラッキング画面TRWでは、画像処理部37又は音源検出部34dにより自動指定されたトラッキングポイントが人物HM1の移動過程の地点と異なっており、ポイントマーカMR1,MR2W間の結線によって間違った動線LNWが表示されている。
補正モードがオンである場合には、図5の右側のトラッキング画面TRWに示すように、自動トラッキング処理から手動トラッキング処理に切り替わるので、例えばカーソルCSRによるクリック操作によって、正しいトラッキングポイントが指定されると、出力制御部34bは、ポイントマーカMR1,MR2R間を結線し、正しい動線LNRをトラッキング画面TRW上に表示させる。
次に、指向性制御装置3,3Aにおける録画再生モード及びスロー再生モードにおけるスロー再生処理について、図6を参照して説明する。図6は、録画再生モード及びスロー再生モードにおけるスロー再生処理を示す説明図である。
図6の上側のトラッキング画面TRWでは、例えば人物HM1の動きが速いため、手動トラッキング処理でも自動トラッキング処理でも人物HM1の指定が困難であるとする。録画再生モード及びスロー再生モードがオンである場合には、例えばユーザの指FGによりディスプレイ装置35に表示されたスロー再生ボタンがタッチ操作されると、出力制御部34bは、再生速度の初期値(通常値)より小さい速度値で、人物HM1の移動過程を示す映像の画像データをトラッキング画面TRW上にスロー再生させる(図6の下側のトラッキング画面TRW参照)。
これにより、出力制御部34bは、トラッキング画面TRW上の人物HM1の動きを遅らせることができるので、手動トラッキング処理又は自動トラッキング処理においてトラッキングポイントを簡易に指定させることができる。なお、出力制御部34bは、人物HM1の移動速度が所定値以上である場合には、ユーザの指FGのタッチ操作を受け付けることなく、スロー再生処理を行っても良い。また、スロー再生時の再生速度は一定値でも良いし、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて適宜変更されても良い。
次に、指向性制御装置3,3Aにおける拡大表示モードにおける拡大表示処理について、図7を参照して説明する。図7は、拡大表示モードにおける拡大表示処理を示す説明図である。
図7の上側のトラッキング画面TRWでは、例えば人物HM1のサイズが小さいため、手動トラッキング処理又は自動トラッキング処理でも人物HM1の指定が困難であるとする。例えばユーザのマウス操作によるカーソルCSRのクリック操作により、拡大表示モードがオンになった後、人物HM1の位置(表示位置)でクリック操作されると、出力制御部34bは、クリックされた位置を中心として、所定倍率でトラッキング画面TRWを拡大表示させる(図7の下側のトラッキング画面TRW参照)。これにより、出力制御部34bは、トラッキング画面TRW上の人物HM1を拡大表示することができるので、手動トラッキング処理又は自動トラッキング処理においてトラッキングポイントを簡易に指定させることができる。
なお、出力制御部34bは、クリックされた位置を中心として、トラッキング画面TRWの内容を別のポップアップ画面(不図示)に拡大表示しても良い。これにより、出力制御部34bは、例えばユーザの簡易な指定操作によって、拡大表示されていないトラッキング画面TRWと拡大表示されたポップアップ画面とを対比させてユーザに監視対象物(人物HM1)を簡易に指定させることができる。
また、出力制御部34bは、例えばトラッキングポイントが未だ指定されていない場合には、ディスプレイ装置35の中心を基準にして、映し出されているカメラ画面の内容を拡大表示しても良い。これにより、出力制御部34bは、例えばユーザの簡易な指定操作によって、例えばディスプレイ装置35の中心付近に監視対象物(人物HM1)が映っている場合には、ユーザに監視対象物を簡易に指定させることができる。
また、出力制御部34bは、複数の監視対象物が指定されている場合には、トラッキング画面TRW上の複数の指定位置の幾何平均に対応する位置を中心として、拡大表示させても良い。これにより、出力制御部34bは、トラッキング画面TRW上に映し出されている複数の監視対象物を、ユーザに対して簡易に選択させることができる。
次に、指向性制御装置3,3Aにおける拡大表示モードにおける拡大表示処理後の自動スクロール処理について、図8(A)、(B)及び(C)を参照して説明する。図8(A)は、拡大表示モードにおける拡大表示処理後の自動スクロール処理を示す説明図である。図8(B)は、時刻t=t1におけるトラッキング画面TRWを示す図である。図8(C)は、時刻t=t2におけるトラッキング画面TRWを示す図である。
図8(A)では、カメラ装置C1の撮像エリアC1RN内であって、監視対象物としての人物HM1の時刻t=t1の位置から時刻t=t2の位置への移動経路が示されている。例えばトラッキング画面TRWが拡大表示された結果、撮像エリアC1RN全体の画像がトラッキング画面TRWに映し出されなくなることがある。
出力制御部34bは、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、例えば時刻t=t1から時刻t=t2までの人物HM1の移動経路に沿って、人物HM1が常にトラッキング画面TRWの中心に表示されるようにトラッキング画面TRWを自動スクロール処理する。これにより、出力制御部34bは、拡大表示されたトラッキング画面TRWに映し出された人物HM1が移動したことにより、ユーザの指定位置が常にトラッキング画面TRWの中心となるようにトラッキング画面TRWを自動的にスクロールするので、トラッキング画面TRWが拡大表示された場合でも、ユーザの人物HM1の指定位置がトラッキング画面TRWから外れることを防ぐことができ、更に、移動を続けるトラッキング画面TRW上の人物HM1を簡易に指定させることができる。
図8(B)では、時刻t=t1におけるトラッキング画面TRWが示され、人物HM1が中心に表示されている。同図のTP1は、時刻t=t1において人物HM1がユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作によって指定されたトラッキングポイントを示す。
同様に、図8(C)では、時刻t=t2におけるトラッキング画面TRWが示され、人物HM1が中心に表示されている。同図のTP2は、時刻t=t2において人物HM1がユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作によって指定されたトラッキングポイントを示す。図8(B)でも図8(C)でも、自動スクロール処理の間、監視対象物としての人物HM1は、トラッキング画面TRW上の中心に表示されるので、ユーザの選択が容易になる。
次に、本実施形態の指向性制御システム100における手動トラッキング処理の全体フローについて、図9(A)及び(B)を参照して説明する。図9(A)は、第1の実施形態の指向性制御システム100における手動トラッキング処理の全体フローの第1例を説明するフローチャートである。図9(B)は、第1の実施形態の指向性制御システム100における手動トラッキング処理の全体フローの第2例を説明するフローチャートである。
以下、説明の複雑化を避けるために、図9(A)及び図9(B)を参照して本実施形態の指向性制御システム100における手動トラッキング処理の全体フローについて先に説明し、個々の処理の詳細な内容については後述する図面を参照して都度、説明する。図9(B)に示す動作のうち、図9(A)に示す動作と同一の内容には同一のステップ番号を付して説明を簡略化又は省略し、異なる内容について説明する。図9(A)及び(B)では、指向性制御装置3の動作が示されている。
図9(A)の説明の前提として、出力制御部34bは、カメラ装置C1により撮像された監視対象物としての人物HM1の画像が映し出されたディスプレイ装置35のトラッキング画面TRWにおいて、全方位マイクアレイ装置M1から、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作により指定された位置に対応する人物HM1の位置(音声位置、音源位置)への方向に収音音声の指向性を形成しているとする。なお、図9(B)の説明の前提としても同様とする。
図9(A)において、トラッキングモードがオフであれば(S1、NO)、図9(A)に示す手動トラッキング処理は終了するが、トラッキングモードがオンである場合には(S1、YES)、トラッキング補助処理が開始される(S2)。トラッキング補助処理の詳細は図13(A)を参照して後述する。
ステップS2の後、ディスプレイ装置35のトラッキング画面TRWにおいて、人物HM1の移動過程(移動経路)のトラッキング位置、即ち、トラッキングポイントが、ユーザのマウス操作によるカーソルCSRのクリック操作又はユーザの指FGのタッチ操作により指定される(S3)。
トラッキング処理部34cは、ステップS3において指定されたトラッキング画面TRW上の指定位置に対応する実空間上の位置を示す3次元座標及び指定時刻を、それぞれトラッキングポイントのトラッキング位置及びトラッキング時刻として対応付けてメモリ33に保存し、更に、出力制御部34bを介して、トラッキング画面TRW上のトラッキングポイントにポイントマーカを表示させる(S4)。なお、ポイントマーカは、トラッキング処理部34cにより表示されても良く、以下の各実施形態においても同様である。
出力制御部34bは、全方位マイクアレイ装置M1から、ステップS3において指定されたトラッキングポイントに対応する人物HM1の位置(音声位置、音源位置)への方向に、収音音声の指向性を形成する(S5)。なお、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、人物HM1の移動過程(移動経路)の指定によってトラッキング処理部34cがトラッキングポイントのトラッキング位置及びトラッキング時刻のデータを取得するだけで良い場合には、ステップS5の動作は省略されても良い。言い換えると、出力制御部34bは、全方位マイクアレイ装置M1から、ステップS3において指定されたトラッキングポイントに対応する人物HM1の位置(音声位置、音源位置)への方向に、指向性を切り替えなくても良く、以下の各実施形態においても同様である。
ステップS5の後、出力制御部34bは、トラッキング結線処理を行う(S6)。トラッキング結線処理の詳細は図15(A)を参照して後述する。ステップS6の後、出力制御部34bは、ステップS5において指向性を形成した収音音声をスピーカ装置36から出力する(S7)。音声出力処理の詳細は図21(A)を参照して後述する。ステップS7の後、指向性制御装置3の動作はステップS1に戻り、トラッキングモードがオフにされるまで、ステップS1〜ステップS7の処理が繰り返される。
図9(B)において、ステップS1の後、トラッキング補助処理が開始される(S2)。トラッキング補助処理の詳細は図13(A)を参照して後述する。ステップS2の後、ディスプレイ装置35のトラッキング画面TRWにおいて、人物HM1の移動過程(移動経路)の位置(即ち、トラッキングポイント)が、ユーザのマウス操作によるカーソルCSRのドラッグ操作又はユーザの指FGのタッチスライド操作が開始されたとする(S3A)。
ステップS3Aの後、前回のトラッキングポイントに対応するトラッキング位置及びトラッキング時刻のデータの保存が終わってから所定時間(例えば数秒程度)が経過していない場合には(S8、NO)、ステップS3Aにて開始したドラッグ操作又はタッチスライド操作は終了していないと考えられ、指向性制御装置3の動作はステップS7に進む。
一方、ステップS3の後、前回のトラッキングポイントに対応するトラッキング位置及びトラッキング時刻のデータの保存が終わってから所定時間(例えば数秒程度)が経過した場合には(S8、YES)、ステップS3にて開始したドラッグ操作又はタッチスライド操作が終了したと考えられ、新しいトラッキングポイントが指定されたことになる。即ち、トラッキング処理部34cは、ドラッグ操作又はタッチスライド操作が終了した時の指定位置に対応する実空間上の位置を示す3次元座標及び指定時刻を、それぞれ新しいトラッキングポイントのトラッキング位置及びトラッキング時刻として対応付けてメモリ33に保存し、更に、出力制御部34bを介して、トラッキング画面TRW上のトラッキングポイントにポイントマーカを表示させる(S4)。ステップS4以降の動作は図9(A)に示すステップS4以降の動作と同一であるため、説明を省略する。
次に、本実施形態の指向性制御システム100Aにおける自動トラッキング処理の全体フローについて、図10(A)及び(B)、図11(A)及び(B)、図12を参照して説明する。図10(A)は、第1の実施形態の指向性制御システム100Aにおける自動トラッキング処理の全体フローの第1例を説明するフローチャートである。図10(B)は、図10(A)に示す自動トラッキング処理の第1例を説明するフローチャートである。図11(A)は、図10(A)に示す自動トラッキング処理の第2例を説明するフローチャートである。図11(B)は、図11(A)に示すトラッキング補正処理の一例を説明するフローチャートである。図12は、図10(A)に示す自動トラッキング処理の第3例を説明するフローチャートである。
また、図10(A)においても図9(A)及び(B)と同様に、説明の複雑化を避けるために、図10(A)を参照して本実施形態の指向性制御システム100Aにおける自動トラッキング処理の全体フローについて先に説明し、個々の処理の詳細な内容については後述する図面を参照して都度、説明する。
図10(A)に示す動作のうち、図9(A)又は(B)に示す動作と同一の内容には同一のステップ番号を付して説明を簡略化又は省略し、異なる内容について説明する。図10(A)でも、指向性制御装置3の動作が示されている。
図10(A)の説明の前提として、出力制御部34bは、カメラ装置C1により撮像された監視対象物としての人物HM1の画像が映し出されたディスプレイ装置35のトラッキング画面TRWにおいて、全方位マイクアレイ装置M1から、音源検出部34d又は画像処理部37の検出処理結果を用いて自動指定された位置に対応する人物HM1の位置(音声位置、音源位置)への方向に収音音声の指向性を形成しているとする。
図10(A)において、ステップS1の後、トラッキング補助処理が開始される(S2)。トラッキング補助処理の詳細は図13(A)を参照して後述する。ステップS2の後、自動トラッキング処理が行われる(S3B)。自動トラッキング処理の詳細は図10(B)、図11(A)及び図12を参照して後述する。ステップS3Bの後、出力制御部34bは、全方位マイクアレイ装置M1から、ステップS3Bにおいて自動指定されたトラッキングポイントに対応する人物HM1の位置(音声位置、音源位置)への方向に、収音音声の指向性を形成する(S5)。ステップS5以降の動作は図9(A)に示すステップS4以降の動作と同一であるため、説明を省略する。
図10(B)において、画像処理部37は、公知の画像処理を行うことで、ディスプレイ装置35のトラッキング画面TRW上に、監視対象物としての人物HM1の検出の有無を判定し、人物HM1を検出したと判定した場合には、判定結果(人物HM1の検出位置(例えば既知の代表点)及び検出時刻のデータを含む)を信号処理部34のトラッキング処理部34cに出力する(S3B−1)。
又は、音源検出部34dは、公知の音源検出処理を行うことで、ディスプレイ装置35のトラッキング画面TRW上に、監視対象物としての人物HM1の発する音声(音源)の位置の検出の有無を判定し、音源の位置を検出したと判定した場合には、判定結果(音源の検出位置及び検出時刻のデータを含む)をトラッキング処理部34cに出力する(S3B−1)。なお、ステップS3B−1の説明を簡単にするために、トラッキング画面TRW上には、監視対象物の人物HM1以外の監視対象物は存在しないものとして説明する。
トラッキング処理部34cは、画像処理部37又は音源検出部34dの判定結果を用いて、自動トラッキング処理における人物HM1の指定位置、即ち、トラッキングポイントを自動設定する(S3B−1)。トラッキング処理部34cは、ステップS3B−1において自動指定したトラッキング画面TRW上の検出位置に対応する実空間上の位置を示す3次元座標及び検出時刻を、それぞれトラッキングポイントのトラッキング位置及びトラッキング時刻として対応付けてメモリ33に保存し、更に、出力制御部34bを介して、トラッキング画面TRW上のトラッキングポイントにポイントマーカを表示させる(S3B−2)。ステップS3B−2の後、図10(B)に示す自動トラッキング処理は終了し、図10(A)に示すステップS5に進む。
図11(A)において、最初のトラッキングポイント(初期位置)が既に指定されている場合には(S3B−3、YES)、ステップS3B−4の動作は省略される。一方、最初のトラッキングポイントが指定されていない場合には(S3B−3、NO)、ディスプレイ装置35のトラッキング画面TRWにおいて、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作(例えばクリック操作、タッチ操作)により、人物HM1の移動過程(移動経路)の位置(即ち、トラッキングポイント)が指定される(S3B−4)。
最初のトラッキングポイントが既に指定されている場合、又はステップS3B−4において最初のトラッキングポイントが指定された後、トラッキング処理部34cは、最初のトラッキングポイントを中心とする画像処理部37又は音源検出部34dの判定結果を用いて、次のトラッキングポイントを自動指定する(S3B−5)。これにより、トラッキング処理部34cは、例えばユーザが最初のトラッキングポイントを指定することで、トラッキング画面TRW上の最初のトラッキングポイント(初期位置)を中心に、人物HM1の発する音声(音源)の位置に関する情報又は人物HM1の位置に関する情報の検出処理を開始するので、それぞれの検出処理を高速に行うことができる。
トラッキング処理部34cは、ステップS3B−5において自動指定したトラッキング画面TRW上の検出位置に対応する実空間上の位置を示す3次元座標及び検出時刻を、それぞれトラッキングポイントのトラッキング位置及びトラッキング時刻として対応付けてメモリ33に保存し、更に、出力制御部34bを介して、トラッキング画面TRW上のトラッキングポイントにポイントマーカを表示させる(S3B−2)。
ステップS3B−2の後、トラッキングポイントを補正する操作が行われない場合には(S3B−6、NO)、図11(A)に示す自動トラッキング処理は終了し、図10(A)に示すステップS5に進む。
一方、ステップS3B−2の後、例えば画像処理部37又は音源検出部34dの判定結果が間違っていたために、トラッキングポイントに対応するトラッキング位置を補正する操作が行われた場合には(S3B−6、YES)、図11(B)に示すトラッキング補正処理が行われる(S3B−7)。
図11(B)において、トラッキング画面TRW上で移動している人物HM1の発する音声が出力されていた場合に、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作により音声の出力が一時中止される(S3B−7−1)。ステップS3B−7−1の後、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作により、補正モードがオンになることで一時的に自動トラッキング処理から手動トラッキング処理に移行し、更に、正しいトラッキングポイントが指定されたとする(S3B−7−2)。
出力制御部34bは、ステップS3B−7−2において指定される直前にトラッキング画面TRW上に表示されていた間違ったポイントマーカを消去し(S3B−7−3)、変更されたトラッキングポイント、即ち、ステップS3B−7−2において指定されたトラッキングポイントにポイントマーカを表示させ、ステップS3B−7−1において一時中止されていた音声の出力を再開させる(S3B−7−3)。更に、トラッキング処理部34cは、ステップS3B−7−2において指定された位置をトラッキングポイントとして上書き保存する(S3B−7−3)。ステップS3B−7−3の後、図11(B)に示すトラッキング補正処理は終了し、図10(A)に示すステップS5に進む。
図12において、画像処理部37は、公知の画像処理を行うことで、ディスプレイ装置35のトラッキング画面TRW上に、監視対象物としての人物HM1の検出の有無を判定する(S3B−8)。画像処理部37は、人物HM1を検出したと判定した場合には(S3B−9、YES)、人物HM1の検出位置(例えば既知の代表点)を算出し、更に、検出時刻と検出位置との各データを判定結果として、信号処理部34のトラッキング処理部34cに出力する(S3B−10)。
音源検出部34dは、公知の音源検出処理を行うことで、ディスプレイ装置35のトラッキング画面TRW上に、監視対象物としての人物HM1の発する音声(音源)の位置の検出の有無を判定し、音源の位置を検出したと判定した場合には、人物HM1の検出位置を算出し、更に、検出時刻と検出位置との各データを判定結果として、トラッキング処理部34cに出力する(S3B−11)。
トラッキング処理部34cは、ステップS3B−11において算出されたトラッキング画面TRW上の音源の検出位置及び検出時刻を、それぞれトラッキングポイントのトラッキング位置及びトラッキング時刻として対応付けてメモリ33に保存し、更に、出力制御部34bを介して、トラッキング画面TRW上のトラッキングポイントにポイントマーカを表示させる(S3B−12)。
ステップS3B−12の後、トラッキング処理部34cは、ステップS3B−10において算出された人物HM1の検出位置とステップS3B−11において算出された音源の検出位置との距離が所定値以内であるか否かを判定する(S3B−13)。人物HM1の検出位置と音源の検出位置との距離が所定値内である場合には(S3B−13、YES)、図12に示す自動トラッキング処理は終了し、図10(A)に示すステップS5に進む。
一方、人物HM1の検出位置と音源の検出位置との距離が所定値内ではない場合には(S3B−13、NO)、図11(B)に示すトラッキング補正処理が行われる(S3B−7)。トラッキング補正処理については図11(B)を参照して説明したので、ここでは説明を省略する。ステップS3B−7の後、図12に示す自動トラッキング処理は終了し、図10(A)に示すステップS5に進む。
これにより、トラッキング処理部34cは、音源の位置の検出処理又は人物HM1の位置の検出処理により検出された音源の位置と人物HM1の位置との距離が所定値以上であれば、例えばトラッキング補正処理(図11(B)参照)におけるユーザの位置の変更操作によって指定された位置に関する情報を、人物HM1の位置に関する情報として容易に修正して取得することができる。更に、トラッキング処理部34cは、音源の位置の検出処理又は人物HM1の位置の検出処理により検出された音源の位置と人物HM1の位置との距離が所定値以上でなければ、例えばユーザの位置の変更操作を必要とすることなく、音源の位置又は人物HM1の位置を、人物HM1の移動後の位置に関する情報として容易に取得することができる。
次に、指向性制御装置3,3Aにおけるトラッキング補助処理の詳細について、図13(A)を参照して説明する。図13(A)は、図9(A)に示すトラッキング補助処理の一例を説明するフローチャートである。
図13(A)において、指向性制御装置3,3Aの拡大表示モードがオフである場合には(S2−1、NO)、指向性制御装置3,3Aの動作はステップS2−5に進む。一方、指向性制御装置3,3Aの拡大表示モードがオンである場合には(S2−1、YES)、指向性制御装置3,3Aは、画像プライバシー保護処理を行い(S2−2)、更に、自動スクロール処理を行う(S2−3)。画像プライバシー保護処理の詳細は図21(B)を参照して後述する。自動スクロール処理の詳細は図13(B)、図14(A)及び(B)を参照して後述する。
ステップS2−3の後、出力制御部34bは、トラッキング画面TRW上の直近のトラッキングポイントに対応するトラッキング位置を中心に、所定倍率でトラッキング画面TRWの内容を拡大表示させる(S2−4)。ステップS2−4の後、指向性制御装置3,3Aの録画再生モード及びスロー再生モードの両方がオンである場合には(S2−5、YES)、出力制御部34bは、再生速度の初期値(通常値)より小さい速度値で、人物HM1の移動過程を示す映像の画像データをトラッキング画面TRW上にスロー再生させる(S2−6)。
ステップS2−6の後、又は指向性制御装置3,3Aの録画再生モード及びスロー再生モードの両方がオンではない場合には(S2−5、NO)、図13(A)に示すトラッキング補助処理は終了し、図9(A)に示すステップS3、図9(B)に示すステップS3A、又は図10(A)に示すステップS3Bに進む。
次に、指向性制御装置3,3Aにおける自動スクロール処理の詳細について、図13(B)、図14(A)及び(B)を参照して説明する。図13(B)は、図13(A)に示す自動スクロール処理の一例を説明するフローチャートである。図14(A)は、図13(B)に示す自動スクロール処理要否判定処理の一例を示すフローチャートである。図14(B)は、自動スクロール処理要否判定処理におけるスクロール要否判定線の説明図である。
図13(B)において、トラッキング処理部34cは、自動スクロール処理要否判定処理を行う(S2−3−1)。自動スクロール処理要否判定処理の詳細は、図14(A)を参照して後述する。
ステップS2−3−1の後、出力制御部34bは、自動スクロール処理要否判定処理結果として自動スクロール処理が必要であると判定された場合には(S2−3−2、YES)、トラッキング画面TRWに対して所定の自動スクロール処理を行う(S2−3−3)。例えば、出力制御部34bは、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、トラッキング画面TRW上の人物HM1の移動経路に沿って、人物HM1が常にトラッキング画面TRWの中心に表示されるようにトラッキング画面TRWを自動スクロール処理する。これにより、出力制御部34bは、トラッキング画面TRWが拡大表示された場合でも、ユーザの監視対象物としての人物HM1の指定位置がトラッキング画面TRWから外れることを防ぐことができ、更に、移動を続けるトラッキング画面TRW上の人物HM1を簡易に指定させることができる。
なお、ステップS2−3−1−1の時点においてトラッキングポイントが未だ指定されていない場合には、出力制御部34bは、人物HM1が常にトラッキング画面TRWの中心に表示されるようにトラッキング画面TRWを自動スクロール処理するものとして、この場合には、ステップS2−3−1に示す自動スクロール処理要否判定処理を省略しても良い。
また、出力制御部34bは、人物HM1が後述するスクロール判定線JDLを超えて移動した場合には、人物HM1の移動方向(例えば後述するスクロール判定線JDLを超えた方向)に所定量、自動スクロール処理する。これにより、出力制御部34bは、トラッキング画面TRWが拡大表示された場合でも、ユーザの監視対象物としての人物HM1の指定位置がトラッキング画面TRWから外れることを防ぐことができる。
また、出力制御部34bは、人物HM1が後述するスクロール判定線JDLを超えて移動した場合には、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作により指定された位置(例えば次のトラッキングポイント)がトラッキング画面TRWの中心になるように、トラッキング画面TRWを自動スクロール処理する。これにより、出力制御部34bは、トラッキング画面TRWが拡大表示された場合でも、ユーザの監視対象物としての人物HM1の指定位置がトラッキング画面TRWから外れることを防ぐことができ、更に、移動を続けるトラッキング画面TRW上の人物HM1を簡易に指定させることができる。
ステップS2−3−3の後、又は自動スクロール処理要否判定処理結果として自動スクロール処理が必要ではないと判定された場合には(S2−3−2、NO)、図13(B)に示す自動スクロール処理は終了し、図13(A)に示すステップS2−4に進む。
図14(A)において、トラッキング処理部34cは、指定されたトラッキングポイントTP1に対応するトラッキング位置が、拡大表示されるトラッキング画面XTRWの上下左右のいずれかのスクロール判定線JDLを超えるか否かを判定する(S2−3−1−1)。
トラッキング処理部34cは、トラッキング位置がいずれかのスクロール判定線JDLを超えないと判定した場合には(S2−3−1−1、NO)、自動スクロール処理は不要と判定する(S2−3−1−2)。一方、トラッキング処理部34cは、トラッキング位置がいずれかのスクロール判定線JDLを超えると判定した場合には(S2−3−1−1、YES)、自動スクロール処理が必要と判定し、更に、該当するスクロール判定線JDLの種別(例えば、図14(B)に示す4つのスクロール判定線JDLのいずれかを示す情報)をメモリ33に保存する(S2−3−1−3)。ステップS2−3−1−2,S2−3−1−3の後、図14(A)に示す自動スクロール処理要否判定処理は終了し、図13(B)に示すステップS2−3−2に進む。
次に、指向性制御装置3,3Aにおけるトラッキング結線処理の詳細について、図15(A)及び(B)を参照して説明する。図15(A)は、図9(A)に示すトラッキング結線処理の一例を説明するフローチャートである。図15(B)は、図15(A)に示す一括結線処理の一例を説明するフローチャートである。
図15(A)において、トラッキング処理部34cは、トラッキングポイントが既に指定されている場合には(S6−1、YES)、結線モードが都度であるか否かを判定する(S6−2)。出力制御部34bは、結線モードが都度であると判定された場合には(S6−2、YES)、直前に指定された1つ以上のトラッキングポイントと対応する最新の1つ以上のトラッキングポイントとを結線して表示させる(S6−3)。これにより、出力制御部34bは、ディスプレイ装置35のトラッキング画面TRW上に映し出された人物HM1が移動した場合にユーザの指定操作により指定された複数の指定位置のうち、少なくとも現在の指定位置と直前の指定位置とを結線して表示させるので、人物HM1の移動の一部の軌跡を明示的に示すことができる。
なお、ステップS6−3では、トラッキングポイントが1つずつ指定された単一指定の場合の動作に限定されず、複数個のトラッキングポイントが同時に指定された場合の動作も含まれ、後述するステップS6−4−3においても同様である。
ステップS6−3の後、又はトラッキングポイントが未だ指定されていない場合には(S6−1、NO)、図15(A)に示すトラッキング結線処理は終了し、図9(A)、図9(B)又は図10(A)に示すステップS7に進む。
また、結線モードが都度ではないと判定された場合には(S6−2、NO)、一括結線処理が行われる(S6−4)。一括結線処理について、図15(B)を参照して説明する。
図15(B)において、トラッキング処理部34cは、メモリ33に保存されたトラッキングリストLST(例えば図16(B)参照)のデータを順次、読み出す(S6−4−1)。読み出されたデータがトラッキングポイントの始点と判定された場合には(S6−4−2、YES)、トラッキング処理部34cは、再度、トラッキングリストLST(例えば図16(B)参照)のデータを読み出す(S6−4−1)。
一方、読み出されたデータがトラッキングポイントの始点ではないと判定された場合には(S6−4−2、NO)、出力制御部34bは、読み出されたトラッキングリストのデータを用いて、直前に指定された1つ以上のトラッキングポイントと対応する最新の1つ以上のトラッキングポイントとの各ポイントマーカ同士を結線して表示させる(S6−4−3)。
ステップS6−4−3の後、トラッキングポイントの終点まで結線された場合には(S6−4−4、YES)、図15(B)に示す一括結線処理は終了し、図9(A)、図9(B)又は図10(A)に示すステップS7に進む。
一方、ステップS6−4−3の後、トラッキングポイントの終点まで結線されていない場合には(S6−4−4、NO)、トラッキング処理部34cは、メモリ33に保存されたトラッキングリストLST(例えば図16(B)参照)のデータを順次、読み出し、トラッキングリストLSTの全てのトラッキングポイントに対応するポイントマーカ同士が結線して表示されるまで、ステップS6−4−1からステップS6−4−4までの動作が繰り返される。これにより、出力制御部34bは、ディスプレイ装置35のトラッキング画面TRW上に映し出された人物HM1が移動した場合にユーザの指定操作により指定された複数の指定位置の全てに対し、各指定位置に隣接する1つ又は2つの指定位置を結線して表示させるので、人物HM1の移動の全部の軌跡を明示的に示すことができる。
図16(A)は、1回分の人物HM1の移動に対して表示されたトラッキングポイント間の動線上におけるユーザの指定位置P0に対応した収音音声の再生開始時刻PTの説明図である。図16(B)は、トラッキングリストの第1例を示す図である。図16(A)において、TP1,TP2,TP3,TP4は、図16(B)に示すトラッキングリストLSTにも示されるように、1回分の人物HM1の移動中に指定されたトラッキングポイントである。
図16(B)では、トラッキングポイントTP1(始点),TP2,TP3,TP4(終点)毎に、トラッキング位置を示す座標(x,y,z)とトラッキング時刻とが対応付けて保存されている。なお、説明を簡単にするために、トラッキング位置を示す座標のz座標値z0は一定としている。
トラッキング処理部34cは、図16(A)に示すトラッキングポイント間の動線上において、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて指定位置P0が指定されると、指定位置P0の前後2つのトラッキングポイントTP1,TP2を抽出し、トラッキングポイントTP1,TP2のトラッキング位置を示す座標及びトラッキング時刻のデータを用いて、指定位置P0における再生開始時刻PTを数式(2)に従って算出する。
また、出力制御部34bは、音声をスピーカ装置36に出力(再生)する際、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作により指定された指定位置P0を含むトラッキング時刻の順番に、該当するトラッキング位置に対応する指向方向に指向性を形成した上で、指向性が形成された音声を出力(再生)する。
図17(A)は、複数同時指定に基づく異なるトラッキングポイント間の動線上におけるユーザの指定位置P0に対応した収音音声の再生開始時刻PTの説明図である。図17(B)は、トラッキングリストLSTの第2例を示す図である。図17(A)において、(TP11,TP21),(TP12,TP22),(TP13,TP23),(TP14,TP24)は、図17(B)に示すトラッキングリストLSTにも示されるように、例えば複数の監視対象物としての異なる人物の移動中に同時に指定されたトラッキングポイントである。
図17(B)では、トラッキングポイント(TP11,TP21),(TP12,TP22),(TP13,TP23),(TP14,TP24)毎に、トラッキング位置を示す座標(x,y,z)とトラッキング時刻とが対応付けて保存されている。トラッキングポイント(TP11,TP21)は始点であり、トラッキングポイント(TP14,TP24)は終点である。なお、説明を簡単にするために、トラッキング位置を示す座標のz座標値z0は一定としている。
トラッキング処理部34cは、図17(A)に示すトラッキングポイント間の異なる動線上のいずれかの位置に、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて指定位置P0が指定されると、指定位置P0の前後2つのトラッキングポイントTP11,TP12を抽出し、トラッキングポイントTP11,TP12のトラッキング位置を示す座標及びトラッキング時刻のデータを用いて、指定位置P0における再生開始時刻PTを数式(3)に従って算出する。
また、出力制御部34bは、音声をスピーカ装置36に出力(再生)する際、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作により指定された指定位置P0を含むトラッキング時刻の順番に、該当するトラッキング位置に対応する指向方向に指向性を形成した上で、指向性が形成された音声を出力(再生)する。
図18(A)は、複数回指定に基づく異なるトラッキングポイント間の動線上におけるユーザの各指定位置P0,P0’に対応した収音音声の再生開始時刻PT,PT’の説明図である。図18(B)は、トラッキングリストLSTの第3例を示す図である。図18(A)において、(TP11,TP12,TP13,TP14)は、図18(B)に示すトラッキングリストLSTにも示されるように、例えば第1回目の監視対象物としての人物の移動中に指定されたトラッキングポイントである。また、図18(A)において、(TP21,TP22,TP23)は、同様に、例えば第2回目の監視対象物としての人物の移動中に指定されたトラッキングポイントである。なお、第2回目の監視対象物としての人物は、第1回目の監視対象物としての人物と同一人物でも異なる人物でも良い。
図18(B)では、トラッキングポイントTP11,TP12,TP13,TP14,TP21,TP22,TP23毎に、トラッキング位置を示す座標(x,y,z)とトラッキング時刻とが対応付けて保存されている。トラッキングポイントTP11,TP21は始点であり、トラッキングポイントTP14,TP23は終点である。なお、説明を簡単にするために、トラッキング位置を示す座標のz座標値z0は一定としている。
トラッキング処理部34cは、図18(A)に示すトラッキングポイント間の各動線上のいずれかの位置に、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて指定位置P0,P0’が指定されると、指定位置P0,P0’の前後2つのトラッキングポイント(TP11,TP12),(TP21,TP22)を抽出し、トラッキングポイント(TP11,TP12),(TP21,TP22)のトラッキング位置を示す座標及びトラッキング時刻のデータを用いて、指定位置P0,P0’における再生開始時刻PT,PT’を数式(4),数式(5)に従ってそれぞれ算出する。数式(4),数式(5)において、指定位置P0の座標は(x0,y0,z0)であり、指定位置P0’の座標は(x0’,y0’,z0)である。
なお、図18(A)において、第1回目及び第2回目の各人物の移動中に指定されたトラッキングポイントの数及びトラッキング時刻は一致しなくても良い。また、出力制御部34bは、音声をスピーカ装置36に出力(再生)する際、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作により指定された指定位置P0又は指定位置P0’を含むトラッキング時刻の順番に、該当するトラッキング位置に対応する指向方向に指向性を形成した上で、指向性が形成された音声を出力(再生)する。
次に、主に録画再生モードがオンである指向性制御装置3,3Aにおける動線表示再生処理の全体フローについて、図19(A)を参照して説明する。図19(A)は、第1の実施形態の指向性制御システム100,100AにおけるトラッキングリストLSTを用いた動線表示再生処理の全体フローの一例を説明するフローチャートである。
図19(A)において、先ず動線表示処理が行われる(S11)。動線表示処理の詳細は図20を参照して後述する。ステップS11の後、ステップS11において表示されたトラッキングポイント間の動線上において、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて指定位置P0が指定されると(S12)、再生開始時刻算出処理が行われる(S13)。再生開始時刻算出処理の詳細は図19(B)を参照して後述する。
トラッキング処理部34cは、メモリ33に保存されているトラッキングリストLSTを参照し、ステップS13に示す再生開始時刻算出処理において算出された指定位置P0の再生開始時刻PTに最も近いトラッキング時刻に対応する全て(1つでも可)のトラッキング位置の座標を読み出す(S14)。また、出力制御部34bは、トラッキング処理部34cが読み出したトラッキング位置の座標のデータを用いて、全方位マイクアレイ装置M1から、全て(1つでも可)のトラッキング位置への方向に、収音音声の指向性を形成する(S14)。これにより、出力制御部34bは、人物HM1の移動の軌跡を示す動線上に対してユーザが任意に指定した位置(任意指定位置)に応じて、任意指定位置の次に指定されていたトラッキング位置に向かう方向に音声の指向性を事前に形成することができる。
出力制御部34bは、ステップS14の後、ステップS13において算出された再生開始時刻PTから、レコーダ装置4又はメモリ33に記憶されている収音音声の音声データの再生を開始する(S15)。
ステップS15の後、再生開始時刻PTから所定時間内に次のトラッキング時刻がある場合には(S16、YES)、出力制御部34bは、次のトラッキング時刻に対応する全て(1つでも可)のトラッキング位置の座標のデータを用いて、全方位マイクアレイ装置M1から、全て(1つでも可)のトラッキング位置への方向に、収音音声の指向性を形成する(S17)。
ステップS17の後、又は再生開始時刻PTから所定時間内に次のトラッキング時刻がない場合には(S16、NO)、音声出力処理が行われる(S7)。音声出力処理の詳細は図21(A)を参照して後述する。ステップS7の後、トラッキングポイントの終点に対応するトラッキング時刻の音声出力処理が終了した場合には(S18、YES)、図19(A)に示す動線表示再生処理は終了する。これにより、出力制御部34bは、ユーザの任意指定位置に応じて算出された再生開始時刻における監視対象物の発した収音音声を明瞭に出力することができ、再生開始時刻から所定時間内に次の指定位置がある場合には、次の指定位置における音声の指向性を事前に形成することができる。
一方、ステップS7の後、トラッキングポイントの終点に対応するトラッキング時刻の音声出力処理が終了していない場合には(S18、NO)、トラッキングポイントの終点に対応するトラッキング時刻の音声出力処理が終了するまで、ステップS16からステップS18までの動作が繰り返される。
次に、指向性制御装置3,3Aにおける再生開始時刻算出処理の詳細について、図19(B)を参照して説明する。図19(B)は、図19(A)に示す再生開始時刻算出処理の一例を説明するフローチャートである。
図19(B)において、トラッキング処理部34cは、メモリ33に保存されているトラッキングリストLST(例えば図16(B)参照)を読み出す(S13−1)。トラッキング処理部34cは、ステップS13−1で読み出したトラッキングリストLSTのデータより、ステップS12において指定された指定位置P0の前後2つのトラッキングポイントTP1,TP2を抽出する(S13−2)。トラッキング処理部34cは、トラッキングポイントTP1,TP2のトラッキング位置を示す座標及びトラッキング時刻のデータを用いて、指定位置P0における再生開始時刻PTを算出する(S13−3、例えば数式(2)参照)。ステップS13−3の後、図19(B)に示す再生開始時刻算出処理は終了し、図19(A)に示すステップS14に進む。
次に、指向性制御装置3,3Aにおける動線表示処理の詳細について、図20を参照して説明する。図20は、図19(A)に示す動線表示処理の一例を説明するフローチャートである。
図20において、トラッキング処理部34cは、メモリ33に保存されたトラッキングリストLST(例えば図16(B)参照)のデータを順次、読み出す(S11−1)。ステップS11−1において読み出された全てのトラッキングポイントについてポイントマーカ同士の結線が終了した場合には(S11−2、YES)、図20に示す動線表示処理は終了し、図19(A)に示すステップS12に進む。
一方、ステップS11−1において読み出された全てのトラッキングポイントについてポイントマーカ同士の結線が終了していない場合には(S11−2、NO)、トラッキング処理部34cは、トラッキングリストLST(例えば図16(B)参照)のデータを順次読み出す。出力制御部34bは、トラッキング処理部34cにより読み出された1つ以上のトラッキングポイントに、監視対象物毎に区別してポイントマーカを表示させる(S11−3)。
なお、ステップS11−3では、出力制御部34bは、特に図示はしないが、例えばユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作(例えばマウスの右クリック操作及び左クリック操作、キーボードの複数キーの同時押下、マウスのクリック操作及びキーボードの数字キーの同時押下、タッチパネルに対する同時指定等)に応じて、同一の監視対象物が識別可能な態様(例えば同一の記号、識別番号、記号及び識別番号の組み合わせ、所定形状の枠等)で監視対象物毎に区別してポイントマーカを表示する。ここでいう所定形状の枠とは、例えば矩形、丸、三角である。枠の形状で識別する以外に、枠の線種(例えば実線、点線)、枠の色、枠の上に付記された番号等によって識別可能に表示されても良い。
ステップS11−3の後、ステップ11−3において読み出されたトラッキングポイントのデータがトラッキングポイントの始点と判定された場合には(S11−4、YES)、トラッキング処理部34cは、再度、トラッキングリストLST(例えば図16(B)参照)のデータを読み出す(S11−3)。
一方、ステップS11−3において読み出されたデータがトラッキングポイントの始点ではないと判定された場合には(S11−4、NO)、出力制御部34bは、読み出されたトラッキングリストのデータを用いて、直前に指定された1つ以上のトラッキングポイントと対応する最新の1つ以上のトラッキングポイントとの各ポイントマーカ同士を結線して表示させる(S11−5)。
ステップS11−5の後、ステップS11−1において読み出されたトラッキングリストLSTのトラッキングポイントの終点まで結線された場合には(S11−6、YES)、ステップS11−2の動作に進む。
一方、ステップS11−5の後、ステップS11−1において読み出されたトラッキングリストLSTのトラッキングポイントの終点まで結線されていない場合には(S11−6、NO)、ステップS11−1において読み出されたトラッキングリストLSTのトラッキングポイントの終点まで結線されるまで、ステップS11−3からステップS11−6までの動作が繰り返される。
次に、指向性制御装置3,3Aにおける音声出力処理及び画像プライバシー保護処理について、それぞれ図21(A)及び(B)、図22(A)〜(C)を参照して説明する。図21(A)は、図9(A)に示す音声出力処理の一例を説明するフローチャートである。図21(B)は、図13(A)に示す画像プライバシー保護処理の一例を説明するフローチャートである。図22(A)は、ボイスチェンジ処理前のピッチに対応する音声信号の波形の一例を示す図である。図22(B)は、ボイスチェンジ処理後のピッチに対応する音声信号の波形の一例を示す図である。図22(C)は、検出された人物の顔の輪郭内にぼかしを入れる処理の説明図である。
図21(A)において、出力制御部34bは、音声プライバシー保護モードがオンであるか否かを判定する(S7−1)。出力制御部34bは、音声プライバシー保護モードがオンであると判定した場合には(S7−1、YES)、スピーカ装置36において出力される収音音声のデータに対してボイスチェンジ処理を施す(S7−2)。
ステップS7−2の後、又は音声プライバシー保護モードがオフであると判定された場合には(S7−1、NO)、出力制御部34bは、収音音声をそのままスピーカ装置36から出力させる(S7−3)。ステップS7−3の後、図21(A)に示す音声出力処理は終了し、図9(A)、図9(B)又は図10(A)に示すステップS1に戻る。
ボイスチェンジ処理の一例として、出力制御部34bは、例えば全方位マイクアレイ装置M1により収音された音声の音声データ若しくは出力制御部34b自身が指向性を形成した音声データの波形のピッチを増大又は減少する(例えば図22(A)及び(B)参照)。これにより、出力制御部34bは、例えばユーザの簡易な入力操作により、全方位マイクアレイ装置M1によりリアルタイムに収音されている音声をボイスチェンジ処理して音声出力するので、人物HM1の発する音声を誰の音声か分かり難くすることで、現在撮像されている人物HM1の音声上のプライバシーを効果的に保護することができる。また、出力制御部34bは、例えばユーザの簡易な入力操作により、一定期間にわたって全方位マイクアレイ装置M1により収音された音声を音声出力する場合には、音声にボイスチェンジ処理を施して音声出力するので、人物HM1の発する音声を誰の音声か分かり難くすることで、人物HM1の音声上のプライバシーを効果的に保護することができる。
図21(B)において、トラッキング処理部34cは、画像プライバシー保護モードがオンであるか否かを判定する(S2−2−1)。画像処理部37は、画像プライバシー保護モードがオンであると判定された場合には(S2−2−1、YES)、ディスプレイ装置35のトラッキング画面TRW上に表示される人物HM1の顔の輪郭DTLを検出(抽出)し(S2−2−2)、顔の輪郭DTLにマスキング処理を施す(S2−2−3)。具体的には、画像処理部37は、検出された顔の輪郭DTLを包含する矩形領域を算出し、矩形領域内に所定のぼかしを入れる処理を行う(図22(C)参照)。画像処理部37は、ぼかしを入れる処理により生成された画像データを出力制御部34bに出力する。
ステップS2−2−3の後、又は画像プライバシー保護モードがオフであると判定された場合には(S2−2−1、NO)、出力制御部34bは、画像処理部37から得られた画像データをディスプレイ装置35に表示させる(S2−2−4)。
これにより、画像処理部37は、例えばユーザの簡易な入力操作により、ディスプレイ装置35のトラッキング画面TRW上に映し出された監視対象物としての人物HM1の一部(例えば顔)をマスキング処理するので、監視対象物の人物HM1が誰であるかを分かり難くすることでプライバシーを効果的に保護することができる。
なお、図21(B)に示す画像プライバシー保護処理は、監視対象物(例えば人物HM1)がカメラ画面に現れた時点で指向性制御装置3,3Aの画像プライバシー保護モードがオンになっていれば、拡大表示モードがオンになっていなくても行われて良い。
以上により、本実施形態の指向性制御システム100,100Aでは、指向性制御装置3,3Aは、複数のマイクを含む全方位マイクアレイ装置M1から、ディスプレイ装置35のトラッキング画面TRW上の画像データに対する指定位置に対応する監視対象物(例えば人物HM1)への方向に音声の指向性を形成し、更に、移動している監視対象物(例えば人物HM1)を指定した指定位置に関する情報(例えばトラッキングポイントに対応するトラッキング位置及びトラッキング時刻)を取得する。また、指向性制御装置3,3Aは、ディスプレイ装置35のトラッキング画面TRW上の画像データに対する指定位置に関する情報を用いて、指定位置に対応する監視対象物(例えば人物HM1)への方向に、音声の指向性を追従して切り替える。
これにより、指向性制御装置3,3Aは、ディスプレイ装置35のトラッキング画面TRW上の画像データに映し出されている監視対象物(例えば人物HM1)が移動しても、監視対象物(例えば人物HM1)の移動前の位置に向かう方向に形成された音声の指向性を、監視対象物(例えば人物HM1)の移動後の位置に向かう方向に形成するので、監視対象物(例えば人物HM1)の移動に伴って音声の指向性を追従して適正に形成することができ、監視者の監視業務の効率劣化を抑制できる。
また、指向性制御装置3,3Aは、ディスプレイ装置35のトラッキング画面TRW上に映し出された画像データの中で移動する監視対象物(例えば人物HM1)を指定する簡易な手動操作によって、監視対象物(例えば人物HM1)の移動後の位置に関する正確な情報を容易に取得することができる。
また、指向性制御装置3Aは、ディスプレイ装置35のトラッキング画面TRW上に映し出された画像データから監視対象物(例えば人物HM1)の発する音声の音源、及び監視対象物(例えば人物HM1)自体を簡易に検出することができるので、音源の位置に関する情報又は監視対象物の位置に関する情報を、監視対象物(例えば人物HM1)の移動後の位置に関する情報として容易に取得することができる。
(第2の実施形態)
第2の実施形態では、指向性制御装置3Bは、監視対象物(例えば人物)の移動状況に合わせて、カメラ装置の撮像エリア又は全方位マイクアレイ装置の収音エリアを超えようとする場合には、監視対象物の画像の撮像に用いるカメラ装置を他のカメラ装置に切り替え、又は監視対象物の発する音声の収音に用いる全方位マイクアレイ装置を他の全方位マイクアレイ装置に切り替える。
なお、本実施形態では、音声トラッキング処理の対象となる監視対象物(例えば人物HM1)の画像の撮像に用いるカメラ装置と、人物HM1の発する音声の収音に用いる全方位マイクアレイ装置とは予め対応付けられており、この対応付けに関する情報は指向性制御装置3Bのメモリ33に予め保存されているとする。
図23は、第2の実施形態の指向性制御システム100Bのシステム構成例を示すブロック図である。図23に示す指向性制御システム100Bは、1つ以上のカメラ装置C1,…,Cnと、1つ以上の全方位マイクアレイ装置M1,…,Mmと、指向性制御装置3Bと、レコーダ装置4とを含む構成である。図23の各部の説明では、図2,図3に示す指向性制御システム100,100Aに示す各部の構成及び動作のものには同一の符号を付して説明を簡略化又は省略し、異なる内容について説明する。
指向性制御装置3Bは、例えば監視制御室(不図示)に設置される据置型のPCでも良いし、ユーザが携帯可能な携帯電話機、PDA、タブレット端末、スマートフォン等のデータ通信端末でも良い。
指向性制御装置3Bは、通信部31と、操作部32と、メモリ33と、信号処理部34Aと、ディスプレイ装置35と、スピーカ装置36と、画像処理部37と、動作切替制御部38とを少なくとも含む構成である。信号処理部34Aは、指向方向算出部34aと、出力制御部34bと、トラッキング処理部34cと、音源検出部34dとを少なくとも含む。
動作切替制御部38は、トラッキング処理部34cが取得する監視対象物(例えば人物)の移動状況に関する各種の情報又はデータを基に、複数のカメラ装置C1〜Cn又は複数の全方位マイクアレイ装置M1〜Mmのうち、指向性制御システム100Bの監視対象物の画像の撮像に用いるカメラ装置、又は監視対象物の発する音声の収音に用いる全方位マイクアレイ装置を切り替えるための各種の動作を行う。
次に、指向性制御装置3Bにおけるカメラ装置の自動切替処理について、図24を参照して説明する。図24は、ディスプレイ装置35に表示される画像の撮像に用いるカメラ装置の自動切替処理を示す説明図である。図24では、説明を簡単にするために、監視対象物としての人物HM1がトラッキング位置A1からトラッキング位置A2に移動することにより、人物HM1の画像の撮像に用いるカメラ装置を、カメラ装置C1からカメラ装置C2に切り替える例を説明する。
トラッキング位置A1は、カメラ装置C1の撮像エリアC1RNの範囲内であり、予め決められたカメラ装置C1の切替判定ラインJC1の範囲内である。トラッキング位置A2は、カメラ装置C2の撮像エリアC2RNの範囲内であり、カメラ装置C1の切替判定ラインJC1の範囲外である。なお、図示は省略しているが、トラッキング位置A1,A2は全方位マイクアレイ装置M1の収音エリア内である。
動作切替制御部38は、人物HM1がカメラ装置C1の撮像エリアC1RNを超えそうになった場合、人物HM1の画像の撮像に用いるカメラ装置をカメラ装置C1からカメラ装置C2に切り替える旨の情報を、通信部31及びネットワークNWを介して、カメラ装置C2に通知する。言い換えると、動作切替制御部38は、カメラ装置C2に対し、カメラ装置C2の画角内の範囲の画像の撮像準備を指示する。ただ、この時点では、ディスプレイ装置35のトラッキング画面TRW上には、カメラ装置C1により撮像された映像の画像データが表示されている。
例えば、動作切替制御部38は、人物HM1がカメラ装置C1の切替判定ラインJC1を超えた場合に、人物HM1の画像の撮像に用いるカメラ装置をカメラ装置C1からカメラ装置C2に切り替える旨の情報を、通信部31及びネットワークNWを介して、カメラ装置C2に通知する。
動作切替制御部38は、カメラ装置C1が計測するカメラ装置C1と人物HM1との距離情報を用いて、人物HM1が切替判定ラインJC1を超えたか否かを判定する。より具体的には、動作切替制御部38は、人物HM1がカメラ装置C1の画角内に存在し、かつ、カメラ装置C1から人物HM1までの距離がカメラ装置C1から切替判定ラインJC1までの距離(既知)より大きくなった場合に、人物HM1が切替判定ラインJC1を超えたと判定する。なお、動作切替制御部38は、カメラ装置C1から切替可能なカメラ装置(例えばカメラ装置C2)を予め知っており、他のカメラ装置から切替可能なカメラ装置も予め知っているとする。
動作切替制御部38は、切替判定ラインJC1を超えた人物HM1がカメラ装置C1の撮像エリアC1RNを超えたと判定した場合には、人物HM1の画像の撮像に用いるカメラ装置を、カメラ装置C1からカメラ装置C2に切り替える。この後、ディスプレイ装置35のトラッキング画面TRW上には、カメラ装置C2により撮像された映像の画像データ(例えば移動中の人物HM1の画像データ)が表示されている。
これにより、動作切替制御部38は、移動中の監視対象物(例えば人物HM1)の画像を的確に映し出すことが可能なカメラ装置に適応的に切り替えることができ、ユーザの監視対象物(例えば人物HM1)の画像を簡易に指定させることができる。
次に、指向性制御装置3Bにおける全方位マイクアレイ装置の自動切替処理について、図25を参照して説明する。図25は、監視対象物(例えば人物HM1)の音声の収音に用いる全方位マイクアレイ装置の自動切替処理を示す説明図である。図25では、説明を簡単にするために、監視対象物としての人物HM1がトラッキング位置A1からトラッキング位置A2に移動することにより、人物HM1の発する音声の収音に用いる全方位マイクアレイ装置を、全方位マイクアレイ装置M1から全方位マイクアレイ装置M2に切り替える例を説明する。
トラッキング位置A1は、全方位マイクアレイ装置M1の収音エリアM1RNの範囲内であり、予め決められた全方位マイクアレイ装置M1の切替判定ラインJM1の範囲内である。トラッキング位置A2は、全方位マイクアレイ装置M2の収音エリアM2RNの範囲内であり、全方位マイクアレイ装置M1の切替判定ラインJM1の範囲外である。なお、図示は省略しているが、トラッキング位置A1,A2はカメラ装置C1の撮像エリア内である。
動作切替制御部38は、人物HM1が全方位マイクアレイ装置M1の収音エリアM1RNを超えそうになった場合、人物HM1の発する音声の収音に用いる全方位マイクアレイ装置を全方位マイクアレイ装置M1から全方位マイクアレイ装置M2に切り替える旨の情報を、通信部31及びネットワークNWを介して、全方位マイクアレイ装置M2に通知する。言い換えると、動作切替制御部38は、全方位マイクアレイ装置M2に対し、全方位マイクアレイ装置M2の収音エリア内の音声の収音準備を指示する。
例えば、動作切替制御部38は、人物HM1が全方位マイクアレイ装置M1の切替判定ラインJM1を超えた場合に、人物HM1の発する音声の収音に用いる全方位マイクアレイ装置を全方位マイクアレイ装置M1から全方位マイクアレイ装置M2に切り替える旨の情報を、通信部31及びネットワークNWを介して、全方位マイクアレイ装置M2に通知する。
動作切替制御部38は、全方位マイクアレイ装置M1と人物HM1との距離情報を用いて、人物HM1が切替判定ラインJM1を超えたか否かを判定する。より具体的には、動作切替制御部38は、全方位マイクアレイ装置M1から人物HM1までの距離が全方位マイクアレイ装置M1から切替判定ラインJM1までの距離(既知)より大きくなった場合に、人物HM1が切替判定ラインJM1を超えたと判定する。なお、動作切替制御部38は、全方位マイクアレイ装置M1から切替可能な全方位マイクアレイ装置(例えば全方位マイクアレイ装置M2)を予め知っており、他の全方位マイクアレイ装置から切替可能な全方位マイクアレイ装置も予め知っているとする。
動作切替制御部38は、切替判定ラインJM1を超えた人物HM1が全方位マイクアレイ装置M1の収音エリアM1RNを超えたと判定した場合には、人物HM1の発する音声の収音に用いる全方位マイクアレイ装置Mを、全方位マイクアレイ装置M1から全方位マイクアレイ装置M2に切り替える。
これにより、動作切替制御部38は、移動中の監視対象物(例えば人物HM1)の発する音声を的確に収音することが可能な全方位マイクアレイ装置に適応的に切り替えることができ、監視対象物(例えば人物HM1)の発する音声を高精度に収音することができる。
次に、指向性制御装置3Bにおけるカメラ装置の手動切替処理について、図26を参照して説明する。図26は、ディスプレイ装置35に表示される画像の撮像に用いるカメラ装置の手動切替処理を示す説明図である。図26では、ディスプレイ装置35には、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、人物HM1の画像の撮像に現在使用中のカメラ装置C1により撮像された画像のトラッキング画面TRWが、カメラ装置C1のカメラ画面C1Wと、カメラ装置C1の周辺のカメラ装置(例えば8台のカメラ装置)のカメラ画面とを含むマルチカメラ画面に切り替わる。
図24と同様に、現在使用中のカメラ装置C1には、切替可能なカメラ装置が予め決められており、例えばカメラ装置C2,C3,C4とする。図26に示すマルチカメラ画面では、カメラ装置C2,C3,C4により撮像されたカメラ画面C2W,C3W,C4Wが表示されている(図26に示すハッチング参照)。人物HM1は、移動方向MV1に移動しているとする。
ユーザは、監視対象物としての人物HM1の移動方向MV1を考慮した上で、図26に示すマルチカメラ画面に対し、指FGで、3つのカメラ画面C2W,C3W,C4Wのうちいずれかのカメラ画面(例えばカメラ画面C3W)をタッチ操作したとする。
動作切替制御部38は、ユーザの指FGのタッチ操作に応じて、人物HM1の画像の撮像に用いるカメラ装置を、現在使用中のカメラ装置C1から、タッチ操作の対象となったカメラ画面C3Wに対応するカメラ装置C3に切り替える。
これにより、動作切替制御部38は、ユーザの簡易な操作によって、移動中の監視対象物(例えば人物HM1)の画像を的確に映し出すことが可能なカメラ装置に適応的に切り替えることができ、ユーザの監視対象物(例えば人物HM1)の画像を簡易に指定させることができる。
次に、指向性制御装置3Bにおける全方位マイクアレイ装置の手動切替処理について、図27を参照して説明する。図27は、監視対象物(例えば人物HM1)の音声の収音に用いる全方位マイクアレイ装置の手動切替処理を示す説明図である。図27では、トラッキング画面TRW上に、監視対象物としての人物HM1が中央に表示されている。また、現在使用中の全方位マイクアレイ装置M1から切替可能な全方位マイクアレイ装置は、全方位マイクアレイ装置M1の周辺に設置された3台の全方位マイクアレイ装置M2,M3,M4とする。
図27において、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、トラッキング画面TRW上に、現在使用中の全方位マイクアレイ装置M1から切替可能な全方位マイクアレイ装置M2,M3,M4の概略位置を示すマーカM2R,M3R,M4Rが表示される(図27に示す(1)参照)。
ユーザは、監視対象物としての人物HM1のトラッキングポイントに対応するトラッキング位置A1からの移動方向MV1を考慮した上で、ユーザの指FGのタッチ操作により、3つのマーカのうちいずれかのマーカ(例えばマーカM3R)が選択される(図27に示す(2)参照)。動作切替制御部38は、現在使用中の全方位マイクアレイ装置M1から、ユーザの指FGのタッチ操作により選択されたマーカM3Rに対応する全方位マイクアレイ装置M3に、通信部31及びネットワークNWを介して、収音の開始を指示する(図27に示す(3)参照)。
また、出力制御部34bは、選択されたマーカM3Rに対応する全方位マイクアレイ装置M3から、現時点の人物HM1のトラッキング位置への方向に、指向性を切り替える(図27に示す(4)参照)。この後、出力制御部34bによって、トラッキング画面TRW上に表示された全方位マイクアレイ装置M2,M3,M4の概略位置を示すマーカM2R,M3R,M4Rが消去される。
これにより、動作切替制御部38は、トラッキング画面TRW上に表示されたマーカM2R,M3R,M4Rに対するユーザの簡易な操作によって、移動中の監視対象物(例えば人物HM1)の発する音声を的確に収音することが可能な全方位マイクアレイ装置M3に適応的に切り替えることができ、人物HM1の移動方向MV1に合わせて人物HM1の発する音声を高精度に収音することができる。
次に、指向性制御装置3Bにおける最適な全方位マイクアレイ装置の選択処理について、図28を参照して説明する。図28は、監視対象物の音声の収音に用いる最適な全方位マイクアレイ装置の選択処理を示す説明図である。図28の左上側のディスプレイ装置35には、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、指向性制御システム100Bが管轄する全てのカメラ装置(例えば9台のカメラ装置)のカメラ画面が一覧表示されている。
図28の左上側のディスプレイ装置35に一覧表示された各カメラ画面の中で、音声トラッキング処理の対象となる監視対象物(例えば人物HM1)が映っているカメラ画面は、カメラ画面C1W,C2W,C3Wである。これらのカメラ画面C1W,C2W,C3Wの中で、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、人物HM1の映りが最も良好なカメラ画面C1Wが選択されたとする。
動作切替制御部38は、ユーザのカメラ画面C1Wの選択に応じて、人物HM1の画像の撮像に用いるカメラ装置として、カメラ画面C1Wに対応するカメラ装置C1を選択して切り替える。これにより、出力制御部34bは、カメラ画面C1Wに対応するカメラ装置により撮像された画像データを拡大して、ディスプレイ装置35のトラッキング画面TRW1上に表示させる(図28の左下側参照)。
また、出力制御部34bは、動作切替制御部38により選択されたカメラ装置C1に対応付けられた全ての全方位マイクアレイ装置の概略位置を示すマーカM1R,M2R,M3R,M4Rをトラッキング画面TRW1の四隅に表示させる。なお、マーカM1R,M2R,M3R,M4Rの表示位置はトラッキング画面TRW1上の四隅に限定されない。
更に、出力制御部34bは、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作によりマーカM1R,M2R,M3R,M4Rが順次、指定されると、1つずつマーカを強調表示(例えばブリンクBr)させながら、それぞれのマーカについて、各マーカに対応する全方位マイクアレイ装置から人物HM1の位置への方向に指向性を形成した上で、一定時間収音した音声を出力する。
動作切替制御部38は、一定時間出力された音声の中でユーザが最適と判断した全方位マイクアレイ装置の概略位置を示すマーカ(例えばマーカM3R)が選択されると、選択されたマーカM3Rに対応する全方位マイクアレイ装置M3を、人物HM1の発する音声の収音に用いる全方位マイクアレイ装置として選択して切り替える。
これにより、動作切替制御部38は、選択されたカメラ装置C5に対応付けられた複数の全方位マイクアレイ装置M1,M2,M3,M4において異なる指向性が形成された収音音声を一定時間にわたって出力することができるので、ユーザが最適と判断する収音音声を選択する簡易な操作を行うことにより、移動中の監視対象物(例えば人物HM1)の発する音声を的確に収音することが可能な最適な全方位マイクアレイ装置M3を選択することができ、監視対象物(例えば人物HM1)の発する音声を高精度に収音することができる。
次に、本実施形態の指向性制御システム100Bにおけるカメラ装置の自動切替処理について、図29(A)を参照して説明する。図29(A)は、第2の実施形態の指向性制御システム100Bにおけるカメラ装置の自動切替処理の一例を説明するフローチャートである。図29(A)に示すカメラ装置の自動切替処理は、図24に示すカメラ装置の自動切替処理の内容を詳細に説明しており、例えば、図10(B)に示すステップS3B−1の後に続けて行われる。
図29(A)において、画像処理部37は、ディスプレイ装置35のトラッキング画面TRW上に映し出されている画像データに対して所定の画像処理を行うことにより、監視対象物(例えば人物HM1)の位置(即ち、トラッキングポイント)を検出する(S21)。ステップS21の後、カメラ切替判定処理が行われる(S22)。カメラ切替判定処理の詳細は図29(B)を参照して後述する。
ステップS22の後、動作切替制御部38によりカメラ切替モードがオンに設定されている場合には(S23、YES)、動作切替制御部38は、現在使用中のカメラ装置(例えばカメラ装置C1)に対応付けられた切替可能な全てのカメラ装置に対し、通信部31及びネットワークNWを介して、画像の撮像を指示する(S24)。画像の撮像の指示を受けた全てのカメラ装置は、画像の撮像を開始する。なお、カメラ切替モードは、複数カメラ切替方法が自動である場合に、カメラ装置を切り替えるか否かの処理の制御用に用いられるフラグである。
動作切替制御部38は、現在使用中のカメラ装置C1が計測したカメラ装置C1と人物HM1との距離情報を用いて、ステップS21において検出された実空間上のトラッキング位置A1にいる人物HM1がカメラ装置C1の撮像エリアC1RNを超えたか否かを判定する(S25)。動作切替制御部38は、人物HM1がカメラ装置C1の撮像エリアC1RNを超えたと判定した場合には(S25、YES)、ステップS24の指示により、現在使用中のカメラ装置C1に対応付けられた切替可能な全てのカメラ装置により撮像された画像データを画像処理部37に出力する。画像処理部37は、動作切替制御部38から出力された全ての画像データに対して所定の画像処理を行うことにより、監視対象物としての人物HM1の検出の有無を判定する(S26)。画像処理部37は、画像処理結果を動作切替制御部38に出力する。
動作切替制御部38は、画像処理部37の画像処理結果を用いて、監視対象物としての人物HM1の検出ができていて、かつ、ステップS21において検出された実空間上のトラッキング位置A1に最も近いカメラ装置(例えばカメラ装置C2)を1つ選択し、人物HM1の画像の撮像に用いるカメラ装置を、カメラ装置C1からカメラ装置C2に切り替える(S27)。これにより、出力制御部34bは、ディスプレイ装置35に表示されているトラッキング画面TRWを、動作切替制御部38により選択されたカメラ装置C2のカメラ画面に切り替えて表示する(S27)。
一方、動作切替制御部38によりカメラ切替モードがオフに設定されている場合(S23、NO)、又は人物HM1がカメラ装置C1の撮像エリアC1RNを超えていないと判定された場合には(S25、NO)、図29(A)に示すカメラ装置の自動切替処理は終了し、図30(A)に示す全方位マイクアレイ装置の自動切替処理に進む。
次に、指向性制御装置3Bにおけるカメラ切替判定処理について、図29(B)を参照して説明する。図29(B)は、図29(A)に示すカメラ切替判定処理の一例を示すフローチャートである。
図29(B)において、動作切替制御部38は、指向性制御装置3Bにおけるカメラ切替モードをオフに設定する(S22−1)。動作切替制御部38は、現在使用中のカメラ装置C1が計測したカメラ装置C1と人物HM1との距離情報を用いて、ステップS21において検出されたトラッキングポイントに対応する実空間上のトラッキング位置A1が現在使用中のカメラ装置C1の所定の切替判定ラインJC1を超えたか否かを判定する(S22−2)。
動作切替制御部38は、ステップS21において検出されたトラッキングポイントに対応する実空間上のトラッキング位置A1が現在使用中のカメラ装置C1の所定の切替判定ラインJC1を超えたと判定した場合には(S22−2、YES)、カメラ切替モードをオン(自動)に設定する(S22−3)。
ステップS22−3の後、又はトラッキング位置A1が現在使用中のカメラ装置C1の所定の切替判定ラインJC1を超えていないと判定された場合には(S22−2、NO)、図29(B)に示すカメラ切替判定処理は終了し、図29(A)に示すステップS23に進む。
次に、本実施形態の指向性制御システム100Bにおける全方位マイクアレイ装置の自動切替処理について、図30(A)を参照して説明する。図30(A)は、第2の実施形態の指向性制御システム100Bにおける全方位マイクアレイ装置の自動切替処理の一例を説明するフローチャートである。図30(A)に示す全方位マイクアレイ装置の自動切替処理は、図25に示す全方位マイクアレイ装置の自動切替処理の内容を詳細に説明しており、図29(A)に示すステップS27の後に続けて行われても良いし、図29(A)に示すカメラ装置の自動切替処理が図30(A)に示す全方位マイクアレイ装置の自動切替処理の後に行われても良い。
図30(A)において、音源検出部34dは、所定の音源検出処理を行うことにより、実空間上の監視対象物(例えば人物HM1)の位置(音源の位置)を算出し、又は算出された音源の位置に対応する画像データ上の位置を示す座標(即ち、トラッキングポイントに対応するトラッキング位置A1の座標)を算出する(S31)。ステップS31の後、マイク切替判定処理が行われる(S32)。マイク切替判定処理の詳細は図30(B)を参照して後述する。
ステップS32の後、動作切替制御部38によりマイク切替モードがオンに設定されている場合には(S33、YES)、動作切替制御部38は、現在使用中の全方位マイクアレイ装置(例えば全方位マイクアレイ装置M1)に対応付けられた切替可能な全ての全方位マイクアレイ装置に対し、通信部31及びネットワークNWを介して、人物HM1の発する音声の収音を指示する(S34)。音声の収音の指示を受けた全ての全方位マイクアレイ装置は、音声の収音を開始する。なお、マイク切替モードは、複数マイク切替方法が自動である場合に、全方位マイクアレイ装置を切り替えるか否かの処理の制御用に用いられるフラグである。
動作切替制御部38は、音源検出部34dが算出した現在使用中の全方位マイクアレイ装置M1と人物HM1との距離情報を用いて、人物HM1が全方位マイクアレイ装置M1の収音エリアM1RNを超えたか否かを判定する(S35)。音源検出部34dは、人物HM1が全方位マイクアレイ装置M1の収音エリアM1RNを超えたと判定された場合には(S35、YES)、ステップS34の指示により、現在使用中の全方位マイクアレイ装置M1に対応付けられた切替可能な全ての全方位マイクアレイ装置により収音された音声の強さ又は音量レベルを基に、監視対象物としての人物HM1の位置(音源の位置)を算出する(S36)。
動作切替制御部38は、音源検出部34dの音源検出理結果を用いて、現在使用中の全方位マイクアレイ装置M1に対応付けられた切替可能な全ての全方位マイクアレイ装置のうち、監視対象物としての人物HM1の位置(音源の位置)と全方位マイクアレイ装置との距離の差異が最小となる全方位マイクアレイ装置(例えば全方位マイクアレイ装置M2)を1つ選択し、人物HM1の発する音声の収音に用いる全方位マイクアレイ装置を、全方位マイクアレイ装置M1から全方位マイクアレイ装置M2に切り替える(S37)。これにより、出力制御部34bは、切り替え後の全方位マイクアレイ装置M2から、ステップS36において算出された音源の位置への方向に、音声の指向性を切り替える(S37)。
一方、動作切替制御部38によりマイク切替モードがオフに設定されている場合(S33、NO)、又は人物HM1が全方位マイクアレイ装置M1の収音エリアM1RNを超えていないと判定された場合には(S35、NO)、図30(A)に示す全方位マイクアレイ装置の自動切替処理は終了し、例えば図10(B)に示すステップS3B−2に進む。なお、図30(A)に示す全方位マイクアレイ装置の自動切替処理が終了した後に、図29(A)に示すカメラ装置の自動切替処理が開始しても良い。
次に、指向性制御装置3Bにおけるマイク切替判定処理について、図30(B)を参照して説明する。図30(B)は、図30(A)に示すマイク切替判定処理の一例を示すフローチャートである。
図30(B)において、動作切替制御部38は、マイク切替モードをオフに設定する(S32−1)。動作切替制御部38は、現在使用中の全方位マイクアレイ装置M1と人物HM1との距離情報を用いて、ステップS31において算出されたトラッキング位置A1が現在使用中の全方位マイクアレイ装置M1の所定の切替判定ラインJM1を超えたか否かを判定する(S32−2)。
動作切替制御部38は、トラッキング位置A1が現在使用中の全方位マイクアレイ装置M1の所定の切替判定ラインJM1を超えたと判定した場合には(S32−2、YES)、マイク切替モードをオンに設定する(S32−3)。
ステップS32−3の後、又はトラッキング位置A1が現在使用中の全方位マイクアレイ装置M1の所定の切替判定ラインJM1を超えていないと判定された場合には(S32−2、NO)、図30(B)に示すマイク切替判定処理は終了し、図30(A)に示すステップS33に進む。
次に、本実施形態の指向性制御システム100Bにおけるカメラ装置の手動切替処理について、図31(A)を参照して説明する。図31(A)は、第2の実施形態の指向性制御システム100Bにおけるカメラ装置の手動切替処理の一例を説明するフローチャートである。図31(A)に示す指向性制御システム100Bにおけるカメラ装置の手動切替処理は、図9(A)、図9(B)又は図10(A)に示すステップS1に続けて行われる。
図31(A)において、ディスプレイ装置35に対し、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、カメラ装置を切り替えるための指示が入力されると(S41)、出力制御部34bは、人物HM1の画像の撮像に現在使用中のカメラ装置C1により撮像された画像のトラッキング画面TRWを、カメラ装置C1のカメラ画面C1Wと、カメラ装置C1の周辺のカメラ装置(例えば8台のカメラ装置)のカメラ画面とを含むマルチカメラ画面に切り替える(S42)。
ステップS42においてディスプレイ装置35に表示されたマルチカメラ画面に対し、ユーザは、監視対象物としての人物HM1の移動方向MV1を考慮した上で(図26参照)例えば指FGで、いずれかのカメラ画面をタッチ操作によって選択したとする(S43)。
動作切替制御部38は、ユーザの指FGのタッチ操作に応じて、人物HM1の画像の撮像に用いるカメラ装置を、現在使用中のカメラ装置C1から、ステップS43においてタッチ操作の対象となったカメラ画面C3Wに対応するカメラ装置C3に切り替える(S44)。これにより、図31(A)に示すカメラ装置の手動切替処理が終了し、図31(B),図32(A)又は図32(B)に示すステップS45,S51,S61又はS71のいずれかに進む。
次に、本実施形態の指向性制御システム100Bにおける全方位マイクアレイ装置の手動切替処理について、図31(B)を参照して説明する。図31(B)は、第2の実施形態の指向性制御システム100Bにおける全方位マイクアレイ装置の手動切替処理の一例を説明するフローチャートである。
図31(B)において、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、全方位マイクアレイ装置を切り替えるための指示が入力されると(S45)、出力制御部34bは、トラッキング画面TRW上に、現在使用中の全方位マイクアレイ装置M1から切替可能な全方位マイクアレイ装置(例えば、全方位マイクアレイ装置M2,M3,M4)の概略位置を示すマーカ(例えばマーカM2R,M3R,M4R)を表示する(S46)。
ユーザは、監視対象物としての人物HM1のトラッキング位置A1からの移動方向MV1を考慮した上で、ユーザの指FGのタッチ操作により、3つのマーカのうちいずれかのマーカ(例えばマーカM3R)が選択される(S47、図27参照)。動作切替制御部38は、現在使用中の全方位マイクアレイ装置M1から、ユーザの指FGのタッチ操作により選択されたマーカM3Rに対応する全方位マイクアレイ装置M3に、通信部31及びネットワークNWを介して、収音の開始を指示する(S47)。
出力制御部34bは、ステップS47において選択されたマーカM3Rに対応する全方位マイクアレイ装置M3から、現時点の人物HM1のトラッキング位置への方向に、指向性を切り替える(S48)。また、出力制御部34bは、トラッキング画面TRW上に表示された全方位マイクアレイ装置M2,M3,M4の概略位置を示すマーカM2R,M3R,M4Rを消去する(S48)。
ステップS48の後、図31(B)に示す全方位マイクアレイ装置の手動切替処理が終了し、図9(A)、図9(B)又は図10(A)に示すステップS2に進む。なお、図31(B)に示す全方位マイクアレイ装置の手動切替処理の後に、図31(A)に示すカメラ装置の手動切替処理が行われても良い。
次に、本実施形態の指向性制御システム100Bにおける最適な全方位マイクアレイ装置の選択処理について、図32(A)、図32(B)及び図33を参照して説明する。図32(A)は、第2の実施形態の指向性制御システム100Bにおける最適な全方位マイクアレイ装置の選択処理の第1例を説明するフローチャートである。図32(B)は、第2の実施形態の指向性制御システム100Bにおける最適な全方位マイクアレイ装置の選択処理の第2例を説明するフローチャートである。図33は、第2の実施形態の指向性制御システム100Bにおける最適な全方位マイクアレイ装置の選択処理の第3例を説明するフローチャートである。
図32(A)において、ディスプレイ装置35に表示されたトラッキング画面TRW上において、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、監視対象物としての人物HM1の移動方向上の位置(トラッキングポイントに対応するトラッキング位置)が指定されると(S51)、この指定位置に関する情報(例えば座標)が動作切替制御部38に入力される(S52)。
動作切替制御部38は、各全方位マイクアレイ装置から、ステップS51において指定された指定位置に対応する実空間上の位置までの各距離、即ち、各全方位マイクアレイ装置から監視対象物としての人物HM1までの各距離を算出する(S53)。
動作切替制御部38は、ステップS53において算出された各距離の中で最小の距離が得られた全方位マイクアレイ装置を選択し、信号処理部34に対し、この選択された全方位マイクアレイ装置により収音された音声の音声データに対して指向性を形成するように指示する(S54)。
信号処理部34の出力制御部34bは、ステップS54における指示に応じて、ステップS54において動作切替制御部38により選択された全方位マイクアレイ装置から、監視対象物としての人物HM1の位置への方向に音声の指向性を形成し、指向性が形成された音声をスピーカ装置36から出力させる(S55)。
これにより、動作切替制御部38は、ユーザが監視対象物(例えば人物HM1)の移動方向を示す位置を簡易に指定することにより、移動中の監視対象物(例えば人物HM1)の発する音声を的確に収音することが可能な最適な全方位マイクアレイ装置を選択することができ、監視対象物(例えば人物HM1)の発する音声を高精度に収音することができる。
なお、ステップS55の後、図32(A)に示す最適な全方位マイクアレイ装置の選択処理が終了し、図9(A)、図9(B)又は図10(A)に示すステップS2に進む。なお、図32(A)に示す最適な全方位マイクアレイ装置の選択処理の後に、図31(A)に示すカメラ装置の手動切替処理が行われても良い。
図32(B)において、ディスプレイ装置35に表示されたトラッキング画面TRW上において、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、監視対象物としての人物HM1の移動方向上の位置(トラッキングポイントに対応するトラッキング位置)が指定されると(S61)、この指定位置に関する情報(例えば座標)が動作切替制御部38に入力される。
画像処理部37は、現在使用中のカメラ装置(例えばカメラ装置C1)により撮像された画像データに対して所定の画像処理を行うことにより、監視対象物としての人物HM1の顔の向きを検出する(S62)。画像処理部37は、監視対象物としての人物HM1の顔の向きの検出結果を動作切替制御部38に出力する。
動作切替制御部38は、ステップS61において指定された指定位置に関する情報(例えば画像データ上の位置を示す座標)と、ステップS62において画像処理部37から得られた人物HM1の顔の向きの検出結果とを用いて、人物HM1の顔の向きと、指定位置と、各全方位マイクアレイ装置との関係を算出する(S63)。例えば、動作切替制御部38は、ステップS61において指定された画像データ上の指定位置に対応する監視対象物(例えば人物HM1)の位置と各全方位マイクアレイ装置との距離を算出する。
動作切替制御部38は、監視対象物(例えば人物HM1)の顔の向きに沿う方向(例えば水平方向45度以内)にあって、かつ、ステップS61において指定された画像データ上の指定位置に対応する監視対象物(例えば人物HM1)の位置と各全方位マイクアレイ装置との距離の最小値が得られる全方位マイクアレイ装置を選択する(S64)。更に、動作切替制御部38は、信号処理部34に対し、ステップS64において選択された全方位マイクアレイ装置により収音された音声の音声データに対して指向性を形成するように指示する(S64)。
信号処理部34の出力制御部34bは、ステップS64における指示に応じて、ステップS64において選択された全方位マイクアレイ装置から、監視対象物としての人物HM1の位置への方向に音声の指向性を形成し、指向性が形成された音声をスピーカ装置36から出力させる(S65)。
これにより、動作切替制御部38は、監視対象物(例えば人物HM1)の画像データ上の顔の向きと監視対象物(例えば人物HM1)と各全方位マイクアレイ装置との距離とによって、移動中の監視対象物(例えば人物HM1)の発する音声を的確に収音することが可能な最適な全方位マイクアレイ装置を選択することができ、監視対象物(例えば人物HM1)の発する音声を高精度に収音することができる。
なお、ステップS65の後、図32(B)に示す最適な全方位マイクアレイ装置の選択処理が終了し、図9(A)、図9(B)又は図10(A)に示すステップS2に進む。なお、図32(B)に示す最適な全方位マイクアレイ装置の選択処理の後に、図31(A)に示すカメラ装置の手動切替処理が行われても良い。
図33において、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、出力制御部34bは、指向性制御システム100Bが管轄する全てのカメラ装置のカメラ画面をディスプレイ装置35に一覧表示する(S71)。ディスプレイ装置35に一覧表示された各カメラ画面の中で、音声トラッキング処理の対象となる監視対象物(例えば人物HM1)が映っているカメラ画面の中で、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、人物HM1の映りが最も良好なカメラ画面C1Wが選択されたとする(S72)。
動作切替制御部38は、ステップS72におけるユーザのカメラ画面の選択に応じて、人物HM1の画像の撮像に用いるカメラ装置として、カメラ画面に対応するカメラ装置を選択して切り替える。これにより、出力制御部34bは、カメラ画面に対応するカメラ装置により撮像された画像データを拡大して、ディスプレイ装置35のトラッキング画面TRW1上に表示させる(S73、図28の左下側参照)。
出力制御部34bは、動作切替制御部38により選択されたカメラ装置に対応付けられた全ての全方位マイクアレイ装置の概略位置を示すマーカ(例えば図28に示すマーカM1R,M2R,M3R,M4R)をトラッキング画面TRW1の四隅に表示させる(S74)。
出力制御部34bは、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作によりマーカM1R,M2R,M3R,M4Rが順次、指定されると(S75)、1つずつマーカを強調表示(例えばブリンクBr)させながら、それぞれのマーカについて、各マーカに対応する全方位マイクアレイ装置から人物HM1の位置への方向に指向性を形成した上で、一定時間収音した音声を出力する(S76)。
動作切替制御部38は、一定時間出力された音声の中でユーザが最適と判断した全方位マイクアレイ装置の概略位置を示すマーカ(例えばマーカM3R)が選択されると、選択されたマーカM3Rに対応する全方位マイクアレイ装置M3を、人物HM1の発する音声の収音に用いる全方位マイクアレイ装置として選択して切り替える(S77)。
なお、ステップS77の後、図33に示す最適な全方位マイクアレイ装置の選択処理が終了し、図9(A)、図9(B)又は図10(A)に示すステップS2に進む。なお、図33に示す最適な全方位マイクアレイ装置の選択処理の後に、図31(A)に示すカメラ装置の手動切替処理が行われても良い。
(第1の実施形態の変形例)
上述した各実施形態では、主に単一の監視対象物(例えば人物HM1)が画像データ上に映し出されている場合に、この単一の監視対象物としての人物HM1の移動に合わせた音声トラッキング処理について説明した。
第1の実施形態の変形例(以下、「本変形例」という)では、第1の実施形態又は第2の実施形態において、複数の監視対象物(例えば複数の人物)がトラッキング画面TRW上に現れている場合に、複数の人物を同じタイミング又は異なるタイミングに指定する場合の指向性制御システム100の動作例について説明する。なお、本変形例の指向性制御システムのシステム構成例は第1又は第2の実施形態の指向性制御システム100,100A,100Bと同一であるため、システム構成例の説明は簡略化又は省略し、異なる内容について説明する。以下、説明を簡単にするために、指向性制御システム100のシステム構成例を参照して説明する。
本変形例の指向性制御システム100の動作例について、図34及び図35を参照して説明する。図34は、第1の実施形態の変形例の指向性制御システム100における複数同時指定に基づく手動トラッキング処理の全体フローの一例を説明するフローチャートである。図35は、第1の実施形態の変形例の指向性制御システム100における複数の監視対象物の自動トラッキング処理の一例を説明するフローチャートである。図35では、指向性制御装置3A,3Bが用いられる。
なお、図34では、ステップS1のトラッキングモードの判定処理、ステップS2のトラッキング補助処理、ステップS6のトラッキング結線処理、及びステップS7の音声出力処理は、それぞれ例えば図9(A)に示すステップS1のトラッキングモードの判定処理、ステップS2のトラッキング補助処理、図9(A)に示すステップS6のトラッキング結線処理、及び図9(A)に示すステップS7の音声出力処理であるため、これらの説明は省略する。
図34において、トラッキングモードがオフであれば(S1、NO)、図34に示す複数同時指定に基づく手動トラッキング処理は終了するが、トラッキングモードがオンである場合には(S1、YES)、ディスプレイ装置35のトラッキング画面TRWにおいて、ユーザのマウス操作によるカーソルCSRのクリック操作又はユーザの指FGのタッチ操作により、現在スピーカ装置36から出力(再生)されている音声が一時停止される(S81)。ステップS81の後、トラッキング補助処理が行われる(S2)。
ステップS2の後、ユーザのマウス操作によるカーソルCSR又はユーザの指FGによる入力操作に応じて、監視対象物としての複数の人物の移動過程(移動経路)のトラッキング位置に対応するトラッキングポイントが、同時に複数指定されたとする(S82)。
トラッキング処理部34cは、ステップS82において指定された監視対象物としての人物毎に、トラッキング画面TRW上の複数の指定位置に対応する実空間上の位置及び指定時刻を区別して、それぞれトラッキングポイントのトラッキング位置及びトラッキング時刻として対応付けてメモリ33に保存する(S83)。更に、トラッキング処理部34cは、出力制御部34bを介して、監視対象物としての人物毎に、トラッキング画面TRW上のトラッキングポイントに区別してポイントマーカを表示させる(S83)。
出力制御部34bは、現在使用中の全方位マイクアレイ装置(例えば全方位マイクアレイ装置)M1から、ステップS82において同時に指定された複数の監視対象物としての人物毎のトラッキング位置に対応する各人物の実空間上の位置(音声位置、音源位置)への方向に、収音音声の指向性を形成する(S84)。ステップS84の後、トラッキング結線処理が行われる(S6)。
ステップS6の後、出力制御部34bは、ステップS81において一時停止していた音声のスピーカ装置36からの出力(再生)を再開する(S85)。ステップS85の後、音声出力処理が行われる(S7)。ステップS7の後、指向性制御装置3Bのトラッキングモードがオフになるまで、ステップS81からステップS7までの動作(ステップS81,S2,S82,S83,S84,S6,S85,S7の動作)が繰り返される。
図35において、ステップS3の後、指向性制御装置3A,3Bの画像処理部37は、公知の画像処理を行うことで、ディスプレイ装置35のトラッキング画面TRW上に、監視対象物としての人物の検出の有無を判定し、複数の人物を検出したと判定した場合には、判定結果(各人物の検出位置(例えば既知の代表点)及び検出時刻のデータを含む)を自動指定結果として、信号処理部34のトラッキング処理部34cに出力する(S91)。また、音源検出部34dは、公知の音源検出処理を行うことで、ディスプレイ装置35のトラッキング画面TRW上に、監視対象物としての人物の発する音声(音源)の位置の検出の有無を判定し、複数の音源の位置を検出したと判定した場合には、判定結果(音源の検出位置及び検出時刻のデータを含む)を自動指定結果として、トラッキング処理部34cに出力する(S91)。
トラッキング処理部34cは、ステップS91における直前の1つ以上の自動指定結果の推移を用いて、複数の監視対象物としての各人物の移動ベクトルを算出し、各人物の移動方向を推定する(S91)。
トラッキング処理部34cは、ステップS91における複数の監視対象物としての人物の移動方向の推定結果を用いて、自動指定された複数のトラッキングポイントに対応するトラッキング位置と前回の各自動指定結果とを対応付けて、トラッキング位置のペアとしてメモリ33に保存する(S92)。トラッキング処理部34cは、監視対象物としての人物毎に、トラッキング画面TRW上における各人物の指定位置及び指定時刻を区別して、それぞれトラッキングポイントのトラッキング位置及びトラッキング時刻として対応付けてメモリ33に保存する(S92)。更に、トラッキング処理部34cは、出力制御部34bを介して、監視対象物としての人物毎に、トラッキング画面TRW上のトラッキング位置に区別してポイントマーカを表示させる(S92)。
これにより、本変形例の指向性制御装置3,3A,3Bは、ディスプレイ装置35のトラッキング画面TRW上の画像データ上に映し出されている複数の監視対象物(例えば人物)がどのように移動しても、各人物の移動前の位置に向かう方向に形成された音声の指向性を、各人物の移動後の位置に向かう方向に形成するので、各人物の移動に伴って音声の指向性を追従して適正に形成することができ、監視者の監視業務の効率劣化を抑制できる。
以下、上述した本発明に係る指向性制御装置、指向性制御方法、記憶媒体及び指向性制御システムの構成、作用及び効果を説明する。
本発明の一実施形態は、複数のマイクを含む第1の収音部で収音された音声の指向性を制御する指向性制御装置であって、前記第1の収音部から、表示部の画像上の第1の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成する指向性形成部と、前記監視対象物の移動に応じて指定された、前記表示部の画像上の第2の指定位置に関する情報を取得する情報取得部と、を備え、前記指向性形成部は、前記情報取得部により取得された前記第2の指定位置に関する情報を用いて、前記第2の指定位置に対応する前記監視対象物への方向に、前記音声の指向性を切り替える、指向性制御装置である。
この構成では、指向性制御装置は、複数のマイクを含む第1の収音部から、表示部の画像上の第1の指定位置に対応する監視対象物への方向に音声の指向性を形成し、更に、移動している監視対象物を指定した第2の指定位置に関する情報を取得する。また、指向性制御装置は、表示部の画像上の第2の指定位置に関する情報を用いて、第2の指定位置に対応する監視対象物への方向に、音声の指向性を切り替える。
これにより、指向性制御装置は、表示部の画像上に映し出されている監視対象物が移動しても、監視対象物の移動前の位置に向かう方向に形成された音声の指向性を、監視対象物の移動後の位置に向かう方向に形成するので、監視対象物の移動に伴って音声の指向性を追従して適正に形成することができ、監視者の監視業務の効率劣化を抑制できる。
また、本発明の一実施形態は、前記情報取得部は、前記表示部の画像上で移動する前記監視対象物に対する指定操作に応じて、前記第2の指定位置に関する情報を取得する、指向性制御装置である。
この構成によれば、指向性制御装置は、表示部に映し出された画像上で移動する監視対象物を指定する簡易な操作によって、監視対象物の移動後の位置に関する正確な情報を容易に取得することができる。
また、本発明の一実施形態は、前記表示部の画像から前記監視対象物に対応する音源位置を検出する音源検出部と、前記表示部の画像から前記監視対象物を検出する画像処理部と、を更に備え、前記情報取得部は、前記音源検出部により検出された前記音源位置に関する情報、又は前記画像処理部により検出された前記監視対象物の位置に関する情報を、前記第2の指定位置に関する情報として取得する、指向性制御装置である。
この構成によれば、指向性制御装置は、表示部に映し出された画像から監視対象物の発する音声の音源、及び監視対象物自体を簡易に検出することができるので、音源の位置に関する情報又は監視対象物の位置に関する情報を、監視対象物の移動後の位置に関する情報として容易に取得することができる。
また、本発明の一実施形態は、前記音源検出部は、前記表示部の画像上に指定された初期位置を中心に、前記監視対象物に対応する音源位置の検出処理を開始し、前記画像処理部は、前記初期位置を中心に、前記監視対象物の検出処理を開始する、指向性制御装置である。
この構成によれば、指向性制御装置は、例えばユーザの指定操作によって、表示部に映し出された画像上において指定された初期位置(例えば監視対象物の位置に)を中心に、音源の位置に関する情報又は監視対象物の位置に関する情報の検出処理を開始するので、音源の位置の検出処理又は監視対象物の位置の検出処理を高速に行うことができる。
また、本発明の一実施形態は、前記音源検出部により検出された前記音源位置に関する情報、又は前記画像処理部により検出された前記監視対象物の位置に関する情報の変更操作に応じて、前記変更操作により指定された前記表示部の画像上の位置に関する情報を、前記第2の指定位置に関する情報として取得する、指向性制御装置である。
この構成によれば、指向性制御装置は、音源の位置の検出処理又は監視対象物の位置の検出処理により検出された音源の位置又は監視対象物の位置が間違っていた場合でも、例えばユーザの位置の変更操作によって画像上で指定された位置に関する情報を、監視対象物の移動後の位置に関する情報として容易に修正して取得することができる。
また、本発明の一実施形態は、前記情報取得部は、前記音源検出部により検出された前記音源位置と、前記画像処理部により検出された前記監視対象物の位置との距離が所定値以上である場合、前記音源位置に関する情報又は前記監視対象物の位置に関する情報の変更操作に応じて、前記変更操作により指定された前記表示部の画像上の位置に関する情報を、前記第2の指定位置に関する情報として取得する、指向性制御装置である。
この構成によれば、指向性制御装置は、音源の位置の検出処理又は監視対象物の位置の検出処理により検出された音源の位置と監視対象物の位置との距離が所定値以上であれば、例えばユーザの位置の変更操作によって、画像上で指定された位置に関する情報を、監視対象物の移動後の位置に関する情報として容易に修正して取得することができる。更に、指向性制御装置は、音源の位置の検出処理又は監視対象物の位置の検出処理により検出された音源の位置と監視対象物の位置との距離が所定値以上でなければ、例えばユーザの位置の変更操作を必要とすることなく、音源の位置又は監視対象物の位置を監視対象物の移動後の位置に関する情報として容易に取得することができる。
また、本発明の一実施形態は、一定期間にわたって撮像された画像を記憶する画像記憶部と、前記画像記憶部に記憶された前記画像を前記表示部に再生する画像再生部と、を更に備え、前記画像再生部は、所定の入力操作により、再生速度の初期値より小さい速度値で前記画像を再生する、指向性制御装置である。
この構成によれば、指向性制御装置は、一定期間にわたって撮像された画像を映像として表示部に再生する場合、ユーザの所定の入力操作(例えばスロー再生の指示操作)によって、再生速度の初期値(例えば映像の再生時に用いられる通常値)よりも小さい速度値でスロー再生することができる。
また、本発明の一実施形態は、撮像された画像を前記表示部に表示させる表示制御部、を更に備え、前記表示制御部は、前記表示部の画像上の指定位置への指定に応じて、前記指定位置を中心に所定倍率で前記画像を同一画面において拡大表示させる、指向性制御装置である。
この構成によれば、指向性制御装置は、例えばユーザの簡易な指定操作によって、表示部に映し出された画像上の指定位置を中心に、同一画面内において所定倍率で画像を拡大して表示させるので、同一画面上においてユーザの監視対象物の指定操作を簡易化することができる。
また、本発明の一実施形態は、撮像された画像を前記表示部に表示させる表示制御部、を更に備え、前記表示制御部は、前記表示部の画像上の指定位置への指定に応じて、前記指定位置を中心に所定倍率で前記画像を他の画面において拡大表示させる、指向性制御装置である。
この構成によれば、指向性制御装置は、例えばユーザの簡易な指定操作によって、表示部に映し出された画像上の指定位置を中心に、異なる画面内において所定倍率で画像を拡大して表示させるので、拡大表示されていない画面と拡大表示された画面とを対比させてユーザに監視対象物を簡易に指定させることができる。
また、本発明の一実施形態は、撮像された画像を前記表示部に表示させる表示制御部、を更に備え、前記表示制御部は、所定の入力操作に応じて、前記表示部の中心を基準に所定倍率で前記画像を拡大表示させる、指向性制御装置である。
この構成によれば、指向性制御装置は、例えばユーザの簡易な指定操作によって、表示部の中心を基準にして、所定倍率で画像を拡大して表示させるので、例えば表示部の中心付近に監視対象物が映っている場合には、ユーザに監視対象物を簡易に指定させることができる。
また、本発明の一実施形態は、前記表示制御部は、前記監視対象物の移動に応じて、前記画像が拡大表示された画面において前記指定位置が所定のスクロール判定線を超えた場合に、前記スクロール判定線を超えた方向に前記画面を所定量スクロールする、指向性制御装置である。
この構成によれば、指向性制御装置は、拡大表示された画面に映し出された監視対象物が移動したことにより、ユーザの指定位置がスクロール判定線を超えた場合に、スクロール判定線を超えた方向に画面を所定量、自動的にスクロールするので、画面が拡大表示された場合でも、ユーザの監視対象物の指定位置が画面から外れることを防ぐことができる。
また、本発明の一実施形態は、前記表示制御部は、前記監視対象物の移動に応じて、前記画像が拡大表示された画面において前記指定位置が所定のスクロール判定線を超えた場合に、前記指定位置が中心となるように前記画面をスクロールする、指向性制御装置である。
この構成によれば、指向性制御装置は、拡大表示された画面に映し出された監視対象物が移動したことにより、ユーザの指定位置がスクロール判定線を超えた場合に、ユーザの指定位置が画面の中心となるように画面を自動的にスクロールするので、画面が拡大表示された場合でも、ユーザの監視対象物の指定位置が画面から外れることを防ぐことができ、更に、移動を続ける画面上の監視対象物を簡易に指定させることができる。
また、本発明の一実施形態は、前記表示制御部は、前記画像が拡大表示された画面において、前記指定位置が前記画面の中心となるように前記画面をスクロールする、指向性制御装置である。
この構成によれば、指向性制御装置は、拡大表示された画面に映し出された監視対象物が移動したことにより、ユーザの指定位置が常に画面の中心となるように画面を自動的にスクロールするので、画面が拡大表示された場合でも、ユーザの監視対象物の指定位置が画面から外れることを防ぐことができ、更に、移動を続ける画面上の監視対象物を簡易に指定させることができる。
また、本発明の一実施形態は、前記画像処理部は、所定の入力操作に応じて、前記表示部の画像上の前記監視対象物の一部をマスキング処理する、指向性制御装置である。
この構成によれば、指向性制御装置は、例えばユーザの簡易な入力操作により、表示部の画面に映し出された監視対象物(例えば人物)の一部(例えば顔)をマスキング処理するので、監視対象物の人物が誰であるかを分かり難くすることでプライバシーを効果的に保護することができる。
また、本発明の一実施形態は、前記第1の収音部で収音された音声を音声出力部に出力させる音声出力制御部、を更に備え、前記音声出力制御部は、所定の入力操作に応じて、前記第1の収音部で収音された音声をボイスチェンジ処理して前記音声出力部に出力させる、指向性制御装置である。
この構成によれば、指向性制御装置は、例えばユーザの簡易な入力操作により、第1の収音部によりリアルタイムに収音されている音声をボイスチェンジ処理して音声出力するので、監視対象物(例えば人物)の発する音声を誰の音声か分かり難くすることで、現在撮像されている監視対象物の人物の音声上のプライバシーを効果的に保護することができる。
また、本発明の一実施形態は、一定期間にわたって前記第1の収音部で収音された音声を記憶する音声記憶部と、前記音声記憶部に記憶された前記音声を音声出力部に出力させる音声出力制御部と、を更に備え、前記音声出力制御部は、所定の入力操作に応じて、前記第1の収音部で収音された音声をボイスチェンジ処理して前記音声出力部に出力させる、指向性制御装置である。
この構成によれば、指向性制御装置は、例えばユーザの簡易な入力操作により、一定期間にわたって第1の収音部により収音された音声を音声出力する場合に、音声にボイスチェンジ処理を施して音声出力するので、監視対象物(例えば人物)の発する音声を誰の音声か分かり難くすることで、監視対象物の人物の音声上のプライバシーを効果的に保護することができる。
また、本発明の一実施形態は、前記監視対象物の移動に応じて指定される、1つ以上の前記表示部の画像上の指定位置に所定のマーカを表示させる表示制御部、を更に備える、指向性制御装置である。
この構成によれば、指向性制御装置は、例えばユーザが表示部に映し出されている監視対象物を指定する指定操作を行った場合に、表示部の画面上で指定された指定位置に所定のマーカを表示するので、移動中の監視対象物が通過した位置を軌跡として明示的に示すことができる。
また、本発明の一実施形態は、前記監視対象物の移動に応じて指定される、前記表示部の画像上の2つ以上の指定位置のうち、少なくとも現在の指定位置と直前の指定位置とを結線して表示させる表示制御部、を更に備える、指向性制御装置である。
この構成によれば、指向性制御装置は、表示部の画面に映し出された監視対象物が移動した場合にユーザの指定操作により指定された複数の指定位置のうち、少なくとも現在の指定位置と直前の指定位置とを結線して表示させるので、監視対象物の移動の一部の軌跡を明示的に示すことができる。
また、本発明の一実施形態は、前記監視対象物の移動に応じて指定される、前記表示部の画像上の全ての指定位置に対し、各指定位置に隣接する1つ又は2つの指定位置を結線した動線を表示させる表示制御部、を更に備える、指向性制御装置である。
この構成によれば、指向性制御装置は、表示部の画面に映し出された監視対象物が移動した場合にユーザの指定操作により指定された複数の指定位置の全てに対し、各指定位置に隣接する1つ又は2つの指定位置を結線して表示させるので、監視対象物の移動の全部の軌跡を明示的に示すことができる。
また、本発明の一実施形態は、前記表示部の画像上の全ての指定位置及び指定時刻のデータを含む指定リストを記憶する指定リスト記憶部と、前記表示制御部により表示された前記全ての指定位置を結線する動線上の任意の位置の指定に応じて、前記指定リスト記憶部に記憶された前記指定リストを用いて、前記動線上の指定位置における前記音声の再生開始時刻を算出する再生時刻算出部と、を更に備え、前記指向性形成部は、前記再生時刻算出部により算出された前記音声の再生開始時刻に最も近い前記指定時刻に対応する前記指定位置のデータを用いて、前記音声の指向性を形成する、指向性制御装置である。
この構成では、指向性制御装置は、監視対象物の移動中にユーザにより指定された全ての指定位置が結線して表示された場合に、動線上の任意のユーザ指定に応じて指定された位置における収音音声の再生開始時刻を算出し、この再生時刻に最も近い監視対象物の移動中に指定されたいずれかの指定時刻に対応して音声の指向性を形成する。
これにより、指向性制御装置は、監視対象物の移動の軌跡を示す動線上に対してユーザが任意に指定した位置(任意指定位置)に応じて、任意指定位置の次に指定されていた指定位置(トラッキング位置)に向かう方向に音声の指向性を事前に形成することができる。
また、本発明の一実施形態は、一定期間にわたって前記第1の収音部で収音された音声を記憶する音声記憶部と、前記音声記憶部に記憶された前記音声を音声出力部に出力させる音声出力制御部と、を更に備え、前記音声出力制御部は、前記再生時刻算出部により算出された前記音声の再生開始時刻に、前記音声を前記音声出力部に出力させ、前記指向性形成部は、前記音声の再生開始時刻から所定時間内に次の指定時刻がある場合、前記次の指定時刻に対応する前記指定位置のデータを用いて、前記音声の指向性を形成する、指向性制御装置である。
この構成では、指向性制御装置は、動線上の任意のユーザ指定に応じて指定された位置における音声の再生開始時刻における音声を再生させ、この音声の再生時刻から所定時間内に、監視対象物の移動中にユーザにより指定された次の指定時刻がある場合には、次の指定時刻に対応する指定位置のデータを用いて、音声の指向性を形成する。
これにより、指向性制御装置は、ユーザの任意指定位置に応じて算出された再生開始時刻における監視対象物の発した収音音声を明瞭に出力することができ、再生開始時刻から所定時間内に次の指定位置がある場合には、次の指定位置における音声の指向性を事前に形成することができる。
また、本発明の一実施形態は、前記表示部への画像の表示に用いる第1の撮像部に対応する所定の切替範囲を前記監視対象物が超えた場合に、前記表示部への画像の表示に用いる撮像部を、前記第1の撮像部から第2の撮像部に切り替える動作切替制御部、を更に備える、指向性制御装置である。
この構成では、指向性制御装置は、移動中の監視対象物が、表示部への画像の表示に用いる第1の撮像部に対応する所定の切替範囲を超えた場合には、表示部への画像の表示に用いる撮像部を、第1の撮像部から第2の撮像部に切り替える。
これにより、指向性制御装置は、移動中の監視対象物の画像を的確に映し出すことが可能な撮像部に適応的に切り替えることができ、ユーザの監視対象物の画像を簡易に指定させることができる。
また、本発明の一実施形態は、前記第1の収音部に対応する所定の切替範囲を前記監視対象物が超えた場合に、前記監視対象物の音声の収音に用いる収音部を、前記第1の収音部から第2の収音部に切り替える動作切替制御部、を更に備える、指向性制御装置である。
この構成では、指向性制御装置は、移動中の監視対象物が、監視対象物の音声の収音に用いる第1の収音部に対応する所定の切替範囲を超えた場合には、監視対象物の音声の収音に用いる収音部を、第1の収音部から第2の収音部に切り替える。
これにより、指向性制御装置は、移動中の監視対象物の発する音声を的確に収音することが可能な収音部に適応的に切り替えることができ、監視対象物の発する音声を高精度に収音することができる。
また、本発明の一実施形態は、所定の入力操作に応じて、複数の撮像部により撮像された各画像を異なる画面で前記表示部に一覧表示させる表示制御部と、前記表示制御部により前記表示部に一覧表示された各画面のうち、所定の選択可能な画面のうちいずれかの画面の選択操作に応じて、前記表示部への前記監視対象物の画像の表示に用いる撮像部を選択する動作切替制御部と、を更に備える、指向性制御装置である。
この構成では、指向性制御装置は、表示部への画像の表示に用いる撮像部を、表示部に一覧表示された複数の異なる画面から監視対象物の移動方向に合わせてユーザが指定した画面に対応する撮像部に切り替える。
これにより、指向性制御装置は、ユーザの簡易な操作によって、移動中の監視対象物の画像を的確に映し出すことが可能な撮像部に適応的に切り替えることができ、ユーザの監視対象物の画像を簡易に指定させることができる。
また、本発明の一実施形態は、所定の入力操作に応じて、前記第1の収音部から切替可能な周囲の複数の収音部の概略位置を示すマーカを前記表示部に表示させる表示制御部と、前記表示制御部により前記表示部に表示された複数の前記マーカのうち、いずれかのマーカの選択操作に応じて、前記監視対象物の音声の収音に用いる収音部を、前記第1の収音部から、選択された前記マーカに対応する他の収音部に切り替える動作切替制御部、を更に備える、指向性制御装置である。
この構成では、指向性制御装置は、例えばユーザの入力操作によって、第1の収音部から切り替え可能な周囲の複数の収音部の概略位置を示すマーカを表示部に表示させ、ユーザにより選択されたいずれかのマーカに応じて、監視対象物の音声の収音に用いる収音部を、第1の収音部から、選択されたマーカに対応する他の収音部に切り替える。
これにより、指向性制御装置は、ユーザの簡易な操作によって、移動中の監視対象物の発する音声を的確に収音することが可能な収音部に適応的に切り替えることができ、監視対象物の発する音声を高精度に収音することができる。
また、本発明の一実施形態は、前記動作切替制御部は、前記動作切替制御部により選択された前記撮像部により撮像された前記監視対象物の画像上の位置の指定に応じて、前記第1の収音部を含む複数の収音部から前記監視対象物までの距離が最も近い収音部を、前記監視対象物の音声の収音に用いる収音部として選択する、指向性制御装置である。
この構成では、指向性制御装置は、選択された撮像部により撮像された監視対象物の画像上の位置指定に応じて、第1の収音部を含む複数の収音部から監視対象物までの距離が最も近い収音部を、監視対象物の音声の収音に用いる収音部として選択する。
これにより、指向性制御装置は、ユーザが監視対象物の移動方向を示す位置を簡易に指定することにより、移動中の監視対象物の発する音声を的確に収音することが可能な最適な収音部を選択することができ、監視対象物の発する音声を高精度に収音することができる。
また、本発明の一実施形態は、前記表示部の画像から前記監視対象物の顔の向きを検出する画像処理部、を更に備え、前記動作切替制御部は、前記動作切替制御部により選択された前記撮像部により撮像された前記監視対象物の画像上の位置の指定に応じて、前記画像処理部により検出された前記監視対象物の顔の向きに対応する方向で、前記第1の収音部を含む複数の収音部から前記監視対象物までの距離が最も近い収音部を、前記監視対象物の音声の収音に用いる収音部として選択する、指向性制御装置である。
この構成では、指向性制御装置は、選択された撮像部により撮像された監視対象物の画像上の位置指定に応じて、この画像上の監視対象物の顔の向きが示す方向に存在し、かつ、第1の収音部を含む複数の収音部から監視対象物までの距離が最も近い収音部を、監視対象物の音声の収音に用いる収音部として選択する。
これにより、指向性制御装置は、監視対象物の画像上の顔の向きと監視対象物と収音部との距離とによって、移動中の監視対象物の発する音声を的確に収音することが可能な最適な収音部を選択することができ、監視対象物の発する音声を高精度に収音することができる。
また、本発明の一実施形態は、前記第1の収音部で収音された音声を音声出力部に出力させる音声出力制御部、を更に備え、前記表示制御部は、前記動作切替制御部により選択された前記撮像部に対応付けられた前記第1の収音部を含む複数の収音部の概略位置を示すマーカを前記表示部に表示させ、前記音声出力制御部は、前記動作切替制御部により選択された前記撮像部により撮像された前記監視対象物の画像上の位置の指定に応じて、前記表示部に表示された各マーカに対応する前記収音部から前記監視対象物への方向に指向性が形成された音声を順次、所定時間出力し、前記動作切替制御部は、前記音声出力制御部により出力された音声に基づくいずれかの前記マーカの選択操作に応じて、選択されたマーカに対応する収音部を、前記監視対象物の音声の収音に用いる収音部として選択する、指向性制御装置である。
この構成では、指向性制御装置は、選択された撮像部に対応付けられた第1の収音部を含む複数の収音部の概略位置を示すマーカを表示部に表示させ、移動中の監視対象物の画像上の位置指定に応じて、各マーカに対応する収音部から監視対象物への方向に指向性が形成された音声を順次、所定時間の間出力し、更に、選択されたいずれかのマーカに対応する収音部を、監視対象物の音声の収音に用いる収音部として選択する。
これにより、指向性制御装置は、選択された撮像部に対応付けられた複数の収音部において異なる指向性が形成された収音音声を一定時間にわたって出力することができるので、ユーザが最適と判断する収音音声を選択する簡易な操作を行うことにより、移動中の監視対象物の発する音声を的確に収音することが可能な最適な収音部を選択することができ、監視対象物の発する音声を高精度に収音することができる。
また、本発明の一実施形態は、複数のマイクを含む第1の収音部で収音された音声の指向性を制御する指向性制御装置における指向性制御方法であって、前記第1の収音部から、表示部の画像上の第1の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成するステップと、前記監視対象物の移動に応じて指定された、前記表示部の画像上の第2の指定位置に関する情報を取得するステップと、取得された前記第2の指定位置に関する情報を用いて、前記第2の指定位置に対応する前記監視対象物への方向に、前記音声の指向性を切り替えるステップと、を有する、指向性制御方法である。
この方法では、指向性制御装置は、複数のマイクを含む第1の収音部から、表示部の画像上の第1の指定位置に対応する監視対象物への方向に音声の指向性を形成し、更に、移動している監視対象物を指定した第2の指定位置に関する情報を取得する。また、指向性制御装置は、表示部の画像上の第2の指定位置に関する情報を用いて、第2の指定位置に対応する監視対象物への方向に、音声の指向性を切り替える。
これにより、指向性制御装置は、表示部の画像上に映し出されている監視対象物が移動しても、監視対象物の移動前の位置に向かう方向に形成された音声の指向性を、監視対象物の移動後の位置に向かう方向に形成するので、監視対象物の移動に伴って音声の指向性を追従して適正に形成することができ、監視者の監視業務の効率劣化を抑制できる。
また、本発明の一実施形態は、複数のマイクを含む第1の収音部で収音された音声の指向性を制御する指向性制御装置における処理を実行するプログラムが格納された記憶媒体であって、前記第1の収音部から、表示部の画像上の第1の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成するステップと、前記監視対象物の移動に応じて指定された、前記表示部の画像上の第2の指定位置に関する情報を取得するステップと、取得された前記第2の指定位置に関する情報を用いて、前記第2の指定位置に対応する前記監視対象物への方向に、前記音声の指向性を切り替えるステップと、を実行するプログラムが格納された、記憶媒体である。
この記憶媒体に格納されたプログラムが実行可能な指向性制御装置は、複数のマイクを含む第1の収音部から、表示部の画像上の第1の指定位置に対応する監視対象物への方向に音声の指向性を形成し、更に、移動している監視対象物を指定した第2の指定位置に関する情報を取得する。また、指向性制御装置は、表示部の画像上の第2の指定位置に関する情報を用いて、第2の指定位置に対応する監視対象物への方向に、音声の指向性を切り替える。
これにより、指向性制御装置は、表示部の画像上に映し出されている監視対象物が移動しても、監視対象物の移動前の位置に向かう方向に形成された音声の指向性を、監視対象物の移動後の位置に向かう方向に形成するので、監視対象物の移動に伴って音声の指向性を追従して適正に形成することができ、監視者の監視業務の効率劣化を抑制できる。
また、本発明の一実施形態は、収音領域を撮像する撮像部と、複数のマイクを含み前記収音領域の音声を収音する第1の収音部と、前記第1の収音部で収音された音声の指向性を制御する指向性制御装置と、を備え、前記指向性制御装置は、前記第1の収音部から、表示部の画像上の第1の指定位置に対応する監視対象物への方向に、前記音声の指向性を形成する指向性形成部と、前記監視対象物の移動に応じて指定された、前記表示部の画像上の第2の指定位置に関する情報を取得する情報取得部と、を備え、前記指向性形成部は、前記情報取得部により取得された前記第2の指定位置に関する情報を用いて、前記第2の指定位置に対応する前記監視対象物への方向に、前記音声の指向性を切り替える、指向性制御システムである。
このシステムでは、指向性制御装置は、複数のマイクを含む第1の収音部から、表示部の画像上の第1の指定位置に対応する監視対象物への方向に音声の指向性を形成し、更に、移動している監視対象物を指定した第2の指定位置に関する情報を取得する。また、指向性制御装置は、表示部の画像上の第2の指定位置に関する情報を用いて、第2の指定位置に対応する監視対象物への方向に、音声の指向性を切り替える。
これにより、指向性制御システムでは、指向性制御装置は、表示部の画像上に映し出されている監視対象物が移動しても、監視対象物の移動前の位置に向かう方向に形成された音声の指向性を、監視対象物の移動後の位置に向かう方向に形成するので、監視対象物の移動に伴って音声の指向性を追従して適正に形成することができ、監視者の監視業務の効率劣化を抑制できる。
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
本発明は、上述した従来の課題を解決するために、画像上の監視対象物が移動しても、監視対象物に対する音声の指向性を追従して適正に形成し、監視者の監視業務の効率劣化を抑制する指向性制御方法、記憶媒体及び指向性制御システムを提供することを目的とする。
本発明は、複数のマイクを含む第1のマイクアレイで収音された音声の指向性を制御する指向性制御装置における指向性制御方法であって、カメラにより撮像された収音領域の画像をディスプレイに表示する表示制御ステップと、前記ディスプレイに表示された前記画像に対するユーザ操作に基づく指定に応じて、指定された位置又は前記ディスプレイの中心を基準にして所定倍率で前記画像を拡大表示する拡大表示ステップと、前記ディスプレイにて拡大表示された前記画像に対するユーザ操作に応じて、前記第1のマイクアレイから、拡大表示された前記画像上の前記ユーザ操作に基づく第1の指定位置に対応する監視対象物への方向に、遅延和方式により前記音声の指向性を形成する指向性形成ステップと、前記監視対象物の移動に応じて指定された、前記ディスプレイの画像上の第2の指定位置に関する情報を取得する情報取得ステップと、を備え、前記指向性形成ステップは、前記情報取得ステップにより取得された前記第2の指定位置に関する情報を用いて、前記第2の指定位置に対応する前記監視対象物への方向に、前記遅延和方式により前記音声の指向性を切り替える、指向性制御方法である。
また、本発明は、複数のマイクを含む第1のマイクアレイで収音された音声の指向性を制御する指向性制御装置における処理を実行するプログラムが格納された記憶媒体であって、カメラにより撮像された収音領域の画像をディスプレイに表示する表示制御ステップと、前記ディスプレイに表示された前記画像に対するユーザ操作に基づく指定に応じて、指定された位置又は前記ディスプレイの中心を基準にして所定倍率で前記画像を拡大表示する拡大表示ステップと、前記ディスプレイにて拡大表示された前記画像に対するユーザ操作に応じて、前記第1のマイクアレイから、拡大表示された前記画像上の前記ユーザ操作に基づく第1の指定位置に対応する監視対象物への方向に、遅延和方式により前記音声の指向性を形成するステップと、前記監視対象物の移動に応じて指定された、前記ディスプレイの画像上の第2の指定位置に関する情報を取得するステップと、取得された前記第2の指定位置に関する情報を用いて、前記第2の指定位置に対応する前記監視対象物への方向に、前記遅延和方式により前記音声の指向性を切り替えるステップと、を実行するプログラムが格納された、記憶媒体である。
更に、本発明は、収音領域を撮像するカメラと、複数のマイクを含み前記収音領域の音声を収音する第1のマイクアレイと、前記第1のマイクアレイで収音された音声の指向性を制御する指向性制御装置と、を備え、前記指向性制御装置は、カメラにより撮像された収音領域の画像をディスプレイに表示し、前記ディスプレイに表示された前記画像に対するユーザ操作に基づく指定に応じて、指定された位置又は前記ディスプレイの中心を基準にして所定倍率で前記画像を拡大表示する出力制御部と、前記ディスプレイにて拡大表示された前記画像に対するユーザ操作に応じて、前記第1のマイクアレイから、拡大表示された前記画像上の前記ユーザ操作に基づく第1の指定位置に対応する監視対象物への方向に、遅延和方式により前記音声の指向性を形成する指向性形成部と、前記監視対象物の移動に応じて指定された、前記ディスプレイの画像上の第2の指定位置に関する情報を取得する情報取得部と、を備え、前記指向性形成部は、前記情報取得部により取得された前記第2の指定位置に関する情報を用いて、前記第2の指定位置に対応する前記監視対象物への方向に、前記遅延和方式により前記音声の指向性を切り替える、指向性制御システムである。