JP3817309B2 - カメラ制御システム - Google Patents
カメラ制御システム Download PDFInfo
- Publication number
- JP3817309B2 JP3817309B2 JP27230196A JP27230196A JP3817309B2 JP 3817309 B2 JP3817309 B2 JP 3817309B2 JP 27230196 A JP27230196 A JP 27230196A JP 27230196 A JP27230196 A JP 27230196A JP 3817309 B2 JP3817309 B2 JP 3817309B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- display
- image
- voice input
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は少なくとも１つ以上のカメラを複数人で遠隔操作するカメラ制御システムに関するものである。
【０００２】
【従来の技術】
近年、本出願人により、複数の遠隔地の状況を把握するためのツールとして、カメラ制御システムと呼ばれるシステムの研究開発が進められている。
【０００３】
このシステムでは、遠隔操作により制御可能なカメラ、音声を入力する音声入力装置、また、カメラから入力された画像および音声入力装置から入力された音声を、ネットワークを通じて送受信する画像通信端末装置が複数の地点に配置されている。
【０００４】
そして、複数の地点の画像通信端末装置から送信された画像信号を変換することにより、画像をモニタに表示し、また、音声信号を変換することにより、音声をスピーカに出力することによって、カメラが設置された場所の状況を把握することができる構成となっている。
【０００５】
上述のようなカメラ制御システムにおいては、特に操作対象となるカメラの数が多くなるほど、使用者が各カメラの設置場所を容易に把握できることが必要であり、そのため、各カメラの位置および方向を示す指標として、アイコンを地図画面上に重畳して表示する方式が本出願人により提案されている。
【０００６】
このようなカメラ制御システムでは、システムを利用するどのユーザもネットワークで接続されているカメラを自由に遠隔制御することができる。
【０００７】
しかし、これによって遠隔操作されるカメラの撮影範囲にいるものにとって、あたかも監視される状況になり、また強い不快感を受けることになる。また、ユーザが自由にカメラ、あるいは音声入力装置を遠隔制御されてしまうと、ユーザ側に知られたくない領域の状況が把握されてしまい、セキュリティー面においても不安であり、そのような点を考慮することが必要となってくる。
【０００８】
そこで、本出願人は、地図画面上で各カメラについて撮影を許さない範囲を設定し、遠隔操作することにより、その撮影不許可範囲を物理的かつ実質的に撮影不可能にした制御システムを提案している。
【０００９】
【発明が解決しようとする課題】
しかしながら、従来のカメラ制御システムにおいては、撮影不許可範囲の音声情報が入力されてしまう恐れがある。
【００１０】
また、カメラのパン、チルト、ズームといった制御動作を実行しても、そのカメラの制御動作に対応した音声情報が得られないという問題点がある。
【００１１】
本出願の目的は、画像不許可領域の音声入力を禁止することにある。また、画像出力に応じた臨場感のある音声出力を提供することにある。
【００１２】
【課題を解決するための手段】
本発明によれば、ネットワーク上に接続されたカメラの画像情報および前記カメラ付近の音声情報を伝達するカメラ制御システムにおいて、前記カメラから入力される画像の表示禁止区域を設定する設定手段により設定された前記表示禁止区域と前記カメラの撮影範囲が重なるとき、前記表示禁止区域の画像の表示を実質的に禁止する表示禁止手段と、前記表示禁止手段により、前記表示禁止区域の方向範囲の表示を実質的に禁止していないとき、前記カメラの撮影範囲の変更動作に音声入力手段を連動させることで、前記撮影範囲の音声を入力するように前記音声入力手段の指向性を制御し、前記表示禁止手段により、前記表示禁止区域の方向範囲の表示を実質的に禁止しているとき、前記撮影範囲に含まれる前記表示禁止区域の音声を入力しないように前記音声入力手段の指向性を制御する音声入力制御手段とを備えることを特徴とする。
【００２１】
【発明の実施の形態】
図１は本実施の形態におけるカメラ制御システムのブロック図である。
【００２２】
画像通信端末装置１０１は、ネットワーク１０５を介して複数の画像通信端末装置１０１と画像信号および音声信号などを送受信する。
【００２３】
カメラ１１１は、ネットワーク１０５を介して伝送された制御指令などにより制御され、接続されている各画像通信端末装置１０１周辺を撮影する。カメラ制御回路１１２は、カメラ１１１のパン、チルト、ズーム、焦点などをＣＰＵ１１６からの制御指令、あるいは、ネットワークから伝送されてきたカメラの制御指令によって制御する。
【００２４】
１１７は主記憶部であり、後述のカメラ管理サーバ２０２あるいは２次記憶装置１１８から呼び出した管理情報を、一時的に記憶する。
【００２５】
２次記憶装置１１８は、ハードディスクなどからなり、地図を記憶したり、また、使用者記憶手段としてネットワークを使用するユーザ名を記憶したり、地図に重畳するカメラ指標手段としてのカメラアイコン、マイク指標手段としてのマイクアイコンの位置などを記憶したりするものである。
【００２６】
マウス１１９は、モニタ１２５上で操作を行なうポインティングデバイスであり、ビットマップディスプレイ１１５は、複数のウインドウを表示するウインドウ表示システムが動作可能なディスプレイである。
【００２７】
ビデオキャプチャ装置１１３は、カメラ１１１によって取り込まれた画像信号をＡ／Ｄ変換し、さらに圧縮符号化して、ネットワークＩ／Ｆ１１４を介し、ネットワーク１０５上に送出する。このとき、ネットワークによりつながれている複数の画像通信端末装置へ情報の同時伝送が可能なように、マルチキャストないしブロードキャスト通信などが用いられる。
【００２８】
マイク１２１は、接続される画像通信端末装置１０の周辺の音声入力手段として音声を入力し、電気的な音声信号に変換するものである。ユーザはこのマイク１２１の指向性をネットワーク１０５を介しての遠隔操作が可能である。
【００２９】
音声入力制御回路１２２は、マイク１２１の指向性と入力レベルなどをコンピュータからの指令により制御する制御手段である。また、マイク１２１の音声信号をＡ／Ｄ変換し、さらに圧縮符号化した後、ネットワークＩ／Ｆ１１４を通じてネットワーク上に送信する。
【００３０】
このとき、音声についても、画像と同時に複数地点での音声の伝達が可能である。
【００３１】
さらに、この音声入力制御回路１２２は、カメラ１１１のパン、チルト、ズームといった操作に対応して、後述するマイク１２１の指向性（音声入力範囲、入力方向、入力感度）を制御する。
【００３２】
音声出力手段として、本実施例のカメラ制御システムは、以下を有する。１２３は、音声を出力するスピーカ部、また、音声出力制御回路１２４は、ネットワーク１０５から伝送されたデータを伸長し、Ｄ／Ａ変換した信号をスピーカ部１２３へ出力させる。その際、音声出力制御回路１２４は、スピーカ部１２３の音場（広がり、方向、奥行き）を、ＣＰＵ１１６からの指令により制御したものを音声として出力させている。ここで、スピーカ部１２３におけるスピーカは、複数接続されてもよい。
【００３３】
モニタ１２５は、カメラ１１１から入力された画像情報を表示し、また、地図表示手段として、２次記憶装置に記憶された地図などを表示する。
【００３４】
画像表示制御回路１２６は、モニタ１２５に画像を表示させるため、ネットワークから伝送されてきた画像信号を伸長し、Ａ／Ｄ変換したのち、ＮＴＳＣなどの規格化された信号に変換し、モニタ１２５に表示させる。
【００３５】
また、カメラ１１１、音声入力制御回路１２２、音声出力制御回路１２４は、ネットワーク経由で遠隔操作可能とする。
【００３６】
図２は、本実施の形態のソフトウエアを示すブロック図である。図２において、複数の画像通信端末装置２０１、後述するカメラ管理サーバ２０２および音声入力管理サーバ２０３がコンピュータネットワーク２０４に接続されている。
【００３７】
カメラ制御サーバ２１１は、自端末で入力されるかあるいはネットワークを経由して得られたカメラ制御信号の操作指令により、カメラ２１７を制御する。
【００３８】
また、画像送受信ソフトウエア２１２は、カメラ制御サーバ２１１によってカメラ１２７を駆動させることにより得られた画像情報を、ユーザの操作指令に応じて画像通信端末装置２０のモニタに表示させたり、他の画像通信端末装置２０に送信させたりする。
【００３９】
また、音声入力制御サーバ２１４は、画像通信端末装置２０から入力された制御信号に従い、マイク２１９の指向性を制御し、音声を入力させる。
【００４０】
また、音声送受信ソフトウエア２１５は、ユーザ操作により指定された端末に供給したり、ネットワーク２０４を介して他端末から転送された音声信号を自端末のスピーカ２２０に供給したりするソフトウエアである。
【００４１】
カメラ管理サーバ２０２は、ネットワーク２０４に接続する画像通信端末装置２０に備えられているすべてのカメラ２１７を管理するソフトウエアであり、各カメラ２１７のカメラ名、あるいはホスト名(使用者名)、また各カメラ２１７の設置位置および現在の使用状況などの情報を保有する。
【００４２】
また、カメラ管理サーバ２０２は、また、ネットワーク２０４を介して新たに利用可能になったカメラの登録と、ネットワーク２０４からの分離に伴う抹消を管理するだけでなく、カメラの各ユーザに対して登録された表示禁止区域を記憶管理する区域記憶手段としての役割などを果たし、さらに、これらのカメラ制御システムの管理情報を、すべてのカメラ制御クライアント２１３に定期的に伝達するか、あるいは要求に応じて各端末装置２０１に告知する。
【００４３】
音声入力管理サーバ２０３は、ネットワーク２０４に接続する画像通信端末装置に備えられたすべてのマイク２１９を管理するソフトウエアであり、各マイク２１９の設置位置および現在の使用状況などの情報を保有する。
【００４４】
また、音声入力管理サーバ２０３は、ネットワーク２０４を介して新たに利用可能になったマイク２１９の登録と、ネットワーク２０４からの分離に伴う抹消を管理するだけでなく、各マイク２１９の管理情報をすべての音声入力制御クライアント２１３に定期的あるいに伝達するか、あるいは要求に応じて各端末装置２０１に告知する。
【００４５】
カメラ制御クライアント２１３は、ネットワーク２０４を介して利用可能なすべてのカメラ２１７の配置および方向などの情報を、カメラ２１７の位置を示す指標としてアイコンを用い、そのアイコンを地図上に重ねてモニタ２１８の画面上に表示し、さらにカメラ管理サーバ２０２から定期的に送られてくるカメラ情報をもとに、各カメラ２１７のアイコンの表示状態を実時間で更新し、送られてくる情報の中で、必要な情報を、２次記憶装置にする。
【００４６】
音声入力制御クライアント２１６は、ネットワーク２０４を介して、マイクの配置及び方向などを、マイクの指標手段としてマイクアイコンを用い、そのマイクアイコンを地図上に重ね、モニタ２１８の画面上に表示させる。
【００４７】
また、音声入力制御クライアント２１６は、音声入力管理サーバ２０３から定期的に送られてくる指向性、位置、使用状況などの情報をもとに、各マイクアイコンの表示状態を実時間で更新する。
【００４８】
図３は、カメラ制御クライアント２１３及び音声入力制御クライアント２１６によりモニタ２１８に表示されるカメラ表示制御パネルの１例である。
【００４９】
地図表示手段としてモニタに表示される地図ウインドウ６０は、操作可能なカメラ及びマイクの設置場所を示す地図を表示し、その地図上に、各カメラの設置位置及び方向を示すカメラ指標手段としてのカメラアイコンと、各マイクの設置位置及び指向性を示すマイク指標手段としてのマイクアイコンを、重畳して表示する。
【００５０】
カメラ操作パネル６４は、指定されたカメラを、パン、チルト制御するための回転操作ボタン７５と、ズーム制御するためのテレ、ワイド操作するズーム操作ボタン７６を備える。
【００５１】
なお、本実施の形態では、複数のウインドウを同時表示可能なウインドウ表示システムが動作しているものとする。
【００５２】
地図ウインドウ６０には、オフィスなどの座席配置などを示す地図が２次記憶装置から呼び出すことにより表示され、そのオフィスなどに設置される個々のカメラおよびマイクの配置場所を、カメラ管理サーバ２０２、音声入力管理サーバ２０３からの情報をもとに、ＣＰＵ１１６によって、カメラアイコン、マイクアイコンが表示されている。
【００５３】
各カメラアイコン６６は、画像表示または遠隔操作のために選択されているカメラ、他のユーザによって使用されているカメラ、及び誰にも使用されていないカメラを相互に識別できるように、それぞれＣＰＵ１１６によって別の色で表示される。
【００５４】
指定されたカメラが操作不能の場合（例えば、アクセスしようとしたカメラがすでに他のユーザによって操作されている場合）は、ＣＰＵ１１６の制御により、回転操作ボタン及びズーム操作ボタンが操作不能の表示態様になる。
【００５５】
例えば、あるカメラにアクセス（ここでは遠隔操作）する場合、目的のカメラアイコンをダブルクリックする。
【００５６】
これに応じて、カメラ制御クライアント２１３はカメラの操作権を要求し、カメラ管理サーバ２０２から得られる後述するカメラ状態リストなどを参照し、そのカメラの操作権がすでに別のユーザに付与されているかどうか調べ、そのカメラの操作権がすでに別のユーザに付与されていない場合は、そのカメラの遠隔操作（画像の表示も含む。）を許可し、そうでなければ操作を拒否する。
【００５７】
操作が許可されると、カメラ画像ウインドウ６２にそのカメラの出力画像が表示され、カメラ操作パネル６４による操作が可能となる。
【００５８】
このとき、音声入力制御回路１２２は、その画角に対応してマイク１２１の指向性を、音声出力制御回路１２４は、スピーカ１２３の音場を、各画像通信端末装置１０１のＣＰＵ１１６によって制御する。
【００５９】
例えば、パン、チルト操作によりカメラ１１１の向きが変化した場合には、マイク１２１の指向性とスピーカ１２３の音場をカメラの向きに合わせて変化させる。
【００６０】
また、ズーム操作によりカメラ１１１の画角が狭まった場合は、音声入力制御回路１２２によりマイク１２１の感度を上げ、スピーカ１２３の音場の奥行きをカメラの撮影範囲にあわせて変化させる。
【００６１】
また、ズーム操作により遠距離の対象物が撮影されている場合、音声入力制御回路１２２は、そのポイントに対してのみ音声入出力を行なえるようにマイクの指向性とスピーカの音場を制御する。
【００６２】
このように、音声入力制御クライアント２１６は、カメラ制御に連動してカメラの、パンチルト方向及び画角に対し、マイクの指向性（広がり、方向、感度）、スピーカの音場（広がり、方向、奥行き）を一致させる機能を備えている。
【００６３】
本実施の形態のカメラ制御システムにおいては、カメラの撮影を許可しない撮影不許可領域を設定できるようにしている。以下にその撮影不許可領域の設定手段および変更手段を示す。
【００６４】
ユーザが撮影不許可領域設定ボタン６８をクリックすると、カメラ制御クライアント５６は、地図ウインドウ６０に図４に示すように縦横の線を描画する。これらの線で分割される領域が、撮影不許可領域設定基本単位となる。
【００６５】
撮影不許可領域を設定したいとき、ユーザは、地図ウインドウ６０上で、撮影されたくない分割領域をマウス１１９を用いて画面上で指定する。指定された分割領域（図４の領域９２）は、他の分割領域と判別しやすいように赤色で囲まれて表示される。
【００６６】
このような撮影不許可領域の設定は、個々のユーザに対して設定することができ、カメラ管理サーバ２０２に登録されているユーザに応じて設定し、再登録することによって設定される。
【００６７】
また、撮影不許可領域を解除したいときには、クリアボタン７０をクリックすることによって解除する。
【００６８】
撮影不許可領域が設定されると、カメラ制御クライアント２１３は、表示禁止手段として、その撮影不許可領域を画像ウインドウ６２中で表示しないように、以下の方法により制御する。
【００６９】
図５は、撮影不許可が設定され、その不許可領域にカメラ向けて撮影したときの画像ウインドウ６２の表示例である。
【００７０】
撮影不許可が設定された領域へカメラがパンすると、同図のように撮影不許可設定された領域は画像が隠蔽されて真黒に表示され、撮影不許可領域外の部分は通常と同様な画像が表示される。
【００７１】
そして、カメラ制御により、画像表示範囲が変わると、それに連動して撮影不許可設定領域の黒く表示されている表示部分も動く。
【００７２】
撮影不許可設定領域の表示方法は、例えば、図１３のように、撮影不許可範囲の領域の解像度を、通常の表示領域と比較して著しく下げたり、あるいはモザイク状にして表示させたり、あるいは図１４のように、ブラインド状にして撮影不許可領域のほんの一部だけを表示させてもよい。
【００７３】
図６は、撮影不許可領域の表示動作に関するカメラ管理サーバ２０２、音声入力管理サーバ２０３のフローチャートである。図６に沿って、撮影表示不許可領域の存在する表示の流れを示す。
【００７４】
まず、撮影不許可領域が設定または変更されると、その情報がカメラ制御クライアント２１３からカメラ管理サーバ２０２に通知される（ｓ７０１）。
【００７５】
すると、カメラ管理サーバ２０２は、設定された撮影不許可領域の座標情報（矩形の対角点の座標情報）を計算する。
【００７６】
そして、使用者が、撮影不許可領域付近のカメラを選択したとき、音声入力制御クライアント２１６は、そのカメラに応じたマイクを選定する（ｓ７０２）。
【００７７】
次に、ｓ７０２で選定されたカメラｉに対し、カメラ管理サーバ２０２は、カメラｉに対する撮影不許可方向を計算しその情報を格納しておく（ｓ７０３）。
【００７８】
次に、カメラｉがどこかの通信端末上で他のユーザによって遠隔操作され、画像表示されているか調べる。カメラｉが他の端末によって使用されていない場合、カメラｉから入力された画像の表示が可能である（ｓ７０４）。
【００７９】
カメラ管理サーバ２０２は、撮影不許可領域が設定されているときは、常にカメラｉによる撮影不許可領域の方向が、現在の撮影範囲の方向（画像ウインドウ６２に表示されている範囲）と重なっているかどうか調べる（ｓ７０５）。
【００８０】
撮影不許可領域の方向が、現在の撮影範囲の方向と重なっている場合は、カメラ管理サーバ２０２は、カメラｉが接続する画像通信端末装置２０１の画像送受信ソフトウエア２１２に、画像ウインドウ６２のカメラｉによる表示において、画像の撮影不許可領域の表示には黒い領域を、図５のように画像に合成出力するよう指示する。
【００８１】
さらに、この撮影不許可領域が表示されているとき、音声入力管理サーバ２０３は、カメラ管理サーバ２０２の撮影不許可領域表示の指令を受けて、音声入力を禁止するように指示する（ｓ７０６）。
【００８２】
画像送受信ソフトウエア２１２は、ネットワークを介して伝送して得られた合成画像信号を受け取り、伸長してディスプレイ上に表示する（ｓ７０７）。
【００８３】
ｓ７０３におけるカメラｉの撮影不許可領域の方向は、次のように求まる。
【００８４】
図７は、カメラｉと撮影不許可領域の位置関係を上から見た図であるが、そのカメラｉの設置位置と不許可領域の座標から、カメラｉの撮影不許可範囲の角度θｄ（ｄ<θｄ<Ｄ）を計算する。ｄおよびＤは、ある水平方向を基準とした角度で表される。
【００８５】
音声入力制御クライアント２１６は、撮影不許可領域の合成出力が表示されているときは、スピーカ２２０による音声の出力を禁止する、音声出力禁止手段としての役割を果たす。
【００８６】
また、音声入力制御クライアントは、撮影不許可領域の音声を受信しないようにマイク１２１の指向性を制御してスピーカ２２０から撮影不可領域の音声の出力をさせないようにしてもよい。
【００８７】
図８は、カメラ管理サーバ２０２が有する、個々のカメラの、固定情報および現状の情報を格納するカメラ状態のテーブルの一例である。このカメラ状態テーブルには、カメラ番号、カメラ名、ホスト名(使用者名)、地図上のカメラ設置位置座標、起動時のカメラの中心の初期方向、および現在の方向、現在の撮影可能範囲などの情報が格納されている。
【００８８】
カメラ管理サーバ２０２は、常にカメラ状態テーブルをチェックし、選定されたカメラの撮影不許可方向との重なりを監視している。
【００８９】
また、カメラ管理サーバ２０２は、カメラ状態テーブルの内容を定期的にカメラ制御クライアント２１３に送り、さらにカメラ管理サーバ２０２からの情報に基づき、ディスプレイ２１８に表示される地図ウインドウ６０上でのカメラアイコンの向きを更新する。
【００９０】
図１５は、音声入力管理サーバ２０３に格納されている個々のマイクの固定情報および現状を格納するマイク状態テーブルの一例である。マイク番号、マイク名、ホスト名(使用者名)、地図上のマイク設置位置座標、起動時のマイクの中心の初期方向、および現在の音声入力可能範囲の方向などの情報を格納している。
【００９１】
音声入力管理サーバ２０３は、常に図１５で示すようなマイク状態テーブルをチェックし、選定されたマイクの音声入力許可方向と入力方向との重なりを監視している。
【００９２】
また、音声入力管理サーバ２０３は、マイク状態テーブルの内容を定期的に音声入力制御クライアント２１６に送り、音声入力制御クライアント２１６は、音声入力管理サーバ２０３からの情報に基づき、ディスプレイ２１８に表示される地図ウインドウ６０上でのマイクアイコンの向きを更新して表示する。
【００９３】
つぎに、撮影不許可範囲を黒く表示するための表示位置の算出方法を説明する。
【００９４】
撮影不許可領域から求められるカメラの撮影不許可方向と、現在のカメラの撮影方向により、画像ウインドウの撮影不許可範囲の表示、つまり図５のような黒く表示する部分を計算して求め、画像送受信ソフトウエア２１２により、合成のための画像処理を行なう。
【００９５】
合成表示の形態は、撮影可能範囲θａ（ａ<θａ<Ａ：ｄおよびＤと同一のある水平方向を基準とした角度で表される。）と撮影不許可範囲θｄ（ｄ<θｄ<Ｄ）の重なりかたにより（１）Ａ＞Ｄ＞ａ＞ｄ、（２）Ａ＞Ｄ＞ｄ＞ａ、（３）Ｄ＞Ａ＞ｄ＞ａの３つのパターンがあり、（１）は図９に、（２）は図１０に、（３）は図１１に対応した画像ウインドウの様子を示す。
【００９６】
画像表示領域中に黒い部分を合成して表示するためには、画像ウインドウの矩形領域の中で、どの部分を黒く表示するか計算して求める必要がある。
【００９７】
図１２は、（１）Ａ＞Ｄ＞ａ＞ｄの場合の撮影不許可方向を示している。ここで、Ｗは画像を表示する領域の横の長さであり、ｗは画像の表示を禁止して黒く表示させる領域の横の長さである。
【００９８】
図１２において、Ｗとｗの比は、
Ｗ:ｗ＝〔tan{(Ａ-ａ)/2}+tan{(Ａ+ａ)/2-D}〕:〔tan{(Ａ-ａ)/2}-tan{(Ａ+ａ)/2-D}〕
と表される。
【００９９】
同様に、（２）Ａ＞Ｄ＞ｄ＞ａおよび（３）Ｄ＞Ａ＞ｄ＞ａの場合においても簡単な計算をすることによってＷとｗの比を求めることができる。
【０１００】
以上述べたように、カメラのパン、チルト方向および画角に対して、マイクの指向性（広がり、方向、感度）が一致するように制御し、さらに撮影不許可領域の音声を取り込まないように音声入力を制御することで、より臨場感のあるシステムが実現できるとともに、無用な音声出力禁止を避けることができるカメラ制御システムを提供することができる。
【０１０１】
また、上記の説明では、カメラ制御と音声入力制御とが連動していたが、カメラの制御と独立して音声入力を制御することも可能である。
【０１０２】
例えば、図３の地図ウインドウ６０において、マイクアイコンをクリックして指定すると、音声入力制御クライアント２１６は、音声入力管理サーバ２０３にそのマイクの操作権を要求し、その要求に応じて音声入力管理サーバ２０３は、マイク状態リストなどを参照する。
【０１０３】
そして、指定されたマイクの操作権が別のユーザに付与されていないときには、そのマイクの遠隔操作を許可する。別のユーザに付与されているときには、そのマイクの遠隔操作を拒否する。
【０１０４】
遠隔操作が許可されると、音声の入力制御クライアント２１６は、地図ウインドウ６０に７１のようなマイクアイコンの表示をし、カメラから独立した局所的な音声を受信していることをユーザに知らせる。
【０１０５】
以上述べたように、カメラの制御と独立した音声制御を行なうことで、地図の中の局所的な部分の音声（例えば、特定の個人の発言など）のみを受信することが可能になる。
【０１０６】
また、複数のカメラにユーザがアクセス(遠隔操作)した場合、１つのマイクを選択しなければならないが、どの地点の音声であるか分かりづらい。そこで、図３において、地図ウインドウ６０に現在の音声受信状況を表示する。
【０１０７】
音声入力制御クライアント２１６は、現在自端末で受信している音声の位置を地図ウインドウ６０に表示する際、マイクの音声領域が視覚的に分かるように、７１、７２のアイコンのように表示している。
【０１０８】
さらに、音声入力制御クライアント２１６は、音声入力管理サーバ２０２から得られる音声管理情報をもとに、現在出力されている音声が、どこのマイクから入力されている音声かを視覚的に把握できるように、現在出力されている発信源のマイクの指標を点滅させたりして、他のマイクの指標とは異ならせるようにする。
【０１０９】
このように、受信している音声の音源の状態（指向性、感度など）を地図上に表示することで、どこの音声であるかを視覚的に確認することができる。
【０１１０】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されているプログラムコードを読み出し実行することによっても達成できる。
【０１１１】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１１２】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１１３】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１１４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【０１１５】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、本発明のカメラ制御システムに不可欠なモジュールを、記憶媒体に格納することになる。
【０１１６】
本発明は、少なくとも、各ユーザに対する表示可能な地図を選択する「地図選択モジュール」、各ユーザに対する表示可能なカメラをの領域を設定する「カメラ設定モジュール」の各プログラムコードを記憶媒体に格納すればよい。
【０１１７】
【発明の効果】
以上説明したように、本願発明によれば、画像の表示禁止区域内の音声の入力を禁止しているので安全性の優れたカメラ制御システムを提供することができる。
【０１１８】
また、カメラに応じて音声の指向性を制御しているので非常に臨場感のあふれたカメラ制御システムを提供することができる。
【０１１９】
また、地図上にカメラの位置及び方向を示す指標またはマイクの位置及び指向性を示す指標を表示しているので現在どこの画像及び音声が出力されているか使用者に容易に把握できるカメラ制御システムを提供できる。
【０１２０】
また、地図上で画像の表示不許可領域を設定することができるので、表示不許可領域の設定が非常に容易なカメラ制御システムを提供することができる。
【０１２１】
また、使用者ごとに画像の表示禁止区域の設定が可能であるのでより安全性の高い、柔軟性のあるカメラ制御システムを提供することができる。
【０１２３】
また、マイクにより入力された音声を出力中のマイクの指標を他のマイクの指標手段とは異なる指標を表示しているので使用者はどのマイクによって入力された音声であるか容易に把握できる。
【図面の簡単な説明】
【図１】本発明のカメラ制御システムのブロック図。
【図２】本発明のカメラ制御システムのソフトウェアによるブロック図。
【図３】モニタに表示されるカメラ制御パネルの一例を示す図。
【図４】モニタに表示される撮影不許可領域を設定するときのカメラ制御パネルの一例を示す図。
【図５】カメラを撮影不許可領域に向けて撮影したときの画像ウインドウの表示例を示す図。
【図６】撮影不許可領域の表示動作に関するフローチャート。
【図７】カメラｉと撮影不許可領域の位置関係を示す図。
【図８】カメラ状態テーブルの一例を示す図。
【図９】カメラと撮影不許可範囲との位置関係がＡ＞Ｄ＞ａ＞ｄのときに対する画像ウインドウの表示を示す図。
【図１０】カメラと撮影不許可範囲との位置関係がＡ＞Ｄ＞ｄ＞ａのときに対する画像ウインドウの表示を示す図。
【図１１】カメラと撮影不許可範囲との位置関係がＤ＞Ａ＞ｄ＞ａのときに対する画像ウインドウの表示を示す図。
【図１２】カメラと撮影不許可範囲との位置関係がＡ＞Ｄ＞ｄ＞ａのときに対する画像ウインドウの表示の詳細図。
【図１３】カメラを撮影不許可領域に向けて撮影したときの画像ウインドウの表示例を示す図。
【図１４】カメラを撮影不許可領域に向けて撮影したときの画像ウインドウの表示例を示す図。
【図１５】マイク状態テーブルの一例を示す図。
【符号の説明】
６０ 地図ウインドウ
６２ 画像ウインドウ
６６ カメラアイコン
６８ 撮影不許可領域設定ボタン
７０ クリアボタン
７２ マイクアイコン
１０１ 画像通信端末装置
１１１ カメラ
１１２ カメラ制御回路
１１６ ＣＰＵ
１１７ 主記憶部
１１８ ２次記憶装置
１２１ マイク
１２２ 音声入力制御回路
１２３ スピーカ部
１２４ 音声出力制御回路
１２５ モニタ
２０２ カメラ管理サーバ
２０３ 音声入力管理サーバ
２１１ カメラ管理サーバ
２１２ 画像送受信ソフトウェア
２１３ カメラ制御クライアント
２１４ 音声入力サーバ
２１５ 音声送受信ソフトウエア
【発明の属する技術分野】
本発明は少なくとも１つ以上のカメラを複数人で遠隔操作するカメラ制御システムに関するものである。
【０００２】
【従来の技術】
近年、本出願人により、複数の遠隔地の状況を把握するためのツールとして、カメラ制御システムと呼ばれるシステムの研究開発が進められている。
【０００３】
このシステムでは、遠隔操作により制御可能なカメラ、音声を入力する音声入力装置、また、カメラから入力された画像および音声入力装置から入力された音声を、ネットワークを通じて送受信する画像通信端末装置が複数の地点に配置されている。
【０００４】
そして、複数の地点の画像通信端末装置から送信された画像信号を変換することにより、画像をモニタに表示し、また、音声信号を変換することにより、音声をスピーカに出力することによって、カメラが設置された場所の状況を把握することができる構成となっている。
【０００５】
上述のようなカメラ制御システムにおいては、特に操作対象となるカメラの数が多くなるほど、使用者が各カメラの設置場所を容易に把握できることが必要であり、そのため、各カメラの位置および方向を示す指標として、アイコンを地図画面上に重畳して表示する方式が本出願人により提案されている。
【０００６】
このようなカメラ制御システムでは、システムを利用するどのユーザもネットワークで接続されているカメラを自由に遠隔制御することができる。
【０００７】
しかし、これによって遠隔操作されるカメラの撮影範囲にいるものにとって、あたかも監視される状況になり、また強い不快感を受けることになる。また、ユーザが自由にカメラ、あるいは音声入力装置を遠隔制御されてしまうと、ユーザ側に知られたくない領域の状況が把握されてしまい、セキュリティー面においても不安であり、そのような点を考慮することが必要となってくる。
【０００８】
そこで、本出願人は、地図画面上で各カメラについて撮影を許さない範囲を設定し、遠隔操作することにより、その撮影不許可範囲を物理的かつ実質的に撮影不可能にした制御システムを提案している。
【０００９】
【発明が解決しようとする課題】
しかしながら、従来のカメラ制御システムにおいては、撮影不許可範囲の音声情報が入力されてしまう恐れがある。
【００１０】
また、カメラのパン、チルト、ズームといった制御動作を実行しても、そのカメラの制御動作に対応した音声情報が得られないという問題点がある。
【００１１】
本出願の目的は、画像不許可領域の音声入力を禁止することにある。また、画像出力に応じた臨場感のある音声出力を提供することにある。
【００１２】
【課題を解決するための手段】
本発明によれば、ネットワーク上に接続されたカメラの画像情報および前記カメラ付近の音声情報を伝達するカメラ制御システムにおいて、前記カメラから入力される画像の表示禁止区域を設定する設定手段により設定された前記表示禁止区域と前記カメラの撮影範囲が重なるとき、前記表示禁止区域の画像の表示を実質的に禁止する表示禁止手段と、前記表示禁止手段により、前記表示禁止区域の方向範囲の表示を実質的に禁止していないとき、前記カメラの撮影範囲の変更動作に音声入力手段を連動させることで、前記撮影範囲の音声を入力するように前記音声入力手段の指向性を制御し、前記表示禁止手段により、前記表示禁止区域の方向範囲の表示を実質的に禁止しているとき、前記撮影範囲に含まれる前記表示禁止区域の音声を入力しないように前記音声入力手段の指向性を制御する音声入力制御手段とを備えることを特徴とする。
【００２１】
【発明の実施の形態】
図１は本実施の形態におけるカメラ制御システムのブロック図である。
【００２２】
画像通信端末装置１０１は、ネットワーク１０５を介して複数の画像通信端末装置１０１と画像信号および音声信号などを送受信する。
【００２３】
カメラ１１１は、ネットワーク１０５を介して伝送された制御指令などにより制御され、接続されている各画像通信端末装置１０１周辺を撮影する。カメラ制御回路１１２は、カメラ１１１のパン、チルト、ズーム、焦点などをＣＰＵ１１６からの制御指令、あるいは、ネットワークから伝送されてきたカメラの制御指令によって制御する。
【００２４】
１１７は主記憶部であり、後述のカメラ管理サーバ２０２あるいは２次記憶装置１１８から呼び出した管理情報を、一時的に記憶する。
【００２５】
２次記憶装置１１８は、ハードディスクなどからなり、地図を記憶したり、また、使用者記憶手段としてネットワークを使用するユーザ名を記憶したり、地図に重畳するカメラ指標手段としてのカメラアイコン、マイク指標手段としてのマイクアイコンの位置などを記憶したりするものである。
【００２６】
マウス１１９は、モニタ１２５上で操作を行なうポインティングデバイスであり、ビットマップディスプレイ１１５は、複数のウインドウを表示するウインドウ表示システムが動作可能なディスプレイである。
【００２７】
ビデオキャプチャ装置１１３は、カメラ１１１によって取り込まれた画像信号をＡ／Ｄ変換し、さらに圧縮符号化して、ネットワークＩ／Ｆ１１４を介し、ネットワーク１０５上に送出する。このとき、ネットワークによりつながれている複数の画像通信端末装置へ情報の同時伝送が可能なように、マルチキャストないしブロードキャスト通信などが用いられる。
【００２８】
マイク１２１は、接続される画像通信端末装置１０の周辺の音声入力手段として音声を入力し、電気的な音声信号に変換するものである。ユーザはこのマイク１２１の指向性をネットワーク１０５を介しての遠隔操作が可能である。
【００２９】
音声入力制御回路１２２は、マイク１２１の指向性と入力レベルなどをコンピュータからの指令により制御する制御手段である。また、マイク１２１の音声信号をＡ／Ｄ変換し、さらに圧縮符号化した後、ネットワークＩ／Ｆ１１４を通じてネットワーク上に送信する。
【００３０】
このとき、音声についても、画像と同時に複数地点での音声の伝達が可能である。
【００３１】
さらに、この音声入力制御回路１２２は、カメラ１１１のパン、チルト、ズームといった操作に対応して、後述するマイク１２１の指向性（音声入力範囲、入力方向、入力感度）を制御する。
【００３２】
音声出力手段として、本実施例のカメラ制御システムは、以下を有する。１２３は、音声を出力するスピーカ部、また、音声出力制御回路１２４は、ネットワーク１０５から伝送されたデータを伸長し、Ｄ／Ａ変換した信号をスピーカ部１２３へ出力させる。その際、音声出力制御回路１２４は、スピーカ部１２３の音場（広がり、方向、奥行き）を、ＣＰＵ１１６からの指令により制御したものを音声として出力させている。ここで、スピーカ部１２３におけるスピーカは、複数接続されてもよい。
【００３３】
モニタ１２５は、カメラ１１１から入力された画像情報を表示し、また、地図表示手段として、２次記憶装置に記憶された地図などを表示する。
【００３４】
画像表示制御回路１２６は、モニタ１２５に画像を表示させるため、ネットワークから伝送されてきた画像信号を伸長し、Ａ／Ｄ変換したのち、ＮＴＳＣなどの規格化された信号に変換し、モニタ１２５に表示させる。
【００３５】
また、カメラ１１１、音声入力制御回路１２２、音声出力制御回路１２４は、ネットワーク経由で遠隔操作可能とする。
【００３６】
図２は、本実施の形態のソフトウエアを示すブロック図である。図２において、複数の画像通信端末装置２０１、後述するカメラ管理サーバ２０２および音声入力管理サーバ２０３がコンピュータネットワーク２０４に接続されている。
【００３７】
カメラ制御サーバ２１１は、自端末で入力されるかあるいはネットワークを経由して得られたカメラ制御信号の操作指令により、カメラ２１７を制御する。
【００３８】
また、画像送受信ソフトウエア２１２は、カメラ制御サーバ２１１によってカメラ１２７を駆動させることにより得られた画像情報を、ユーザの操作指令に応じて画像通信端末装置２０のモニタに表示させたり、他の画像通信端末装置２０に送信させたりする。
【００３９】
また、音声入力制御サーバ２１４は、画像通信端末装置２０から入力された制御信号に従い、マイク２１９の指向性を制御し、音声を入力させる。
【００４０】
また、音声送受信ソフトウエア２１５は、ユーザ操作により指定された端末に供給したり、ネットワーク２０４を介して他端末から転送された音声信号を自端末のスピーカ２２０に供給したりするソフトウエアである。
【００４１】
カメラ管理サーバ２０２は、ネットワーク２０４に接続する画像通信端末装置２０に備えられているすべてのカメラ２１７を管理するソフトウエアであり、各カメラ２１７のカメラ名、あるいはホスト名(使用者名)、また各カメラ２１７の設置位置および現在の使用状況などの情報を保有する。
【００４２】
また、カメラ管理サーバ２０２は、また、ネットワーク２０４を介して新たに利用可能になったカメラの登録と、ネットワーク２０４からの分離に伴う抹消を管理するだけでなく、カメラの各ユーザに対して登録された表示禁止区域を記憶管理する区域記憶手段としての役割などを果たし、さらに、これらのカメラ制御システムの管理情報を、すべてのカメラ制御クライアント２１３に定期的に伝達するか、あるいは要求に応じて各端末装置２０１に告知する。
【００４３】
音声入力管理サーバ２０３は、ネットワーク２０４に接続する画像通信端末装置に備えられたすべてのマイク２１９を管理するソフトウエアであり、各マイク２１９の設置位置および現在の使用状況などの情報を保有する。
【００４４】
また、音声入力管理サーバ２０３は、ネットワーク２０４を介して新たに利用可能になったマイク２１９の登録と、ネットワーク２０４からの分離に伴う抹消を管理するだけでなく、各マイク２１９の管理情報をすべての音声入力制御クライアント２１３に定期的あるいに伝達するか、あるいは要求に応じて各端末装置２０１に告知する。
【００４５】
カメラ制御クライアント２１３は、ネットワーク２０４を介して利用可能なすべてのカメラ２１７の配置および方向などの情報を、カメラ２１７の位置を示す指標としてアイコンを用い、そのアイコンを地図上に重ねてモニタ２１８の画面上に表示し、さらにカメラ管理サーバ２０２から定期的に送られてくるカメラ情報をもとに、各カメラ２１７のアイコンの表示状態を実時間で更新し、送られてくる情報の中で、必要な情報を、２次記憶装置にする。
【００４６】
音声入力制御クライアント２１６は、ネットワーク２０４を介して、マイクの配置及び方向などを、マイクの指標手段としてマイクアイコンを用い、そのマイクアイコンを地図上に重ね、モニタ２１８の画面上に表示させる。
【００４７】
また、音声入力制御クライアント２１６は、音声入力管理サーバ２０３から定期的に送られてくる指向性、位置、使用状況などの情報をもとに、各マイクアイコンの表示状態を実時間で更新する。
【００４８】
図３は、カメラ制御クライアント２１３及び音声入力制御クライアント２１６によりモニタ２１８に表示されるカメラ表示制御パネルの１例である。
【００４９】
地図表示手段としてモニタに表示される地図ウインドウ６０は、操作可能なカメラ及びマイクの設置場所を示す地図を表示し、その地図上に、各カメラの設置位置及び方向を示すカメラ指標手段としてのカメラアイコンと、各マイクの設置位置及び指向性を示すマイク指標手段としてのマイクアイコンを、重畳して表示する。
【００５０】
カメラ操作パネル６４は、指定されたカメラを、パン、チルト制御するための回転操作ボタン７５と、ズーム制御するためのテレ、ワイド操作するズーム操作ボタン７６を備える。
【００５１】
なお、本実施の形態では、複数のウインドウを同時表示可能なウインドウ表示システムが動作しているものとする。
【００５２】
地図ウインドウ６０には、オフィスなどの座席配置などを示す地図が２次記憶装置から呼び出すことにより表示され、そのオフィスなどに設置される個々のカメラおよびマイクの配置場所を、カメラ管理サーバ２０２、音声入力管理サーバ２０３からの情報をもとに、ＣＰＵ１１６によって、カメラアイコン、マイクアイコンが表示されている。
【００５３】
各カメラアイコン６６は、画像表示または遠隔操作のために選択されているカメラ、他のユーザによって使用されているカメラ、及び誰にも使用されていないカメラを相互に識別できるように、それぞれＣＰＵ１１６によって別の色で表示される。
【００５４】
指定されたカメラが操作不能の場合（例えば、アクセスしようとしたカメラがすでに他のユーザによって操作されている場合）は、ＣＰＵ１１６の制御により、回転操作ボタン及びズーム操作ボタンが操作不能の表示態様になる。
【００５５】
例えば、あるカメラにアクセス（ここでは遠隔操作）する場合、目的のカメラアイコンをダブルクリックする。
【００５６】
これに応じて、カメラ制御クライアント２１３はカメラの操作権を要求し、カメラ管理サーバ２０２から得られる後述するカメラ状態リストなどを参照し、そのカメラの操作権がすでに別のユーザに付与されているかどうか調べ、そのカメラの操作権がすでに別のユーザに付与されていない場合は、そのカメラの遠隔操作（画像の表示も含む。）を許可し、そうでなければ操作を拒否する。
【００５７】
操作が許可されると、カメラ画像ウインドウ６２にそのカメラの出力画像が表示され、カメラ操作パネル６４による操作が可能となる。
【００５８】
このとき、音声入力制御回路１２２は、その画角に対応してマイク１２１の指向性を、音声出力制御回路１２４は、スピーカ１２３の音場を、各画像通信端末装置１０１のＣＰＵ１１６によって制御する。
【００５９】
例えば、パン、チルト操作によりカメラ１１１の向きが変化した場合には、マイク１２１の指向性とスピーカ１２３の音場をカメラの向きに合わせて変化させる。
【００６０】
また、ズーム操作によりカメラ１１１の画角が狭まった場合は、音声入力制御回路１２２によりマイク１２１の感度を上げ、スピーカ１２３の音場の奥行きをカメラの撮影範囲にあわせて変化させる。
【００６１】
また、ズーム操作により遠距離の対象物が撮影されている場合、音声入力制御回路１２２は、そのポイントに対してのみ音声入出力を行なえるようにマイクの指向性とスピーカの音場を制御する。
【００６２】
このように、音声入力制御クライアント２１６は、カメラ制御に連動してカメラの、パンチルト方向及び画角に対し、マイクの指向性（広がり、方向、感度）、スピーカの音場（広がり、方向、奥行き）を一致させる機能を備えている。
【００６３】
本実施の形態のカメラ制御システムにおいては、カメラの撮影を許可しない撮影不許可領域を設定できるようにしている。以下にその撮影不許可領域の設定手段および変更手段を示す。
【００６４】
ユーザが撮影不許可領域設定ボタン６８をクリックすると、カメラ制御クライアント５６は、地図ウインドウ６０に図４に示すように縦横の線を描画する。これらの線で分割される領域が、撮影不許可領域設定基本単位となる。
【００６５】
撮影不許可領域を設定したいとき、ユーザは、地図ウインドウ６０上で、撮影されたくない分割領域をマウス１１９を用いて画面上で指定する。指定された分割領域（図４の領域９２）は、他の分割領域と判別しやすいように赤色で囲まれて表示される。
【００６６】
このような撮影不許可領域の設定は、個々のユーザに対して設定することができ、カメラ管理サーバ２０２に登録されているユーザに応じて設定し、再登録することによって設定される。
【００６７】
また、撮影不許可領域を解除したいときには、クリアボタン７０をクリックすることによって解除する。
【００６８】
撮影不許可領域が設定されると、カメラ制御クライアント２１３は、表示禁止手段として、その撮影不許可領域を画像ウインドウ６２中で表示しないように、以下の方法により制御する。
【００６９】
図５は、撮影不許可が設定され、その不許可領域にカメラ向けて撮影したときの画像ウインドウ６２の表示例である。
【００７０】
撮影不許可が設定された領域へカメラがパンすると、同図のように撮影不許可設定された領域は画像が隠蔽されて真黒に表示され、撮影不許可領域外の部分は通常と同様な画像が表示される。
【００７１】
そして、カメラ制御により、画像表示範囲が変わると、それに連動して撮影不許可設定領域の黒く表示されている表示部分も動く。
【００７２】
撮影不許可設定領域の表示方法は、例えば、図１３のように、撮影不許可範囲の領域の解像度を、通常の表示領域と比較して著しく下げたり、あるいはモザイク状にして表示させたり、あるいは図１４のように、ブラインド状にして撮影不許可領域のほんの一部だけを表示させてもよい。
【００７３】
図６は、撮影不許可領域の表示動作に関するカメラ管理サーバ２０２、音声入力管理サーバ２０３のフローチャートである。図６に沿って、撮影表示不許可領域の存在する表示の流れを示す。
【００７４】
まず、撮影不許可領域が設定または変更されると、その情報がカメラ制御クライアント２１３からカメラ管理サーバ２０２に通知される（ｓ７０１）。
【００７５】
すると、カメラ管理サーバ２０２は、設定された撮影不許可領域の座標情報（矩形の対角点の座標情報）を計算する。
【００７６】
そして、使用者が、撮影不許可領域付近のカメラを選択したとき、音声入力制御クライアント２１６は、そのカメラに応じたマイクを選定する（ｓ７０２）。
【００７７】
次に、ｓ７０２で選定されたカメラｉに対し、カメラ管理サーバ２０２は、カメラｉに対する撮影不許可方向を計算しその情報を格納しておく（ｓ７０３）。
【００７８】
次に、カメラｉがどこかの通信端末上で他のユーザによって遠隔操作され、画像表示されているか調べる。カメラｉが他の端末によって使用されていない場合、カメラｉから入力された画像の表示が可能である（ｓ７０４）。
【００７９】
カメラ管理サーバ２０２は、撮影不許可領域が設定されているときは、常にカメラｉによる撮影不許可領域の方向が、現在の撮影範囲の方向（画像ウインドウ６２に表示されている範囲）と重なっているかどうか調べる（ｓ７０５）。
【００８０】
撮影不許可領域の方向が、現在の撮影範囲の方向と重なっている場合は、カメラ管理サーバ２０２は、カメラｉが接続する画像通信端末装置２０１の画像送受信ソフトウエア２１２に、画像ウインドウ６２のカメラｉによる表示において、画像の撮影不許可領域の表示には黒い領域を、図５のように画像に合成出力するよう指示する。
【００８１】
さらに、この撮影不許可領域が表示されているとき、音声入力管理サーバ２０３は、カメラ管理サーバ２０２の撮影不許可領域表示の指令を受けて、音声入力を禁止するように指示する（ｓ７０６）。
【００８２】
画像送受信ソフトウエア２１２は、ネットワークを介して伝送して得られた合成画像信号を受け取り、伸長してディスプレイ上に表示する（ｓ７０７）。
【００８３】
ｓ７０３におけるカメラｉの撮影不許可領域の方向は、次のように求まる。
【００８４】
図７は、カメラｉと撮影不許可領域の位置関係を上から見た図であるが、そのカメラｉの設置位置と不許可領域の座標から、カメラｉの撮影不許可範囲の角度θｄ（ｄ<θｄ<Ｄ）を計算する。ｄおよびＤは、ある水平方向を基準とした角度で表される。
【００８５】
音声入力制御クライアント２１６は、撮影不許可領域の合成出力が表示されているときは、スピーカ２２０による音声の出力を禁止する、音声出力禁止手段としての役割を果たす。
【００８６】
また、音声入力制御クライアントは、撮影不許可領域の音声を受信しないようにマイク１２１の指向性を制御してスピーカ２２０から撮影不可領域の音声の出力をさせないようにしてもよい。
【００８７】
図８は、カメラ管理サーバ２０２が有する、個々のカメラの、固定情報および現状の情報を格納するカメラ状態のテーブルの一例である。このカメラ状態テーブルには、カメラ番号、カメラ名、ホスト名(使用者名)、地図上のカメラ設置位置座標、起動時のカメラの中心の初期方向、および現在の方向、現在の撮影可能範囲などの情報が格納されている。
【００８８】
カメラ管理サーバ２０２は、常にカメラ状態テーブルをチェックし、選定されたカメラの撮影不許可方向との重なりを監視している。
【００８９】
また、カメラ管理サーバ２０２は、カメラ状態テーブルの内容を定期的にカメラ制御クライアント２１３に送り、さらにカメラ管理サーバ２０２からの情報に基づき、ディスプレイ２１８に表示される地図ウインドウ６０上でのカメラアイコンの向きを更新する。
【００９０】
図１５は、音声入力管理サーバ２０３に格納されている個々のマイクの固定情報および現状を格納するマイク状態テーブルの一例である。マイク番号、マイク名、ホスト名(使用者名)、地図上のマイク設置位置座標、起動時のマイクの中心の初期方向、および現在の音声入力可能範囲の方向などの情報を格納している。
【００９１】
音声入力管理サーバ２０３は、常に図１５で示すようなマイク状態テーブルをチェックし、選定されたマイクの音声入力許可方向と入力方向との重なりを監視している。
【００９２】
また、音声入力管理サーバ２０３は、マイク状態テーブルの内容を定期的に音声入力制御クライアント２１６に送り、音声入力制御クライアント２１６は、音声入力管理サーバ２０３からの情報に基づき、ディスプレイ２１８に表示される地図ウインドウ６０上でのマイクアイコンの向きを更新して表示する。
【００９３】
つぎに、撮影不許可範囲を黒く表示するための表示位置の算出方法を説明する。
【００９４】
撮影不許可領域から求められるカメラの撮影不許可方向と、現在のカメラの撮影方向により、画像ウインドウの撮影不許可範囲の表示、つまり図５のような黒く表示する部分を計算して求め、画像送受信ソフトウエア２１２により、合成のための画像処理を行なう。
【００９５】
合成表示の形態は、撮影可能範囲θａ（ａ<θａ<Ａ：ｄおよびＤと同一のある水平方向を基準とした角度で表される。）と撮影不許可範囲θｄ（ｄ<θｄ<Ｄ）の重なりかたにより（１）Ａ＞Ｄ＞ａ＞ｄ、（２）Ａ＞Ｄ＞ｄ＞ａ、（３）Ｄ＞Ａ＞ｄ＞ａの３つのパターンがあり、（１）は図９に、（２）は図１０に、（３）は図１１に対応した画像ウインドウの様子を示す。
【００９６】
画像表示領域中に黒い部分を合成して表示するためには、画像ウインドウの矩形領域の中で、どの部分を黒く表示するか計算して求める必要がある。
【００９７】
図１２は、（１）Ａ＞Ｄ＞ａ＞ｄの場合の撮影不許可方向を示している。ここで、Ｗは画像を表示する領域の横の長さであり、ｗは画像の表示を禁止して黒く表示させる領域の横の長さである。
【００９８】
図１２において、Ｗとｗの比は、
Ｗ:ｗ＝〔tan{(Ａ-ａ)/2}+tan{(Ａ+ａ)/2-D}〕:〔tan{(Ａ-ａ)/2}-tan{(Ａ+ａ)/2-D}〕
と表される。
【００９９】
同様に、（２）Ａ＞Ｄ＞ｄ＞ａおよび（３）Ｄ＞Ａ＞ｄ＞ａの場合においても簡単な計算をすることによってＷとｗの比を求めることができる。
【０１００】
以上述べたように、カメラのパン、チルト方向および画角に対して、マイクの指向性（広がり、方向、感度）が一致するように制御し、さらに撮影不許可領域の音声を取り込まないように音声入力を制御することで、より臨場感のあるシステムが実現できるとともに、無用な音声出力禁止を避けることができるカメラ制御システムを提供することができる。
【０１０１】
また、上記の説明では、カメラ制御と音声入力制御とが連動していたが、カメラの制御と独立して音声入力を制御することも可能である。
【０１０２】
例えば、図３の地図ウインドウ６０において、マイクアイコンをクリックして指定すると、音声入力制御クライアント２１６は、音声入力管理サーバ２０３にそのマイクの操作権を要求し、その要求に応じて音声入力管理サーバ２０３は、マイク状態リストなどを参照する。
【０１０３】
そして、指定されたマイクの操作権が別のユーザに付与されていないときには、そのマイクの遠隔操作を許可する。別のユーザに付与されているときには、そのマイクの遠隔操作を拒否する。
【０１０４】
遠隔操作が許可されると、音声の入力制御クライアント２１６は、地図ウインドウ６０に７１のようなマイクアイコンの表示をし、カメラから独立した局所的な音声を受信していることをユーザに知らせる。
【０１０５】
以上述べたように、カメラの制御と独立した音声制御を行なうことで、地図の中の局所的な部分の音声（例えば、特定の個人の発言など）のみを受信することが可能になる。
【０１０６】
また、複数のカメラにユーザがアクセス(遠隔操作)した場合、１つのマイクを選択しなければならないが、どの地点の音声であるか分かりづらい。そこで、図３において、地図ウインドウ６０に現在の音声受信状況を表示する。
【０１０７】
音声入力制御クライアント２１６は、現在自端末で受信している音声の位置を地図ウインドウ６０に表示する際、マイクの音声領域が視覚的に分かるように、７１、７２のアイコンのように表示している。
【０１０８】
さらに、音声入力制御クライアント２１６は、音声入力管理サーバ２０２から得られる音声管理情報をもとに、現在出力されている音声が、どこのマイクから入力されている音声かを視覚的に把握できるように、現在出力されている発信源のマイクの指標を点滅させたりして、他のマイクの指標とは異ならせるようにする。
【０１０９】
このように、受信している音声の音源の状態（指向性、感度など）を地図上に表示することで、どこの音声であるかを視覚的に確認することができる。
【０１１０】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されているプログラムコードを読み出し実行することによっても達成できる。
【０１１１】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１１２】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１１３】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【０１１４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【０１１５】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、本発明のカメラ制御システムに不可欠なモジュールを、記憶媒体に格納することになる。
【０１１６】
本発明は、少なくとも、各ユーザに対する表示可能な地図を選択する「地図選択モジュール」、各ユーザに対する表示可能なカメラをの領域を設定する「カメラ設定モジュール」の各プログラムコードを記憶媒体に格納すればよい。
【０１１７】
【発明の効果】
以上説明したように、本願発明によれば、画像の表示禁止区域内の音声の入力を禁止しているので安全性の優れたカメラ制御システムを提供することができる。
【０１１８】
また、カメラに応じて音声の指向性を制御しているので非常に臨場感のあふれたカメラ制御システムを提供することができる。
【０１１９】
また、地図上にカメラの位置及び方向を示す指標またはマイクの位置及び指向性を示す指標を表示しているので現在どこの画像及び音声が出力されているか使用者に容易に把握できるカメラ制御システムを提供できる。
【０１２０】
また、地図上で画像の表示不許可領域を設定することができるので、表示不許可領域の設定が非常に容易なカメラ制御システムを提供することができる。
【０１２１】
また、使用者ごとに画像の表示禁止区域の設定が可能であるのでより安全性の高い、柔軟性のあるカメラ制御システムを提供することができる。
【０１２３】
また、マイクにより入力された音声を出力中のマイクの指標を他のマイクの指標手段とは異なる指標を表示しているので使用者はどのマイクによって入力された音声であるか容易に把握できる。
【図面の簡単な説明】
【図１】本発明のカメラ制御システムのブロック図。
【図２】本発明のカメラ制御システムのソフトウェアによるブロック図。
【図３】モニタに表示されるカメラ制御パネルの一例を示す図。
【図４】モニタに表示される撮影不許可領域を設定するときのカメラ制御パネルの一例を示す図。
【図５】カメラを撮影不許可領域に向けて撮影したときの画像ウインドウの表示例を示す図。
【図６】撮影不許可領域の表示動作に関するフローチャート。
【図７】カメラｉと撮影不許可領域の位置関係を示す図。
【図８】カメラ状態テーブルの一例を示す図。
【図９】カメラと撮影不許可範囲との位置関係がＡ＞Ｄ＞ａ＞ｄのときに対する画像ウインドウの表示を示す図。
【図１０】カメラと撮影不許可範囲との位置関係がＡ＞Ｄ＞ｄ＞ａのときに対する画像ウインドウの表示を示す図。
【図１１】カメラと撮影不許可範囲との位置関係がＤ＞Ａ＞ｄ＞ａのときに対する画像ウインドウの表示を示す図。
【図１２】カメラと撮影不許可範囲との位置関係がＡ＞Ｄ＞ｄ＞ａのときに対する画像ウインドウの表示の詳細図。
【図１３】カメラを撮影不許可領域に向けて撮影したときの画像ウインドウの表示例を示す図。
【図１４】カメラを撮影不許可領域に向けて撮影したときの画像ウインドウの表示例を示す図。
【図１５】マイク状態テーブルの一例を示す図。
【符号の説明】
６０ 地図ウインドウ
６２ 画像ウインドウ
６６ カメラアイコン
６８ 撮影不許可領域設定ボタン
７０ クリアボタン
７２ マイクアイコン
１０１ 画像通信端末装置
１１１ カメラ
１１２ カメラ制御回路
１１６ ＣＰＵ
１１７ 主記憶部
１１８ ２次記憶装置
１２１ マイク
１２２ 音声入力制御回路
１２３ スピーカ部
１２４ 音声出力制御回路
１２５ モニタ
２０２ カメラ管理サーバ
２０３ 音声入力管理サーバ
２１１ カメラ管理サーバ
２１２ 画像送受信ソフトウェア
２１３ カメラ制御クライアント
２１４ 音声入力サーバ
２１５ 音声送受信ソフトウエア
Claims (9)
- ネットワーク上に接続されたカメラの画像情報および前記カメラ付近の音声情報を伝達するカメラ制御システムにおいて、
前記カメラから入力される画像の表示禁止区域を設定する設定手段により設定された前記表示禁止区域と前記カメラの撮影範囲が重なるとき、前記表示禁止区域の画像の表示を実質的に禁止する表示禁止手段と、
前記表示禁止手段により、前記表示禁止区域の方向範囲の表示を実質的に禁止していないとき、前記カメラの撮影範囲の変更動作に音声入力手段を連動させることで、前記撮影範囲の音声を入力するように前記音声入力手段の指向性を制御し、前記表示禁止手段により、前記表示禁止区域の方向範囲の表示を実質的に禁止しているとき、前記撮影範囲に含まれる前記表示禁止区域の音声を入力しないように前記音声入力手段の指向性を制御する音声入力制御手段とを備えることを特徴とするカメラ制御システム。 - 請求項１において、前記カメラの撮影範囲の変更動作に連動して音場が変化する音声出力手段と、
前記表示禁止手段により、前記表示禁止区域の方向範囲の表示を実質的に禁止しているとき、前記音声出力手段の音声出力を禁止する音声出力禁止手段とをさらさらに備えることを特徴とするカメラ制御システム。 - 請求項１において、前記カメラの少なくとも位置または撮影方向を示すためのカメラ指標と、前記カメラ付近の音声を入力する音声入力手段の少なくとも位置または指向性を示すためのマイク指標と、前記カメラ指標および前記マイク指標を重畳した地図とを表示する表示手段とを備えることを特徴とするカメラ制御システム。
- 請求項３において、前記設定手段は、前記表示手段により表示された地図上において、画像の表示禁止区域を設定するように構成されていることを特徴とするカメラ制御システム。
- 請求項４において、前記カメラ制御システムの使用者を少なくとも１人記憶する使用者記憶手段を備え、
前記設定手段は、前記使用者記憶手段により記憶された使用者ごとに、画像の表示禁止区域を選択可能とするように構成されていることを特徴とするカメラ制御システム。 - 請求項１ないし請求項５のいずれか一項において、前記表示禁止手段は、前記設定手段により設定された画像表示禁止区域内の表示を、前記カメラからの入力による画像の表示とは異なる表示をさせることを特徴とするカメラ制御システム。
- 請求項２のカメラ制御システムにおいて、前記音声入力手段の指向性は、少なくとも音声入力範囲または音声入力方向または音声入力感度のいずれか一つを含むことを特徴とするカメラ制御システム。
- 請求項３において、入力した音声が通信中の前記音声入力手段を示す前記マイク指標を、他のマイク指標とは異なる指標を表示するように構成されていることを特徴とするカメラ制御システム。
- ネットワーク上に接続されたカメラの画像情報および前記カメラ付近の音声情報を伝達する伝達方法において、
前記カメラから入力される画像の表示禁止区域と前記カメラの撮影範囲が重なるとき、前記表示禁止区域の画像の表示を実質的に禁止し、
前記表示禁止区域の方向範囲の表示を実質的に禁止していないとき、前記カメラの撮影範囲の変更動作に音声入力手段を連動させることで、前記撮影範囲の音声を入力するように前記音声入力手段の指向性を制御し、前記表示禁止区域の方向範囲の表示を実質的に禁止しているとき、前記撮影範囲に含まれる前記表示禁止区域の音声を入力しないように前記音声入力手段の指向性を制御することを特徴とする伝達方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27230196A JP3817309B2 (ja) | 1996-10-15 | 1996-10-15 | カメラ制御システム |
| US08/950,036 US6529234B2 (en) | 1996-10-15 | 1997-10-14 | Camera control system, camera server, camera client, control method, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27230196A JP3817309B2 (ja) | 1996-10-15 | 1996-10-15 | カメラ制御システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10126668A JPH10126668A (ja) | 1998-05-15 |
| JP3817309B2 true JP3817309B2 (ja) | 2006-09-06 |
Family
ID=17511970
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27230196A Expired - Fee Related JP3817309B2 (ja) | 1996-10-15 | 1996-10-15 | カメラ制御システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3817309B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4300504B2 (ja) * | 2000-11-01 | 2009-07-22 | 富士フイルム株式会社 | 通信機器及び通信システム |
| US7619657B2 (en) | 2000-10-04 | 2009-11-17 | Fujifilm Corp. | Recording apparatus, communications apparatus, recording system, communications system, and methods therefor for setting the recording function of the recording apparatus in a restricted state |
| JP4556075B2 (ja) * | 2008-03-31 | 2010-10-06 | 富士フイルム株式会社 | 記録システム |
| KR101661555B1 (ko) * | 2014-07-14 | 2016-10-04 | 넥시스 주식회사 | 비콘을 이용한 글라스형 웨어러블 디바이스의 카메라 기능 제한방법 및 프로그램 |
| WO2016010328A1 (ko) * | 2014-07-14 | 2016-01-21 | 넥시스 주식회사 | 웨어러블 디바이스를 이용한 정보처리 시스템 및 방법 |
| JP6885179B2 (ja) | 2017-04-20 | 2021-06-09 | 富士通株式会社 | 撮影装置、撮影制御プログラム、及び撮影管理システム |
| JP7114414B2 (ja) * | 2018-09-07 | 2022-08-08 | キヤノン株式会社 | 表示装置、表示装置の制御方法およびプログラム |
| CN117459688B (zh) * | 2023-12-26 | 2024-05-03 | 海纳云物联科技有限公司 | 基于地图系统的摄像头角度标示方法、装置及介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2849862B2 (ja) * | 1990-07-09 | 1999-01-27 | 日本電信電話株式会社 | 画像・音声同時転送方式 |
| JPH0946668A (ja) * | 1995-07-26 | 1997-02-14 | Canon Inc | アクセス制御方式 |
| JPH08237635A (ja) * | 1995-02-28 | 1996-09-13 | Canon Inc | 撮像制御装置およびその制御方法 |
| JP3689447B2 (ja) * | 1995-03-20 | 2005-08-31 | キヤノン株式会社 | カメラ制御システム及び方法 |
-
1996
- 1996-10-15 JP JP27230196A patent/JP3817309B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10126668A (ja) | 1998-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6529234B2 (en) | Camera control system, camera server, camera client, control method, and storage medium | |
| JP3563889B2 (ja) | カメラ制御システムおよびカメラ制御システムの制御方法 | |
| EP0729275B1 (en) | Image input system | |
| US6208379B1 (en) | Camera display control and monitoring system | |
| US7079177B2 (en) | Remote control system and access control method for information input apparatus with limitation by user for image access and camemremote control | |
| US6909458B1 (en) | Camera control system and method, and storage medium for selectively controlling one or more cameras | |
| EP0884909B1 (en) | Camera control system | |
| JP4928275B2 (ja) | カメラ制御装置及びその制御方法 | |
| JPH09247637A (ja) | 映像音声通信システム、映像通信システム、送信端末及び受信端末 | |
| US20050200716A1 (en) | Control apparatus, control system, control method and storage medium of the same | |
| JP4378636B2 (ja) | 情報処理システム、情報処理装置および情報処理方法、プログラム、並びに記録媒体 | |
| JP2006270380A (ja) | 画像情報送信装置 | |
| JP2020005146A (ja) | 出力制御装置、表示端末、情報処理装置、移動体、遠隔制御システム、出力制御方法、プログラムおよび撮影制御装置 | |
| JP3817309B2 (ja) | カメラ制御システム | |
| JP2006191411A (ja) | カメラ制御装置、画像表示装置、カメラ制御方法、画像表示方法及びプログラム | |
| JP4684905B2 (ja) | カメラ制御システム | |
| WO2022004153A1 (ja) | 画像情報生成装置、方法およびプログラム | |
| JP3287382B2 (ja) | カメラ制御システム及び方法 | |
| JP3805036B2 (ja) | カメラ制御装置及び制御方法 | |
| JP3658076B2 (ja) | カメラ制御システム及びその映像表示方法 | |
| JPH10136246A (ja) | カメラ制御システム、及び該システムにおけるカメラ管理装置及び方法、及びカメラ操作装置及び方法、及び記憶媒体 | |
| KR20120099916A (ko) | 다자 동시 제어를 허용하는 실시간 원격 360도 전방향 영상 감시 시스템 | |
| JP4507665B2 (ja) | 電話機位置情報の登録方法 | |
| JPH1188869A (ja) | 映像通信システム及び情報表示装置 | |
| JPH11261874A (ja) | リモートコントロールビデオ撮影方法およびシステム並びに該方法を記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040713 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050407 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060606 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060612 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090616 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100616 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110616 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120616 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130616 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |