JP3774521B2 - カメラ制御システム、カメラサーバ、カメラ操作装置、及びカメラ操作情報の表示制御方法 - Google Patents
カメラ制御システム、カメラサーバ、カメラ操作装置、及びカメラ操作情報の表示制御方法 Download PDFInfo
- Publication number
- JP3774521B2 JP3774521B2 JP33363996A JP33363996A JP3774521B2 JP 3774521 B2 JP3774521 B2 JP 3774521B2 JP 33363996 A JP33363996 A JP 33363996A JP 33363996 A JP33363996 A JP 33363996A JP 3774521 B2 JP3774521 B2 JP 3774521B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- adjustment
- command
- information header
- image signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、ＴＶ会議システム、ＴＶ電話、映像監視システムなどに用いられる、遠隔操作可能なカメラ制御システム、カメラサーバ、カメラ操作装置、及びカメラ操作情報の表示制御方法に関するものである。
【０００２】
【従来の技術】
建物内などに多数のカメラ及びコンピュータを配置し、例えば米国ゼロックス社等が開発したイーサネット（商標）などの通信手段を用いてそれらをネットワーク化することにより、任意の地点間で映像の伝送及び音声による対話を可能にする。例えば、ビデオ会議システムまたは遠隔監視システムなどの利用を目的とするカメラ制御システムは、もっとも注目されているものである。
【０００３】
このようなカメラ制御システムは、システムの拡張が自由に可能であり、コンピュータネットワーク上の任意の地点から他の任意の地点のカメラのパン，チルト、及びズームなどを遠隔制御し、制御したカメラの映像を自分のコンピュータ画面上に表示することができる。
【０００４】
【発明が解決しようとする課題】
このようなコンピュータネットワーク上で遠隔にあるカメラから撮影映像を転送してもらう場合、カメラ制御信号の伝達時間、画像通信時間、画像のデータ圧縮・伸長処理時間などによるタイムラグが存在する。例えば、ユーザがある方向にカメラを遠隔操作した場合、転送された画像を見ながら対話的に操作すると、ユーザは、ユーザの希望する画面が表示されるまで操作してしまうと、このタイムラグのためにユーザの希望のカメラ姿勢よりもカメラの姿勢は進んでしまい、希望するカメラの姿勢がとれないという欠点がある。
【０００５】
同様のコンピュータの通信・処理などのタイムラグの影響の例としては、クライアント／サーバ型コンピュータのウインドウシステム上のマウス操作による表示ウインドウ上のポインタ制御があげられる。
【０００６】
このコンピュータネットワークシステムにおいて、マウスの制御データは、マウス操作が実行されたクライアントからサーバに送られ、サーバの備えるアプリケーションによって処理されてポインタの位置が決定する。決定された位置データは、ネットワーク上の各クライアントに伝送される。この伝送された位置データをもとにポインタの表示位置が画面に反映される。
【０００７】
このようなマウス制御では、操作者がマウスを動作させて操作者の意図する位置に静止しようとしても、データの伝送によるタイムラグのためにポインタが移動してしまうという欠点があったが、これはマウスの表示位置の制御をマウス操作実行のクライアントによるアプリケーション処理によってマウス操作中のクライアントの表示画面に反映させ、そのポインタの位置情報をサーバに伝送し、サーバから各クライアントへポインタの位置情報を伝送するという解決方法がある。
【０００８】
しかしながら、テレビ会議システムなどのカメラコントロールの場合はネットワーク上のカメラの雲台を遠隔制御するので、上述したようなポインタの制御は不可能である。
【０００９】
本発明は、以上のようなことを鑑みて、カメラの移動（パン，チルトなど）中は、その動作中の画像が表示される際に、カメラの移動が実行中であることをユーザに意識させることにより的確なカメラ制御が実行できるようになされたものである。
【００１０】
【課題を解決するための手段】
以上のような目的を達成するために、本発明のカメラ制御システムによれば、カメラを制御するカメラサーバと、カメラにより得られる画像信号を受信して表示するカメラ操作装置とを含むカメラ制御システムであって、前記カメラ操作装置は、前記カメラのパン及びチルトのうち少なくとも１つの動作指令、及び前記カメラのズームフォーカス、及び絞りのうち少なくとも１つの調整指令を発行する姿勢指示手段を備え、前記カメラサーバは、前記カメラ操作装置から前記動作指令を受信した場合、前記動作指令によって前記カメラが動作中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記動作指令によって動作中であることを示す動作情報ヘッダを付加する動作情報付加手段と、前記カメラ操作装置から前記調整指令を受信した場合、前記調整指令によって前記カメラが調整中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記調整指令によって調整中であることを示す調整情報ヘッダを付加する調整情報付加手段と、前記動作情報ヘッダ及び前記調整情報ヘッダを付加した前記画像信号を、前記カメラ操作装置に対して送信する送信手段とを備え、前記カメラ操作装置は、受信した画像信号に付加された前記動作情報ヘッダ及び前記調整情報ヘッダの両方の内容に応じて、受信した画像信号に関る画像表示の形態を変更するよう制御するよう制御することを特徴とする。
【００１７】
また、本発明のカメラサーバによれば、カメラにより得られる画像信号を受信して表示するカメラ操作装置と接続され、前記カメラを制御するカメラサーバであって、前記カメラ操作装置から前記カメラのパン及びチルトのうち少なくとも１つの動作指令を受信した場合、前記動作指令によって前記カメラが動作中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記動作指令によって動作中であることを示す動作情報ヘッダを付加する動作情報付加手段と、前記カメラ操作装置から前記カメラのズーム、フォーカス、及び絞りのうち少なくとも１つの調整指令を受信した場合、前記調整指令によって前記カメラが調整中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記調整命令によって調整中であることを示す調整情報ヘッダを付加する調整情報付加手段と、前記カメラ操作装置において前記動作情報ヘッダ及び前記調整情報ヘッダの両方の内容に応じて受信した画像信号に関る画像表示の形態を変更するよう制御するために、前記動作情報及び前記調整情報を付加した前記画像信号を前記カメラ操作装置に対して送信する送信手段と、を備えることを特徴とする。
【００２５】
また、本発明のカメラ操作装置によれば、カメラを制御するカメラサーバと、カメラにより得られる画像信号を受信するカメラ操作装置とを含むカメラ制御システムのカメラ操作装置であって、前記カメラのパン及びチルトのうち少なくとも１つの動作指令、及び前記カメラのズーム、フォーカス、及び絞りのうち少なくとも１つの調整指令を発行する姿勢指示手段と、前記カメラサーバにおいて前記カメラ操作装置から前記動作指令を受信した場合に前記動作指令によって前記カメラが動作中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記動作指令によって動作中であることを示す動作情報ヘッダが付加され送信された信号、及び、前記カメラサーバにおいて前記カメラ操作装置から前記調整指令を受信した場合に前記調整指令によって前記カメラが調整中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記調整指令によって調整中であることを示す調整情報ヘッダが付加され送信された信号を受信する受信手段と、受信した画像信号に付加された前記動作情報ヘッダ及び前記調整情報ヘッダの両方の内容に応じて、受信した画像信号に関る画像表示の形態を変更するよう制御する表示制御手段と、を備えることを特徴とする。
【００２６】
また、本発明のカメラ操作情報の表示方法によれば、カメラにより得られる画像を表示するカメラ操作装置からカメラを制御するカメラサーバに対して送信されるカメラ操作情報の表示制御方法であって、前記カメラ操作装置において、前記カメラのパン及びチルトのうち少なくとも１つの動作指令、及び前記カメラのズーム、フォーカス、及び絞りのうち少なくとも１つの調整指令を発行し、前記カメラサーバにおいて、前記カメラ操作装置から前記動作指令を受信した場合、前記動作指令によって前記カメラが動作中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記動作指令によって動作中であることを示す動作情報ヘッダを付加し、前記カメラ操作装置から前記調整指令を受信した場合、前記調整指令によって前記カメラが調整中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記調整指令によって調整中であることを示す調整情報ヘッダを付加し、前記動作情報ヘッダ及び前記調整情報ヘッダを付加した前記画像信号を、前記カメラ操作装置に対して送信し、前記カメラ操作装置において、受信した画像信号に付加された前記動作情報ヘッダ及び前記調整情報ヘッダの両方の内容に応じて、受信した画像信号に関る画像表示の形態を変更するよう制御することを特徴とする。
【００２８】
【発明の実施の形態】
以下、添付の図面に沿って本発明の実施の形態を説明していく。
【００２９】
図１は、本実施の形態のカメラ制御システムの概略構成図である。
【００３０】
図１において、カメラサーバ１０１は、ネットワークを介してクライアントとしての端末装置１０２からのカメラ１０３を制御するための操作信号を受信し、その指令に応じてカメラ１０３のパン，チルト、ズーム、絞り、フォーカスなどを制御する。また、カメラサーバ１０１は、カメラ１０３から入力された画像を所定の処理を施して再びネットワークを介して端末装置１０２に送信する。
【００３１】
カメラサーバ１０１は、カメラ制御回路１０９、画像入力回路１０６、マルチプレクス回路１０７、画像圧縮符号化回路１０８からなる。
【００３２】
カメラ制御回路１０９は、クライアントとして機能する端末装置１０２からのカメラ操作信号を受信すると、制御手段として、カメラ１０３の雲台においてカメラのパン，チルトの制御を、また、カメラ１０３側ではズーム，フォーカス，絞りなどの制御をRS-232Cなどのインターフェースを用いて行なう。また、カメラサーバ１０１内においてはネットワークに送信可能なように各回路の制御を行なう。カメラ１０３がパン，チルト動作中、あるいはズーム，フォーカス，絞り調整中であるとき、カメラ制御回路１０９は、後述のマルチプレクス回路にその旨の信号を発信する。
【００３３】
画像入力回路１０６は、カメラ１０３から入力された画像の画像信号を取り込む。取り込まれた画像信号は、画像入力回路１０６によってＡ／Ｄ変換される。デジタル化された信号は、例えばCCIR(Consultative Committee For International Radio) Rec.601などで定義されたフォーマットの信号として出力される。
【００３４】
マルチプレクス回路１０７は、画像入力回路１０６によって量子化された１フレームの画像信号と同期して、その画像信号がカメラ１０３のパン，チルト動作中に撮影された信号であるかどうかを判定するための動作判定信号、あるいはズーム，フォーカス，絞り調整中に撮影された信号であるかどうかを判定するための調整判定信号、および不図示のマイクから入力し、デジタル化された音声の音声信号とを多重化する回路である。
【００３５】
なお、このとき多重化される動作判定信号、および調整判定信号は、カメラ１０３からカメラ制御回路１０９へ発信するパン，チルト動作中であるかどうかを示す動作信号、あるいはズーム，フォーカス，絞り調整中であるかどうかを示す調整信号の発信と同期している。
【００３６】
つまり、動作信号がカメラ１０３から発信されているときは、カメラ制御回路１０９はその旨の信号をマルチプレクス回路１０７に発信し、マルチプレクス回路１０７は、カメラ１０３がパン，チルト動作中である「１」という動作判定信号を、また、動作信号が発信していないときは、停止中である「０」という動作判定信号を生成している。
【００３７】
調整信号がカメラ１０３から発信されているときは、カメラ制御回路１０９はその旨の信号をマルチプレクス回路１０７に発信し、マルチプレクス回路１０７は、カメラ１０３がズーム，フォーカス，絞りの調整中である「１」という調整判定信号を、また、調整信号が発信していないときは、停止中である「０」という調整判定信号を生成している。
【００３８】
画像圧縮符号化回路１０８は、多重化された画像データ、音声データ、カメラ動作判定データ、カメラ調整判定データなどの信号を圧縮符号化するための回路である。特に、動作判定信号が「１」のときの画像信号、つまりカメラがパン，チルト動作中に撮影された画像の画像信号は、スムージング処理が施され、表示する際にカメラの姿勢が変化している雰囲気が表れる画像となる。
【００３９】
伝達手段としてのカメラ制御回路１０９は、上述のような処理を施した信号を端末装置１０２側に伝達している。
【００４０】
カメラ１０３は、撮影するための撮像部とカメラ１０３のパン，チルトを制御する雲台部からなり、カメラサーバ１０１の制御指令に基づいて動作する。
【００４１】
端末装置１０２は、ユーザによるマウス１０５や不図示のキーボードからの入力操作によりカメラ１０３の操作信号を生成し、ネットワークを介してカメラサーバ１０１に伝達する。また、カメラサーバ１０１から伝送された画像信号を所定の処理を施して画像表示可能な信号に変換する。
【００４２】
端末装置１０２は、クライアント制御回路１１１、画像表示回路１１０、デマルチプレクス回路１１３、画像伸長復号化回路１１４によって構成される。
【００４３】
姿勢指示手段または調整指示手段として、クライアント制御回路１１１は、マウス１０５を用いたビットマップディスプレイ１０４上のＧＵＩ操作によって得られる操作指令信号をネットワークを介してカメラサーバ１０３に送信する。また、カメラサーバ１０３から伝達された信号を伸長して後述のビットマップディスプレイ１０４上の画像表示ウインドウにカメラ１０３から撮像された画像を表示する。
【００４４】
画像伸長復号化回路１１４は、カメラサーバ１０１からネットワークを介して送信された、符号化画像データ、符号化音声データ、符号化動作判定データ、符号化調整判定データなどの多重化されたデータを復号化する。ここで、復号化された動作判定信号、調整判定信号は、判定手段としての機能を備えるクライアント制御回路１１１に送られ、同期した画像データがカメラ１０３がパン，チルト動作中、あるいはズーム，フォーカス，絞りなど調整中に撮影されたものであるかどうかを伝える。
【００４５】
デマルチプレクス回路１１３は、画像伸長復号化回路１１４によって復号化された多重化データを、それぞれ、画像データ、音声データ、動作判定データ、調整判定データなどに分離する。
【００４６】
なお、図１では構成の簡略化のために記載しなかったが、カメラサーバ１０１側に端末装置１０２の機能を搭載してもよいし、端末装置１０２側にカメラサーバ１０１側の機能を搭載してもよい。このようにすれば、カメラサーバ１０１側と端末装置１０２側のカメラ１０３の相互操作および相互の画像の表示が可能となる。
【００４７】
表示回路１１０は、デマルチプレクス回路１１３によって分離された画像信号を、規格に準拠した出力フォーマットに再生し、表示装置（本実施の形態においてはビットマップディスプレイ１０４）の仕様に合うように、ライン補間、画素補間、レート変換、フィールド／フレーム変換などを行なう。また、表示回路１１０は図２に示すような画像ウインドウおよびカメラ操作表示をクライアント制御回路からの指令によって表示させる。
【００４８】
図２は、ビットマップディスプレイ１０４上の表示画面の一例を示す図である。図２において、２０１は、画像表示ウインドウであり、２０２はカメラ調整ウインドウである。２１３はカメラ１０３によって撮影された画像を表示している。
【００４９】
カーソル２１４は、マウス１０５（図１）の操作によって表示画面上を自在に移動可能であり、カーソル２１４を移動させ、指標２０４ａ，２０４ｂ，２０６ａ，２０６ｂ，２０９ａ，２０９ｂ，２１０ａ，２１０ｂ，２１１ａ，２１１ｂをクリックすることによってカメラ１０３のパン，チルト制御、および焦点の絞りなどの調整を可能とする。
【００５０】
画像表示ウインドウ２０１において、スクロールバー２０５は、カメラ１０３のパン方向の現在位置と移動可能な範囲を示す。マウス１０５の操作により、指標２０４ａをクリックすると、クライアント制御回路１１１は、その旨の指示信号をカメラサーバ１０１側に送信し、カメラ制御回路１０９はその指示にしたがって、カメラ１０３を左方向に動作させるように制御する。また、指標２０４ｂをクリックすると、同様な制御によってカメラ１０３が右方向に動作する。
【００５１】
スクロールバー２０７は、カメラ１０３のチルト方向の現在位置と移動可能な範囲を示す。パン方向と同様に制御可能であり、マウス１０５の操作により、指標２０６ａをクリックすると、カメラ１０３が上方向に動作し、指標２０６ｂをクリックするとカメラ１０３が下方向に動作する。
【００５２】
カメラ調整ウインドウ２０２において、スクロールバー２０８は、カメラ１０３の現在のズーム倍率とその現在の倍率に対する変動可能な範囲を示している。マウス１０５の操作により、指標２０９ａをクリックすることにより撮影画像２１３の倍率がテレ方向に変動し、指標２０９ｂをクリックすることにより撮影画像２１３の倍率がワイド方向に変動するようにカメラ１０３のズーム倍率が制御可能である。
【００５３】
スクロールバー２１１は、カメラ１０３の焦点位置を合わせるためのものであり、マウス１０５の操作により、指標２１０ａをクリックすると画像がカメラ１０３の近くの被写体に焦点位置が合うようになり、指標２１０ｂをクリックすると、カメラ１０３の遠くの被写体に焦点位置が合うようにカメラ１０３の焦点位置が制御可能である。
【００５４】
スクロールバー２１２は、カメラ１０３の絞りを調整するためのものであり、マウス１０５の操作により、指標２１１ａをクリックするとカメラ１０３の絞りが開放する方向に制御され、指標２１１ｂをクリックするとカメラ１０３の絞りが閉じる方向に制御される。
【００５５】
上述したようなビットマップディスプレイ１０４上のマウス１０５によるＧＵＩ操作によってなされた指令は、姿勢指示手段および調整指示手段としてのクライアント制御回路１１１によってカメラ１０３に対する指令信号が生成され、ネットワークを介してカメラサーバ１０１に伝送されている。
【００５６】
表示手段としてのビットマップディスプレイ１０４上に表示される画枠２０３は、例えば、通常は灰色に表示されているが、カメラがパン，チルト動作中の画像が表示されているときには青色に表示され、カメラがズーム，フォーカス，絞りなど調整中であるときには黄色に表示される。ユーザは、この表示の変化によって、カメラ１０３がどのような状態によって撮影された画像であるのかを視覚的に理解することができる。
【００５７】
図１においては、カメラサーバ１０１の構成をいくつかの回路の組み合わせとして示したが、図３においては、カメラサーバ１０１の機能をソフトウェアで処理するための構成をブロック図で示す。図３において、３０１はＣＰＵであり、カメラサーバ１０１における各種制御を行なう。３０２は第１の記憶媒体としてのＲＯＭであり、ＣＰＵ３０１によって実行される各種制御プログラムを格納する。３０３はＲＡＭであり、ＣＰＵ３０１が各種制御を実行する際に必要な作業領域を提供する。
【００５８】
３０４はカメラ映像インターフェースであり、カメラ１０３からの画像信号を受信する。３０５はカメラ駆動インターフェースであり、カメラ１０３のパン，チルト、ズームなどの駆動信号をカメラ１０３側に発信する。
【００５９】
３０６は、ネットワークインターフェースであり、ネットワーク３１０に接続されたネットワーク３１０上の他の装置（端末装置１０２など）との通信を実現する。３０７は外部記憶装置であり、例えばハードディスクなどで構成される。
【００６０】
３０８はＣＲＴであり、ＣＰＵ３０１の制御によって各種の表示を行なう。３０９はキーボードなどの入力部であり、ＣＰＵ３０１に対して各種の入力を行なう。３１１はバスであり、上述の各種の構成を接続する。
【００６１】
尚、上記の構成において、ＣＰＵ３０１は、外部記憶装置３０７を第１の記憶媒体として用い、この外部記憶装置３０７に格納されたカメラサーバプログラムをＲＡＭ３０３上にロードして、該ロードされた制御プログラムを実行するようにしてもよい。また、外部記憶装置３０７、ＣＲＴ３０８、入力部３０９はオプションであり、必要がなければ省略しても構わない。
【００６２】
また、図１で示した画像入力回路１０６、マルチプレクス回路１０７、画像圧縮符号化回路１０８は、この実施の形態においては、ＣＰＵ３０１がＲＯＭ３０２に格納された制御プログラムもしくはＲＡＭ３０３にロードされたカメラサーバプログラムを実行することによって実現される。
【００６３】
図７は、１フレーム（あるいは１フィールド）の画像データに多重化された端末装置１０２側に送信するためのデータの構造を示した図である。図７のデータ構造において、サーバＩＤ７０１は、このデータの送信元であるカメラサーバを示すものである。
【００６４】
また、画像データ７０６は１フレーム（あるいは１フィールド）の画像データである。動作判定データ７０２は、同期した画像データ７０６がカメラ１０３のパン，チルト動作中に撮影された画像か否かを判別するためのデータである。さらに、調整判定データ７０３は、同期した画像データ７０６がカメラのズーム、フォーカス、絞りなどの調整中に撮影された画像か否かを判別するためのデータである。
【００６５】
音声データ７０４は、カメラ付近の音声を不図示のマイクを介して取り込んだときのデータである。この音声データ７０４は画像データ７０６が撮影されたときの音声のものとは限らない。属性情報７０５は、そのときの画像データ７０６などの属性を示す。たとえば、画像データ７０６に関する属性は、フレームレートや圧縮処理の種別などを示し、カメラ情報に関する属性は、カメラのパン，チルト角またはズーム倍率などの情報を示すものなどを示す。
【００６６】
図４は、図１の端末装置１０２の機能をソフトウエアで処理するための構成を示すブロック図である。図４において、４０１はＣＰＵであり、第２の記憶媒体としてのＲＯＭ４０２に格納されたクライアントプログラム４０２ａに基づいて各種の制御を実現する。このＲＯＭ４０２は、クライアントプログラム４０２ａをはじめ、各種制御プログラムを格納する。４０３はＲＡＭであり、ＣＰＵ４０１が各種制御を実行するに際して、ＲＯＭ４０２に格納されたプログラムをこのＲＡＭ４０３にダウンロードすることによって作業領域を提供するものである。
【００６７】
４０４は外部記憶装置であり、光磁気ディスク（ＭＯ）、コンパクトディスク（ＣＤ−ＲＯＭ）、ハードディスク、フロッピーディスクなどで構成される。１０７は入力部であり、マウス１０５などのポインティングデバイス、不図示のキーボードなどを備えている。４０６はネットワークインターフェースであり、ネットワーク３１０を介してネットワーク上に接続された各種装置との通信を行なう。４０７はバスであり、上述の各構成を相互に通信可能に接続する。特に本実施の形態では、端末装置１０２は、カメラサーバ１０１から画像データ、音声データ、カメラ姿勢判定データ、カメラ調整判定データなどのデータを受信し、カメラ１０３の操作信号を必要に応じてカメラサーバ１０１へ送信する。
【００６８】
図５は、本実施の形態のカメラ制御システムのカメラサーバ１０１側の処理動作のフローチャートを示したものである。図５に沿ってカメラサーバ１０１側の処理動作を説明する。
【００６９】
まず、端末装置１０２がカメラ１０３の撮影画像をカメラサーバ１０１に要求すると、カメラサーバ１０１は動作を開始してカメラ１０３によって撮影が行われる（ｓ１００）。
【００７０】
カメラ１０３によって画像の撮影中に、端末装置１０２からカメラ１０３のパン，チルト動作指令（例えば、カメラをあらかじめ設定された初期位置に戻すホームポジション指令など）がカメラサーバ１０１に伝達されると（ｓ１０１）、ＣＰＵ３０１は、制御手段としてカメラ１０３にその指令に応じた動作制御を行なう（ｓ１０２）。このとき、カメラ１０３は、ＣＰＵ３０１にカメラ１０３がパン，チルト動作中であることを伝えるための動作信号を発信する（ｓ１０３）。
【００７１】
判定手段としてのＣＰＵ３０１は、この動作信号を受けて、パン，チルト動作中に撮影された画像のフレーム（あるいはフィールド）データに同期させ、パン，チルト動作中であることを示す動作判定信号の「１」を付加する（ｓ１０４）。
【００７２】
さらに、この画像信号を、カメラ１０３がパン，チルト動作中に撮影された雰囲気を出すために、スムージング処理手段としてスムージング処理を行なう（ｓ１０７）。
【００７３】
また、ｓ１０１において、端末装置１０２から動作指令が伝達されていないとき、つまりカメラ１０３からＣＰＵ３０１に動作信号が発信されていないとき、ＣＰＵ３０１は、そのときの画像のフレーム（あるいはフィールド）データに同期させてパン，チルト動作中でないときに撮影された画像のフレームデータであることを示す動作判定信号の「０」を付加する（ｓ１０５）。
【００７４】
ｓ１０６において、端末装置１０２から、カメラ１０３のズーム，フォーカス，絞りなどのカメラ調整指令がネットワーク３１０を介して伝達されると、ｓ１１１においてＣＰＵ３０１は、調整手段として調整指令にしたがってカメラ１０３の調整を制御する。そして、ｓ１１２においてカメラ１０３は、ＣＰＵ３０１にカメラが調整中であることを伝える調整信号を発信する。
【００７５】
ＣＰＵ３０１は、調整信号が伝達されると、ズーム，フォーカス，絞りなどが調整されているときに撮影した画像のフレーム（あるいはフィールド）データに同期して、ズーム，フォーカス，絞りなどが調整中であることを示す調整判定信号の「１」を付加する（ｓ１１３）。
【００７６】
また、ｓ１０６において、端末装置１０２から調整指令が伝達されていないとき、つまりカメラ１０３からＣＰＵ３０１に調整信号が発信されていないとき、ＣＰＵ３０１は、そのときの画像のフレーム（あるいはフィールド）データに同期させて、ズーム，フォーカス，絞りなど、調整中でないときに撮影された画像のデータであることを示す調整判定信号の「０」を付加する（ｓ１０８）。
【００７７】
このように、画像データに動作判定データ、調整判定データが付加され、多重化されたのち、ｓ１０９において画像の圧縮、符号化がなされ、ｓ１１０においてネットワーク３１０を介して端末装置１０２に図７のようなデータ構造を有するデータが、伝達手段としてのＣＰＵ３０１によって送信される。
【００７８】
以上のようなカメラサーバ１０１の処理によって、フレーム（あるいはフィールド）単位でその画像がパン，チルト動作中に撮影された画像のデータ７０６であるのか、あるいはズーム，フォーカス，絞りなどの調整中に撮影された画像データ７０６であるのかを端末装置１０２側で判別させることができる。
【００７９】
図６は、本実施の形態のカメラ制御システムの端末装置１０２がカメラサーバ１０１から画像データを受信したときの処理動作のフローチャートを示したものである。図６に沿って端末装置側の処理動作を説明する。
【００８０】
ネットワーク３１０を介してカメラサーバ１０１から画像データを受信すると（ｓ２００）、ＣＰＵ４０１は、サーバＩＤ７０１を読み取り、どのカメラサーバから送信されたデータであるのかを確認した後、受信したデータを伸長し、復号化する（ｓ２０１）。復号化されたのち、カメラサーバ１０１側で多重化された画像データ７０６、動作判定データ７０２、調整判定データ７０３などを同期を取りつつそれぞれ分離する（ｓ２０２）。
【００８１】
画像データ（フレームデータ）７０６を基にして、所定の出力フォーマットに処理が施されたのち、ビットマップディスプレイ１０４上の画像表示ウインドウ２０１（図２）に表示される。このとき画像データ７０６に同期している動作判定データ７０２が、判別手段としてのＣＰＵ４０１によって「１」であると判別されたとき（ｓ２０３）、ＣＰＵ４０１は、続いてｓ２０５ａにおいて調整判定データ７０３の判定を行なうが、さらに調整判定データが「０」の場合、同期している画像データによる画像の表示中の画枠２０３を青色に表示させる制御を行なう。このときの画像の表示を図８（ａ）に示す（見やすくするために図８（ａ）においては画像表示ウインドウ２０１を最大化している。後に示す図８（ｂ），図８（ｃ）も同様である。）。
【００８２】
この画枠２０３の色の表示によって、ユーザは現在表示されている画像が、カメラ１０３のパン，チルト動作であるときの画像であると視覚的に確認できる。また、このときの画像表示はスムージング処理された画像となっているので、カメラ１０３がパン，チルト動作が行われている雰囲気が表れる画像となっている（ｓ２０４）。
【００８３】
また、ｓ２０５ａにおいて、調整判定データ７０３が「１」であるとき、ｓ２０８で同期していた画像データに基づく画像が表示されているときの画枠２０３を黄色と青色とを交互に所定時間表示させる。なお、そのときの画像はスムージング処理が施されている。
【００８４】
ｓ２０３で動作判定データ７０２が「０」と判別され、さらにｓ２０５ｂにおいて画像データ７０６に同期している調整判定データ７０３が、判別手段としてのＣＰＵ４０１によって「１」であると判別されたとき、ｓ２０６において、ＣＰＵ４０１は、同期している画像データによる画像表示中の画枠２０３を黄色に表示させる制御を行なう。このときの画像表示ウインドウ２０１の表示を図８（ｂ）に示す。
【００８５】
この画枠２０３の色の表示によって、ユーザは現在表示されている画像がカメラ１０３のズーム，フォーカス，絞りなどの調整をしているときの画像であると視覚的に確認できる。
【００８６】
また、ｓ２０５ｂにおいて、調整判定データ７０３「０」であると判定されたとき、ｓ２０７においてＣＰＵ４０１は、同期している画像データによる画像表示中の画枠２０３を灰色に表示させる制御を行なう。このときの画像表示ウインドウ２０１の表示を図８（ｃ）に示す。
【００８７】
この画枠２０３の色表示によって、ユーザは、現在表示されている画像が現在カメラ１０３のパン，チルト動作およびズーム，フォーカス，絞りなどの調整をしていないときの画像であると確認できる。
【００８８】
このような端末装置１０２側の処理によって、現在ビットマップディスプレイ１０４上に表示されている画像が画枠２０３の色を変化させることによって、カメラ１０３のパン、チルト動作中の画像であるのか、またはカメラ１０３のズーム、フォーカス、絞りなどの調整中の画像であるのかを容易に把握することができる。
【００８９】
また、上述した実施の形態では、パン，チルト動作中の画像表示において、その画像をスムージング処理するとともに画像表示ウインドウ枠２０３を青色に変化させて表示させている。このとき、構成の簡略化のために、画枠２０３を変化させないでスムージング処理のみを行なって画像表示をしてもよいし、スムージング処理を行なわないで画枠２０３の色を変化させてもよい。
【００９０】
本実施の形態では、カメラ１０３のパン，チルト動作中に撮影された画像表示中の画像表示ウインドウ枠２０３を青色に、カメラ１０３のズーム，フォーカス，絞りなどの調整中に画像表示ウインドウ枠２０３を黄色に表示するものであるが、さらに、各処理動作中に撮影されたときの画像表示中にその処理動作後とに区別して色表示することも可能である。このとき、端末装置１０２に送信するデータ構造において、各処理動作が実行されているかどうかを示す判定信号を付加すればよい。
【００９１】
また、本実施の形態では、カメラ１０３の動作中、あるいは調整中に画枠２０３の色を変化させていたが、画像表示ウインドウ２０１、カメラ調整ウインドウ２０２の背景の壁紙を変化させるように端末装置１０２側に設定しても、上述したようなシステムの構成で実行することが可能である。
【００９２】
カメラ１０３の動作中、または調整中などに撮影された画像の表示の際、その画像表示の縁の部分に色をつけ、撮影中のカメラ１０３の処理動作に応じてその縁の色表示を変化させて表示してもよい。
【００９３】
このような処理の場合、カメラサーバ１０１において、例えば動作信号がカメラ１０３側からＣＰＵ３０１に伝達されると、ＣＰＵ３０１はこの動作信号に同期した画像データをスムージング処理を行なうとともに、画像に青く縁取りをするように指令を行なう。すると、画像データの縁の部分は、撮影画像データから青色に表示するためのデータに変換され、さらにその変換されたデータを圧縮符号化して送信する。このようなシステムの処理の場合、動作判定データなどのカメラの処理判定に関するデータを画像データに多重化させて送信しなくてもよいのでデータの送信量が減るという利点がある。
【００９４】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成できる。
【００９５】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９６】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００９７】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００９８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【００９９】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、本発明のカメラ制御システムに不可欠なモジュールを、記憶媒体に格納することになる。
【０１００】
本発明は、少なくとも、前記カメラが移動中に撮影された画像の信号であるかどうかを判定する「判定モジュール」、移動中の画像と同期してカメラの移動情報を表示する「表示モジュール」の各プログラムコードを記憶媒体に格納すればよい。
【０１０１】
【発明の効果】
以上説明したように、本発明の請求項１および請求項２によれば、クライアント側でカメラの姿勢の制御を実行したとき、カメラサーバ側で撮影画像の画像信号と同期してそのときの前記カメラの移動情報をクライアント側に伝達し、クライアント側において前記カメラが移動中に撮影された画像の信号であるか否かを判定し、カメラが移動中であることを示すカメラの移動情報を表示しているので、画像の圧縮伸長処理およびネットワークの伝送時間などのタイムラグが存在しても、その動作が実行中であることをユーザに意識させることにより、ユーザは的確なカメラ制御が実行できる。
【０１０２】
また、請求項３によれば、１フレームの画像信号ごとにカメラの移動情報を同期させて伝達しているので、ユーザは正確な移動情報を得ることができる。
【０１０３】
また、請求項４によれば、カメラが移動中に撮影した画像がウインドウに表示されているときに、そのウインドウ枠の色の表示をカメラが移動していないときのウインドウ枠の色表示とは異なるようにしたので、ユーザは表示画像がカメラの移動中に撮影されたものであるか否かを視覚的に迅速に判断できる。
【０１０４】
また、請求項５によれば、カメラが移動中に撮影した画像がウインドウに表示されているときに、そのウインドウの背景の壁紙の表示をカメラが移動していないときの壁紙の表示とは異なるようにしたので、ユーザは表示画像がカメラの移動中に撮影されたものであるか否かを視覚的に迅速に判断できる。
【０１０５】
また、請求項６によれば、カメラが移動中に撮影した画像の縁を色表示しているので、ユーザは表示画像がカメラの移動中に撮影されたものであるか否かを視覚的に迅速に判断できる。さらに、クライアント側にカメラの移動情報を伝送しなくて済むので、データの送信量が少なくなる。
【０１０６】
また、請求項７によれば、姿勢とは、カメラのパン，チルト動作が含まれるので、ユーザはカメラのパン，チルト動作中に撮影した画像であるか否かを確認することができる。
【０１０７】
また、請求項８および請求項９によれば、クライアント側でカメラの姿勢の制御を実行したとき、カメラサーバ側で撮影画像の画像信号と同期してそのときの前記カメラの調整情報をクライアント側に伝達し、クライアント側において前記カメラの調整中に撮影された画像の信号であるか否かを判定し、カメラが調整中であることを示すカメラの調整情報を表示しているので、画像の圧縮伸長処理およびネットワークの伝送時間などのタイムラグが存在してもその動作が実行中であることをユーザに意識させることにより的確なカメラ制御が実行できる。
【０１０８】
また、請求項１０によれば、１フレームの画像信号ごとにカメラの調整情報を同期させて伝達しているので、ユーザは正確な調整情報を得ることができる。
【０１０９】
また、請求項１１によれば、カメラの調整中に撮影した画像がウインドウに表示されているときに、そのウインドウ枠の色の表示をカメラが調整処理していないときのウインドウ枠の色表示とは異なるようにしたので、ユーザは表示画像がカメラの調整中に撮影されたものであるか否かを視覚的に迅速に判断できる。
【０１１０】
また、請求項１２によれば、カメラが調整中に撮影した画像がウインドウに表示されているときに、そのウインドウの背景の壁紙の表示をカメラが調整処理していないときの壁紙の表示とは異なるようにしたので、ユーザは表示画像がカメラの調整中に撮影されたものであるか否かを視覚的に迅速に判断できる。
【０１１１】
また、請求項１３によれば、カメラが調整中に撮影した画像の縁を色表示しているので、ユーザは表示画像がカメラの調整中に撮影されたものであるか否かを視覚的に迅速に判断できる。さらに、クライアント側にカメラの調整情報を伝送しなくて済むので、データの送信量が少なくなる。
【０１１２】
また、請求項１４によれば、調整には、少なくともカメラのズーム，フォーカス，絞りが含まれるので、ユーザはカメラのズーム，フォーカス，絞り調整中に撮影した画像であるか否かを確認することができる。
【０１１３】
また、請求項１５によれば、カメラが移動中に撮影した画像がウインドウに表示されているときと、カメラが調整中に撮影した画像がウインドウに表示されているときとのウインドウの枠の色表示を異ならせているので、ユーザはカメラがどのような処理を行なっているときのものであるか判断することができる。
【０１１４】
また、請求項１６および請求項１７によれば、本発明のカメラ制御システムは、クライアント側でカメラの姿勢の制御を実行したとき、カメラサーバ側で撮影画像の画像信号と同期してそのときの前記カメラの移動情報をクライアント側に伝達し、クライアント側において前記カメラが移動中に撮影された画像の信号であるか否かを判定し、カメラが移動中であることを示すカメラの移動情報を表示するように機能させるプログラムを備えているので、画像の圧縮伸長処理およびネットワークの伝送時間などのタイムラグが存在しても、その動作が実行中であることをユーザに意識させることにより、ユーザは的確なカメラ制御が実行できる。
【図面の簡単な説明】
【図１】カメラ制御システムの概略構成図。
【図２】クライアント側のビットマップディスプレイ上の表示画面の一例を示す図。
【図３】カメラサーバをソフト的に示すブロック図。
【図４】端末装置の構成をソフト的に示すブロック図。
【図５】カメラサーバ側の処理動作のフローチャート。
【図６】クライアント側の処理動作のフローチャート。
【図７】画像データに多重化されたクライアントに送信するためのデータの構造図。
【図８】（ａ）は、カメラが移動中に撮影された画像表示中の画像表示ウインドウの状態を示す図。
（ｂ）は、カメラが調整中に撮影された画像表示中の画像表示ウインドウの状態を示す図。
（ｃ）は、通常状態に撮影された画像表示中の画像表示ウインドウの状態を示す図。
【符号の説明】
１０１ カメラサーバ
１０２ 端末装置
１０３ カメラ
１０４ ビットマップディスプレイ
１０５ マウス
１０６ 画像入力回路
１０７ マルチプレクス回路
１０８ 画像圧縮符号化回路
１０９ カメラ制御回路
１１０ 画像表示回路
１１１ クライアント制御回路
１１３ デマルチプレクス回路
１１４ 画像伸長復号化回路
２０１ 画像表示ウインドウ
２０２ カメラ調整ウインドウ
２０３ 画枠
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ カメラＩ／Ｆ
３０５ 駆動Ｉ／Ｆ
３０６ ネットワークＩ／Ｆ
３０７ 外部記憶装置
４０１ ＣＰＵ
４０２ ＲＯＭ
４０２ａ クライアントプログラム
４０３ ＲＡＭ
【発明の属する技術分野】
本発明は、ＴＶ会議システム、ＴＶ電話、映像監視システムなどに用いられる、遠隔操作可能なカメラ制御システム、カメラサーバ、カメラ操作装置、及びカメラ操作情報の表示制御方法に関するものである。
【０００２】
【従来の技術】
建物内などに多数のカメラ及びコンピュータを配置し、例えば米国ゼロックス社等が開発したイーサネット（商標）などの通信手段を用いてそれらをネットワーク化することにより、任意の地点間で映像の伝送及び音声による対話を可能にする。例えば、ビデオ会議システムまたは遠隔監視システムなどの利用を目的とするカメラ制御システムは、もっとも注目されているものである。
【０００３】
このようなカメラ制御システムは、システムの拡張が自由に可能であり、コンピュータネットワーク上の任意の地点から他の任意の地点のカメラのパン，チルト、及びズームなどを遠隔制御し、制御したカメラの映像を自分のコンピュータ画面上に表示することができる。
【０００４】
【発明が解決しようとする課題】
このようなコンピュータネットワーク上で遠隔にあるカメラから撮影映像を転送してもらう場合、カメラ制御信号の伝達時間、画像通信時間、画像のデータ圧縮・伸長処理時間などによるタイムラグが存在する。例えば、ユーザがある方向にカメラを遠隔操作した場合、転送された画像を見ながら対話的に操作すると、ユーザは、ユーザの希望する画面が表示されるまで操作してしまうと、このタイムラグのためにユーザの希望のカメラ姿勢よりもカメラの姿勢は進んでしまい、希望するカメラの姿勢がとれないという欠点がある。
【０００５】
同様のコンピュータの通信・処理などのタイムラグの影響の例としては、クライアント／サーバ型コンピュータのウインドウシステム上のマウス操作による表示ウインドウ上のポインタ制御があげられる。
【０００６】
このコンピュータネットワークシステムにおいて、マウスの制御データは、マウス操作が実行されたクライアントからサーバに送られ、サーバの備えるアプリケーションによって処理されてポインタの位置が決定する。決定された位置データは、ネットワーク上の各クライアントに伝送される。この伝送された位置データをもとにポインタの表示位置が画面に反映される。
【０００７】
このようなマウス制御では、操作者がマウスを動作させて操作者の意図する位置に静止しようとしても、データの伝送によるタイムラグのためにポインタが移動してしまうという欠点があったが、これはマウスの表示位置の制御をマウス操作実行のクライアントによるアプリケーション処理によってマウス操作中のクライアントの表示画面に反映させ、そのポインタの位置情報をサーバに伝送し、サーバから各クライアントへポインタの位置情報を伝送するという解決方法がある。
【０００８】
しかしながら、テレビ会議システムなどのカメラコントロールの場合はネットワーク上のカメラの雲台を遠隔制御するので、上述したようなポインタの制御は不可能である。
【０００９】
本発明は、以上のようなことを鑑みて、カメラの移動（パン，チルトなど）中は、その動作中の画像が表示される際に、カメラの移動が実行中であることをユーザに意識させることにより的確なカメラ制御が実行できるようになされたものである。
【００１０】
【課題を解決するための手段】
以上のような目的を達成するために、本発明のカメラ制御システムによれば、カメラを制御するカメラサーバと、カメラにより得られる画像信号を受信して表示するカメラ操作装置とを含むカメラ制御システムであって、前記カメラ操作装置は、前記カメラのパン及びチルトのうち少なくとも１つの動作指令、及び前記カメラのズームフォーカス、及び絞りのうち少なくとも１つの調整指令を発行する姿勢指示手段を備え、前記カメラサーバは、前記カメラ操作装置から前記動作指令を受信した場合、前記動作指令によって前記カメラが動作中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記動作指令によって動作中であることを示す動作情報ヘッダを付加する動作情報付加手段と、前記カメラ操作装置から前記調整指令を受信した場合、前記調整指令によって前記カメラが調整中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記調整指令によって調整中であることを示す調整情報ヘッダを付加する調整情報付加手段と、前記動作情報ヘッダ及び前記調整情報ヘッダを付加した前記画像信号を、前記カメラ操作装置に対して送信する送信手段とを備え、前記カメラ操作装置は、受信した画像信号に付加された前記動作情報ヘッダ及び前記調整情報ヘッダの両方の内容に応じて、受信した画像信号に関る画像表示の形態を変更するよう制御するよう制御することを特徴とする。
【００１７】
また、本発明のカメラサーバによれば、カメラにより得られる画像信号を受信して表示するカメラ操作装置と接続され、前記カメラを制御するカメラサーバであって、前記カメラ操作装置から前記カメラのパン及びチルトのうち少なくとも１つの動作指令を受信した場合、前記動作指令によって前記カメラが動作中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記動作指令によって動作中であることを示す動作情報ヘッダを付加する動作情報付加手段と、前記カメラ操作装置から前記カメラのズーム、フォーカス、及び絞りのうち少なくとも１つの調整指令を受信した場合、前記調整指令によって前記カメラが調整中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記調整命令によって調整中であることを示す調整情報ヘッダを付加する調整情報付加手段と、前記カメラ操作装置において前記動作情報ヘッダ及び前記調整情報ヘッダの両方の内容に応じて受信した画像信号に関る画像表示の形態を変更するよう制御するために、前記動作情報及び前記調整情報を付加した前記画像信号を前記カメラ操作装置に対して送信する送信手段と、を備えることを特徴とする。
【００２５】
また、本発明のカメラ操作装置によれば、カメラを制御するカメラサーバと、カメラにより得られる画像信号を受信するカメラ操作装置とを含むカメラ制御システムのカメラ操作装置であって、前記カメラのパン及びチルトのうち少なくとも１つの動作指令、及び前記カメラのズーム、フォーカス、及び絞りのうち少なくとも１つの調整指令を発行する姿勢指示手段と、前記カメラサーバにおいて前記カメラ操作装置から前記動作指令を受信した場合に前記動作指令によって前記カメラが動作中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記動作指令によって動作中であることを示す動作情報ヘッダが付加され送信された信号、及び、前記カメラサーバにおいて前記カメラ操作装置から前記調整指令を受信した場合に前記調整指令によって前記カメラが調整中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記調整指令によって調整中であることを示す調整情報ヘッダが付加され送信された信号を受信する受信手段と、受信した画像信号に付加された前記動作情報ヘッダ及び前記調整情報ヘッダの両方の内容に応じて、受信した画像信号に関る画像表示の形態を変更するよう制御する表示制御手段と、を備えることを特徴とする。
【００２６】
また、本発明のカメラ操作情報の表示方法によれば、カメラにより得られる画像を表示するカメラ操作装置からカメラを制御するカメラサーバに対して送信されるカメラ操作情報の表示制御方法であって、前記カメラ操作装置において、前記カメラのパン及びチルトのうち少なくとも１つの動作指令、及び前記カメラのズーム、フォーカス、及び絞りのうち少なくとも１つの調整指令を発行し、前記カメラサーバにおいて、前記カメラ操作装置から前記動作指令を受信した場合、前記動作指令によって前記カメラが動作中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記動作指令によって動作中であることを示す動作情報ヘッダを付加し、前記カメラ操作装置から前記調整指令を受信した場合、前記調整指令によって前記カメラが調整中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記調整指令によって調整中であることを示す調整情報ヘッダを付加し、前記動作情報ヘッダ及び前記調整情報ヘッダを付加した前記画像信号を、前記カメラ操作装置に対して送信し、前記カメラ操作装置において、受信した画像信号に付加された前記動作情報ヘッダ及び前記調整情報ヘッダの両方の内容に応じて、受信した画像信号に関る画像表示の形態を変更するよう制御することを特徴とする。
【００２８】
【発明の実施の形態】
以下、添付の図面に沿って本発明の実施の形態を説明していく。
【００２９】
図１は、本実施の形態のカメラ制御システムの概略構成図である。
【００３０】
図１において、カメラサーバ１０１は、ネットワークを介してクライアントとしての端末装置１０２からのカメラ１０３を制御するための操作信号を受信し、その指令に応じてカメラ１０３のパン，チルト、ズーム、絞り、フォーカスなどを制御する。また、カメラサーバ１０１は、カメラ１０３から入力された画像を所定の処理を施して再びネットワークを介して端末装置１０２に送信する。
【００３１】
カメラサーバ１０１は、カメラ制御回路１０９、画像入力回路１０６、マルチプレクス回路１０７、画像圧縮符号化回路１０８からなる。
【００３２】
カメラ制御回路１０９は、クライアントとして機能する端末装置１０２からのカメラ操作信号を受信すると、制御手段として、カメラ１０３の雲台においてカメラのパン，チルトの制御を、また、カメラ１０３側ではズーム，フォーカス，絞りなどの制御をRS-232Cなどのインターフェースを用いて行なう。また、カメラサーバ１０１内においてはネットワークに送信可能なように各回路の制御を行なう。カメラ１０３がパン，チルト動作中、あるいはズーム，フォーカス，絞り調整中であるとき、カメラ制御回路１０９は、後述のマルチプレクス回路にその旨の信号を発信する。
【００３３】
画像入力回路１０６は、カメラ１０３から入力された画像の画像信号を取り込む。取り込まれた画像信号は、画像入力回路１０６によってＡ／Ｄ変換される。デジタル化された信号は、例えばCCIR(Consultative Committee For International Radio) Rec.601などで定義されたフォーマットの信号として出力される。
【００３４】
マルチプレクス回路１０７は、画像入力回路１０６によって量子化された１フレームの画像信号と同期して、その画像信号がカメラ１０３のパン，チルト動作中に撮影された信号であるかどうかを判定するための動作判定信号、あるいはズーム，フォーカス，絞り調整中に撮影された信号であるかどうかを判定するための調整判定信号、および不図示のマイクから入力し、デジタル化された音声の音声信号とを多重化する回路である。
【００３５】
なお、このとき多重化される動作判定信号、および調整判定信号は、カメラ１０３からカメラ制御回路１０９へ発信するパン，チルト動作中であるかどうかを示す動作信号、あるいはズーム，フォーカス，絞り調整中であるかどうかを示す調整信号の発信と同期している。
【００３６】
つまり、動作信号がカメラ１０３から発信されているときは、カメラ制御回路１０９はその旨の信号をマルチプレクス回路１０７に発信し、マルチプレクス回路１０７は、カメラ１０３がパン，チルト動作中である「１」という動作判定信号を、また、動作信号が発信していないときは、停止中である「０」という動作判定信号を生成している。
【００３７】
調整信号がカメラ１０３から発信されているときは、カメラ制御回路１０９はその旨の信号をマルチプレクス回路１０７に発信し、マルチプレクス回路１０７は、カメラ１０３がズーム，フォーカス，絞りの調整中である「１」という調整判定信号を、また、調整信号が発信していないときは、停止中である「０」という調整判定信号を生成している。
【００３８】
画像圧縮符号化回路１０８は、多重化された画像データ、音声データ、カメラ動作判定データ、カメラ調整判定データなどの信号を圧縮符号化するための回路である。特に、動作判定信号が「１」のときの画像信号、つまりカメラがパン，チルト動作中に撮影された画像の画像信号は、スムージング処理が施され、表示する際にカメラの姿勢が変化している雰囲気が表れる画像となる。
【００３９】
伝達手段としてのカメラ制御回路１０９は、上述のような処理を施した信号を端末装置１０２側に伝達している。
【００４０】
カメラ１０３は、撮影するための撮像部とカメラ１０３のパン，チルトを制御する雲台部からなり、カメラサーバ１０１の制御指令に基づいて動作する。
【００４１】
端末装置１０２は、ユーザによるマウス１０５や不図示のキーボードからの入力操作によりカメラ１０３の操作信号を生成し、ネットワークを介してカメラサーバ１０１に伝達する。また、カメラサーバ１０１から伝送された画像信号を所定の処理を施して画像表示可能な信号に変換する。
【００４２】
端末装置１０２は、クライアント制御回路１１１、画像表示回路１１０、デマルチプレクス回路１１３、画像伸長復号化回路１１４によって構成される。
【００４３】
姿勢指示手段または調整指示手段として、クライアント制御回路１１１は、マウス１０５を用いたビットマップディスプレイ１０４上のＧＵＩ操作によって得られる操作指令信号をネットワークを介してカメラサーバ１０３に送信する。また、カメラサーバ１０３から伝達された信号を伸長して後述のビットマップディスプレイ１０４上の画像表示ウインドウにカメラ１０３から撮像された画像を表示する。
【００４４】
画像伸長復号化回路１１４は、カメラサーバ１０１からネットワークを介して送信された、符号化画像データ、符号化音声データ、符号化動作判定データ、符号化調整判定データなどの多重化されたデータを復号化する。ここで、復号化された動作判定信号、調整判定信号は、判定手段としての機能を備えるクライアント制御回路１１１に送られ、同期した画像データがカメラ１０３がパン，チルト動作中、あるいはズーム，フォーカス，絞りなど調整中に撮影されたものであるかどうかを伝える。
【００４５】
デマルチプレクス回路１１３は、画像伸長復号化回路１１４によって復号化された多重化データを、それぞれ、画像データ、音声データ、動作判定データ、調整判定データなどに分離する。
【００４６】
なお、図１では構成の簡略化のために記載しなかったが、カメラサーバ１０１側に端末装置１０２の機能を搭載してもよいし、端末装置１０２側にカメラサーバ１０１側の機能を搭載してもよい。このようにすれば、カメラサーバ１０１側と端末装置１０２側のカメラ１０３の相互操作および相互の画像の表示が可能となる。
【００４７】
表示回路１１０は、デマルチプレクス回路１１３によって分離された画像信号を、規格に準拠した出力フォーマットに再生し、表示装置（本実施の形態においてはビットマップディスプレイ１０４）の仕様に合うように、ライン補間、画素補間、レート変換、フィールド／フレーム変換などを行なう。また、表示回路１１０は図２に示すような画像ウインドウおよびカメラ操作表示をクライアント制御回路からの指令によって表示させる。
【００４８】
図２は、ビットマップディスプレイ１０４上の表示画面の一例を示す図である。図２において、２０１は、画像表示ウインドウであり、２０２はカメラ調整ウインドウである。２１３はカメラ１０３によって撮影された画像を表示している。
【００４９】
カーソル２１４は、マウス１０５（図１）の操作によって表示画面上を自在に移動可能であり、カーソル２１４を移動させ、指標２０４ａ，２０４ｂ，２０６ａ，２０６ｂ，２０９ａ，２０９ｂ，２１０ａ，２１０ｂ，２１１ａ，２１１ｂをクリックすることによってカメラ１０３のパン，チルト制御、および焦点の絞りなどの調整を可能とする。
【００５０】
画像表示ウインドウ２０１において、スクロールバー２０５は、カメラ１０３のパン方向の現在位置と移動可能な範囲を示す。マウス１０５の操作により、指標２０４ａをクリックすると、クライアント制御回路１１１は、その旨の指示信号をカメラサーバ１０１側に送信し、カメラ制御回路１０９はその指示にしたがって、カメラ１０３を左方向に動作させるように制御する。また、指標２０４ｂをクリックすると、同様な制御によってカメラ１０３が右方向に動作する。
【００５１】
スクロールバー２０７は、カメラ１０３のチルト方向の現在位置と移動可能な範囲を示す。パン方向と同様に制御可能であり、マウス１０５の操作により、指標２０６ａをクリックすると、カメラ１０３が上方向に動作し、指標２０６ｂをクリックするとカメラ１０３が下方向に動作する。
【００５２】
カメラ調整ウインドウ２０２において、スクロールバー２０８は、カメラ１０３の現在のズーム倍率とその現在の倍率に対する変動可能な範囲を示している。マウス１０５の操作により、指標２０９ａをクリックすることにより撮影画像２１３の倍率がテレ方向に変動し、指標２０９ｂをクリックすることにより撮影画像２１３の倍率がワイド方向に変動するようにカメラ１０３のズーム倍率が制御可能である。
【００５３】
スクロールバー２１１は、カメラ１０３の焦点位置を合わせるためのものであり、マウス１０５の操作により、指標２１０ａをクリックすると画像がカメラ１０３の近くの被写体に焦点位置が合うようになり、指標２１０ｂをクリックすると、カメラ１０３の遠くの被写体に焦点位置が合うようにカメラ１０３の焦点位置が制御可能である。
【００５４】
スクロールバー２１２は、カメラ１０３の絞りを調整するためのものであり、マウス１０５の操作により、指標２１１ａをクリックするとカメラ１０３の絞りが開放する方向に制御され、指標２１１ｂをクリックするとカメラ１０３の絞りが閉じる方向に制御される。
【００５５】
上述したようなビットマップディスプレイ１０４上のマウス１０５によるＧＵＩ操作によってなされた指令は、姿勢指示手段および調整指示手段としてのクライアント制御回路１１１によってカメラ１０３に対する指令信号が生成され、ネットワークを介してカメラサーバ１０１に伝送されている。
【００５６】
表示手段としてのビットマップディスプレイ１０４上に表示される画枠２０３は、例えば、通常は灰色に表示されているが、カメラがパン，チルト動作中の画像が表示されているときには青色に表示され、カメラがズーム，フォーカス，絞りなど調整中であるときには黄色に表示される。ユーザは、この表示の変化によって、カメラ１０３がどのような状態によって撮影された画像であるのかを視覚的に理解することができる。
【００５７】
図１においては、カメラサーバ１０１の構成をいくつかの回路の組み合わせとして示したが、図３においては、カメラサーバ１０１の機能をソフトウェアで処理するための構成をブロック図で示す。図３において、３０１はＣＰＵであり、カメラサーバ１０１における各種制御を行なう。３０２は第１の記憶媒体としてのＲＯＭであり、ＣＰＵ３０１によって実行される各種制御プログラムを格納する。３０３はＲＡＭであり、ＣＰＵ３０１が各種制御を実行する際に必要な作業領域を提供する。
【００５８】
３０４はカメラ映像インターフェースであり、カメラ１０３からの画像信号を受信する。３０５はカメラ駆動インターフェースであり、カメラ１０３のパン，チルト、ズームなどの駆動信号をカメラ１０３側に発信する。
【００５９】
３０６は、ネットワークインターフェースであり、ネットワーク３１０に接続されたネットワーク３１０上の他の装置（端末装置１０２など）との通信を実現する。３０７は外部記憶装置であり、例えばハードディスクなどで構成される。
【００６０】
３０８はＣＲＴであり、ＣＰＵ３０１の制御によって各種の表示を行なう。３０９はキーボードなどの入力部であり、ＣＰＵ３０１に対して各種の入力を行なう。３１１はバスであり、上述の各種の構成を接続する。
【００６１】
尚、上記の構成において、ＣＰＵ３０１は、外部記憶装置３０７を第１の記憶媒体として用い、この外部記憶装置３０７に格納されたカメラサーバプログラムをＲＡＭ３０３上にロードして、該ロードされた制御プログラムを実行するようにしてもよい。また、外部記憶装置３０７、ＣＲＴ３０８、入力部３０９はオプションであり、必要がなければ省略しても構わない。
【００６２】
また、図１で示した画像入力回路１０６、マルチプレクス回路１０７、画像圧縮符号化回路１０８は、この実施の形態においては、ＣＰＵ３０１がＲＯＭ３０２に格納された制御プログラムもしくはＲＡＭ３０３にロードされたカメラサーバプログラムを実行することによって実現される。
【００６３】
図７は、１フレーム（あるいは１フィールド）の画像データに多重化された端末装置１０２側に送信するためのデータの構造を示した図である。図７のデータ構造において、サーバＩＤ７０１は、このデータの送信元であるカメラサーバを示すものである。
【００６４】
また、画像データ７０６は１フレーム（あるいは１フィールド）の画像データである。動作判定データ７０２は、同期した画像データ７０６がカメラ１０３のパン，チルト動作中に撮影された画像か否かを判別するためのデータである。さらに、調整判定データ７０３は、同期した画像データ７０６がカメラのズーム、フォーカス、絞りなどの調整中に撮影された画像か否かを判別するためのデータである。
【００６５】
音声データ７０４は、カメラ付近の音声を不図示のマイクを介して取り込んだときのデータである。この音声データ７０４は画像データ７０６が撮影されたときの音声のものとは限らない。属性情報７０５は、そのときの画像データ７０６などの属性を示す。たとえば、画像データ７０６に関する属性は、フレームレートや圧縮処理の種別などを示し、カメラ情報に関する属性は、カメラのパン，チルト角またはズーム倍率などの情報を示すものなどを示す。
【００６６】
図４は、図１の端末装置１０２の機能をソフトウエアで処理するための構成を示すブロック図である。図４において、４０１はＣＰＵであり、第２の記憶媒体としてのＲＯＭ４０２に格納されたクライアントプログラム４０２ａに基づいて各種の制御を実現する。このＲＯＭ４０２は、クライアントプログラム４０２ａをはじめ、各種制御プログラムを格納する。４０３はＲＡＭであり、ＣＰＵ４０１が各種制御を実行するに際して、ＲＯＭ４０２に格納されたプログラムをこのＲＡＭ４０３にダウンロードすることによって作業領域を提供するものである。
【００６７】
４０４は外部記憶装置であり、光磁気ディスク（ＭＯ）、コンパクトディスク（ＣＤ−ＲＯＭ）、ハードディスク、フロッピーディスクなどで構成される。１０７は入力部であり、マウス１０５などのポインティングデバイス、不図示のキーボードなどを備えている。４０６はネットワークインターフェースであり、ネットワーク３１０を介してネットワーク上に接続された各種装置との通信を行なう。４０７はバスであり、上述の各構成を相互に通信可能に接続する。特に本実施の形態では、端末装置１０２は、カメラサーバ１０１から画像データ、音声データ、カメラ姿勢判定データ、カメラ調整判定データなどのデータを受信し、カメラ１０３の操作信号を必要に応じてカメラサーバ１０１へ送信する。
【００６８】
図５は、本実施の形態のカメラ制御システムのカメラサーバ１０１側の処理動作のフローチャートを示したものである。図５に沿ってカメラサーバ１０１側の処理動作を説明する。
【００６９】
まず、端末装置１０２がカメラ１０３の撮影画像をカメラサーバ１０１に要求すると、カメラサーバ１０１は動作を開始してカメラ１０３によって撮影が行われる（ｓ１００）。
【００７０】
カメラ１０３によって画像の撮影中に、端末装置１０２からカメラ１０３のパン，チルト動作指令（例えば、カメラをあらかじめ設定された初期位置に戻すホームポジション指令など）がカメラサーバ１０１に伝達されると（ｓ１０１）、ＣＰＵ３０１は、制御手段としてカメラ１０３にその指令に応じた動作制御を行なう（ｓ１０２）。このとき、カメラ１０３は、ＣＰＵ３０１にカメラ１０３がパン，チルト動作中であることを伝えるための動作信号を発信する（ｓ１０３）。
【００７１】
判定手段としてのＣＰＵ３０１は、この動作信号を受けて、パン，チルト動作中に撮影された画像のフレーム（あるいはフィールド）データに同期させ、パン，チルト動作中であることを示す動作判定信号の「１」を付加する（ｓ１０４）。
【００７２】
さらに、この画像信号を、カメラ１０３がパン，チルト動作中に撮影された雰囲気を出すために、スムージング処理手段としてスムージング処理を行なう（ｓ１０７）。
【００７３】
また、ｓ１０１において、端末装置１０２から動作指令が伝達されていないとき、つまりカメラ１０３からＣＰＵ３０１に動作信号が発信されていないとき、ＣＰＵ３０１は、そのときの画像のフレーム（あるいはフィールド）データに同期させてパン，チルト動作中でないときに撮影された画像のフレームデータであることを示す動作判定信号の「０」を付加する（ｓ１０５）。
【００７４】
ｓ１０６において、端末装置１０２から、カメラ１０３のズーム，フォーカス，絞りなどのカメラ調整指令がネットワーク３１０を介して伝達されると、ｓ１１１においてＣＰＵ３０１は、調整手段として調整指令にしたがってカメラ１０３の調整を制御する。そして、ｓ１１２においてカメラ１０３は、ＣＰＵ３０１にカメラが調整中であることを伝える調整信号を発信する。
【００７５】
ＣＰＵ３０１は、調整信号が伝達されると、ズーム，フォーカス，絞りなどが調整されているときに撮影した画像のフレーム（あるいはフィールド）データに同期して、ズーム，フォーカス，絞りなどが調整中であることを示す調整判定信号の「１」を付加する（ｓ１１３）。
【００７６】
また、ｓ１０６において、端末装置１０２から調整指令が伝達されていないとき、つまりカメラ１０３からＣＰＵ３０１に調整信号が発信されていないとき、ＣＰＵ３０１は、そのときの画像のフレーム（あるいはフィールド）データに同期させて、ズーム，フォーカス，絞りなど、調整中でないときに撮影された画像のデータであることを示す調整判定信号の「０」を付加する（ｓ１０８）。
【００７７】
このように、画像データに動作判定データ、調整判定データが付加され、多重化されたのち、ｓ１０９において画像の圧縮、符号化がなされ、ｓ１１０においてネットワーク３１０を介して端末装置１０２に図７のようなデータ構造を有するデータが、伝達手段としてのＣＰＵ３０１によって送信される。
【００７８】
以上のようなカメラサーバ１０１の処理によって、フレーム（あるいはフィールド）単位でその画像がパン，チルト動作中に撮影された画像のデータ７０６であるのか、あるいはズーム，フォーカス，絞りなどの調整中に撮影された画像データ７０６であるのかを端末装置１０２側で判別させることができる。
【００７９】
図６は、本実施の形態のカメラ制御システムの端末装置１０２がカメラサーバ１０１から画像データを受信したときの処理動作のフローチャートを示したものである。図６に沿って端末装置側の処理動作を説明する。
【００８０】
ネットワーク３１０を介してカメラサーバ１０１から画像データを受信すると（ｓ２００）、ＣＰＵ４０１は、サーバＩＤ７０１を読み取り、どのカメラサーバから送信されたデータであるのかを確認した後、受信したデータを伸長し、復号化する（ｓ２０１）。復号化されたのち、カメラサーバ１０１側で多重化された画像データ７０６、動作判定データ７０２、調整判定データ７０３などを同期を取りつつそれぞれ分離する（ｓ２０２）。
【００８１】
画像データ（フレームデータ）７０６を基にして、所定の出力フォーマットに処理が施されたのち、ビットマップディスプレイ１０４上の画像表示ウインドウ２０１（図２）に表示される。このとき画像データ７０６に同期している動作判定データ７０２が、判別手段としてのＣＰＵ４０１によって「１」であると判別されたとき（ｓ２０３）、ＣＰＵ４０１は、続いてｓ２０５ａにおいて調整判定データ７０３の判定を行なうが、さらに調整判定データが「０」の場合、同期している画像データによる画像の表示中の画枠２０３を青色に表示させる制御を行なう。このときの画像の表示を図８（ａ）に示す（見やすくするために図８（ａ）においては画像表示ウインドウ２０１を最大化している。後に示す図８（ｂ），図８（ｃ）も同様である。）。
【００８２】
この画枠２０３の色の表示によって、ユーザは現在表示されている画像が、カメラ１０３のパン，チルト動作であるときの画像であると視覚的に確認できる。また、このときの画像表示はスムージング処理された画像となっているので、カメラ１０３がパン，チルト動作が行われている雰囲気が表れる画像となっている（ｓ２０４）。
【００８３】
また、ｓ２０５ａにおいて、調整判定データ７０３が「１」であるとき、ｓ２０８で同期していた画像データに基づく画像が表示されているときの画枠２０３を黄色と青色とを交互に所定時間表示させる。なお、そのときの画像はスムージング処理が施されている。
【００８４】
ｓ２０３で動作判定データ７０２が「０」と判別され、さらにｓ２０５ｂにおいて画像データ７０６に同期している調整判定データ７０３が、判別手段としてのＣＰＵ４０１によって「１」であると判別されたとき、ｓ２０６において、ＣＰＵ４０１は、同期している画像データによる画像表示中の画枠２０３を黄色に表示させる制御を行なう。このときの画像表示ウインドウ２０１の表示を図８（ｂ）に示す。
【００８５】
この画枠２０３の色の表示によって、ユーザは現在表示されている画像がカメラ１０３のズーム，フォーカス，絞りなどの調整をしているときの画像であると視覚的に確認できる。
【００８６】
また、ｓ２０５ｂにおいて、調整判定データ７０３「０」であると判定されたとき、ｓ２０７においてＣＰＵ４０１は、同期している画像データによる画像表示中の画枠２０３を灰色に表示させる制御を行なう。このときの画像表示ウインドウ２０１の表示を図８（ｃ）に示す。
【００８７】
この画枠２０３の色表示によって、ユーザは、現在表示されている画像が現在カメラ１０３のパン，チルト動作およびズーム，フォーカス，絞りなどの調整をしていないときの画像であると確認できる。
【００８８】
このような端末装置１０２側の処理によって、現在ビットマップディスプレイ１０４上に表示されている画像が画枠２０３の色を変化させることによって、カメラ１０３のパン、チルト動作中の画像であるのか、またはカメラ１０３のズーム、フォーカス、絞りなどの調整中の画像であるのかを容易に把握することができる。
【００８９】
また、上述した実施の形態では、パン，チルト動作中の画像表示において、その画像をスムージング処理するとともに画像表示ウインドウ枠２０３を青色に変化させて表示させている。このとき、構成の簡略化のために、画枠２０３を変化させないでスムージング処理のみを行なって画像表示をしてもよいし、スムージング処理を行なわないで画枠２０３の色を変化させてもよい。
【００９０】
本実施の形態では、カメラ１０３のパン，チルト動作中に撮影された画像表示中の画像表示ウインドウ枠２０３を青色に、カメラ１０３のズーム，フォーカス，絞りなどの調整中に画像表示ウインドウ枠２０３を黄色に表示するものであるが、さらに、各処理動作中に撮影されたときの画像表示中にその処理動作後とに区別して色表示することも可能である。このとき、端末装置１０２に送信するデータ構造において、各処理動作が実行されているかどうかを示す判定信号を付加すればよい。
【００９１】
また、本実施の形態では、カメラ１０３の動作中、あるいは調整中に画枠２０３の色を変化させていたが、画像表示ウインドウ２０１、カメラ調整ウインドウ２０２の背景の壁紙を変化させるように端末装置１０２側に設定しても、上述したようなシステムの構成で実行することが可能である。
【００９２】
カメラ１０３の動作中、または調整中などに撮影された画像の表示の際、その画像表示の縁の部分に色をつけ、撮影中のカメラ１０３の処理動作に応じてその縁の色表示を変化させて表示してもよい。
【００９３】
このような処理の場合、カメラサーバ１０１において、例えば動作信号がカメラ１０３側からＣＰＵ３０１に伝達されると、ＣＰＵ３０１はこの動作信号に同期した画像データをスムージング処理を行なうとともに、画像に青く縁取りをするように指令を行なう。すると、画像データの縁の部分は、撮影画像データから青色に表示するためのデータに変換され、さらにその変換されたデータを圧縮符号化して送信する。このようなシステムの処理の場合、動作判定データなどのカメラの処理判定に関するデータを画像データに多重化させて送信しなくてもよいのでデータの送信量が減るという利点がある。
【００９４】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成できる。
【００９５】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９６】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００９７】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００９８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【００９９】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、本発明のカメラ制御システムに不可欠なモジュールを、記憶媒体に格納することになる。
【０１００】
本発明は、少なくとも、前記カメラが移動中に撮影された画像の信号であるかどうかを判定する「判定モジュール」、移動中の画像と同期してカメラの移動情報を表示する「表示モジュール」の各プログラムコードを記憶媒体に格納すればよい。
【０１０１】
【発明の効果】
以上説明したように、本発明の請求項１および請求項２によれば、クライアント側でカメラの姿勢の制御を実行したとき、カメラサーバ側で撮影画像の画像信号と同期してそのときの前記カメラの移動情報をクライアント側に伝達し、クライアント側において前記カメラが移動中に撮影された画像の信号であるか否かを判定し、カメラが移動中であることを示すカメラの移動情報を表示しているので、画像の圧縮伸長処理およびネットワークの伝送時間などのタイムラグが存在しても、その動作が実行中であることをユーザに意識させることにより、ユーザは的確なカメラ制御が実行できる。
【０１０２】
また、請求項３によれば、１フレームの画像信号ごとにカメラの移動情報を同期させて伝達しているので、ユーザは正確な移動情報を得ることができる。
【０１０３】
また、請求項４によれば、カメラが移動中に撮影した画像がウインドウに表示されているときに、そのウインドウ枠の色の表示をカメラが移動していないときのウインドウ枠の色表示とは異なるようにしたので、ユーザは表示画像がカメラの移動中に撮影されたものであるか否かを視覚的に迅速に判断できる。
【０１０４】
また、請求項５によれば、カメラが移動中に撮影した画像がウインドウに表示されているときに、そのウインドウの背景の壁紙の表示をカメラが移動していないときの壁紙の表示とは異なるようにしたので、ユーザは表示画像がカメラの移動中に撮影されたものであるか否かを視覚的に迅速に判断できる。
【０１０５】
また、請求項６によれば、カメラが移動中に撮影した画像の縁を色表示しているので、ユーザは表示画像がカメラの移動中に撮影されたものであるか否かを視覚的に迅速に判断できる。さらに、クライアント側にカメラの移動情報を伝送しなくて済むので、データの送信量が少なくなる。
【０１０６】
また、請求項７によれば、姿勢とは、カメラのパン，チルト動作が含まれるので、ユーザはカメラのパン，チルト動作中に撮影した画像であるか否かを確認することができる。
【０１０７】
また、請求項８および請求項９によれば、クライアント側でカメラの姿勢の制御を実行したとき、カメラサーバ側で撮影画像の画像信号と同期してそのときの前記カメラの調整情報をクライアント側に伝達し、クライアント側において前記カメラの調整中に撮影された画像の信号であるか否かを判定し、カメラが調整中であることを示すカメラの調整情報を表示しているので、画像の圧縮伸長処理およびネットワークの伝送時間などのタイムラグが存在してもその動作が実行中であることをユーザに意識させることにより的確なカメラ制御が実行できる。
【０１０８】
また、請求項１０によれば、１フレームの画像信号ごとにカメラの調整情報を同期させて伝達しているので、ユーザは正確な調整情報を得ることができる。
【０１０９】
また、請求項１１によれば、カメラの調整中に撮影した画像がウインドウに表示されているときに、そのウインドウ枠の色の表示をカメラが調整処理していないときのウインドウ枠の色表示とは異なるようにしたので、ユーザは表示画像がカメラの調整中に撮影されたものであるか否かを視覚的に迅速に判断できる。
【０１１０】
また、請求項１２によれば、カメラが調整中に撮影した画像がウインドウに表示されているときに、そのウインドウの背景の壁紙の表示をカメラが調整処理していないときの壁紙の表示とは異なるようにしたので、ユーザは表示画像がカメラの調整中に撮影されたものであるか否かを視覚的に迅速に判断できる。
【０１１１】
また、請求項１３によれば、カメラが調整中に撮影した画像の縁を色表示しているので、ユーザは表示画像がカメラの調整中に撮影されたものであるか否かを視覚的に迅速に判断できる。さらに、クライアント側にカメラの調整情報を伝送しなくて済むので、データの送信量が少なくなる。
【０１１２】
また、請求項１４によれば、調整には、少なくともカメラのズーム，フォーカス，絞りが含まれるので、ユーザはカメラのズーム，フォーカス，絞り調整中に撮影した画像であるか否かを確認することができる。
【０１１３】
また、請求項１５によれば、カメラが移動中に撮影した画像がウインドウに表示されているときと、カメラが調整中に撮影した画像がウインドウに表示されているときとのウインドウの枠の色表示を異ならせているので、ユーザはカメラがどのような処理を行なっているときのものであるか判断することができる。
【０１１４】
また、請求項１６および請求項１７によれば、本発明のカメラ制御システムは、クライアント側でカメラの姿勢の制御を実行したとき、カメラサーバ側で撮影画像の画像信号と同期してそのときの前記カメラの移動情報をクライアント側に伝達し、クライアント側において前記カメラが移動中に撮影された画像の信号であるか否かを判定し、カメラが移動中であることを示すカメラの移動情報を表示するように機能させるプログラムを備えているので、画像の圧縮伸長処理およびネットワークの伝送時間などのタイムラグが存在しても、その動作が実行中であることをユーザに意識させることにより、ユーザは的確なカメラ制御が実行できる。
【図面の簡単な説明】
【図１】カメラ制御システムの概略構成図。
【図２】クライアント側のビットマップディスプレイ上の表示画面の一例を示す図。
【図３】カメラサーバをソフト的に示すブロック図。
【図４】端末装置の構成をソフト的に示すブロック図。
【図５】カメラサーバ側の処理動作のフローチャート。
【図６】クライアント側の処理動作のフローチャート。
【図７】画像データに多重化されたクライアントに送信するためのデータの構造図。
【図８】（ａ）は、カメラが移動中に撮影された画像表示中の画像表示ウインドウの状態を示す図。
（ｂ）は、カメラが調整中に撮影された画像表示中の画像表示ウインドウの状態を示す図。
（ｃ）は、通常状態に撮影された画像表示中の画像表示ウインドウの状態を示す図。
【符号の説明】
１０１ カメラサーバ
１０２ 端末装置
１０３ カメラ
１０４ ビットマップディスプレイ
１０５ マウス
１０６ 画像入力回路
１０７ マルチプレクス回路
１０８ 画像圧縮符号化回路
１０９ カメラ制御回路
１１０ 画像表示回路
１１１ クライアント制御回路
１１３ デマルチプレクス回路
１１４ 画像伸長復号化回路
２０１ 画像表示ウインドウ
２０２ カメラ調整ウインドウ
２０３ 画枠
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ カメラＩ／Ｆ
３０５ 駆動Ｉ／Ｆ
３０６ ネットワークＩ／Ｆ
３０７ 外部記憶装置
４０１ ＣＰＵ
４０２ ＲＯＭ
４０２ａ クライアントプログラム
４０３ ＲＡＭ
Claims (10)
- カメラを制御するカメラサーバと、カメラにより得られる画像信号を受信して表示するカメラ操作装置とを含むカメラ制御システムであって、
前記カメラ操作装置は、
前記カメラのパン及びチルトのうち少なくとも１つの動作指令、及び前記カメラのズーム、フォーカス、及び絞りのうち少なくとも１つの調整指令を発行する姿勢指示手段を備え、
前記カメラサーバは、
前記カメラ操作装置から前記動作指令を受信した場合、前記動作指令によって前記カメラが動作中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記動作指令によって動作中であることを示す動作情報ヘッダを付加する動作情報付加手段と、
前記カメラ操作装置から前記調整指令を受信した場合、前記調整指令によって前記カメラが調整中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記調整指令によって調整中であることを示す調整情報ヘッダを付加する調整情報付加手段と、
前記動作情報ヘッダ及び前記調整情報ヘッダを付加した前記画像信号を、前記カメラ操作装置に対して送信する送信手段とを備え、
前記カメラ操作装置は、受信した画像信号に付加された前記動作情報ヘッダ及び前記調整情報ヘッダの両方の内容に応じて、受信した画像信号に関る画像表示の形態を変更するよう制御することを特徴とするカメラ制御システム。 - カメラにより得られる画像信号を受信して表示するカメラ操作装置と接続され、前記カメラを制御するカメラサーバであって、
前記カメラ操作装置から前記カメラのパン及びチルトのうち少なくとも１つの動作指令を受信した場合、前記動作指令によって前記カメラが動作中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記動作指令によって動作中であることを示す動作情報ヘッダを付加する動作情報付加手段と、
前記カメラ操作装置から前記カメラのズーム、フォーカス、及び絞りのうち少なくとも１つの調整指令を受信した場合、前記調整指令によって前記カメラが調整中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記調整命令によって調整中であることを示す調整情報ヘッダを付加する調整情報付加手段と、
前記カメラ操作装置において前記動作情報ヘッダ及び前記調整情報ヘッダの両方の内容に応じて受信した画像信号に関る画像表示の形態を変更するよう制御するために、前記動作情報及び前記調整情報を付加した前記画像信号を前記カメラ操作装置に対して送信する送信手段と、
を備えることを特徴とするカメラサーバ。 - カメラを制御するカメラサーバと、カメラにより得られる画像信号を受信するカメラ操作装置とを含むカメラ制御システムのカメラ操作装置であって、
前記カメラのパン及びチルトのうち少なくとも１つの動作指令、及び前記カメラのズーム、フォーカス、及び絞りのうち少なくとも１つの調整指令を発行する姿勢指示手段と、
前記カメラサーバにおいて前記カメラ操作装置から前記動作指令を受信した場合に前記動作指令によって前記カメラが動作中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記動作指令によって動作中であることを示す動作情報ヘッダが付加され送信された信号、及び、前記カメラサーバにおいて前記カメラ操作装置から前記調整指令を受信した場合に前記調整指令によって前記カメラが調整中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記調整指令によって調整中であることを示す調整情報ヘッダが付加され送信された信号を受信する受信手段と、
受信した画像信号に付加された前記動作情報ヘッダ及び前記調整情報ヘッダの両方の内容に応じて、受信した画像信号に関る画像表示の形態を変更するよう制御する表示制御手段と、
を備えることを特徴とするカメラ操作装置。 - カメラにより得られる画像を表示するカメラ操作装置からカメラを制御するカメラサーバに対して送信されるカメラ操作情報の表示制御方法であって、
前記カメラ操作装置において、
前記カメラのパン及びチルトのうち少なくとも１つの動作指令、及び前記カメラのズーム、フォーカス、及び絞りのうち少なくとも１つの調整指令を発行し、
前記カメラサーバにおいて、
前記カメラ操作装置から前記動作指令を受信した場合、前記動作指令によって前記カメラが動作中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記動作指令によって動作中であることを示す動作情報ヘッダを付加し、前記カメラ操作装置から前記調整指令を受信した場合、前記調整指令によって前記カメラが調整中であるときに撮影されたフレームまたはフィールド単位の画像信号に前記カメラが前記調整指令によって調整中であることを示す調整情報ヘッダを付加し、
前記動作情報ヘッダ及び前記調整情報ヘッダを付加した前記画像信号を、前記カメラ操作装置に対して送信し、
前記カメラ操作装置において、
受信した画像信号に付加された前記動作情報ヘッダ及び前記調整情報ヘッダの両方の内容に応じて、受信した画像信号に関る画像表示の形態を変更するよう制御することを特徴とするカメラ操作情報の表示制御方法。 - 前記カメラ操作装置は、受信した画像信号に付加された前記動作情報ヘッダ及び前記調整情報ヘッダが、前記カメラが動作中であることを示す動作情報ヘッダ及び前記カメラが調整中でないことを示す調整情報ヘッダであった場合、前記カメラが動作中でないことを示す動作情報ヘッダ及び前記カメラが調整中であることを示す調整情報ヘッダであった場合、前記カメラが動作中であることを示す動作情報ヘッダ及び前記カメラが調整中であることを示す調整情報ヘッダであった場合、の３つの場合で、それぞれ異なる画像表示形態になるように制御することを特徴とする請求項１に記載のカメラ制御システム。
- 前記カメラ操作装置は、受信した画像信号に付加された前記動作情報ヘッダ及び前記調整情報ヘッダが、前記カメラが動作中でないことを示す動作情報ヘッダ及び前記カメラが調整中でないことを示す調整情報ヘッダであった場合、前記３つの場合とは異なる画像表示形態になるように制御することを特徴とする請求項５に記載のカメラ制御システム。
- 前記カメラ操作装置は、前記動作情報ヘッダ及び前記調整情報ヘッダの内容に応じて、前記受信した画像信号を表示するための画枠の表示状態を変更することを特徴とする請求項１、５、６のいずれかに記載のカメラ制御システム。
- 前記カメラ操作装置は、前記画枠の色または点滅により前記表示状態を変更することを特徴とする請求項７に記載のカメラ制御システム。
- 前記カメラサーバは、前記カメラ操作装置から前記動作指令を受信した場合、前記動作指令によって前記カメラが動作中であるときに撮影されたフレームまたはフィールド単位の画像信号にスムージング処理を施すことを特徴とする請求項１、５〜８のいずれかに記載のカメラ制御システム。
- 前記カメラ操作装置は、前記調整指令発行手段による指令を決定するための操作ウインドウを表示し、
受信した画像信号に付加された前記調整情報ヘッダが前記カメラが調整中であることを示す調整情報ヘッダであった場合、前記操作ウインドウの表示状態を変更するように制御することを特徴とする請求項１に記載のカメラ制御システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33363996A JP3774521B2 (ja) | 1996-12-13 | 1996-12-13 | カメラ制御システム、カメラサーバ、カメラ操作装置、及びカメラ操作情報の表示制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP33363996A JP3774521B2 (ja) | 1996-12-13 | 1996-12-13 | カメラ制御システム、カメラサーバ、カメラ操作装置、及びカメラ操作情報の表示制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10174091A JPH10174091A (ja) | 1998-06-26 |
| JP3774521B2 true JP3774521B2 (ja) | 2006-05-17 |
Family
ID=18268309
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP33363996A Expired - Fee Related JP3774521B2 (ja) | 1996-12-13 | 1996-12-13 | カメラ制御システム、カメラサーバ、カメラ操作装置、及びカメラ操作情報の表示制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3774521B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2329541B (en) * | 1997-09-17 | 2002-05-29 | Sony Uk Ltd | Security control system |
| JP4763926B2 (ja) * | 2001-07-13 | 2011-08-31 | パナソニック株式会社 | 監視システム制御方法、監視システム制御装置および監視システム |
| JP4603804B2 (ja) * | 2004-02-06 | 2010-12-22 | キヤノン株式会社 | ビデオカメラ及びその制御方法 |
| JP4396708B2 (ja) | 2007-01-29 | 2010-01-13 | ソニー株式会社 | ネットワーク機器および監視カメラシステム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0468680A (ja) * | 1990-07-03 | 1992-03-04 | Matsushita Electric Ind Co Ltd | テレビジョン受像機 |
| JPH06311509A (ja) * | 1993-02-25 | 1994-11-04 | Casio Comput Co Ltd | テレビ電話装置 |
| JPH07283989A (ja) * | 1994-04-11 | 1995-10-27 | Canon Inc | 撮像装置 |
| JP3119076B2 (ja) * | 1994-06-02 | 2000-12-18 | 日産自動車株式会社 | 車両用警報表示装置 |
| JPH0870398A (ja) * | 1994-08-26 | 1996-03-12 | Canon Inc | 画像入力装置 |
| JP3559083B2 (ja) * | 1994-12-26 | 2004-08-25 | 本田技研工業株式会社 | 運転支援装置 |
| JP2947113B2 (ja) * | 1995-03-09 | 1999-09-13 | 日本電気株式会社 | 画像通信端末用ユーザインタフェース装置 |
-
1996
- 1996-12-13 JP JP33363996A patent/JP3774521B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10174091A (ja) | 1998-06-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6646677B2 (en) | Image sensing control method and apparatus, image transmission control method, apparatus, and system, and storage means storing program that implements the method | |
| US7256822B2 (en) | Video system | |
| US6067571A (en) | Server, terminal and control method for transmitting real-time images over the internet | |
| US6122005A (en) | Camera control system having list of camera names updated in accordance with frequency of use and other ease of use features | |
| US7421727B2 (en) | Motion detecting system, motion detecting method, motion detecting apparatus, and program for implementing the method | |
| US6856346B1 (en) | Camera operation apparatus | |
| US8429703B2 (en) | Video distribution apparatus, viewer apparatus, video distribution system including these apparatuses, control method for the video distribution apparatus, control method for the viewer apparatus, and computer program for the apparatuses | |
| US20170078556A1 (en) | Camera control apparatus and camera control method | |
| EP2124445B1 (en) | Image display device and image display method | |
| US7515176B2 (en) | Camera control system | |
| EP0776130A2 (en) | Camera control system with variable frame rate | |
| JP3774521B2 (ja) | カメラ制御システム、カメラサーバ、カメラ操作装置、及びカメラ操作情報の表示制御方法 | |
| JPWO2018180656A1 (ja) | 画像処理装置、画像処理方法、カメラ装置、リモートコントロール装置およびカメラシステム | |
| JPH10224772A (ja) | 遠隔制御装置 | |
| JPH10136246A (ja) | カメラ制御システム、及び該システムにおけるカメラ管理装置及び方法、及びカメラ操作装置及び方法、及び記憶媒体 | |
| JP2003023619A (ja) | 画像サーバー及び画像サーバーシステム | |
| JP2021052325A (ja) | 撮像装置、システム、撮像装置の制御方法、プログラム | |
| JPH10215388A (ja) | 遠隔操作装置 | |
| JP2019129466A (ja) | 映像表示装置 | |
| JP7307643B2 (ja) | 撮像装置、システム、撮像装置の制御方法、プログラム | |
| JP2023155733A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JPH09266548A (ja) | カメラ制御システムおよび装置、およびカメラ制御方法およびメモリ | |
| JPH1188869A (ja) | 映像通信システム及び情報表示装置 | |
| KR100814592B1 (ko) | 배경 화상을 설정하는 정보 처리 장치, 정보 표시 방법 및프로그램 | |
| JPH0993478A (ja) | 遠隔監視システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040202 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040426 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050322 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050518 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050527 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060220 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130224 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140224 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |