JP3548352B2 - 遠隔カメラ制御システム及び装置及びその方法 - Google Patents

遠隔カメラ制御システム及び装置及びその方法 Download PDF

Info

Publication number
JP3548352B2
JP3548352B2 JP28444996A JP28444996A JP3548352B2 JP 3548352 B2 JP3548352 B2 JP 3548352B2 JP 28444996 A JP28444996 A JP 28444996A JP 28444996 A JP28444996 A JP 28444996A JP 3548352 B2 JP3548352 B2 JP 3548352B2
Authority
JP
Japan
Prior art keywords
camera control
client
control right
camera
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP28444996A
Other languages
English (en)
Other versions
JPH10136347A (ja
Inventor
英太 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP28444996A priority Critical patent/JP3548352B2/ja
Priority to US08/956,552 priority patent/US6133941A/en
Publication of JPH10136347A publication Critical patent/JPH10136347A/ja
Application granted granted Critical
Publication of JP3548352B2 publication Critical patent/JP3548352B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、遠隔制御によりカメラの撮影条件等の変更が可能なカメラ遠隔制御装置及びその方法に関する。
【0002】
【従来の技術】
従来、監視カメラのように、遠隔地から映像入力装置を制御することが可能な遠隔カメラ制御システムがある。この種の装置においては、複数台のカメラを一人の監視者が制御するのが一般的である。すなわち、映像入力装置の数が制御者の数に比して多く、複数の制御者が同時に一台の映像入力装置を制御することは無かった。
【0003】
近年、インターネットの普及などにより、一台の映像入力装置によって取り込まれた映像を複数のユーザが見たり、当該映像入力装置を複数のユーザから制御可能にしたいという要求が高まっている。このような場合には、遠隔地からの複数の映像入力装置に対する制御要求を管理する機構が必要となる。また、一台の映像入力装置を複数のユーザによって制御しようとした場合、複数のユーザ間で制御要求の衝突が発生することは明らかである。従って、当該映像入力装置の操作に対する権限を適切に管理、制御する必要が生じた。
【0004】
このような技術動向に鑑み、特願平08−192585号において、カメラに対する制御要求及び制御権を管理し、カメラ制御権を要求した各ユーザが時間の経過に従って順次カメラの制御権を獲得し、カメラの制御を可能とする映像入力システムが提案されている。
【0005】
【発明が解決しようとする課題】
上記出願による映像入力システムは、複数のユーザ(クライアント装置)がカメラ制御装置に対してカメラの制御権要求を発行した場合に、カメラ制御装置が当該複数のクライアント装置間における制御権の移行を適切に制御するものである。このため、映像入力装置の制御権及びそれを時間的に管理することが可能となり、多くのユーザが一台のカメラを制御することが可能となる。
【0006】
本発明は、上記のような遠隔カメラ制御システムにおいて、各クライアント側装置の操作性を向上することを目的とする。
【0007】
すなわち、本発明の目的は、カメラに関する複数のユーザ側装置からの制御要求を管理する遠隔カメラ制御システムにおいて、ユーザ側装置が制御権の管理状況の情報を獲得することを可能とし、これをユーザに提示することで操作性を向上する、遠隔カメラ制御システム、装置及びその方法を提供することにある。
【0008】
【課題を解決するための手段】
上記の目的を達成するための本発明の遠隔カメラ制御システムは以下の構成を備える。すなわち、
サーバ側装置に接続されたカメラの撮影条件を遠隔制御可能な遠隔カメラ制御システムであって、
サーバ側装置において、前記カメラの撮影条件を遠隔制御するためのカメラ制御権を有する第1クライアント側装置が前記カメラ制御権を保持できる残り保持時間を算出し、前記カメラ制御権を有さず前記カメラ制御権の取得要求を発行している第2クライアント側装置が前記カメラ制御権を取得できるまでの取得待ち時間を算出する算出手段と、
前記第1クライアント側装置に対して前記残り保持時間を通知し、前記第2クライアント側装置に対しては前記取得待ち時間を通知する通知手段と、
前記第1クライアント側装置において前記通知された残り保持時間を表示する第1表示手段と、
前記第2クライアント側装置において前記通知された取得待ち時間を表示する第2表示手段とを備える。
【0009】
また、上記の目的を達成するための本発明の他の態様による遠隔カメラ制御システムは、
サーバ側装置に接続されたカメラの撮影条件を遠隔制御可能な遠隔カメラ制御システムであって、
各クライアント側装置について、カメラ制御権に関る状態を示す状態情報を前記サーバ側装置において生成する生成手段と、
前記生成手段で生成された状態情報を前記各クライアント側装置に通知する通知手段と、
各クライアント側装置において、前記通知手段で通知された前記状態情報を使用してカメラ制御権に関る状態の継続する残り時間を算出する算出手段と、
前記算出手段で算出された残り時間を表示する表示手段とを備える
【0010】
更に上記の目的を達成するための遠隔カメラ制御装置は、
サーバ側装置に遠隔接続され、前記サーバ側装置に接続されたカメラを遠隔制御する遠隔カメラ制御装置であって、
前記サーバ側装置より当該カメラ制御装置のカメラ制御権に関る状態を示す状態情報を受信する受信手段と、
前記受信手段で受信した前記状態情報に基づいて、前記カメラ制御権に関る状態の残り時間を算出する算出手段と、
前記算出手段で算出された残り時間に基づいて制御権の状態を表示する表示手段とを備える。
【0011】
また、上記の目的を達成するための本発明のサーバ装置は、
クライアント側装置と遠隔接続され、前記クライアント側装置からの制御情報に基づいてカメラの制御を行うサーバ装置であって、
前記カメラの撮影条件を遠隔制御するためのカメラ制御権を有する第1クライアント側装置が前記カメラ制御権を保持できる残り保持時間を算出し、前記カメラ制御権を有さず前記カメラ制御権の取得要求を発行している第2クライアント側装置が前記カメラ制御権を取得できるまでの取得待ち時間を算出する算出手段と、
前記第1クライアント側装置に対しては、前記第1クライアント側装置において表示される前記残り保持時間を通知し、前記第2クライアント側装置に対しては、2クライアント側装置において表示される前記取得待ち時間を通知する通知手段とを備える。
【0012】
また、上記の目的を達成する本発明のカメラ制御方法は、
クライアント側装置からの制御情報に基づいてカメラの制御を行うサーバ装置のカメラ制御方法であって、
前記カメラの撮影条件を遠隔制御するためのカメラ制御権を有する第1クライアント側装置が前記カメラ制御権を保持できる残り保持時間を算出し、前記カメラ制御権を有さず前記カメラ制御権の取得要求を発行している第2クライアント側装置が前記カメラ制御権を取得できるまでの取得待ち時間を算出する算出工程と、
前記第1クライアント側装置に対しては、前記第1クライアント側装置において表示される前記残り保持時間を通知し、前記第2クライアント側装置に対しては、2クライアント側装置において表示される前記取得待ち時間を通知する通知工程とを備える。
【0013】
また、上記の目的を達成する本発明のカメラ制御方法は、
サーバ側装置に遠隔接続され、前記サーバ側装置に接続されたカメラを遠隔制御する遠隔カメラ制御装置のカメラ制御方法であって、
前記サーバ側装置より当該カメラ制御装置のカメラ制御権に関る状態を示す状態情報を受信する受信工程と、
前記受信工程で受信した前記状態情報に基づいて、前記カメラ制御権に関る状態の残り時間を算出する算出工程と、
前記算出工程で算出された残り時間に基づいて制御権の状態を表示する表示工程とを備える。
【0014】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
【0015】
[第1の実施形態]
図1は第1の実施形態によるカメラ制御システムの構成を示すブロック図である。同図において、11はカメラ制御を行うカメラ制御サーバである。12はネットワークであり、LAN、WAN、あるいはインターネット等である。101、101a、101bは遠隔地からカメラ制御の命令を出すカメラ制御クライアントである。
【0016】
カメラ制御サーバ11において、11aは映像を撮影するカメラであり、パン、チルト、ズーム等、撮像視点を外部からの命令により制御可能となっている。11bはカメラ制御部であり、遠隔地からの要求に応じてカメラを制御する。11cは制御権管理部であり、複数のカメラ制御クライアントからの要求に対してカメラの制御権を管理する。11dはメッセージ送受信部であり、ネットワーク12を介してカメラ制御クライアント101、101a、101b等からのメッセージを取得するとともに、これらカメラ制御クライアントに対してメッセージの送信を行う。
【0017】
カメラ制御クライアント101(以下、単にクライアントともいう)において、13aはメッセージ送受信部であり、ネットワーク12を介してカメラ制御サーバ11とのメッセージのやり取りを行う。13bは表示制御部であり、カメラ制御サーバ11より受信した画像や制御状態等を表示する。13cは操作入力部であり、カメラ制御サーバ11に対して、カメラ制御権の獲得要求指示や、カメラ11aのパン角、チルト角、ズーム値の変更指示等を入力する。
【0018】
なお、上記図1の構成において、カメラ制御サーバ及びカメラ制御クライアントの数は図示の範囲に限られるものではないし、カメラ制御サーバ11に複数のカメラが接続されてもよい。
【0019】
以下、第1の実施形態のカメラ制御システムを更に詳細に説明していくが、まず、カメラ制御サーバの構成と動作を説明し、次にカメラ制御クライアントの構成と動作を説明する。
【0020】
図2は本実施形態によるカメラ制御サーバの構成を示すブロック図である。図2において、301はCPUであり、当該カメラ制御サーバにおける各種制御を行う。302はROMであり、CPU301によって実行される各種の制御プログラムを格納する。303はRAMであり、CPU301が各種の制御を実行するに際して必要な作業領域を提供する。304はカメラ映像インターフェースであり、カメラ11aよりの映像信号を受信する。305はカメラ駆動インターフェースであり、カメラ11aのパン、チルト、ズーム等を制御する。
【0021】
306はネットワークインターフェースであり、ネットワーク12に接続されたネットワーク12上の他の装置(カメラ制御クライアント101等)との通信を実現する。307は外部記憶装置であり、例えばハードディスク等で構成される。308はCRTであり、CPU301の制御によって各種の表示を行う。309はキーボード等の入力部であり、CPU301に対して各種の入力を行う。310はバスであり、上述の各構成を接続する。
【0022】
なお、上記の構成において、CPU301は、外部記憶装置307に格納された制御プログラムをRAM303上にロードして、該ロードされた制御プログラムを実行するようにしてもよい。また、外部記憶装置307、CRT308、入力部309はオプションであり、必要がなければ省略してもかまわない。また、図1で示したカメラ制御部11b、制御権管理部11c、メッセージ取得部11dは、CPU301がROM302に格納された制御プログラムもしくはRAM303にロードされた制御プログラムを実行することによって実現される機能を示したものである。
【0023】
更に、カメラ11aは、撮影によって得られた映像信号をカメラインターフェース304へ出力する撮像部321と、駆動インターフェース305を介して入力される制御信号に従って、撮像部321のパン、チルト、ズーム等を行う機構制御部322を備える。
【0024】
以上のような構成を備えた本実施形態のカメラ制御システムにおいて、カメラ制御サーバ11の制御権管理部11cは、複数のカメラ制御クライアントよりのカメラ11aに対する制御要求を管理し、各クライアントに対する制御権の付与を制御する。
【0025】
制御権管理部11cは、各クライアントに対するカメラ制御権の付与を管理するためにカメラ制御キューを有する。図3は第1の実施形態におけるカメラ制御キューの構造を示す図である。このカメラ制御キューはRAM303に格納されるものであり、カメラ制御を要求したクライアントのIDが登録される。C21がキューの先頭要素であり、C21(ID=112)が、現在カメラ制御権を持っている。また、C22はC21の次にカメラ制御権を持つクライアントのID、C23はC22の次にカメラ制御権を持つクライアントのIDである。
【0026】
遠隔地にあるカメラ制御クライアント101等(以下、単にクライアント101という)とカメラ制御サーバ11との間では、種々のメッセージのやり取りが行なわれる。クライアント101から送られてくるメッセージには、カメラ制御権獲得要求、カメラ制御要求、カメラ制御権獲得放棄通知、の3種がある。図4はカメラ制御クライアントからカメラ制御サーバに送られるメッセージの構造を説明する図である。同図において、(a)はカメラ制御権獲得要求メッセージの構造を、(b)はカメラ制御要求メッセージの構造を、(c)はカメラ制御権獲得放棄通知メッセージの構造をそれぞれ示している。各メッセージは、当該メッセージの種別を表すメッセージIDと、当該メッセージの発行元であるクライアントを示すクライアントIDとを有する。以下、各メッセージの構造を説明する。
【0027】
カメラ制御権獲得要求1101は、メッセージID1111に「1」を持ち、メッセージID1111とクライアントID1112とパスワード1113から成る。カメラ制御要求1102は、メッセージID1114に「2」を持ち、メッセージID1114とクライアントID1115とパン角1116、チルト角1117、ズーム1118のパラメータ値から成る。カメラ制御権獲得放棄通知1103は、メッセージID1119に「3」を持ち、メッセージID1119とクライアントID1120から成る。
【0028】
クライアント101は、カメラ11aを制御したいとき、カメラ制御サーバ11へネットワーク12を介して、カメラ制御権獲得要求1101を出す。そしてその後、パン、チルト、ズームなどの値を含むカメラ制御要求1102を送る。また、クライアント101がカメラ制御権を得ることをあきらめる場合、または既得のカメラ制御権を放棄する場合は、カメラ制御権獲得放棄通知1103をカメラ制御サーバ11に発行する。
【0029】
一方、カメラ制御サーバ11から各クライアントへ発行されるメッセージとしては、映像データメッセージ、カメラ姿勢メッセージ、制御権メッセージの3種類がある。図5はカメラ制御サーバからカメラ制御クライアントに送られるメッセージの構造を説明する図である。同図において、(a)は映像データメッセージ1201の構造を、(b)はカメラ姿勢メッセージ1202の構造を、(c)は制御権メッセージ1203の構造をそれぞれ示している。各メッセージは、当該メッセージの種別を表すメッセージID1221と、当該メッセージの発行元であるカメラ制御サーバを示すサーバID1222とを有する。以下、各メッセージの構造を説明する。
【0030】
映像データメッセージ1201は、メッセージID1221として「1」を有する。また、属性情報1223は当該映像データメッセージに付属する映像データ1224の属性(例えばフレームレートや、圧縮処理が施されていればその圧縮処理の種別等)を示す。映像データ1224は、カメラ11aで撮像して得られた映像データである。この映像データメッセージ1201は、当該カメラ制御サーバにアクセスした各カメラ制御クライアントに対して随時発行される。
【0031】
カメラ姿勢メッセージ1202は、メッセージID1221として「2」を有し、更にカメラ姿勢を表すデータとして、パン角1225、チルト角1226、ズーム値1227を有する。制御権メッセージ1203は、メッセージID1221として「3」を有するとともに、制御状態1228、有効時間1229のデータを有する。なお、制御状態1228は、当該クライアントのカメラに対する制御権の状態を示すものであり、「制御権要求中」「制御権有り」「制御権無し」のいずれかの状態を示す。有効時間1229は、制御状態が「制御権要求中」或いは「制御権有り」の場合において、当該制御状態が有効である継続時間の予測値である。これらのメッセージの活用、発行タイミングについては以下で順次説明する。
【0032】
図6は第1の実施形態におけるカメラ制御サーバの制御手順を示すフローチャートである。本フローチャートでは、メッセージがカメラ制御サーバ11に送られてきた際の、カメラ制御サーバ11が行う処理が示されている。
【0033】
メッセージ送受信部11dがメッセージを受け取ると(ステップS1)、それを制御権管理部11cに渡す。制御権管理部11cは、そのメッセージの種別を当該メッセージに含まれているメッセージIDを元に判別する(ステップS2)。この結果、メッセージがカメラ制御権取得要求(メッセージIDが「1」)であれば、カメラ制御キューに当該クライアントIDがあるかどうか調べ(ステップS10)、なければカメラ制御キューに当該クライアントIDを追加する(ステップS11)。そして、ステップS12において、メッセージ送受信部11dにより、当該メッセージの発行元のクライアントに対して、制御権メッセージ1203を発行する。
【0034】
このステップS12において発行される制御権メッセージ1203の制御状態1228には制御権待ち状態を示す「制御権要求中」がセットされる。また有効時間1229には、その時点におけるカメラ制御キュー(図3)の先頭要素の残り制御時間と、当該カメラ制御キューに登録されている他の要素の数と最大所有時間tの積との和が設定される。すなわち、有効時間は、
(t−先頭要素の制御権所有時間)+(t×(キューの登録数−2))
となる。ここで、キューの登録数から2を引いているのは、キューの登録数から先頭要素とステップS11で追加された当該クライアントの要素を差し引くためである。
【0035】
一方、メッセージがカメラ制御要求(メッセージIDが「2」)であれば、当該要求を発行したクライアントがカメラ制御キューの先頭要素であるかどうか調べる(ステップS3)。カメラ制御キューの先頭要素のクライアントであれば、カメラ制御が可能であるので、カメラ制御要求メッセージ1102に基づいてカメラ制御コマンド及びパラメータを生成し、カメラ制御部11bに送る(ステップS7)。一方、当該クライアントがカメラ制御キューの先頭要素でなければ、カメラ制御キューの先頭要素の制御権所有時間があらかじめ定めた時間tより大きいかどうか調べる(ステップS4)。
【0036】
ここで、現在のキューの先頭要素(現在の制御可能クライアント)の制御権所有時間が最大所有時間t以下であれば、引き続き当該先頭要素に対して制御権を与える為、本処理をそのまま終了する。すなわち、ステップS1で受信したカメラ制御要求メッセージは破棄される。
【0037】
一方、現在のキューの先頭要素の制御権所有時間がtより大きければ、制御キューの更新と制御権メッセージの発行のために、引数idを制御キューの先頭要素としてサブルーチンSubAを実行する(ステップS5)。
【0038】
図7はサブルーチンSubAにおける制御手順を示すフローチャートである。まず、引数idが先頭要素かどうか調べる(ステップS21)。ステップS5において、引数idには先頭要素が与えられているので、ステップS21へ進む。ステップS21では、次の制御可能クライアントの制御権所有時間計測を行うために制御権所有時刻をセットしなおす。そして、カメラキューからidで指定された要素を削除する(ステップS23)。ここでは、カメラ制御キューから先頭要素(図2のC21)が削除される。
【0039】
更にステップS24において、削除された要素に対応するクライアントに対して、制御状態1228を「制御権無し」として制御権メッセージを発行する。更に、ステップS25において、制御キューに登録されている要素に対応するクライアントのそれぞれに対して制御権メッセージ1203を発行する。
【0040】
図8は、制御キューに登録された要素に対応するクライアントへの制御権メッセージの発行手順を説明するフローチャートである。
【0041】
まず、ステップS601において、制御キューの先頭要素となっているクライアントの制御権所有時間を獲得する。そして、ステップS602において、制御権メッセージとして送信すべき「有効時間ta」を算出する。算出式は、
「有効時間ta」=t−(制御権所有時間)
となる。この算出の結果、有効時間taが0以下となった場合は、当該有効時間taを0にセットする(ステップS603、S604)。これは、制御権が延長中であることを示すためである。続くステップS605では、先頭要素のクライアントへ制御権メッセージを発行する。ここで、制御権メッセージの制御状態には「制御権有り」が、有効時間にはステップS601〜S604で求めた有効時間taがセットされる。なお、先頭要素が削除された直後に本処理が実行された場合は有効時間ta=tとなる。
【0042】
ステップS606では、制御キューに登録された先頭要素以外の要素について各々の有効時間を算出する。この場合の算出式は、
「有効時間」=((キュー順位m)−2)×t+(有効時間ta)
となる。ここで、キュー順位mとは、先頭要素を1番とした場合の、制御キュー内の当該要素の順位である。例えば、C23のキュー順位mは3である。
【0043】
そして、ステップS607において、制御キューの先頭要素以外の各要素に対して、制御権メッセージを発行する。ここで、各々の要素への制御権メッセージの制御状態には「制御権要求中」がセットされ、有効時間にはステップS606で算出された各要素に対応する「有効時間」がセットされる。
【0044】
以上の処理により、ステップS24では、削除された要素のクライアントに対して、制御状態1228が「制御権無し」にセットされて制御権メッセージ1203が発行される。また、ステップS25では,このSubAによって新たに先頭要素となったクライアントに対して、制御状態1228を「制御権有り」とし、有効時間1229に最大所有時間tがセットされた制御権メッセージ1203が発行される。また、その他のクライアントに対しては、制御状態1228を「制御権要求中」にセットされるとともに、各クライアントのカメラ制御キューにおける位置に基づいて、制御権獲得までの予想時間が算出され、これが有効時間1229にセットされた制御権メッセージ1203が発行される。
【0045】
なお、ステップS22における制御権所有時刻のセットは、新たに制御可能クライアントとなるクライアントの制御開始時刻をセットしてもよいし、その制御終了時刻をセットしてもよいし、あるいはカウンタ、タイマ等に制御権所有時間を示すtをセットするようにしてもよい。ステップS4においては、制御開始時刻がセットされれば現在時刻との差をtと比較することになるし、制御終了時刻がセットされれば現在時刻が制御終了時刻を過ぎている否かを判定することになるし、カウンタ、タイマ等にtがセットされた場合には当該カウンタのカウントアップ、もしくは当該タイマのタイムアップを調べることになる。
【0046】
以上のように、引数idに先頭要素を与えてサブルーチンSubAを実行することにより、次の要素(図3のC22)に制御権が移り、当該要素に対する制御権所有時間の計測が開始されることになる。
【0047】
再び図6のフローチャートにおいて、ステップS5のサブルーチンSubAを抜けたら、キューの先頭要素が更新されたことで、カメラ制御要求を出したクライアントが制御可能クライアントになる可能性があるので、制御可能クライアントかどうかを再び調べる(ステップS6)。ここで、カメラ制御要求を出したクライアントが制御可能クライアントとなっていれば、当該カメラ制御要求メッセージに付与されているカメラ制御パラメータに基づいてカメラ制御コマンド及びパラメータを生成し、これらを駆動インターフェース305を介してカメラ制御部11bに送る(ステップS7)。カメラ制御コマンド及びパラメータを受け取ったカメラ制御部11bは、実際にカメラ11aを制御するために、カメラ11aの仕様に基づいた指示をカメラ11a(機構制御部322)に送る。カメラ11aはその指示を受け取ると、指示に応じてチルト、パン、ズーム等を実行し、撮像視点を変える。
【0048】
ステップS8では、ステップS7によるカメラ制御の結果、現在のカメラのチルト角、パン角、ズーム値を得て、カメラ姿勢メッセージを生成し、これを各クライアントに発行する。
【0049】
また、ステップS2において、受信したメッセージがカメラ制御権獲得放棄通知であれば、上記のサブルーチンSubAを実行する。ただし、ここでは引数idにメッセージ送信クライアントIDを渡してサブルーチンを実行する(ステップS13)。サブルーチンSubAでは、引数idが先頭要素であれば、次の制御可能クライアントの制御権所有時間計測のために制御権所有時刻をセットしてから(ステップS22)、カメラ制御キューからその要素IDを削除する(ステップS23)。また、引数idの示す要素IDが先頭要素でなければ、単に当該要素IDをカメラ制御キューより削除する(ステップS23)。以上の様にして、カメラ制御権獲得放棄通知メッセージによってカメラ制御キューより対応する要素IDが削除され、制御キューが更新される。そして、ステップS24、25により、各クライアントに対する制御権メッセージが、削除された要素及び当該制御キューに登録されている各要素に対応するクライアントに発行される。
【0050】
次に、本実施形態のカメラ制御システムにおけるカメラ制御クライアントについて説明する。
【0051】
図9は第1の実施形態によるカメラ制御クライアント101の構成を示すブロック図である。同図において102はCPUであり、ROM103に格納された制御プログラム103aに基づいて各種の制御を実現する。103はROMであり、制御プログラム103aを始め、各種データ等を格納する。104はRAMであり、CPU102が各種制御実行するに際しての作業領域を提供する。また、RAM104はタイマ値を格納するタイマ104aを有するが、タイマ104aの機能については後述する。
【0052】
105は外部記憶装置であり、光磁気ディスク(MO)、コンパクトディスク(CDROM)、ハードディスク、フロッピーディスク等で構成される。106は表示装置であり、CRTや液晶表示器等で構成され、CPU102の制御により各種表示を行う。107は入力部であり、ポインティングデバイス、キーボード等を備える。108はネットワークインターフェースであり、ネットワーク12を介して当該ネットワーク上に接続された各種装置との通信を行う。109はバスであり、上述の各構成を相互に通信可能に接続する。特に本実施形態では、カメラ制御サーバ11より映像データメッセージ1201、カメラ姿勢メッセージ1202、制御権メッセージ1203の各メッセージを受信し、カメラ制御権獲得要求メッセージ1101、カメラ制御要求メッセージ1102、カメラ制御権獲得放棄通知メッセージ1103の各メッセージを必要に応じてカメラ制御サーバへ送信する。
【0053】
また、図1で示したメッセージ送受信部13a、表示制御部13b、操作入力部13cは、CPU102がROM103に格納された制御プログラムもしくはRAM104にロードされた制御プログラムを実行することによって実現される機能を示したものである。
【0054】
図10はクライアント101の表示画面の例を示す図である。201は映像表示ウインドウであり、カメラ制御サーバ11より送られてくる映像データメッセージ1201の映像データ1224に基づいた表示を行う領域である。映像表示ウインドウ201のまわりにあるスクロールバーはそれぞれがカメラの撮影方向を指示する為のもので、横スクロールバー203はカメラのパン角を指定し、縦スクロールバー204はチルト角を指定する。また、縦スクロールバー205はカメラのズーム調整を行うためのものである。各スクロールバーのa、bボタン(203a、203b等)はスクロールバーの現在位置を示すcボタン(203c等)の位置を少しずつ移動させて、カメラの制御指示を行うためのボタンである。なお、cボタンをポインティングデバイスによってドラッグ操作することでcボタンの位置を変更し、カメラの制御指示を行うことも可能である。
【0055】
ボタン206は、カメラ制御権に関する要求をカメラ制御サーバ11に送信するためのボタンである。ボタン206上の表示は当該クライアントのカメラ制御状態によって変化し、カメラ制御権が無い状態では「制御権獲得」と表示され、カメラ制御権を獲得した状態、或いはカメラ制御権の獲得待ちの状態では「権利放棄」と表示される。207は現在の制御権の状態を表示する表示ウインドウである。
【0056】
次に、第1の実施形態によるカメラ制御クライアントの動作を説明する。カメラ制御クライアント101においては、ネットワーク12を介してカメラ制御サーバより受信したメッセージを処理するメッセージ受信処理(図11)と、カメラ制御サーバへメッセージを発行するメッセージ発行処理(図12)と、現在の制御状態を表示する制御状態表示処理(図13)が非同期に実行される。
【0057】
まず、メッセージ受信処理を説明する。図11は本実施形態のカメラ制御クライアントによるメッセージ受信処理を示すフローチャートである。まずステップS301において、サーバ11よりのメッセージをメッセージ送受信部13aが受信したか否かを判定する。メッセージが受信されると、ステップS302へ進み、受信したメッセージのメッセージIDからその種別を判定する。メッセージIDが「1」の場合は、当該メッセージが映像データメッセージ1201であるので、映像データを表示するためにステップS303へ進む。ステップS303において、表示制御部13bは当該メッセージに付けられた映像データ1224を、属性情報1223で示されたフレームレートで、映像表示ウインドウ201に映像を表示する。その後ステップS301に戻り、次のメッセージの受信を待つ。
【0058】
また、ステップS302においてメッセージIDが「2」の場合は、当該メッセージはカメラ姿勢メッセージであるので、ステップS304へ進んでカメラの姿勢表示を行う。ステップS304では、表示制御部13bが当該カメラ姿勢メッセージに含まれるパン角1225、チルト角1226、ズーム値1227に基づいて、スクロールバー203、204、205の各ボタン203c、204c、205cの表示位置を更新する。そして、ステップS301に戻り、次のメッセージの受信を待つ。
【0059】
更に、ステップS302においてメッセージIDが「3」の場合は、当該メッセージは制御権メッセージであり、処理はステップS305へ進む。ステップS305では、受信した制御権メッセージの制御状態1228から制御権の状態(「制御権無し」「制御権要求中」「制御権有り」のいずれか)をRAM104に保持するとともに、当該制御権メッセージの有効時間1229をRAM104に保持する。そして、ステップS306において当該制御権メッセージの受信時刻をRAM104に保持する。その後、ステップS301へ戻り、次のメッセージの受信を待つ。なお、以降、RAM104に保持された「制御権の状態」「有効時間」「受信時刻」に基づいて表示ウインドウ207が表示されるが、この制御は図13のフローチャートにより後述する。
【0060】
以上の手順で、カメラ制御サーバから送られてくる信号の処理を行い、サーバ側のカメラの状態と制御権の状態がクライアントに反映される。
【0061】
また、ここで映像信号とカメラの状態を表す信号(姿勢及び制御権)が別々に送信される場合も考えられるが、その場合は映像信号用の受信処理が別に有るのと同じである。
【0062】
次に、クライアント101からカメラ制御サーバ11にメッセージを発行する処理を説明する。図12は本実施形態のカメラ制御クライアントがカメラ制御サーバに対してメッセージを発行する手順を表すフローチャートである。
【0063】
まず、ステップS401において、当該クライアントがカメラ制御権を有しているか、或いは制御権獲得待ちの状態であるかを調べる。これは、上述のステップS305でRAM104に保持された制御権の状態をチェックすればよい。ここで、「制御権有り」か「制御権要求中」であればステップS402へ進む。ステップS402では、ボタン206が操作されたか否かを判定する。この場合、ボタン206は「権利放棄」と表示されており、ボタン206が操作されると権利放棄が指示されたことになる。権利放棄が指示されるとステップS405へ進みカメラ制御権放棄通知1103(図4)を発行する。そしてステップS401へ戻る。
【0064】
一方、ステップS402において制御権放棄が指示されていなければステップS403へ進み、姿勢変更指示が入力されているか否かを判断する。ここで、スクロール203、204、205のいずれかのボタンa或いはボタンb或いはボタンcがポインティングデバイス等で操作されると、姿勢変更指示が発生したものとしてステップS404へ進む。ステップS404では、姿勢変更指示の内容(例えば横スクロールバー203のボタン203aが操作された場合は、パン角を所定角度分左方向へ移動)に基づいてカメラ制御要求1102を生成し、カメラ制御サーバへ発行する。なお、制御権放棄指示も姿勢変更指示も無い場合は、何も処理をせずステップS401へ戻る。
【0065】
また、ステップS401において、制御権の状態が「制御権無し」であった場合は、ステップS406へ進む。ステップS406ではボタン206が操作されたか否かを判定する。この時点においてボタン206には「制御権獲得」と表示されており、ボタン206を操作することは制御権獲得要求を指示することとなり、ボタン206が操作された場合、処理はステップS407へ進む。ステップS407では、カメラ制御権獲得要求1101が生成され、カメラ制御サーバに対して発行される。
【0066】
以上が、クライアントからカメラ制御サーバに対してメッセージを送信する処理の動作手順である。これにより、「制御権要求中」或いは「制御権有り」の場合にカメラ制御要求をカメラ制御サーバに対して発行することになる。
【0067】
次に、表示ウインドウ207に制御権の状態を表示するための処理を説明する。図13は本実施形態による制御権状態の表示手順を説明するフローチャートである。なお、本処理は、タイマ処理によって所定単位時間(例えば1秒)毎に行なわれる。タイマ処理としては、例えば1秒周期のクロックパルス発生器を設け、これをCPU102の割り込み信号として用いることが考えられる。本例では、不図示のシステムクロックをカウントし、そのカウント値をタイマ値104aとし、タイマ値104aが所定値に達する毎に制御権状態の表示処理を起動する。
【0068】
まず、ステップS501において制御権の状態が「制御権有り」か否かを判定し、ステップS502において「制御権要求中」か否かを判定する。これらの処理は上述のステップS401と同様にRAM104に保持された制御権状態を示すデータを参照することで行う。
【0069】
制御権の状態が「制御権無し」の場合は、ステップS501及びS502において「NO」へ分岐し、ステップS510へ処理が進む。ステップS510では、表示ウインドウ207に「制御権無し」を表示する。そして、「制御権有り」でも「制御権要求中」でもない場合には残り時間を表示する必要がないので、そのまま本処理を終了する。
【0070】
一方、「制御権有り」の場合はステップS501からステップS503へ進み、表示ウインドウ207に「制御権有り」を表示し、残り時間表示を行うためにステップS505へ進む。また、「制御権要求中」の場合はステップS502からS504へ進み、表示ウインドウ207に「制御権要求中」を表示し、残り時間表示を行うためにステップS505へ進む。
【0071】
ステップS505では現在の時刻を獲得するとともに、RAM104からステップS305、S306で保持した受信時刻、有効時間を獲得し、ステップS506で残り時間の算出を行う。ここで残り時間は、
残り時間=有効時間−(現在の時刻−受信時刻)
となる。
【0072】
次にステップS507においてステップS506で算出された残りの時間が正であるか否かを判定し、正である場合にはステップS508へ進む。ステップS508ではこの残り時間を表示ウインドウ207に表示し、本処理を終了する。また、ステップS507において残り時間が0以下となった場合は、ステップS509へ進み、例外的な表示処理を行い、本処理を終了する。例えば、制御権を獲得した場合に、有効時間以上が経過した場合は、表示ウインドウ207に「制御権延長中」と表示する。この状態では、別のクライアントからサーバへ制御権獲得要求が発生した場合に、直ちに制御権を失うことになるからである。
【0073】
図14は、表示ウインドウ207による表示例を示す図である。(e)は、例えば「制御権有り」の状態で算出された残り時間をそのまま数値で表示した例である。(a)は制御権有りの状態で、算出された残り時間をインジケータで行った例を示している。また、(b)は「制御権要求中」の状態において、算出された残り時間をインジケータで示した例である。なお、(b)では、インジケータの図形を「制御権有り」の場合と異ならせており、これにより「制御権有り」なのか「制御権要求中」なのかを一目で認識できる。なお、(b)の「制御権要求中」の残り時間表示は、例えば人間の形状をしており、一つの人間パターンが制御キューにおける一つのクライアントに対応するようにしてもよい。この場合、図6、図7のステップS12、S24における制御権メッセージの有効時間1229は、制御キューにおいて当該クライアントより上に登録されているクライアントの数を示すものとなる。
【0074】
更に、(c)は「制御権無し」の場合の表示ウインドウ207の表示例であり、残り時間の表示はない。また、(d)は制御権延長中における表示ウインドウ207の表示状態を示している。
【0075】
なお、残り時間の表示を(a)、(b)の如くインジケータで行う場合、与えられた制御時間の最大値(制御権状態が変化してから最初に獲得した有効時間)でインジケータを最大とし、残り時間0でインジケータを0にする相対的な方法を用いてもよいし、インジケータの1目盛りに対して絶対的な時間(たとえば10秒)を割り当てて表示する方法を用いてもよい。
【0076】
ここで、上記相対的な表示形態を採用する場合に、制御権状態が変化してから最初に獲得した有効時間を最大値とするのは、図6で説明したフローチャートに従った場合に、「制御権要求中」の状態では有効時間の異なる制御権メッセージが複数回受信される可能性が有るからである。なお、「制御権要求中」においてこのような制御権メッセージの複数回の受信が必要となる理由は次の通りである。例えば、制御キューに登録された要素が権利放棄を行うような事態が発生した場合、制御権要求中の有効時間は1つのクライアントに割り当てられた制御権の最大有効時間tだけ一気に短縮されることになり、クライアント側の表示ウインドウ207における残り時間との誤差が大きくなってしまう。従って、制御キューから要素が削除された際に制御権メッセージを発行し、当該メッセージの有効時間情報に従って表示ウインドウ207内の残り時間表示を補正する必要が有る。このため、本実施形態では、「制御権要求中」において複数回の制御権メッセージの発行、受信を行う。
【0077】
以上説明したように、第1の実施形態によれば、サーバとクライアントとの制御権状態と、制御権の残り時間とを所定時間毎に表示ウインドウ207に表示するようにしたので、クライアントの操作者はサーバとの制御権の関係、その残り時間等を把握でき、操作性が向上する。
【0078】
なお、上記実施形態では、1台のカメラ制御サーバに1台のカメラが接続されている状態が示されているが、1台のカメラ制御サーバに複数台のカメラが接続されてもよいことはいうまでもない。
【0079】
[第2の実施形態]
上記第1の実施形態では、制御権獲得待ちのクライアントからカメラ制御要求が発生しないと制御キューの更新が行われず(図6)、カメラを操作したいユーザにカメラ制御権を与え続けることができる。なお、カメラ制御権の移行をカメラ制御要求の有無に応じて管理する方法としては、たとえば、制御キューに制御権獲得要求を行った他のクライアントが登録されているか否かに基づいて制御権の移行を制御するようにしてもよい。以下、この場合のカメラ制御サーバの制御を説明する。
【0080】
図15及び図16は第2の実施形態におけるカメラ制御サーバのカメラ制御権の管理制御を説明するフローチャートである。図15のフローチャートにおいて図6と同様の処理を行うステップには同一のステップ番号が付されている。ステップS3において、カメラ制御要求を発行したクライアントが制御可能クライアントであればステップS7でカメラ制御を実行し、ステップS8でカメラ姿勢メッセージ1202(図5)を発行する。一方、カメラ制御要求を発行したクライアントが制御可能クライアントで無ければそのままステップS1に戻る。
【0081】
制御キューに登録されたクライアントへのカメラ制御権の移行管理は、図16のフローチャートで示される手順で行われる。なお、図16のフローチャートで示される処理は、所定の時間間隔(たとえば1秒)でくり返し実行される。
【0082】
ステップS31では、制御キューの先頭要素が制御権を獲得してからの時間、すなわち制御権所有時間を獲得する。次にステップS32において、制御権所有時間が最大所有時間tを越えたか否かを判断し、越えていなければまだ制御権を与えつづけることができるのでそのまま本処理を終了する。一方、ステップS32において制御権所有時間がtを越えた場合はステップS33へ進み、他の要素が制御キューに登録されているか否かをチェックする。制御キューに当該先要素しか登録されていなければ、制御権を移行する必要が無いので、そのまま本処理を終了する。ステップS33において、他の要素が1つでも制御キューに登録されている場合は、ステップS34へ進み、制御権所有時間が満了している現在の先頭のキューをカメラ制御キューから削除する。ステップS34の処理は図7、図8で説明した通りである。
【0083】
以上のようなカメラ制御サーバに対しても、第1の実施形態で説明したようなカメラ制御クライアントの制御を実行することで、ユーザに制御状態を適切に表示することが可能となる。
【0084】
[第3の実施形態]
上記第1及び第2の実施形態では、カメラ制御サーバ11から送信された制御権メッセージにセットされた有効時間をクライアントで保持し、時間の経過による残り時間の更新はクライアント側で行っている。第3の実施形態では、このような制御権の状態の残り時間の計算をサーバ側で行って、これを一定時間毎にクライアント側へ送信する構成を説明する。
【0085】
図17は第3の実施形態によるカメラ制御サーバの処理手順を説明するフローチャートである。同図において第1の実施形態で示した手順(図6)と同じ処理内容のステップには同一のステップ番号を付してある。第3の実施形態の処理手順で第1の実施形態と異なる点は、ステップS9a、ステップS9bが挿入された点と、ステップS12のかわりにステップS14が配されている点である。
【0086】
ステップS9a、S9b、S14においては、カメラ制御キューに登録されているクライアントのうち、先頭要素のクライアントに対しては制御権の残り時間を算出し、制御権メッセージの有効時間にセットして当該クライアント宛に発行する。また、制御キューの先頭要素以外の要素の各々に対しては、制御権獲得までの残り時間を算出し、これを制御権メッセージの有効時間にセットして、対応するクライアント宛に発行する。すなわち、ステップS9a、S9b及びS14では、図8で説明した処理が実行されることになる。
【0087】
以上のような手順を取ることにより、カメラ制御権獲得要求、カメラ制御要求、カメラ制御権獲得法規通知のいずれかのメッセージを受信する毎に、制御キューに登録されている各要素に対応するクライアントにカメラ制御権メッセージが発行されることになる。このため、各クライアントは、自身の制御状態とその残り時間を取得することができる。従って、各クライアントは、この残り時間を表示ウインドウ207に表示することで、操作者に制御状態と、その制御状態の残り時間を通知することができる。
【0088】
図18は第3の実施形態によるクライアントのメッセージ受信処理を示すフローチャートである。同図において、第1の実施形態におけるメッセージ受信処理(図11)と同じ処理を行うステップ(S301〜S304)には同一のステップ番号を付し、ここでは説明を省略する。第3の実施形態のクライアントは、制御権メッセージによって送信された「制御権状態」と「有効時間」を表示すればよい。従って、制御権メッセージを受信した場合は、ステップS302からステップS315へ進み、制御権メッセージの制御状態1228を獲得し、「制御権有り」「制御権要求中」「制御権無し」のいずれかを表示ウインドウ207(図10)に表示する。続いて、ステップS316において当該制御権メッセージより有効時間1229を獲得し、これを表示ウインドウ207の残り時間として表示する。
【0089】
なお、上記第3の実施形態において、図17の手順によれば、いずれかのクライアントからカメラ制御に関るメッセージを受信した場合に、制御キューに登録された各クライアントに制御権メッセージが配信されるが、制御権メッセージの背信のタイミングはこれに限るものではない。例えば、カメラ制御サーバにおいて所定時間毎に制御権メッセージを配信するようにしてもよい。この場合、図8で示した制御手順を所定時間間隔(例えば5秒)で実行することが考えられる。このようにすれば、各クライアントは所定時間間隔で制御状態とその残り時間を取得することが可能となる。
【0090】
なお、上記実施形態では、各クライアントにおけるカメラ制御権の最大所有時間tは一定である。しかしながら、各クライアントに優先度を設定し、優先度に応じて最大所有時間を異ならせてもよい。この場合、例えばカメラ制御サーバに、図19に示すようなテーブルを設けておき、各クライアントに対して最大所有時間を登録する。そして、制御キュー内の各要素の有効時間の算出にあたっては、この最大所有時間を参照する。
【0091】
また、カメラ制御サーバにおいて、制御キューへの登録順位を優先度に基づいて変更するように構成した場合でも上記第1乃至第3の実施形態が適用可能であることは明らかである。優先度に基づいて制御キューの順位が入れ代わったとしても、有効時間の算出は、制御キューにおける順位に基づいて行なわれるからである。
【0092】
以上説明したように、上記各実施形態によれば、クライアント側においてカメラ制御権の状態(制御権獲得までの待ち時間や制御権の残り継続時間等)を把握でき、これを操作者に提示することが可能となる。このため、操作者は遠隔地のカメラをあとどれくらい操作できるのか、あとどれくらい待ち時間が有るかなどを把握できる。このため、操作者は制御権の状態の変化を容易に把握できるようになり、操作性が向上する。
【0093】
【発明の効果】
以上説明したように本発明によれば、カメラに関する複数のユーザ側装置からの制御要求を管理する遠隔カメラ制御システムにおいて、ユーザ側装置が制御権の管理状況の情報を獲得することが可能となる。また、この獲得された情報に基づいて管理状況がユーザに提示さるので、操作性が向上する。
【0094】
【図面の簡単な説明】
【図1】第1の実施形態によるカメラ制御システムの構成を示すブロック図である。
【図2】本実施形態によるカメラ制御サーバの構成を示すブロック図である。
【図3】第1の実施形態におけるカメラ制御キューの構造を示す図である。
【図4】カメラ制御クライアントからカメラ制御サーバに送られるメッセージの構造を説明する図である。
【図5】カメラ制御サーバからカメラ制御クライアントに送られるメッセージの構造を説明する図である。
【図6】第1の実施形態におけるカメラ制御サーバの制御手順を示すフローチャートである。
【図7】サブルーチンSubAにおける制御手順を示すフローチャートである。
【図8】制御キューに登録された要素に対応するクライアントへの制御権メッセージの発行手順を説明するフローチャートである。
【図9】第1の実施形態によるカメラ制御クライアント101の構成を示すブロック図である。
【図10】クライアント101の表示画面の例を示す図である。
【図11】本実施形態のカメラ制御クライアントによるメッセージ受信処理を示すフローチャートである。
【図12】本実施形態のカメラ制御クライアントがカメラ制御サーバに対してメッセージを発行する手順を表すフローチャートである。
【図13】本実施形態による制御権状態の表示手順を説明するフローチャートである。
【図14】表示ウインドウ207による表示例を示す図である。
【図15】第2の実施形態におけるカメラ制御サーバのカメラ制御権の管理制御を説明するフローチャートである。
【図16】第2の実施形態におけるカメラ制御サーバのカメラ制御権の管理制御を説明するフローチャートである。
【図17】第3の実施形態によるカメラ制御サーバの処理手順を説明するフローチャートである。
【図18】第3の実施形態によるクライアントのメッセージ受信処理を示すフローチャートである。
【図19】クライアントの優先度を登録したテーブルを示す図である。

Claims (15)

  1. サーバ側装置に接続されたカメラの撮影条件を遠隔制御可能な遠隔カメラ制御システムであって、
    サーバ側装置において、前記カメラの撮影条件を遠隔制御するためのカメラ制御権を有する第1クライアント側装置が前記カメラ制御権を保持できる残り保持時間を算出し、前記カメラ制御権を有さず前記カメラ制御権の取得要求を発行している第2クライアント側装置が前記カメラ制御権を取得できるまでの取得待ち時間を算出する算出手段と、
    前記第1クライアント側装置に対して前記残り保持時間を通知し、前記第2クライアント側装置に対しては前記取得待ち時間を通知する通知手段と、
    前記第1クライアント側装置において前記通知された残り保持時間を表示する第1表示手段と、
    前記第2クライアント側装置において前記通知された取得待ち時間を表示する第2表示手段とを備えることを特徴とする遠隔カメラ制御システム。
  2. サーバ側装置に接続されたカメラの撮影条件を遠隔制御可能な遠隔カメラ制御システムであって、
    各クライアント側装置について、カメラ制御権に関る状態を示す状態情報を前記サーバ側装置において生成する生成手段と、
    前記生成手段で生成された状態情報を前記各クライアント側装置に通知する通知手段と、
    各クライアント側装置において、前記通知手段で通知された前記状態情報を使用してカメラ制御権に関る状態の継続する残り時間を算出する算出手段と、
    前記算出手段で算出された残り時間を表示する表示手段とを備えることを特徴とする遠隔カメラ制御システム。
  3. 前記状態情報は、少なくとも現在のカメラ制御権に関る状態の継続時間を示す情報を含み、
    前記算出手段は、前記通知手段によって前記状態情報が通知された通知時刻から経過時間を算出し、該状態情報に含まれる継続時間と該経過時間とから残り時間を算出することを特徴とする請求項2に記載の遠隔カメラ制御システム。
  4. 前記通知手段は、前記第1クライアント側装置に対して前記残り保持時間を通知するが前記第2クライアントの前記待ち時間は通知せず、前記第2クライアント側装置に対しては前記取得待ち時間を通知するが前記第1クライアントの前記残り保持時間は通知しないことを特徴とする請求項1に記載の遠隔カメラ制御システム。
  5. 前記第1クライアント側装置の制御権保持が終了し前記第2クライアント側装置が前記カメラ制御権を取得した場合、前記算出手段は、第2クライアント側装置が前記カメラ制御権を保持できる残り保持時間を算出し、
    前記通知手段は、前記第2クライアント側装置に対して前記第2のクライアント側装置の前記残り保持時間を通知し、
    前記第1表示手段は、前記通知された取得待ち時間の表示から、前記通知された前記第2のクライアント側装置の残り保持時間の表示に切り換えることを特徴とする請求項1または4に記載の遠隔カメラ制御システム。
  6. サーバ側装置に遠隔接続され、前記サーバ側装置に接続されたカメラを遠隔制御する遠隔カメラ制御装置であって、
    前記サーバ側装置より当該カメラ制御装置のカメラ制御権に関る状態を示す状態情報を受信する受信手段と、
    前記受信手段で受信した前記状態情報に基づいて、前記カメラ制御権に関る状態の残り時間を算出する算出手段と、
    前記算出手段で算出された残り時間に基づいて制御権の状態を表示する表示手段とを備えることを特徴とする遠隔カメラ制御装置。
  7. 前記状態情報は、少なくとも現在のカメラ制御権に関る状態の継続時間を示す情報を含み、
    前記算出手段は、前記通知手段によって前記状態情報が通知された通知時刻から経過時間を算出し、該状態情報に含まれる継続時間と該経過時間とから残り時間を算出することを特徴とする請求項6に記載の遠隔カメラ制御装置。
  8. 前記算出手段は所定時間間隔で実行されることを特徴とする請求項7に記載の遠隔カメラ制御装置。
  9. 前記算出手段によって算出された残り時間が0以下もしくは負となった場合に前記表示手段による表示形態を所定の形態に変更することを特徴とする請求項6乃至8のいずれかに記載の遠隔カメラ制御装置。
  10. 前記表示手段は、前記残り時間をインジケータを用いて表示することを特徴とする請求項6乃至9のいずれかに記載の遠隔カメラ制御装置。
  11. クライアント側装置と遠隔接続され、前記クライアント側装置からの制御情報に基づいてカメラの制御を行うサーバ装置であって、
    前記カメラの撮影条件を遠隔制御するためのカメラ制御権を有する第1クライアント側装置が前記カメラ制御権を保持できる残り保持時間を算出し、前記カメラ制御権を有さず前記カメラ制御権の取得要求を発行している第2クライアント側装置が前記カメラ制御権を取得できるまでの取得待ち時間を算出する算出手段と、
    前記第1クライアント側装置に対しては、前記第1クライアント側装置において表示される前記残り保持時間を通知し、前記第2クライアント側装置に対しては、2クライアント側装置において表示される前記取得待ち時間を通知する通知手段とを備えることを特徴とするサーバ装置。
  12. 前記通知手段は、前記第1クライアント側装置に対して前記残り保持時間を通知するが前記第2クライアントの前記待ち時間は通知せず、前記第2クライアント側装置に対しては前記取得待ち時間を通知するが前記第1クライアントの前記残り保持時間は通知しないことを特徴とする請求項11に記載のサーバ装置。
  13. 前記第1クライアント側装置の制御権保持が終了し前記第2クライアント側装置が前記カメラ制御権を取得した場合、前記算出手段は、第2クライアント側装置が前記カメラ制御権を保持できる残り保持時間を算出し、
    前記通知手段は、前記第2クライアント側装置に対して、前記通知された取得待ち時間の表示から切り換え表示するための、前記第2のクライアント側装置の残り保持時間を通知することを特徴とする請求項11または12に記載のサーバ装置。
  14. クライアント側装置からの制御情報に基づいてカメラの制御を行うサーバ装置のカメラ制御方法であって、
    前記カメラの撮影条件を遠隔制御するためのカメラ制御権を有する第1クライアント側装置が前記カメラ制御権を保持できる残り保持時間を算出し、前記カメラ制御権を有さず前記カメラ制御権の取得要求を発行している第2クライアント側装置が前記カメラ制御権を取得できるまでの取得待ち時間を算出する算出工程と、
    前記第1クライアント側装置に対しては、前記第1クライアント側装置において表示される前記残り保持時間を通知し、前記第2クライアント側装置に対しては、2クライアント側装置において表示される前記取得待ち時間を通知する通知工程とを備えることを特徴とするカメラ制御方法。
  15. サーバ側装置に遠隔接続され、前記サーバ側装置に接続されたカメラを遠隔制御する遠隔カメラ制御装置のカメラ制御方法であって、
    前記サーバ側装置より当該カメラ制御装置のカメラ制御権に関る状態を示す状態情報を受信する受信工程と、
    前記受信工程で受信した前記状態情報に基づいて、前記カメラ制御権に関る状態の残り時間を算出する算出工程と、
    前記算出工程で算出された残り時間に基づいて制御権の状態を表示する表示工程とを備えることを特徴とするカメラ制御方法。
JP28444996A 1996-10-25 1996-10-25 遠隔カメラ制御システム及び装置及びその方法 Expired - Fee Related JP3548352B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP28444996A JP3548352B2 (ja) 1996-10-25 1996-10-25 遠隔カメラ制御システム及び装置及びその方法
US08/956,552 US6133941A (en) 1996-10-25 1997-10-23 Camera control system, apparatus, and method which includes a camera control server that receives camera control requests from clients and issues control authority and wait times for control of camera to clients

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28444996A JP3548352B2 (ja) 1996-10-25 1996-10-25 遠隔カメラ制御システム及び装置及びその方法

Publications (2)

Publication Number Publication Date
JPH10136347A JPH10136347A (ja) 1998-05-22
JP3548352B2 true JP3548352B2 (ja) 2004-07-28

Family

ID=17678693

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28444996A Expired - Fee Related JP3548352B2 (ja) 1996-10-25 1996-10-25 遠隔カメラ制御システム及び装置及びその方法

Country Status (2)

Country Link
US (1) US6133941A (ja)
JP (1) JP3548352B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2387239A2 (en) 2010-05-10 2011-11-16 Sony Corporation Control device, camera system and program
EP2387228A2 (en) 2010-05-10 2011-11-16 Sony Corporation Control device, camera, method and computer program storage device

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6507362B1 (en) * 1994-12-09 2003-01-14 Neomagic Israel Ltd. Digital image generation device for transmitting digital images in platform-independent form via the internet
JP3311259B2 (ja) * 1996-11-29 2002-08-05 キヤノン株式会社 撮像制御方法と装置及び撮像システムと前記方法を実行するプログラムを記憶した記憶媒体
US5943140A (en) 1997-03-14 1999-08-24 Monroe; David Method and apparatus for sending and receiving facsimile transmissions over a non-telephonic transmission system
JP3990771B2 (ja) * 1997-07-23 2007-10-17 キヤノン株式会社 カメラ制御システム、カメラサーバ、カメラ制御方法、及び記憶媒体
JP3085252B2 (ja) * 1997-07-31 2000-09-04 日本電気株式会社 遠隔操作カメラ映像中継システム
JP3667042B2 (ja) * 1997-08-01 2005-07-06 キヤノン株式会社 カメラ制御システムおよびその制御方法およびカメラクライアント及びカメラクライアントの制御を実行するプログラムを記憶した記憶媒体
US7190392B1 (en) 1997-10-23 2007-03-13 Maguire Jr Francis J Telepresence system and active/passive mode display for use therein
AU2223799A (en) * 1998-01-12 1999-07-26 David A. Monroe Apparatus and method for selection of circuit in multi-circuit communications device
WO1999035818A2 (en) 1998-01-12 1999-07-15 David Monroe Apparatus for capturing, converting and transmitting a visual image signal via a digital transmission system
US6636748B2 (en) * 1998-01-12 2003-10-21 David A. Monroe Method and apparatus for image capture, compression and transmission of a visual image over telephone or radio transmission system
JP4532610B2 (ja) * 1998-01-30 2010-08-25 キヤノン株式会社 カメラ制御システムおよびその方法およびその動作処理を実行するプログラムを記憶した記憶媒体
US6412031B1 (en) * 1998-02-10 2002-06-25 Gateway, Inc. Simultaneous control of live video device access by multiple applications via software locks and in accordance with window visibility of applications in a multiwindow environment
JP4590039B2 (ja) * 1998-04-17 2010-12-01 キヤノン株式会社 カメラ操作装置およびカメラサーバおよびそれらの制御方法およびそれらの動作処理を実行させるためのプログラムを記憶した記憶媒体
JPH11331822A (ja) * 1998-05-15 1999-11-30 Matsushita Electric Ind Co Ltd 監視カメラ装置
JP2000041176A (ja) * 1998-07-24 2000-02-08 Canon Inc 制御装置、制御システム、制御方法、及び記憶媒体
JP2000050238A (ja) * 1998-07-27 2000-02-18 Matsushita Electric Ind Co Ltd 監視カメラ装置
JP3762149B2 (ja) * 1998-07-31 2006-04-05 キヤノン株式会社 カメラ制御システム、カメラサーバ、カメラサーバの制御方法、カメラ制御方法、及びコンピュータ読み取り可能な記録媒体
JP4026944B2 (ja) * 1998-08-06 2007-12-26 キヤノン株式会社 映像発信装置及びその制御方法
JP4021998B2 (ja) * 1998-08-07 2007-12-12 松下電器産業株式会社 データ伝送制御システム及びデータ伝送制御方法
US7634662B2 (en) 2002-11-21 2009-12-15 Monroe David A Method for incorporating facial recognition technology in a multimedia surveillance system
US7057647B1 (en) * 2000-06-14 2006-06-06 E-Watch, Inc. Dual-mode camera system for day/night or variable zoom operation
US7428002B2 (en) 2002-06-05 2008-09-23 Monroe David A Emergency telephone with integrated surveillance system connectivity
US20020170064A1 (en) * 2001-05-11 2002-11-14 Monroe David A. Portable, wireless monitoring and control station for use in connection with a multi-media surveillance system having enhanced notification functions
US6853302B2 (en) * 2001-10-10 2005-02-08 David A. Monroe Networked personal security system
US7023913B1 (en) 2000-06-14 2006-04-04 Monroe David A Digital security multimedia sensor
US7197228B1 (en) * 1998-08-28 2007-03-27 Monroe David A Multifunction remote control system for audio and video recording, capture, transmission and playback of full motion and still images
US20030067542A1 (en) * 2000-10-13 2003-04-10 Monroe David A. Apparatus for and method of collecting and distributing event data to strategic security personnel and response vehicles
US20040068583A1 (en) * 2002-10-08 2004-04-08 Monroe David A. Enhanced apparatus and method for collecting, distributing and archiving high resolution images
US7131136B2 (en) * 2002-07-10 2006-10-31 E-Watch, Inc. Comprehensive multi-media surveillance and response system for aircraft, operations centers, airports and other commercial transports, centers and terminals
US7228429B2 (en) * 2001-09-21 2007-06-05 E-Watch Multimedia network appliances for security and surveillance applications
US20080201505A1 (en) * 2003-01-08 2008-08-21 Monroe David A Multimedia data collection device for a host with a single available input port
US7576770B2 (en) 2003-02-11 2009-08-18 Raymond Metzger System for a plurality of video cameras disposed on a common network
JP4018266B2 (ja) * 1998-11-13 2007-12-05 キヤノン株式会社 機器制御装置、端末装置、ネットワークシステム、制御方法、及び記憶媒体
US6564380B1 (en) * 1999-01-26 2003-05-13 Pixelworld Networks, Inc. System and method for sending live video on the internet
US6518881B2 (en) * 1999-02-25 2003-02-11 David A. Monroe Digital communication system for law enforcement use
US6545601B1 (en) 1999-02-25 2003-04-08 David A. Monroe Ground based security surveillance system for aircraft and other commercial vehicles
US6918118B2 (en) * 1999-11-10 2005-07-12 Logitech Europe S.A. Multi-instance input device control
US6539441B1 (en) * 1999-11-10 2003-03-25 Logitech Europe, S.A. Multi-instance input device control
US20060244839A1 (en) * 1999-11-10 2006-11-02 Logitech Europe S.A. Method and system for providing multi-media data from various sources to various client applications
JP2001218194A (ja) 1999-11-15 2001-08-10 Canon Inc 撮像装置及び画像配信システムの制御方法、撮像装置の制御装置、画像配信システム及び装置、データ配信装置及び方法
JP4595195B2 (ja) * 1999-12-28 2010-12-08 パナソニック株式会社 セキュリティシステム
US20060063752A1 (en) * 2000-03-14 2006-03-23 Boehringer Ingelheim Pharma Gmbh & Co. Kg Bicyclic heterocycles, pharmaceutical compositions containing them, their use, and processes for preparing them
US20030208567A1 (en) * 2000-08-29 2003-11-06 Gross Mark T. Configuration of network appliances via e-mail
US8392552B2 (en) 2000-09-28 2013-03-05 Vig Acquisitions Ltd., L.L.C. System and method for providing configurable security monitoring utilizing an integrated information system
US7627665B2 (en) 2000-09-28 2009-12-01 Barker Geoffrey T System and method for providing configurable security monitoring utilizing an integrated information system
AU2001296925A1 (en) 2000-09-28 2002-04-08 Vigilos, Inc. Method and process for configuring a premises for monitoring
JP2002112239A (ja) * 2000-09-29 2002-04-12 Koike Design Collaboration:Kk オンデマンドカメラ中継方法および装置
US7698450B2 (en) * 2000-11-17 2010-04-13 Monroe David A Method and apparatus for distributing digitized streaming video over a network
US7839926B1 (en) 2000-11-17 2010-11-23 Metzger Raymond R Bandwidth management and control
EP1350157A4 (en) * 2000-12-06 2005-08-10 Vigilos Inc SYSTEM AND METHOD FOR IMPLEMENTING A REMOTE CONTROL CONTROL WITH OPEN PROTOCOL
FR2819327B1 (fr) * 2001-01-10 2003-04-18 Sagem Dispositif d'identification optique
US6953249B1 (en) 2001-01-29 2005-10-11 Maguire Jr Francis J Method and devices for displaying images for viewing with varying accommodation
US6937266B2 (en) * 2001-06-14 2005-08-30 Microsoft Corporation Automated online broadcasting system and method using an omni-directional camera system for viewing meetings over a computer network
JP2003069871A (ja) * 2001-08-22 2003-03-07 Toshiba Corp カメラモジュール及び情報処理システム
JP4458729B2 (ja) * 2001-10-09 2010-04-28 コニカミノルタホールディングス株式会社 カメラサーバシステム、プログラム、および媒体
US20030095184A1 (en) * 2001-11-22 2003-05-22 Accton Technology Coproration Electronic reception method
US20030101458A1 (en) * 2001-11-25 2003-05-29 Jacobson Stephen Robert Audio/video distribution system
TWI254551B (en) * 2001-12-11 2006-05-01 Primax Electronics Ltd Electronic answering machine
US7520853B2 (en) * 2001-12-28 2009-04-21 Karl Storz Imaging, Inc. Updateable endoscopic video imaging system
US6960161B2 (en) * 2001-12-28 2005-11-01 Karl Storz Imaging Inc. Unified electrical and illumination cable for endoscopic video imaging system
US7480715B1 (en) 2002-01-25 2009-01-20 Vig Acquisitions Ltd., L.L.C. System and method for performing a predictive threat assessment based on risk factors
FI113326B (fi) * 2002-02-07 2004-03-31 Ailocom Oy Kuvapalvelimen ohjaaminen
US7425986B2 (en) 2002-03-29 2008-09-16 Canon Kabushiki Kaisha Conversion apparatus for image data delivery
AU2003276886A1 (en) * 2002-09-12 2004-04-30 Nline Corporation Flow control method for maximizing resource utilization of a remote system
US7634334B2 (en) * 2002-11-22 2009-12-15 Monroe David A Record and playback system for aircraft
US7781172B2 (en) 2003-11-21 2010-08-24 Kimberly-Clark Worldwide, Inc. Method for extending the dynamic detection range of assay devices
JP3747908B2 (ja) * 2002-12-13 2006-02-22 ソニー株式会社 カメラ制御システム、カメラサーバ及びその制御方法
US7643168B2 (en) * 2003-01-03 2010-01-05 Monroe David A Apparatus for capturing, converting and transmitting a visual image signal via a digital transmission system
JP4333263B2 (ja) * 2003-07-30 2009-09-16 パナソニック株式会社 カメラ装置
US8219702B2 (en) * 2004-04-30 2012-07-10 Canon Kabushiki Kaisha Video delivery apparatus and method
JP4546202B2 (ja) * 2004-09-28 2010-09-15 キヤノン株式会社 映像受信装置とその制御方法とプログラム及び記憶媒体
JP4717408B2 (ja) 2004-10-13 2011-07-06 キヤノン株式会社 映像配信システム及び方法
US7944469B2 (en) * 2005-02-14 2011-05-17 Vigilos, Llc System and method for using self-learning rules to enable adaptive security monitoring
US7979692B1 (en) * 2005-06-01 2011-07-12 Teleport Systems, Inc. Device-to-device and client server based video monitoring and video teleconferencing/server networking technology for remote monitoring
JP4834340B2 (ja) 2005-07-14 2011-12-14 キヤノン株式会社 情報処理装置及びその方法とプログラム
KR20110024435A (ko) * 2009-09-02 2011-03-09 삼성전자주식회사 제어 디바이스, 피제어 디바이스, 제어 시스템, 그리고 제어권한 제공방법
US8717447B2 (en) * 2010-08-20 2014-05-06 Gary Stephen Shuster Remote telepresence gaze direction
US20120151606A1 (en) * 2010-12-09 2012-06-14 James Hannon Software system for denying remote access to computer cameras
JP2016187073A (ja) * 2015-03-27 2016-10-27 東芝ライテック株式会社 通信装置、通信システム、通信方法
JP6562723B2 (ja) * 2015-06-09 2019-08-21 株式会社東芝 通信装置、通信システム、通信方法及びプログラム
US10200571B2 (en) * 2016-05-05 2019-02-05 Nvidia Corporation Displaying an adjusted image according to ambient light conditions
EP3253051A1 (de) * 2016-05-30 2017-12-06 Antony Pfoertzsch Verfahren und system zum aufzeichnen von videodaten mit mindestens einem auf objekte ausrichtbaren fernsteuerbaren kamerasystem
US10212326B2 (en) * 2016-11-18 2019-02-19 Microsoft Technology Licensing, Llc Notifications for control sharing of camera resources
US10951859B2 (en) 2018-05-30 2021-03-16 Microsoft Technology Licensing, Llc Videoconferencing device and method
CN110493623A (zh) * 2019-08-16 2019-11-22 咪咕音乐有限公司 远程控制摄像机的方法、服务器和终端

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0783368B2 (ja) * 1985-03-27 1995-09-06 株式会社日立製作所 多元情報伝送システム
US5297144A (en) * 1991-01-22 1994-03-22 Spectrix Corporation Reservation-based polling protocol for a wireless data communications network
US5315636A (en) * 1991-06-28 1994-05-24 Network Access Corporation Personal telecommunications system
JP2682770B2 (ja) * 1992-05-15 1997-11-26 富士通株式会社 仮想計算機システムのcpu制御方式
US5757418A (en) * 1992-07-31 1998-05-26 Canon Kabushiki Kaisha Television conference system and method therefor
US5821984A (en) * 1992-09-09 1998-10-13 Canon Kabushiki Kaisha Communication conference system with storage of conference information including proceedings data
JP3149046B2 (ja) * 1992-10-19 2001-03-26 富士通株式会社 カメラ停止位置補正制御方式
US5493637A (en) * 1992-12-04 1996-02-20 Network Computing Devices, Inc. Video buffer recycling method and apparatus
JPH06233298A (ja) * 1993-01-29 1994-08-19 Canon Inc テレビ会議システム
JP3491932B2 (ja) * 1993-01-29 2004-02-03 キヤノン株式会社 テレビ会議システム
JPH06303607A (ja) * 1993-04-15 1994-10-28 Canon Inc テレビ会議システムおよびその制御方法
US5745161A (en) * 1993-08-30 1998-04-28 Canon Kabushiki Kaisha Video conference system
JPH07225745A (ja) * 1994-02-09 1995-08-22 Canon Inc 情報処理装置及びアービトレーション方法
FR2719959B1 (fr) * 1994-05-10 1996-06-21 Alcatel Mobile Comm France Procédé d'accès paquet dans un système de radiocommunication numérique cellulaire.
JPH08214286A (ja) * 1995-02-08 1996-08-20 Fujitsu Ltd ビデオ情報提供システム及びそのビデオ情報提供センターならびにリクエスト端末
JP3210209B2 (ja) * 1995-06-13 2001-09-17 松下電器産業株式会社 監視システム
US5696809A (en) * 1995-06-22 1997-12-09 Bell Atlantic Network Services, Inc. Advanced intelligent network based computer architecture for concurrent delivery of voice and text data using failure management system
US5867572A (en) * 1995-10-17 1999-02-02 British Telecommunications Public Limited Company Customer queuing arrangement
US5892769A (en) * 1996-08-28 1999-04-06 Motorola Inc. Method and system for prioritized multiple access using contention signatures for contention-based reservation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2387239A2 (en) 2010-05-10 2011-11-16 Sony Corporation Control device, camera system and program
EP2387228A2 (en) 2010-05-10 2011-11-16 Sony Corporation Control device, camera, method and computer program storage device

Also Published As

Publication number Publication date
US6133941A (en) 2000-10-17
JPH10136347A (ja) 1998-05-22

Similar Documents

Publication Publication Date Title
JP3548352B2 (ja) 遠隔カメラ制御システム及び装置及びその方法
US8064080B2 (en) Control of data distribution apparatus and data distribution system
JPH1042278A (ja) 映像入力システム及び映像入力制御装置及びその方法
JP4032404B2 (ja) 操作装置
JP3146150B2 (ja) 監視カメラシステム
JP3311259B2 (ja) 撮像制御方法と装置及び撮像システムと前記方法を実行するプログラムを記憶した記憶媒体
US6611285B1 (en) Method, apparatus, and system for controlling a camera, and a storage medium storing a program used with the method, apparatus and/or system
US6985178B1 (en) Camera control system, image pick-up server, client, control method and storage medium therefor
JP3747908B2 (ja) カメラ制御システム、カメラサーバ及びその制御方法
US7106364B1 (en) Camera control system
JP2000059760A (ja) 映像配信システム,映像発信装置,および映像配信システムの制御方法
JPH11205653A (ja) カメラ制御システム及びカメラ制御方法およびクライアントおよびその動作処理を実行するプログラムを記憶した記憶媒体
JP2003299069A5 (ja)
JP3666942B2 (ja) カメラ制御システム及びその動作処理方法
JP4298030B2 (ja) 撮像サーバ及びクライアント及び制御方法及びシステム及び記憶媒体
JP5562101B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2003009135A (ja) カメラ監視制御システム及び画像サーバ
JP2006115241A (ja) 特定領域の監視システム
JP3876493B2 (ja) 情報表示方法
JP2003023619A (ja) 画像サーバー及び画像サーバーシステム
JP3902805B2 (ja) カメラ制御装置及びカメラ制御装置の画像表示方法
JP2024079132A (ja) 画像配信装置及びその制御方法及びプログラム
JP4384522B2 (ja) 監視カメラの遠隔制御システム
JP2005167798A (ja) 遠隔機器の電源状態変化に連動するカメラ制御及び通知システム
JP2007215012A (ja) ネットワークカメラシステムの表示方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20031222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040416

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090423

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090423

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100423

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110423

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees