JP3581560B2 - カメラ制御システムおよびコンピュータ端末およびそれらの制御方法およびそれらの制御を実行するプログラムを記憶した記憶媒体 - Google Patents

カメラ制御システムおよびコンピュータ端末およびそれらの制御方法およびそれらの制御を実行するプログラムを記憶した記憶媒体 Download PDF

Info

Publication number
JP3581560B2
JP3581560B2 JP13673998A JP13673998A JP3581560B2 JP 3581560 B2 JP3581560 B2 JP 3581560B2 JP 13673998 A JP13673998 A JP 13673998A JP 13673998 A JP13673998 A JP 13673998A JP 3581560 B2 JP3581560 B2 JP 3581560B2
Authority
JP
Japan
Prior art keywords
camera
video
video camera
computer terminal
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP13673998A
Other languages
English (en)
Other versions
JPH11103293A (ja
Inventor
宏一良 田中
博紀 米澤
洋一 風間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP13673998A priority Critical patent/JP3581560B2/ja
Priority to US09/121,690 priority patent/US6670984B1/en
Priority to EP98114105A priority patent/EP0895421A3/en
Priority to AU78537/98A priority patent/AU704622B2/en
Publication of JPH11103293A publication Critical patent/JPH11103293A/ja
Application granted granted Critical
Publication of JP3581560B2 publication Critical patent/JP3581560B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、例えばネットワークを介して情報の通信を行う監視カメラやビデオ会議システムなどに用いて好適なカメラ制御システムなどに関するものである。
【0002】
【従来の技術】
遠隔監視システムは、従来、数台のビデオカメラを用い、それらのビデオカメラから入力したアナログの映像信号を、管理装置の複数のモニタ上に出力する監視システムが、比較的小規模なビル内で利用されていた。
【0003】
さらに、このような監視システムに対し、複数のカメラをLAN(Local Area Network)、あるいは、ISDNなどの公衆デジタル回線などの既存のデジタルネットワークに接続したカメラ制御システムが本出願人によって提案されている。
【0004】
このようなカメラ制御システムなどのカメラをネットワークを介して制御可能なカメラ制御システムにおいては、カメラの操作端末にパーソナルコンピュータあるいはワークステーションなどのコンピュータを利用し、GUI(Graphical User Interface)操作による映像表示およびカメラ制御を実現するシステムが本出願人によって提案されている。
【0005】
これによってコンピュータに習熟していない人でも扱いが簡単になる利点がある。特に、モニタ上に表示されるカメラ映像と同時にそのカメラ映像を出力しているカメラの制御パネルを表示することによって操作性の向上がなされる。
【0006】
【発明が解決しようとする課題】
しかしながら、従来のシステムにおいては、ネットワークに接続されるカメラの種類(仕様)によって制御信号などの形式が異なるため、接続して操作可能なカメラの種類は少数に限定されるか、あるいはユーザー側がカメラの種類を意識してカメラ制御を実行する必要があった。
【0007】
本発明は上述した問題を解消することを目的とし、多種多様なカメラが接続され、ユーザーがその接続される複数のカメラの種類を意識することなく、統一したカメラ制御指令によってカメラを制御することが可能なシステムを提供することを目的とする。また、ユーザーに接続されているカメラの情報を提供することのできるシステムを提供することを目的とする。
【0008】
【課題を解決するための手段】
以上の目的を達成するために、本願発明によれば、遠隔地の映像受信装置からネットワークを介して受信された制御信号に基づいて、ビデオカメラを制御するコンピュータ端末において、前記コンピュータ端末側のビデオカメラのワイドコンバータを使用するか否かに関する情報をユーザの指示に応じて入力する入力手段と、
前記コンピュータ端末側の前記入力手段によって入力されたビデオカメラのワイドコンバータを使用するか否かに関する情報を含む前記ビデオカメラに関する情報を記憶する記憶手段と、前記制御信号を互いに異なる形式の制御信号に変換する複数のモジュールと、前記記憶手段によって記憶された前記ビデオカメラに関する情報に基づいて、前記複数のモジュールの中から前記ビデオカメラに対応する制御信号に変換して前記ビデオカメラを制御可能とするためのモジュールを選択する選択手段と、前記ワイドコンバータの使用状態に応じて前記ビデオカメラの視野角を算出する算出手段と、前記算出手段によって算出された視野角を前記映像受信装置に通知する通知手段とを備えることを特徴とする。
【0038】
【発明の実施の形態】
以下、添付の図面に沿って本発明の実施の形態を説明する。
【0039】
(第1の実施の形態)
図1は、本実施の形態のカメラ制御システムを示す概略構成ブロック図である。10は映像データおよびカメラ制御情報(ステータス情報も含む)をデジタル伝送するLANなどのネットワークであり、n台の映像送信端末(カメラサーバ)12(12−1〜12−n)が接続されている。
【0040】
コンピュータ端末などの情報処理装置によって構成される各映像送信端末12(12−1〜12−n)には、カメラ制御装置14(14−1〜14−n)を介してカメラ16(16−1〜16−n)が接続されている。カメラ制御装置14(14−1〜14−n)は、映像送信端末12(12−1〜12−n)からの制御信号に従い、接続するビデオカメラ16(16−1〜16−n)のパン,チルト,ズーム,フォーカスおよび絞りなどの制御が可能である。
【0041】
また、ビデオカメラ16(16−1〜16−n)は、カメラ制御装置14(14−1〜14−n)から電力が供給されており、カメラ制御装置14(14−1〜14−n)は、外部からの制御信号に基づいて、ビデオカメラ16(16−1〜16−n)の電源のON/OFFが制御できる。
【0042】
また、ネットワーク10には、映像送信端末12(12−1〜12−n)からネットワーク10に送出された映像情報を受信し、表示する映像受信端末(カメラクライアント)18(18−1〜18−m)が接続されている。各映像受信端末18(18−1〜18−m)には、ビットマップディスプレイあるいはCRTなどのモニタ20(20−1〜20−m)が接続されている。
【0043】
ここで、ネットワーク10は、有線である必要はなく、無線LAN装置などを利用した無線ネットワークでもよい。この場合、映像受信端末18は、モニタ20と一体化して携帯型の映像受信端末とすることができる。
【0044】
映像送信端末12(12−1〜12−n)は、接続するカメラ16(16−1〜16−n)の出力映像信号をH.261などの所定の圧縮方式で圧縮し、ネットワーク10を介して、映像要求元の映像受信端末18またはすべての映像受信端末18に送信する。
【0045】
一方、映像受信端末18は、ネットワーク10、映像送信端末12およびカメラ制御装置14を介して任意のカメラ16の種々のパラメータ(撮影方向、撮影倍率、フォーカスおよび絞りなど)とともに、電力供給のON/OFF制御が可能である。
【0046】
ここで、映像送信端末12は、モニタを接続し、圧縮映像を伸長する映像伸長装置を設けることで、映像受信端末として兼用することができる。一方、映像受信端末18は、カメラ制御装置14およびビデオカメラ16を接続し、映像圧縮装置を設けることで、映像送信端末として兼用することができる。これらの端末には、映像送信または映像受信に必要なソフトウエアを記憶するROMなどの記憶装置が備えられている。
【0047】
図2は、映像送信端末12の概略構成ブロック図である。22は、映像送信端末12全体を統括制御するためのCPUであり、24は主記憶部(RAM)、26はフロッピーディスクまたはCD−ROMなどの取り外し可能な外部記憶装置、28はハードディスクなどの二次記憶装置、30はポインティングデバイスとして機能するマウス、32はキーボード、34はカメラ制御装置を接続し、カメラ制御信号を送受信するI/Oボード、36はビデオカメラ16のビデオ出力信号を取り込むビデオキャプチャ装置である。
【0048】
本実施の形態のビデオキャプチャ装置36は、アナログビデオ信号をデジタル信号に変換するA/D変換機能と、映像情報を圧縮する映像圧縮機能を具備する。38は、映像情報をモニタ40の画面上に表示するビデオボード、42は、ネットワークインターフェース、44は上述した映像送信端末12内の各構成を相互に接続するシステムバスである。ここで、端末12を映像送信専用の装置とする場合、ビデオボード38とモニタ40を省略することができる。
【0049】
スイッチャ装置23は、接続される複数のカメラからの映像の伝達あるいは複数のカメラのうち制御するためのカメラを選択的に切換えるためのものである。
【0050】
以上の構成によって、映像送信端末12は、ネットワーク10を経由して遠隔地の映像受信端末18に映像信号を出力するとともに、映像受信端末18から出力されるカメラ制御信号を受けて、カメラ16のパン,チルトなどの制御を実行する。
【0051】
図3は、コンピュータ端末などの情報処理装置によって構成される映像受信端末18の概略構成ブロック図である。図3において、CPU122は、映像受信端末18の全体を統括制御するものであり、124は主記憶部(RAM)、126はフロッピーディスクまたはCD−ROMなどの取り外し可能な外部記憶装置、128は、ROM、ハードディスクなどの二次記憶装置である。また、タイマー123は、CPUの指令に応じて時間を計時する。
【0052】
132はキーボード、130はポインティングデバイスとして機能するマウス、138は映像情報をモニタ20の画面上に表示するビデオボード、142はネットワークインターフェース、144は圧縮映像情報を伸長する圧縮デコーダ、146は映像受信端末18を構成する各構成要素を相互に接続するシステムバスである。
【0053】
映像受信端末18は、カメラ16を制御して撮影されたカメラ映像を撮り込む機能がないことと、圧縮映像を伸長するデコーダ144を具備することと、システムソフトウエアの相違を除いて、図2に示す映像送信端末12の構成と同じであるのでその説明は割愛する。また、映像受信端末18は、映像送信端末用のソフトウエアが組み込まれていれば、ネットワークを介して、任意のあるいはカメラ16の制御を許可された映像受信端末18にビデオ出力信号を発信することができる。
【0054】
映像受信端末18は、映像送信端末12にカメラ制御信号を発信し、カメラ制御信号を受信した映像送信端末12は、そのカメラ制御信号の内容に応じてカメラ16を制御するとともに、そのカメラ16の現在の状態を映像受信端末18に返送する。映像受信端末18は、映像送信端末12から送られてくる映像データを受信し、所定の処理を施してモニタ20の表示画面上に撮影映像をリアルタイムに表示する。
【0055】
図4は、本実施の形態のカメラ制御システムにおいて、ソフトウエアによって示される構成図を示している。映像受信端末18には、ネットワーク10を介して映像送信端末12にアクセスしてカメラ16を遠隔制御するためのカメラ制御クライアント(ソフトウエア)50と、映像送信端末12からの圧縮映像データを伸長し、モニタ画面に表示するための映像受信ソフトウエア52と、各カメラ16の配置位置と現在の状態を地図上にカメラシンボルとして表示するためのマップ管理ソフトウエア54などが二次記憶装置128に記憶されている。
【0056】
映像受信ソフトウエア52は、ネットワーク10に接続されたすべての映像送信端末12に接続するカメラ16を管理するソフトウエアであり、各カメラ16の固定情報および種々の変動情報(例えば、カメラ名、現在カメラ16が接続されているコンピュータのホスト名、パン,チルトおよびズームなどのカメラ状態、カメラ制御可能か否か、現在のどのカメラ16を制御中か、あるいはどのカメラ16の映像を表示中かなど)を保有する。これらの情報は、カメラ制御クライアント50およびマップ管理ソフトウエア54にも供給され、カメラシンボルの表示変更などに利用される。
【0057】
映像送信端末12には、カメラ制御クライアント50からの要求に従い、カメラ16に内蔵されるカメラ制御装置14を介してカメラ16を制御し、カメラ16の現状の情報(カメラ16の使用状況などの情報)を要求元に通知するためのカメラ制御サーバ(ソフトウエア)56と、カメラ16の出力映像を圧縮し、所定形式でネットワーク10を介して要求元に送信するための映像送信ソフトウエア58が二次記憶装置28に記憶されている。
【0058】
図8は、本実施の形態のカメラ制御サーバ56の詳細構造を示す図である。コアモジュール110は、ネットワークを介して映像受信端末18から送信された標準制御信号を受信し、受信された制御信号を把握して、その受信された制御信号のうち、カメラ16の種類に関わらない共通の(カメラの種類に依存しない)制御信号処理を実行する。
【0059】
また、モジュール112a〜112c…は、例えば、それぞれカメラA、カメラB、カメラC、…に固有の制御信号の処理を実行する。
【0060】
すなわち、接続されているカメラ16が、例えば、カメラAであるとカメラ制御サーバ56によって認識されているならば、カメラ制御サーバ56は、モジュールAを選択的に用いてカメラA固有の信号処理を実行し、カメラAに対応する形式の制御信号に変換して出力する。また、図8においてはスイッチャ装置23が使用されているため、カメラ16を複数接続可能である。この場合、映像受信端末18が制御するカメラ16に対応するモジュールが選択されることになる。
【0061】
このような処理を実行することによってネットワークに入力される信号が所定の共通形式の信号でも対応することができる。
【0062】
図9は、接続されているカメラ16の種類がどのようなものであるのかなど映像送信端末12の周辺の接続構成をカメラ制御サーバ56に認識させるために、本実施の形態のカメラシステムの運用準備として、映像送信端末(カメラサーバ)12側において接続構成を入力するためのモニタ40上の画面に表示される設定パネルの一例である。
【0063】
100は、映像送信端末12に接続されているカメラ16に関する情報を入力するための設定パネルである。設定パネル100において、入力部102は、映像送信端末12に接続されているカメラの種類を選択して入力可能とする。入力部102は、図9においては3つのカメラの種類と接続されていない場合が可能であるが、その他異なる種類のカメラを判別する様な構成にしてもよい。
【0064】
入力部101は、映像送信端末12とカメラ16との間の伝達を行うRS−232C,IEEE1394などのインターフェースの規格を入力可能としているが、モジュール112a〜112c・・・は、接続されるカメラの種類に対応するとともに、入力されたインターフェースの規格に対応する形式の制御信号に変換される。
【0065】
さらに、入力部105は、映像送信端末12に接続されるカメラ16が複数存在し、映像送信端末12がそのカメラ16の接続を切換え可能なスイッチャ装置23を使用しているかどうかを入力可能とする。
【0066】
また、入力部103は、スイッチャ装置23を使用することにより複数のカメラ16を接続した場合に、それぞれのカメラがスイッチ装置23に接続される接続端子の番号(スイッチャ番号)を入力し、それぞれ接続されるカメラ16の種類も入力可能とする。また、入力部107は、カメラの識別名を入力可能とする。また、入力部107においては、地図上の座標を入力することによって接続されるカメラ16の位置を映像送信端末12に認識させることができる。
【0067】
また、入力部104は、ワイドコンバータが使用可能などうかを入力する。
【0068】
確定ボタン106は、上述した設定パネル100上のそれぞれの入力部での入力を確定するボタンである。確定ボタン106を選択すると、コアモジュール110において設定パネル100上の設定が記憶され(図2においては主記憶部24において記憶される)、設定されたカメラの種類に対応するドライバを選択的に用いて信号処理を開始することができる。また、コアモジュール110においては、現在のパン,チルト角度および現在のズーム倍率などが記憶される。また、キャンセルボタン108は、設定パネル100の入力をキャンセルするボタンである。
【0069】
また、設置場所入力部109は、カメラ16の設置位置を詳細に入力することが可能であり、図9ではビルのフロアの階数、フロアの座標(X,Y)を入力することによってカメラ16の位置を認識させている。
【0070】
図5は、映像受信端末18のモニタ画面の表示内容の一例である。60は、複数のカメラ16が配置されているオフィス、店舗、倉庫などのレイアウトを示す地図ウインドウであり、複数の地図60a,60b,60c,60dを切替えできるようになっている。表示可能な地図60a,60b,60c,60dの枚数は、システムの性能に依存しているので特に制限はない。
【0071】
また、各地図60a,60b,60c,60dには、図5に示すようにタグがつけられており、マウス130を用いてカーソル80を移動し、タグをクリックすることによって選択されたタグのついた地図が前面に表示される。
【0072】
地図ウインドウ60上に表示されるカメラアイコン62a,62b,62c,62dは、それぞれに対応しているカメラ16の撮影方向に対応した方向に表示される。
【0073】
64は、カメラ16からのそれぞれの撮影映像を表示する映像表示領域66a〜66fを具備する映像表示ウインドウである。映像表示ウインドウ64上の66gは、映像の表示を終了させるためのごみ箱アイコンである。
【0074】
図6は、カメラアイコン62cを映像表示領域66cにドラッグアンドドロップしたとき、カメラアイコン62cに対応するカメラ16の撮影画像が映像表示領域66cに表示されたときの図を示している。
【0075】
このように、ユーザがあるカメラ16の映像を表示させたい場合、そのカメラ16を示すカメラアイコン62を、地図ウインドウ60の該当する地図上で選択し、映像表示ウインドウ64の映像表示領域66a〜66fのいずれかに重ねて離す操作(ドラッグアンドドロップ)を実行することによって映像の表示が可能となる。
【0076】
また、映像の表示を終了するときには、図7に示すように、終了したい映像が表示されている映像表示領域をごみ箱アイコン66gにドラッグアンドドロップ操作することによって終了させる。
【0077】
次に、カメラ制御を実行するときの操作について説明する。上記操作によって映像が表示された映像表示領域66a〜66fのうちでカメラを制御したい映像が表示されている映像表示領域にマウスを用いてカーソル80を移動させ、クリックすると、カメラ制御ウインドウ68が表示されカメラが制御可能な状態となる。このとき、制御可能であることを示すために、クリックしたカメラ制御ウインドウ68に黄色い枠が表示される。
【0078】
69a、69b、69c、69dは、それぞれクリックすることによって上、下、左、右のカメラ16の撮像方向の制御指令を入力するボタンである。また、71aは、カメラ16のズーム倍率をテレ方向に、71bは、カメラ16のズーム倍率をワイド方向に制御する指令を入力するためのボタンである。また、ボタン70は、カメラ16の電源のON/OFF制御するためのボタンである。
【0079】
図10および図11は、それぞれ映像送信端末(カメラサーバ)12、映像受信端末(カメラクライアント)18の動作処理フローチャートである。なお、以下の映像受信端末18側の制御を実行するプログラムは二次記憶装置128に記憶されており、そのプログラムは実行時に主記憶部124にロードされ、CPU122によって実行されるものとする。また、映像送信端末12側の制御を実行するプログラムは二次記憶装置28に記憶されており、そのプログラムは実行時に主記憶24にロードされ、CPU22によって実行されるものとする。
【0080】
まず、図11のs201において、図6に示すように、ドラッグアンドドロップ操作を行い、カメラアクセスを実行する。すると、図10の▲1▼に進み、映像送信端末12側において、s101でカメラアクセス者がいるかどうか判断する。
【0081】
アクセス者がいると判断した場合、s102において、映像送信ソフトウエア58によってカメラ映像データをアクセスした映像受信端末18に出力し、それとともに、コアモジュール110(図8)によって記憶されている現在接続されているカメラの種類とそれに関連したカメラのパン,チルト可能な角度範囲およびズーム倍率の最大値、最小値、および現在のパン,チルト角度および現在のズーム倍率などのカメラ情報を映像受信端末18に出力する。
【0082】
そして、図11に戻って映像受信端末18の動作処理フローチャートの▲2▼に進み、s202において、カメラの映像データおよびカメラ情報を取得する。すると、図6に示すように、映像受信ソフトウエア52の処理によって映像表示領域66cに受信した映像データを基にしたカメラ映像が表示される。
【0083】
さらに、マップ管理ソフトウエア54の処理によって、地図ウインドウ60上のカメラアイコン62cにその接続されているカメラの種類が何であるか認識できるようにカメラの表示形態を変化させる。図6においては、映像送信端末12から出力された情報に基づいて、カメラアイコン62cがカメラAという種類である旨の表示を実行させている。
【0084】
また、スコープ72は、カメラ16の撮像方向および視野角を示すものである。カメラモジュール112は、カメラ16に対して制御信号を出力すると、現在の撮像方向をカメラ16に問い合せる。カメラ16は、カメラの種類に依存した形式で現在のカメラモジュール112にカメラの向き/ズーム倍率の情報を返答する。カメラモジュール112は、この返答を基に、カメラの種類に依存しない一般化された形式でこれらの情報を映像受信端末18に出力する。このとき、ボタン104で設定されたワイドコンバータの装着状態に応じて視野角の計算を切換える。
【0085】
このように算出された情報が映像受信サーバ18に通知され、受信された撮像方向および視野角情報(ズーム倍率)などの情報に基づいて、マップ管理ソフトウエア54によってスコープ72の表示を行っている。
【0086】
これによって、映像受信端末18側にも現在アクセスしているカメラ16がどのような種類であるのかを把握することができる。
【0087】
さらに、s203において、カメラ制御パネル68上のボタン操作によってカメラの制御指令が入力されると、カメラ制御クライアント50は、s202において取得したカメラ情報に基づいて、その制御指令が現在接続されているカメラ16の種類において制御可能な許容範囲(パン,チルトの撮像方向あるいはズーム倍率の制御可能な範囲)内であるかどうか調べる。
【0088】
s204において、許容範囲外であれば、s203に戻る。また、許容範囲内であれば、制御対象のカメラ16が接続されている映像送信端末12に入力された制御コマンドを出力する。
【0089】
ここで、制御コマンドはカメラ16の種類に依存しない一般化した標準制御コマンドを用いる。例えば、ズームコマンドの場合、ズーム倍率の最大値と最小値はカメラの種類に依存するため、カメラの種類に依存しない視野角の値を用いてコマンドを送信する。また、例えば撮像方向制御コマンドの場合、水平方向および鉛直方向を基準とした角度を用いたコマンドを送信する。
【0090】
そして、図10の映像送信端末12の動作処理フローチャートの▲3▼に進む。s103において、制御信号を受信すると、カメラ制御サーバ56内のコアモジュール110は、接続されているカメラ16に対応可能なモジュール112(図6においてはカメラAの種類が接続されているため、カメラAの種類のコマンドに変換可能なカメラモジュール112aを選択する)を選択して動作処理を実行する。なお、スイッチャ装置23の使用によってカメラ16が複数接続されている場合は、映像受信端末18側で選択したカメラ16に対応するカメラモジュール112を選択する。
【0091】
s104において、カメラモジュール112は予め記憶されているコマンド対応表をもとに、受信された一般化されたコマンドを、接続されているカメラ16によって解釈可能な機種依存コマンドに変換してカメラ16を制御する。
【0092】
図11のフローチャートに戻り、s206において、カメラ16の操作を終了したい場合は、映像表示領域をドラッグしてごみ箱アイコン66gにドロップする動作を行い操作を終了する。また、図10のフローチャートの▲4▼に進み、s105において、アクセスが終了すると、カメラ映像のデータを出力を止める。
【0093】
以上説明したように、映像受信端末(カメラクライアント)18側においては一般化されたカメラの制御信号を映像送信端末(カメラサーバ)12側に送信しているので、カメラの操作者に対してカメラの種類を意識させることがなく、接続されているカメラの種類に関わらず統一的にカメラ制御を実行することが可能となる。
【0094】
(第2の実施の形態)
本実施の形態は、映像受信端末(カメラクライアント)18側において、システムを起動する際あるいは定期的に、映像送信端末(カメラサーバ)12に接続されたカメラの情報(カメラの種類、カメラの設置場所、撮像範囲およびズーム倍率の許容範囲などのカメラの性能、現在の撮像方向およびズーム倍率、現在の制御状況など)を自動検知する実施の形態である。
【0095】
なお、本実施の形態のカメラ制御システムの構成は、第1の実施の形態と同様であるのでその説明は省略する。
【0096】
図12および図13は、それぞれ、映像受信端末(カメラクライアント)18、映像送信端末(カメラサーバ)12の動作処理フローチャートである。なお、以下の映像送信端末12側の制御を実行するプログラムは二次記憶装置28に記憶されており、そのプログラムは実行時に主記憶部24にロードされ、CPU22によって実行されるものとする。また、映像受信端末18側の制御を実行するプログラムは二次記憶装置128に記憶されており、そのプログラムは実行時に主記憶部124にロードされ、CPU122によって実行されるものとする。
【0097】
本実施の形態においては映像受信端末18が起動した場合あるいは起動後一定時間ごとに自動検知指令が発生するが、まず、図12のs301において、カメラ制御クライアント50は、前述したような場合などに自動検知指令を発生させると、s302において、カメラ情報の要求をネットワークに接続される各映像送信端末12にブロードキャスト送信する。
【0098】
なお、本実施の形態においては、ブロードキャスト送信する他のネットワークセグメントのアドレスを事前に設定し、二次記憶装置28などに保存しておき、実行時に上記設定を読み出してブロードキャスト送信するものとする。
【0099】
そして、図13の▲1▼に進み、s401において、各映像送信端末(カメラサーバ)12側で、カメラ情報要求が受信されると、s402において、コアモジュール110において記憶された接続されているカメラ16の種類、カメラ16の設置場所、撮像範囲およびズーム倍率の許容範囲などのカメラ16の性能、カメラ16の現在の撮像方向およびズーム倍率、現在の制御状況などのカメラ情報を、要求先の映像受信端末(カメラクライアント)18に出力する。
【0100】
なお、映像送信端末(カメラサーバ)12においては、カメラ情報の出力先のクライアントのアドレスを設定し、保持している。
【0101】
図12の▲2▼に進み、s303において、カメラ情報の要求をブロードキャスト送信してから所定時間経過するまでネットワークに接続される各映像送信端末12からのカメラ情報の受信を行う。ここで、時間は、タイマー123によって計時される。なお、ブロードキャスト送信とは、特定の相手先を指定しないでネットワーク上の全ての端末に対して同時にコマンドの送信を行う公知の技術のことである。
【0102】
s304において、ブロードキャスト送信してから所定時間内に受信したカメラ情報に基づいて、マップ管理ソフトウエア54は、地図ウインドウ60上にカメラアイコンの表示を反映させる。また、所定時間内にカメラ16に関する情報が受信されなかったカメラ16に対してはエラー中であると判断し、その旨の表示を行う。
【0103】
例えば、取得したカメラ16の設置場所に対応してカメラアイコン62の表示を行い、また、取得した現在の撮像方向に対応してカメラアイコン62の撮像方向の表示(およびスコープ72の表示)を行う。またさらに、取得した現在のカメラ16の制御状況に対応して、現在制御されているカメラ16と制御されていないカメラとを区別してカメラアイコン62の表示を行う。またさらに、取得したカメラ16の種類に対応して、カメラアイコン62の表示を行う。
【0104】
また、上述したカメラの情報の自動検知は、ユーザーが指令を発生して自動検知を実行してもよい。
【0105】
以上示したように、本実施の形態において、ネットワークに接続される各映像送信端末12が保有しているカメラ情報を映像受信端末18(カメラクライアント)側で取得することができるので、ユーザーがネットワークに接続されている各カメラの情報を取得することができる。またさらに、取得したカメラの情報を地図ウインドウ60上のカメラアイコン62に反映させているので、接続されているカメラの現在の状況などが一目でユーザーに対して認識させることができる。また、常に映像受信端末18ではカメラに関する情報を取得している分けではなく、一定時間間隔でカメラ情報を取得しているので、トラフィック量が削減される。
【0108】
本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成できる。
【0109】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【0110】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、、不揮発性のメモリカード、ROMなどを用いることができる。
【0111】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【0112】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【0113】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、本発明のカメラ制御システムに不可欠なモジュールを、記憶媒体に格納することになる。
【0114】
【発明の効果】
以上説明したように、接続されているカメラがどういうものであるのかを予め映像送信端末(カメラサーバ)に設定しておいてあるので、映像受信端末(カメラクライアント)から送信された一般化された制御コマンドを、その接続されたカメラに応じて制御コマンドが変換可能である。そのため、映像受信端末側のユーザに対して、カメラの種類を意識させることなくカメラの制御を可能とする。
【図面の簡単な説明】
【図1】カメラ制御システムの構成図。
【図2】映像送信端末の構成ブロック図。
【図3】映像受信端末の構成ブロック図。
【図4】カメラ制御システムのソフトウエアの構成図。
【図5】映像受信端末18のモニタ画面の表示内容の一例を示す図。
【図6】映像受信端末18のモニタ画面の表示内容の一例を示す図。
【図7】映像受信端末18のモニタ画面の表示内容の一例を示す図。
【図8】カメラ制御サーバ56の詳細な構造を示す図。
【図9】映像送信端末12のモニタ画面の一例を示す図。
【図10】映像送信端末の動作処理フローチャート。
【図11】映像受信端末の動作処理フローチャート。
【図12】映像受信端末の動作処理フローチャート。
【図13】映像送信端末の動作処理フローチャート。
【符号の説明】
10 ネットワーク
16 ビデオカメラ
22 CPU
24 主記憶装置
26 外部記憶装置
28 二次記憶装置
42 ネットワークI/F
50 カメラ制御クライアント
52 映像受信ソフトウエア
54 マップ管理ソフトウエア
56 カメラ制御サーバ
58 映像送信ソフトウエア
60 地図ウインドウ
62a〜62d カメラアイコン
68 カメラ制御ウインドウ
69a〜69d 撮像方向制御ボタン
71a〜71b ズーム制御ボタン
100 設定パネル
101〜105 入力部
106 確定ボタン
110 コアモジュール
112 ドライバ
122 CPU
124 主記憶部
126 外部記憶装置
128 二次記憶装置
132 キーボード
140 モニタ
142 ネットワークI/F
130 マウス

Claims (13)

  1. 遠隔地の映像受信装置からネットワークを介して受信された制御信号に基づいて、ビデオカメラを制御するコンピュータ端末において、
    前記コンピュータ端末側のビデオカメラのワイドコンバータを使用するか否かに関する情報をユーザの指示に応じて入力する入力手段と、
    前記コンピュータ端末側の前記入力手段によって入力されたビデオカメラのワイドコンバータを使用するか否かに関する情報を含む前記ビデオカメラに関する情報を記憶する記憶手段と、
    前記制御信号を互いに異なる形式の制御信号に変換する複数のモジュールと、
    前記記憶手段によって記憶された前記ビデオカメラに関する情報に基づいて、前記複数のモジュールの中から前記ビデオカメラに対応する制御信号に変換して前記ビデオカメラを制御可能とするためのモジュールを選択する選択手段と、
    前記ワイドコンバータの使用状態に応じて前記ビデオカメラの視野角を算出する算出手段と
    前記算出手段によって算出された視野角を前記映像受信装置に通知する通知手段とを備えることを特徴とするコンピュータ端末。
  2. 請求項1のコンピュータ端末において、前記ビデオカメラに関する情報は、前記ビデオカメラの種類に関する情報であることを特徴とするコンピュータ端末。
  3. 請求項1ないし請求項2において、前記コンピュータ端末に複数のビデオカメラが接続される場合、前記記憶手段は、前記コンピュータ端末に接続される複数の前記ビデオカメラに関する情報をそれぞれ記憶可能とすることを特徴とするコンピュータ端末。
  4. 請求項3において、前記選択手段は、前記複数のビデオカメラの中から制御対象のカメラに対応するモジュールを選択するように構成されていることを特徴とするコンピュータ端末。
  5. 請求項1において、前記ビデオカメラに関する情報は、前記ビデオカメラと前記コンピュータ端末との間で信号を伝達するためのインターフェースの規格であることを特徴とするコンピュータ端末。
  6. 請求項1において、前記ビデオカメラに関する情報は、前記ビデオカメラを複数接続可能とし、その接続された複数のビデオカメラからの映像信号を選択的に前記コンピュータ端末に切換えるためのスイッチャ装置の有無であることを特徴とするコンピュータ端末。
  7. 遠隔地の映像受信装置からネットワークを介して受信された制御信号に基づいて、ビデオカメラを制御するコンピュータ端末の制御方法において、
    前記コンピュータ端末側において、前記コンピュータ端末側のビデオカメラのワイドコンバータを使用するか否かに関する情報をユーザの指示に応じて入力する入力ステップと、
    前記入力ステップにおいて入力された前記コンピュータ端末に接続されるビデオカメラのワイドコンバータを使用するか否かに関する情報を含む前記ビデオカメラに関する情報を含む前記ビデオカメラに関する情報を記憶するステップと、
    前記記憶ステップによって記憶された前記ビデオカメラに関する情報に基づいて、前記ネットワークを介して受信された制御信号から互いに異なる形式の制御信号に変換して前記ビデオカメラを制御するための複数のモジュールの中から前記ビデオカメラに対応するモジュールを選択する選択ステップと、
    前記ワイドコンバータの使用状態に応じて前記ビデオカメラの視野角を算出する算出ステップと、
    前記算出ステップにおいて算出された視野角を前記映像受信装置に通知する通知ステップとを特徴とするコンピュータ端末の制御方法。
  8. 請求項7において、前記ビデオカメラに関する情報は、前記ビデオカメラの種類に関する情報であることを特徴とするコンピュータ端末の制御方法。
  9. 請求項7のコンピュータ端末の制御方法において、前記コンピュータ端末に複数のビデオカメラが接続される場合、前記記憶ステップは、前記複数の前記ビデオカメラに関する情報を入力可能とすることを特徴とするコンピュータ端末の制御方法。
  10. 請求項7において、前記選択ステップは、前記複数のビデオカメラの中から制御対象のカメラに対応するモジュールを選択することを特徴とするコンピュータ端末の制御方法。
  11. 請求項7において、前記ビデオカメラに関する情報は、前記ビデオカメラと前記コンピュータ端末との間で信号を伝達するためのインターフェースの規格であることを特徴とするコンピュータ端末の制御方法。
  12. 請求項7において、前記ビデオカメラに関する情報は、前記ビデオカメラを複数接続可能とし、その接続された複数のビデオカメラからの映像信号を選択的に前記コンピュータ端末に切換えるためのスイッチャ装置の有無であることを特徴とするコンピュータ端末の制御方法。
  13. 遠隔地の映像受信装置からネットワークを介して受信される制御信号に基づいて、ビデオカメラを制御するコンピュータ端末の処理を実行させるプログラムを記憶した記憶媒体において、
    前記コンピュータ端末側において、前記コンピュータ端末側のビデオカメラのワイドコンバータを使用するか否かに関する情報をユーザの指示に応じて入力させ、
    前記入力されたコンピュータ端末に接続されるビデオカメラのワイドコンバータを使用するか否かに関する情報を含む前記コンピュータ端末に接続されるビデオカメラに関する情報を記憶させ、
    記憶させた前記ビデオカメラに関する情報に基づいて、ネットワークを介して受信される制御信号をそれぞれ所定の形式に変換するための複数のモジュールの中から前記ビデオカメラに対応するモジュールを選択させ、
    前記ワイドコンバータの使用状態に応じて前記ビデオカメラの視野角を算出させ、
    前記算出された視野角を前記映像受信装置に通知させるプログラムを記憶した記憶媒体。
JP13673998A 1997-07-29 1998-05-19 カメラ制御システムおよびコンピュータ端末およびそれらの制御方法およびそれらの制御を実行するプログラムを記憶した記憶媒体 Expired - Fee Related JP3581560B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP13673998A JP3581560B2 (ja) 1997-07-29 1998-05-19 カメラ制御システムおよびコンピュータ端末およびそれらの制御方法およびそれらの制御を実行するプログラムを記憶した記憶媒体
US09/121,690 US6670984B1 (en) 1997-07-29 1998-07-24 Camera control system controlling different types of cameras
EP98114105A EP0895421A3 (en) 1997-07-29 1998-07-28 Camera control system controlling different types of cameras
AU78537/98A AU704622B2 (en) 1997-07-29 1998-07-28 Camera control system controlling different types of cameras

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP20321997 1997-07-29
JP9-203219 1997-07-29
JP13673998A JP3581560B2 (ja) 1997-07-29 1998-05-19 カメラ制御システムおよびコンピュータ端末およびそれらの制御方法およびそれらの制御を実行するプログラムを記憶した記憶媒体

Publications (2)

Publication Number Publication Date
JPH11103293A JPH11103293A (ja) 1999-04-13
JP3581560B2 true JP3581560B2 (ja) 2004-10-27

Family

ID=26470246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13673998A Expired - Fee Related JP3581560B2 (ja) 1997-07-29 1998-05-19 カメラ制御システムおよびコンピュータ端末およびそれらの制御方法およびそれらの制御を実行するプログラムを記憶した記憶媒体

Country Status (3)

Country Link
US (1) US6670984B1 (ja)
JP (1) JP3581560B2 (ja)
AU (1) AU704622B2 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4235300B2 (ja) * 1999-01-14 2009-03-11 キヤノン株式会社 通信システム
JP4250802B2 (ja) * 1999-04-16 2009-04-08 フジノン株式会社 リモコン雲台システム
US20030117500A1 (en) * 2001-12-24 2003-06-26 Icp Electronics Inc. Network video recording system
US7778438B2 (en) 2002-09-30 2010-08-17 Myport Technologies, Inc. Method for multi-media recognition, data conversion, creation of metatags, storage and search retrieval
US6996251B2 (en) 2002-09-30 2006-02-07 Myport Technologies, Inc. Forensic communication apparatus and method
US10721066B2 (en) 2002-09-30 2020-07-21 Myport Ip, Inc. Method for voice assistant, location tagging, multi-media capture, transmission, speech to text conversion, photo/video image/object recognition, creation of searchable metatags/contextual tags, storage and search retrieval
US8189059B2 (en) * 2003-01-29 2012-05-29 Nikon Corporation Digital camera and digital camera system
US20040150944A1 (en) * 2003-02-03 2004-08-05 Byrne Daniel J. Docking station adapted to accept multiple different electronic devices
JP4324727B2 (ja) * 2003-06-20 2009-09-02 カシオ計算機株式会社 撮影モードの設定情報転送システム
JP4441852B2 (ja) * 2003-10-17 2010-03-31 ソニー株式会社 情報処理システム、情報処理装置および情報処理方法、並びに、コンピュータプログラムおよび記録媒体
JP2005176018A (ja) * 2003-12-12 2005-06-30 Olympus Corp 制御装置、制御プログラム、記憶媒体及び制御方法
DE102004033766A1 (de) * 2004-07-11 2006-02-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Übertragung von Bilddaten bei Application Sharing
CN1744670A (zh) * 2004-09-01 2006-03-08 创新科技有限公司 用于操作多个移动图像捕获设备的系统
US7710452B1 (en) 2005-03-16 2010-05-04 Eric Lindberg Remote video monitoring of non-urban outdoor sites
US7979692B1 (en) * 2005-06-01 2011-07-12 Teleport Systems, Inc. Device-to-device and client server based video monitoring and video teleconferencing/server networking technology for remote monitoring
US8384825B2 (en) * 2005-09-15 2013-02-26 Sharp Kabushiki Kaisha Video image transfer device and display system including the device
TWM315388U (en) * 2006-11-17 2007-07-11 Taiwan Video System Co Ltd Advertisement broadcasting and monitoring system
TWI356337B (en) * 2007-12-26 2012-01-11 Htc Corp A user interface of electronic apparatus
US20120033101A9 (en) * 2008-11-12 2012-02-09 Xiaoguang Yu Apparatus and methods for controlling image sensors
US8466974B2 (en) * 2008-11-12 2013-06-18 O2Micro, Inc. Apparatus and methods for controlling image sensors
US8645599B2 (en) * 2009-01-07 2014-02-04 Renesas Electronics America, Inc. Consumer media player
US8886681B2 (en) * 2010-08-20 2014-11-11 Andrea Keating Data analytics system
JP5457985B2 (ja) * 2010-09-17 2014-04-02 株式会社日立製作所 カメラ管理装置、ネットワークカメラシステム、ネットワークカメラ制御方法、ネットワーク機器制御方法
US9350909B2 (en) * 2013-02-01 2016-05-24 Empire Technology Development Llc Remotely controlled crowd-sourced media capture
US9123172B2 (en) 2013-05-20 2015-09-01 Steven Sebring Systems and methods for producing visual representations of objects
US10225525B2 (en) * 2014-07-09 2019-03-05 Sony Corporation Information processing device, storage medium, and control method
US10250813B2 (en) * 2014-09-03 2019-04-02 Fuji Xerox Co., Ltd. Methods and systems for sharing views
USD812671S1 (en) 2015-12-03 2018-03-13 Durst Sebring Revolution, Llc 3D imaging system
USD782559S1 (en) 2015-12-03 2017-03-28 Durst Sebring Revolution, Llc Photo booth
USD781948S1 (en) 2015-12-03 2017-03-21 Durst Sebring Revolution, Llc Photographic imaging system
USD798936S1 (en) 2015-12-03 2017-10-03 Durst Sebring Revolution, Llc Photo booth
USD822746S1 (en) 2016-02-05 2018-07-10 Durst Sebring Revolution, Llc Photo booth
US10397528B2 (en) 2016-02-26 2019-08-27 Amazon Technologies, Inc. Providing status information for secondary devices with video footage from audio/video recording and communication devices
US11393108B1 (en) 2016-02-26 2022-07-19 Amazon Technologies, Inc. Neighborhood alert mode for triggering multi-device recording, multi-camera locating, and multi-camera event stitching for audio/video recording and communication devices
JP6503148B1 (ja) 2016-02-26 2019-04-17 アマゾン テクノロジーズ インコーポレイテッド 音声/ビデオ記録通信装置からのビデオ映像のシェアリング関連出願の相互参照
US20180233010A1 (en) * 2017-02-13 2018-08-16 Ring Inc. Neighborhood alert mode for triggering multi-device recording, multi-camera motion tracking, and multi-camera event stitching for audio/video recording and communication devices
US10796177B1 (en) * 2019-05-15 2020-10-06 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for controlling the playback of video in a vehicle using timers

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6350280A (ja) 1986-08-20 1988-03-03 Fanuc Ltd 画像取込装置
US5236199A (en) * 1991-06-13 1993-08-17 Thompson Jr John W Interactive media system and telecomputing method using telephone keypad signalling
KR950001570B1 (ko) * 1991-12-27 1995-02-25 주식회사금성사 씨씨 티브이의 쌍방향 통신 시스템
US5444476A (en) * 1992-12-11 1995-08-22 The Regents Of The University Of Michigan System and method for teleinteraction
US5625410A (en) * 1993-04-21 1997-04-29 Kinywa Washino Video monitoring and conferencing system
WO1995011566A1 (en) * 1993-10-20 1995-04-27 Videoconferencing Systems, Inc. Adaptive videoconferencing system
US5481297A (en) * 1994-02-25 1996-01-02 At&T Corp. Multipoint digital video communication system
EP0715453B1 (en) 1994-11-28 2014-03-26 Canon Kabushiki Kaisha Camera controller
DE19534559A1 (de) 1995-09-18 1997-03-20 Siemens Ag Verfahren und Anordnung zum Herstellen einer Kommunikationsverbindung zwischen Videokameras und einem Monitor
JP3689473B2 (ja) * 1996-01-30 2005-08-31 キヤノン株式会社 通信装置、画像処理装置、通信方法及び画像処理方法

Also Published As

Publication number Publication date
US6670984B1 (en) 2003-12-30
JPH11103293A (ja) 1999-04-13
AU704622B2 (en) 1999-04-29
AU7853798A (en) 1999-02-25

Similar Documents

Publication Publication Date Title
JP3581560B2 (ja) カメラ制御システムおよびコンピュータ端末およびそれらの制御方法およびそれらの制御を実行するプログラムを記憶した記憶媒体
JP3667032B2 (ja) カメラ制御システムおよびその制御方法およびその制御を実行するプログラムを記憶した記憶媒体
JP3809309B2 (ja) カメラ制御システム及びカメラ制御方法及び記憶媒体
US6597389B2 (en) Camera control system and camera control apparatus
JP3869897B2 (ja) カメラ制御システムおよび映像受信装置および制御方法および記憶媒体
US7222356B1 (en) Communication apparatus, storage medium, camera and processing method
JP3710257B2 (ja) カメラ制御システムおよびその制御方法およびその制御を実行するプログラムを記憶した記憶媒体
US7106364B1 (en) Camera control system
EP0738076A2 (en) Camera control system and method of controlling same
US6965399B1 (en) Camera control system
JPH09289606A (ja) 画像表示装置およびカメラ制御装置
JP2000101994A (ja) 通信装置及び通信方法及び記憶媒体
US6483878B1 (en) Video communication system, video communication processing method and storage medium thereof
JP3666942B2 (ja) カメラ制御システム及びその動作処理方法
EP0895421A2 (en) Camera control system controlling different types of cameras
JP2002158995A (ja) 監視システム
CN103581619A (zh) 监视摄像机控制装置
JP2003259340A (ja) 映像通信システム、映像通信方法、映像通信プログラム、画面情報生成方法及び画面情報生成プログラム
JP4136129B2 (ja) カメラ制御システム、映像送信端末、映像送信端末の制御方法、及び記憶媒体
JP2000050243A (ja) カメラ制御システムおよびその制御方法およびその処理を実行させるプログラムを記憶した記憶媒体および映像受信端末
JPH09289636A (ja) 表示装置
JP4733942B2 (ja) カメラシステム
JP4124868B2 (ja) 映像送信端末、映像送信端末の通信方法、及び記憶媒体
JP5264274B2 (ja) 通信装置、カメラシステム、制御方法およびプログラム
JP2001045467A (ja) 画像処理装置及び画像処理方法及び記憶媒体

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040614

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040723

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080730

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080730

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090730

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100730

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100730

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110730

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120730

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120730

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees