JP3673772B2 - Camera information display device and display method - Google Patents

Camera information display device and display method Download PDF

Info

Publication number
JP3673772B2
JP3673772B2 JP2002180903A JP2002180903A JP3673772B2 JP 3673772 B2 JP3673772 B2 JP 3673772B2 JP 2002180903 A JP2002180903 A JP 2002180903A JP 2002180903 A JP2002180903 A JP 2002180903A JP 3673772 B2 JP3673772 B2 JP 3673772B2
Authority
JP
Japan
Prior art keywords
camera
information
maximum
symbol
graphic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002180903A
Other languages
Japanese (ja)
Other versions
JP2003078805A (en
Inventor
和子 辻村
智明 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002180903A priority Critical patent/JP3673772B2/en
Publication of JP2003078805A publication Critical patent/JP2003078805A/en
Application granted granted Critical
Publication of JP3673772B2 publication Critical patent/JP3673772B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、カメラ制御システムにおけるカメラ情報の表示装置および表示方法に関する。
【0002】
【従来の技術】
1又は複数のカメラを遠隔地から遠隔操作できるカメラ制御システムが、監視システムやテレビ会議又はビデオ会議システムで使用されている。カメラは、通常、パン、チルト及びズームを外部制御できるようになっており、そのような機能を組み込んだものが既に市販されている。
【0003】
複数のカメラを遠隔操作する場合、各カメラがどこにどのような向きに配置されているかを操作者に示す必要がある。そこで、例えば、オフィス内に複数のカメラを設置し、各カメラを1台の制御装置(実質的には、コンピュータ)により遠隔操作するシステムで、配置箇所の地図に重ねて、各カメラの設置位置にカメラを示す図形、即ち、カメラ・アイコンを表示する表示方法が、既に、本出願人により特許出願されている。図13は、そこで提案された表示画面を示す。
【0004】
図13において、110は、操作対象の1又は複数のカメラの設置場所を示す地図ウインドウであり、オフィスの座席表等の地図に重ねて、当該オフィスに配置される1又は複数の各カメラの配置場所を示すカメラ・アイコン112−1〜112−6が表示されている。カメラ・アイコン112−1〜112−6は、対応するカメラの向きとほぼ同じ向きで表示される。地図ウインドウ110の横に、任意に指定した1台のカメラからの映像を表示する映像ウインドウ114が表示され、映像ウインドウ114の下には、指定したカメラのパン、チルト及びズームを操作する操作パネル116が表示される。なお、何れかのカメラ・アイコン112−1〜112−6をマウスで指定することにより、指定されたカメラ・アイコン112−1〜112−6が代表する1台のカメラを操作パネル116で操作できるようになり、また、そのカメラの出力映像が映像ウインドウ114に表示される。
【0005】
【発明が解決しようとする課題】
このような表示システムを採用することにより、操作したいカメラがどこに位置するのかを視覚的に理解できるようになるが、例えば、全部のカメラのパン、チルト及びズームの全ての制御を考慮すると、十分とはいいきれない。
【0006】
本発明は、先の提案を更に改良し、制御対象の1又は複数のカメラの特性を容易に理解できるようにしたカメラ情報の表示装置を提示することを目的とする。
【0007】
本発明はまた、多様な制御特性を有する1又は複数のカメラを遠隔制御する状況で、各カメラを容易に制御できるようにしたカメラ情報の表示装置を提示することを目的とする。
【0008】
【課題を解決するための手段】
本発明に係るカメラ情報の表示装置は、カメラの出力映像と、前記カメラをその特性に応じて表されるシンボルを配置した地図とを表示する表示手段と、複数のカメラの回転機能有無情報と最大パン角情報と最大視野角情報とを含むカメラ情報ファイルを記憶する記憶手段と、を有し、前記表示手段は、回転制御可能な第1カメラと回転制御不能な第2カメラのシンボルを表示する場合、前記記憶手段に記憶されたカメラ情報ファイルに基づき、前記第1カメラのシンボルとして、前記第1カメラの回転可能な最大パン角を示す図形を表示し、前記第2カメラのシンボルとして、第2カメラの最大視野角を示す図形を表示することを特徴とする。
【0009】
本発明に係るカメラ情報の表示方法は、カメラの出力映像と、前記カメラをその特性に応じて表されるシンボルを配置した地図とをディスプレイ上に表示するカメラ情報の表示方法であって、複数のカメラの回転機能有無情報と最大パン角情報と最大視野角情報とを含むカメラ情報ファイルを記憶手段に記憶しておき、回転制御可能な第1カメラと回転制御不能な第2カメラのシンボルを表示する場合、前記記憶手段に記憶されたカメラ情報ファイルに基づき、前記第1カメラのシンボルとして、前記第1カメラの回転可能な最大パン角を示す図形を表示し、前記第2カメラのシンボルとして、第2カメラの最大視野角を示す図形を表示することを特徴とする。
【0012】
【作用】
上記手段により、カメラの向き、現在の映像視野、最大パン範囲、最大の映像入力範囲等が視覚的に分かりやすく表示される。これにより、カメラの性能及び現状をより直感的に把握できるようになる。直感的で分かりやすいユーザ・インターフェースを提供できる。
【0013】
【実施例】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【0014】
図1は、本発明の一実施例の概略構成ブロック図である。10(10−1,10−2,10−3,・・・)はビデオ・カメラ、12(12−1,12−2,12−3,・・・)は、ビデオ・カメラ10(10−1,10−2,10−3,・・・)のパン、チルト、ズーム、焦点調節及び絞りなどを外部制御信号に従い、直接制御するカメラ制御回路である。制御信号線として、例えば、RS−232C等があるが、これに限定されないことは明らかである。
【0015】
20はカメラ制御回路12に制御コマンドを送ることにより各ビデオ・カメラ10を制御するコンピュータ・システムからなるカメラ操作装置であり、22は全体を制御するCPU、24は主記憶、26は二次記憶装置(例えば、ハード・ディスク装置)、28はビットマップ・ディスプレイ、30はポインティング・デバイスとしてのマウスである。
【0016】
32は複数のビデオ・カメラ10から制御対象にする1台を選択し、装置20による制御下に置くカメラ入力選択装置、34はカメラ入力選択装置32により選択されたビデオ・カメラ10の出力映像信号を取り込むビデオ・キャプチャ装置、36は、装置20をコンピュータ・ネットワーク又は通信回線網に接続するネットワーク・インターフェース、38は、CPU22乃至ネットワーク・インターフェース36の各デバイスを相互に接続するシステム・バスである。ネットワーク・インターフェース36により、カメラ操作装置20にネットワークを経由してカメラ制御信号を送り、カメラ10を制御させることができる。
【0017】
カメラ入力選択装置32は、複数のカメラ制御回路12に繋がる制御信号線及び映像出力の内の1つを選択し、選択されたビデオ出力をビデオ・キャプチャ装置34に供給すると共に、選択された制御信号線をバス38に論理的に接続する。ビデオ信号の形式としては、例えば、輝度色差分離式のNTSC信号がある。ビデオ・キャプチャ装置34は、カメラ入力選択装置32によって選択されたビデオ出力を取り込む。取り込まれたビデオ信号は、ビットマップ・ディスプレイ28の所定ウインドウに動画表示される。
【0018】
また、二次記憶装置26には、カメラ10の配置図を示す地図データ、カメラ10の位置情報及び視野情報を収容したカメラ情報ファイルと、現在のカメラ状態情報を収容したカメラ状態テーブル、及び各カメラ10を図示するアイコン(カメラ・アイコン)データを記憶する。カメラ情報ファイル及びカメラ状態テーブルの詳細は、後述する。
【0019】
なお、本実施例では、操作対象のカメラを、パン、チルト及びズームを外部制御可能なカメラ、ズームのみ外部制御可能なカメラ、並びに、パン、チルト及びズームの何れについても外部制御不可能なカメラの3種類を想定し、それぞれを、回転・ズーム可能カメラ、ズーム可能カメラ及び制御不能カメラと呼ぶことにする。従って、二次記憶装置26に記憶するカメラ制御特性としては、少なくとも、回転・ズーム可能、ズーム可能及び制御不能を区別することになる。又は、個別の要素(回転とズーム)について、制御可能な範囲を記憶するようにしてもよい。制御不能な場合には、制御可能な範囲の上限値と下限値を一致させればよい。各カメラ制御回路12は、接続するカメラ10が回転・ズーム可能であれば、回転コマンドとズーム・コマンドの両方を受け付けるが、接続するカメラ10がズーム可能であれば、ズーム・コマンドのみを受け付け、接続するカメラ10が制御不能であれば、回転コマンドとズーム・コマンドのどちらも受け付けない。各カメラ制御回路12は、受け付けえないコマンドが入力すると、エラー信号を装置20に返す。
【0020】
図2は、ビットマップ・ディスプレイ28の表示画面の一例である。ビットマップ・ディスプレイ28上では、複数のウインドウを同時表示可能なウインドウ表示システムが動作しているものとする。地図ウインドウ40には、オフィスの座席配置などを示す地図が表示され、その地図上に、当該オフィスに配置される複数のカメラ10の配置場所を示すカメラ・アイコン42−1〜42−7が表示されている。詳細は後述するが、カメラ・アイコン42−1〜42−7は、対応するカメラ10の向きとほぼ同じ向きで表示され、パンできる範囲と現在の視野角も同時に表示される。
【0021】
映像ウインドウ44には、カメラ入力選択装置32によって選択された1台のカメラ10の出力映像が表示される。なお、地図ウインドウ40上では、選択されているカメラ10を識別できるよう、選択されたカメラに対応するカメラ・アイコンを、選択されていないカメラに対応するカメラ・アイコンとは別の色で表示する。
【0022】
映像ウインドウ44の下側に操作パネル46が表示される。操作パネル46はパン及びチルトのための回転操作ボタンと、ズーム操作のためのスライド式ボタンが表示される。これらのボタンを操作することにより、任意の指定のカメラを回転操作及びズーム操作できる。選択されたカメラがズーム可能(即ち、回転不能)のときには、回転操作ボタンは操作不能の表示態様になり、選択されたカメラが制御不能の場合には、回転操作ボタン及びズーム操作ボタンが共に操作不能の表示態様になる。
【0023】
図3は、カメラ・アイコン42−1〜42−7の拡大図を示す。本実施例のカメラ・アイコンは、カメラの現在の向きを示すカメラ本体図形50と、最大にパンできる角度範囲を示す扇形の最大パン角図形52と、現在の撮影範囲を示す扇形の現在視野角図形54とからなる。回転不能なカメラでは、最大パン角図形52は角度0度の扇形、即ち、直線になるが、これを表示するかしないかは専ら、ユーザの好みによると思われるので、表示/非表示を選択可能とするのが好ましい。最大パン角図形52と現在視野角図形54とを互いに十分に識別できるように、これらの表現色及び模様を設定すべきである。現在の視野角は、撮影レンズの焦点距離により決定される。
【0024】
図4は、カメラ情報ファイルの構造及びデータ例を示す。カメラ情報ファイルは、図4に示すように、各カメラに固有の番号であるカメラ番号、カメラ設置位置(X,Y)、カメラ設置方向(パン角度を0度にしたときにカメラの中心が向く方向)、制御特性(0:回転・ズーム可能、1:ズーム可能、2:制御不可能)、最大視野角(ズーム倍率1.0の時の視野角)、最大パン角及び最大ズーム倍率からなる。
【0025】
図5は、カメラ状態テーブルの構造及びデータ例を示す。カメラ状態テーブルは、図5に示すように、カメラ番号、現在のカメラ方向、及び現在のズーム倍率からなる。カメラ状態テーブルのカメラ番号は図4に示すカメラ情報ファイルとリンクするためであり、現在のカメラ方向と現在のズーム倍率は、操作パネル46上でのマウス操作の都度、選択されたカメラの該当する部分が更新される。いうまでもないが、現在のカメラ方向は、回転能力を持つカメラに対してのみ有効であり、現在のズーム倍率はズーム能力を持つカメラに対してのみ有効である。
【0026】
図6は、本実施例の動作を示すフローチャートである。先ず、二次記憶装置26に格納されている地図データを読み込み、地図ウインドウ40に表示する(S1)。次に、配置されているカメラの位置情報及び視野情報を収容したカメラ情報ファイルと、現在のカメラ状態情報を収容したカメラ状態テーブルを読み込み(S2)、これらの情報に基づいて、図2に示すように、地図ウインドウ40上の該当する箇所にカメラ・アイコン42−1〜42−7を描画する(S3)。そして、ユーザからのマウス操作を待つ(S4)。
【0027】
マウス・クリックによって地図ウインドウ40上の何れかのカメラ・アイコン42−1〜42−7が選択されたなら(S5)、選択された1つのカメラ・アイコン42−1〜42−7を選択状態を示す色(ここでは、赤とする。)に変更し、カメラ情報ファイルからそのカメラ・アイコンが示すカメラ番号を求める(S6)。ここでは、カメラ10−nが選択されたとする。CPU22は、カメラ入力選択装置32にカメラ切り換え命令を送って、制御信号線およびカメラ出力をカメラ10−nに切り換える(S7)。カメラ10−nの出力はカメラ入力選択装置32、ビデオ・キャプチャ装置34及びバス38を介してディスプレイ28に供給され、映像ウインドウ44に映像表示される。
【0028】
映像ウインドウ44に付属する操作パネル46が操作されたのであれば(S8)、操作内容に応じたカメラ制御コマンドがカメラ入力選択装置32を介してカメラ制御回路12−nに送信される(S9)。勿論、ユーザは、現在選択中のカメラ10−nの制御特性(回転・ズーム可能、ズーム可能又は制御不能)に適う操作しか入力できない。カメラ制御回路12−nは受信したカメラ制御コマンドに従いカメラ10−nを制御する。CPU22は同時に、選択されたカメラ・アイコンの表示を新しい状態に合致するように更新する。
【0029】
図7を参照して、カメラ・アイコンの表示(S3)及びその更新(S10)の動作を説明する。まず、制御特性に応じて処理が異なる(S21)。制御不能カメラであれば(S21)、現在視野角図形54を表示する(S22)。描画される現在視野角図形54は、カメラ設置位置を中心として、カメラ設置方向から両側に最大視野角の1/2だけ広がった一定半径の扇形である。次に、カメラ本体図形50を、カメラ設置位置座標に中心を置き、カメラ設置方向に向いた状態で、現在視野角図形54の上に重ねて表示する(S23)。例えば、図4におけるカメラ番号3に対するカメラ・アイコンは、図8に示すように表示される。
【0030】
ズーム可能カメラのとき(S21)、現在視野角図形54を表示する(S24)。描画される現在視野角図形54は、カメラ設置位置を中心として、カメラ設置方向から両側に現在の視野角の1/2だけ広がった一定半径の扇形である。次に、カメラ本体図形50を、カメラ設置位置座標に中心を置き、カメラ設置方向に向いた状態で、現在視野角図形54の上に重ねて表示する(S25)。例えば、図4におけるカメラ番号4に対するカメラ・アイコンは、図5に示す現在状態のとき、図9に示すように表示される。
【0031】
回転・ズーム可能カメラであれば(S21)、まず、最大パン角図形52を表示する(S26)。ここで描画する最大パン角図形52は、カメラ設置位置を中心として、カメラ設置方向から両側に最大パン角度の1/2の角度だけ広がった一定半径の扇形である。次に、現在視野角図形54を最大パン角図形52の上に表示する(S27)。描画される現在視野角図形54は、カメラ設置位置を中心として、現在のカメラ方向から両側に現在の視野角の1/2だけ広がった一定半径の扇形である。最後に、カメラ本体図形50を、カメラ設置位置に中心を置き、カメラ方向に向いた状態で、最大パン角図形52及び現在視野角図形54の上に重ねて表示する(S28)。例えば、図4におけるカメラ番号5に対するカメラ・アイコンは、図5に示す現在状態のとき、図10に示すように表示される。
【0032】
操作パネル46の操作に対してCPU22がカメラ入力選択装置32を介してカメラ制御回路12に供給するカメラ制御信号は、通常の外部制御可能なカメラに対する制御コマンド系と同様でよい。本実施例では、例えば、操作パネル46の右矢印ボタンが押されると、CPU22は、右方向へのパン制御コマンドを操作コマンドをカメラ入力選択装置32を介して、その時点で選択されているカメラ10のカメラ制御回路12に供給する。CPU22は、同時に、カメラ状態テーブルの現在のカメラ方向及び現在のズーム倍率を更新する。
【0033】
現在のカメラの視野角度θcは、最大視野角θmaxと、現在のズーム倍率Kとから、下記式に従って求められる。即ち、
θc=arctan(tanθmax/K)
なお、本実施例では、全ての外部制御可能なカメラは、起動時に、カメラ状態テーブルの初期値として、現在のカメラ方向は、カメラ設置方向と同一の値にセットされ、現在のズーム倍率は1.0にセットされるものとする。
【0034】
上記実施例は、容易にネットワーク対応に拡張できる。例えば、図11に示すように、図1に示すのと同じ構成の複数のカメラ操作装置60−1,60−2,・・・,60−Mをネットワーク62に接続する。ネットワーク62は、ビデオ・キャプチャ装置34で各装置60−1〜60−M内に取り込まれたディジタル動画及びカメラ制御信号を送信するのに十分なバンド幅を有するローカルエリア・ネットワークLAN又はワイドエリア・ネットワークWANを想定しているが、必ずしもこれらに限定されないことは明らかである。
【0035】
各カメラ操作装置60−1〜60−Mはネットワーク・インターフェース36を介して、それぞれのビデオ・キャプチャ装置34により取り込んだビデオ・データをパケット化してネットワーク62に出力できると共に、パケット化されたビデオ・データをネットワーク62から受信できる。ビットマップ・ディスプレイ28は、ビデオ・キャプチャ装置34により取り込まれたビデオ・データ及びネットワーク62からのビデオ・データを映像ウインドウに表示する。カメラ操作命令及びカメラ切替命令についても、各カメラ操作装置60−1〜60−Mは、ネットワーク・インターフェース36を介して、ネットワーク62に送信でき、ネットワーク62から受信できる。ネットワーク62から受信されたカメラ操作命令及びカメラ切替命令は、内部で生成されたカメラ操作命令及びカメラ切替命令と同様に扱われる。このような技術は、周知である。
【0036】
但し、ネットワーク対応とするために、各カメラには、図12に示すように、装置アドレスの項目と地図名(即ち、オフィス名)の項目の情報が追加される。カメラ選択に際して、必要に応じてメニュー等で装置アドレス及び/又は地図名を選択し、カメラ操作装置及び/又は地図を切り替える操作が必要になる。なお、地図名の項目は、ネットワーク対応に限らず、カメラが離れた場所にあり、1枚の地図上に表現し切れない場合にも有効である。即ち、複数の地図を切り替えて地図ウインドウ40に表示できるようにしておく必要がある。カメラ選択に際して、必要に応じてメニューなどで地図及び又は対象のカメラが接続するカメラ操作装置を選択する。
【0037】
制御すべきカメラが選択され、そのカメラ番号が分かった時点で、図12に示す表を参照し、カメラ番号から装置アドレスを求める。選択したカメラを直接制御できない場合、即ちネットワーク経由で制御する必要がある場合には、カメラ操作命令及びカメラ切替命令をネットワーク経由で発行することになる。また、カメラ映像表示に関しては、地図を表示し、カメラ操作を入力するカメラ操作装置をAとし、選択されたカメラが接続されているカメラ操作装置をBとすると、カメラが選択された時点で、装置Aから装置Bにカメラ映像の送信を要求し、装置Bがキャプチャしたビデオ・データを装置Aにネットワークを介して送信してもらうようにする。
【0038】
このように、ネットワーク対応に拡張することで、カメラ入力選択装置の入力数に制限がある場合にも、より多くのカメラを制御できるようになる。また、離れた場所の1又は複数のカメラを制御したい場合に、双方向で相互に簡単に対応できるようになる。
【0039】
最大パン角図形によりパン範囲を角度表示したが、これの代わりに又はこれに加えて、最大パン角の情報と最大視野角の情報とから、映像入力可能範囲を図形として表示するようにしてもよい。例えば、カメラ設置位置を中心として、カメラ設置方向から両側に、最大パン角の1/2と最大視野角の1/2の和に相当する角度だけ広がった、一定半径の扇形を描画すればよい。この扇形図形の中心角は、実際に撮影できる最大の範囲を示している。
【0040】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、各カメラの映像入力可能範囲及び最大パン角などの情報を視覚的に表示するので、カメラの性能及び現状をより直感的に把握できるようになる。即ち、直感的で分かりやすいユーザ・インターフェースを提供できる。
【図面の簡単な説明】
【図1】 本発明の一実施例の概略構成ブロック図である。
【図2】 本実施例の画面例である。
【図3】 カメラ・アイコンの基本構成を示す図である。
【図4】 カメラ情報ファイルの構造とデータ例である。
【図5】 カメラ状態テーブルの構造とデータ例である。
【図6】 本実施例の動作フローチャートである。
【図7】 カメラ制御特性に応じたカメラ・アイコンの表示処理のフローチャートである。
【図8】 カメラ・アイコンの表示例1である。
【図9】 カメラ・アイコンの表示例2である。
【図10】 カメラ・アイコンの表示例3である。
【図11】 ネットワーク構成の概略ブロック図である。
【図12】 ネットワーク対応のための追加情報である。
【図13】 従来例における画面例である。
【符号の説明】
10(10−1,10−2,10−3,・・・):ビデオ・カメラ
12(12ー1,12ー2,12ー3,・・・):カメラ制御回路
20:カメラ操作装置
22:CPU
24:主記憶
26:二次記憶装置
28:ビットマップ・ディスプレイ
30:マウス
32:カメラ入力選択装置
34:ビデオ・キャプチャ装置
36:ネットワーク・インターフェース
38:システム・バス
40:地図ウインドウ
42−1〜42−7:カメラ・アイコン
44:映像ウインドウ
46:操作パネル
50:カメラ本体図形
52:最大パン角図形
54:現在視野角図形
60−1,60−2,・・・,60−M:カメラ操作装置
62:ネットワーク
110:地図ウインドウ
112−1〜112−6:カメラ・アイコン
114:映像ウインドウ
116:操作パネル
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a camera information display device and display method in a camera control system.
[0002]
[Prior art]
Camera control systems that can remotely control one or more cameras from a remote location are used in surveillance systems, video conferencing or video conferencing systems. Cameras are usually capable of external control of pan, tilt and zoom, and cameras incorporating such functions are already on the market.
[0003]
When remotely controlling a plurality of cameras, it is necessary to indicate to the operator where and in what direction each camera is arranged. Therefore, for example, in a system in which a plurality of cameras are installed in an office and each camera is remotely operated by a single control device (effectively a computer), the installation position of each camera is superimposed on a map of the arrangement location. The applicant has already filed a patent application for a display method for displaying a figure indicating a camera, that is, a camera icon. FIG. 13 shows the display screen proposed there.
[0004]
In FIG. 13, reference numeral 110 denotes a map window showing the installation location of one or more cameras to be operated, and the arrangement of one or more cameras arranged in the office on a map such as an office seating chart. Camera icons 112-1 to 112-6 indicating locations are displayed. The camera icons 112-1 to 112-6 are displayed in substantially the same direction as the corresponding camera. A video window 114 for displaying video from one arbitrarily designated camera is displayed next to the map window 110, and an operation panel for operating pan, tilt and zoom of the designated camera is displayed below the video window 114. 116 is displayed. Note that one of the cameras represented by the designated camera icons 112-1 to 112-6 can be operated on the operation panel 116 by designating any of the camera icons 112-1 to 112-6 with the mouse. In addition, the output video of the camera is displayed on the video window 114.
[0005]
[Problems to be solved by the invention]
By adopting such a display system, it will be possible to visually understand where the camera to be operated is located. However, for example, considering all controls of pan, tilt and zoom of all cameras, it is sufficient. I cannot say.
[0006]
It is an object of the present invention to provide a camera information display device that further improves the previous proposal and makes it easy to understand the characteristics of one or more cameras to be controlled.
[0007]
It is another object of the present invention to provide a camera information display device that can easily control each camera in a situation where one or more cameras having various control characteristics are remotely controlled.
[0008]
[Means for Solving the Problems]
The camera information display device according to the present invention includes a display means for displaying an output video of a camera, a map in which symbols representing the camera according to characteristics thereof are arranged, and information on presence / absence of rotation functions of a plurality of cameras. Storage means for storing a camera information file including maximum pan angle information and maximum viewing angle information, and the display means displays symbols of a first camera that can be rotated and a second camera that cannot be rotated. If you, on the basis of the storage means the stored camera information file, as the first camera symbol, displays a graphic showing the maximum panning angle possible rotation of the first camera, as the symbol of the second camera, A graphic showing the maximum viewing angle of the second camera is displayed .
[0009]
A camera information display method according to the present invention is a camera information display method for displaying an output video of a camera and a map in which symbols representing the cameras according to their characteristics are arranged on a display. A camera information file including information on the presence / absence of the rotation function of the camera, maximum pan angle information, and maximum viewing angle information is stored in the storage means, and symbols of the first camera capable of rotation control and the second camera not capable of rotation control are stored. When displaying, based on the camera information file stored in the storage means, a graphic showing the maximum pan angle of the first camera that can be rotated is displayed as the symbol of the first camera, and as the symbol of the second camera A graphic showing the maximum viewing angle of the second camera is displayed.
[0012]
[Action]
By the above means, the camera direction, the current video field of view, the maximum pan range, the maximum video input range, etc. are displayed in a visually easy-to-understand manner. Thereby, it becomes possible to grasp the performance and current state of the camera more intuitively. An intuitive and easy-to-understand user interface can be provided.
[0013]
【Example】
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0014]
FIG. 1 is a schematic block diagram of an embodiment of the present invention. 10 (10-1, 10-2, 10-3,...) Is a video camera, and 12 (12-1, 12-2, 12-3,...) Is a video camera 10 (10− 1, 10-2, 10-3,...)), Pan, tilt, zoom, focus adjustment, aperture, and the like are directly controlled according to an external control signal. As the control signal line, for example, RS-232C is available, but it is obvious that the control signal line is not limited to this.
[0015]
Reference numeral 20 denotes a camera operating device comprising a computer system for controlling each video camera 10 by sending a control command to the camera control circuit 12, 22 a CPU for controlling the whole, 24 a main memory, and 26 a secondary memory. A device (for example, a hard disk device), 28 is a bitmap display, and 30 is a mouse as a pointing device.
[0016]
Reference numeral 32 denotes a camera input selection device that selects one of the plurality of video cameras 10 to be controlled, and is placed under the control of the device 20. Reference numeral 34 denotes an output video signal of the video camera 10 selected by the camera input selection device 32. Is a network interface that connects the apparatus 20 to a computer network or a communication network, and 38 is a system bus that interconnects the devices of the CPU 22 to the network interface. With the network interface 36, the camera 10 can be controlled by sending a camera control signal to the camera operating device 20 via the network.
[0017]
The camera input selection device 32 selects one of a control signal line and a video output connected to the plurality of camera control circuits 12, supplies the selected video output to the video capture device 34, and selects the selected control. The signal line is logically connected to the bus 38. As a format of the video signal, for example, there is a luminance / color difference separation type NTSC signal. The video capture device 34 captures the video output selected by the camera input selection device 32. The captured video signal is displayed as a moving image in a predetermined window of the bitmap display 28.
[0018]
Further, the secondary storage device 26 includes map data indicating the layout of the camera 10, a camera information file containing the position information and visual field information of the camera 10, a camera state table containing the current camera state information, and each Icon (camera icon) data representing the camera 10 is stored. Details of the camera information file and the camera state table will be described later.
[0019]
In this embodiment, the camera to be operated is a camera that can externally control pan, tilt, and zoom, a camera that can externally control only zoom, and a camera that cannot externally control any of pan, tilt, and zoom. These are referred to as a rotatable / zoomable camera, a zoomable camera, and an uncontrollable camera. Accordingly, at least the camera control characteristics stored in the secondary storage device 26 are distinguished from rotation / zoomable, zoomable, and uncontrollable. Alternatively, a controllable range may be stored for individual elements (rotation and zoom). If control is impossible, the upper limit value and lower limit value of the controllable range may be matched. Each camera control circuit 12 accepts both a rotation command and a zoom command if the connected camera 10 can be rotated / zoomed, but accepts only a zoom command if the connected camera 10 can zoom. If the connected camera 10 cannot be controlled, neither a rotation command nor a zoom command is accepted. Each camera control circuit 12 returns an error signal to the device 20 when an unacceptable command is input.
[0020]
FIG. 2 is an example of a display screen of the bitmap display 28. It is assumed that a window display system capable of simultaneously displaying a plurality of windows is operating on the bitmap display 28. In the map window 40, a map showing the seat arrangement of the office is displayed, and on the map, camera icons 42-1 to 42-7 indicating the arrangement locations of the plurality of cameras 10 arranged in the office are displayed. Has been. Although details will be described later, the camera icons 42-1 to 42-7 are displayed in substantially the same direction as the direction of the corresponding camera 10, and the panable range and the current viewing angle are also displayed at the same time.
[0021]
In the video window 44, an output video of one camera 10 selected by the camera input selection device 32 is displayed. On the map window 40, the camera icon corresponding to the selected camera is displayed in a different color from the camera icon corresponding to the unselected camera so that the selected camera 10 can be identified. .
[0022]
An operation panel 46 is displayed below the video window 44. The operation panel 46 displays a rotation operation button for panning and tilting and a slide type button for zooming operation. By operating these buttons, any specified camera can be rotated and zoomed. When the selected camera can be zoomed (that is, cannot be rotated), the rotation operation button is displayed in an inoperable display mode. When the selected camera is not controllable, both the rotation operation button and the zoom operation button are operated. The display mode becomes impossible.
[0023]
FIG. 3 shows an enlarged view of the camera icons 42-1 to 42-7. The camera icon of the present embodiment includes a camera body graphic 50 indicating the current direction of the camera, a fan-shaped maximum pan angle graphic 52 indicating the maximum range of panning, and a fan-shaped current viewing angle indicating the current shooting range. It consists of a figure 54. For non-rotatable cameras, the maximum pan angle graphic 52 is a fan shape with a 0 degree angle, that is, a straight line, but whether or not this is displayed depends on the user's preference, so display / non-display is selected. Preferably it is possible. These expression colors and patterns should be set so that the maximum pan angle graphic 52 and the current viewing angle graphic 54 can be sufficiently distinguished from each other. The current viewing angle is determined by the focal length of the taking lens.
[0024]
FIG. 4 shows the structure and data example of a camera information file. As shown in FIG. 4, the camera information file has a camera number, a camera installation position (X, Y), and a camera installation direction (a center of the camera when the pan angle is set to 0 degree). Direction), control characteristics (0: rotation / zoomable, 1: zoomable, 2: uncontrollable), maximum viewing angle (viewing angle when zoom magnification is 1.0), maximum pan angle and maximum zoom magnification. .
[0025]
FIG. 5 shows a structure and data example of the camera state table. As shown in FIG. 5, the camera state table includes a camera number, a current camera direction, and a current zoom magnification. This is because the camera number in the camera state table is linked to the camera information file shown in FIG. 4, and the current camera direction and the current zoom magnification correspond to the selected camera every time the mouse is operated on the operation panel 46. The part is updated. Needless to say, the current camera direction is effective only for a camera having a rotation capability, and the current zoom magnification is effective only for a camera having a zoom capability.
[0026]
FIG. 6 is a flowchart showing the operation of the present embodiment. First, the map data stored in the secondary storage device 26 is read and displayed on the map window 40 (S1). Next, a camera information file containing the position information and field-of-view information of the arranged camera and a camera state table containing the current camera state information are read (S2), and based on these information, shown in FIG. As described above, the camera icons 42-1 to 42-7 are drawn at the corresponding locations on the map window 40 (S3). Then, the user waits for a mouse operation (S4).
[0027]
If any of the camera icons 42-1 to 42-7 on the map window 40 is selected by mouse click (S5), the selected one of the camera icons 42-1 to 42-7 is selected. The color is changed to the indicated color (here, red), and the camera number indicated by the camera icon is obtained from the camera information file (S6). Here, it is assumed that the camera 10-n is selected. The CPU 22 sends a camera switching command to the camera input selection device 32 to switch the control signal line and the camera output to the camera 10-n (S7). The output of the camera 10-n is supplied to the display 28 via the camera input selection device 32, the video capture device 34 and the bus 38, and is displayed on the video window 44.
[0028]
If the operation panel 46 attached to the video window 44 is operated (S8), a camera control command corresponding to the operation content is transmitted to the camera control circuit 12-n via the camera input selection device 32 (S9). . Of course, the user can input only an operation suitable for the control characteristics (rotation / zoomable, zoomable or uncontrollable) of the currently selected camera 10-n. The camera control circuit 12-n controls the camera 10-n according to the received camera control command. At the same time, the CPU 22 updates the display of the selected camera icon to match the new state.
[0029]
With reference to FIG. 7, the operation of displaying the camera icon (S3) and updating it (S10) will be described. First, processing differs according to the control characteristics (S21). If the camera is not controllable (S21), the current viewing angle graphic 54 is displayed (S22). The current viewing angle figure 54 to be drawn is a fan having a constant radius with the camera installation position as the center and extending from the camera installation direction to both sides by a half of the maximum viewing angle. Next, the camera body graphic 50 is displayed so as to be superimposed on the current viewing angle graphic 54 with the center at the camera installation position coordinate and facing the camera installation direction (S23). For example, the camera icon for camera number 3 in FIG. 4 is displayed as shown in FIG.
[0030]
When the camera is zoomable (S21), the current viewing angle graphic 54 is displayed (S24). The current viewing angle figure 54 to be drawn is a fan having a constant radius with the camera installation position as the center and extending from the camera installation direction to both sides by 1/2 of the current viewing angle. Next, the camera body graphic 50 is displayed so as to be superimposed on the current viewing angle graphic 54 with the center at the camera installation position coordinates and facing the camera installation direction (S25). For example, the camera icon for camera number 4 in FIG. 4 is displayed as shown in FIG. 9 in the current state shown in FIG.
[0031]
If the camera can rotate and zoom (S21), first, the maximum pan angle graphic 52 is displayed (S26). The maximum pan angle graphic 52 drawn here is a fan having a constant radius with the camera installation position as the center and extending from the camera installation direction to both sides by a half of the maximum pan angle. Next, the current viewing angle graphic 54 is displayed on the maximum pan angle graphic 52 (S27). The current viewing angle graphic 54 to be drawn is a fan having a constant radius that extends from the current camera direction to both sides by a half of the current viewing angle with the camera installation position as the center. Finally, the camera main body graphic 50 is displayed so as to be superimposed on the maximum pan angle graphic 52 and the current viewing angle graphic 54 with the center at the camera installation position and facing the camera direction (S28). For example, the camera icon for camera number 5 in FIG. 4 is displayed as shown in FIG. 10 in the current state shown in FIG.
[0032]
The camera control signal that the CPU 22 supplies to the camera control circuit 12 via the camera input selection device 32 in response to the operation of the operation panel 46 may be the same as a control command system for a normal camera that can be externally controlled. In this embodiment, for example, when the right arrow button on the operation panel 46 is pressed, the CPU 22 selects the right pan control command as an operation command via the camera input selection device 32 and the camera currently selected. To 10 camera control circuits 12. At the same time, the CPU 22 updates the current camera direction and the current zoom magnification in the camera state table.
[0033]
The viewing angle θc of the current camera is obtained from the maximum viewing angle θmax and the current zoom magnification K according to the following formula. That is,
θc = arctan (tan θmax / K)
In this embodiment, all the externally controllable cameras have the current camera direction set to the same value as the camera installation direction as the initial value of the camera state table at startup, and the current zoom magnification is 1. Set to .0.
[0034]
The above embodiment can be easily extended to support a network. For example, as shown in FIG. 11, a plurality of camera operating devices 60-1, 60-2,..., 60-M having the same configuration as shown in FIG. The network 62 is a local area network LAN or wide area network having sufficient bandwidth to transmit the digital video and camera control signals captured by the video capture device 34 into each device 60-1 to 60-M. Although a network WAN is assumed, it is obvious that the present invention is not necessarily limited thereto.
[0035]
Each camera operating device 60-1 to 60-M can packetize the video data captured by the video capture device 34 via the network interface 36 and output the packetized data to the network 62. Data can be received from the network 62. The bitmap display 28 displays the video data captured by the video capture device 34 and the video data from the network 62 in a video window. The camera operation commands and camera switching commands can also be transmitted to the network 62 and received from the network 62 via the network interface 36. The camera operation command and camera switching command received from the network 62 are handled in the same manner as the camera operation command and camera switching command generated internally. Such techniques are well known.
[0036]
However, in order to be compatible with the network, as shown in FIG. 12, information of an apparatus address item and a map name (ie, office name) item is added to each camera. When selecting a camera, it is necessary to select a device address and / or map name from a menu or the like as necessary, and to switch the camera operating device and / or map. Note that the map name item is not limited to network support, and is also effective when the camera is in a remote location and cannot be expressed on a single map. That is, it is necessary to switch a plurality of maps so that they can be displayed on the map window 40. When selecting a camera, a map and / or a camera operating device to which the target camera is connected is selected from a menu or the like as necessary.
[0037]
When a camera to be controlled is selected and its camera number is known, a device address is obtained from the camera number with reference to the table shown in FIG. When the selected camera cannot be directly controlled, that is, when it is necessary to control the selected camera via the network, a camera operation command and a camera switching command are issued via the network. In addition, regarding camera image display, assuming that a camera operating device that displays a map and inputs a camera operation is A and a camera operating device to which the selected camera is connected is B, when the camera is selected, The device A requests the device B to transmit the camera video, and causes the device A to transmit the video data captured by the device B via the network.
[0038]
In this way, by expanding to be compatible with the network, more cameras can be controlled even when the number of inputs of the camera input selection device is limited. In addition, when it is desired to control one or a plurality of cameras at remote locations, it becomes possible to easily deal with each other in both directions.
[0039]
The pan range is displayed as an angle using the maximum pan angle graphic, but instead of or in addition to this, the video input possible range may be displayed as a graphic from the maximum pan angle information and the maximum viewing angle information. Good. For example, a fan with a fixed radius that is widened by an angle corresponding to the sum of 1/2 of the maximum pan angle and 1/2 of the maximum viewing angle from the camera installation direction to both sides from the camera installation direction may be drawn. . The central angle of the fan-shaped figure indicates the maximum range that can be actually captured.
[0040]
【The invention's effect】
As can be easily understood from the above description, according to the present invention, information such as the video input possible range and the maximum pan angle of each camera is visually displayed, so the camera performance and current situation can be grasped more intuitively. become able to. That is, an intuitive and easy-to-understand user interface can be provided.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram of an embodiment of the present invention.
FIG. 2 is a screen example of the present embodiment.
FIG. 3 is a diagram showing a basic configuration of a camera icon.
FIG. 4 is a structure and data example of a camera information file.
FIG. 5 shows a structure and data example of a camera state table.
FIG. 6 is an operation flowchart of the embodiment.
FIG. 7 is a flowchart of camera icon display processing according to camera control characteristics;
FIG. 8 is a display example 1 of a camera icon.
FIG. 9 is a display example 2 of a camera icon.
FIG. 10 is a display example 3 of a camera icon.
FIG. 11 is a schematic block diagram of a network configuration.
FIG. 12 is additional information for network support.
FIG. 13 is a screen example in a conventional example.
[Explanation of symbols]
10 (10-1, 10-2, 10-3,...): Video camera 12 (12-1, 12-2, 12-3,...): Camera control circuit 20: Camera operation device 22 : CPU
24: Main memory 26: Secondary storage device 28: Bit map display 30: Mouse 32: Camera input selection device 34: Video capture device 36: Network interface 38: System bus 40: Map windows 42-1 to 42 -7: Camera icon 44: Video window 46: Operation panel 50: Camera body graphic 52: Maximum pan angle graphic 54: Current viewing angle graphic 60-1, 60-2, ..., 60-M: Camera operation device 62: Network 110: Map windows 112-1 to 112-6: Camera icon 114: Video window 116: Operation panel

Claims (6)

カメラの出力映像と、前記カメラをその特性に応じて表されるシンボルを配置した地図とを表示する表示手段と、
複数のカメラの回転機能有無情報と最大パン角情報と最大視野角情報とを含むカメラ情報ファイルを記憶する記憶手段と、を有し、
前記表示手段は、回転制御可能な第1カメラと回転制御不能な第2カメラのシンボルを表示する場合、前記記憶手段に記憶されたカメラ情報ファイルに基づき、前記第1カメラのシンボルとして、前記第1カメラの回転可能な最大パン角を示す図形を表示し、前記第2カメラのシンボルとして、第2カメラの最大視野角を示す図形を表示することを特徴とするカメラ情報の表示装置。
Display means for displaying an output video of the camera and a map in which symbols representing the camera according to its characteristics are arranged ;
Storage means for storing a camera information file including rotation function presence / absence information of a plurality of cameras, maximum pan angle information, and maximum viewing angle information ;
The display means displays the first camera symbol as the first camera symbol based on the camera information file stored in the storage means when displaying the symbol of the first camera capable of rotation control and the second camera not capable of rotation control . An apparatus for displaying camera information , wherein a graphic showing a maximum panning angle of one camera is displayed , and a graphic showing a maximum viewing angle of the second camera is displayed as a symbol of the second camera .
前記表示手段は、前記第1カメラのシンボルとして、現在の撮像視野角を示す図形と前記最大パン角を示す図形とを重ねて表示することを特徴とする請求項に記載のカメラ情報の表示装置。The display means, as a symbol of the first camera, display of camera information according to claim 1, characterized in that the displayed superimposed and figure indicating the maximum panning angle a figure indicating the current imaging view angle apparatus. 前記表示手段は、前記最大パン角を示す前記第1カメラのシンボルの図形の色と、前記最大視野角を示す前記第1カメラのシンボルの図形の色とを、互いに異なる色を使用して表示することを特徴とする請求項1に記載のカメラ情報の表示装置。The display means displays the color of the first camera symbol indicating the maximum pan angle and the color of the first camera symbol indicating the maximum viewing angle using different colors. The camera information display device according to claim 1, wherein: カメラの出力映像と、前記カメラをその特性に応じて表されるシンボルを配置した地図とをディスプレイ上に表示するカメラ情報の表示方法であって、
複数のカメラの回転機能有無情報と最大パン角情報と最大視野角情報とを含むカメラ情報ファイルを記憶手段に記憶しておき
回転制御可能な第1カメラと回転制御不能な第2カメラのシンボルを表示する場合、前記記憶手段に記憶されたカメラ情報ファイルに基づき、前記第1カメラのシンボルとして、前記第1カメラの回転可能な最大パン角を示す図形を表示し、前記第2カメラのシンボルとして、第2カメラの最大視野角を示す図形を表示することを特徴とするカメラ情報の表示方法。
A camera information display method for displaying on a display an output video of a camera and a map in which symbols representing the camera according to its characteristics are arranged ,
A camera information file including rotation function presence / absence information of a plurality of cameras, maximum pan angle information, and maximum viewing angle information is stored in a storage unit ,
When displaying the symbols of the first camera that can be rotated and the second camera that cannot be rotated, the first camera can be rotated as a symbol of the first camera based on the camera information file stored in the storage means. A method for displaying camera information , comprising: displaying a graphic showing a maximum pan angle and displaying a graphic showing a maximum viewing angle of the second camera as a symbol of the second camera .
前記第1カメラのシンボルとして、現在の撮像視野角を示す図形と前記最大パン角を示す図形とを重ねて表示することを特徴とする請求項に記載のカメラ情報の表示方法。 5. The camera information display method according to claim 4 , wherein a graphic indicating the current imaging viewing angle and a graphic indicating the maximum panning angle are superimposed and displayed as the symbol of the first camera . 前記最大パン角を示す前記第1カメラのシンボルの図形の色と、前記最大視野角を示す前記第1カメラのシンボルの図形の色とを、互いに異なる色を使用して表示することを特徴とする請求項4に記載のカメラ情報の表示方法。The color of the graphic of the symbol of the first camera showing the maximum pan angle and the color of the graphic of the symbol of the first camera showing the maximum viewing angle are displayed using different colors. The method for displaying camera information according to claim 4.
JP2002180903A 2002-06-21 2002-06-21 Camera information display device and display method Expired - Fee Related JP3673772B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002180903A JP3673772B2 (en) 2002-06-21 2002-06-21 Camera information display device and display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002180903A JP3673772B2 (en) 2002-06-21 2002-06-21 Camera information display device and display method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP7049764A Division JPH08251467A (en) 1994-11-28 1995-03-09 Display device for camera information

Publications (2)

Publication Number Publication Date
JP2003078805A JP2003078805A (en) 2003-03-14
JP3673772B2 true JP3673772B2 (en) 2005-07-20

Family

ID=19195320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002180903A Expired - Fee Related JP3673772B2 (en) 2002-06-21 2002-06-21 Camera information display device and display method

Country Status (1)

Country Link
JP (1) JP3673772B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10250813B2 (en) * 2014-09-03 2019-04-02 Fuji Xerox Co., Ltd. Methods and systems for sharing views
KR102012644B1 (en) * 2017-03-29 2019-11-04 이형용 Method for displaying real-time ptz of cctv and system for displaying real-time ptz of cctv

Also Published As

Publication number Publication date
JP2003078805A (en) 2003-03-14

Similar Documents

Publication Publication Date Title
JP3566451B2 (en) Camera control system and camera control system control method
EP0729275B1 (en) Image input system
JP3809309B2 (en) Camera control system, camera control method, and storage medium
US6002995A (en) Apparatus and method for displaying control information of cameras connected to a network
EP0884909B1 (en) Camera control system
JP3689447B2 (en) Camera control system and method
US9077864B2 (en) Method and apparatus for controlling monitoring cameras
US20010026318A1 (en) Communication apparatus, image processing apparatus, communication method, and image processing method
US20040212679A1 (en) Computer-based remote surveillance cctv system, a computer video matrix switcher and a control program adapted to the cctv system
EP0893919B1 (en) Camera control system
KR101925067B1 (en) Controller for Electro-Optical Tracking System and operating method for thereof
JP2000101994A (en) Communication system, communication method and storage medium thereof
JPH08251467A (en) Display device for camera information
JP3513233B2 (en) Camera operation device
JPH0818948A (en) Method and apparatus for controlling video monitoring
JP3673772B2 (en) Camera information display device and display method
JP3287382B2 (en) Camera control system and method
JP2003259340A (en) Video communication system, video communication method, video communication program, image information generating method, and image information generating program
JP3703229B2 (en) Camera control system and method, and storage medium
CN1985519A (en) Camera control device
JP3710199B2 (en) Communication apparatus and communication method
JPH09289636A (en) Display device
JP3658076B2 (en) Camera control system and video display method thereof
JP3958333B2 (en) Camera control apparatus, camera control system, camera control method, and storage medium
KR100489007B1 (en) Method for controlling the DVR using integrated key

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050425

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees