JP4590039B2 - カメラ操作装置およびカメラサーバおよびそれらの制御方法およびそれらの動作処理を実行させるためのプログラムを記憶した記憶媒体 - Google Patents
カメラ操作装置およびカメラサーバおよびそれらの制御方法およびそれらの動作処理を実行させるためのプログラムを記憶した記憶媒体 Download PDFInfo
- Publication number
- JP4590039B2 JP4590039B2 JP10784598A JP10784598A JP4590039B2 JP 4590039 B2 JP4590039 B2 JP 4590039B2 JP 10784598 A JP10784598 A JP 10784598A JP 10784598 A JP10784598 A JP 10784598A JP 4590039 B2 JP4590039 B2 JP 4590039B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- control
- module
- type
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
Description
【０００１】
【発明の属する技術分野】
本発明は、ネットワークを介してカメラを遠隔制御可能なカメラ制御システムに関するものである。
【０００２】
【従来の技術】
近年、インターネットなどのネットワークを介して接続されたビデオカメラからの映像を複数のクライアント（コンピュータ端末）に送信する映像伝送システムが提案されている。
【０００３】
また、さらに前記ビデオカメラにパン，チルト，ズーム等の機能を付加し、その機能の制御をカメラ操作装置（クライアント）からネットワークを介して制御可能とするカメラ制御システムが提案されている。そして、最近ではこのパン，チルト，ズームなどの機能のほかに新たな機能を付加したビデオカメラあるいは以前とは異なる制御形態によって動作するビデオカメラなどが開発され、ネットワークには複数種のビデオカメラが接続されつつある。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような互いに異なる制御形態のビデオカメラが接続された場合、カメラ操作装置及びカメラサーバはそれらにそれぞれ対応する形態の制御コマンドの処理を行わなければならなかった。
【０００５】
本発明は、上述したような複数種のビデオカメラの制御に迅速に対応可能なカメラ制御システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述した目的を達成するために、本願の請求項１に係る発明によれば、ネットワークを介してカメラを操作するためのカメラ操作装置において、カメラの種類のそれぞれに対応してカメラの制御指令の生成処理を行うためのモジュールを少なくとも１つ格納する格納手段と、制御対象のカメラのカメラサーバから送信された、制御指令の形態に関する情報を含む前記制御対象のカメラの種類に関する情報を認識する認識手段と、前記認識手段によって認識された前記制御対象のカメラの種類に関する情報に基づいて、前記少なくとも１つのモジュールの中から前記制御対象のカメラの制御指令の生成処理を行うモジュールを選択する選択手段と、
前記選択手段によって選択されたモジュールを用いて前記カメラの制御指令を生成する生成手段とを備えることを特徴とする。
【００２９】
【発明の実施の形態】
以下、添付の図面に沿って本発明の実施の形態を説明する。
【００３０】
（第１の実施の形態）
図１は、本実施の形態のカメラ制御システム模式図であり、１０１はカメラサーバ、１０２はクライアント、１０３はカメラである。カメラ装置１０３は、外部からの命令によってパンチルトなどの撮像方向、不図示のズームレンズのパルス値を制御することによってズームなどの制御を可能とする。
【００３１】
カメラサーバ１０１およびクライアント１０２は、それぞれコンピュータなどの情報処理装置によって構成され、インターネットあるいはイントラネットなどのネットワークに接続されている。本実施の形態のカメラシステムは、クライアント１０２からネットワークを介してリクエストがカメラサーバ１０１へ送られ、これが受け入れられるとカメラサーバ１０１からクライアント１０２へ映像データが配送され、クライアントでカメラ装置１０３によって撮像された映像を見ることを可能としている。また、クライアント１０２からカメラ制御コマンドがカメラサーバ１０１へ送られ、カメラ装置１０３のズーム、パン、チルトなどの操作を可能としている。クライアント１０２は、複数のカメラサーバ１０２の中からアクセスするカメラサーバを選択する（実際には、カメラサーバに接続されるカメラ装置を選択している）ことが可能である。
【００３２】
カメラ管理端末１００は、ネットワークに接続されているカメラに対してその起動時にそれぞれのカメラに対応する設定情報を提供する。なお、カメラ管理端末１００は、カメラサーバ１０１の任意の１つに組み込まれてもよいし、それぞれに組み込まれていてもよい。
【００３３】
図２は、図１のカメラ制御システムの変形例を示したもので、広く普及しているWeb技術を併用した構成を示したものであり、ネットワークに接続されたWWW（World Wide Web）サーバ１０５が必要となる。WWWサーバ１０５内のWebページデータには、どのアドレスでカメラサーバへ接続できるかを示すリンクが配置され、これにより、容易に所望のカメラサーバへ接続することが可能となる。
【００３４】
ＷＷＷでは、直接、あるいはゲートウエイを使って他のプロトコルを使うサーバにアクセスしてそれらの結果を最終的にハイパーテキストにしてユーザに表示している。つまり、ＷＷＷブラウザからは、文書データやイメージデータの格納先であるＷＷＷサーバに対して、対象とするデータの格納先が示されたＵＲＬ（Uniform Resource Locator）に従ってその情報を提示する。ＷＷＷサーバは、これに応えて、対応する文書データやイメージデータをＷＷＷブラウザに返答する。
【００３５】
図３はカメラサーバ１０１およびカメラ装置１０３のハードウェア構成の一例を示したものである。図３において、所定のプログラムを格納したハードディスクあるいはＲＯＭなどの二次記憶装置１０５およびメモリ（ＲＡＭ）１０６、カメラ装置１０３から映像データを取り込むための画像キャプチャボード１０７、カメラ装置１０３に制御コマンドを送るためのカメラＩ／Ｆ１０８、ネットワークとカメラサーバを接続するためのネットワークＩ／Ｆ１０９、プログラムに基づいて各種の処理を実行するＣＰＵ１１０、プログラムを外部からロードするための外部記憶装置１１５などからなる。
【００３６】
なお、キーボード１１３およびマウス１１４、カメラ装置１０３をカメラサーバ１０１側において制御する場合に制御命令を入力可能とする。周辺コントローラ１１５は、これらキーボード１１３およびマウス１１４から入力された信号を取得している。また、カメラ装置１０３によって撮像された画像信号は、表示ボード１１１を介して所定の信号に変換され、その変換された信号に基づきディスプレイ装置１１２によって画像が表示される。
【００３７】
図４はクライアント１０２のハードウェア構成の一例を示したものであり、クライアント１０２は、プログラムを格納したハードディスクあるいはＲＯＭなどの二次記憶装置２０５およびメモリ（ＲＡＭ）２０６、ネットワークと接続するためのネットワークＩ／Ｆ、プログラムによる各種の処理を実行するＣＰＵ２１０、プログラムを外部からロードするための外部記憶装置２１５、ネットワークを介してカメラサーバ１０１に接続されるカメラ装置１０３に対する制御命令を入力するためのマウス２１４およびキーボード２１３、マウス２１４およびキーボード２１３の入力信号を取り込むための周辺コントローラ、カメラによって撮像された画像を表示する表示装置２１２、表示装置２１２に表示するためにカメラサーバから送信された信号を所定の信号に変換する表示ボード２１１などによって構成される。
【００３８】
図５は、本実施の形態のクライアント１０２のディスプレイ装置２１２に表示されるウインドウを示すものである。図５において、画像表示領域１３６は、カメラ装置１０３によって撮像された画像を表示する。また、つまみ１３１は、カメラ装置１０３のズームの制御を行なうためのものであり、つまみ１３１をマウス２１４などを用いて上に移動させるとテレ方向にズーム制御を実行させることができ、下に移動させるとワイド方向にズーム制御を実行させることができる。
【００３９】
また、つまみ１３２は、カメラ装置１０３の撮像方向のチルト方向の制御を行なうためのつまみであり、マウス２１４などを用いてつまみを左右に移動させると、それに応じてカメラ装置１０３の撮像方向を左右に移動させることができる。
【００４０】
また、つまみ１３３は、カメラ装置１０３の撮像方向のパン方向の制御を行なうためのつまみであり、マウス２１４などを用いてつまみを上下に移動させると、それに応じてカメラ装置１０３の撮像方向を上下に移動させることができる。ボタン１３４は、カメラ装置１０３の制御権をカメラサーバ１０１に要求するためのものであり、このボタン１３４を指示するとネットワークに接続されるカメラ装置１０３のリストが表示され、リスト中のカメラ装置名を選択することによって選択したカメラの制御権を指示することが可能となる。１３５は逆光補正用のボタンである。また、１３７はキャンセルボタンであり、現在制御中のカメラ装置１０３の制御を終了するためのボタンである。
【００４１】
図５のウインドウは、上述したように、カメラ制御命令を入力するためのＧＵＩ（Graphical User Interface）であり、カメラサーバ１０１から得られた映像データを基にして画像が映像表示領域１３６に表示され、つまみ１３１〜１３３あるいは操作ボタンなどからの指示は、カメラサーバ１０１へ送られる。
【００４２】
図６は、上述した本実施の形態のカメラ制御システムのソフトウエアの模式的な構成を示したものである。
【００４３】
図６において、カメラサーバ１０１のカメラ制御サーバ３０１は、クライアント１０２からネットワークを介して送信された制御指令に応じてカメラ装置１０３Ａあるいは種類の異なるカメラ装置１０３Ｂを制御可能とするものであり、カメラ装置１０３Ａあるいはカメラ装置１０３Ｂの種類（機能）に対応したモジュールを選択的に用いることによってそれぞれ動作している。さらに、映像サーバ３０２は、接続されたカメラ装置１０３から出力された映像信号の処理を行う。具体的に映像サーバ３０２は、カメラ装置１０３から出力されるＮＴＳＣ等のアナログビデオ信号をデジタルのＲＧＢあるいはＹＵＶ画像信号に変換し、さらにＭＰＥＧあるいはＭｏｔｉｏｎ−ＪＰＥＧ等の既存の圧縮形式によって圧縮データに変換する。圧縮手段に対する特別な制約はなく、Ｈ.２６１，Ｈ.２６３といった方式も利用可能である。なお、図８においてはカメラサーバ１０１にカメラ装置１０３Ａが接続されているものとする。
【００４４】
クライアント１０２は、ネットワークに接続された所望のカメラの制御指令を行うカメラ制御部３０３とネットワークから受信された映像データを伸長処理などを施すことによってディスプレイ装置２１２の表示画面で映像表示を行うための映像表示部３０４とによって構成される。カメラ制御部３０３はネットワークに接続されているカメラ装置１０３のそれぞれに対応するモジュールを備え、対象とするカメラ装置に応じて必要とするモジュールを選択を行い、選択されたモジュールを用いて前記カメラ装置に対応する制御コマンドの生成処理を実行している。
【００４５】
なお、図６においては、便宜的にカメラ管理端末１００およびカメラサーバ１０１およびクライアント１０２が１つずつネットワーク上に接続されているがこの限りではなくそれぞれ複数あってもよい。
【００４６】
カメラ管理端末１００において、カメラ制御サーバ３０５および映像サーバ管理部３０６は、ネットワークに接続されるカメラ装置１０３の設定情報（後述）をその種類ごとに保持している。
【００４７】
図７は、カメラ制御サーバ３０１に用いられるカメラパラメータを特定のファイル（ＯＳによってはレジストリ等のシステムデータベース）に設定するカメラ管理端末１００の表示画面の一例を示すものである。また、図８はカメラ管理端末１００において、ネットワーク上に接続されるカメラサーバ１０１のカメラパラメータを設定する場合のフローチャートである。
【００４８】
図８のｓ１０１において、カメラ管理端末１００が起動すると、まず現在のカメラ制御サーバ３０１及び映像サーバ３０２に関するカメラパラメータの設定情報がネットワークを介してカメラ制御サーバ３０１および映像サーバ３０２の動作しているマシン上の特定のファイル（例えば、ＯＳのレジストリファイル）から読みだされ、さらに図７に示すような表示画面上に表示される。ここで、カメラ装置の種類ごとに設定モジュール（ＯＳによってはDynamic Link Libraryなど）が用意されており、カメラサーバ１０１が新たに起動した場合に接続されているカメラ装置を特定し、その起動したカメラ装置用のカメラパラメータをリンクさせるようにしている。
【００４９】
次にｓ１０２において、システムの管理者によって図７の画面上でカメラパラメータの入力操作が行われた場合、ｓ１０３に進み、その操作がＯＫボタンを選択したものでなければｓ１０４に進み、入力されたカメラパラメータが適正であるかどうかをチェックする。適正でなければｓ１０５に進み、エラーメッセージが出力される。適正であるならばｓ１０６に進み、画面の表示形態を更新する。
【００５０】
ｓ１０２でＯＫボタンが選択されたことがｓ１０３において判断されると、ｓ１０７に進み、カメラ管理端末１００内のメモリののデータ（カメラパラメータ）が更新される。ｓ１０８に進み、カメラ管理端末１００は接続先のカメラサーバに対応するカメラパラメータをネットワークを介してカメラ制御サーバ302及び映像サーバ302の動作しているマシン上の特定のファイルに出力する。すなわちカメラサーバ１０１が現在接続されているカメラ装置（図６においてはカメラ装置Ａ）がどのような種類であるか問い合せ、現在カメラ制御サーバ３０１が動作しているモジュールに対応するカメラパラメータを選択出力する。
【００５１】
そしてｓ１０９に進み、カメラ管理端末１００において、出力したカメラパラメータを反映させるためにカメラサーバを再起動させるか否かが決定される。そのカメラパラメータを反映させるために再起動させる場合にはｓ１１０に進みカメラサーバの再起動が実行される。再起動させる必要がない場合にはそのまま処理が終了する。
【００５２】
なお、本実施の形態におけるカメラ管理端末において設定可能なカメラパラメータとして、カメラ制御通信用のＴＣＰポート番号，カメラ装置１０３と接続するシリアルポート番号，シャッタースピード，カメラ制御関連のログ情報の有無とログファイル名、映像をキャプチャする時間間隔を規定するフレームレート，映像信号の圧縮の品質，１つのクライアントがカメラ装置１０３を制御可能とする最大の時間などである。
【００５３】
図９は本実施の形態のクライアント１０２側の動作処理フローチャートである。
【００５４】
まずｓ２０１において、カメラサーバ１０１に対しカメラ装置１０３の制御権の要求を行うかどうか決定する。制御権の獲得要求が図５の画面上で行われた場合、ｓ２０２に進みカメラサーバ１０１からカメラ装置１０３の制御権が獲得できたかどうかを知らせる通知が送信されてくるのを待つ。ここで送信されてきた通知によってカメラ装置１０３の制御権が獲得できなかったことが確認された場合にはｓ２０１の戻る。また、カメラ装置１０３の制御権が獲得された場合にはｓ２０３に進む。
【００５５】
ｓ２０３において、カメラサーバ１０１から送信されてきた制御権の獲得通知のデータに含まれる現在カメラサーバ１０１が接続中のカメラ装置１０３の種類に関するデータの基づき、接続中のカメラ装置１０３の種類（機能）を確認する。
【００５６】
次にｓ２０４に進み、カメラ制御部３０３において、確認されたカメラ装置１０３の種類（機能）に対応するモジュールを選択する。なお、図６においてはカメラサーバ１０１に接続されているカメラ装置はカメラ装置Ａであるので、カメラ装置Ａ用のモジュールが選択され、ｓ２０５に進み、選択されたモジュールに基づいてカメラ制御部３０３の動作が開始されカメラ装置Ａの制御が可能となる。
【００５７】
ｓ２０６において、カメラ装置Ａに対する制御時間が制限時間いっぱいとなったときあるいはカメラ制御権を放棄した場合は、カメラ装置Ａの制御が終了される。
【００５８】
以上説明したように、本実施の形態によれば、制御するカメラ装置の種類に応じてカメラ制御部３０３を動作させるモジュールを自動的に切り換えているので、使用者が接続中のカメラ装置の種類に対応するカメラ制御部３０３のモジュールを検索する必要がなくなる。
【００５９】
（第２の実施の形態）
本実施の形態は、カメラサーバ１０１に新たな種類（機能）のカメラが接続された場合のカメラ制御システムの実施の形態である。
【００６０】
図１０は本実施の形態のカメラ制御システムの摸式図である。図１０に示すように、本実施の形態では、ネットワーク上にモジュール管理サーバ１０４が接続されており、このモジュール管理サーバ１０４はカメラ装置１０３の様々な種類（機能）にそれぞれ対応する複数のモジュールが備えられており、カメラサーバ１０１，クライアント１０２，カメラ管理端末１００に対して必要に応じて複数のモジュールの中から選択的に配信することができる。ここで、モジュール管理サーバに備えられる複数のモジュールは、互いに異なるカメラ装置１０３の制御コマンド形態、カメラ装置１０３の撮像方向の制御範囲、ズーム倍率の駆動限界等の機能の違いに対応するためのものである。また、モジュール管理サーバ１０４は、自身に格納されているモジュールをネットワーク上で配信可能な管理範囲が定められていてもよい。この場合、モジュール管理サーバ１０４はネットワーク上に複数接続され、それぞれの管理範囲に存在するカメラサーバ１０１，クライアント１０２，カメラ管理端末１００等に対してモジュールを配信することになる。
【００６１】
なお、本実施の形態において、カメラサーバ１０１およびクライアント１０２およびカメラ管理端末１００の構成は第１の実施の形態と同様であるのでその説明は省略する。
【００６２】
図１１は、カメラサーバ１０１にカメラ装置１０３が新たに接続されたときのカメラサーバ１０１の動作処理フローチャートであり図１１に沿って本実施の形態を説明する。
【００６３】
まずｓ３０１において、カメラ装置１０３が新たにカメラサーバ１０１に接続される（図１０においてはカメラ装置Ｃ）と、ｓ３０２に進み、接続されたカメラ装置１０３に対応するモジュールがあるかどうか判断する。その判断方法としては、例えば、カメラサーバ１０１内のカメラ制御サーバ３０１が保持しているモジュールをそれぞれ動作させ、カメラ装置１０３からの返信結果によって判断したり、予め管理者がカメラサーバ１０１に対して接続したカメラ装置１０３の種類（機能）に関する情報を入力しておき、その入力結果を基にして判断してもよい。また、モジュール管理サーバ１０４が有するモジュールをそれぞれ動作させてカメラ装置１０３の種類をモジュール管理サーバ１０４側で判断させてもよい。
【００６４】
ここで、現在接続されているカメラ装置１０３に対応するモジュールがカメラ制御サーバ３０１に存在していると判断された場合にはｓ３０１に戻り、現在保持しているモジュールによって新たにカメラ装置１０３の接続変更があるまでカメラ制御サーバ３０１を動作させる。
【００６５】
また、現在接続されているカメラ装置１０３に対応するモジュールがカメラ制御サーバ３０１に存在していないと判断された場合には、ｓ３０３に進み、モジュール管理サーバ１０４に対して現在接続されているカメラ装置１０３（図１０においてはカメラ装置Ｃ）に対応するモジュールを要求する。
【００６６】
ｓ３０４において、モジュール管理サーバ１０４から要求したモジュールが受信された場合、ｓ３０５に進みカメラサーバ１０１内で再起動処理が行われ、受信した現在接続されているカメラ装置１０３に対応するモジュール（図１０においてはカメラ装置Ｃに対応するモジュール）によってカメラ制御サーバ３０１が動作可能となる。なお、ｓ３０４において、モジュール管理サーバ１０４は、カメラ管理端末１００に対してもカメラ装置Ｃに対応するモジュールを出力している。これによってカメラ管理端末１００においてもカメラ装置Ｃに対応して動作可能となる。
【００６７】
以上説明したように、本実施の形態によれば、カメラサーバ１０１において新たに接続されたカメラ装置に対応するモジュールを有していなくてもネットワーク上に接続されているモジュール管理サーバ１０４から対応モジュールを取得することができる。そのため、新たな種類のカメラ装置１０３が接続された場合においても迅速かつ容易に接続中のカメラ装置を動作させることが可能となる。
【００６８】
（第３の実施の形態）
本実施の形態は、第２の実施の形態のカメラ制御システムにおいてクライアント１０２によってカメラ装置１０３の制御を実行する場合の形態である。なお、本実施の形態において、カメラサーバ１０１およびクライアント１０２およびカメラ管理端末１００の構成は第１，第２の実施の形態と同様であるのでその説明は省略する。
【００６９】
図１２は、クライアント１０２が任意のカメラの制御権を要求した場合のクライアント１０２の動作処理フローチャートである。図１２に沿って本実施の形態を説明する。
【００７０】
まずｓ４０１において、カメラサーバ１０１に対しカメラ装置１０３の制御権の要求を行うかどうか決定する。制御権の獲得要求が図５の画面上で行われた場合、ｓ４０２に進み、カメラサーバ１０１からカメラ装置１０３の制御権が獲得できたかどうかを知らせる通知が送信されてくるのを待つ。ここでカメラ装置１０３の制御権が獲得できなかった場合には、ｓ４０２ａに進み、カメラサーバ１０１から制御権の非獲得通知が受信される。
【００７１】
ｓ４０３において、カメラサーバ１０１から送信されてきた制御権の獲得通知あるいは非獲得通知のデータに付随して送信されてきた現在カメラサーバ１０１が接続中のカメラ装置１０３の種類に関するデータに基づき、その対象とするカメラサーバ１０１に接続されているカメラ装置１０３の種類（機能）を確認する。ここで、カメラ装置１０３の制御コマンドの形態に関する情報およびカメラ装置１０３が有する機能の有無に関する情報が含まれる。
【００７２】
次にｓ４０４に進み、対象とするカメラ装置１０３の種類（機能）に対応するモジュール（図１０においてはカメラ装置Ｃ）が確認されなかった場合、ｓ４０５に進み、モジュール管理サーバ１０４に対して対応モジュールの送信要求を行う。そして、ｓ４０６において、モジュール管理サーバ１０４から対象とするカメラ装置１０３に対応するモジュールが受信されると、ｓ４０７に進み、対象とするカメラ装置１０３の制御権が獲得されている場合には、ｓ４０８に進み、カメラ装置１０３の制御が可能状態となる。また、制御権が獲得されていない場合には、ｓ４０１に戻る。
【００７３】
また、ｓ４０４において、対象とするカメラ装置１０３の種類（機能）に対応するモジュール（図１０においてはカメラ装置Ｃ）がカメラ制御部３０３内に格納されていると確認された場合にはｓ４０７に進み、制御権が獲得されている場合には接続中のカメラ装置１０３の制御が可能状態となる。
【００７４】
ｓ４０８において、キャンセルボタン１３７が選択されるかあるいは接続中のカメラ装置１０３に対する制御の制限時間がオーバーすると、カメラ装置１０３の制御が終了することとなる。
【００７５】
以上説明したように本実施の形態によれば、クライアント１０２において、カメラ制御の実行対象のカメラ装置１０３に対応するモジュールを有していなくても、モジュール管理サーバ１０４からそのカメラ装置１０３に対応するモジュールをネットワークを介して受信することによってそのカメラ装置１０３の制御を迅速に行うことができる。
【００７６】
なお、上述した実施の形態においてはカメラサーバ１０１，モジュール管理サーバ１０４，カメラ管理端末１００がそれぞれ独立してネットワークに接続されていたが、図１３に示すように、カメラサーバ１０１のそれぞれがモジュール管理サーバ１０４およびカメラ管理端末１００の機能を有していてもよい。この場合、上述の実施の形態においてネットワークを介して行われていたカメラサーバ１０１，モジュール管理サーバ１０４，カメラ管理端末１００間の処理がカメラサーバ１００の内部で実行されることになる。また、クライアント１０２は、接続中のカメラ装置１０３に対応するモジュールを該カメラ装置１０３の接続先のカメラサーバ１０１に要求することになる。
【００７８】
本発明は、一例として、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって達成できる。
【００７９】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８０】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００８１】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００８２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【００８３】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、本発明のカメラ制御システムに不可欠なモジュールを、記憶媒体に格納することになる。
【００８４】
【発明の効果】
以上説明したように、本発明によれば、あらゆるカメラに迅速に対応して制御することが可能なカメラ制御システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態のカメラ制御システムの一例を示す図。
【図２】本発明の実施の形態のカメラ制御システムの一例を示す図。
【図３】本発明の実施の形態のカメラサーバの構成図。
【図４】本発明の実施の形態のクライアントの構成図。
【図５】ディスプレイ装置２１２の表示画面の一例を示す図。
【図６】本実施の形態のカメラ制御システムのソフトウエアの構成を示す図。
【図７】カメラ管理端末１００においてカメラサーバ１０１のカメラパラメータを設定するための表示画面
【図８】本発明の実施の形態のカメラ管理端末１００の動作処理フローチャート。
【図９】本発明の実施の形態のクライアント１０２の動作処理フローチャート。
【図１０】本発明の実施の形態のカメラ制御システムの一例を示す図。
【図１１】本発明の実施の形態のカメラ管理端末１０１の動作処理フローチャート。
【図１２】本発明の実施の形態のクライアント１０２の動作処理フローチャート
【図１３】本発明の実施の形態のカメラ制御システムの一例を示す図。
【符号の説明】
１００ カメラ管理端末
１０１ カメラサーバ
１０２ クライアント
１０３ カメラ
１０４ モジュール管理サーバ
１０５ ２次記憶装置
１０６ メモリ（ＲＡＭ）
１１０ ＣＰＵ
１１５ 外部記憶装置
１３１ ズーム操作つまみ
１３２ チルト操作つまみ
１３４ パン操作つまみ
２０５ ２次記憶装置
２０６ メモリ
２１２ ディスプレイ装置
２１３ キーボード
２１４ マウス
【発明の属する技術分野】
本発明は、ネットワークを介してカメラを遠隔制御可能なカメラ制御システムに関するものである。
【０００２】
【従来の技術】
近年、インターネットなどのネットワークを介して接続されたビデオカメラからの映像を複数のクライアント（コンピュータ端末）に送信する映像伝送システムが提案されている。
【０００３】
また、さらに前記ビデオカメラにパン，チルト，ズーム等の機能を付加し、その機能の制御をカメラ操作装置（クライアント）からネットワークを介して制御可能とするカメラ制御システムが提案されている。そして、最近ではこのパン，チルト，ズームなどの機能のほかに新たな機能を付加したビデオカメラあるいは以前とは異なる制御形態によって動作するビデオカメラなどが開発され、ネットワークには複数種のビデオカメラが接続されつつある。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような互いに異なる制御形態のビデオカメラが接続された場合、カメラ操作装置及びカメラサーバはそれらにそれぞれ対応する形態の制御コマンドの処理を行わなければならなかった。
【０００５】
本発明は、上述したような複数種のビデオカメラの制御に迅速に対応可能なカメラ制御システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述した目的を達成するために、本願の請求項１に係る発明によれば、ネットワークを介してカメラを操作するためのカメラ操作装置において、カメラの種類のそれぞれに対応してカメラの制御指令の生成処理を行うためのモジュールを少なくとも１つ格納する格納手段と、制御対象のカメラのカメラサーバから送信された、制御指令の形態に関する情報を含む前記制御対象のカメラの種類に関する情報を認識する認識手段と、前記認識手段によって認識された前記制御対象のカメラの種類に関する情報に基づいて、前記少なくとも１つのモジュールの中から前記制御対象のカメラの制御指令の生成処理を行うモジュールを選択する選択手段と、
前記選択手段によって選択されたモジュールを用いて前記カメラの制御指令を生成する生成手段とを備えることを特徴とする。
【００２９】
【発明の実施の形態】
以下、添付の図面に沿って本発明の実施の形態を説明する。
【００３０】
（第１の実施の形態）
図１は、本実施の形態のカメラ制御システム模式図であり、１０１はカメラサーバ、１０２はクライアント、１０３はカメラである。カメラ装置１０３は、外部からの命令によってパンチルトなどの撮像方向、不図示のズームレンズのパルス値を制御することによってズームなどの制御を可能とする。
【００３１】
カメラサーバ１０１およびクライアント１０２は、それぞれコンピュータなどの情報処理装置によって構成され、インターネットあるいはイントラネットなどのネットワークに接続されている。本実施の形態のカメラシステムは、クライアント１０２からネットワークを介してリクエストがカメラサーバ１０１へ送られ、これが受け入れられるとカメラサーバ１０１からクライアント１０２へ映像データが配送され、クライアントでカメラ装置１０３によって撮像された映像を見ることを可能としている。また、クライアント１０２からカメラ制御コマンドがカメラサーバ１０１へ送られ、カメラ装置１０３のズーム、パン、チルトなどの操作を可能としている。クライアント１０２は、複数のカメラサーバ１０２の中からアクセスするカメラサーバを選択する（実際には、カメラサーバに接続されるカメラ装置を選択している）ことが可能である。
【００３２】
カメラ管理端末１００は、ネットワークに接続されているカメラに対してその起動時にそれぞれのカメラに対応する設定情報を提供する。なお、カメラ管理端末１００は、カメラサーバ１０１の任意の１つに組み込まれてもよいし、それぞれに組み込まれていてもよい。
【００３３】
図２は、図１のカメラ制御システムの変形例を示したもので、広く普及しているWeb技術を併用した構成を示したものであり、ネットワークに接続されたWWW（World Wide Web）サーバ１０５が必要となる。WWWサーバ１０５内のWebページデータには、どのアドレスでカメラサーバへ接続できるかを示すリンクが配置され、これにより、容易に所望のカメラサーバへ接続することが可能となる。
【００３４】
ＷＷＷでは、直接、あるいはゲートウエイを使って他のプロトコルを使うサーバにアクセスしてそれらの結果を最終的にハイパーテキストにしてユーザに表示している。つまり、ＷＷＷブラウザからは、文書データやイメージデータの格納先であるＷＷＷサーバに対して、対象とするデータの格納先が示されたＵＲＬ（Uniform Resource Locator）に従ってその情報を提示する。ＷＷＷサーバは、これに応えて、対応する文書データやイメージデータをＷＷＷブラウザに返答する。
【００３５】
図３はカメラサーバ１０１およびカメラ装置１０３のハードウェア構成の一例を示したものである。図３において、所定のプログラムを格納したハードディスクあるいはＲＯＭなどの二次記憶装置１０５およびメモリ（ＲＡＭ）１０６、カメラ装置１０３から映像データを取り込むための画像キャプチャボード１０７、カメラ装置１０３に制御コマンドを送るためのカメラＩ／Ｆ１０８、ネットワークとカメラサーバを接続するためのネットワークＩ／Ｆ１０９、プログラムに基づいて各種の処理を実行するＣＰＵ１１０、プログラムを外部からロードするための外部記憶装置１１５などからなる。
【００３６】
なお、キーボード１１３およびマウス１１４、カメラ装置１０３をカメラサーバ１０１側において制御する場合に制御命令を入力可能とする。周辺コントローラ１１５は、これらキーボード１１３およびマウス１１４から入力された信号を取得している。また、カメラ装置１０３によって撮像された画像信号は、表示ボード１１１を介して所定の信号に変換され、その変換された信号に基づきディスプレイ装置１１２によって画像が表示される。
【００３７】
図４はクライアント１０２のハードウェア構成の一例を示したものであり、クライアント１０２は、プログラムを格納したハードディスクあるいはＲＯＭなどの二次記憶装置２０５およびメモリ（ＲＡＭ）２０６、ネットワークと接続するためのネットワークＩ／Ｆ、プログラムによる各種の処理を実行するＣＰＵ２１０、プログラムを外部からロードするための外部記憶装置２１５、ネットワークを介してカメラサーバ１０１に接続されるカメラ装置１０３に対する制御命令を入力するためのマウス２１４およびキーボード２１３、マウス２１４およびキーボード２１３の入力信号を取り込むための周辺コントローラ、カメラによって撮像された画像を表示する表示装置２１２、表示装置２１２に表示するためにカメラサーバから送信された信号を所定の信号に変換する表示ボード２１１などによって構成される。
【００３８】
図５は、本実施の形態のクライアント１０２のディスプレイ装置２１２に表示されるウインドウを示すものである。図５において、画像表示領域１３６は、カメラ装置１０３によって撮像された画像を表示する。また、つまみ１３１は、カメラ装置１０３のズームの制御を行なうためのものであり、つまみ１３１をマウス２１４などを用いて上に移動させるとテレ方向にズーム制御を実行させることができ、下に移動させるとワイド方向にズーム制御を実行させることができる。
【００３９】
また、つまみ１３２は、カメラ装置１０３の撮像方向のチルト方向の制御を行なうためのつまみであり、マウス２１４などを用いてつまみを左右に移動させると、それに応じてカメラ装置１０３の撮像方向を左右に移動させることができる。
【００４０】
また、つまみ１３３は、カメラ装置１０３の撮像方向のパン方向の制御を行なうためのつまみであり、マウス２１４などを用いてつまみを上下に移動させると、それに応じてカメラ装置１０３の撮像方向を上下に移動させることができる。ボタン１３４は、カメラ装置１０３の制御権をカメラサーバ１０１に要求するためのものであり、このボタン１３４を指示するとネットワークに接続されるカメラ装置１０３のリストが表示され、リスト中のカメラ装置名を選択することによって選択したカメラの制御権を指示することが可能となる。１３５は逆光補正用のボタンである。また、１３７はキャンセルボタンであり、現在制御中のカメラ装置１０３の制御を終了するためのボタンである。
【００４１】
図５のウインドウは、上述したように、カメラ制御命令を入力するためのＧＵＩ（Graphical User Interface）であり、カメラサーバ１０１から得られた映像データを基にして画像が映像表示領域１３６に表示され、つまみ１３１〜１３３あるいは操作ボタンなどからの指示は、カメラサーバ１０１へ送られる。
【００４２】
図６は、上述した本実施の形態のカメラ制御システムのソフトウエアの模式的な構成を示したものである。
【００４３】
図６において、カメラサーバ１０１のカメラ制御サーバ３０１は、クライアント１０２からネットワークを介して送信された制御指令に応じてカメラ装置１０３Ａあるいは種類の異なるカメラ装置１０３Ｂを制御可能とするものであり、カメラ装置１０３Ａあるいはカメラ装置１０３Ｂの種類（機能）に対応したモジュールを選択的に用いることによってそれぞれ動作している。さらに、映像サーバ３０２は、接続されたカメラ装置１０３から出力された映像信号の処理を行う。具体的に映像サーバ３０２は、カメラ装置１０３から出力されるＮＴＳＣ等のアナログビデオ信号をデジタルのＲＧＢあるいはＹＵＶ画像信号に変換し、さらにＭＰＥＧあるいはＭｏｔｉｏｎ−ＪＰＥＧ等の既存の圧縮形式によって圧縮データに変換する。圧縮手段に対する特別な制約はなく、Ｈ.２６１，Ｈ.２６３といった方式も利用可能である。なお、図８においてはカメラサーバ１０１にカメラ装置１０３Ａが接続されているものとする。
【００４４】
クライアント１０２は、ネットワークに接続された所望のカメラの制御指令を行うカメラ制御部３０３とネットワークから受信された映像データを伸長処理などを施すことによってディスプレイ装置２１２の表示画面で映像表示を行うための映像表示部３０４とによって構成される。カメラ制御部３０３はネットワークに接続されているカメラ装置１０３のそれぞれに対応するモジュールを備え、対象とするカメラ装置に応じて必要とするモジュールを選択を行い、選択されたモジュールを用いて前記カメラ装置に対応する制御コマンドの生成処理を実行している。
【００４５】
なお、図６においては、便宜的にカメラ管理端末１００およびカメラサーバ１０１およびクライアント１０２が１つずつネットワーク上に接続されているがこの限りではなくそれぞれ複数あってもよい。
【００４６】
カメラ管理端末１００において、カメラ制御サーバ３０５および映像サーバ管理部３０６は、ネットワークに接続されるカメラ装置１０３の設定情報（後述）をその種類ごとに保持している。
【００４７】
図７は、カメラ制御サーバ３０１に用いられるカメラパラメータを特定のファイル（ＯＳによってはレジストリ等のシステムデータベース）に設定するカメラ管理端末１００の表示画面の一例を示すものである。また、図８はカメラ管理端末１００において、ネットワーク上に接続されるカメラサーバ１０１のカメラパラメータを設定する場合のフローチャートである。
【００４８】
図８のｓ１０１において、カメラ管理端末１００が起動すると、まず現在のカメラ制御サーバ３０１及び映像サーバ３０２に関するカメラパラメータの設定情報がネットワークを介してカメラ制御サーバ３０１および映像サーバ３０２の動作しているマシン上の特定のファイル（例えば、ＯＳのレジストリファイル）から読みだされ、さらに図７に示すような表示画面上に表示される。ここで、カメラ装置の種類ごとに設定モジュール（ＯＳによってはDynamic Link Libraryなど）が用意されており、カメラサーバ１０１が新たに起動した場合に接続されているカメラ装置を特定し、その起動したカメラ装置用のカメラパラメータをリンクさせるようにしている。
【００４９】
次にｓ１０２において、システムの管理者によって図７の画面上でカメラパラメータの入力操作が行われた場合、ｓ１０３に進み、その操作がＯＫボタンを選択したものでなければｓ１０４に進み、入力されたカメラパラメータが適正であるかどうかをチェックする。適正でなければｓ１０５に進み、エラーメッセージが出力される。適正であるならばｓ１０６に進み、画面の表示形態を更新する。
【００５０】
ｓ１０２でＯＫボタンが選択されたことがｓ１０３において判断されると、ｓ１０７に進み、カメラ管理端末１００内のメモリののデータ（カメラパラメータ）が更新される。ｓ１０８に進み、カメラ管理端末１００は接続先のカメラサーバに対応するカメラパラメータをネットワークを介してカメラ制御サーバ302及び映像サーバ302の動作しているマシン上の特定のファイルに出力する。すなわちカメラサーバ１０１が現在接続されているカメラ装置（図６においてはカメラ装置Ａ）がどのような種類であるか問い合せ、現在カメラ制御サーバ３０１が動作しているモジュールに対応するカメラパラメータを選択出力する。
【００５１】
そしてｓ１０９に進み、カメラ管理端末１００において、出力したカメラパラメータを反映させるためにカメラサーバを再起動させるか否かが決定される。そのカメラパラメータを反映させるために再起動させる場合にはｓ１１０に進みカメラサーバの再起動が実行される。再起動させる必要がない場合にはそのまま処理が終了する。
【００５２】
なお、本実施の形態におけるカメラ管理端末において設定可能なカメラパラメータとして、カメラ制御通信用のＴＣＰポート番号，カメラ装置１０３と接続するシリアルポート番号，シャッタースピード，カメラ制御関連のログ情報の有無とログファイル名、映像をキャプチャする時間間隔を規定するフレームレート，映像信号の圧縮の品質，１つのクライアントがカメラ装置１０３を制御可能とする最大の時間などである。
【００５３】
図９は本実施の形態のクライアント１０２側の動作処理フローチャートである。
【００５４】
まずｓ２０１において、カメラサーバ１０１に対しカメラ装置１０３の制御権の要求を行うかどうか決定する。制御権の獲得要求が図５の画面上で行われた場合、ｓ２０２に進みカメラサーバ１０１からカメラ装置１０３の制御権が獲得できたかどうかを知らせる通知が送信されてくるのを待つ。ここで送信されてきた通知によってカメラ装置１０３の制御権が獲得できなかったことが確認された場合にはｓ２０１の戻る。また、カメラ装置１０３の制御権が獲得された場合にはｓ２０３に進む。
【００５５】
ｓ２０３において、カメラサーバ１０１から送信されてきた制御権の獲得通知のデータに含まれる現在カメラサーバ１０１が接続中のカメラ装置１０３の種類に関するデータの基づき、接続中のカメラ装置１０３の種類（機能）を確認する。
【００５６】
次にｓ２０４に進み、カメラ制御部３０３において、確認されたカメラ装置１０３の種類（機能）に対応するモジュールを選択する。なお、図６においてはカメラサーバ１０１に接続されているカメラ装置はカメラ装置Ａであるので、カメラ装置Ａ用のモジュールが選択され、ｓ２０５に進み、選択されたモジュールに基づいてカメラ制御部３０３の動作が開始されカメラ装置Ａの制御が可能となる。
【００５７】
ｓ２０６において、カメラ装置Ａに対する制御時間が制限時間いっぱいとなったときあるいはカメラ制御権を放棄した場合は、カメラ装置Ａの制御が終了される。
【００５８】
以上説明したように、本実施の形態によれば、制御するカメラ装置の種類に応じてカメラ制御部３０３を動作させるモジュールを自動的に切り換えているので、使用者が接続中のカメラ装置の種類に対応するカメラ制御部３０３のモジュールを検索する必要がなくなる。
【００５９】
（第２の実施の形態）
本実施の形態は、カメラサーバ１０１に新たな種類（機能）のカメラが接続された場合のカメラ制御システムの実施の形態である。
【００６０】
図１０は本実施の形態のカメラ制御システムの摸式図である。図１０に示すように、本実施の形態では、ネットワーク上にモジュール管理サーバ１０４が接続されており、このモジュール管理サーバ１０４はカメラ装置１０３の様々な種類（機能）にそれぞれ対応する複数のモジュールが備えられており、カメラサーバ１０１，クライアント１０２，カメラ管理端末１００に対して必要に応じて複数のモジュールの中から選択的に配信することができる。ここで、モジュール管理サーバに備えられる複数のモジュールは、互いに異なるカメラ装置１０３の制御コマンド形態、カメラ装置１０３の撮像方向の制御範囲、ズーム倍率の駆動限界等の機能の違いに対応するためのものである。また、モジュール管理サーバ１０４は、自身に格納されているモジュールをネットワーク上で配信可能な管理範囲が定められていてもよい。この場合、モジュール管理サーバ１０４はネットワーク上に複数接続され、それぞれの管理範囲に存在するカメラサーバ１０１，クライアント１０２，カメラ管理端末１００等に対してモジュールを配信することになる。
【００６１】
なお、本実施の形態において、カメラサーバ１０１およびクライアント１０２およびカメラ管理端末１００の構成は第１の実施の形態と同様であるのでその説明は省略する。
【００６２】
図１１は、カメラサーバ１０１にカメラ装置１０３が新たに接続されたときのカメラサーバ１０１の動作処理フローチャートであり図１１に沿って本実施の形態を説明する。
【００６３】
まずｓ３０１において、カメラ装置１０３が新たにカメラサーバ１０１に接続される（図１０においてはカメラ装置Ｃ）と、ｓ３０２に進み、接続されたカメラ装置１０３に対応するモジュールがあるかどうか判断する。その判断方法としては、例えば、カメラサーバ１０１内のカメラ制御サーバ３０１が保持しているモジュールをそれぞれ動作させ、カメラ装置１０３からの返信結果によって判断したり、予め管理者がカメラサーバ１０１に対して接続したカメラ装置１０３の種類（機能）に関する情報を入力しておき、その入力結果を基にして判断してもよい。また、モジュール管理サーバ１０４が有するモジュールをそれぞれ動作させてカメラ装置１０３の種類をモジュール管理サーバ１０４側で判断させてもよい。
【００６４】
ここで、現在接続されているカメラ装置１０３に対応するモジュールがカメラ制御サーバ３０１に存在していると判断された場合にはｓ３０１に戻り、現在保持しているモジュールによって新たにカメラ装置１０３の接続変更があるまでカメラ制御サーバ３０１を動作させる。
【００６５】
また、現在接続されているカメラ装置１０３に対応するモジュールがカメラ制御サーバ３０１に存在していないと判断された場合には、ｓ３０３に進み、モジュール管理サーバ１０４に対して現在接続されているカメラ装置１０３（図１０においてはカメラ装置Ｃ）に対応するモジュールを要求する。
【００６６】
ｓ３０４において、モジュール管理サーバ１０４から要求したモジュールが受信された場合、ｓ３０５に進みカメラサーバ１０１内で再起動処理が行われ、受信した現在接続されているカメラ装置１０３に対応するモジュール（図１０においてはカメラ装置Ｃに対応するモジュール）によってカメラ制御サーバ３０１が動作可能となる。なお、ｓ３０４において、モジュール管理サーバ１０４は、カメラ管理端末１００に対してもカメラ装置Ｃに対応するモジュールを出力している。これによってカメラ管理端末１００においてもカメラ装置Ｃに対応して動作可能となる。
【００６７】
以上説明したように、本実施の形態によれば、カメラサーバ１０１において新たに接続されたカメラ装置に対応するモジュールを有していなくてもネットワーク上に接続されているモジュール管理サーバ１０４から対応モジュールを取得することができる。そのため、新たな種類のカメラ装置１０３が接続された場合においても迅速かつ容易に接続中のカメラ装置を動作させることが可能となる。
【００６８】
（第３の実施の形態）
本実施の形態は、第２の実施の形態のカメラ制御システムにおいてクライアント１０２によってカメラ装置１０３の制御を実行する場合の形態である。なお、本実施の形態において、カメラサーバ１０１およびクライアント１０２およびカメラ管理端末１００の構成は第１，第２の実施の形態と同様であるのでその説明は省略する。
【００６９】
図１２は、クライアント１０２が任意のカメラの制御権を要求した場合のクライアント１０２の動作処理フローチャートである。図１２に沿って本実施の形態を説明する。
【００７０】
まずｓ４０１において、カメラサーバ１０１に対しカメラ装置１０３の制御権の要求を行うかどうか決定する。制御権の獲得要求が図５の画面上で行われた場合、ｓ４０２に進み、カメラサーバ１０１からカメラ装置１０３の制御権が獲得できたかどうかを知らせる通知が送信されてくるのを待つ。ここでカメラ装置１０３の制御権が獲得できなかった場合には、ｓ４０２ａに進み、カメラサーバ１０１から制御権の非獲得通知が受信される。
【００７１】
ｓ４０３において、カメラサーバ１０１から送信されてきた制御権の獲得通知あるいは非獲得通知のデータに付随して送信されてきた現在カメラサーバ１０１が接続中のカメラ装置１０３の種類に関するデータに基づき、その対象とするカメラサーバ１０１に接続されているカメラ装置１０３の種類（機能）を確認する。ここで、カメラ装置１０３の制御コマンドの形態に関する情報およびカメラ装置１０３が有する機能の有無に関する情報が含まれる。
【００７２】
次にｓ４０４に進み、対象とするカメラ装置１０３の種類（機能）に対応するモジュール（図１０においてはカメラ装置Ｃ）が確認されなかった場合、ｓ４０５に進み、モジュール管理サーバ１０４に対して対応モジュールの送信要求を行う。そして、ｓ４０６において、モジュール管理サーバ１０４から対象とするカメラ装置１０３に対応するモジュールが受信されると、ｓ４０７に進み、対象とするカメラ装置１０３の制御権が獲得されている場合には、ｓ４０８に進み、カメラ装置１０３の制御が可能状態となる。また、制御権が獲得されていない場合には、ｓ４０１に戻る。
【００７３】
また、ｓ４０４において、対象とするカメラ装置１０３の種類（機能）に対応するモジュール（図１０においてはカメラ装置Ｃ）がカメラ制御部３０３内に格納されていると確認された場合にはｓ４０７に進み、制御権が獲得されている場合には接続中のカメラ装置１０３の制御が可能状態となる。
【００７４】
ｓ４０８において、キャンセルボタン１３７が選択されるかあるいは接続中のカメラ装置１０３に対する制御の制限時間がオーバーすると、カメラ装置１０３の制御が終了することとなる。
【００７５】
以上説明したように本実施の形態によれば、クライアント１０２において、カメラ制御の実行対象のカメラ装置１０３に対応するモジュールを有していなくても、モジュール管理サーバ１０４からそのカメラ装置１０３に対応するモジュールをネットワークを介して受信することによってそのカメラ装置１０３の制御を迅速に行うことができる。
【００７６】
なお、上述した実施の形態においてはカメラサーバ１０１，モジュール管理サーバ１０４，カメラ管理端末１００がそれぞれ独立してネットワークに接続されていたが、図１３に示すように、カメラサーバ１０１のそれぞれがモジュール管理サーバ１０４およびカメラ管理端末１００の機能を有していてもよい。この場合、上述の実施の形態においてネットワークを介して行われていたカメラサーバ１０１，モジュール管理サーバ１０４，カメラ管理端末１００間の処理がカメラサーバ１００の内部で実行されることになる。また、クライアント１０２は、接続中のカメラ装置１０３に対応するモジュールを該カメラ装置１０３の接続先のカメラサーバ１０１に要求することになる。
【００７８】
本発明は、一例として、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって達成できる。
【００７９】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８０】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００８１】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００８２】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示にもとづき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
【００８３】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、本発明のカメラ制御システムに不可欠なモジュールを、記憶媒体に格納することになる。
【００８４】
【発明の効果】
以上説明したように、本発明によれば、あらゆるカメラに迅速に対応して制御することが可能なカメラ制御システムを提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態のカメラ制御システムの一例を示す図。
【図２】本発明の実施の形態のカメラ制御システムの一例を示す図。
【図３】本発明の実施の形態のカメラサーバの構成図。
【図４】本発明の実施の形態のクライアントの構成図。
【図５】ディスプレイ装置２１２の表示画面の一例を示す図。
【図６】本実施の形態のカメラ制御システムのソフトウエアの構成を示す図。
【図７】カメラ管理端末１００においてカメラサーバ１０１のカメラパラメータを設定するための表示画面
【図８】本発明の実施の形態のカメラ管理端末１００の動作処理フローチャート。
【図９】本発明の実施の形態のクライアント１０２の動作処理フローチャート。
【図１０】本発明の実施の形態のカメラ制御システムの一例を示す図。
【図１１】本発明の実施の形態のカメラ管理端末１０１の動作処理フローチャート。
【図１２】本発明の実施の形態のクライアント１０２の動作処理フローチャート
【図１３】本発明の実施の形態のカメラ制御システムの一例を示す図。
【符号の説明】
１００ カメラ管理端末
１０１ カメラサーバ
１０２ クライアント
１０３ カメラ
１０４ モジュール管理サーバ
１０５ ２次記憶装置
１０６ メモリ（ＲＡＭ）
１１０ ＣＰＵ
１１５ 外部記憶装置
１３１ ズーム操作つまみ
１３２ チルト操作つまみ
１３４ パン操作つまみ
２０５ ２次記憶装置
２０６ メモリ
２１２ ディスプレイ装置
２１３ キーボード
２１４ マウス
Claims (10)
- ネットワークを介してカメラを操作するためのカメラ操作装置において、
カメラの種類のそれぞれに対応してカメラの制御指令の生成処理を行うためのモジュールを少なくとも１つ格納する格納手段と、
制御対象のカメラのカメラサーバから送信された、制御指令の形態に関する情報を含む前記制御対象のカメラの種類に関する情報を認識する認識手段と、
前記認識手段によって認識された前記制御対象のカメラの種類に関する情報に基づいて、前記少なくとも１つのモジュールの中から前記制御対象のカメラの制御指令の生成処理を行うモジュールを選択する選択手段と、
前記選択手段によって選択されたモジュールを用いて前記カメラの制御指令を生成する生成手段とを備えることを特徴とするカメラ操作装置。 - 請求項１において、さらに、前記認識手段によって認識されたカメラの種類に対応するモジュールが前記カメラ操作装置に存在しない場合、前記ネットワーク上の前記認識手段によって認識された前記制御対象のカメラの種類に対応するモジュールの送信要求を行うモジュール要求手段とを備えることを特徴とするカメラ操作装置。
- 請求項１または請求項２において、さらに、所望のカメラの制御権を前記所望のカメラの制御を実行するカメラサーバに対して要求する制御権要求手段とを備え、
前記カメラの種類に関する情報は、前記制御権要求手段による前記カメラの制御権の要求にともなって前記カメラサーバから通知される前記カメラの制御権の獲得通知に付随していることを特徴とするカメラ操作装置。 - 請求項１ないし請求項３のいずれか一項において、前記カメラ操作装置は少なくとも前記カメラの撮像方向およびズーム倍率を操作可能であることを特徴とするカメラ操作装置。
- ネットワークを介してカメラを操作するためのカメラ操作装置の制御方法において、
制御対象のカメラのカメラサーバから送信された、少なくとも制御指令の形態に関する情報を含む前記制御対象のカメラの種類に関する情報を受信する受信工程と、
前記受信工程において受信された前記制御対象のカメラの種類に関する情報を認識する認識工程と、
前記認識工程において認識された前記制御対象のカメラの種類に関する情報に基づいて、格納手段によって格納された少なくとも１つのモジュールの中から前記制御対象のカメラの制御指令の生成処理を行うモジュールを選択する選択工程と、
前記選択工程において選択されたモジュールを用いて前記カメラの制御指令を生成する生成工程とを備えることを特徴とするカメラ操作装置の制御方法。 - 請求項５において、さらに、前記認識工程によって認識された前記制御対象のカメラの種類に対応するモジュールが前記カメラ操作装置に存在しない場合、前記ネットワーク上の前記認識工程によって認識された前記制御対象のカメラの種類に対応するモジュールを有する装置に対して、前記認識工程によって認識された前記制御対象のカメラの種類に対応するモジュールの送信要求を行うモジュール要求手段とを備えることを特徴とするカメラ操作装置の制御方法。
- 請求項５または請求項６において、さらに、所望のカメラの制御権を前記所望のカメラの制御を実行するカメラサーバに対して要求する制御権要求工程とを備え、
前記カメラの種類に関する情報は、前記制御権要求工程による前記カメラの制御権の要求にともなって前記カメラサーバから通知される前記カメラの制御権の獲得通知に付随していることを特徴とするカメラ操作装置の制御方法。 - 請求項５ないし請求項７のいずれか１項において、前記カメラ操作装置は少なくとも前記カメラの撮像方向およびズーム倍率を操作可能であることを特徴とするカメラ操作装置の制御方法。
- ネットワークを介してカメラを操作するためのカメラ操作装置の動作処理を実行させるためのプログラムを記憶したコンピュータが読み出し可能な記憶媒体であって、
制御対象のカメラのカメラサーバから送信された前記制御対象のカメラに関する情報を受信する受信工程と、
前記受信工程において受信された前記制御対象のカメラの種類に関する情報を認識する認識工程と、
前記認識工程において認識された前記制御対象のカメラの種類に関する情報に基づいて、格納手段によって格納された少なくとも１つのモジュールの中から前記制御対象のカメラの制御指令の生成処理を行うモジュールを選択する選択工程と、
前記選択工程において選択されたモジュールを用いて前記カメラの制御指令を生成する生成工程とを実行するプログラムを記憶したコンピュータが読み出し可能な記憶媒体。 - 請求項９において、さらに、前記認識工程において認識された前記制御対象のカメラの種類に対応するモジュールが前記カメラ操作装置に存在しない場合、前記ネットワーク上の前記制御対象のカメラの種類に対応するモジュールを有する装置に対して前記制御対象のカメラの種類に対応するモジュールの送信要求を実行させるプログラムを記憶したコンピュータが読み出し可能な記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10784598A JP4590039B2 (ja) | 1998-04-17 | 1998-04-17 | カメラ操作装置およびカメラサーバおよびそれらの制御方法およびそれらの動作処理を実行させるためのプログラムを記憶した記憶媒体 |
| US09/289,855 US6856346B1 (en) | 1998-04-17 | 1999-04-12 | Camera operation apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10784598A JP4590039B2 (ja) | 1998-04-17 | 1998-04-17 | カメラ操作装置およびカメラサーバおよびそれらの制御方法およびそれらの動作処理を実行させるためのプログラムを記憶した記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11308515A JPH11308515A (ja) | 1999-11-05 |
| JP4590039B2 true JP4590039B2 (ja) | 2010-12-01 |
Family
ID=14469526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10784598A Expired - Fee Related JP4590039B2 (ja) | 1998-04-17 | 1998-04-17 | カメラ操作装置およびカメラサーバおよびそれらの制御方法およびそれらの動作処理を実行させるためのプログラムを記憶した記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6856346B1 (ja) |
| JP (1) | JP4590039B2 (ja) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001069405A1 (en) * | 2000-03-14 | 2001-09-20 | Joseph Robert Marchese | Digital video system using networked cameras |
| JP2001333418A (ja) * | 2000-05-19 | 2001-11-30 | Canon Inc | 画像表示装置及び方法 |
| JP2002009868A (ja) * | 2000-06-19 | 2002-01-11 | Megafusion Corp | 情報伝送システム、情報管理装置、および設定情報配信方法 |
| EP1307867B1 (en) | 2000-07-26 | 2010-06-23 | Smiths Detection Inc. | Methods and systems for networked camera control |
| US7382397B2 (en) * | 2000-07-26 | 2008-06-03 | Smiths Detection, Inc. | Systems and methods for controlling devices over a network |
| US7546603B2 (en) * | 2002-05-13 | 2009-06-09 | Lawrence Livermore National Security, Llc | Flexible feature interface for multimedia sources |
| JP4333263B2 (ja) * | 2003-07-30 | 2009-09-16 | パナソニック株式会社 | カメラ装置 |
| US9948870B2 (en) | 2005-04-15 | 2018-04-17 | Freeze Frame, Llc | Interactive guest image capture using video wall/floor/ceiling displays for selections of background scenes, and selection/distribution of customized souvenir portfolios including merged images/sound |
| US8463654B1 (en) | 2009-05-01 | 2013-06-11 | Clifford R. David | Tour site image capture and marketing system and associated methods |
| US9270841B2 (en) | 2005-04-15 | 2016-02-23 | Freeze Frame, Llc | Interactive image capture, marketing and distribution |
| US9214032B2 (en) | 2005-04-15 | 2015-12-15 | Freeze Frame, Llc | Interactive guest image capture using video wall/floor/ceiling displays for selections of background scenes, and selection/distribution of customized |
| US8260674B2 (en) * | 2007-03-27 | 2012-09-04 | David Clifford R | Interactive image activation and distribution system and associate methods |
| US7966223B2 (en) * | 2005-04-15 | 2011-06-21 | David Clifford R | Interactive image activation and distribution system and associated methods |
| JP2008537228A (ja) * | 2005-04-15 | 2008-09-11 | クリフォード・アール．・デイヴィッド | 対話式撮影及び配信システム並びに関連の方法 |
| US9270840B2 (en) | 2011-08-24 | 2016-02-23 | Freeze Frame, Llc | Site image capture and marketing system and associated methods |
| US20060242678A1 (en) * | 2005-04-20 | 2006-10-26 | Anthony Pugliese, | Remote network video content recorder system |
| JP4646780B2 (ja) * | 2005-10-27 | 2011-03-09 | 三洋電機株式会社 | カメラシステム |
| WO2007117406A2 (en) * | 2006-04-03 | 2007-10-18 | Bloom Energy Corporation | Fuel cell system and balance of plant configuration |
| US9166883B2 (en) | 2006-04-05 | 2015-10-20 | Joseph Robert Marchese | Network device detection, identification, and management |
| EP1876828B1 (en) * | 2006-07-03 | 2016-10-26 | Axis AB | Method and apparatus for configuring parameter values for cameras |
| KR20080040956A (ko) * | 2006-11-06 | 2008-05-09 | 삼성전자주식회사 | 영상기록 중 수신영상의 상태에 기초하여 영상기록을제어하는 촬영장치 및 그의 영상기록방법 |
| US9521371B2 (en) | 2006-12-27 | 2016-12-13 | Verizon Patent And Licensing Inc. | Remote station host providing virtual community participation in a remote event |
| US8656440B2 (en) * | 2006-12-27 | 2014-02-18 | Verizon Patent And Licensing Inc. | Method and system of providing a virtual community for participation in a remote event |
| US8643736B2 (en) * | 2006-12-27 | 2014-02-04 | Verizon Patent And Licensing Inc. | Method and apparatus for participating in a virtual community for viewing a remote event over a wireless network |
| JP5335610B2 (ja) * | 2009-08-17 | 2013-11-06 | キヤノン株式会社 | 画像処理装置及びその制御方法と通信システム |
| JP5451260B2 (ja) * | 2009-08-28 | 2014-03-26 | キヤノン株式会社 | 制御装置、制御システム及びコマンド送信方法ならびにプログラム |
| US20120039537A1 (en) * | 2010-08-10 | 2012-02-16 | Keys Gregory C | Method, apparatus, and system for workflow participation of an imaging device |
| JP5787667B2 (ja) * | 2011-08-23 | 2015-09-30 | キヤノン株式会社 | ネットワーク管理装置及びその制御方法、ならびに通信装置及びその制御方法 |
| JP2013051519A (ja) | 2011-08-30 | 2013-03-14 | Sony Corp | 情報処理装置、情報処理方法、プログラム及び情報処理システム |
| JP6103999B2 (ja) | 2013-03-15 | 2017-03-29 | キヤノン株式会社 | 画像データ送信装置、画像データ受信装置、画像データ送信方法、画像データ受信方法、及びプログラム |
| JP6586954B2 (ja) * | 2014-07-09 | 2019-10-09 | ソニー株式会社 | 情報処理装置、記憶媒体、および制御方法 |
| CN106803879A (zh) * | 2017-02-07 | 2017-06-06 | 努比亚技术有限公司 | 协同取景拍摄装置及方法 |
| JP6338746B2 (ja) * | 2017-07-04 | 2018-06-06 | キヤノン株式会社 | 撮像システム、撮像装置、撮像装置における通信方法、及びプログラム |
| JP6529635B2 (ja) * | 2018-05-09 | 2019-06-12 | キヤノン株式会社 | 撮像装置、撮像方法、及びプログラム |
| CN111432181B (zh) * | 2020-04-27 | 2022-02-22 | 浙江宇视科技有限公司 | 一种动态拍摄节点的协同拍摄方法、装置、介质及设备 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5745161A (en) * | 1993-08-30 | 1998-04-28 | Canon Kabushiki Kaisha | Video conference system |
| US6137485A (en) * | 1995-03-20 | 2000-10-24 | Canon Kabushiki Kaisha | Image transmission method and apparatus, and image transmission system including the apparatus |
| US6122005A (en) * | 1995-04-14 | 2000-09-19 | Canon Kabushiki Kaisha | Camera control system having list of camera names updated in accordance with frequency of use and other ease of use features |
| JP3563889B2 (ja) * | 1996-10-15 | 2004-09-08 | キヤノン株式会社 | カメラ制御システムおよびカメラ制御システムの制御方法 |
| JP3548352B2 (ja) * | 1996-10-25 | 2004-07-28 | キヤノン株式会社 | 遠隔カメラ制御システム及び装置及びその方法 |
| JP3817312B2 (ja) * | 1996-11-29 | 2006-09-06 | キヤノン株式会社 | 制御方法及び装置と撮像システム及び表示操作装置とのその方法 |
| JP3774539B2 (ja) * | 1997-04-10 | 2006-05-17 | キヤノン株式会社 | 通信装置システム及び通信装置システム制御方法 |
-
1998
- 1998-04-17 JP JP10784598A patent/JP4590039B2/ja not_active Expired - Fee Related
-
1999
- 1999-04-12 US US09/289,855 patent/US6856346B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11308515A (ja) | 1999-11-05 |
| US6856346B1 (en) | 2005-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4590039B2 (ja) | カメラ操作装置およびカメラサーバおよびそれらの制御方法およびそれらの動作処理を実行させるためのプログラムを記憶した記憶媒体 | |
| JP3787404B2 (ja) | カメラ制御システム及びその制御方法 | |
| US7222356B1 (en) | Communication apparatus, storage medium, camera and processing method | |
| US6822676B1 (en) | Camera control system with electronic zoom processing | |
| US8312133B2 (en) | Image distribution system and the control method therefor | |
| JP4629929B2 (ja) | デジタルカメラシステム及びこの制御方法 | |
| US8429703B2 (en) | Video distribution apparatus, viewer apparatus, video distribution system including these apparatuses, control method for the video distribution apparatus, control method for the viewer apparatus, and computer program for the apparatuses | |
| US6750913B1 (en) | Camera control system with image parameter display device | |
| JP3817312B2 (ja) | 制御方法及び装置と撮像システム及び表示操作装置とのその方法 | |
| US8064080B2 (en) | Control of data distribution apparatus and data distribution system | |
| US7663666B2 (en) | Operation at mobile terminal when communicating with remote camera | |
| US20030184651A1 (en) | Image distribution method | |
| JPH10164420A (ja) | カメラ制御システム及びその装置 | |
| JP3817313B2 (ja) | カメラ制御装置及び方法 | |
| JP6486437B2 (ja) | 撮像装置、設定方法、および、プログラム | |
| JP4733942B2 (ja) | カメラシステム | |
| JP2005020098A (ja) | 携帯端末装置、携帯端末装置を制御するためのプログラム、及び画像配信システム | |
| JP2001268556A (ja) | 遠隔監視システムおよび制御端末装置 | |
| JP7284600B2 (ja) | 撮像装置、撮像装置の制御方法、情報処理装置、情報処理装置の制御方法 | |
| JP6529635B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
| JP2008236785A (ja) | 画像提供装置、画像提供方法、および画像提供システム | |
| JP2008228039A (ja) | ネットワークカメラ装置及びその制御方法 | |
| JP6253681B2 (ja) | 撮像装置、設定方法、および、プログラム | |
| JPH10164562A (ja) | 情報処理装置及び方法及び記憶媒体及び情報通信システム | |
| CN114270791A (zh) | 信息处理设备、信息处理方法和程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050412 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070406 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070912 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071203 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080513 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080710 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080728 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20081128 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100201 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100630 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100913 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130917 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |