JPH10174091A - カメラ制御システム - Google Patents
カメラ制御システムInfo
- Publication number
- JPH10174091A JPH10174091A JP8333639A JP33363996A JPH10174091A JP H10174091 A JPH10174091 A JP H10174091A JP 8333639 A JP8333639 A JP 8333639A JP 33363996 A JP33363996 A JP 33363996A JP H10174091 A JPH10174091 A JP H10174091A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- display
- captured
- adjustment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
御システムにおいて、カメラのパン,チルトの移動中、
あるいはカメラのズーム,フォーカス,絞りなどの調整
中に撮影された画像を表示する際にその処理が実行中で
あるという情報を示すことにより、ネットワークの伝送
などによるタイムラグに関係なく的確なカメラ制御を行
なうことを可能とする。 【解決手段】 カメラの姿勢を制御するための指令を行
なう姿勢指示手段と、姿勢指示手段によってカメラが移
動中に撮影された画像の信号であるか否かを判定する判
定手段と、カメラが移動中に撮影された画像の表示と同
期して、判定手段によって判定された前記カメラの移動
情報を表示する表示手段とを備える。
Description
ム、TV電話、映像監視システムなどに用いられる、遠
隔操作可能なカメラ制御システムに関するものである。
ータを配置し、例えば米国ゼロックス社等が開発したイ
ーサネット(商標)などの通信手段を用いてそれらをネ
ットワーク化することにより、任意の地点間で映像の伝
送及び音声による対話を可能にする。例えば、ビデオ会
議システムまたは遠隔監視システムなどの利用を目的と
するカメラ制御システムは、もっとも注目されているも
のである。
ムの拡張が自由に可能であり、コンピュータネットワー
ク上の任意の地点から他の任意の地点のカメラのパン,
チルト、及びズームなどを遠隔制御し、制御したカメラ
の映像を自分のコンピュータ画面上に表示することがで
きる。
タネットワーク上で遠隔にあるカメラから撮影映像を転
送してもらう場合、カメラ制御信号の伝達時間、画像通
信時間、画像のデータ圧縮・伸長処理時間などによるタ
イムラグが存在する。例えば、ユーザがある方向にカメ
ラを遠隔操作した場合、転送された画像を見ながら対話
的に操作すると、ユーザは、ユーザの希望する画面が表
示されるまで操作してしまうと、このタイムラグのため
にユーザの希望のカメラ姿勢よりもカメラの姿勢は進ん
でしまい、希望するカメラの姿勢がとれないという欠点
がある。
イムラグの影響の例としては、クライアント/サーバ型
コンピュータのウインドウシステム上のマウス操作によ
る表示ウインドウ上のポインタ制御があげられる。
おいて、マウスの制御データは、マウス操作が実行され
たクライアントからサーバに送られ、サーバの備えるア
プリケーションによって処理されてポインタの位置が決
定する。決定された位置データは、ネットワーク上の各
クライアントに伝送される。この伝送された位置データ
をもとにポインタの表示位置が画面に反映される。
スを動作させて操作者の意図する位置に静止しようとし
ても、データの伝送によるタイムラグのためにポインタ
が移動してしまうという欠点があったが、これはマウス
の表示位置の制御をマウス操作実行のクライアントによ
るアプリケーション処理によってマウス操作中のクライ
アントの表示画面に反映させ、そのポインタの位置情報
をサーバに伝送し、サーバから各クライアントへポイン
タの位置情報を伝送するという解決方法がある。
カメラコントロールの場合はネットワーク上のカメラの
雲台を遠隔制御するので、上述したようなポインタの制
御は不可能である。
メラの移動(パン,チルトなど)中は、その動作中の画
像が表示される際に、カメラの移動が実行中であること
をユーザに意識させることにより的確なカメラ制御が実
行できるようになされたものである。
するために、本発明の請求項1に係るカメラ制御システ
ムによれば、制御指令信号に基づいて遠隔操作可能なカ
メラを制御するカメラサーバと、前記カメラによって撮
影された画像の画像信号を前記カメラサーバからネット
ワークを介して受信することによって撮影画像を表示す
るクライアントからなるカメラ制御システムにおいて、
前記クライアントは、前記カメラの姿勢を制御するため
の指令を行なう姿勢指示手段と、前記姿勢指示手段によ
って前記カメラが移動中に撮影された画像の信号である
か否かを判定する判定手段と、前記カメラが移動中に撮
影された画像の表示と同期して、前記判定手段によって
判定された前記カメラの移動情報を表示する表示手段と
を備えることを特徴とする。
によれば、請求項1において、前記カメラサーバは、前
記姿勢指示手段によってなされた指令に基づき、前記カ
メラの姿勢を制御する制御手段と、前記カメラの姿勢が
前記制御手段により移動中であるか否かを示す前記カメ
ラの移動情報を、前記移動中のカメラによって撮影され
た画像の画像信号と同期して前記クライアントに伝達す
る伝達手段とを備えることを特徴とする。
によれば、請求項2において、前記伝達手段は、1フレ
ームの画像信号ごとに同期して、前記カメラの移動情報
を伝達するように構成されていることを特徴とする。
によれば、請求項1において、前記表示手段は、撮影画
像をウインドウ表示し、前記カメラが移動中に撮影され
た画像の表示中における前記撮影画像が表示されている
ウインドウ枠の色表示を、前記カメラの移動情報とし
て、前記カメラが移動していないときの前記撮影画像が
表示されているウインドウの枠の色表示とは異なる表示
を行なうように構成されていることを特徴とする。
によれば、請求項1において、前記表示手段は、撮影画
像をウインドウ表示し、前記カメラが移動中に撮影され
た画像の表示中における前記ウインドウ表示の背景の背
景表示を、前記カメラの移動情報として、前記カメラが
移動していないときの背景表示とは異なる表示を行なう
ように構成されていることを特徴とする。
によれば、請求項1において、前記表示手段は、前記カ
メラの移動情報として、前記カメラが移動中に撮影され
た表示画像の縁を色表示するように構成されていること
を特徴とする。
によれば、請求項1ないし請求項6のいずれか1項にお
いて、前記姿勢には、カメラのパンおよびチルト動作が
含まれることを特徴とする。
によれば、制御指令信号に基づいて遠隔操作可能なカメ
ラを制御するカメラサーバと、前記カメラによって撮影
された画像の画像信号を前記カメラサーバからネットワ
ークを介して受信することによって撮影画像を表示する
クライアントからなるカメラ制御システムにおいて、前
記クライアントは、前記カメラの調整を実行するための
指令を行なう調整指示手段と、前記調整指示手段によっ
て前記カメラが調整中に撮影された画像の信号であるか
否かを判定する判定手段と、前記カメラが移動中に撮影
された画像の表示と同期して、前記判定手段によって判
定された前記カメラの調整情報を表示する表示手段とを
備えることを特徴とする。
によれば、請求項8において、前記カメラサーバは、前
記調整指示手段によってなされた指令に基づき、前記カ
メラの調整を行なう調整手段と、前記調整手段により前
記カメラが調整中であるか否かを示す前記カメラの調整
情報を、前記調整中のカメラによって撮影された画像の
画像信号と同期して前記クライアントに伝達する伝達手
段とを備えることを特徴とする。
ムによれば、請求項9において、前記伝達手段は、1フ
レームの画像信号ごとに同期して、前記カメラの調整情
報を伝達するように構成されていることを特徴とする。
ムによれば、請求項8において、前記表示手段は、撮影
画像をウインドウ表示し、前記カメラが調整中に撮影さ
れた画像の表示中における前記撮影画像が表示されてい
るウインドウの枠の色表示を、前記カメラの調整情報と
して、前記カメラが調整動作をしていないときの前記撮
影画像が表示されているウインドウの枠の色とは異なる
表示を行なうように構成されていることを特徴とする。
ムによれば、請求項8において、前記表示手段は、撮影
画像をウインドウ表示し、前記カメラの調整中に撮影さ
れた画像の表示中における前記ウインドウの背景の背景
表示を、前記カメラが調整中ではないときの背景表示と
は異なる表示を行なうように構成されていることを特徴
とする。
ムによれば、請求項8ないし請求項12のいずれか1項
において、前記調整には、カメラのズームまたはフォー
カスまたは絞りの少なくとも一つが含まれることを特徴
とする。
ムによれば、請求項8において、前記表示手段は、前記
カメラの調整情報として、前記カメラが調整中に撮影さ
れた表示画像の縁を色表示するように構成されているこ
とを特徴とする。
ムによれば、請求項4または請求項10において、前記
表示手段は、前記カメラが移動中に撮影された画像がウ
インドウ表示されているときの前記ウインドウの背景の
表示と、前記カメラが調整中に撮影された画像がウイン
ドウ表示されているときの前記ウインドウの背景の表示
とは互いに異なるように構成されていることを特徴とす
る。
ムによれば、クライアントからの指示情報をネットワー
クを介して受信し、前記指示情報にしたがってカメラの
姿勢制御を機能させるためのカメラサーバプログラムを
記憶した記憶媒体であって、クライアントからの指示情
報により、前記カメラの姿勢を制御するための制御手段
と、前記制御手段により、前記カメラが移動中に撮影さ
れた画像であるか否かを判定する判定手段と、前記判定
手段によって判定された前記カメラの移動情報を、前記
カメラが移動中に撮影された画像信号と同期して、前記
クライアントに伝達するための伝達手段として機能させ
るプログラムを備える。
ムによれば、請求項16において、ネットワークを介し
てカメラサーバにカメラ制御信号を発信し、前記カメラ
サーバプログラムによって処理され、前記カメラサーバ
から送信された画像データに基づいて、撮影画像を表示
させるためのクライアントプログラムであって、前記画
像信号に同期した前記カメラの移動情報に基づいて、前
記画像信号に基づく画像表示とともに、前記カメラの移
動情報を表示するための表示手段として機能させるため
のプログラムを備える。
ムによれば、請求項2において、さらに、前記カメラサ
ーバは、前記制御手段によっり前記カメラが移動中に撮
影された画像信号をスムージング処理するスムージング
処理手段とを備えることを特徴とする。
の実施の形態を説明していく。
ムの概略構成図である。
ットワークを介してクライアントとしての端末装置10
2からのカメラ103を制御するための操作信号を受信
し、その指令に応じてカメラ103のパン,チルト、ズ
ーム、絞り、フォーカスなどを制御する。また、カメラ
サーバ101は、カメラ103から入力された画像を所
定の処理を施して再びネットワークを介して端末装置1
02に送信する。
09、画像入力回路106、マルチプレクス回路10
7、画像圧縮符号化回路108からなる。
して機能する端末装置102からのカメラ操作信号を受
信すると、制御手段として、カメラ103の雲台におい
てカメラのパン,チルトの制御を、また、カメラ103
側ではズーム,フォーカス,絞りなどの制御をRS-232C
などのインターフェースを用いて行なう。また、カメラ
サーバ101内においてはネットワークに送信可能なよ
うに各回路の制御を行なう。カメラ103がパン,チル
ト動作中、あるいはズーム,フォーカス,絞り調整中で
あるとき、カメラ制御回路109は、後述のマルチプレ
クス回路にその旨の信号を発信する。
入力された画像の画像信号を取り込む。取り込まれた画
像信号は、画像入力回路106によってA/D変換され
る。デジタル化された信号は、例えばCCIR(Consultativ
e Committee For International Radio) Rec.601などで
定義されたフォーマットの信号として出力される。
路106によって量子化された1フレームの画像信号と
同期して、その画像信号がカメラ103のパン,チルト
動作中に撮影された信号であるかどうかを判定するため
の動作判定信号、あるいはズーム,フォーカス,絞り調
整中に撮影された信号であるかどうかを判定するための
調整判定信号、および不図示のマイクから入力し、デジ
タル化された音声の音声信号とを多重化する回路であ
る。
号、および調整判定信号は、カメラ103からカメラ制
御回路109へ発信するパン,チルト動作中であるかど
うかを示す動作信号、あるいはズーム,フォーカス,絞
り調整中であるかどうかを示す調整信号の発信と同期し
ている。
されているときは、カメラ制御回路109はその旨の信
号をマルチプレクス回路107に発信し、マルチプレク
ス回路107は、カメラ103がパン,チルト動作中で
ある「1」という動作判定信号を、また、動作信号が発
信していないときは、停止中である「0」という動作判
定信号を生成している。
るときは、カメラ制御回路109はその旨の信号をマル
チプレクス回路107に発信し、マルチプレクス回路1
07は、カメラ103がズーム,フォーカス,絞りの調
整中である「1」という調整判定信号を、また、調整信
号が発信していないときは、停止中である「0」という
調整判定信号を生成している。
た画像データ、音声データ、カメラ動作判定データ、カ
メラ調整判定データなどの信号を圧縮符号化するための
回路である。特に、動作判定信号が「1」のときの画像
信号、つまりカメラがパン,チルト動作中に撮影された
画像の画像信号は、スムージング処理が施され、表示す
る際にカメラの姿勢が変化している雰囲気が表れる画像
となる。
は、上述のような処理を施した信号を端末装置102側
に伝達している。
カメラ103のパン,チルトを制御する雲台部からな
り、カメラサーバ101の制御指令に基づいて動作す
る。
05や不図示のキーボードからの入力操作によりカメラ
103の操作信号を生成し、ネットワークを介してカメ
ラサーバ101に伝達する。また、カメラサーバ101
から伝送された画像信号を所定の処理を施して画像表示
可能な信号に変換する。
111、画像表示回路110、デマルチプレクス回路1
13、画像伸長復号化回路114によって構成される。
クライアント制御回路111は、マウス105を用いた
ビットマップディスプレイ104上のGUI操作によっ
て得られる操作指令信号をネットワークを介してカメラ
サーバ103に送信する。また、カメラサーバ103か
ら伝達された信号を伸長して後述のビットマップディス
プレイ104上の画像表示ウインドウにカメラ103か
ら撮像された画像を表示する。
バ101からネットワークを介して送信された、符号化
画像データ、符号化音声データ、符号化動作判定デー
タ、符号化調整判定データなどの多重化されたデータを
復号化する。ここで、復号化された動作判定信号、調整
判定信号は、判定手段としての機能を備えるクライアン
ト制御回路111に送られ、同期した画像データがカメ
ラ103がパン,チルト動作中、あるいはズーム,フォ
ーカス,絞りなど調整中に撮影されたものであるかどう
かを伝える。
復号化回路114によって復号化された多重化データ
を、それぞれ、画像データ、音声データ、動作判定デー
タ、調整判定データなどに分離する。
しなかったが、カメラサーバ101側に端末装置102
の機能を搭載してもよいし、端末装置102側にカメラ
サーバ101側の機能を搭載してもよい。このようにす
れば、カメラサーバ101側と端末装置102側のカメ
ラ103の相互操作および相互の画像の表示が可能とな
る。
113によって分離された画像信号を、規格に準拠した
出力フォーマットに再生し、表示装置(本実施の形態に
おいてはビットマップディスプレイ104)の仕様に合
うように、ライン補間、画素補間、レート変換、フィー
ルド/フレーム変換などを行なう。また、表示回路11
0は図2に示すような画像ウインドウおよびカメラ操作
表示をクライアント制御回路からの指令によって表示さ
せる。
上の表示画面の一例を示す図である。図2において、2
01は、画像表示ウインドウであり、202はカメラ調
整ウインドウである。213はカメラ103によって撮
影された画像を表示している。
の操作によって表示画面上を自在に移動可能であり、カ
ーソル214を移動させ、指標204a,204b,2
06a,206b,209a,209b,210a,2
10b,211a,211bをクリックすることによっ
てカメラ103のパン,チルト制御、および焦点の絞り
などの調整を可能とする。
ロールバー205は、カメラ103のパン方向の現在位
置と移動可能な範囲を示す。マウス105の操作によ
り、指標204aをクリックすると、クライアント制御
回路111は、その旨の指示信号をカメラサーバ101
側に送信し、カメラ制御回路109はその指示にしたが
って、カメラ103を左方向に動作させるように制御す
る。また、指標204bをクリックすると、同様な制御
によってカメラ103が右方向に動作する。
チルト方向の現在位置と移動可能な範囲を示す。パン方
向と同様に制御可能であり、マウス105の操作によ
り、指標206aをクリックすると、カメラ103が上
方向に動作し、指標206bをクリックするとカメラ1
03が下方向に動作する。
クロールバー208は、カメラ103の現在のズーム倍
率とその現在の倍率に対する変動可能な範囲を示してい
る。マウス105の操作により、指標209aをクリッ
クすることにより撮影画像213の倍率がテレ方向に変
動し、指標209bをクリックすることにより撮影画像
213の倍率がワイド方向に変動するようにカメラ10
3のズーム倍率が制御可能である。
焦点位置を合わせるためのものであり、マウス105の
操作により、指標210aをクリックすると画像がカメ
ラ103の近くの被写体に焦点位置が合うようになり、
指標210bをクリックすると、カメラ103の遠くの
被写体に焦点位置が合うようにカメラ103の焦点位置
が制御可能である。
絞りを調整するためのものであり、マウス105の操作
により、指標211aをクリックするとカメラ103の
絞りが開放する方向に制御され、指標211bをクリッ
クするとカメラ103の絞りが閉じる方向に制御され
る。
104上のマウス105によるGUI操作によってなさ
れた指令は、姿勢指示手段および調整指示手段としての
クライアント制御回路111によってカメラ103に対
する指令信号が生成され、ネットワークを介してカメラ
サーバ101に伝送されている。
イ104上に表示される画枠203は、例えば、通常は
灰色に表示されているが、カメラがパン,チルト動作中
の画像が表示されているときには青色に表示され、カメ
ラがズーム,フォーカス,絞りなど調整中であるときに
は黄色に表示される。ユーザは、この表示の変化によっ
て、カメラ103がどのような状態によって撮影された
画像であるのかを視覚的に理解することができる。
成をいくつかの回路の組み合わせとして示したが、図3
においては、カメラサーバ101の機能をソフトウェア
で処理するための構成をブロック図で示す。図3におい
て、301はCPUであり、カメラサーバ101におけ
る各種制御を行なう。302は第1の記憶媒体としての
ROMであり、CPU301によって実行される各種制
御プログラムを格納する。303はRAMであり、CP
U301が各種制御を実行する際に必要な作業領域を提
供する。
り、カメラ103からの画像信号を受信する。305は
カメラ駆動インターフェースであり、カメラ103のパ
ン,チルト、ズームなどの駆動信号をカメラ103側に
発信する。
であり、ネットワーク310に接続されたネットワーク
310上の他の装置(端末装置102など)との通信を
実現する。307は外部記憶装置であり、例えばハード
ディスクなどで構成される。
御によって各種の表示を行なう。309はキーボードな
どの入力部であり、CPU301に対して各種の入力を
行なう。311はバスであり、上述の各種の構成を接続
する。
は、外部記憶装置307を第1の記憶媒体として用い、
この外部記憶装置307に格納されたカメラサーバプロ
グラムをRAM303上にロードして、該ロードされた
制御プログラムを実行するようにしてもよい。また、外
部記憶装置307、CRT308、入力部309はオプ
ションであり、必要がなければ省略しても構わない。
マルチプレクス回路107、画像圧縮符号化回路108
は、この実施の形態においては、CPU301がROM
302に格納された制御プログラムもしくはRAM30
3にロードされたカメラサーバプログラムを実行するこ
とによって実現される。
ド)の画像データに多重化された端末装置102側に送
信するためのデータの構造を示した図である。図7のデ
ータ構造において、サーバID701は、このデータの
送信元であるカメラサーバを示すものである。
るいは1フィールド)の画像データである。動作判定デ
ータ702は、同期した画像データ706がカメラ10
3のパン,チルト動作中に撮影された画像か否かを判別
するためのデータである。さらに、調整判定データ70
3は、同期した画像データ706がカメラのズーム、フ
ォーカス、絞りなどの調整中に撮影された画像か否かを
判別するためのデータである。
不図示のマイクを介して取り込んだときのデータであ
る。この音声データ704は画像データ706が撮影さ
れたときの音声のものとは限らない。属性情報705
は、そのときの画像データ706などの属性を示す。た
とえば、画像データ706に関する属性は、フレームレ
ートや圧縮処理の種別などを示し、カメラ情報に関する
属性は、カメラのパン,チルト角またはズーム倍率など
の情報を示すものなどを示す。
フトウエアで処理するための構成を示すブロック図であ
る。図4において、401はCPUであり、第2の記憶
媒体としてのROM402に格納されたクライアントプ
ログラム402aに基づいて各種の制御を実現する。こ
のROM402は、クライアントプログラム402aを
はじめ、各種制御プログラムを格納する。403はRA
Mであり、CPU401が各種制御を実行するに際し
て、ROM402に格納されたプログラムをこのRAM
403にダウンロードすることによって作業領域を提供
するものである。
スク(MO)、コンパクトディスク(CD−ROM)、
ハードディスク、フロッピーディスクなどで構成され
る。107は入力部であり、マウス105などのポイン
ティングデバイス、不図示のキーボードなどを備えてい
る。406はネットワークインターフェースであり、ネ
ットワーク310を介してネットワーク上に接続された
各種装置との通信を行なう。407はバスであり、上述
の各構成を相互に通信可能に接続する。特に本実施の形
態では、端末装置102は、カメラサーバ101から画
像データ、音声データ、カメラ姿勢判定データ、カメラ
調整判定データなどのデータを受信し、カメラ103の
操作信号を必要に応じてカメラサーバ101へ送信す
る。
ムのカメラサーバ101側の処理動作のフローチャート
を示したものである。図5に沿ってカメラサーバ101
側の処理動作を説明する。
影画像をカメラサーバ101に要求すると、カメラサー
バ101は動作を開始してカメラ103によって撮影が
行われる(s100)。
末装置102からカメラ103のパン,チルト動作指令
(例えば、カメラをあらかじめ設定された初期位置に戻
すホームポジション指令など)がカメラサーバ101に
伝達されると(s101)、CPU301は、制御手段
としてカメラ103にその指令に応じた動作制御を行な
う(s102)。このとき、カメラ103は、CPU3
01にカメラ103がパン,チルト動作中であることを
伝えるための動作信号を発信する(s103)。
作信号を受けて、パン,チルト動作中に撮影された画像
のフレーム(あるいはフィールド)データに同期させ、
パン,チルト動作中であることを示す動作判定信号の
「1」を付加する(s104)。
パン,チルト動作中に撮影された雰囲気を出すために、
スムージング処理手段としてスムージング処理を行なう
(s107)。
から動作指令が伝達されていないとき、つまりカメラ1
03からCPU301に動作信号が発信されていないと
き、CPU301は、そのときの画像のフレーム(ある
いはフィールド)データに同期させてパン,チルト動作
中でないときに撮影された画像のフレームデータである
ことを示す動作判定信号の「0」を付加する(s10
5)。
カメラ103のズーム,フォーカス,絞りなどのカメラ
調整指令がネットワーク310を介して伝達されると、
s111においてCPU301は、調整手段として調整
指令にしたがってカメラ103の調整を制御する。そし
て、s112においてカメラ103は、CPU301に
カメラが調整中であることを伝える調整信号を発信す
る。
と、ズーム,フォーカス,絞りなどが調整されていると
きに撮影した画像のフレーム(あるいはフィールド)デ
ータに同期して、ズーム,フォーカス,絞りなどが調整
中であることを示す調整判定信号の「1」を付加する
(s113)。
から調整指令が伝達されていないとき、つまりカメラ1
03からCPU301に調整信号が発信されていないと
き、CPU301は、そのときの画像のフレーム(ある
いはフィールド)データに同期させて、ズーム,フォー
カス,絞りなど、調整中でないときに撮影された画像の
データであることを示す調整判定信号の「0」を付加す
る(s108)。
タ、調整判定データが付加され、多重化されたのち、s
109において画像の圧縮、符号化がなされ、s110
においてネットワーク310を介して端末装置102に
図7のようなデータ構造を有するデータが、伝達手段と
してのCPU301によって送信される。
よって、フレーム(あるいはフィールド)単位でその画
像がパン,チルト動作中に撮影された画像のデータ70
6であるのか、あるいはズーム,フォーカス,絞りなど
の調整中に撮影された画像データ706であるのかを端
末装置102側で判別させることができる。
ムの端末装置102がカメラサーバ101から画像デー
タを受信したときの処理動作のフローチャートを示した
ものである。図6に沿って端末装置側の処理動作を説明
する。
101から画像データを受信すると(s200)、CP
U401は、サーバID701を読み取り、どのカメラ
サーバから送信されたデータであるのかを確認した後、
受信したデータを伸長し、復号化する(s201)。復
号化されたのち、カメラサーバ101側で多重化された
画像データ706、動作判定データ702、調整判定デ
ータ703などを同期を取りつつそれぞれ分離する(s
202)。
にして、所定の出力フォーマットに処理が施されたの
ち、ビットマップディスプレイ104上の画像表示ウイ
ンドウ201(図2)に表示される。このとき画像デー
タ706に同期している動作判定データ702が、判別
手段としてのCPU401によって「1」であると判別
されたとき(s203)、CPU401は、続いてs2
05aにおいて調整判定データ703の判定を行なう
が、さらに調整判定データが「0」の場合、同期してい
る画像データによる画像の表示中の画枠203を青色に
表示させる制御を行なう。このときの画像の表示を図8
(a)に示す(見やすくするために図8(a)において
は画像表示ウインドウ201を最大化している。後に示
す図8(b),図8(c)も同様である。)。
ザは現在表示されている画像が、カメラ103のパン,
チルト動作であるときの画像であると視覚的に確認でき
る。また、このときの画像表示はスムージング処理され
た画像となっているので、カメラ103がパン,チルト
動作が行われている雰囲気が表れる画像となっている
(s204)。
タ703が「1」であるとき、s208で同期していた
画像データに基づく画像が表示されているときの画枠2
03を黄色と青色とを交互に所定時間表示させる。な
お、そのときの画像はスムージング処理が施されてい
る。
と判別され、さらにs205bにおいて画像データ70
6に同期している調整判定データ703が、判別手段と
してのCPU401によって「1」であると判別された
とき、s206において、CPU401は、同期してい
る画像データによる画像表示中の画枠203を黄色に表
示させる制御を行なう。このときの画像表示ウインドウ
201の表示を図8(b)に示す。
ザは現在表示されている画像がカメラ103のズーム,
フォーカス,絞りなどの調整をしているときの画像であ
ると視覚的に確認できる。
タ703「0」であると判定されたとき、s207にお
いてCPU401は、同期している画像データによる画
像表示中の画枠203を灰色に表示させる制御を行な
う。このときの画像表示ウインドウ201の表示を図8
(c)に示す。
は、現在表示されている画像が現在カメラ103のパ
ン,チルト動作およびズーム,フォーカス,絞りなどの
調整をしていないときの画像であると確認できる。
て、現在ビットマップディスプレイ104上に表示され
ている画像が画枠203の色を変化させることによっ
て、カメラ103のパン、チルト動作中の画像であるの
か、またはカメラ103のズーム、フォーカス、絞りな
どの調整中の画像であるのかを容易に把握することがで
きる。
ルト動作中の画像表示において、その画像をスムージン
グ処理するとともに画像表示ウインドウ枠203を青色
に変化させて表示させている。このとき、構成の簡略化
のために、画枠203を変化させないでスムージング処
理のみを行なって画像表示をしてもよいし、スムージン
グ処理を行なわないで画枠203の色を変化させてもよ
い。
チルト動作中に撮影された画像表示中の画像表示ウイン
ドウ枠203を青色に、カメラ103のズーム,フォー
カス,絞りなどの調整中に画像表示ウインドウ枠203
を黄色に表示するものであるが、さらに、各処理動作中
に撮影されたときの画像表示中にその処理動作後とに区
別して色表示することも可能である。このとき、端末装
置102に送信するデータ構造において、各処理動作が
実行されているかどうかを示す判定信号を付加すればよ
い。
動作中、あるいは調整中に画枠203の色を変化させて
いたが、画像表示ウインドウ201、カメラ調整ウイン
ドウ202の背景の壁紙を変化させるように端末装置1
02側に設定しても、上述したようなシステムの構成で
実行することが可能である。
に撮影された画像の表示の際、その画像表示の縁の部分
に色をつけ、撮影中のカメラ103の処理動作に応じて
その縁の色表示を変化させて表示してもよい。
1において、例えば動作信号がカメラ103側からCP
U301に伝達されると、CPU301はこの動作信号
に同期した画像データをスムージング処理を行なうとと
もに、画像に青く縁取りをするように指令を行なう。す
ると、画像データの縁の部分は、撮影画像データから青
色に表示するためのデータに変換され、さらにその変換
されたデータを圧縮符号化して送信する。このようなシ
ステムの処理の場合、動作判定データなどのカメラの処
理判定に関するデータを画像データに多重化させて送信
しなくてもよいのでデータの送信量が減るという利点が
ある。
を実現するソフトウェアのプログラムコードを記録した
記録媒体を、システムあるいは装置に供給し、そのシス
テムあるいは装置のコンピュータ(またはCPUやMP
U)が記憶媒体に格納されたプログラムコードを読み出
し実行することによっても達成できる。
グラムコード自体が前述した実施形態の機能を実現する
ことになり、そのプログラムコードを記憶した記憶媒体
は本発明を構成することになる。
体としては、例えば、フロッピーディスク、ハードディ
スク、光ディスク、光磁気ディスク、CD−ROM、C
D−R、磁気テープ、、不揮発性のメモリカード、RO
Mなどを用いることができる。
ムコードを実行することにより、前述した実施形態の機
能が実現されるだけでなく、そのプログラムコードの指
示に基づき、コンピュータ上で稼動しているOS(オペ
レーティングシステム)などが実際の処理の一部または
全部を行い、その処理によって前述した実施形態の機能
が実現される場合も含まれる。
ラムコードが、コンピュータに挿入された機能拡張ボー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書き込まれた後、そのプログラムコードの指
示にもとづき、その機能拡張ボードや機能拡張ユニット
に備わるCPUなどが実際の処理の一部または全部を行
い、その処理によって前述した実施形態の機能が実現さ
れる。
の記憶媒体には、先に説明したフローチャートに対応す
るプログラムコードを格納することになるが、簡単に説
明すると、本発明のカメラ制御システムに不可欠なモジ
ュールを、記憶媒体に格納することになる。
中に撮影された画像の信号であるかどうかを判定する
「判定モジュール」、移動中の画像と同期してカメラの
移動情報を表示する「表示モジュール」の各プログラム
コードを記憶媒体に格納すればよい。
および請求項2によれば、クライアント側でカメラの姿
勢の制御を実行したとき、カメラサーバ側で撮影画像の
画像信号と同期してそのときの前記カメラの移動情報を
クライアント側に伝達し、クライアント側において前記
カメラが移動中に撮影された画像の信号であるか否かを
判定し、カメラが移動中であることを示すカメラの移動
情報を表示しているので、画像の圧縮伸長処理およびネ
ットワークの伝送時間などのタイムラグが存在しても、
その動作が実行中であることをユーザに意識させること
により、ユーザは的確なカメラ制御が実行できる。
像信号ごとにカメラの移動情報を同期させて伝達してい
るので、ユーザは正確な移動情報を得ることができる。
に撮影した画像がウインドウに表示されているときに、
そのウインドウ枠の色の表示をカメラが移動していない
ときのウインドウ枠の色表示とは異なるようにしたの
で、ユーザは表示画像がカメラの移動中に撮影されたも
のであるか否かを視覚的に迅速に判断できる。
に撮影した画像がウインドウに表示されているときに、
そのウインドウの背景の壁紙の表示をカメラが移動して
いないときの壁紙の表示とは異なるようにしたので、ユ
ーザは表示画像がカメラの移動中に撮影されたものであ
るか否かを視覚的に迅速に判断できる。
に撮影した画像の縁を色表示しているので、ユーザは表
示画像がカメラの移動中に撮影されたものであるか否か
を視覚的に迅速に判断できる。さらに、クライアント側
にカメラの移動情報を伝送しなくて済むので、データの
送信量が少なくなる。
ラのパン,チルト動作が含まれるので、ユーザはカメラ
のパン,チルト動作中に撮影した画像であるか否かを確
認することができる。
クライアント側でカメラの姿勢の制御を実行したとき、
カメラサーバ側で撮影画像の画像信号と同期してそのと
きの前記カメラの調整情報をクライアント側に伝達し、
クライアント側において前記カメラの調整中に撮影され
た画像の信号であるか否かを判定し、カメラが調整中で
あることを示すカメラの調整情報を表示しているので、
画像の圧縮伸長処理およびネットワークの伝送時間など
のタイムラグが存在してもその動作が実行中であること
をユーザに意識させることにより的確なカメラ制御が実
行できる。
画像信号ごとにカメラの調整情報を同期させて伝達して
いるので、ユーザは正確な調整情報を得ることができ
る。
中に撮影した画像がウインドウに表示されているとき
に、そのウインドウ枠の色の表示をカメラが調整処理し
ていないときのウインドウ枠の色表示とは異なるように
したので、ユーザは表示画像がカメラの調整中に撮影さ
れたものであるか否かを視覚的に迅速に判断できる。
中に撮影した画像がウインドウに表示されているとき
に、そのウインドウの背景の壁紙の表示をカメラが調整
処理していないときの壁紙の表示とは異なるようにした
ので、ユーザは表示画像がカメラの調整中に撮影された
ものであるか否かを視覚的に迅速に判断できる。
中に撮影した画像の縁を色表示しているので、ユーザは
表示画像がカメラの調整中に撮影されたものであるか否
かを視覚的に迅速に判断できる。さらに、クライアント
側にカメラの調整情報を伝送しなくて済むので、データ
の送信量が少なくなる。
なくともカメラのズーム,フォーカス,絞りが含まれる
ので、ユーザはカメラのズーム,フォーカス,絞り調整
中に撮影した画像であるか否かを確認することができ
る。
中に撮影した画像がウインドウに表示されているとき
と、カメラが調整中に撮影した画像がウインドウに表示
されているときとのウインドウの枠の色表示を異ならせ
ているので、ユーザはカメラがどのような処理を行なっ
ているときのものであるか判断することができる。
ば、本発明のカメラ制御システムは、クライアント側で
カメラの姿勢の制御を実行したとき、カメラサーバ側で
撮影画像の画像信号と同期してそのときの前記カメラの
移動情報をクライアント側に伝達し、クライアント側に
おいて前記カメラが移動中に撮影された画像の信号であ
るか否かを判定し、カメラが移動中であることを示すカ
メラの移動情報を表示するように機能させるプログラム
を備えているので、画像の圧縮伸長処理およびネットワ
ークの伝送時間などのタイムラグが存在しても、その動
作が実行中であることをユーザに意識させることによ
り、ユーザは的確なカメラ制御が実行できる。
中に撮影されたときの画像信号をスムージング処理をす
るので、画像の表示を行なう際にカメラが移動中である
雰囲気を出すことができる。
の表示画面の一例を示す図。
するためのデータの構造図。
示中の画像表示ウインドウの状態を示す図。(b)は、
カメラが調整中に撮影された画像表示中の画像表示ウイ
ンドウの状態を示す図。(c)は、通常状態に撮影され
た画像表示中の画像表示ウインドウの状態を示す図。
Claims (18)
- 【請求項1】 制御指令信号に基づいて遠隔操作可能な
カメラを制御するカメラサーバと、前記カメラによって
撮影された画像の画像信号を前記カメラサーバからネッ
トワークを介して受信することによって撮影画像を表示
するクライアントからなるカメラ制御システムにおい
て、 前記クライアントは、 前記カメラの姿勢を制御するための指令を行なう姿勢指
示手段と、 前記姿勢指示手段からの指令によって前記カメラが移動
中に撮影された画像の信号であるか否かを判定する判定
手段と、 前記カメラが移動中に撮影された画像の表示と同期し
て、前記判定手段によって判定された前記カメラの移動
情報を表示する表示手段とを備えることを特徴とするカ
メラ制御システム。 - 【請求項2】 請求項1において、前記カメラサーバ
は、 前記姿勢指示手段によってなされた指令に基づき、前記
カメラの姿勢を制御する制御手段と、 前記カメラの姿勢が前記制御手段により移動中であるか
否かを示す前記カメラの移動情報を、前記移動中のカメ
ラによって撮影された画像の画像信号と同期して前記ク
ライアントに伝達する伝達手段とを備えることを特徴と
するカメラ制御システム。 - 【請求項3】 請求項2において、前記伝達手段は、1
フレームの画像信号ごとに同期して、前記カメラの移動
情報を伝達するように構成されていることを特徴とする
カメラ制御システム。 - 【請求項4】 請求項1において、前記表示手段は、撮
影画像をウインドウ表示し、前記カメラが移動中に撮影
された画像の表示中における前記撮影画像が表示されて
いるウインドウ枠の色表示を、前記カメラの移動情報と
して、前記カメラが移動していないときの前記撮影画像
が表示されているウインドウの枠の色表示とは異なる色
によって行なうように構成されていることを特徴とする
カメラ制御システム。 - 【請求項5】 請求項1において、前記表示手段は、撮
影画像をウインドウ表示し、前記カメラが移動中に撮影
された画像の表示中における前記ウインドウ表示の背景
の背景表示を、前記カメラの移動情報として、前記カメ
ラが移動していないときの背景表示とは異なる表示によ
って行なうように構成されていることを特徴とするカメ
ラ制御システム。 - 【請求項6】 請求項1において、前記表示手段は、前
記カメラの移動情報として、前記カメラが移動中に撮影
された表示画像の縁を色表示するように構成されている
ことを特徴とするカメラ制御システム。 - 【請求項7】 請求項1ないし請求項6のいずれか1項
において、前記姿勢には、カメラのパンおよびチルト動
作が含まれることを特徴とするカメラ制御システム。 - 【請求項8】 制御指令信号に基づいて遠隔操作可能な
カメラを制御するカメラサーバと、前記カメラによって
撮影された画像の画像信号を前記カメラサーバからネッ
トワークを介して受信することによって撮影画像を表示
するクライアントからなるカメラ制御システムにおい
て、 前記クライアントは、 前記カメラの調整を実行するための指令を行なう調整指
示手段と、 前記調整指示手段からの指令によって前記カメラが調整
中に撮影された画像の信号であるか否かを判定する判定
手段と、 前記カメラが移動中に撮影された画像の表示と同期し
て、前記判定手段によって判定された前記カメラの調整
情報を表示する表示手段とを備えることを特徴とするカ
メラ制御システム。 - 【請求項9】 請求項8において、前記カメラサーバ
は、 前記調整指示手段によってなされた指令に基づき、前記
カメラの調整を行なう調整手段と、 前記調整手段により前記カメラが調整中であるか否かを
示す前記カメラの調整情報を、前記調整中のカメラによ
って撮影された画像の画像信号と同期して前記クライア
ントに伝達する伝達手段とを備えることを特徴とするカ
メラ制御システム。 - 【請求項10】 請求項9において、前記伝達手段は、
1フレームの画像信号ごとに同期して、前記カメラの調
整情報を伝達するように構成されていることを特徴とす
るカメラ制御システム。 - 【請求項11】 請求項8において、前記表示手段は、
撮影画像をウインドウ表示し、前記カメラが調整中に撮
影された画像の表示中における前記撮影画像が表示され
ているウインドウの枠の色表示を、前記カメラの調整情
報として、前記カメラが調整動作をしていないときの前
記撮影画像が表示されているウインドウの枠の色とは異
なる色によって行なうように構成されていることを特徴
とするカメラ制御システム。 - 【請求項12】 請求項8において、前記表示手段は、
撮影画像をウインドウ表示し、前記カメラの調整中に撮
影された画像の表示中における前記ウインドウの背景の
背景表示を、前記カメラが調整中ではないときの背景表
示とは異なる表示によって行なうように構成されている
ことを特徴とするカメラ制御システム。 - 【請求項13】 請求項8ないし請求項12のいずれか
1項において、前記調整には、カメラのズームまたはフ
ォーカスまたは絞りの少なくとも一つが含まれることを
特徴とするカメラ制御システム。 - 【請求項14】 請求項8において、前記表示手段は、
前記カメラの調整情報として、前記カメラが調整中に撮
影された表示画像の縁を色表示するように構成されてい
ることを特徴とするカメラ制御システム。 - 【請求項15】 請求項4または請求項10において、
前記表示手段は、前記カメラが移動中に撮影された画像
がウインドウ表示されているときの前記ウインドウの背
景の表示と、前記カメラが調整中に撮影された画像がウ
インドウ表示されているときの前記ウインドウの背景の
表示とは互いに異なるように構成されていることを特徴
とするカメラ制御システム。 - 【請求項16】 クライアントからの指示情報をネット
ワークを介して受信し、前記指示情報にしたがってカメ
ラの姿勢制御を機能させるためのカメラサーバプログラ
ムを記憶した記憶媒体であって、 クライアントからの指示情報により、前記カメラの姿勢
を制御するための制御手段と、 前記制御手段により、前記カメラが移動中に撮影された
画像であるか否かを判定する判定手段と、 前記判定手段によって判定された前記カメラの移動情報
を、前記カメラが移動中に撮影された画像信号と同期し
て、前記クライアントに伝達するための伝達手段として
機能させるプログラムを記憶した第1の記憶媒体。 - 【請求項17】 請求項16において、ネットワークを
介してカメラサーバにカメラ制御信号を発信し、前記カ
メラサーバプログラムによって処理され、前記カメラサ
ーバから送信された画像データに基づいて、撮影画像を
表示させるためのクライアントプログラムであって、 前記画像信号に同期した前記カメラの移動情報に基づい
て、前記画像信号に基づく画像表示とともに、前記カメ
ラの移動情報を表示するための表示手段として機能させ
るためのプログラムを記憶した第2の記憶媒体。 - 【請求項18】 請求項2において、さらに、前記カメ
ラサーバは、前記制御手段によっり前記カメラが移動中
に撮影された画像信号をスムージング処理するスムージ
ング処理手段とを備えることを特徴とするカメラ制御シ
ステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33363996A JP3774521B2 (ja) | 1996-12-13 | 1996-12-13 | カメラ制御システム、カメラサーバ、カメラ操作装置、及びカメラ操作情報の表示制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP33363996A JP3774521B2 (ja) | 1996-12-13 | 1996-12-13 | カメラ制御システム、カメラサーバ、カメラ操作装置、及びカメラ操作情報の表示制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10174091A true JPH10174091A (ja) | 1998-06-26 |
JP3774521B2 JP3774521B2 (ja) | 2006-05-17 |
Family
ID=18268309
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP33363996A Expired - Fee Related JP3774521B2 (ja) | 1996-12-13 | 1996-12-13 | カメラ制御システム、カメラサーバ、カメラ操作装置、及びカメラ操作情報の表示制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3774521B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11164288A (ja) * | 1997-09-17 | 1999-06-18 | Sony United Kingdom Ltd | 監視システム |
JP2003032671A (ja) * | 2001-07-13 | 2003-01-31 | Matsushita Electric Ind Co Ltd | 監視システム制御方法、監視システム制御装置および監視システム |
JP2005223709A (ja) * | 2004-02-06 | 2005-08-18 | Canon Inc | 電子機器 |
US9571797B2 (en) | 2007-01-29 | 2017-02-14 | Sony Corporation | Network equipment, network system and surveillance camera system |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0468680A (ja) * | 1990-07-03 | 1992-03-04 | Matsushita Electric Ind Co Ltd | テレビジョン受像機 |
JPH06311509A (ja) * | 1993-02-25 | 1994-11-04 | Casio Comput Co Ltd | テレビ電話装置 |
JPH07283989A (ja) * | 1994-04-11 | 1995-10-27 | Canon Inc | 撮像装置 |
JPH07329657A (ja) * | 1994-06-02 | 1995-12-19 | Nissan Motor Co Ltd | 車両用警報表示装置 |
JPH0870398A (ja) * | 1994-08-26 | 1996-03-12 | Canon Inc | 画像入力装置 |
JPH08175228A (ja) * | 1994-12-26 | 1996-07-09 | Honda Motor Co Ltd | 運転支援装置 |
JPH08251561A (ja) * | 1995-03-09 | 1996-09-27 | Nec Corp | 画像通信端末装置のユーザインタフェース |
-
1996
- 1996-12-13 JP JP33363996A patent/JP3774521B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0468680A (ja) * | 1990-07-03 | 1992-03-04 | Matsushita Electric Ind Co Ltd | テレビジョン受像機 |
JPH06311509A (ja) * | 1993-02-25 | 1994-11-04 | Casio Comput Co Ltd | テレビ電話装置 |
JPH07283989A (ja) * | 1994-04-11 | 1995-10-27 | Canon Inc | 撮像装置 |
JPH07329657A (ja) * | 1994-06-02 | 1995-12-19 | Nissan Motor Co Ltd | 車両用警報表示装置 |
JPH0870398A (ja) * | 1994-08-26 | 1996-03-12 | Canon Inc | 画像入力装置 |
JPH08175228A (ja) * | 1994-12-26 | 1996-07-09 | Honda Motor Co Ltd | 運転支援装置 |
JPH08251561A (ja) * | 1995-03-09 | 1996-09-27 | Nec Corp | 画像通信端末装置のユーザインタフェース |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11164288A (ja) * | 1997-09-17 | 1999-06-18 | Sony United Kingdom Ltd | 監視システム |
JP2003032671A (ja) * | 2001-07-13 | 2003-01-31 | Matsushita Electric Ind Co Ltd | 監視システム制御方法、監視システム制御装置および監視システム |
JP4763926B2 (ja) * | 2001-07-13 | 2011-08-31 | パナソニック株式会社 | 監視システム制御方法、監視システム制御装置および監視システム |
JP2005223709A (ja) * | 2004-02-06 | 2005-08-18 | Canon Inc | 電子機器 |
US9571797B2 (en) | 2007-01-29 | 2017-02-14 | Sony Corporation | Network equipment, network system and surveillance camera system |
Also Published As
Publication number | Publication date |
---|---|
JP3774521B2 (ja) | 2006-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6646677B2 (en) | Image sensing control method and apparatus, image transmission control method, apparatus, and system, and storage means storing program that implements the method | |
US7256822B2 (en) | Video system | |
JP3125552B2 (ja) | テレビ会議システム | |
EP0968606B1 (en) | Method for still picture transmission and display | |
US6529234B2 (en) | Camera control system, camera server, camera client, control method, and storage medium | |
US20140244858A1 (en) | Communication system and relaying device | |
EP2124445B1 (en) | Image display device and image display method | |
EP1681855A2 (en) | Camera control apparatus, electronic conference system and camera control method | |
JP2002007294A (ja) | 画像配信システム及び方法並びに記憶媒体 | |
US6151066A (en) | Image-sensing control method and apparatus, image sensing system, and storage medium containing program for executing image-sensing control method | |
EP0776130A2 (en) | Camera control system with variable frame rate | |
WO2021164082A1 (zh) | 控制视频数据采集的方法、发射控制装置及无线传输系统 | |
JPH10174091A (ja) | カメラ制御システム | |
JPH10164553A (ja) | 映像サーバ及びクライアント及び制御方法及び記憶媒体 | |
JPH10136246A (ja) | カメラ制御システム、及び該システムにおけるカメラ管理装置及び方法、及びカメラ操作装置及び方法、及び記憶媒体 | |
JPH0295089A (ja) | 画像情報伝送システム | |
JPH10215388A (ja) | 遠隔操作装置 | |
KR20050066183A (ko) | 파노라마 영상 구현 시스템 및 방법 | |
JP2004180190A (ja) | カメラ制御装置及びその制御ステップを実行するプログラム | |
JP4514167B2 (ja) | 情報通信装置及びその制御方法、コンピュータ可読メモリ | |
JPH06209470A (ja) | 映像伝送処理装置 | |
JP2002262138A (ja) | 撮像システム、テレビ会議システム、監視システムおよび撮像機能を有した情報端末機器 | |
JPH11122595A (ja) | 情報処理装置及びシステム及び方法及び記憶媒体 | |
JPH08265717A (ja) | テレビ電話装置 | |
JPH09130799A (ja) | 画像圧縮加工方法及びテレビ会議システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040426 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050322 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050518 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060220 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100224 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100224 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110224 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120224 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130224 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140224 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |