JP2981408B2 - カメラ画像内の目的とする被写体の高速導入制御方法および装置 - Google Patents

カメラ画像内の目的とする被写体の高速導入制御方法および装置

Info

Publication number
JP2981408B2
JP2981408B2 JP7053577A JP5357795A JP2981408B2 JP 2981408 B2 JP2981408 B2 JP 2981408B2 JP 7053577 A JP7053577 A JP 7053577A JP 5357795 A JP5357795 A JP 5357795A JP 2981408 B2 JP2981408 B2 JP 2981408B2
Authority
JP
Japan
Prior art keywords
camera
angle
monitor screen
information
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP7053577A
Other languages
English (en)
Other versions
JPH08223562A (ja
Inventor
正彦 大屋敷
良祐 西口
秀則 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NIPPON DENKI SHISUTEMU KENSETSU KK
Original Assignee
NIPPON DENKI SHISUTEMU KENSETSU KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NIPPON DENKI SHISUTEMU KENSETSU KK filed Critical NIPPON DENKI SHISUTEMU KENSETSU KK
Priority to JP7053577A priority Critical patent/JP2981408B2/ja
Priority to US08/524,276 priority patent/US5671012A/en
Publication of JPH08223562A publication Critical patent/JPH08223562A/ja
Application granted granted Critical
Publication of JP2981408B2 publication Critical patent/JP2981408B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明はテレビカメラにより得
られた画像データをCRT等のモニター画面上に表示す
るテレビカメラの制御システムに関し、詳しくはビルや
オフィス、コンビニエンスストアや大型店舗、銀行等の
金融機関、発電所等の危険を伴う施設、工場等の生産施
設を監視する監視カメラシステム、あるいはテレビ会
議、お天気カメラ、展望カメラに使用されるカメラ画像
内の目的とする被写体の高速導入制御方法および装置に
関する。
【0002】
【従来の技術】従来この種のテレビカメラの制御システ
ムとして、例えば作業員がCRT等の画面に表示される
カメラの画像を見ながら、別の制御装置にある制御ボタ
ン等でカメラ架台に制御信号を与え指示することで、カ
メラの視線方向を変更したり、ズーム機能のあるカメラ
ではカメラの画像の拡大、縮小を行っていた。
【0003】
【発明が解決しようとする課題】しかしながら、従来の
システムではカメラの画像と操作を行う制御卓とが別個
独立したものであるため、作業員はカメラの画像が表示
されるCRT等の画面と制御卓間を絶えず視線を往復さ
せて操作しなければならず、操作が煩雑で目的の被写体
を導入するための時間を多く必要とし、作業員の疲労を
も増大させることとなっていた。
【0004】また、ボタン操作にはある程度の熟練を要
し、操作を間違えて、カメラの視線方向の変更が目的の
被写体を導入する方向に正しく行われなかったり、ズー
ムが逆に操作されてしまう等の問題を生じていた。
【0005】さらに、複数台のカメラが有るときは制御
機器もこれに対応して複数台用意するか、カメラの切替
えを行う機器が必要であり、装置全体が大型化し、設置
面積が増大し、操作が複雑化するため、カメラの台数を
大幅に増やすことが困難であった。
【0006】この発明はかかる点に鑑みなされたもの
で、その目的とするところは、CRT等の画面に表示さ
れた画像上の任意の位置を、外部からの入力によりその
画像上で指示することで、その任意の位置を画面の中央
や予め設定された位置に移動するとともに、画面の拡
大、縮小を自動的に行うことにより、操作が簡単で、視
線の移動も少なく、操作ミスの無いカメラ画像内の目的
とする被写体の高速導入制御方法および装置を提供する
ことにある。
【0007】また、小型かつ操作が簡単な装置を用いて
多くのカメラを接続することが可能なカメラ画像内の目
的とする被写体の高速導入制御方法および装置を提供す
ることにある。
【0008】
【課題を解決するための手段】上記目的を達成するため
本発明は、モニタ画面1a上の目的とする被写体7aを
ポイント入力装置4で指定し、カメラ5aから画角情報
を入力し、この画角情報からモニタ画面1aの1ドット
あたりの角度を算出し、画面中央と指定された被写体7
aとのモニタ画面上での距離(ドット数)を算出し、こ
の距離(ドット数)に前記1ドットあたりの角度を乗じ
て相対角度差を算出し、この相対角度差をそのまま用
い、あるいは絶対値データを求めてカメラ5aの移動情
報とし、事前に拡大量が設定されている場合には設定さ
れている拡大量から新たな画角情報を求め、前記移動情
報を送出する際にカメラ5aにこの新たな画角情報を送
出することにより、カメラの移動情報を得る方法とし
た。
【0009】また、オーバレイ回路8と切替回路9を介
して複数台のカメラを制御装置とモニタ1に接続し、必
要なカメラ5aに自動的に接続することとした。
【0010】あるいは、被写体7を映像信号に変換する
カメラ5aと、このカメラ5aを旋回させるカメラ架台
5bと、前記カメラ5aからの画像をモニタ画面1a上
に表示するモニタ1と、モニタ画面1a上の目的とする
被写体7aを指定するポイント入力装置4と、これらと
接続される制御装置3とを有し、前記モニタ画面1a上
に表示された画像から目的とする被写体7aをポイント
入力4装置で指定し、前記カメラ5aから画角情報を入
力して、この画角情報からモニタ画面1aの1ドットあ
たりの角度を算出し、画面1a中央と指定された被写体
7aとのモニタ画面1a上での距離(ドット数)を算出
し、この距離(ドット数)に前記1ドットあたりの角度
を乗じて相対角度差を算出し、この相対角度差をそのま
ま用い、あるいはこの相対角度差と視線方向情報から絶
対値データを求めて移動情報とし、事前に拡大量が設定
されている場合には設定されている拡大量から新たな画
角情報を求めて前記移動情報を送出する際にこの新たな
画角情報を同時にカメラ架台5bに送出する装置とし
た。
【0011】また、上記装置はオーバレイ回路8と切替
回路9を介して複数台のカメラ5aを制御装置3に接続
し、必要なカメラ5aに自動的に接続することとした。
【0012】
【作用】カメラ5aは被写体7を画像信号に変換し、モ
ニタ1に送出する。また、拡大縮小機能を有し、制御装
置3からの制御信号により4倍、8倍、16倍等の所定
の倍率に自動的に拡大等を行い、現在の画角情報を制御
装置3に対して送出する機能を有する。カメラ架台5b
はカメラ5aを上下方向、左右方向に制御装置3からの
制御信号により旋回させるとともに、制御装置3に対し
てカメラ5aの視線方向情報を送出する機能を有する。
【0013】ポイント入力装置4はモニタ画面1a上の
目的とする被写体7bを指定する。制御装置3はカメラ
5a、カメラ架台5b、ポイント入力装置4と接続さ
れ、カメラ5a、カメラ架台5bに制御信号を与えた
り、必要な情報を入力したりする。
【0014】制御装置3には予めモニタ画面1a、ポイ
ント入力装置4により予めカメラ5aの拡大率等の設定
が可能で、このように拡大率を設定しておけばカメラ画
像内に目的とする被写体を導入する際に、その被写体を
設定された拡大率により拡大する。
【0015】
【実施例】次に本発明の代表的実施例について図に沿っ
て説明する。図1は本発明の一実施例の基本構成を示し
た図である。図において1はカメラからの画像信号を表
示するためのモニタ、1aはモニタ1に表示されるモニ
タ画面である。このモニタ画面1aには1台あるいは複
数台のカメラからの画像信号が単独あるいは複数表示さ
れる。3は制御装置でパソコン等の情報処理装置が使用
される。4はポイント入力装置でマウス、タッチパネル
等モニタ画面1a上の任意の位置を指定しうる入力装置
が使用される。
【0016】5aはカメラで、一般のテレビカメラと同
等のものであり、入力した映像を画像信号に変換して出
力するものである。また、このカメラは制御装置3から
の画角情報の信号を受けて、周知の手段により拡大、縮
小が自由に設定可能となっていて、現在の画角情報は制
御装置からの読み出し信号により、所定の画角情報信号
として送出するようになっている。
【0017】5bはカメラ架台で、カメラ5aを支持す
るとともに、制御装置3からの所定の制御信号によりカ
メラ5aを上下、左右方向に旋回させる。この架台5b
の内部にはパルスモータあるいはサーボモータとエンコ
ーダおよびこれらの制御回路が内蔵されていて、本発明
を実施する上で要求される性能上必要な分解能以下を1
ステップとし、制御装置3からの移動データから算出さ
れるステップ数だけ回転動作するようになっている。そ
して、制御装置3からの読み出し信号により記憶されて
いる移動パルス数やエンコーダのデータを制御装置3に
視線方向データとして送出する。
【0018】2eはカメラ視野で、拡大、縮小つまり画
角により変化する。そして、通常このカメラ視野2e内
の映像が画像信号に変換され、モニタ画面1a上に表示
される。つまり、このカメラ視野2e内の目的とする被
写体7もモニタ画面上1aに表示され、このモニタ画面
1a上の目的とする被写体7aをポイント入力装置4に
て指定することになる。
【0019】8はカメラ5aからの画像信号であるNT
SC信号をモニタ画面1aに上書きする回路で、例えば
図4に示す構成となっている。つまり、各映像入力はN
TSC信号変換部110、色相別信号メモリ部120、
デジタル/アナログ変換部130、アナログRGBオー
バーレイ回路131により各映像は一つの画面上に縮
小、合成されて表示される。NTSC信号変換部110
はNTSC/RGB変換部111aを有し、映像信号を
RGB信号に変換する。変換されたRGB信号はアナロ
グ/デジタル変換部112aによりデジタル信号に変換
され縮小画制御部113aにより所定の縮小率に縮小さ
れ、色相別信号メモリ部120のR信号、G信号、B信
号メモリ部120r,g,bにそれぞれ記憶される。ま
た映像入力からは同期信号分離部114aにより同期信
号が分離され、制御信号発生部115aに入力されて各
処理の同期を取るようになっている。画像の表示位置等
はパソコンインターフェース制御部140を介してパソ
コン、つまり制御装置3により制御される。
【0020】モニタ画面には予め決められた内容の、例
えばモニタ場所の見取図等が表示され、カメラ5aから
の画像はこの見取図上のカメラ設置場所に対応して表示
される。9は切替回路で、カメラ5aやカメラ架台5b
と制御装置3とのデータ信号を各カメラ5a等毎に切り
替えて送受するために使用される。
【0021】次に本発明の制御方法について図3のフロ
ーチャトに沿って説明する。この例ではモニタ画面1a
上に複数のカメラ5aからの画像が表示されていて、そ
の中の一つを選択して表示し、その画像内の目的とする
被写体を画面中央に拡大して表示する場合について示し
ている。
【0022】いま、モニタ画面1aには選択されたカメ
ラ5aからの画像が表示されている。そして、そのカメ
ラ5aに写し出された映像中には目的とする被写体7も
捉ええられており、モニタ画面1a上にも被写体7aと
して表示されている(S1)。
【0023】そこで、この被写体7aを画面中央に拡大
表示する場合、ポイント入力装置4でこの被写体を指定
する。すなわち、ポイント入力装置4がマウスであれ
ば、画面上のカーソルを移動させて目的とする被写体の
上でクリックし、タッチパネルであれば画面の目的とす
る被写体をタッチペンあるいは指で接触する。その他の
入力手段でも同様な操作を行う(S2)。
【0024】制御装置3は選択したカメラ5aに読み出
し信号を送出し、このカメラ5aから画角データを入力
し(S3)、同様に必要であればカメラ架台5bからカ
メラの視線方向データを入力する(S4)。
【0025】そして、制御装置3はモニタ画面1aの表
示幅のドット数と入力した画角データとからモニタ画面
1aの1ドットあたりの角度を求める(S5)。
【0026】このとき、カメラ5aから取り込んだ画像
信号のモニタ画面1aにおける表示範囲が、入力した画
角データから当然に得られるべきカメラ画像の範囲と異
なる場合(S6)は、事前に補正係数を求めておき、こ
れによりモニタ画面1aの1ドットあたりの角度を補正
する(S7)。
【0027】制御装置はモニタ画面1a中央とポイント
入力装置4により指定された被写体7aの位置の座標デ
ータを求め、この座標データから両者の距離、すなわち
ドット数を算出する(S8)。
【0028】そして、得られた距離(ドット数)に、前
記S5にて得た1ドットあたりの角度を乗じて画面中央
と指定された被写体7aとの相対角度差を求める(S
9)。
【0029】この相対角度差は制御装置3からカメラ架
台5bに対しての相対移動量として送出される。このと
き移動量を絶対値で与える必要がある場合には前記S4
で得た視線方向データと相対角度差から絶対値データを
作成し送出する(S10)。
【0030】事前に拡大量等が設定されている場合に
は、制御装置3は現在の画角情報と、この拡大量から新
規の画角情報を求め、カメラ5bに対し送出する(S1
1)。
【0031】カメラ架台5bのカメラ5a取り付け部の
水平,垂直方向にセットされたパルスモータあるいはサ
ーボモータは前記視線方向データ、つまり移動量で指定
された方向、移動量を動作し、カメラ5aはその視線方
向を指定された被写体7に向けるとともに、カメラ5a
に送出された画角情報によりカメラ5aは周知の手段に
より所定の拡大量にセットされる。このようにしてモニ
タ画面1a中央に指定された被写体7aが拡大されて表
示される(S12)。この拡大された被写体7bが中央
に表示された様子を図2に示す。
【0032】なお、この例ではモニタ画面1a上に複数
のカメラ5aからの画像が表示されていて、その中の一
つを選択して表示し、その画像内の目的とする被写体を
画面中央に拡大して表示する場合について説明したが、
その他の場合、例えば単独のカメラによる単一モニタ画
面の場合などにも本発明を適用可能なことは言うまでも
ない。
【0033】
【発明の効果】以上のように本発明によれば、モニタ画
面上に表示された画像上の任意の位置を、外部からの入
力によりその画像上で指示することで、その任意の位置
を画面の中央や予め設定された位置に移動する操作が簡
単になり、作業者の視線の移動も少なくて疲労の度合い
も少なく、操作ミスも無く、また小型かつ操作の簡単な
装置で多くのカメラが接続可能となった。
【0034】また、事前に設定された拡大量に応じて自
動的に拡大、縮小することにより、操作が簡単になり、
作業者の視線の移動も少なくて疲労の度合いも少なく、
操作ミスも無くなった。
【0035】さらに、オーバレイ回路と切替回路を介し
て複数のカメラを接続したので、小型かつ操作の簡単な
装置を用いて多くのカメラが接続でき、これを容易に制
御できるようになった。
【図面の簡単な説明】
【図1】本発明を実施するための装置の構成例を示した
図である。
【図2】モニタ画面中央に目的とする被写体が拡大表示
された状態を示した図である。
【図3】本発明の実施例である方法を示したフローチャ
ートである。
【図4】オーバレイ回路の構成例を示した図である。
【符号の説明】
1 モニタ 1a モニタ画面 2e カメラ視野 3 制御装置 4 ポイント入力装置 5a カメラ 5b カメラ架台 7 被写体 7a,7b 被写体 110 NTSC信号変換部 120 色相別信号メモリ部 130 デジタル/アナログ変換部 131 アナログRGBオーバーレイ制御部 140 パソコンインターフェース制御部
フロントページの続き (56)参考文献 特開 平7−135649(JP,A) 特開 平1−114171(JP,A) (58)調査した分野(Int.Cl.6,DB名) H04N 7/18 G06F 3/037

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 モニタ画面上の目的とする被写体をポイ
    ント入力装置で指定し、 カメラから画角情報を入力し、 この画角情報からモニタ画面1ドットあたりの角度を算
    出し、 画面中央と指定された被写体とのモニタ画面上での距離
    (ドット数)を算出し、 この距離(ドット数)に前記1ドットあたりの角度を乗
    じて相対角度差を算出し、 この相対角度差をそのまま用い、あるいは絶対値データ
    を求めてカメラの移動情報とし、 事前に拡大量が設定されている場合には設定されている
    拡大量から新たな画角情報を求め、 前記移動情報を送出する際にカメラにこの新たな画角情
    報を送出することを特徴とするカメラ画像内の目的とす
    る被写体の高速導入制御方法。
  2. 【請求項2】 オーバレイ回路と切替回路を介して複数
    台のカメラを制御装置に接続し、 必要なカメラに自動的に接続することを特徴とした請求
    項1に記載のカメラ画像内の目的とする被写体の高速導
    入制御方法。
  3. 【請求項3】 被写体を映像信号に変換するカメラと、 このカメラを旋回させるカメラ架台と、 前記カメラからの画像をモニタ画面上に表示するモニタ
    と、 モニタ画面上の目的とする被写体を指定するポイント入
    力装置と、 これらと接続される制御装置とを有し、 前記モニタ画面上に表示された画像から目的とする被写
    体をポイント入力装置で指定し、 前記カメラから画角情報を入力して、この画角情報から
    モニタ画面1ドットあたりの角度を算出し、 画面中央と指定された被写体とのモニタ画面上での距離
    (ドット数)を算出し、 この距離(ドット数)に前記1ドットあたりの角度を乗
    じて相対角度差を算出し、 この相対角度差をそのまま、あるいは絶対値データを求
    めてこれを移動情報とし、 事前に拡大量が設定されている場合には設定されている
    拡大量から新たな画角情報を求めて前記移動情報を送出
    する際にこの新たな画角情報をカメラ架台に送出するこ
    とを特徴とするカメラ画像内の目的とする被写体の高速
    導入制御装置。
  4. 【請求項4】 オーバレイ回路と切替回路を介して複数
    台のカメラを制御装置に接続し、 必要なカメラに自動的に接続することを特徴とした請求
    項3記載のカメラ画像内の目的とする被写体の高速導入
    制御装置。
JP7053577A 1995-02-16 1995-02-16 カメラ画像内の目的とする被写体の高速導入制御方法および装置 Expired - Fee Related JP2981408B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP7053577A JP2981408B2 (ja) 1995-02-16 1995-02-16 カメラ画像内の目的とする被写体の高速導入制御方法および装置
US08/524,276 US5671012A (en) 1995-02-16 1995-09-06 Control method and control system for high speed introduction of intended foreground subject in camera picture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7053577A JP2981408B2 (ja) 1995-02-16 1995-02-16 カメラ画像内の目的とする被写体の高速導入制御方法および装置

Publications (2)

Publication Number Publication Date
JPH08223562A JPH08223562A (ja) 1996-08-30
JP2981408B2 true JP2981408B2 (ja) 1999-11-22

Family

ID=12946696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7053577A Expired - Fee Related JP2981408B2 (ja) 1995-02-16 1995-02-16 カメラ画像内の目的とする被写体の高速導入制御方法および装置

Country Status (2)

Country Link
US (1) US5671012A (ja)
JP (1) JP2981408B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3265893B2 (ja) 1995-02-13 2002-03-18 株式会社日立製作所 画像表示装置
US6236435B1 (en) * 1998-01-06 2001-05-22 Audio Authority Corporation Apparatus and method for displaying and demonstrating a camcorder
JP2005333628A (ja) * 2004-04-23 2005-12-02 Toa Corp カメラ制御装置およびこれを用いた監視カメラシステム
JP4337614B2 (ja) * 2004-04-26 2009-09-30 カシオ計算機株式会社 電子カメラおよびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4714959A (en) * 1986-07-22 1987-12-22 Vicon Industries, Inc. Bi-directional amplifier for control and video signals in a closed circuit television system
JPH01114171A (ja) * 1987-10-27 1989-05-02 Matsushita Electric Works Ltd カメラ駆動装置
JP2703986B2 (ja) * 1989-04-07 1998-01-26 大和製衡株式会社 組合せ秤
JP2557000B2 (ja) * 1990-05-15 1996-11-27 株式会社小松製作所 操作弁装置
US5396287A (en) * 1992-02-25 1995-03-07 Fuji Photo Optical Co., Ltd. TV camera work control apparatus using tripod head
SG67927A1 (en) * 1993-10-20 1999-10-19 Videoconferencing Sys Inc Adaptive videoconferencing system
JPH07135649A (ja) * 1993-11-09 1995-05-23 Kiden:Kk 監視カメラ装置の制御システム

Also Published As

Publication number Publication date
JPH08223562A (ja) 1996-08-30
US5671012A (en) 1997-09-23

Similar Documents

Publication Publication Date Title
US5808670A (en) Method and system for camera control with monitoring area view
US5793367A (en) Apparatus and method for displaying both an image and control information related to the image
US6226040B1 (en) Apparatus for converting video signal
JP3335017B2 (ja) カメラ装置の制御装置
US5463729A (en) Image generation device
US20070177013A1 (en) Remote instruction system, remote instruction method, and program product for remote instruction
WO1994007327A1 (en) Method and apparatus for on-screen camera control in video-conference equipment
JP3363529B2 (ja) 動画表示装置
EP0637168B1 (en) Control device and control method for image input apparatus
JP2981408B2 (ja) カメラ画像内の目的とする被写体の高速導入制御方法および装置
Jedrysik et al. Interactive displays for command and control
JPH04373386A (ja) テレビ会議システム
JPH05165597A (ja) パネル制御方法およびその装置
JPH11331824A (ja) カメラ動作制御装置
JPS6231272A (ja) 雲台制御装置
WO2023095642A1 (ja) 画像処理装置、画像処理方法、プログラム
JP2896414B2 (ja) 表示装置
JPS62226786A (ja) 監視装置
JPH06303613A (ja) 多地点監視システム
JPH09102945A (ja) 監視用テレビカメラの制御方法
Jedrysik et al. The Interactive DataWall
JP3121418B2 (ja) ポインティングシステム
KR0183827B1 (ko) 펜 마우스를 이용한 감시용 카메라 원격 제어 장치 및 방법
JPH09107590A (ja) 遠隔操作システム
JPH07135649A (ja) 監視カメラ装置の制御システム

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100917

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110917

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110917

Year of fee payment: 12

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110917

Year of fee payment: 12

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110917

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120917

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 14

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees