JPH11109501A - リモコン雲台制御装置 - Google Patents

リモコン雲台制御装置

Info

Publication number
JPH11109501A
JPH11109501A JP9265684A JP26568497A JPH11109501A JP H11109501 A JPH11109501 A JP H11109501A JP 9265684 A JP9265684 A JP 9265684A JP 26568497 A JP26568497 A JP 26568497A JP H11109501 A JPH11109501 A JP H11109501A
Authority
JP
Japan
Prior art keywords
shot
camera
image
photographing
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9265684A
Other languages
English (en)
Other versions
JP3922478B2 (ja
Inventor
Akira Higo
晶 肥後
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Original Assignee
Fuji Photo Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Optical Co Ltd filed Critical Fuji Photo Optical Co Ltd
Priority to JP26568497A priority Critical patent/JP3922478B2/ja
Publication of JPH11109501A publication Critical patent/JPH11109501A/ja
Application granted granted Critical
Publication of JP3922478B2 publication Critical patent/JP3922478B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)

Abstract

(57)【要約】 【課題】撮影用テレビカメラの他にショット確認用のテ
レビカメラを設け、設定された各ショットのリアルタイ
ム画像を表示することによって、正確で迅速なショット
内容の把握を可能とするリモコン雲台制御装置を提供す
る。 【解決手段】リモコン雲台14に搭載した撮影用カメラ
12の他に確認用カメラ18を設け、確認用カメラ18
によって撮影用カメラ12の撮影可能範囲16の全域を
カバーする映像を取得する。一方、コンピュータ本体2
2は、特定の撮影位置(ショット)を規定するパン、チ
ルト、ズーム、フォーカスの各パラメータのデータ(シ
ョットデータ)に基づいてショットの枠(フレーム)を
規定する4隅の座標を算出する。その算出結果を利用し
て、画像処理装置20は、確認用カメラ18が捕らえた
映像のうちからショットに対応する枠部分の画像を抽出
し、これをディスプレイ24の画面上に動画情報として
表示する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はリモコン雲台制御装
置に係り、特に、テレビ会議システム等に用いられ、特
定の撮影位置(ショット)の設定/呼び出しが可能なシ
ョット機能を具備したリモコン雲台制御装置に関する。
【0002】
【従来の技術】リモコン雲台は、テレビカメラ等を搭載
して操作ユニットからの遠隔操作によりカメラのパン・
チルト動作やフォーカス、ズーム調整等を行うものであ
る。例えば、テレビ会議システムでは、会議室に設置さ
れたリモコン雲台を離れた場所から操作して、発言者や
説明パネルなど所望の被写体を撮影できるようになって
いる。
【0003】また、座席に座った発言者の顔や説明パネ
ル、机上に置かれた模型など、特定のショットについて
パン、チルト、ズーム、フォーカスの各ポジションを予
め設定しておき、これら特定のショットをボタン操作に
よって呼び出して、自動的にそのショットにカメラを制
御する機能(ショット機能)も知られている。そして、
かかるショット機能を具備したリモコン雲台制御装置に
おいて、設定された各ショットの静止画を表示装置の画
面上に同時に表示して、操作者のショット選択判断を支
援する手段を備えたものもある。
【0004】
【発明が解決しようとする課題】しかしながら、従来の
リモコン雲台制御装置では、表示装置に表示されるショ
ットの画像は静止画であって過去に撮影されたものであ
るため、ショットを呼び出した場合、表示装置に表示さ
れていた静止画と実際の撮影内容とが大きく相違する場
合がある。
【0005】本発明はこのような事情に鑑みてなされた
もので、設定された各ショットのリアルタイム画像を表
示することによって、正確で迅速なショット内容の把握
を可能とするリモコン雲台制御装置を提供することを目
的とする。
【0006】
【課題を解決するための手段】本発明は前記目的を達成
するために、パン、チルト、ズーム、フォーカスの4要
素から成る特定の撮影位置を記憶するショット記憶手段
を有し、外部操作に応じて前記ショット記憶手段から情
報を呼び出して、テレビカメラを前記撮影位置に自動的
に制御するリモコン雲台制御装置において、前記テレビ
カメラの撮影可能範囲の全域を撮影できる画角を有した
確認用カメラと、前記撮影可能範囲のうち、前記撮影位
置に設定されたテレビカメラが撮影する撮影領域の境界
を規定する枠の位置を求める枠位置演算手段と、確認用
カメラで撮影した映像信号から前記枠位置演算手段で求
めた枠に対応する部分の画像を抽出する画像処理手段
と、前記画像処理手段で抽出した部分の画像を動画情報
として表示画面上に表示する表示装置と、を備えたこと
を特徴としている。
【0007】本発明によれば、リモコン雲台に搭載した
撮影用のテレビカメラの他に、確認用カメラを用意し、
この確認用カメラで撮影用のテレビカメラの撮影可能範
囲の全域を1画面で捕らえている。一方、ショット記憶
手段には、撮影用のテレビカメラのパン、チルト、ズー
ム、フォーカスの4つのパラメータで規定される特定の
撮影位置(ショット)が記憶される。このショット設定
に際し、その撮影位置にセットされたテレビカメラが捕
らえる撮影領域の枠の位置を枠位置演算手段で計算によ
り求めている。そして、確認用カメラで撮影した映像の
うち、枠位置演算手段で求めた枠部分の画像を画像処理
手段で抽出し、これを表示装置の表示画面上に動画情報
として表示するようになっている。
【0008】これにより、ショット記憶手段に記憶され
た各ショットに対応するリアルタイム画像を表示画面上
に得ることができ、正確で迅速なショットの把握が可能
となる。特に、ショット記憶手段に記憶した複数の撮影
位置について、各撮影位置に対応した動画情報を表示画
面上に同時に表示することにより、各ショット内容を一
層容易に把握することができる。
【0009】
【発明の実施の形態】以下添付図面に従って本発明に係
るリモコン雲台制御装置の好ましい実施の形態について
詳説する。図1は、本発明の実施の形態に係るリモコン
雲台制御装置の構成例を示すブロック図である。リモコ
ン雲台制御装置10は、主として、撮影用のテレビカメ
ラ(撮影用カメラ)12が搭載されたリモコン雲台14
と、テレビカメラ12の撮影可能範囲16の全域を1画
面で撮影することができる確認用のテレビカメラ(確認
用カメラ)18と、確認用カメラ18からの映像信号を
処理する画像処理装置20と、撮影用カメラ12の映像
信号及び画像処理装置20からのデータに基づいて種々
の信号処理を行うコンピュータ本体22と、コンピュー
タ本体22に接続されたディスプレイ24と、から構成
される。尚、符号26は入力装置としてのキーボードで
ある。
【0010】リモコン雲台14は、図示せぬパン駆動用
モータ、及びチルト駆動用モータを有しており、これら
モータによって雲台のパン軸及びチルト軸が回転駆動さ
れ、撮影用カメラ12のパン/チルト動作が行われる。
また、撮影用カメラ12には、図示せぬフォーカス駆動
用モータ、及びズーム駆動用モータを含む駆動ユニット
が設けられ、フォーカス駆動用モータの回転駆動力によ
ってレンズ部13のフォーカスレンズ群が光軸に沿って
前後に移動してフォーカス調整が行われ、ズーム駆動用
モータの回転駆動力によってレンズ部13の変倍レンズ
群が光軸に沿って前後に移動してズーミングが行われ
る。
【0011】また、リモコン雲台14は、図示せぬ操作
ユニットに通信回線(例えば、シリアル通信回線)を介
して接続され、この操作ユニットによって遠隔操作され
る。操作ユニットは、パン/チルト動作を指示するジョ
イスティック、ズーム操作レバー、フォーカス操作ツマ
ミ等の操作手段と、ショット設定モードスイッチ(メモ
リースイッチ)及びショット選択スイッチ(ショットボ
タン)等のショット機能に関する各種スイッチ手段とを
備えている。
【0012】ジョイスティックは、撮影用カメラ12の
パン/チルト動作の方向と動作速度を指示するものであ
り、ジョイスティックの左右方向の操作によってパンニ
ングを指示し、上下方向の操作によってチルティングを
指示する。そして、ジョイスティックの傾倒角度によっ
て動作速度を指示することができる。ズーム操作レバー
は、例えば、中立位置を基準に揺動自在な所謂シーソー
スイッチで構成され、ズーム操作レバーの揺動操作方向
によってテレ(T)方向又はワイド(W)方向をズーム
方向を指示し、その押し込み量(操作量)によってズー
ムスピードを指示することができる。また、フォーカス
操作ツマミを時計回転方向に回転操作すると、フォーカ
スが無限遠(∞)側に移動し、反時計回転方向に回転操
作するとフォーカスが至近側に移動するように構成され
る。
【0013】これにより、操作者(オペレータ)は、撮
影用カメラ12で撮影した映像を図示せぬモニタによっ
て確認しながら、ジョイスティック、ズーム操作レバ
ー、及びフォーカス操作ツマミ等を操作して所望の被写
体を撮影できる。ショット設定モードスイッチは、特定
の撮影位置(ショット)をメモリ(ショット記憶手段)
に記憶させるモードに設定するための操作スイッチ手段
である。特定のショットは、パン方位、チルト角度、ズ
ームポジション、フォーカスポジションの4つの要素で
規定され、ショット記憶に際しては、これら4つのパラ
メータのデータがメモリに記録される。尚、ショットに
関するデータを記憶する手段(メモリ)は操作ユニット
側に設けてもよいし、リモコン雲台14本体側に設けて
もよい。
【0014】ショット選択スイッチ(ショットボタン)
は、第1番から第n番(nは自然数)まで複数ショット
分のスイッチが設けられ、各スイッチにそれぞれ特定の
ショットが関連付けられる。そして、所望の番号のショ
ットボタンを操作することによってメモリから情報を呼
び出し、撮影用カメラを目的の撮影位置に自動的に制御
する。
【0015】また、上述したショット設定の際に、その
設定ショットに関するパン、チルト、ズーム、フォーカ
スの各パラメータのデータ(ショットデータ)はコンピ
ュータ本体22に導かれ、I/Oポート28を介して中
央処理装置(CPU)30に入力される。図1に示した
ように撮影用カメラ12の撮影可能範囲16に対して仮
想座標系が設定され、CPU30は前記ショットデータ
に基づいて、ショットの枠(フレーム)を規定する4隅
の座標(枠の位置)を算出し、その結果を画像処理装置
20の画像抽出回路32に通知する。
【0016】例えば、図1のように、撮影可能範囲16
の左下隅を基準原点O(0,0)として800×600
の座標系を定めた場合、図中で示すショットを設定す
る時に該ショットの枠位置を規定する4点A(320,
200)、B(600,200)、C(600,40
0)、D(320,400)の座標値を求めて(図2参
照)、その座標値を画像処理装置20に通知する。
【0017】確認用カメラ18のレンズ部19には、撮
影用カメラ12の撮影可能範囲(全撮影範囲)16をカ
バーする広角レンズが用いられ、撮影用カメラ12の全
撮影範囲を1画面で捕らえることができるように所定の
位置(撮影用カメラ12の上部等)に設置される。そし
て、確認用カメラ18から出力される映像信号(例え
ば、NTSC方式等のビデオ信号)は画像処理装置20
に導かれるようになっている。
【0018】画像信号処理装置20は、アンプ34、A
/D変換器36、画像抽出回路32、及びCODEC
(COmpression/DECompression)処理回路38を有し、確
認用カメラ18から入力されるビデオ信号をA/D変換
器36によってデジタル化するとともに、コンピュータ
本体22のCPU30から通知されるショットの枠位置
を示すデータに基づいて、その枠部分(枠内)の画像信
号を画像抽出回路32で抽出する。こうして、ショット
に対応した画像を抽出した後、その画像データをCOD
EC処理回路38においてMPEG(moving picture e
xperts group) 等の所定の規格に従ってCODEC処理
する。CODEC処理回路38で所定の形式で符号化さ
れた画像データ(動画情報)は、通信回線を介してして
コンピュータ本体22に伝送される。
【0019】撮影用カメラ12のプリセット位置として
設定される全ショット(例えば、図1中、、で示
すショット)について上述した画像抽出処理を実行する
ことにより、コンピュータ本体22は各ショットに対応
した動画情報を入手することができる。コンピュータ本
体22は、画像処理装置20から入力された動画情報を
解読(デコード)するCODEC処理回路40と、それ
ぞれの動画情報をSVGA(super video graphics ar
ray )等の所定の規格の表示画面に展開させる表示処理
回路42とを有している。そして、各ショット、、
に対応した動画がディスプレイ24の画面上に同時に
表示される。
【0020】次に、上記の如く構成されたリモコン雲台
制御装置の作用について説明する。特定のショットを設
定(プリセット)する場合には、先ず、ショット設定モ
ードスイッチを押圧操作(ON)し、ショット設定(記
憶)モードにする。次いで、操作ユニットのジョイステ
ィック、ズーム操作レバー及びフォーカス操作ツマミを
適宜操作して所望のショットに合わせる。記憶させるべ
きショットが定まったら、当該ショットを関連付けるシ
ョット番号のショットボタンを押圧操作して、ショット
を規定する設定値のデータをメモリに記憶させる。こう
して、メモリには設定ショットのズームポジション
(Z)、フォーカスポジション(F)、パン位置
(P)、及びチルト角度(T)の4要素の値がショット
番号と共に格納される。
【0021】また、この設定値のデータ(ショットデー
タ)は、I/Oポート28を介してコンピュータ本体2
2のCPU30に入力される。CPU30は、かかるシ
ョットデータに基づいてショット画面の枠を規定する4
隅の各座標値を計算によって導き出す。こうして導き出
されたショットの枠位置を示す座標値を画像処理装置2
0の画像抽出回路32に通知する。画像処理装置20で
は、確認用カメラ18が捕らえた映像(撮影用カメラ1
2の撮影可能範囲16の全域をカバーする映像)のう
ち、CPU30から通知された枠位置部分の画像情報
(動画情報)だけを切り出して所定の形式に符号化す
る。そして、この動画情報をコンピュータ本体22に出
力する。
【0022】上述の工程を、必要なショットの数だけ実
行する。即ち、図1の例では、撮影可能範囲16の中央
の人物を撮影するショット、中央の人物と左側の人物
とを撮影するショット、及びテーブル上の花を撮影す
るショットの3ショット分のショット設定、及びそれ
らに対応する画像抽出を行う。こうして、各ショットに
対応した動画情報をコンピュータ本体22に入力し、コ
ンピュータ本体22においてそれぞれの動画情報をSV
GA等の表示画面に展開表示する。これにより、ディス
プレイ24上に各ショット、、に対応する動画を
同時に表示することができ、操作者は、設定ショットの
リアルタイム画像を正確に把握することができる。
【0023】従って、その後の撮影操作においては、デ
ィスプレイ24に表示される動画情報を確認しながら、
所望のショットを選択することができる。操作ユニット
のショットボタンを押圧操作(ON)すると、選択され
たショットボタンに関連付けられたショットデータがメ
モリから呼び出される。そして、メモリから呼び出した
ショットデータに基づいて、雲台本体14及び撮影用カ
メラ12のレンズ部13が制御され、ショットデータが
示すパン位置、チルト角度、ズームポジション、フォー
カスポジションが自動的に再現される。
【0024】本発明の他の実施の形態として、リモコン
雲台14及び撮影用カメラ12の動作を制御する操作ユ
ニットの機能をコンピュータ本体22に兼備させること
も可能である。更に、ディスプレイ24の表示画面上に
タッチパネルを設け、画面に表示される動画のうち、呼
び出そうとするショットの動画表示部分を指で触れるこ
とによって、ショットを再現できるように構成してもよ
い。
【0025】また、上記実施の形態では、各ショットに
対応する複数の動画を1つのディスプレイ24に同時に
表示する場合を例に説明したが、撮影用カメラで実際に
撮影している映像も該ディスプレイ24上に併せて表示
することも考えられる。また、各ショットに対応する動
画を表示する専用のモニタを複数台設け、1つのモニタ
に1つの動画を表示させる態様も可能である。
【0026】
【発明の効果】以上説明したように本発明に係るリモコ
ン雲台制御装置によれば、リモコン雲台に搭載した撮影
用のテレビカメラの他に確認用カメラを設け、確認用カ
メラによって撮影用のテレビカメラの撮影可能範囲の全
域をカバーする映像を取得するとともに、その映像のう
ち枠位置演算手段で求めた特定のショットの枠部分の画
像を画像処理装置で抽出し、これを表示装置の表示画面
上に動画情報として表示するようにしたので、ショット
記憶手段に記憶された各ショットに対応するリアルタイ
ム画像を表示画面上に得ることができる。これにより、
正確で迅速なショットの把握が可能となる。
【0027】特に、設定された複数の撮影位置につい
て、各撮影位置に対応した動画情報を表示装置の画面上
に同時に表示することにより、各ショット内容を一層容
易に把握することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係るリモコン雲台制御装
置の構成例を示すブロック図
【図2】ショットの枠位置を規定する座標値の例を示す
説明図
【符号の説明】
10…リモコン雲台制御装置 12…撮影用カメラ(テレビカメラ) 14…リモコン雲台 16…撮影可能範囲 18…確認用カメラ 20…画像処理装置 22…コンピュータ本体 24…ディスプレイ(表示装置) 30…中央処理装置(枠位置演算手段) 32…画像抽出回路

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 パン、チルト、ズーム、フォーカスの4
    要素から成る特定の撮影位置を記憶するショット記憶手
    段を有し、外部操作に応じて前記ショット記憶手段から
    情報を呼び出して、テレビカメラを前記撮影位置に自動
    的に制御するリモコン雲台制御装置において、 前記テレビカメラの撮影可能範囲の全域を撮影できる画
    角を有した確認用カメラと、 前記撮影可能範囲のうち、前記撮影位置に設定されたテ
    レビカメラが撮影する撮影領域の境界を規定する枠の位
    置を求める枠位置演算手段と、 確認用カメラで撮影した映像信号から前記枠位置演算手
    段で求めた枠に対応する部分の画像を抽出する画像処理
    手段と、 前記画像処理手段で抽出した部分の画像を動画情報とし
    て表示画面上に表示する表示装置と、 を備えたことを特徴とするリモコン雲台制御装置。
  2. 【請求項2】 前記ショット記憶手段には、複数の撮影
    位置に関する情報が記憶され、前記表示装置には各撮影
    位置に対応した動画情報が同時に表示されることを特徴
    とする請求項1のリモコン雲台制御装置。
JP26568497A 1997-09-30 1997-09-30 リモコン雲台制御装置 Expired - Fee Related JP3922478B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26568497A JP3922478B2 (ja) 1997-09-30 1997-09-30 リモコン雲台制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26568497A JP3922478B2 (ja) 1997-09-30 1997-09-30 リモコン雲台制御装置

Publications (2)

Publication Number Publication Date
JPH11109501A true JPH11109501A (ja) 1999-04-23
JP3922478B2 JP3922478B2 (ja) 2007-05-30

Family

ID=17420574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26568497A Expired - Fee Related JP3922478B2 (ja) 1997-09-30 1997-09-30 リモコン雲台制御装置

Country Status (1)

Country Link
JP (1) JP3922478B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001125162A (ja) * 1999-10-29 2001-05-11 Fuji Photo Optical Co Ltd レンズ制御装置
JP2007104187A (ja) * 2005-10-03 2007-04-19 Canon Inc 撮影装置
CN112995495A (zh) * 2019-12-17 2021-06-18 佛山市云米电器科技有限公司 显示设备的摄像头调节方法、显示设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7130385B2 (ja) 2018-02-19 2022-09-05 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001125162A (ja) * 1999-10-29 2001-05-11 Fuji Photo Optical Co Ltd レンズ制御装置
JP2007104187A (ja) * 2005-10-03 2007-04-19 Canon Inc 撮影装置
CN112995495A (zh) * 2019-12-17 2021-06-18 佛山市云米电器科技有限公司 显示设备的摄像头调节方法、显示设备及存储介质

Also Published As

Publication number Publication date
JP3922478B2 (ja) 2007-05-30

Similar Documents

Publication Publication Date Title
JP3318897B2 (ja) ビデオモニタ付リモートコントローラ
JP5911201B2 (ja) カメラ装置の自動追尾制御装置及びそれを有する自動追尾カメラシステム
JP4032404B2 (ja) 操作装置
JP5591006B2 (ja) 自動追尾カメラシステムの制御装置及びそれを有する自動追尾カメラシステム
JP2001145123A (ja) 三次元表示装置用の画像撮影装置
US8023036B2 (en) Automatic focusing system focus area control
JP4243883B2 (ja) リモコン雲台システム
JP3922478B2 (ja) リモコン雲台制御装置
JPH0870398A (ja) 画像入力装置
JPS59228473A (ja) 雲台システム制御装置
JPH10294890A (ja) 自動/手動撮影カメラシステム
JPH11150675A (ja) リモート雲台システム
JP3876493B2 (ja) 情報表示方法
JPH08161031A (ja) 監視制御システム
JPH09116806A (ja) カメラ制御装置
JP3523656B2 (ja) 雲台を用いたテレビカメラ動作制御装置
JPH07116152A (ja) ディジタルx線撮影装置
JPH0730878A (ja) テレビ会議用カメラ制御装置
JP4189539B2 (ja) テレビカメラの制御装置
JP2934518B2 (ja) ビデオカメラ制御装置
JP3251342B2 (ja) テレビカメラの遠隔制御装置
JP3315554B2 (ja) カメラ制御装置
JPH09116790A (ja) カメラ制御装置
JPH02257262A (ja) 文書編集システム
JP2003259346A (ja) テレビカメラ制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070215

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100302

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110302

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110302

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110302

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110302

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120302

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120302

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130302

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130302

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140302

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees