JP3721927B2 - デジタルカメラ及び記録媒体 - Google Patents

デジタルカメラ及び記録媒体 Download PDF

Info

Publication number
JP3721927B2
JP3721927B2 JP2000079404A JP2000079404A JP3721927B2 JP 3721927 B2 JP3721927 B2 JP 3721927B2 JP 2000079404 A JP2000079404 A JP 2000079404A JP 2000079404 A JP2000079404 A JP 2000079404A JP 3721927 B2 JP3721927 B2 JP 3721927B2
Authority
JP
Japan
Prior art keywords
image
digital camera
recording
communication means
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000079404A
Other languages
English (en)
Other versions
JP2001268424A (ja
Inventor
隆二 宇佐美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2000079404A priority Critical patent/JP3721927B2/ja
Publication of JP2001268424A publication Critical patent/JP2001268424A/ja
Application granted granted Critical
Publication of JP3721927B2 publication Critical patent/JP3721927B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Information Transfer Systems (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、遠隔操作が可能なデジタルカメラ及び記録媒体に関する。
【0002】
【従来の技術】
近年、CCD等の固体撮像素子を用いて撮像した画像をデジタル情報として各種のメモリに記録するデジタルカメラにおいては、それを例えばパーソナルコンピュータ(以下、パソコンという。)と接続することにより、双方間でシリアル通信を可能とし、デジタルカメラが逐次取り込んでいる画像(スルー画像)をパソコン側へ送り表示させたり、逆にパソコン側から送られるシャッターコマンドによってキャプチャー動作(画像を記録する動作)を行うといった遠隔操作を可能とするものがある。なお、両者間の接続にはUSB(Universal Serial Bus)等のインターフェイスが用いられている。
【0003】
【発明が解決しようとする課題】
しかしながら、前述したようなデジタルカメラの遠隔操作を可能とするシステムにおいても、スルー画像の画素数が少ない間はよいものの、デジタルカメラ側の機能の向上に伴いスルー画像の画素数が多くなり、転送するデータ量が多くなると、スルー画像をリアルタイムでパソコン側へ送りながら、パソコン側からのシャッターコマンドを瞬時に受信することが困難となる。したがって、遠隔操作が可能であるにも拘わらず、撮影する画像の確認ができなくなるという問題があった。
【0004】
本発明は、かかる従来の課題に鑑みてなされたものであり、より高品質のスルー画像をリアルタイムで外部へ転送しつつ、外部からの操作に直ちに応答した動作を行うことが可能なデジタルカメラ、及びその遠隔操作を可能とする外部制御装置を実現する制御プログラムが記録された記録媒体を提供することを目的とする。
【0005】
【課題を解決するための手段】
前記課題を解決するために請求項1のデジタルカメラにあっては、固体撮像素子を用いて被写体を撮影するデジタルカメラにおいて、外部制御装置から送られる制御コマンドを受信する第1の通信手段と、前記外部制御装置に対しスルー画像を転送する第2の通信手段と、前記第1の通信手段および前記第2の通信手段を制御する制御手段とを備えたものとした。かかる構成においては、外部制御装置との間における制御コマンドとスルー画像の送受信を、それぞれ異なる通信経路を介して同時に行うことができる。
【0006】
また、請求項2のデジタルカメラにあっては、前記第2の通信手段が前記外部制御装置との間に確立する通信経路のデータの通信速度が、前記第1の通信手段が前記外部制御装置との間に確立するデータの通信経路の通信速度よりも高速であるものとした。かかる構成においては、より多くの画素からなるスルー画像を直ちに外部制御装置へ転送することができる。
【0007】
また、請求項3のデジタルカメラにあっては、自己が有する撮影した画像を記録する記録手段と、この記録手段における画像の記録容量が所定量に達することに伴い、前記記録手段に記録されている全ての画像を前記第2の通信手段を介して前記外部制御装置に転送するとともに、前記記録手段から消去する移動手段とを備えたものとした。かかる構成においては、記録手段における画像の記録容量が所定量に達すると、記録手段に記録されている画像が自動的に外部制御装置へ転送され、かつ消去されることにより、記録手段には常に一定以上の記録容量が確保される。
【0008】
また、請求項4のデジタルカメラにあっては、撮影した画像を記録する着脱自在な記録手段と、この記録手段が装着されていない状態下で前記第1の通信手段により受信した制御コマンドに応じた撮影動作に伴い、撮影した画像を前記第2の通信手段を介して前記外部制御装置へ転送する転送手段とを備えたものとした。かかる構成においては、外部制御装置側からの制御コマンドに応じて撮影を行ったとき、撮影した画像は、記録手段が装着されているときにはその記録手段に記録される一方、それが装着されていないときには、自動的に外部制御装置側へ転送される。
【0009】
また、請求項5の記録媒体にあっては、画像を表示する表示手段を有し、かつ固体撮像素子を用いて被写体を撮影するデジタルカメラに第1の通信手段と第2の通信手段とを介して接続される外部制御装置を制御するための制御プログラムを記録した記録媒体であって、該制御プログラムは、所定の操作に応答し、当該操作に対応する制御コマンドを前記第1の通信手段を介して前記デジタルカメラに送らせ、前記第2の通信手段を介して転送された前記デジタルカメラのスルー画像を前記表示手段に表示させるプログラムを含むものとした。かかる記録媒体に記録されたプログラムを用いれば、所定の規格にあった2種類の通信手段を備えた装置を、上記デジタルカメラの遠隔操作を可能とする外部制御装置として機能させることができる。
【0010】
また、請求項6の記録媒体にあっては、前記制御プログラムは、さらに前記第2の通信手段を介して転送された前記スルー画像に基づき撮影画像を示すプレビュー画像を作成させ、かつ作成させたプレビュー画像を記録させるプログラムを含むものとした。かかる記録媒体に記録されたプログラムを用いれば、撮影画像を示すプレビュー画像を外部制御装置側で作成し記録させることができる。
【0011】
【発明の実施の形態】
以下、本発明の一実施の形態を図にしたがって説明する。図1は、本発明に係るデジタルカメラ制御システムを示す構成図である。
【0012】
すなわち本実施の形態におけるシステムは、デジタルカメラ1とパソコン2とが、互いのUSBポート同士とRS−232C同士とを接続されることにより構成されている。パソコン2は表示手段であるCRTやLCD等のモニター、OSやアプリケーション等のプログラムや各種データを記録する記録手段であるハードディスク、及びキーボードやマウス等の操作手段を備えた一般的な構成を有するものであり、ハードディスクには、デジタルカメラ1を遠隔操作するためのリンク用プログラムが格納されている。
【0013】
図2は、前記デジタルカメラ1の構造を示すブロック図である。このデジタルカメラ1は単独での使用が可能な構成を備えている。すなわち、デジタルカメラ1は、個体撮像素子であるCCDを駆動して、光学系により結像された被写体像を撮像し撮像信号として出力するCCDユニット11、CCDユニット11から取り込んだ原色または補色の画像情報に対して、ガンマー補正、エッジ強調等の画像処理を実施するとともに、オートホワイトバランス、自動露出等の制御を行う画像プロセッサー12を有している。画像プロセッサー12により各種の画像処理が施された画像データは、スルー画像として一時的にワークメモリー14に蓄えられる。また、ワークメモリー14に蓄えられた画像は、各種の操作キーからなるキーブロック15に設けられたシャッターキーの操作や、前記パソコン2側からの撮影要求に応じてJPEGモジュール13によって圧縮された後、着脱自在なコンパクトフラッシュカードやスマートメディア等の外部メモリ16に記録される。そして、ワークメモリー14に蓄えられるスルー画像や、外部メモリ16に記録された撮影画像は、エンコーダ17によってビデオ信号に加工されドライバー18を介してLCD19に表示される。
【0014】
また、前述したワークメモリー14、外部メモリ16における画像データの入出力はメモリーコントローラー20によって制御されており、さらにメモリーコントローラー20を含む各部の動作は、CPUと、その動作プログラムが格納されたROMとを備えたCPUコア21によって制御されている。さらに、CPUコア21には、データの入出力用の2つのI/Oポート、すなわち第1の通信手段であって通信速度が低速側のRS−232Cポート22と、第2の通信手段である通信速度が高速側のUSBポート23が接続されている。
【0015】
次に、以上の構成からなる本実施の形態において、図1に示したように、デジタルカメラ1がパソコン2と接続されるとともに、デジタルカメラ1が電源を投入され稼働状態にあり、かつパソコン2側においてリンク用プログラムが起動されている状態にあるときの双方の動作について説明する。
【0016】
(デジタルカメラの動作)
まず、デジタルカメラ1側の動作を図3のフローチャートにしたがって説明する。デジタルカメラ1は電源投入と共に、被写体画像の取り込みを開始し(ステップSA1)、逐次スルー画像をUSBポート23を介してパソコン2側に転送する(ステップSA2)。このとき、スルー画像の転送には、データの転送スピードを優先させる為に一定周期で画像データを転送するアイソクロナス転送という方式が用いられる。一方、デジタルカメラ1はスルー画像の転送中においては、RS−232Cポート22からのシャッターコマンドの受信の有無を常に確認しており、シャッターコマンドを受信すると(ステップSA3でYES)、直ちにキャプチャー動作(撮影動作)を実施する(ステップSA4)。このとき、もし外部メモリ16が装着されていなければ(ステップSA5でNO)、USBポート23を介してパソコン2側に撮影画像を転送する(ステップSA9)。また、その際には、転送方式を前述したアイソクロナス転送から、データを間違いなく転送することができるバルク転送方式に切り換え、転送が終了したら、転送方式を再びアイソクロナス転送に戻してスルー画像の転送を続ける。
【0017】
一方、キャプチャー動作を実施したとき外部メモリ16が装着されていれば(ステップSA5でYES)、そのまま外部メモリ16に撮影画像を記録するとともに(ステップSA6)、その時点で記録枚数が外部メモリ16に記録可能な枚数の上限に達したか否かを確認する(ステップSA7)。ここで、上限に達していなければ、スルー画像の転送をそのまま続ける(ステップSA7でNO)。一方、記録枚数が上限に達したら(ステップSA7でYES)、転送方式をバルク転送方式に切り換えて、外部メモリ16に記録してある全ての撮影画像(直前に記録した画像を含む)をUSBポート23を介してパソコン2側に転送するとともに、外部メモリ16の全記録画像を消去する(ステップSA8)。そして、転送方式をアイソクロナス転送に戻してスルー画像の転送を続け、以上の動作を繰り返す。
【0018】
(パソコンの動作)
次に、パソコン2側の動作を図4のフローチャートにしたがって説明する。デジタルカメラ1稼働中、パソコン2はUSBポート23を介してデジタルカメラ1からスルー画像を受信し、逐次それを画面に表示する(ステップSB1)。また、その間に使用者によって予め撮影用に割り当てられたキーが押されると(ステップSB2でYES)、シャッターコマンドをRS−232Cポート22を介してデジタルカメラ1に送る(ステップSB3)。引き続き、その時点で受信しているスルー画像を用いてプレビュー画像を作成するとともに、それをハードディスク内に記録する(ステップSB4)。そして、デジタルカメラ1から撮影画像や記録画像を受信しなければ(ステップSB5でNO)、スルー画像の受信及び画面表示に戻る。また、デジタルカメラ1から撮影画像や記録画像を受信したとき、つまりデジタルカメラ1において前述したステップSA8又はステップSA9の動作があったときには(ステップSB5でYES)、受信した撮影画像や記録画像をハードディスク内に記録した後(ステップSB6)、スルー画像の受信及び画面表示に戻り、以上の動作を繰り返す。
【0019】
なお、フローチャートには示さないが、スルー画像の受信及び画面表示中には、前述したシャッターコマンド以外にも、所定のキー操作が行われることに伴いキー操作に対応する制御コマンド、例えば画角を変えるためのズームコマンドや、フォーカスを合わせるためのフォーカスロックコマンドがRS−232Cポート22を介してデジタルカメラ1に直ちに送られる。
【0020】
以上のように本実施の形態においては、デジタルカメラ1とパソコン2との間での制御コマンドとスルー画像の送受信を、前者はRS−232Cを介して行い、かつ後者はそれよりも通信速度が高速なUSBポートを介して行うことにより、仮にスルー画像の画素数が多くなり、転送するデータ量が多くなっても、デジタルカメラ1がパソコン2からのシャッターコマンドを直ちに受信し、撮影動作を行うことができる。よって、パソコン2で被写体を確認しながらシャッターチャンスを逃すことなく、その画像を記録することができる。なお、撮影以外にも、前述したように画角を変えたりフォーカスを合わせる動作も遅滞なく行わせることができ、極めて良好な操作性が確保できる。
【0021】
また、本実施の形態においては、デジタルカメラ1に装着された外部メモリ16の記録枚数が上限に達すると、記録画像が自動的にパソコン2へ移動されることから、外部メモリ16の記録枚数を気にすることなく、遠隔操作によるデジタルカメラ1での撮影を行うことができ、使い勝手がよい。なお、外部メモリ16の記録画像をパソコン2へ移動する時期は、必ずしも外部メモリ16に記録枚数が上限に達する時期とする必要はない。すなわち、その時期を外部メモリ16の記録容量が予め決められた所定量に達した時期としておけばよい。そうすることにより、外部メモリ16には常に一定以上の記録容量が確保できるため、外部メモリ16に残存する記録容量を気にすることなく、遠隔操作によるデジタルカメラ1での撮影を行うことができる。また、外部メモリ16からパソコン2へ移動する記録画像は、外部メモリ16内の全ての記録画像であってもよいし、また一部の記録画像であってもよい。
【0022】
また、本実施の形態においては、外部メモリ16装着されていない場合には撮影画像が自動的にパソコン2側で記録できるため、外部メモリ16の装着の有無を気にすることなく遠隔操作による撮影を行うことができ、便利である。また、パソコン2がデジタルカメラ1から送られたスルー画像を用いてプレビュー画像を作成し、それを記録するようにしたことから、遠隔操作によって撮影した画像をパソコン2において知ることができ、都合がよい。また、デジタルカメラ1側でスルー画像を作成する必要がないため、それに要する電力消費や、CPUの処理といったデジタルカメラ1側の負担を軽減することができる。
【0023】
なお、本実施の形態においては、デジタルカメラ1をRS−232CとUSBとによってパソコン2に接続し、パソコン2による遠隔操作を可能とする場合を示したが、パソコン2以外にも、RS−232Cポート及びUSBポート23と、スルー画像を表示するLCD等の表示器と、ROM等の記録媒体とを有し、それに記録されたプログラムによって動作する装置であれば、その装置を所定のプログラムを用いて本発明に係る外部制御装置として動作させることにより、前述したようなデジタルカメラ1の遠隔操作が可能となる。また、前記パソコン2や前記外部制御装置とデジタルカメラ1との間は、RS−232C及びUSBに限らず、それ以外の他の規格の通信インターフェースを介して両者を接続してもよい。その場合においても、本実施の形態と同様に、通信速度がより速いを側をスルー画像等の転送に用いれば、より高品質のスルー画像へ対応することができる。
【0024】
【発明の効果】
以上説明したように請求項1のデジタルカメラにおいては、外部制御装置との間における制御コマンドとスルー画像の送受信を、それぞれ異なる通信経路を介して同時に行うことができるようにしたことから、スルー画像の画素数が多くなり、転送するデータ量が多くなっても、外部制御装置からの制御コマンドを遅滞なく受信することができる。よって、より高品質のスルー画像をリアルタイムで外部へ転送しながら、外部からの操作に直ちに応答した動作を行うことが可能となる。
【0025】
また、請求項2のデジタルカメラにおいては、より多くの画素からなるスルー画像を直ちに外部制御装置へ転送することができるようにしたことから、より高品質のスルー画像を外部制御装置側において表示させることが可能となる。
【0026】
また、請求項3のデジタルカメラにおいては、記録手段には常に一定以上の記録容量が確保されるようにしたことから、記録手段の記憶容量を気にすることなく遠隔操作による撮影を行うことができ、使い勝手が向上する。
【0027】
また、請求項4のデジタルカメラにおいては、外部制御装置側からの制御コマンドに応じて撮影を行ったとき、撮影した画像は、記録手段が装着されているときにはその記録手段に記録される一方、それが装着されていないときには、自動的に外部制御装置側へ転送されるようにしたことから、記録手段の装着の有無を気にすることなく遠隔操作による撮影を行うことができ、使い勝手が向上する。
【0028】
また、請求項5の記録媒体においては、それを用いることにより、所定の規格にあった2種類の通信手段を備えた装置を、上記デジタルカメラの遠隔操作を可能とする外部制御装置として機能させることができる。
【0029】
また、請求項6の記録媒体においては、撮影画像を示すプレビュー画像を外部制御装置側で作成し記録できるため、遠隔操作によって撮影した画像を外部制御装置において知ることができ、都合がよい。また、デジタルカメラ側におけるプレビュー画像の作成に要する負担を軽減させることができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態を示すシステム構成図である。
【図2】デジタルカメラのブロック図である。
【図3】遠隔操作時におけるデジタルカメラ側の動作を示すフローチャートである。
【図4】遠隔操作時におけるパソコン側の動作を示すフローチャートである。
【符号の説明】
1 デジタルカメラ
2 パソコン
16 外部メモリ
21 CPUコア
22 RS−232Cポート
23 USBポート

Claims (6)

  1. 固体撮像素子を用いて被写体を撮影するデジタルカメラにおいて、
    外部制御装置から送られる制御コマンドを受信する第1の通信手段と、
    前記外部制御装置に対しスルー画像を転送する第2の通信手段と、
    前記第1の通信手段および前記第2の通信手段を制御する制御手段と
    を備えたことを特徴とするデジタルカメラ。
  2. 前記第2の通信手段が前記外部制御装置との間に確立する通信経路のデータの通信速度が、前記第1の通信手段が前記外部制御装置との間に確立するデータの通信経路の通信速度よりも高速であることを特徴とする請求項1記載のデジタルカメラ。
  3. 自己が有する撮影した画像を記録する記録手段と、
    この記録手段における画像の記録容量が所定量に達することに伴い、前記記録手段に記録されている画像を前記第2の通信手段を介して前記外部制御装置に転送するとともに、前記記録手段から消去する移動手段と
    を備えたことを特徴とする請求項1又は2記載のデジタルカメラ制御システム。
  4. 撮影した画像を記録する着脱自在な記録手段と、
    この記録手段が装着されていない状態下で前記第1の通信手段により受信した制御コマンドに応じた撮影動作に伴い、撮影した画像を前記第2の通信手段を介して前記外部制御装置へ転送する転送手段と
    を備えたことを特徴とする請求項1,2又は3記載のデジタルカメラ制御システム。
  5. 画像を表示する表示手段を有し、かつ固体撮像素子を用いて被写体を撮影するデジタルカメラに第1の通信手段と第2の通信手段とを介して接続される外部制御装置を制御するための制御プログラムを記録した記録媒体であって、該制御プログラムは、所定の操作に応答し、当該操作に対応する制御コマンドを前記第1の通信手段を介して前記デジタルカメラに送らせ、前記第2の通信手段を介して転送された前記デジタルカメラのスルー画像を前記表示手段に表示させるプログラムを含むことを特徴とする記録媒体。
  6. 前記制御プログラムは、さらに前記第2の通信手段を介して転送された前記スルー画像に基づき撮影画像を示すプレビュー画像を作成させ、かつ作成させたプレビュー画像を記録させるプログラムを含むことを特徴とする請求項5記載の記録媒体。
JP2000079404A 2000-03-22 2000-03-22 デジタルカメラ及び記録媒体 Expired - Fee Related JP3721927B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000079404A JP3721927B2 (ja) 2000-03-22 2000-03-22 デジタルカメラ及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000079404A JP3721927B2 (ja) 2000-03-22 2000-03-22 デジタルカメラ及び記録媒体

Publications (2)

Publication Number Publication Date
JP2001268424A JP2001268424A (ja) 2001-09-28
JP3721927B2 true JP3721927B2 (ja) 2005-11-30

Family

ID=18596655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000079404A Expired - Fee Related JP3721927B2 (ja) 2000-03-22 2000-03-22 デジタルカメラ及び記録媒体

Country Status (1)

Country Link
JP (1) JP3721927B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3877577B2 (ja) 2001-11-21 2007-02-07 富士フイルムホールディングス株式会社 カメラシステム、デジタルカメラ、及びデジタルカメラの制御方法
JP2007067704A (ja) * 2005-08-30 2007-03-15 Canon Inc 画像処理システム及びその制御方法、記憶媒体、画像処理装置、及び外部装置
CN111279401B (zh) * 2017-11-02 2021-08-20 柯尼卡美能达株式会社 测量数据收集装置、其方法以及其系统
JP2021016063A (ja) 2019-07-11 2021-02-12 パナソニックIpマネジメント株式会社 撮像装置、電子端末及び撮像システム

Also Published As

Publication number Publication date
JP2001268424A (ja) 2001-09-28

Similar Documents

Publication Publication Date Title
JP4629929B2 (ja) デジタルカメラシステム及びこの制御方法
JP3743828B2 (ja) 電子カメラ
US7804520B2 (en) Image sending and receiving system, image sending apparatus and image receiving apparatus
JP2011077654A (ja) 撮像装置、その制御方法、及びプログラム
JP3956431B2 (ja) 合成写真機能付き電子カメラ
JP3721927B2 (ja) デジタルカメラ及び記録媒体
JP3885013B2 (ja) 撮像装置、撮像装置制御方法、その記録媒体およびそのプログラム
EP2063627A2 (en) Electronic camera and image transfer method used in electronic camera
JP2003264729A (ja) 電子カメラ
JP3501411B2 (ja) 撮像装置
JP2011024097A (ja) 撮像装置、撮影処理方法及びプログラム
JP4396562B2 (ja) 撮像装置、及び画質表示方法
JP2002009991A (ja) 情報処理装置およびシステムとそれらの方法及び記憶媒体
JP4276763B2 (ja) 電子カメラ装置
JP4396579B2 (ja) 電子カメラ、ズーム範囲表示方法、及びプログラム
JP2005286654A (ja) デジタルカメラ及びファイル送信プログラム
JP2002152557A (ja) 電子カメラ装置および画像処理装置
JP2008236692A (ja) 撮影装置およびその撮像画像データ処理方法
JP2017085338A (ja) 撮像装置、その制御方法とプログラム
JP2007072210A (ja) 撮像装置、その制御方法およびプログラム
JP2005311875A (ja) 電子カメラ、カメラシステムおよび画像処理プログラム
JP5200815B2 (ja) 撮像装置及びそのプログラム
JP2006166184A (ja) 撮像装置
JP2008228073A (ja) 撮像装置、画像転送方法及びコンピュータプログラム
JP2007049632A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050905

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3721927

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130922

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees