JP4022984B2 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JP4022984B2
JP4022984B2 JP11900398A JP11900398A JP4022984B2 JP 4022984 B2 JP4022984 B2 JP 4022984B2 JP 11900398 A JP11900398 A JP 11900398A JP 11900398 A JP11900398 A JP 11900398A JP 4022984 B2 JP4022984 B2 JP 4022984B2
Authority
JP
Japan
Prior art keywords
image signal
still image
imaging
light
storage means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP11900398A
Other languages
English (en)
Other versions
JPH11313246A (ja
Inventor
弘 高畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP11900398A priority Critical patent/JP4022984B2/ja
Publication of JPH11313246A publication Critical patent/JPH11313246A/ja
Application granted granted Critical
Publication of JP4022984B2 publication Critical patent/JP4022984B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、夜間撮影等に用いて好適な撮像装置及び撮像方法に関する。
【0002】
【従来の技術】
従来より、夜間撮影時にストロボ発光して被写体を撮影して画像信号を出力する撮像装置が提供されている。かかる撮像装置は、被写体までの距離に対応してストロボ発光を行って、夜間等の暗闇の中でも被写体の静止画の撮影を行うことができる。
【0003】
【発明が解決しようとする課題】
しかし、ストロボ発光では主となる被写体の露出を優先して行っていることから、ストロボ発光により撮像される映像は、被写体自体は確実にきれいに映るものの、その背景部分は真っ黒になってしまう。これでは、どこで撮影したものか分からなくなってしまい、例えば記念写真の場合にはその意味がなくなることもある。すなわち、1回の露出調整では、近くの被写体とその遠くにある背景とをそれぞれ良好な画質で撮影するのは困難である。
【0004】
また、逆光時の撮影では、主となる被写体が真っ黒に写るのを防止すべくストロボ撮影をすることがあるが、このとき主となる被写体の画像に比べてその背景が明るすぎてしまう。
【0005】
本発明は、このような実情に鑑みて提案されたものであり、被写体及びその背景を撮影するときにそれらの露出条件が異なる場合であっても、被写体及びその背景を良好な画質で撮影することができる撮像装置及び撮像方法を提供することを目的とする。
【0006】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る撮像装置は、被写体からの撮像光に応じた画像信号を出力する撮像手段と、発光する発光手段と、静止画の取り込みを示す入力操作が行われる操作手段と、第1の静止画像信号を記憶する第1の記憶手段と、第2の静止画像信号を記憶する第2の記憶手段と、上記操作手段の上記入力操作に同期して上記発光手段を発光させ、当該発光手段が発光したときに上記撮像手段から出力された画像信号を第1の静止画像信号として上記第1の記憶手段に記憶させ、当該発光手段が発光しなかったときに当該撮像手段から出力された画像信号を第2の静止画像信号として上記第2の記憶手段に記憶させる制御を行う制御手段と、上記第1の記憶手段が記憶する第1の静止画像信号及び上記第2の記憶手段が記憶する第2の静止画像信号を合成して出力する合成手段と、上記合成手段が合成する上記第1の静止画像信号及び上記第2の静止画像信号の合成比率の割合を調整する合成比率調整手段とを有する
また、本発明に係る撮像方法は、被写体からの撮像光に応じた画像信号を出力する撮像ステップと、発光手段を発光させる発光ステップと、静止画の取り込みを示す入力操作が行われる操作ステップと、第1の静止画像信号を第1の記憶手段に記憶させる第1の記憶ステップと、第2の静止画像信号を第2の記憶手段に記憶させる第2の記憶ステップと、上記操作ステップの上記入力操作に同期して上記発光手段を発光させ、当該発光手段が発光したときに上記撮像ステップにより出力された画像信号を第1の静止画像信号として上記第1の記憶手段に記憶させ、当該発光手段が発光しなかったときに当該撮像ステップにより出力された画像信号を第2の静止画像信号として上記第2の記憶手段に記憶させる制御を行う制御ステップと、上記第1の記憶手段が記憶する第1の静止画像信号及び上記第2の記憶手段が記憶する第2の静止画像信号を合成して出力する合成ステップと、上記合成ステップにより合成される上記第1の静止画像信号及び上記第2の静止画像信号の合成比率の割合を調整する合成比率調整ステップとを有する。
【0007】
本願発明によれば、操作手段の入力操作に同期して発光手段を発光させ、当該発光手段が発光したときに撮像手段から出力された画像信号を第1の静止画像信号として第1の記憶手段に記憶させ、当該発光手段が発光しなかったときに当該撮像手段から出力された画像信号を第2の静止画像信号として第2の記憶手段に記憶させる。合成手段は、上記第1の記憶手段が記憶する第1の静止画像信号及び上記第2の記憶手段が記憶する第2の静止画像信号を合成して出力する。合成比率調整手段は、上記合成手段が合成する上記第1の静止画像信号及び上記第2の静止画像信号の合成比率の割合を調整する。
【0008】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【0009】
本発明は、例えば図1に示す構成のディジタルスチルカメラに適用することができる。
【0010】
上記ディジタルスチルカメラは、撮像レンズ1により集光される撮像光に応じて画像信号を生成するCCDイメージセンサ2と、図示しないA/Dコンバータを介して供給される画像データを一時記憶する画像メモリ3(3a,3b)と、画像データの圧縮又は伸張処理を行うJPEGエンコーダ/デコーダ4と、被写体をストロボ発光させるストロボ回路11と、CCDイメージセンサ2の露出調整を自動的に行う自動露出回路12とを備える。
【0011】
CCDイメージセンサ2は、被写体からの撮像光に応じて画像信号を生成し、この画像信号を図示しないA/Dコンバータを介して画像メモリ3に供給する。なお、夜間等の暗闇で撮影を行うときは、ストロボ回路11は、ストロボ発光して被写体に光を照射させる。また、CCDイメージセンサ2の電子シャッタ時間は、オートモードのときは自動露出回路12により自動的に制御され、マニュアルモードのときはユーザの設定により所定値に制御できる。
【0012】
画像メモリ3a,3bは、1フィールドの画像データを記憶する容量を有するSRAM(Static Random Access Memory)からなり、ディジタル化された画像データを一時記憶する。ここで、画像メモリ3aには、例えばストロボ発光させたときの被写体の画像データAが記憶され、画像メモリ3bには、ストロボ発光させていないときの画像データBが記憶される。
【0013】
JPEGエンコーダ/デコーダ4は、画像メモリ3a,3bから読み出された画像データにそれぞれJPEG圧縮処理を行ってJPEGファイルを生成する。上記JPEGファイルは、図示しない記録手段によって記録媒体5に記録される。なお、記録媒体5としては、特に限定されるものではなく、例えばフラッシュメモリ5a,フレキシブルディスク(FD)5b,光ディスク5c等のデータを記憶しておくことができるものであればよい。このとき、記録手段として、フラッシュメモリ9aの場合は読み出し/書き込みコントローラ、FD5bの場合は磁気ヘッド、光ディスク5cの場合は光学ヘッドが該当する。
【0014】
また、JPEGエンコーダ/デコーダ4は、記録媒体5から読み出されるJPRGファイルにJPEG伸張処理を行って元の画像データA,Bを生成し、画像データAを画像メモリ3aに供給し、画像データBを画像メモリ3bに供給する。
【0015】
また、上記ディジタルスチルカメラは、画像データA,Bの合成比率を調整する合成比率調整回路6と、画像データA,Bを合成する合成回路7と、合成された画像データに基づく画像を表示する液晶ディスプレイ(Liquid Crystal Display:以下、「LCD」という。)8とを備える。
【0016】
合成比率調整回路6は、合成比率αに(−1)を乗算する乗算器6aと、乗算器6bからの値に1を加算して(1−α)を出力する加算器6bと、画像メモリ3aから読み出された画像データAにαを乗算する乗算器6cと、画像メモリ3bから読み出された画像データBに加算器6dからの(1−α)の値を乗算する乗算器6dとを備え、画像データAと画像データBとの比率をα:(1−α)に調整する。なお、合成比率αは、0以上1以下である。
【0017】
合成回路7は、乗算器6c,6dから出力された画像データA,Bを合成して、合成データCを生成するものである。合成された画像データCは、画像データAがα、画像データBが(1−α)の割合で構成される。そして、合成回路7は、合成した画像データCをLCD8及び外部出力端子9に供給する。したがって、LCD8には画像データCによる画像が表示され、また、画像データCは外部端子9を介して外部に出力される。
【0018】
また、上記ディジタルスチルカメラは、レリーズスイッチ,モード切換スイッチ等からなる操作部13と、全体を制御するコントローラ14とを備える。
【0019】
コントローラ14は、例えばレリーズスイッチが押されたときにこれに同期してストロボ発光するようにストロボ11を制御したり、操作部13の操作設定に応じて合成比率αの値を変えたり、画像メモリ3に対する画像データの書き込み/読み出し等を制御する。
【0020】
かかる構成のディジタルカメラは、露出が自動的に調整されるオートモードと、ストロボ撮影用に露出が予め所定値に設定されているストロボモードとを有する。
【0021】
そして、操作部13のモード切換スイッチが操作されると、コントローラ14は、図2に示すステップST1以下の処理を実行する。
【0022】
ステップST1において、コントローラ14は、ストロボモードに移行して、レリーズボタン押圧待ちの状態となる。そして、コントローラ14は、上記レリーズボタンが押されると、ステップST2に進む。
【0023】
ステップST2において、コントローラ14は、ストロボ11にストロボ発光させて、ステップST3に進む。
【0024】
ステップST3において、コントローラ14は、上記ストロボ発光に同期して、CCDイメージセンサ2の電子シャッタを切ってCCDイメージセンサ2の図示しないフォトトランジスタに蓄積された電荷を転送して画像信号として出力させ、CCDイメージセンサ2からの画像データAを画像メモリ3aに書き込む。そして、ユーザが操作部13のモード切換スイッチを操作してオートモードへの切り換え操作を行うと、ステップST4に進む。
【0025】
ステップST4において、コントローラ14は、オートモードに移行し、上記レリーズボタン押圧待ちの状態となる。そして、コントローラ14は、レリーズボタンが押されると、ステップST5に進む。
【0026】
ステップST5において、コントローラ14は、上記レリーズボタンの押圧に同期して、CCDイメージセンサ2の電子シャッタを切ってCCDイメージセンサ2の図示しないフォトトランジスタに蓄積された電荷を転送して画像信号として出力させる。このとき、コントローラ14は、自動露出回路12を介してCCDイメージセンサ2の露出を自動的に制御し、夜間撮影のときは、十分な露出が得られるように電子シャッタ時間をストロボ撮影の場合に比べて長く調整する。そして、コントローラ14は、CCDイメージセンサ2,図示しないA/Dコンバータを介して画像データBを画像メモリ3bに書き込んで、ステップST6に進む。
【0027】
ステップST6において、コントローラ14は、画像メモリ3a,3bから画像データをそれぞれ読み出して、これらの画像データをJPEGエンコーダ/デコーダ4に圧縮処理させる。そして、コントローラ14は、圧縮処理されたJPEGファイルを記録媒体5に記録させる。なお、記録媒体5に記録された画像データAのJPEGファイルに「***1.jpg」、画像データBのJPEGファイルに「***2.jpg」というファイル名をつけてもよい。
【0028】
以上のような処理を経て記録媒体5に記録されたストロボモード時の画像データAの画像は、図3(a)に示すように、主たる被写体である人物のみが明るく、その背景はほとんど真っ黒に映っている。一方、オートモード時の画像データBの画像は、図3(b)に示すように、人物は陰だけになっており、その背景の橋が映っている。
【0029】
つぎに、これらの画像データを読み出して1つの画像を映し出す処理について説明する。
【0030】
コントローラ14は、記録媒体5から画像データA,Bに関するJPEGファイルを読み出し、JPEGエンコーダ/デコーダ4に伸張処理をさせた後、画像データAを画像メモリ3aに書き込み、画像データBを画像メモリ3bに書き込む。コントローラ14は、画像メモリ3a,3bから画像データA,Bを読み出して、合成比率調整回路6に供給する。
【0031】
合成比率調整回路6は、コントローラ14によって合成比率αが設定されており、画像データAの比率をα、画像データBの比率を(1−α)にして、それぞれ合成回路7に供給する。合成回路7は、これらの画像データを合成して画像データCを生成してLCD8及び外部出力端子9に供給する。
【0032】
そして、LCD8に表示される画像は、例えば合成比率αが0.5の場合、図3(c)に示すように、ストロボによって人物がはっきり映し出されており、かつ、その背景である遠くにある橋もきれいに映し出される。
【0033】
以上のように、上記ディジタルスチルカメラは、夜間のような暗闇で撮影する場合において、被写体をストロボ撮影し、その背景を自動露出調整によって撮影し、これらの撮影時に得られた画像データを合成することによって、主となる被写体及びその背景の好適な露出が異なる場合であっても、上記被写体及びその背景を明るく映すことができる。
【0034】
さらに、合成比率αを調整することによって、良好な画質に調整することもできる。例えば背景にある橋の画像が少し暗い場合には、合成比率αの値を0.3にすれば、画像データAの比率が0.3、画像データBの比率が0.7になり、図3(d)に示すように、暗い背景を明るくして画質を向上させることができる。
【0035】
なお、上記ディジタルスチルカメラは、通常の撮影によって1枚だけの画像データを画像メモリ3,JPEGエンコーダ/デコーダ4を介して記録媒体5に記録することもでき、通常のフラッシュ撮影によって1枚だけの画像データを同様にして記録媒体5に記録することもできるのは勿論である。
【0036】
また、上記ディジタルスチルカメラは、逆光しているときに被写体を撮影する場合にも用いることができる。
すなわち、逆光のときに被写体を撮影すると被写体が真っ黒に写ってしまうことから、かかる弊害をなくすため、ストロボモードに移行して被写体を撮影することが必要となる。一方、オートモードでは、コントローラ14は、自動露出回路12を介して、CCDイメージセンサ2の電子シャッタ時間が短くなるように制御して、露出を少なくする。
【0037】
これにより、ディジタルスチルカメラは、逆光時の撮影であっても、被写体を真っ黒になることなく、かつ、その背景の露出も調整のされた画像データを得ることができる。
【0038】
なお、上述した実施の形態では、ストロボモードで撮影したときの画像データAと、オートモードで撮影したときの画像データBとをそのまま記録媒体5に記録する場合について説明したが、本発明はこれに限定されるものではない。
【0039】
例えば、コントローラ14は、画像メモリ3a,3bに記憶された画像データA,Bを記録媒体5に記録することなく、合成比率調整回路6,合成回路7を介して、LCD8及び外部出力端子9に供給してもよい。そして、コントローラ14は、ユーザがLCD8に表示される画像を保存しようとして操作部13に所定の操作をしたときに、画像メモリ3a,3bの画像データA,Bを読み出して記録媒体5に記録させればよい。
【0040】
また、画像データA,Bを単に合成するのではなく、例えば図3(a)に示す被写体を切り出して画像データAの一部のみを取り出し、これと画像データBとを合成してもよい。
【0041】
また、画像メモリ3a,3bとJPEGエンコーダ/デコーダ4との間に、合成比率調整回路6を設けてもよい。これにより、予め合成比率αの定まった画像データCをJPEGファイルとして記録媒体5に記憶させることができ、再生時には当該JPEGファイルを伸張するだけでよい。
【0042】
さらに、上述した実施の形態では、本発明をディジタルスチルカメラに適用した場合を例に挙げて説明したが、動画を撮影することができるカメラにも適用することができる。
【0043】
例えばユーザは動画を撮影しながらレリーズボタンを押すと、上記カメラは、その瞬間にフラッシュ発光を行って、フラッシュ発光したときのフレームの画像データを1つの画像メモリに取り込み、次のフレームの画像データを他の画像メモリに取り込めばよい。そして、再生時には、これらの画像メモリから画像データを読み出して合成すれば、良好な画質の画像データを得ることができる。
【0044】
【発明の効果】
以上詳細に説明したように、本発明によれば、操作手段の入力操作に同期して発光手段を発光させ、このときに撮像手段から出力された画像信号を第1の静止画像信号として第1の記憶手段に記憶させ、発光手段が発光しなかったときに撮像手段から出力された画像信号を第2の静止画像信号として第2の記憶手段に記憶させ、合成比率調整手段により合成比率の割合を調整して、合成手段により、第1及び第2の記憶手段に記憶される第1及び第2の静止画像信号を合成して出力することにより、被写体とその背景の好適な露出が異なる場合であっても、それぞれが良好な画質になる静止画像信号を得ることができる。
【図面の簡単な説明】
【図1】本発明を適用したディジタルスチルカメラの具体的な構成を示すブロック図である。
【図2】上記ディジタルスチルカメラのコントローラの制御内容を説明するフローチャートである。
【図3】上記ディジタルスチルカメラによって撮影された画像を説明する図である。
【符号の説明】
2 CCDイメージセンサ、3 画像メモリ、5 記録媒体、6 合成比率調整回路、7 合成回路

Claims (5)

  1. 被写体からの撮像光に応じた画像信号を出力する撮像手段と、
    発光する発光手段と、
    静止画の取り込みを示す入力操作が行われる操作手段と、
    第1の静止画像信号を記憶する第1の記憶手段と、
    第2の静止画像信号を記憶する第2の記憶手段と、
    上記操作手段の上記入力操作に同期して上記発光手段を発光させ、当該発光手段が発光したときに上記撮像手段から出力された画像信号を第1の静止画像信号として上記第1の記憶手段に記憶させ、当該発光手段が発光しなかったときに当該撮像手段から出力された画像信号を第2の静止画像信号として上記第2の記憶手段に記憶させる制御を行う制御手段と、
    上記第1の記憶手段が記憶する第1の静止画像信号及び上記第2の記憶手段が記憶する第2の静止画像信号を合成して出力する合成手段と、
    上記合成手段が合成する上記第1の静止画像信号及び上記第2の静止画像信号の合成比率の割合を調整する合成比率調整手段とを有する
    ことを特徴とする撮像装置。
  2. 上記第1の記憶手段が記憶する第1の静止画像信号及び上記第2の記憶手段が記憶する第2の静止画像信号を記録媒体に記録する記録手段をさらに有し、
    上記制御手段は、上記記録媒体から上記第1の静止画像信号及び上記第2の静止画像信号を読み出し、
    上記合成手段は、読み出された上記第1の静止画像信号及び上記第2の静止画像信号を合成して出力する
    ことを特徴とする請求項1記載の撮像装置。
  3. 上記制御手段は、再生モードになったときに、上記第1の記憶手段が記憶する上記第1の静止画像信号及び上記第2の記憶手段が記憶する上記第2の静止画像信号を読み出して上記合成手段に供給する
    ことを特徴とする請求項1記載の撮像装置。
  4. 上記合成手段により合成された静止画像信号を記録媒体に記録する記録手段をさらに有する
    ことを特徴とする請求項1記載の撮像装置。
  5. 被写体からの撮像光に応じた画像信号を出力する撮像ステップと、
    発光手段を発光させる発光ステップと、
    静止画の取り込みを示す入力操作が行われる操作ステップと、
    第1の静止画像信号を第1の記憶手段に記憶させる第1の記憶ステップと、
    第2の静止画像信号を第2の記憶手段に記憶させる第2の記憶ステップと、
    上記操作ステップの上記入力操作に同期して上記発光手段を発光させ、当該発光手段が発光したときに上記撮像ステップにより出力された画像信号を第1の静止画像信号として上記第1の記憶手段に記憶させ、当該発光手段が発光しなかったときに当該撮像ステップにより出力された画像信号を第2の静止画像信号として上記第2の記憶手段に記憶させる制御を行う制御ステップと、
    上記第1の記憶手段が記憶する第1の静止画像信号及び上記第2の記憶手段が記憶する第2の静止画像信号を合成して出力する合成ステップと、
    上記合成ステップにより合成される上記第1の静止画像信号及び上記第2の静止画像信号の合成比率の割合を調整する合成比率調整ステップとを有する
    ことを特徴とする撮像方法。
JP11900398A 1998-04-28 1998-04-28 撮像装置及び撮像方法 Expired - Lifetime JP4022984B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP11900398A JP4022984B2 (ja) 1998-04-28 1998-04-28 撮像装置及び撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11900398A JP4022984B2 (ja) 1998-04-28 1998-04-28 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
JPH11313246A JPH11313246A (ja) 1999-11-09
JP4022984B2 true JP4022984B2 (ja) 2007-12-19

Family

ID=14750598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11900398A Expired - Lifetime JP4022984B2 (ja) 1998-04-28 1998-04-28 撮像装置及び撮像方法

Country Status (1)

Country Link
JP (1) JP4022984B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2569701A (en) * 1999-12-23 2001-07-09 Wespot Ab Method, device and computer program for monitoring an area

Also Published As

Publication number Publication date
JPH11313246A (ja) 1999-11-09

Similar Documents

Publication Publication Date Title
US20040017481A1 (en) Digital camera, image pickup method, and image format conversion method
US8605162B2 (en) Digital camera having video file creating function
TWI293846B (en) Image pickup device with brightness correcting function and method of correcting brightness of image
KR100799214B1 (ko) 촬상 장치 및 촬영 방법
US20020109783A1 (en) Electronic still camera
JP2003319252A (ja) デジタルカメラ
JP4641571B2 (ja) ディジタル・スチル・カメラおよびその制御方法
KR100799213B1 (ko) 촬영장치 및 촬영방법
JP2009065320A (ja) 撮像装置
JP4022984B2 (ja) 撮像装置及び撮像方法
JP4467232B2 (ja) 画像記録装置及び方法
JP2001211376A (ja) 電子スチルカメラ
JP5144451B2 (ja) 撮像装置およびフラッシュの制御方法
JP2007013472A (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2003061103A (ja) 撮像装置およびホワイトバランス調整方法およびその動作処理プログラム
JP2004056199A (ja) デジタルカメラ
JP2001045500A (ja) 電子カメラ
JP2003338979A (ja) 撮像装置
JP2002232753A (ja) カメラ装置及び記録媒体
JP4506768B2 (ja) 撮像装置及び撮像処理方法
JP2001094927A (ja) 電子スチルカメラ
JP4829772B2 (ja) 撮影装置における画像データの再生方法
JP2001145002A (ja) 電子カメラおよび画像表示方法
JP3978996B2 (ja) 撮像装置及び撮像処理方法
JP4065057B2 (ja) 電子カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070924

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101012

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111012

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111012

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121012

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121012

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131012

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term