JPH11133476A - 撮像装置 - Google Patents

撮像装置

Info

Publication number
JPH11133476A
JPH11133476A JP9297564A JP29756497A JPH11133476A JP H11133476 A JPH11133476 A JP H11133476A JP 9297564 A JP9297564 A JP 9297564A JP 29756497 A JP29756497 A JP 29756497A JP H11133476 A JPH11133476 A JP H11133476A
Authority
JP
Japan
Prior art keywords
flash
strobe
color temperature
white balance
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9297564A
Other languages
English (en)
Other versions
JP3753520B2 (ja
Inventor
Kenji Shiraishi
賢二 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP29756497A priority Critical patent/JP3753520B2/ja
Publication of JPH11133476A publication Critical patent/JPH11133476A/ja
Application granted granted Critical
Publication of JP3753520B2 publication Critical patent/JP3753520B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Exposure Control For Cameras (AREA)

Abstract

(57)【要約】 【課題】 ストロボ装置により閃光を発して撮影を行う
場合に、閃光の色温度が変化しても、適正に白を再現す
ることが可能な撮像装置を提供すること。 【解決手段】 本発明に係るデジタルカメラ1において
は、ストロボ撮影モードにおいて、制御部201は、ス
トロボ装置111の閃光を発するストロボ発光管に通電
した時間を測定して、当該通電した時間に基づいて、当
該ストロボ発光管に印加される電圧の変化量を算出して
閃光の色温度のシフト量を算出し、この算出した閃光の
色温度のシフト量とAWB評価値とに基づいて、AWB
制御値を算出し、当該AWB制御値に基づいてデジタル
信号処理回路106のホワイトバランス調整部のゲイン
を設定してホワイトバランス調整を行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、撮像装置に関
し、詳細には、ホワイトバランス調整機能を備えた撮像
装置に関する。
【0002】
【従来の技術】デジタルカメラにおいては、光の色温度
にかかわらず、白い被写体が白く色再現されるようにホ
ワイトバランス調整が行われている。この場合、ストロ
ボ装置を備えたデジタルカメラは、一般に、ストロボ撮
影(ストロボ発光)時のホワイトバランス調整をストロ
ボ光の色温度に基づいて行うように構成されている。
【0003】例えば、ストロボ装置の発光部にキセノン
管を用いた場合には、ストロボ撮影時には、ストロボ光
によって白い被写体が青側に偏って色再現されるのを防
止するため、画像全体において青色を抑え、赤色を強調
するようにホワイトバランス調整を行う。
【0004】しかし、このようなホワイトバランス調整
では、ストロボ撮影において、外光の色温度がストロボ
光の色温度と異なる場合、撮影した画像に不自然な色が
再現されてしまうことがある。
【0005】すなわち、ストロボ撮影では、ストロボ光
は、所定の距離までしか届かないので、近距離はストロ
ボ光の色温度、遠距離は外光の色温度となり、ストロボ
光の色温度に基づいてホワイトバランス調整を行うと、
近距離の画像は適正に色再現されるが、遠距離の画像を
適正に色再現することが困難になる。
【0006】また、逆に、外光に合わせてホワイトバラ
ンス調整をおこなうと、遠距離の画像は適正に色再現さ
れるが、近距離の画像を適正に色再現することが困難に
なる。
【0007】上記問題点に鑑み、ストロボ撮影におい
て、撮影した画像を適正に色再現するための電子スチル
カメラとして、例えば、特開平7−301842号公報
に記載されたものがある。
【0008】かかる特開平7−301842号公報に記
載された電子スチルカメラは、固体撮像素子を備えた撮
像部と、閃光を発する発光部を備えたストロボ装置と、
閃光の色温度と、閃光を発しないときの被写体からの光
の色温度に基づいて、撮像部からの画像信号のホワイト
バランス調整を行うホワイトバランス調整回路と、被写
体までの距離を検出する距離検出手段とを備えた電子ス
チルカメラにおいて、距離検出手段は、撮影画面上の領
域を複数に分割し、その各画面分割毎に、被写体までの
距離を検出し、ホワイトバランス調整回路は、ストロボ
装置により閃光を発して撮影する場合、被写体までの距
離に応じて、各分割画面毎にそれぞれホワイトバランス
調整を行うように構成している。
【0009】
【発明が解決しようとする課題】しかしながら、ストロ
ボの発光色は、ストロボ発光管の端子電圧によって変化
するため、発光色温度は、電圧が高いときは高色温度
(青色系)になり、電圧が低いときには低色温度(赤色
系)になってしまうという問題がある。
【0010】上記特開平7−301842号公報に記載
された電子スチルカメラにおいては、ストロボ発光時の
AWBの制御は、ストロボ発光しないときのAWB制御
値とストロボ光だけのときのAWB制御値を、測距デー
タなどを用いて加重平均しているが、ストロボ光の色温
度自体がストロボ発光管端子間電圧によりシフトしてし
まい、ストロボ撮影時に、適正な画像を得ることができ
ないという問題がある。
【0011】本発明は、上記課題に鑑みてなされたもの
であり、ストロボ装置により閃光を発して撮影を行う場
合に、閃光の色温度が変化しても、適正に白を再現する
ことが可能な撮像装置を提供することを目的とする。
【0012】
【課題を解決するための手段】上述した課題を解決し、
目的を達成するため、請求項1に係る撮像装置は、スト
ロボ装置により閃光を発して撮影を行うストロボ撮影モ
ードを備えた撮像装置において、光学系を介した被写体
光を電気信号に変換してカラー画像信号として出力する
撮像素子と、前記カラー画像信号の各色の輝度データを
AWB評価値として出力するAWB評価手段と、前記カ
ラー画像信号の少なくとも2色のホワイトバランス調整
を行うホワイトバランス調整手段と、前記ストロボ撮影
モードにおける、前記閃光の色温度のシフト量を算出す
る色温度算出手段と、前記ストロボ撮影モードにおい
て、前記算出した閃光の色温度のシフト量と前記AWB
評価値とに基づいて、AWB制御値を算出し、当該AW
B制御値に基づいて前記ホワイトバランス調整手段を制
御してホワイトバランス調整を行うホワイトバランス制
御手段と、を備えたものである。
【0013】また、請求項2に係る撮像装置は、請求項
1に係る撮像装置において、前記色温度算出手段は、前
記ストロボ装置の閃光を発するストロボ発光管に通電し
た時間を測定して、当該通電した時間に基づいて、当該
ストロボ発光管に印加される電圧の変化量を算出し、前
記閃光の色温度のシフト量を算出するものである。
【0014】また、請求項3に係る撮像装置は、請求項
1に係る撮像装置において、前記色温度算出手段は、発
光開始時と発光終了時の前記ストロボ装置の閃光を発す
るストロボ発光管の両端間電圧を測定し、当該測定した
発光開始時と発光終了時の両端間電圧の差に基づいて、
前記閃光の色温度のシフト量を算出するものである。
【0015】また、請求項4に係る撮像装置は、請求項
1に係る撮像装置において、前記色温度算出手段は、被
写体までの距離を計測し、当該計測した被写体距離に基
づいて、前記ストロボ装置のストロボ発光時間を決定
し、当該ストロボ発光時間に基づいて、前記閃光の色温
度のシフト量を算出するものである。
【0016】また、請求項5に係る撮像装置は、請求項
1に係る撮像装置において、前記色温度算出手段は、前
記ストロボ装置に、撮影のための閃光の発光の前に、プ
リ発光を行わせ、当該プリ発光の際の反射光の量から撮
影の際のストロボ発光時間を決定し、当該ストロボ発光
時間に基づいて、前記閃光の色温度のシフト量を算出す
るものである。
【0017】また、請求項6に係る撮像装置は、請求項
1〜5のいずれか1つに記載の撮像装置において、前記
ホワイトバランス調整手段は、前記カラー画像信号のゲ
インを調整し、前記ホワイトバランス制御手段は、前記
AWB制御値に基づいて前記ゲインを設定するものであ
る。
【0018】また、請求項7に係る撮像装置は、請求項
1〜5のいずれか1つに記載の撮像装置において、前記
ストロボ装置は、ストロボ発光管の両端子間電圧を任意
に設定可能であることとした。
【0019】また、請求項8に係る撮像装置は、請求項
1〜5のいずれか1つに記載の撮像装置において、更
に、前記ストロボ発光管の両端間電圧と発光色温度との
関係を示すストロボ発光管特性テーブルを記憶する記憶
手段を備え、前記ホワイトバランス制御手段は、前記ス
トロボ発光管特性テーブルを参照してホワイトバランス
調整をおこなうものである。
【0020】
【発明の実施の形態】以下に添付図面を参照して、この
発明に係る撮像装置を適用したデジタルカメラの好適な
実施の形態を詳細に説明する。
【0021】[本発明の概要]本発明に係る撮像装置
は、ストロボ撮影モード(閃光を発して撮影を行うモー
ド)で撮影する場合、AWB評価値と閃光の色温度のシ
フト量とに基づいてAWB制御値を算出し、このAWB
制御値に基づいて、ホワイトバランスの調整を行う。
【0022】以下、ストロボ装置でストロボ発光時間を
決定している場合のホワイトバランスの調整方法(実施
の形態1)と、制御回路のCPUで、ストロボ発光時間
を決定している場合のホワイトバランスの調整方法(実
施の形態2)について夫々説明する。
【0023】(実施の形態1)図1は、実施の形態1に
係るデジタルカメラの構成図である。同図において,1
は、デジタルカメラを示しており、このデジタルカメラ
1は、画像撮像部100と、カメラ操作部200と、表
示部300と、データ記録部400と、から構成されて
いる。
【0024】画像撮像部100は、レンズ101,オー
トフォーカス等を含むメカ機構102,CCD103,
CDS回路104,A/D変換器105,デジタル信号
処理回路106,画像圧縮信号回路107、フレームメ
モリ108、モータドライバ109、TimingSG
(制御信号生成)110、ストロボ装置111を備えて
いる。カメラ操作部200は、制御部201、カメラ操
作部202、EEPROM203、OSD回路204を
備えている。また、表示部300は、表示装置301か
ら構成され、データ記録部400は、データ記憶メモリ
401から構成されている。
【0025】レンズユニットは,レンズ101,オート
フォーカス(AF)・絞り・フィルター部を含むメカ機
構102等からなり,メカ機構102のメカニカルシャ
ッタは2つのフィールドの同時露光を行う。CCD(電
荷結合素子)103は,レンズユニットを介して入力し
た映像を電気信号(アナログ画像データ)に変換する。
CDS(相関2重サンプリング)回路104は,CCD
型撮像素子に対する低雑音化のための回路である。
【0026】また,A/D変換器105は,CDS回路
104を介して入力したCCD103からのアナログ画
像データをデジタル画像データに変換する。すなわち,
CCD103の出力信号は,CDS回路104を介し,
A/D変換器105により,最適なサンプリング周波数
(例えば,NTSC信号のサブキャリア周波数の整数
倍)にてデジタル信号に変換される。フレームメモリ1
08は、デジタル画像データを一時的に格納するバッフ
ァである。
【0027】デジタル信号処理部106は、デジタル画
像データに対して,R、Gのゲインを調整するホワイト
バランス調整部を備え、また、ホワイトバランス調整後
のデジタル画像データを色差(Cb,Cr)と輝度
(Y)に分離して各種処理を施す。また、デジタル信号
処理部106は、ホワイトバランス調整後のデジタル画
像データのR,G,Bの各輝度データをAWB評価値と
して制御部201に出力する。上記ホワイトバランス調
整部は、RとBのゲインを調整するためのR、B用の乗
算器を備え、制御部201により、このRとBの乗算器
にゲインが設定され、ホワイトバランス調整が施される
ことになる。画像圧縮伸長回路107は、例えばJPE
G準拠の画像圧縮・伸長の一過程である直交変換,逆直
交変換並びに,JPEG準拠の画像圧縮・伸長の一過程
であるハフマン符号化・量子化、逆量子化・逆ハフマン
符号化等を行う。
【0028】データ記憶メモリ401は、例えば、PC
カードからなり、圧縮処理された画像データを格納する
ためのものである。
【0029】制御部201は、図示しない、CPU、R
OM、RAM等からなり、このCPUは,ROMに格納
されたプログラムに従ってRAMを作業領域として使用
して、カメラ操作部202からの指示,或いは図示しな
いリモコン等の外部動作指示に従い,上記デジタルカメ
ラ内部の全動作を制御する。具体的には、制御部201
は,撮像動作、ホワイトバランス(AWB)調整動作、
ストロボ駆動等の制御を行う。モータドライバ109
は、制御部201からの制御信号に基づいて、レンズユ
ニット(レンズ101,オートフォーカス(AF)・絞
り・フィルター部を含むメカ機構102等)を駆動す
る。ストロボ装置111は、詳細は後述するが、制御部
201からの制御信号に基づいてストロボ光(閃光)を
発する。
【0030】カメラ操作部202は、デジタルカメラの
動作指示を行うためのものであり、モード選択キー(ス
トロボ撮影モード、通常撮影モード等の選択),撮影を
指示するレリーズキー,及びその他の各種設定を外部か
ら行うためのボタンを備えている。EEPROM203
は、制御部201がデジタルカメラの動作制御を行うた
めの初期データ(調整データを含む)が書き込まれてい
る。OSD回路204は、制御部201から入力される
文字情報等を表示装置301に表示するためのものであ
る。
【0031】表示装置301は,LCD,LED,EL
等で実現されており,撮影したデジタル画像データや,
データ記憶メモリ401に格納された圧縮画像データを
伸長処理した画像データを表示する。
【0032】図2は、図1のストロボ装置111の具体
的回路構成(実施の形態1)を示す図である。図2に示
すストロボ装置111においては、ストロボ装置でスト
ロボ発光時間を決定している。かかるストロボ装置11
1は、図2に示す如く、制御部201から入力される発
光開始信号及び受光回路503から入力される発光停止
信号に基づいて、発光制御信号を発光回路503に出力
する調光回路500と、制御部201から入力される充
電制御信号に基づいてメインコンデンサを充電する充電
回路501と、メインコンデンサと、メインコンデンサ
に並列に接続されたストロボ発光管及び調光回路500
から入力される発光制御信号に基づいて、メインコンデ
ンサに充電される電圧のストロボ発光管への印加のON
/OFFを行うためのトリガースイッチ(例えば、IG
BT)からなる発光回路502と、被写体の反射光を受
光する受光センサ及び当該受光センサの受光した反射光
が所定レベルとなった場合に発光停止信号を調光回路5
00に出力するコンパレータ等からなる検出回路とを備
えた受光回路503と、から構成される。
【0033】図3は、ストロボ発光管の端子間電圧(両
端間電圧)の時間特性を示す図である。発光管端子電圧
の高い方が青系のストロボ光となり、低い方が赤系のス
トロボ光となる。ストロボ発光管の端子間電圧は、発光
開始から発光終了までの間に、端子管電圧が徐々に低下
し、つづいて、急峻に低下する。
【0034】また、ストロボ装置111は、制御回路2
01からの充電制御信号によってメインコンデンサの充
電電圧を任意に設定できる。そのためストロボ発光時の
ストロボ発光管の端子管電圧を任意に設定することがで
きる。この機能を用いて、予め各端子間電圧のときのス
トロボ光の発光色温度を測定して、EEPROM203
に、ストロボ発光管の端子間電圧と発光色温度との関係
を示すストロボ発光管特性テーブル(数値化)として格
納しておく。ストロボ発光時は、このストロボ発光管特
性テーブルを用いてAWB制御値の算出を行う。
【0035】次に、上記デジタルカメラ1におけるAW
B制御に関わる動作について説明する。本発明に係るデ
ジタルカメラでは、ストロボ撮影モードで撮影する場
合、すなわち、ストロボ装置111の発光回路502か
らストロボ光(閃光)を発して撮影を行う場合に、AW
B評価値と閃光の色温度のシフト量とに基づいてAWB
制御値を算出し、ホワイトバランスの調整を行う。以
下、ストロボ発光モードにおけるホワイトバランス調整
の概略動作例を以下に具体的に説明する。以下の動作例
では、ストロボ装置111でストロボ発光時間を決定し
ている場合について説明する。すなわち、ストロボ装置
111は、ストロボ光の反射光を測定し、ある一定量に
達したところでストロボ光の発光を停止している。
【0036】<動作例1>操作者のカメラ操作部202
の入力操作により、ストロボ撮影モードが選択されてレ
リーズキーがONされると、制御部201は、先ず、ス
トロボ装置111の充電回路501に充電制御信号を出
力し、充電回路501はメインコンデンサの充電を開始
し、続いて、制御部201は、ストロボ装置111の調
光回路500に発光開始信号を出力する。調光回路50
0は、発光回路502のトリガスイッチをONするため
の発光制御信号を発光回路502のトリガスイッチのゲ
ートに出力する。制御部201は、発光制御信号が出力
されると、ストロボ発光管に通電する時間を計測するた
めにタイマをONとする。そして、発光回路502のト
リガスイッチはONとなり、ストロボ発光管の両端間に
メインコンデンサに充電された電圧が印加され、ストロ
ボ発光管から被写体に向けてストロボ光(閃光)が発せ
られる。
【0037】他方、受光回路503の光センサは、被写
体からの反射光を受光し、その検出回路は、受光センサ
の受光した反射光が所定レベルとなった場合に、発光停
止信号を調光回路500に出力する。これにより、調光
回路500は、発光回路502のトリガスイッチのゲー
トに出力している発光制御信号の出力を停止する。制御
部201は、発光制御信号が停止されると、タイマをO
FFとして、ストロボ発光管に通電した時間を計測す
る。
【0038】そして、制御部201は、EEPROM2
03に格納されたストロボ発光管特性テーブルを参照し
て、ストロボ発光管に通電した時間から閃光の色温度の
シフト量を算出し、算出した閃光の色温度のシフト量及
びRGBの各色のAWB評価値に基づいてAWB制御
値、すなわち、デジタル信号処理回路のホワイトバラン
ス調整部のRとBの乗算器に設定すべきゲインを決定
し、このRとBの乗算器に設定する。尚、AWB評価値
としては、前回の撮影時に、デジタル信号処理回路10
6から制御部201に出力されるAWB評価値を用いる
ことにしても良い。
【0039】つづいて、制御部201は、Timing
SG110に画像取り込み指示信号を送出し、これに
より、CCD103から被写体に応じた電気信号(アナ
ログ画像データ)が出力され、CDS(相関2重サンプ
リング)回路104で低雑音化され、そして、A/D変
換器105にてA/D変換されてデジタル画像データが
デジタル信号処理回路106に出力される。そして、デ
ジタル信号処理回路106のホワイトバランス調整部
で、ホワイトバランス調整がされたデジタル画像データ
は、フレームメモリ108に一旦格納される。そして、
デジタル信号処理回路106において、フレームメモリ
108に一旦格納されたデジタル画像データが、色差信
号(Cb,Cr)と輝度信号(Y)に分離され、画像圧
縮伸長回路107に出力される。画像圧縮伸長回路10
7では、デジタル画像データ(色差信号(Cb,Cr)
と輝度信号(Y))が圧縮処理され、得られる圧縮画像
データがデータ記憶メモリ401に格納される。
【0040】上記動作例1によれば、ストロボ撮影モー
ドにおいて、ストロボ装置111の閃光を発するストロ
ボ発光管に通電した時間を測定して、当該通電した時間
に基づいて、当該発光管に印加される電圧の変化量を算
出して閃光の色温度のシフト量を算出し、この算出した
閃光の色温度のシフト量とAWB評価値とに基づいて、
AWB制御値を算出し、当該AWB制御値に基づいてホ
ワイトバランス調整を行うこととしたので、簡単な回路
構成により、ストロボ装置により閃光を発して撮影を行
う場合に、閃光の色温度が変化しても、適正に白を再現
することが可能となる。
【0041】<動作例2>操作者のカメラ操作部203
の入力操作により、ストロボ撮影モードが選択されてレ
リーズキーがONされると、制御部201は、先ず、ス
トロボ装置111の充電回路501に充電制御信号を出
力し、充電回路501はメインコンデンサの充電を開始
し、続いて、制御部201は、ストロボ装置111の調
光回路500に発光開始信号を出力する。調光回路50
0は、発光回路502のトリガスイッチをONするため
の発光制御信号を発光回路502のトリガスイッチのゲ
ートに出力する。これにより、発光回路502のトリガ
スイッチはONとなり、ストロボ発光管の両端間にメイ
ンコンデンサに充電された電圧が印加され、ストロボ発
光管から被写体に向けてストロボ光(閃光)が発せられ
る。
【0042】他方、受光回路503の光センサは、被写
体からの反射光を受光し、受光回路503の検出回路
は、受光センサの受光した反射光が所定レベルとなった
場合に、発光停止信号を調光回路500に出力する。こ
れにより、調光回路500は、発光回路502のトリガ
スイッチのゲートに出力している発光制御信号の出力を
停止する。この間、図示しない電圧検出回路はストロボ
発光管の発光開始時と発光終了時の両端間電圧を検出す
る。
【0043】そして、制御部201は、ストロボ発光管
の発光開始時と発光終了時の両端間電圧の差に基づい
て、EEPROM203に格納されたストロボ発光管特
性テーブルを参照して、閃光の色温度のシフト量を算出
し、算出した閃光の色温度のシフト量及びRGBの各色
のAWB評価値に基づいてAWB制御値、すなわち、デ
ジタル信号処理回路のホワイトバランス調整部のRとB
の乗算器に設定すべきゲインを算出し、算出したゲイン
をRとBの乗算器に設定する。尚、AWB評価値として
は、前回の撮影時に、デジタル信号処理回路106から
制御部201に出力されるAWB評価値を用いることに
しても良い。
【0044】つづいて、制御部201は、Timing
SG110に画像取り込み指示信号を送出し、これに
より、CCD103から被写体に応じた電気信号(アナ
ログ画像データ)が出力され、CDS(相関2重サンプ
リング)回路104で低雑音化され、そして、A/D変
換器105でA/D変換されてデジタル画像データがデ
ジタル信号処理回路106に出力される。そして、デジ
タル信号処理回路106のホワイトバランス調整部で、
ホワイトバランス調整がされたデジタル画像データは、
フレームメモリ108に一旦格納される。そして、デジ
タル信号処理回路106において、フレームメモリ10
8に一旦格納されたデジタル画像データが、色差信号
(Cb,Cr)と輝度信号(Y)に分離され、画像圧縮
伸長回路107に出力される。画像圧縮伸長回路106
では、デジタル画像データ(色差信号(Cb,Cr)と
輝度信号(Y))が圧縮処理され、得られる圧縮画像デ
ータがデータ記憶メモリ401に格納される。
【0045】上記動作例2によれば、ストロボ撮影モー
ドにおいて、発光開始時と発光終了時のストロボ装置1
11の閃光を発するストロボ発光管の両端間電圧を測定
し、当該測定した発光開始時と発光終了時の両端間電圧
の差に基づいて、閃光の色温度のシフト量を算出し、こ
の算出した閃光の色温度のシフト量とAWB評価値とに
基づいて、AWB制御値を算出し、当該AWB制御値に
基づいてホワイトバランス調整を行うこととしたので、
簡単な回路構成により、ストロボ装置により閃光を発し
て撮影を行う場合に、閃光の色温度が変化しても、適正
に白を再現することが可能となる。
【0046】(実施の形態2)実施の形態2に係るデジ
タルカメラは、上記図1で示したデジタルカメラ(実施
の形態1)と同様のブロック構成で実現できるので、同
等機能及び構成を有する部分の説明は省略する。実施の
形態2においては、レンズユニット(レンズ101、メ
カ機構102)、CCD103,モータドライバ10
9,制御部201等により、被写体までの距離を検出す
る距離検出手段が構成されている。距離検出手段は、公
知の方法(例えば、特開平7−301842号公報に記
載されたデジタルスチルカメラの距離検出方法)により
被写体までの距離を算出することができ、詳細な説明は
省略するが、例えば、レンズ101を駆動した場合の画
像信号の空間周波数に基づいて、被写体までの距離を算
出することができる。
【0047】図4は、図1のストロボ装置111の具体
的回路構成(実施の形態2)を示す図である。図4に示
すストロボ装置111においては、制御回路201のC
PUで、ストロボ発光時間を決定している。かかるスト
ロボ装置111は、図4に示す如く、制御部201から
入力される発光開始信号及び発光停止信号に基づいて、
発光制御信号を発光回路603に出力する調光回路60
0と、制御部201から入力される充電制御信号に基づ
いてメインコンデンサを充電する充電回路601と、メ
インコンデンサと、メインコンデンサに並列に接続され
たストロボ発光管及び調光回路600から入力される発
光制御信号に基づいて、メインコンデンサに充電される
電圧のストロボ発光管への印加のON/OFFを行うた
めのトリガースイッチ(例えば、IGBT)からなる発
光回路602と、被写体の反射光を受光センサにより受
光して制御部201に出力する受光回路603と、を備
えている。
【0048】次に、本実施の形態2に係るデジタルカメ
ラ1におけるAWB制御に関わる動作について説明す
る。本実施の形態に係るデジタルカメラでは、ストロボ
撮影モードで撮影する場合、すなわち、ストロボ装置1
11の発光回路602からストロボ光(閃光)を発して
撮影を行う場合に、AWB評価値と閃光の色温度のシフ
ト量とに基づいてAWB制御値を算出し、ホワイトバラ
ンスの調整を行う。ストロボ発光モードにおけるホワイ
トバランス調整の概略動作例を以下に説明する。以下の
動作例では、制御回路201のCPUで、ストロボの発
光時間を決定している場合について説明する。
【0049】<動作例3>操作者のカメラ操作部202
の入力操作により、ストロボ撮影モードが選択されてレ
リーズキーがONされると、距離検出手段は、被写体ま
での距離を検出する。制御部201は、検出した距離デ
ータに基づいてストロボ発光時間を決定する。そして、
制御部201は、EEPROM203に格納されたスト
ロボ発光管特性テーブルを参照して、この決定したスト
ロボ発光時間から閃光の色温度のシフト量を算出し、算
出した閃光の色温度のシフト量及びRGBの各色のAW
B評価値に基づいてAWB制御値、すなわち、デジタル
信号処理回路106のホワイトバランス調整部のRとB
の乗算器に設定すべきゲインを算出し、算出したゲイン
をRとBの乗算器に設定する。尚、AWB評価値として
は、前回の撮影時に、デジタル信号処理回路106から
制御部201に出力されるAWB評価値を用いることに
しても良い。
【0050】そして、ストロボ装置111(図4参照)
の充電回路601に充電制御信号を出力し、充電回路6
01はメインコンデンサの充電を開始し、続いて、制御
部201は、ストロボ装置111の調光回路600に発
光開始信号を出力する。調光回路600は、発光回路6
02のトリガスイッチをONするための発光制御信号を
発光回路602のトリガスイッチのゲートに出力する。
これに応じて、発光回路602のトリガスイッチはON
となり、ストロボ発光管の両端間にメインコンデンサに
充電された電圧が印加され、ストロボ発光管から被写体
に向けてストロボ光が発せられる。そして、制御部20
1は、上述の決定したストロボ発光時間に達した場合に
は、発光停止信号をストロボ装置111の調光回路60
0に出力し、ストロボ発光管の発光を停止させる。
【0051】つづいて、制御部201は、Timing
SG110に画像取り込み指示信号を送出し、これに
より、CCD103から被写体に応じた電気信号(アナ
ログ画像データ)が出力され、CDS(相関2重サンプ
リング)回路104で低雑音化され、そして、A/D変
換器105でA/D変換されてデジタル画像データがデ
ジタル信号処理回路106に出力される。そして、デジ
タル信号処理回路106のホワイトバランス調整部で、
ホワイトバランス調整がされたデジタル画像データは、
フレームメモリ108に一旦格納される。そして、デジ
タル信号処理回路106において、フレームメモリに一
旦格納されたデジタル画像データが、色差信号(Cb,
Cr)と輝度信号(Y)に分離され、画像圧縮伸長回路
107に出力される。画像圧縮伸長回路107では、デ
ジタル画像データ(色差信号(Cb,Cr)と輝度信号
(Y))が圧縮処理され、得られる圧縮画像データがデ
ータ記憶メモリに格納される。
【0052】上記動作例3によれば、ストロボ撮影モー
ドにおいて、被写体までの距離を計測し、当該計測した
被写体距離に基づいて、ストロボ装置111のストロボ
発光時間を決定し、当該ストロボ発光時間に基づいて、
閃光の色温度のシフト量を算出、この算出した閃光の色
温度のシフト量とAWB評価値とに基づいて、AWB制
御値を算出し、当該AWB制御値に基づいてホワイトバ
ランス調整を行うこととしたので、簡単な回路構成によ
り、ストロボ装置により閃光を発して撮影を行う場合
に、閃光の色温度が変化しても、適正に白を再現するこ
とが可能となる。
【0053】<動作例4>操作者のカメラ操作部202
の入力操作により、ストロボ撮影モードが選択されてレ
リーズキーがONされると、制御部201は、ストロボ
装置111に、所定時間、一度プレ発光を行わせる。具
体的には、制御部201は、ストロボ装置111(図4
参照)の充電回路601に充電制御信号を出力し、充電
回路601はメインコンデンサの充電を開始し、続い
て、制御部201は、ストロボ装置111の調光回路6
00に発光開始信号を出力する。調光回路600は、発
光回路602のトリガスイッチをONするための発光制
御信号を発光回路602のトリガスイッチのゲートに出
力する。これに応じて、発光回路602のトリガスイッ
チはONとなり、ストロボ発光管の両端間にメインコン
デンサに充電された電圧が印加され、ストロボ発光管か
ら被写体に向けてストロボ光が発せられる。他方、受光
回路603の光センサは、被写体からの反射光を受光し
て受光信号として制御部201に送出する。
【0054】制御部201は、受光回路603が受光し
た反射光の量に基づいて、ストロボ発光時間を決定す
る。そして、制御部201は、EEPROM203に格
納されたストロボ発光管特性テーブルを参照して、この
決定したストロボ発光時間から閃光の色温度のシフト量
を算出し、算出した閃光の色温度のシフト量及びRGB
の各色のAWB評価値に基づいてAWB制御値、すなわ
ち、デジタル信号処理回路106のホワイトバランス調
整部のRとBの乗算器に設定すべきゲインを算出し、算
出したゲインをRとBの乗算器に設定する。尚、AWB
評価値としては、前回の撮影時に、デジタル信号処理回
路106から制御部201に出力されるAWB評価値を
用いることにしても良い。
【0055】そして、ストロボ装置111の充電回路6
01に充電制御信号を出力し、充電回路601はメイン
コンデンサの充電を開始し、続いて、制御部201は、
ストロボ装置111の調光回路600に発光開始信号を
出力する。調光回路600は、発光回路602のトリガ
スイッチをONするための発光制御信号を発光回路60
2のトリガスイッチのゲートに出力する。これに応じ
て、、発光回路602のトリガスイッチはONとなり、
ストロボ発光管の両端間にメインコンデンサに充電され
た電圧が印加され、ストロボ発光管から被写体に向けて
ストロボ光が発せられる。そして、制御部201は、上
述の決定したストロボ発光時間に達した場合には、発光
停止信号をストロボ装置111の調光回路600に出力
し、ストロボ発光管の発光を停止させる。
【0056】つづいて、制御部201は、Timing
SG110に画像取り込み指示信号を送出し、これに
より、CCD103から被写体に応じた電気信号(アナ
ログ画像データ)が出力され、CDS(相関2重サンプ
リング)回路104で低雑音化され、そして、A/D変
換器105でA/D変換されてデジタル画像データがデ
ジタル信号処理回路106に出力される。そして、デジ
タル信号処理回路106のホワイトバランス調整部で、
ホワイトバランス調整がされたデジタル画像データは、
フレームメモリ108に一旦格納される。そして、デジ
タル信号処理回路106において、フレームメモリ10
8に一旦格納されたデジタル画像データが、色差信号
(Cb,Cr)と輝度信号(Y)に分離され、画像圧縮
伸長回路107に出力される。画像圧縮伸長回路107
では、デジタル画像データ(色差信号(Cb,Cr)と
輝度信号(Y))が圧縮処理され、得られる圧縮画像デ
ータがデータ記憶メモリ401に格納される。
【0057】上記動作例4によれば、ストロボ撮影モー
ドにおいて、ストロボ装置に、撮影のための閃光の発光
の前に、プリ発光を行わせ、当該プリ発光の際の反射光
の量から撮影の際のストロボ発光時間を決定し、当該ス
トロボ発光時間に基づいて、閃光の色温度のシフト量を
算出し、この算出した閃光の色温度のシフト量とAWB
評価値とに基づいて、AWB制御値を算出し、当該AW
B制御値に基づいてホワイトバランス調整を行うことと
したので、簡単な回路構成により、ストロボ装置により
閃光を発して撮影を行う場合に、閃光の色温度が変化し
ても、適正に白を再現することが可能となる。以上の動
作により、ストロボ撮影モードにおいても、適正にホワ
イトバランス調整された画像を得ることが可能となる。
【0058】
【発明の効果】請求項1に係る撮像装置は、ストロボ装
置により閃光を発して撮影を行うストロボ撮影モードを
備えた撮像装置において、光学系を介した被写体光を電
気信号に変換してカラー画像信号として出力する撮像素
子と、カラー画像信号の各色の輝度データをAWB評価
値として出力するAWB評価手段と、カラー画像信号の
少なくとも2色のホワイトバランス調整を行うホワイト
バランス調整手段と、前記ストロボ撮影モードにおけ
る、閃光の色温度のシフト量を算出する色温度算出手段
と、ストロボ撮影モードにおいて、算出した閃光の色温
度のシフト量と前記AWB評価値とに基づいて、AWB
制御値を算出し、当該AWB制御値に基づいて前記ホワ
イトバランス調整手段を制御してホワイトバランス調整
を行うホワイトバランス制御手段と、を備えたこととし
たので、ストロボ装置により閃光を発して撮影を行う場
合に、閃光の色温度が変化しても、適正に白を再現する
ことが可能となる。以上の動作により、ストロボ撮影モ
ードにおいても、適正にホワイトバランス調整された画
像を得ることが可能となる。
【0059】また、請求項2に係る撮像装置は、請求項
1に係る撮像装置において、色温度算出手段は、ストロ
ボ装置の閃光を発するストロボ発光管に通電した時間を
測定して、当該通電した時間に基づいて、当該ストロボ
発光管に印加される電圧の変化量を算出し、閃光の色温
度のシフト量を算出することとしたので、簡単な回路構
成により、ストロボ装置により閃光を発して撮影を行う
場合に、閃光の色温度が変化しても、適正に白を再現す
ることが可能となる。以上の動作により、ストロボ撮影
モードにおいても、適正にホワイトバランス調整された
画像を得ることが可能となる。
【0060】また、請求項3に係る撮像装置は、請求項
1に係る撮像装置において、色温度算出手段は、発光開
始時と発光終了時のストロボ装置の閃光を発するストロ
ボ発光管の両端間電圧を測定し、当該測定した発光開始
時と発光終了時の両端間電圧の差に基づいて、前記閃光
の色温度のシフト量を算出することとしたので、簡単な
回路構成により、ストロボ装置により閃光を発して撮影
を行う場合に、閃光の色温度が変化しても、適正に白を
再現することが可能となる。以上の動作により、ストロ
ボ撮影モードにおいても、適正にホワイトバランス調整
された画像を得ることが可能となる。
【0061】また、請求項4に係る撮像装置は、請求項
1に係る撮像装置において、色温度算出手段は、被写体
までの距離を計測し、当該計測した被写体距離に基づい
て、前記ストロボ装置のストロボ発光時間を決定し、当
該ストロボ発光時間に基づいて、前記閃光の色温度のシ
フト量を算出することとしたので、簡単な回路構成によ
り、ストロボ装置により閃光を発して撮影を行う場合
に、閃光の色温度が変化しても、適正に白を再現するこ
とが可能となる。
【0062】また、請求項5に係る撮像装置は、請求項
1に係る撮像装置において、色温度算出手段は、前記ス
トロボ装置に、撮影のための閃光の発光の前に、プリ発
光を行わせ、当該プリ発光の際の反射光の量から撮影の
際のストロボ発光時間を決定し、当該ストロボ発光時間
に基づいて、閃光の色温度のシフト量を算出することと
したので、簡単な回路構成により、ストロボ装置により
閃光を発して撮影を行う場合に、閃光の色温度が変化し
ても、適正に白を再現することが可能となる。
【0063】また、請求項6に係る撮像装置は、請求項
1〜5のいずれか1つに記載の撮像装置において、ホワ
イトバランス調整手段は、カラー画像信号のゲインを調
整し、ホワイトバランス制御手段は、AWB制御値に基
づいてゲインを設定することとしたので、簡単な回路構
成により、ホワイトバランス調整を行うことが可能とな
る。
【0064】また、請求項7に係る撮像装置は、請求項
1〜5のいずれか1つに記載の撮像装置において、スト
ロボ装置は、ストロボ発光管の端子間電圧を任意に設定
可能であることとしたので、ストロボ発光管の発色色温
度を任意に設定することが可能となる。
【0065】また、請求項8に係る撮像装置は、請求項
1〜5のいずれか1つに記載の撮像装置において、更
に、ストロボ発光管の両端間電圧と発光色温度との関係
を示すストロボ発光管特性テーブルを記憶する記憶手段
を備え、ホワイトバランス制御手段は、ストロボ発光管
特性テーブルを参照してホワイトバランス調整をおこな
うこととしたので、ホワイトバランス調整を容易に行う
ことが可能となる。
【図面の簡単な説明】
【図1】実施の形態1に係るデジタルカメラの構成図で
ある。
【図2】図1のストロボ装置の具体的回路構成を示す図
である。
【図3】ストロボの発光時間に対するストロボ発光端子
間電圧の変化の概略図である。
【図4】実施の形態2に係るストロボ装置の具体的回路
構成を示す図である。
【符号の説明】
1 デジタルカメラ 100 画像撮像部 101 レンズ 102 メカ機構 103 CCD 104 CDS回路 105 A/D変換器 106 デジタル信号処理回路 107 画像圧縮信号回路 108 フレームメモリ 109 モータドライバ 110 TimingSG(制御信号生成) 111 ストロボ装置 200 カメラ操作部 201 制御部 202 カメラ操作部 203 EEPROM 204 OSD回路 300 表示部 301 表示装置 400 データ記録部 401 データ記憶メモリ 500 調光回路 501 充電回路 502 発光回路 503 受光回路 600 調光回路 601 充電回路 602 発光回路 603 受光回路

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】 ストロボ装置により閃光を発して撮影を
    行うストロボ撮影モードを備えた撮像装置において、 光学系を介した被写体光を電気信号に変換してカラー画
    像信号として出力する撮像素子と、 前記カラー画像信号の各色の輝度データをAWB評価値
    として出力するAWB評価手段と、 前記カラー画像信号の少なくとも2色のホワイトバラン
    ス調整を行うホワイトバランス調整手段と、 前記ストロボ撮影モードにおける、前記閃光の色温度の
    シフト量を算出する色温度算出手段と、 前記ストロボ撮影モードにおいて、前記算出した閃光の
    色温度のシフト量と前記AWB評価値とに基づいて、A
    WB制御値を算出し、当該AWB制御値に基づいて前記
    ホワイトバランス調整手段を制御してホワイトバランス
    調整を行うホワイトバランス制御手段と、 を備えたことを特徴とする撮像装置。
  2. 【請求項2】 前記色温度算出手段は、前記ストロボ装
    置の閃光を発するストロボ発光管に通電した時間を測定
    して、当該通電した時間に基づいて、当該ストロボ発光
    管に印加される電圧の変化量を算出し、前記閃光の色温
    度のシフト量を算出することを特徴とする請求項1記載
    の撮像装置。
  3. 【請求項3】 前記色温度算出手段は、発光開始時と発
    光終了時の前記ストロボ装置の閃光を発するストロボ発
    光管の両端間電圧を測定し、当該測定した発光開始時と
    発光終了時の両端間電圧の差に基づいて、前記閃光の色
    温度のシフト量を算出することを特徴とする請求項1記
    載の撮像装置。
  4. 【請求項4】 前記色温度算出手段は、被写体までの距
    離を計測し、当該計測した被写体距離に基づいて、前記
    ストロボ装置のストロボ発光時間を決定し、当該ストロ
    ボ発光時間に基づいて、前記閃光の色温度のシフト量を
    算出することを特徴とする請求項1記載の撮像装置。
  5. 【請求項5】 前記色温度算出手段は、前記ストロボ装
    置に、撮影のための閃光の発光の前に、プリ発光を行わ
    せ、当該プリ発光の際の反射光の量から撮影の際のスト
    ロボ発光時間を決定し、当該ストロボ発光時間に基づい
    て、前記閃光の色温度のシフト量を算出することを特徴
    とする請求項1記載の撮像装置。
  6. 【請求項6】 前記ホワイトバランス調整手段は、前記
    カラー画像信号のゲインを調整し、前記ホワイトバラン
    ス制御手段は、前記AWB制御値に基づいて前記ゲイン
    を設定することを特徴とする請求項1〜5のいずれか1
    つに記載の撮像装置。
  7. 【請求項7】 前記ストロボ装置は、ストロボ発光管の
    両端子間電圧を任意に設定可能であることを特徴とする
    請求項1〜5のいずれか1つに記載の撮像装置。
  8. 【請求項8】 更に、前記ストロボ発光管の両端間電圧
    と発光色温度との関係を示すストロボ発光管特性テーブ
    ルを記憶する記憶手段を備え、 前記ホワイトバランス制御手段は、前記ストロボ発光管
    特性テーブルを参照してホワイトバランス調整をおこな
    うことを特徴とする請求項1〜5のいずれか1つに記載
    の撮像装置。
JP29756497A 1997-10-29 1997-10-29 撮像装置 Expired - Fee Related JP3753520B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29756497A JP3753520B2 (ja) 1997-10-29 1997-10-29 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29756497A JP3753520B2 (ja) 1997-10-29 1997-10-29 撮像装置

Publications (2)

Publication Number Publication Date
JPH11133476A true JPH11133476A (ja) 1999-05-21
JP3753520B2 JP3753520B2 (ja) 2006-03-08

Family

ID=17848186

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29756497A Expired - Fee Related JP3753520B2 (ja) 1997-10-29 1997-10-29 撮像装置

Country Status (1)

Country Link
JP (1) JP3753520B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243786A (ja) * 2006-03-10 2007-09-20 Fujifilm Corp 撮影装置
US7499083B2 (en) * 2004-01-08 2009-03-03 Canon Kabushiki Kaisha Image sensing apparatus with white balance control and image sensing method therefor
US7598997B2 (en) 2004-01-14 2009-10-06 Ricoh Company, Ltd. Imaging apparatus and focus control method based on a number of automatic focus scan stages, and recording medium storing a program for executing such a method
US7683967B2 (en) 2003-01-21 2010-03-23 Fujifilm Corporation Digital camera having an electronic flash device LED as a flashlight source

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02278978A (ja) * 1989-04-20 1990-11-15 Canon Inc カラー撮像装置
JPH03154043A (ja) * 1989-11-13 1991-07-02 Fuji Photo Film Co Ltd カメラ
JPH0411231A (ja) * 1990-04-28 1992-01-16 Olympus Optical Co Ltd ストロボ制御装置
JPH04284091A (ja) * 1991-03-12 1992-10-08 Kyocera Corp 電子スチルカメラ
JPH09274224A (ja) * 1996-04-04 1997-10-21 Olympus Optical Co Ltd ストロボ装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02278978A (ja) * 1989-04-20 1990-11-15 Canon Inc カラー撮像装置
JPH03154043A (ja) * 1989-11-13 1991-07-02 Fuji Photo Film Co Ltd カメラ
JPH0411231A (ja) * 1990-04-28 1992-01-16 Olympus Optical Co Ltd ストロボ制御装置
JPH04284091A (ja) * 1991-03-12 1992-10-08 Kyocera Corp 電子スチルカメラ
JPH09274224A (ja) * 1996-04-04 1997-10-21 Olympus Optical Co Ltd ストロボ装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7683967B2 (en) 2003-01-21 2010-03-23 Fujifilm Corporation Digital camera having an electronic flash device LED as a flashlight source
US7683966B2 (en) 2003-01-21 2010-03-23 Fujifilm Corporation Digital camera having an electronic flash device using LED as a flash light source
US7742098B2 (en) 2003-01-21 2010-06-22 Fujifilm Corporation Digital camera with light emitting diode flash device
US7499083B2 (en) * 2004-01-08 2009-03-03 Canon Kabushiki Kaisha Image sensing apparatus with white balance control and image sensing method therefor
US7598997B2 (en) 2004-01-14 2009-10-06 Ricoh Company, Ltd. Imaging apparatus and focus control method based on a number of automatic focus scan stages, and recording medium storing a program for executing such a method
JP2007243786A (ja) * 2006-03-10 2007-09-20 Fujifilm Corp 撮影装置

Also Published As

Publication number Publication date
JP3753520B2 (ja) 2006-03-08

Similar Documents

Publication Publication Date Title
JP3607509B2 (ja) オートフォーカス装置
US7847859B2 (en) Exposure control method and imaging apparatus
JP3473552B2 (ja) デジタルスチルカメラ
JP2000078462A (ja) 電子カメラ
JP2007163561A (ja) 撮像装置及びそのプログラム
KR20070081456A (ko) 디지털 카메라
JP4759180B2 (ja) カメラ及びカメラシステム
US20110205392A1 (en) Image capture device
US7483627B2 (en) Image-taking apparatus
JP2003179807A (ja) 撮像装置
JP4355500B2 (ja) デジタルカメラ
KR101124243B1 (ko) 휴대기기용 디지털 카메라
JP2000134533A (ja) デジタルカメラ
JP3753520B2 (ja) 撮像装置
JP4374863B2 (ja) 撮像装置
JP2000156869A (ja) デジタルカメラ
JP2002357859A (ja) 閃光装置及びそれを用いた電子スチルカメラ
JP2007033745A (ja) 撮影装置
JP2003101877A (ja) 撮影装置、撮影方法、コンピュータ読み取り可能な記録媒体、及びコンピュータプログラム
JP2001222049A (ja) 撮像装置、撮像制御方法およびコンピュータ読取り可能な記録媒体
JPH11298793A (ja) 撮像装置及び撮像方法
JP5047465B2 (ja) 携帯機器用デジタルカメラ
JP4081581B2 (ja) オートホワイトバランス制御方法
JP5237722B2 (ja) 撮像装置
JP3175695B2 (ja) 撮影装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050906

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051213

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081222

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees