JP3064961B2 - 電子スチルカメラ - Google Patents

電子スチルカメラ

Info

Publication number
JP3064961B2
JP3064961B2 JP9162480A JP16248097A JP3064961B2 JP 3064961 B2 JP3064961 B2 JP 3064961B2 JP 9162480 A JP9162480 A JP 9162480A JP 16248097 A JP16248097 A JP 16248097A JP 3064961 B2 JP3064961 B2 JP 3064961B2
Authority
JP
Japan
Prior art keywords
image
interpolation
electronic still
still camera
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP9162480A
Other languages
English (en)
Other versions
JPH1118047A (ja
Inventor
広明 久保
Original Assignee
ミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ミノルタ株式会社 filed Critical ミノルタ株式会社
Priority to JP9162480A priority Critical patent/JP3064961B2/ja
Priority to US09/100,799 priority patent/US7057653B1/en
Publication of JPH1118047A publication Critical patent/JPH1118047A/ja
Application granted granted Critical
Publication of JP3064961B2 publication Critical patent/JP3064961B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Color Television Systems (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、撮影した画像をデ
ジタルデータとして記録する電子スチルカメラに関す
る。
【0002】
【従来の技術】近年、画像をデジタルデータとしてメモ
リに記録する電子スチルカメラ(所謂デジタルカメラ)が
広く普及し始めている。この電子スチルカメラでは、例
えば、搭載されるCCDの画素数を多くすれば解像度が
高くなり、より良質な画像が得られるようになる。しか
し、通常、電子スチルカメラに設けられた記憶媒体の容
量は一定であるので、撮影可能なコマ数が制限されてお
り、特にデータ量の多い高解像度の画像を扱う電子スチ
ルカメラでは、撮影コマ数が少なくなる。このため、従
来では、ユーザが撮影前に解像度および画像データの圧
縮率等の画像条件を任意に設定することにより、各画像
のデータ量を制御して、撮影コマ数を確保し得る電子ス
チルカメラが知られている。
【0003】その場合、画像の解像度を低く設定すれ
ば、画像のデータ量を少なくすることができるが、低解
像度の画像が出力されるため画像品質が低下する。一
方、画像データを圧縮しても、解像度を低く設定した場
合と同様に、メモリを節約することができる。この圧縮
処理では、ユーザが設定した圧縮率が高いほど、画像デ
ータがより小さく圧縮されるが、それに伴って画像品質
への影響が大きくなり、同じデータ量の画像について
は、その圧縮処理に多くの時間が必要となる。
【0004】
【発明が解決しようとする課題】ところで、前述のよう
に画像の解像度や画像データの圧縮率を設定し得る電子
スチルカメラでは、特に画像データの圧縮率を高く設定
した場合に、その圧縮処理に時間がかかり、電子スチル
カメラ内で行なわれる画像処理が全体を通じて遅れるこ
とになる。しかも、この場合には、画像品質への影響が
大きくなる。従って、この種の電子スチルカメラでは、
画像品質の低下の割には、画像の処理速度が低下し、時
間当たりに撮影可能なコマ数が少ないという問題があっ
た。
【0005】そこで、本発明は、撮影画像サイズおよび
画像データの圧縮率の設定が可能な電子スチルカメラに
おいて、特に圧縮率を高く設定した場合に、画像品質に
見合った速度の画像処理を実行して、時間当たりより多
くのコマ数の撮影を可能とすることを目的とする。
【0006】
【課題を解決するための手段】本願の請求項1に係る発
明(以下、第1の発明という)は、ユーザが撮影前に撮影
画像サイズおよび画像データの圧縮率を設定することが
できる電子スチルカメラにおいて、ユーザが設定した圧
縮率に応じて、画像データを構成するR,G,Bの各色デ
ータの欠落画素を補間する画素補間部に設けられた複数
の補間手段から所定の補間手段が選択されることを特徴
としたものである。
【0007】また、本願の請求項2に係る発明(以下、
第2の発明という)は、上記画素補間部において、ユー
ザが撮影前に設定した圧縮率とともに撮影画像サイズに
応じて、上記複数の補間手段から所定の補間手段が選択
されることを特徴としたものである。補間手段は、全体
的な画像処理が、ユーザが設定した圧縮率および撮影画
像サイズに基づく画像品質に見合った速度で実行される
ように、処理速度の異なる複数の補間手段から最適なも
のが選択される。
【0008】また、本願の請求項3に係る発明(以下、
第3の発明という)は、上記請求項1に係る発明におい
て、上記画素補間部が、補間手段として、平均法および
メディアン法を有していることを特徴としたものであ
る。
【0009】更に、本願の請求項4に係る発明(以下、
第4の発明という)は、上記圧縮率が高いほど、上記画
素補間部において処理速度の速い補間手段が選択される
ことを特徴としたものである。
【0010】
【発明の実施の形態】以下、本発明の実施の形態を、添
付図面を参照して詳細に説明する。図1に示すように、
本実施の形態に係る電子スチルカメラ1は、シャッタボ
タン2と、撮像レンズ6と、内蔵されたCCD8とを有
している。また、この電子スチルカメラ1には、CCD
8で変換された電気信号に所定の処理を行った画像デー
タを記憶するメモリカード(不図示:後述する図2参照)
を挿入して接続するカード挿入口5が設けられており、
カード挿入口5に接続されたメモリカードは、カード取
り出しボタン4を押すことによりカード挿入口5から取
り出される。上記電子スチルカメラ1では、シャッタボ
タン2を押すと、上記CCD8上に、撮像レンズ6によ
って画像が結ばれ、CCD8により光の信号が電気信号
に変換される。この電気信号が、画像データとしてデジ
タルデータに変換され処理される。
【0011】図2は、上記電子スチルカメラ1のブロッ
ク構成図である。図2に示すように、電子スチルカメラ
1は、上記撮像レンズ6と、撮像レンズ6からの入射光
を光量制御する光学絞り7と、光電変換用のCCD8
と、これら光学系の撮影動作を制御するためのカメラ制
御CPU24と、上記CCD8で得られた電気信号をサ
ンプリングしてノイズ除去するCDS9と、ゲインを自
動制御して感度補正するAGC(auto gain control)
10と、電気信号のアナログ/デジタル変換(以下、A
/D変換という)を行うA/D変換部11と、上記各構
成部を経て得られたデジタル信号に所定の画像処理を施
す画像処理CPU12とを有している。
【0012】この画像処理CPU12は、画像データを
色分離して得られた各色の画像データに対してそれぞれ
補間処理を行う画素補間部13と、各色の画像データに
対して各々の周波数を帯域制御する帯域補正部14と、
各色を独立に色補正するカラーバランス制御部15と、
入力信号の階調変換を行うガンマ補正部16と、画像デ
ータを圧縮する画像圧縮部17と、画像データを符号化
して内蔵モニタ20又は外部モニタ21に出力するビデ
オエンコーダ18と、上記メモリカード22に対して画
像データを供給するメモリカードドライバ19とからな
る。
【0013】光学系の撮影動作を制御する上記カメラ制
御CPU24の入力側には、上記シャッタボタン2(図
1参照)および撮影前に撮影画像サイズや圧縮率等を設
定することができる画像条件設定スイッチを含むカメラ
操作スイッチ27と、撮影時に光量・色を測定するため
の測光・測色センサ28と、フラッシュ29とが接続さ
れている一方、出力側には、上記光学絞り7を駆動させ
る絞りドライバ25と、上記CCD8の露光時間を制御
するタイミングジェネレータCCDドライブ26と、上
記AGC10とが接続されている。このカメラ制御CP
U24では、上記測光・測色センサ28により測定され
た光量や色に基づいて露出制御データが演算され、この
露出制御データにより上記光学絞り7の絞り値,CCD
8の蓄積時間(すなわち電子シャッタ速度)、及び、AG
C10のゲインが制御される。なお、カメラ制御CPU
24は、データバスを介して、上記画像処理CPU12
に接続されている。
【0014】以上の構成を備えた電子スチルカメラ1で
は、撮影前に以下のような画像条件をユーザが設定する
ことができる。即ち、本電子スチルカメラ1では、この
画像条件として、画像の解像度を決定する撮影画像サイ
ズ、及び、画像圧縮処理におけるデータの圧縮率を設定
することができる。
【0015】上記撮影画像サイズとしては、「512×
384」、「640×480」および「1024×768」
の3種類が設けられており、状況に応じて、ユーザが所
望の画像サイズを選択することができる。一方、上記画
像データの圧縮率を決定する画像圧縮モードとしては、
「圧縮無しモード」、「1/8JPEG圧縮モード」及び
「1/20JPEG圧縮モード」の3種類が設けられてお
り、上記画像サイズと同様、ユーザが、撮影前に所望の
1つを選択することができる。
【0016】また、本実施の形態に係る電子スチルカメ
ラ1では、被写体の種類を表す画像記録モードとして、
天然色の人物や風景等の自然物を対象とした「自然画モ
ード」、自然物又はそれに文字や数字が組み合わせられ
たものを白黒で取り込む「グレーテキストモード」、文字
や数字を対象とした「2値テキストモード」の3種類が設
けられており、ユーザは、撮影前に、被写体の種類に応
じて、それらの中から所望のモードを1つ選択すること
ができる。更に、画像信号を内蔵モニタ側に出力する
か、若しくは、外部モニタ側に出力するか否かを設定す
るCRTオン・オフモードが設けられている。
【0017】以下、電子スチルカメラ1の基本的な撮影
動作について、図3のフローチャートを参照しながら説
明する。本実施の形態に係る電子スチルカメラ1では、
撮影画像サイズ及び圧縮処理における圧縮率等の各種条
件が撮影前にユーザにより設定されるが、カメラ1は、
まず、これら設定された各種条件を取り込む(ステップ
S10)。
【0018】撮影時の電子スチルカメラ1における画像
処理は、基本的には、シャッタボタン2の半押し状態時
における画像処理(ステップS11〜S21)と、シャッ
タボタン2の完全押し込み時における画像処理(ステッ
プS22〜S33)との2段階からなる。本実施の形態
では、電子スチルカメラ1が、シャッタボタン2の半押
し状態時に、上記撮像レンズから入射した画像を上記内
蔵モニタ20に表示するプレビュー機能を備えており、
ユーザは、その表示画像で撮影しようとする画像の様子
(絵のバランスや構成等)を確認することができる。シャ
ッタボタン2を更に押し込んで完全押し込み状態にすれ
ば、その時撮像レンズ6から入射した画像が処理された
後、上記メモリカード22に記録される。
【0019】最初に、シャッタボタン2の半押し状態に
おける動作(ステップS11〜S21)を説明する。この
動作では、撮影しようとする画像がプレビュー画像とし
て扱われ、所定の画像処理を施される。ステップS11
で上記シャッタボタン2が半押しされると、まず、カメ
ラ1は、上記測光・測色センサ28において光量や色を
測定する(ステップS12)。続いて、この測定データに
基づいて、光学絞り7の絞り値,CCD8の蓄積時間(す
なわちシャッタ速度)等についての露出設定を行う(ステ
ップS13)。露出設定後、撮像レンズ6から光が入射
され、CCD8により電気信号に変換される。上記カメ
ラ1は、この電気信号をA/D変換し、デジタルデータ
として画像処理CPU12へ送る(ステップS14)。
【0020】その後、画像処理CPU12において、ま
ず、画素補間部13により、各色データについての欠落
画素が補間される(ステップS15)。この画素補間部1
3には、複数の補間手段が設けられており、ステップS
10で取り込んだ撮影画像サイズおよび画像圧縮率につ
いての設定値に応じて、それらの中から最適な補間手段
が選択されるようになっている。
【0021】画素補間後の画像データは、帯域補正部1
4で輪郭補正され(ステップS16)、ステップS17で
カラーバランス制御部15により各色データ毎に色補正
された後、ガンマ補正ブロック16で階調変換される
(ステップS18)。続いて、上記画像データは、上記画
像処理CPU12により、画像メモリ23に一時的に書
き込まれる(ステップS19)。
【0022】その後、画像データは画像メモリ23から
読み出され、上記ビデオエンコーダ18でNTSC/P
ALにエンコードされ(ステップS20)、プレビュー画
像として内蔵モニタ20に出力される(ステップS2
1)。上記シャッタボタン2が半押し状態に維持される
場合には、上記撮像レンズ6から入射した画像が所定の
フレーム周期で更新され、動画として内蔵モニタ20上
に表示される。ユーザは、このプレビュー画像を確認し
た上で、撮影するか否かを判断することができ、YES
の場合には、シャッタボタン2を完全に押し込む。
【0023】シャッタボタン2が完全に押し込まれた場
合には、ステップS22〜S31において、シャッタボ
タン2の完全押し込み時における画像処理が行なわれる
が、この処理の流れは、前述したシャッタボタン2の半
押し状態時と同様であるので、ここでは省略する。ただ
し、この処理では、メモリカード22に記録するための
画像データが処理される。
【0024】ステップS22〜S31の画像処理により
形成された画像データは、ステップS32において圧縮
される。ここでは、ステップS10で取り込んだ画像デ
ータの圧縮率に基づいて画像データが圧縮される。この
画像圧縮は、圧縮率が高いほど多くの時間を要する。圧
縮後の画像データは、ステップS33において、記録画
像として上記メモリカード22に記録される。ステップ
S34では、撮影を終了するか否かをユーザが判断し、
YESの場合には撮影動作は終了し、NOの場合には、
ステップS11以降のステップが繰り返される。以上の
ような流れに沿って、撮影しようとする画像が処理さ
れ、最終的にデジタルデータとして記録される。
【0025】露出制御処理 次に、電子スチルカメラ1における露出制御処理につい
て説明する。本実施の形態では、測光・測色センサによ
り測定された光量や色を用いて上記カメラ制御CPU2
4により演算された露出制御データに基づいて、絞りド
ライバ25、タイミングジェネレータCCDドライブ2
6、及び、AGC10が制御されており、各部で、それ
ぞれ、光学絞り8の絞り値、CCD8の蓄積時間(いわ
ゆる電子シャッタ速度)、及び、AGC10におけるゲ
インが設定される。
【0026】図4に、上記カメラ制御CPU24にプロ
グラムされた自動露出制御特性を示す。図中の実線Rお
よび破線Sは、それぞれ、記録画像及びプレビュー画像
の各画像撮影時に用いられる露出制御特性を表す特性線
である。この露出制御特性は、上記光学絞り7の絞り
値、CCD8の蓄積時間、及び、AGC10のゲインか
ら決まる。図中の右上がりの斜線は、同じ明るさの画像
を得るために、それぞれ、所定の明るさの環境における
シャッタ速度および絞り値の関係を表すものであり、右
側の斜線であるほど明るい環境について表すものであ
る。
【0027】これら露出制御特性線R,Sによれば、所
定の明るさの環境についてみた場合、絞りの連動範囲
(Fナンバー2.8〜11)内では、プレビュー画像撮影
時に、絞り値Fナンバーが記録画像の撮影時に比べて小
さく設定される。例えば、記録画像撮影時に、絞り値F
ナンバー4、シャッタ速度1/125秒(図中のr1点)
という露出設定のもとで行なわれる画像撮影について
は、プレビュー画像撮影時に、絞り値Fナンバーが3
に、シャッタ速度が約1/180秒に設定される(s1
点)。この露出特性によれば、プレビュー画像撮影時と
記録画像撮影時との間で、露出量が変化しないように、
絞り値Fナンバーを小さくして光学絞り8の口径を大き
くする一方で、シャッタ速度をより高速に設定してい
る。このように、Fナンバーを小さくして、光学絞り8
の口径を大きくすれば、その場合の被写界深度は浅くな
る。この結果、ピントの合う範囲が狭くなり、内蔵モニ
タ20に出力されたプレビュー画像によるピントの確認
が行ない易くなる。
【0028】上記光学絞り8が最大に開放された場合
(Fナンバー2.8)には、撮影画像の明るさが一定に保
たれるように、環境の明るさに応じて、シャッタ速度が
調整される。記録画像撮影時におけるシャッタの最低速
度は、ブレが目立たない範囲で1/30秒に設定されて
いる。記録画像撮影時のシャッタ速度が最低速度1/3
0秒をとり、撮影画像の明るさを光学的に調整し得ない
範囲では、上記AGC10におけるゲインによって画像
データが調整される。この範囲においても、絞りの連動
範囲における場合と同様に、絞り値Fナンバーが記録画
像撮影時と比べてより小さく設定して、光学絞り8の口
径を大きくする。例えば、シャッタ速度が1/30秒、
AGC10のゲインが6dBという設定値(r2点)に基づ
く記録画像撮影については、プレビュー画像の撮影時
に、シャッタ速度が1/30秒よりも高速に設定される
(s2点)。このような設定によれば、プレビュー画像撮
影時に、シャッタ速度が低速になるほど生じ易いブレを
軽減することができ、内蔵モニタ20に出力されたプレ
ビュー画像によるピント確認が容易になる。
【0029】以上のように、本実施の形態では、プレビ
ュー画像撮影時に、記録画像撮影時よりも光学絞り8の
口径を大きくすることにより、被写界深度を浅くして、
内蔵モニタ20におけるピント確認を容易に行なえるよ
うにしている。また、通常、シャッタ速度が低速になる
ほど、カメラブレの画像への影響が大きくなるが、この
ように、シャッタ速度の低速側で、プレビュー画像撮影
時のシャッタ速度を記録画像撮影時よりも高速に設定す
ることにより、ブレの影響が軽減され、内蔵モニタ20
に出力されたプレビュー画像によるピント確認が容易に
なる。
【0030】本電子スチルカメラ1はまた、プレビュー
画像をより自然に再生するための露光特性を有してい
る。図5に、電子スチルカメラ1のカメラ制御CPU2
4にプログラムされた露光特性を表す特性線を示す。図
中の実線P及び破線Qは、それぞれ、記録画像撮影時お
よびプレビュー画像撮影時に適用される露光特性を表す
ものである。図5から分かるように、この特性によれ
ば、明るい環境では、プレビュー画像撮影時に、シャッ
タ速度が記録画像撮影時よりも高速に設定され、画像が
より明るく再生される。一方、暗い環境では、プレビュ
ー画像撮影時に、シャッタ速度が記録画像撮影時よりも
低速に設定され、画像がより暗く再生される。
【0031】例えば、「白雲」を被写体とする場合には、
プレビュー画像撮影時に、記録画像時のシャッタ速度
(点p1)より遅いシャッタ速度(点q1)を用いて、露出を
オーバさせることにより、プレビュー画像を明るい環境
のもとでより明るく再生する。一方、「夜祭り」を被写体
とする場合には、プレビュー画像撮影時に、記録画像時
のシャッタ速度(点p2)より速いシャッタ速度(点q2)を
用いることにより、プレビュー画像を暗い環境でより暗
く再生する。このように、プレビュー画像撮影時に、撮
影環境により左右されるモニタの見え露光量を補正し、
明るい環境ではより明るく、暗い環境ではより暗く再生
することによって、より自然なプレビュー画像が得られ
る。
【0032】本実施の形態に係る露出制御処理では、ま
ず、前述したように、図4に示す露出特性に基づいて、
露出量が変化しないように、プレビュー画像撮影時の光
学絞り8の口径を記録画像撮影時よりも大きく設定した
後、更に、その光学絞り8の口径を一定に保持した状態
で、図5に示す露光特性に基づいて、露出オーバするよ
うに、プレビュー画像撮影時のシャッタ速度を記録画像
撮影時よりも低速に設定することによって、プレビュー
画像が内蔵モニタに出力される際に、より自然な画像を
得ることができるとともに、得られたプレビュー画像に
よるピント合わせを容易にすることができる。なお、本
実施の形態では、プレビュー画像が内蔵モニタ20に出
力される場合について記述されるが、画像データの出力
先を内蔵モニタ20又は外部モニタ21のいずれか一方
に設定可能なCRTオン・オフモードにおいて、出力先
を外部モニタ21に設定した上で撮影する場合にも、前
述した露出制御特性を用いてよい。
【0033】画素補間処理 次に、画素補間部13における画素補間処理(図3のス
テップS15及びS25)について図6のサブルーチン
を参照しながら詳細に説明する。本実施の形態に係る電
子スチルカメラ1では、画素の配置がR(赤),G(緑),B
(青)からなるベイヤ−配列のCCD8が搭載されてお
り、ベイヤー配列の画像データが得られる。上記画素補
間部13では、このベイヤー配列の画像データにおける
各色についての欠落画素が補間される。
【0034】図6に示すように、まず、ステップS51
において、ベイヤー配列の画像データが入力される。こ
の画像データは、ステップS52でR,G,Bの各色デー
タに色分離される。この画素補間部13には複数の補間
手段が設けられており、ステップS53では、図3のス
テップS10で取り込まれた画像条件に応じて、複数の
補間手段の中から1つが選択される。そして、この選択
された補間手段に基づいた補間処理が実行される(ステ
ップS54)。補間処理後の画像データは、ステップS
55で各色データ毎に帯域補正部14(図2参照)へ出力
される。
【0035】本実施の形態に係る電子スチルカメラ1
は、画素補間部13における補間手段として、3種類の
補間手段、すなわち、平均フィルタを用いる補間手段a
(いわゆる平均法)、メディアンフィルタを用いる補間手
段b(いわゆるメディアン法)、及び、隣接画素による単
純補間を行う補間手段cを有している。以下に、これら
の補間手段a,b,cについて説明する。
【0036】図7は、画素補間手段aの説明図である。
画素補間部13に入力されたCCD出力画素パターン
(ベイヤー配列)の画像データ31は、R,G,Bの画素毎
にそれぞれ異なるフィルタパターンでマスキング処理さ
れることにより、各色データ32,34及び36に分離
される。これら各色データ32,34及び36は、対象
となる色以外の色を有する画素、すなわち欠落画素につ
いてマスキングされている(図の黒塗り部分)。画素補間
手段aでは、これら欠落画素のある各色データ32,34
及び36に対して、3×3のフィルタ行列を備えた補間
フィルタ33,35及び37が適用され、各色毎に、各
画素の値が付近の画素値の適当な平均で置き換えられる
ことにより欠落画素が補間される。
【0037】例えば、Gデータについての欠落画素32
Aを補間フィルタ33を用いて求める場合を考えると、
上下左右に位置する画素の値G4,G6,G7,G9から以下
の式で求めることができる。なお、欠落画素については
その値を0として計算する。 G4×1/4+G6×1/4+G7×1/4+G9×1/4=(G4+G6+G7+G 9 )/4・・・・・・・(1) このような補間処理を、Gデータにおける全ての欠落画
素について実行すれば、Gの全画素データが得られる。
また、R,Bの色データについても同様にフィルタ35,
37による補間処理を実行することにより、R,Bの全
画素データが得られる。この画素補間手段aは平均法と
呼ばれるものであり、処理速度が比較的速い。
【0038】また、図8は、画素補間手段bの説明図で
ある。画素補間部13に入力されたCCD出力画素パタ
ーン(ベイヤー配列)の画像データ41は、補間手段aの
場合と同様に、R,G,Bの画素毎にそれぞれ異なるフィ
ルタパターンでマスキング処理されることにより、各色
データ42,44及び46に分離される。この補間手段b
では、これら各色データ42,44及び46に対して、
高帯域まで画素をもつGの色データについては、メディ
アン(中間値)フィルタ43が適用され、欠落画素の値が
周辺4画素の中間2値の平均値に置換される一方、R,
Bの色データについては、上記補間手段aの場合と同様
に、平均フィルタ45,47が適用され、各画素の値が
近傍画素の値の適当な平均で置換される。
【0039】例えば、Gデータについての欠落画素42
Aをメディアンフィルタ43を用いて求める場合、ま
ず、欠落画素42Aの上下左右に位置する隣接画素の値
4,G6,G7,G9の大小が比較される。このとき、G6
4<G9<G7であれば、それらの中間2値はG4,G9
あり、画素42Aの値は、(G4+G9)/2で表される。
この補間処理を、全ての欠落画素について実行すれば、
Gの全色データが再生される。この画素補間手段bは、
メディアン法と呼ばれるものであり、上記補間手段aと
比較して処理速度は遅い。
【0040】本実施の形態では、補間フィルタを用いて
欠落画素の値を求める画素補間手段a,bの代わりに、図
9に示すような画素補間手段cを用いる場合がある。こ
の補間手段cでは、画像データ51をフィルタパターン
52,54,56で色分離した後、53,55および57
の太線で示すように、2×2画素に区画した上で、各区
画毎に、存在する画素を1つ選択し、その画素値を他の
3つの画素に与えることにより、区画毎に画素値を等し
くさせる単純補間が行なわれる。この補間手段cは、画
像品質について上記補間手段a,bに劣るが、処理速度が
最も速い。
【0041】画素補間処理は、プレビュー画像及び記録
画像の各々について行なわれるが、本実施の形態では、
プレビュー画像の補間処理時(図3のステップS18)に
は、画素補間部13において、決まって処理速度の速い
補間手段を用いるようにした。詳しくは、プレビュー画
像の出力先の種類に応じて、画像データが内蔵モニタ2
0に出力される場合には補間手段cが用いられ、画像デ
ータが外部モニタ21に出力される場合には補間手段a
が用いられる。これによれば、全処理を通じて、プレビ
ュー画像データをより速く処理することができ、ユーザ
は内蔵モニタ20又は外部モニタ21を通して撮影しよ
うとする画像の様子を即座に確認することが可能とな
る。
【0042】一方、記録画像の補間処理時(図3のステ
ップS25)には、撮影前にユーザが設定した各種条件
(撮影画像サイズおよび画像圧縮率)に応じて、画素補間
部13において、前述した処理速度の異なる補間手段の
中から所定の補間手段が選択される。なお、処理速度の
最も速い補間手段cは、画像品質への影響が他より大き
く、記録画像の補間処理には用いられない。「表1」に、
記録画像データ処理時の、ユーザが設定する撮影画像サ
イズ及び画像データの圧縮率と、それに応じて選択され
る補間手段との関係を示す。
【0043】
【表1】
【0044】「表1」によれば、例えばユーザが撮影画像
サイズを「512×384」に、また、画像圧縮モードを
「1/8JPEG圧縮」に設定した場合には、画素補間部
13において補間手段aが用いられる。本実施の形態で
は、特に画像圧縮部17における圧縮率が高く設定され
た場合に、画素補間部13において処理速度の速い補間
手段aが選択されるようにした。これは、ユーザが設定
した圧縮率が高いほど、画像圧縮部17において圧縮処
理に時間がかかるため、この時間のロスを画素補間部1
3において補償するためである。
【0045】また、本実施の形態では、メモリの節約を
目的として画像品質を重要視しない場合、特に、撮影画
像サイズを「512×384」に、画像圧縮モードを「1
/8JPEG圧縮」又は「1/20JPEG圧縮」に設定
した場合に、上記画素補間部13において補間手段aが
選択される。この場合には、データ量の少ない画像を扱
うため各処理が比較的高速に行なわれる上に、画像圧縮
部17における時間のロスが画素補間部13において補
償されるので、画像データが全体を通じてより速く処理
される。このように、特に画像品質を重要視しない撮影
について、画像処理速度を向上させることによって、時
間当たりにより多くのコマ数を撮影することができる。
【0046】尚、本実施の形態では、画素補間部13に
おいて補間手段a,b,cのいずれか1つが選択される場合
について記述されているが、処理速度の異なる更に多く
の補間手段を設けて、それらの中から所望の1つを選択
するようにしてもよい。この場合にも、ユーザが設定す
る圧縮率が高いほど、処理速度の速い補間手段を選択す
るようにして、画像品質に見合った処理速度を達成する
ことができる。
【0047】帯域制御処理 以上のように、画素補間処理を行った直後の各色データ
についての周波数特性を比較した場合、Gの周波数特性
が、他の色R,Bに比べて高域にまで及ぶことが分かっ
ている。このことは、上記CCD8における、Gを基調
にしたRGBフィルタの配列(本実施の形態ではベイヤ
ー配列)によるものである。こうしたR,G,Bの画素抜
けによる解像度の低下を補正するために、画像データを
帯域補正部14において帯域制御する。
【0048】以下に、帯域補正部14における帯域制御
処理(図3のステップS16及び26)について説明す
る。図10は、各色データに対する帯域制御処理の流れ
例を示した図である。まず、画素補間処理後のG信号に
対し、5×5のフィルタ行列を備えたGL−ローパスフ
ィルタ61を用いて、RBと同じ帯域制限をかけ、低域
成分からなる信号(低域信号)を抽出する。この低域信号
が、減算回路62で、Gについての元の信号から差し引
かれることにより、中域成分からなる信号(中域信号)が
取り出される。この中域信号は、増幅部63及び68に
入力される。上記増幅部63において所定のゲインで増
幅された信号は、加算回路64で、Gについての元の信
号に加えられる。一方、増幅部68において増幅された
信号は、加算回路69,71において低域成分からなる
R,Bの各信号に加えられる。
【0049】また、この帯域補正処理では、画素補間後
のG信号に対して、3×3のフィルタ行列を備えたラプ
ラシアンフィルタ65を用いることにより、高域成分か
らなる信号(高域信号)が抽出される。抽出された高域信
号は、増幅部66に入力され、所定のゲインで増幅され
た後、クリップ回路67で波形振幅のベース側が除去さ
れる結果、所望の高域信号が得られる。この高域信号
は、上記加算回路64において、Gについての元の信号
に加えられるか、若しくは、加算回路70,72におい
て、それぞれ上記R,Bの信号に加えられる。以上のよ
うに、R,G,Bの各信号が帯域制御され、カラーバラン
ス制御部15へ出力される。
【0050】帯域補正部14では、高域補正用の増幅部
66,中域補正用の増幅部63,68におけるゲインの設
定値(α,β)に従って、RGBの各信号がレベル調整さ
れ、各信号の周波数特性が制御される。例えば、増幅部
66のゲインαを大きな値に設定した場合には、各信号
の高域成分が強調され、また、増幅部63,68のゲイ
ンβを大きな値に設定した場合には、各信号の中域成分
が強調されることになる。
【0051】図11に、4組みのゲインの設定値(α,
β)について、それぞれの場合に得られる出力信号の周
波数特性曲線を示す。ここで、横軸は周波数、縦軸はレ
スポンスを表す。特性曲線a(実線)は、高域補正用の増
幅部66におけるゲインαが0、中域補正用の増幅部6
3,68におけるゲインβが0の場合のものである。特
性曲線b(破線)は、高域補正用の増幅部66におけるゲ
インαが0.3、中域補正用の増幅部63,68におけ
るゲインβが0の場合のものである。この場合には、各
信号の高域成分が強調されることになる。特性曲線c(一
点鎖線)は、高域補正用の増幅部66におけるゲインα
が0、中域補正用の増幅部63,68におけるゲインβ
が0.3の場合のものである。この場合には、各信号の
中域成分が強調されることになる。特性曲線d(二点鎖
線)は、高域補正用の増幅部66におけるゲインαが
0.3、中域補正用の増幅部63,68におけるゲイン
βが0.3の場合のものである。この場合には、各信号
の中域成分および高域成分が共に強調されることになる
【0052】ところで、前述したように、本実施の形態
に係る電子スチルカメラ1は、被写体の種類の設定が可
能な画像記録モードを備えており、その画像記録モード
として、被写体が天然色のグラフィック(自然画)である
場合に用いる「自然画モード」と、白黒グラフィック又は
それと文字や数字の組合せである場合に用いる「グレー
テキストモード」と、文字や数字のみである場合に用い
る「2値テキストモード」とを有している。本実施の形態
では、上記帯域補正部14において、まず、ユーザが設
定した画像記録モードに応じて、所定のゲイン設定値
(α,β)が選択される。
【0053】上記画像記録モードとして「自然画モード」
を設定した場合には、更に、ユーザが設定した撮影画像
サイズ及び画像データの圧縮率に応じて、上記帯域補正
部14におけるゲイン設定値(α,β)が選択される。「表
2」に、「自然画モード」を設定した場合の、ユーザが設
定する撮影画像サイズ及び画像圧縮率と、それに応じて
選択される高域補正用の増幅部66における高域増幅ゲ
インα,中域補正用の増幅部63,68における中域増幅
ゲインβとの関係を示す。
【表2】 本実施の形態に係る電子スチルカメラ1では、ユーザが
設定した画像撮影サイズ及び画像データの圧縮率に応
じ、「表2」に基づいて、所定のゲインの設定値(α,β)
が選択される。例えば、撮影画像サイズが「512×3
84ピクセル」に、また、画像圧縮モードが「1/8JP
EG圧縮」に設定された場合には、高域増幅ゲインαが
1.5、中域増幅ゲインβが0.1の値をとり、各信号
の中域成分が強調される。
【0054】この「表2」から分かるように、撮影画像サ
イズが低くなるほど、中域増幅ゲインαが大きく設定さ
れる。この結果、各信号の中域成分が強調され、本来情
報をもたない高域成分のノイズを抑制するコントラスト
重視の補正を行うことができる。一方、撮影画像サイズ
が高い場合には、高域増幅ゲインβが大きく設定され、
高域信号まで再現出来るように高域強調が行なわれる。
また、画像データの圧縮率が高いほど、高域増幅ゲイン
βが小さく設定されるので、高域特性が下がり、高域ノ
イズの発生が抑制される。
【0055】以上のように、「自然画モード」を設定した
場合には、撮影画像サイズ及び画像データの圧縮率に応
じた所定の増幅ゲインの設定値に基づいて帯域制御が行
なわれる。これにより、Gを基調としたベイヤー配列に
よるR,Bの高域の低下を補うことができ、更に、エッ
ジの着色、色の回りを抑制しながら、被写体の特性に適
した周波数特性を得ることができる。
【0056】次に、画像記録モードが「グレーテキスト
モード」、「2値テキストモード」に設定された場合の、
帯域補正部14における各増幅部のゲイン設定値(α,
β)について説明する。本実施の形態に係る電子スチル
カメラ1では、画像記録モードとして、「グレーテキス
トモード」又は「2値テキストモード」が設定された場
合、撮影画像サイズは自動的に「1024×768ピク
セル」に設定される。また、この場合には、画像データ
の圧縮率にかかわらず、各モードについてゲイン設定値
(α,β)は一定である。「表3」に、各モード設定時に用
いる増幅ゲイン設定値(α,β)を示す。
【表3】 本実施の形態では、画像記録モードとして、「グレーテ
キストモード」が設定された場合には、中域成分を強調
する一方、高域成分を抑制するようにした。これによ
り、色再現はそのままでハイコントラストかつ低ノイズ
の輪郭のシャープな画像が提供される。また、「2値テ
キストモード」が設定された場合には、中域成分を最大
限に持ち上げる一方、高域成分を抑制するようにした。
このような設定のもとで輪郭を強調し、その後に画像デ
ータを2値化することにより、ベイヤー配列によるドッ
トノイズの少ないエッジの再現を可能にしている。
【0057】階調変換処理 次に、ガンマ補正部16における階調変換処理について
説明する。このガンマ補正部16では、カラーバランス
制御ブロック14で正規化されたR,G,Bの各信号が、
1024階調及び256階調のルックアップテーブルに
より階調変換される。ガンマ補正部16には、図12〜
図15に示すガンマ曲線A〜Dによる階調特性が設定さ
れており、画像データは、状況に応じて、これらのガン
マ曲線A〜Dによる階調特性のいずれかに基づき階調変
換される。
【0058】図12には、画像出力モニタが例えばパソ
コンCRTである場合に用いられる通常特性を表すガン
マ曲線Aが示されている。出力モニタの表面の明るさ
は、入力電圧に比例せずこのような曲線で補正すること
により、ほぼリニアな発光階調を得ている。また、図1
3に、ガンマ曲線Aの場合と同様に、出力モニタがパソ
コンCRTである場合に用いられる階調特性を表すガン
マ曲線Bを示す。このガンマ曲線Bは、入力電圧の高い
側でガンマ曲線Aの上側に、入力電圧の低い側でガンマ
曲線Aの下側にあらわれるカーブを描いている。このガ
ンマ曲線Bが表す階調特性によれば、ガンマ曲線Aの通
常特性を用いた場合に比べて、明るい側でより明るく、
暗い側でより暗いハイコントラストでめりはりの付いた
画像が得られることになる。
【0059】更に、図14に示すガンマ曲線Cは、出力
モニタが内蔵モニタ20である場合に用いられる。この
ガンマ曲線Cの階調特性は、パソコンCRTを対象とし
た通常特性よりも画像をハイコントラストに設定するも
のであり、この設定によって、特に液晶型の内蔵モニタ
20への出力に適した画像データが得られる。また更
に、図15に示すガンマ曲線Dは、出力モニタが例えば
テレビ等の外部モニタ21である場合に用いられる。こ
の曲線Dは、全体的に、ガンマ曲線Aの上側にあらわれ
るカーブを描いており、このガンマ曲線Dの階調特性に
よれば、ガンマ曲線Aの通常特性に比べて、全体的によ
り明るい画像を得ることができる。
【0060】本実施の形態では、処理する画像データが
記録画像データであるか、又は、プレビュー画像データ
であるかに応じて、その階調変換処理時に、前述したガ
ンマ曲線A〜Dから所定のガンマ曲線が選択される。ま
ず、プレビュー画像データの階調変換処理時には、ガン
マ曲線C又はDのいずれかが選択される。この場合に
は、特に出力モニタの種類に応じて、所定のガンマ曲線
が決まる。すなわち、プレビュー画像データの出力先が
内蔵モニタ20である場合には、ガンマ曲線Cが選択さ
れ、その曲線Cによる階調特性に基づいて、画像データ
が階調変換される。一方、出力先が外部モニタ21であ
る場合には、ガンマ曲線Dが選択され、その曲線Dによ
る階調特性に基づいて、画像データが階調変換される。
このように、プレビュー画像データは、その出力先の種
類に応じて、それに適した画像に変換されるため、モニ
タ上で見易いプレビュー画像が得られる。また、これに
より、記録しようとする画像の様子をより適確に確認で
きるようになる。
【0061】上記プレビュー画像の階調変換処理時に、
ガンマ曲線C又はDによる階調特性が用いられる一方、
記録画像データの階調変換処理には、上記ガンマ曲線A
又はBのいずれかが用いられる。記録画像データの階調
変換処理では、まず、ユーザが設定した画像記録モード
の種類に応じて、上記ガンマ曲線A又はBが選択され
る。本実施の形態では、画像記録モードを「グレーテキ
ストモード」又は「2値テキストモード」に設定した場合
には、ガンマ曲線Bによる階調特性に基づいて階調変換
処理が行なわれる。これにより、文字データ等のテキス
ト画の撮影において、ハイコントラストな画像を再現す
ることができる。
【0062】一方、画像記録モードを「自然画モード」に
設定した場合には、更に撮影画像サイズおよび画像デー
タの圧縮率の種類に応じて、ガンマ曲線A又はBのいず
れかが選択される。「表4」に、ユーザが設定する撮影画
像サイズ及び画像データの圧縮率と、それらに応じて階
調変換処理に用いられるガンマ曲線との関係を示す。例
えば、画像サイズを「640×480」に、画像圧縮モー
ドを「1/20JPEG圧縮」に設定した場合には、ガン
マ曲線Bが選択され、この曲線Bが表す階調特性に基づ
いて階調変換処理が行なわれる。
【表4】 「表4」から分かるように、画像データの圧縮率を高く設
定した場合には、ガンマ曲線Bによる階調特性に基づい
て処理を行い、画像にめりはりを付け、コントラストを
高くすることにより、圧縮解凍時の画像の品質の低下を
目立たないようにすることができる。同様に、撮影画像
サイズを小さく設定した場合にも、ガンマ曲線Bによる
階調特性に階調特性に基づいて処理を行ない、モニタ上
の画像品質の低下を最大限に目立たないようにすること
ができる。
【0063】以上のように、ガンマ補正部16では、各
種条件に応じて、所定のガンマ曲線を選択し、その階調
特性に基づいて、画像データを階調変換することによ
り、出力された画像の見易さを向上させることができ
る。
【0064】なお、本実施の形態では、ガンマ補正部1
6においてガンマ曲線A〜Dの4種類の中からいずれか
1つが選択される場合について記述されているが、階調
特性の異なる更に多くのガンマ曲線を設定して、それら
の中から所望の1つを選択するようにしてもよい。この
場合にも、状況に応じて、複数の中から所望の1つを選
択し、モニタ上に出力される画像をより見易いものとす
ることができる。
【0065】また、本発明は、以上の実施の形態に限定
されるものでなく、その要旨を逸脱しない範囲におい
て、種々の改良あるいは設計上の変更が可能であること
は言うまでもない。
【0066】
【発明の効果】本願の第1の発明によれば、電子スチル
カメラは、画像データを構成する各色データの欠落画素
を補間する画素補間部に設けられた複数の補間手段の中
から、撮影前にユーザが設定した画像データの圧縮率に
応じて所定の補間手段を選択し、その画像圧縮率に基づ
く画像品質に見合った速度の画像処理を実行することが
できる。特に画像データの圧縮率が高く設定された場合
には、処理速度の速い補間手段を選択し、画像データの
処理速度を向上させることができる。
【0067】本願の第2の発明によれば、電子スチルカ
メラは、上記画素補間部に設けられた複数の補間手段の
中から、撮影前にユーザが設定した撮影画像サイズに応
じて所定の補間手段を選択し、画像データの圧縮率およ
び撮影画像サイズに基づく画像品質に見合った速度の画
像処理を実行することができる。特に画像データの圧縮
率を高く、かつ、撮影画像サイズを小さく設定する、画
像品質を重要視しない撮影について、画像データの処理
速度を向上させ、時間当たりより多くのコマ数を撮影す
ることができる。
【0068】本願の第3の発明によれば、撮影前にユー
ザが設定した撮影画像サイズ及び画像データの圧縮率に
応じて、画素補間部において、平均法およびメディアン
法のいずれか一方が選択され、設定した撮影画像サイズ
及び画像データの圧縮率に基づく画像品質に見合った速
度の画像処理を行うことができる。
【0069】本願の第4の発明によれば、撮影前にユー
ザが設定した画像データの圧縮率が高いほど、処理速度
の速い補間手段が用いられ、画像圧縮における時間のロ
スが補償されるので、画像データが全体を通じてより速
く処理され、時間当たりより多くのコマ数を撮影するこ
とができる。
【図面の簡単な説明】
【図1】 本発明の実施の形態に係る電子スチルカメラ
の斜視図である。
【図2】 上記電子スチルカメラの構成を示すブロック
図である。
【図3】 上記電子スチルカメラの撮影動作のフローチ
ャートである。
【図4】 上記電子スチルカメラの露出特性を示す図で
ある。
【図5】 上記電子スチルカメラの露光特性を示す図で
ある。
【図6】 上記電子スチルカメラの画素補間部の処理に
よるサブルーチンである。
【図7】 上記画素補間部における補間手段aの流れを
示す図である。
【図8】 上記画素補間部における補間手段bの流れを
示す図である。
【図9】 上記画素補間部における補間手段cの流れを
示す図である。
【図10】 上記電子スチルカメラの帯域補正部におけ
る各色データの流れを示す図である。
【図11】 上記帯域補正部における処理後の周波数特
性を示す図である。
【図12】 上記電子スチルカメラのガンマ補正部で用
いられる階調特性を表すガンマ曲線Aである。
【図13】 上記ガンマ補正部で用いられる階調特性を
表すガンマ曲線Bである。
【図14】 上記ガンマ補正部で用いられる階調特性を
表すガンマ曲線Cである。
【図15】 上記ガンマ補正部で用いられる階調特性を
表すガンマ曲線Dである。
【符号の説明】
1…電子スチルカメラ 6…撮像レンズ 7…光学絞り 8…CCD 10…AGC 12…画像処理CPU 13…画素補間部 14…帯域補正部 16…ガンマ補正部 17…画像圧縮部 20…内蔵モニタ 21…外部モニタ 22…メモリカード 24…カメラ制御CPU 27…カメラ操作スイッチ

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 撮影前に撮影画像サイズおよび画像デー
    タの圧縮率の設定が可能な電子スチルカメラにおいて、 画像データを構成する各色データの欠落画素を補間する
    画素補間部に補間手段が複数設けられており、設定した
    圧縮率に応じて、複数の補間手段から所定の補間手段が
    選択されることを特徴とする電子スチルカメラ。
  2. 【請求項2】 上記画素補間部において、設定した圧縮
    率とともに撮影画像サイズに応じて、複数の補間手段か
    ら所定の補間手段が選択されることを特徴とする請求項
    1記載の電子スチルカメラ。
  3. 【請求項3】 上記画素補間部が、補間手段として、平
    均法及びメディアン法を有していることを特徴とする請
    求項1又は2に記載の電子スチルカメラ。
  4. 【請求項4】 上記画素補間部において、設定した圧縮
    率が高い場合には、処理速度の速い補間手段が選択され
    ることを特徴とする請求項1又は2に記載の電子スチル
    カメラ。
JP9162480A 1997-06-19 1997-06-19 電子スチルカメラ Expired - Fee Related JP3064961B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP9162480A JP3064961B2 (ja) 1997-06-19 1997-06-19 電子スチルカメラ
US09/100,799 US7057653B1 (en) 1997-06-19 1998-06-19 Apparatus capable of image capturing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9162480A JP3064961B2 (ja) 1997-06-19 1997-06-19 電子スチルカメラ

Publications (2)

Publication Number Publication Date
JPH1118047A JPH1118047A (ja) 1999-01-22
JP3064961B2 true JP3064961B2 (ja) 2000-07-12

Family

ID=15755426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9162480A Expired - Fee Related JP3064961B2 (ja) 1997-06-19 1997-06-19 電子スチルカメラ

Country Status (1)

Country Link
JP (1) JP3064961B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7057653B1 (en) * 1997-06-19 2006-06-06 Minolta Co., Ltd. Apparatus capable of image capturing
JP4055927B2 (ja) 2000-08-25 2008-03-05 シャープ株式会社 画像処理装置およびデジタルカメラ
JP5645505B2 (ja) * 2010-06-29 2014-12-24 キヤノン株式会社 撮像装置及びその制御方法

Also Published As

Publication number Publication date
JPH1118047A (ja) 1999-01-22

Similar Documents

Publication Publication Date Title
US7057653B1 (en) Apparatus capable of image capturing
JP5315158B2 (ja) 画像処理装置及び画像処理方法
JP3528184B2 (ja) 画像信号の輝度補正装置及び輝度補正方法
JP3530907B2 (ja) デジタルカメラ
US7358988B1 (en) Image signal processor for performing image processing appropriate for an output device and method therefor
JP5053724B2 (ja) 画像表示装置、撮像装置、画像再生装置、及び画像表示方法
JP4470901B2 (ja) 撮像装置、高周波成分検出回路、高周波成分検出方法及びコンピュータプログラム
JP2002010108A (ja) 画像信号処理装置および画像信号処理方法
JP3184309B2 (ja) 階調補正回路及び撮像装置
JP2004363726A (ja) 画像処理方法及びデジタルカメラ
JP2008160291A (ja) 画像信号処理装置、画像信号処理プログラム及び撮像装置
JP2007266956A (ja) 撮像装置、インパルス成分検出回路、インパルス成分除去回路、インパルス成分検出方法、インパルス成分除去方法及びコンピュータプログラム
JP3064961B2 (ja) 電子スチルカメラ
JP3198983B2 (ja) 電子スチルカメラ
JP3433653B2 (ja) 電子スチルカメラ
JPH10322592A (ja) 電子カメラの制御方法及び装置
JP3730063B2 (ja) 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置
JP3463526B2 (ja) 電子スチルカメラ
JP2007336172A (ja) 画像信号処理装置及び画像信号処理方法
JP3763555B2 (ja) 電子スチルカメラ
JP5904753B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP3822486B2 (ja) 電子カメラおよび信号処理方法
KR101408359B1 (ko) 촬상장치 및 촬상방법
JP2004343177A (ja) 撮像装置
JP2004304641A (ja) 画像処理方法及び画像処理装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090512

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130512

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130512

Year of fee payment: 13

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees