JP4188531B2 - 撮像装置及び露出制御方法 - Google Patents

撮像装置及び露出制御方法 Download PDF

Info

Publication number
JP4188531B2
JP4188531B2 JP2000017388A JP2000017388A JP4188531B2 JP 4188531 B2 JP4188531 B2 JP 4188531B2 JP 2000017388 A JP2000017388 A JP 2000017388A JP 2000017388 A JP2000017388 A JP 2000017388A JP 4188531 B2 JP4188531 B2 JP 4188531B2
Authority
JP
Japan
Prior art keywords
cell
luminance
abnormal
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000017388A
Other languages
English (en)
Other versions
JP2001209088A (ja
Inventor
芳治 五反田
正弘 小西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2000017388A priority Critical patent/JP4188531B2/ja
Publication of JP2001209088A publication Critical patent/JP2001209088A/ja
Application granted granted Critical
Publication of JP4188531B2 publication Critical patent/JP4188531B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、撮像装置及び露出制御方法に関する。特に本発明は、輝度レベルに基づいて露出値を決定する撮像装置及び露出制御方法に関する。
【0002】
【従来の技術】
従来、画像の輝度の平均値に基づいて露出値を決定する方法が知られている。特公平8−7361号公報は、画像中央の主要領域の優先度を高くし、主要被写体が最適露出状態となるように露出を制御する自動露出調整装置を開示している。
【0003】
【発明が解決しようとする課題】
しかし、平均値に基づいて露出値を決定した場合、画像中に例えば光源のように局所的に輝度が著しく高い異常輝度領域が存在する場合、全体の輝度平均が高くなるので、露出を抑える。従って、異常輝度領域以外の領域も露出が抑えられてしまい、主要被写体は露出不足の状態になってしまう。また、画像中央の優先度を高く設定すると、画像中央に存在する異常輝度領域を排除することができない。このように、異常輝度領域の存在は、良好な露出値を得る妨げとなっていた。
【0004】
そこで本発明は、上記の課題を解決することのできる撮像装置及び露出制御方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【0005】
【課題を解決するための手段】
即ち、本発明の第1の形態によると、露出を制御する撮像装置であって、被写体の画像を撮像する撮像ユニットと、前記画像の領域毎の輝度を測定する測光部と、前記画像から局所的に輝度が高い異常輝度領域を検出する異常輝度領域検出部と、前記異常輝度領域を除いた前記画像の領域毎の前記輝度を加算し、前記画像を撮影するときの露出値を算出する加算回路とを備える。
【0006】
前記異常輝度領域検出部は、前記画像のうち所定の輝度以上の領域を異常輝度領域候補として検出する異常輝度領域候補検出部を有してもよい。
【0007】
前記異常輝度領域検出部は、前記異常輝度領域候補の面積が所定の面積以下の場合に、当該異常輝度領域候補を前記異常輝度領域として選択する異常輝度領域選択部をさらに有してもよい。
【0008】
異常輝度とみなす絶対基準値を予め保持する絶対基準値記憶部と、前記測光部によって測定された前記輝度から前記画像全体の輝度平均を算出し、前記輝度平均よりも所定の値大きい相対輝度を求め、前記絶対基準値及び前記相対輝度に基づいて前記所定の輝度を決定する演算部とをさらに備えてもよい。
【0009】
前記異常輝度領域検出部は、光源を含む領域を前記異常輝度領域として検出してもよい。前記異常輝度領域検出部は、前記輝度が不連続な値となる点を前記異常輝度領域の境界としてもよい。
【0010】
前記測光部は、前記画像をマトリクス状のセルに分割し、前記セル毎の輝度を測定してもよい。
【0011】
前記異常輝度領域候補検出部は、前記所定の輝度以上の輝度を示すセルを検出してもよい。
【0012】
前記異常輝度領域選択部は、前記異常輝度領域候補に含まれる前記セルの数が所定のセル数以下の場合に、当該異常輝度領域候補を前記異常輝度領域として選択してもよい。
【0013】
前記撮像ユニットは、前記被写体の像を結像するレンズ部と、前記レンズ部が結像した像を受光して電荷を蓄積するCCDとをさらに有してもよい。前記測光部は、前記CCDが蓄積する電荷量を前記セル毎に積分し、前記積分の結果得られた値から、各セルの前記輝度を算出してもよい。
【0014】
前記セルの位置に対応した重みを予め格納する重み記憶部と、前記セルが前記異常輝度領域に含まれる場合は、当該セルに対応した重みを小さくし、前記小さくした重みを当該セルにおいて測定された前記輝度に付与する重み付与部とをさらに備えてもよい。
【0015】
前記重み付与部は、前記セルが前記異常輝度領域に含まれかつ前記画像の周辺部に位置する場合に前記重みを零にしてもよい。また、前記重み付与部は、前記セルが前記異常輝度領域に含まれかつ前記画像の中心部に位置する場合に、前記重みを小さくしてもよい。
【0016】
前記重み付与部は、前記異常輝度領域に含まれる前記セルに対応する前記重みを所定の数値で除算し、その結果得られた値に基づいて前記重みを変更してもよい。
【0017】
前記所定の数値は、前記画像のうち前記周辺部に位置する前記セルに対応する前記重みよりも大きく、前記画像のうち前記中心部に位置する前記セルに対応する前記重みよりも小さい数であってもよい。前記重み付与部は、前記除算の結果が1未満である場合に、前記重みを零に変更し、前記除法の結果が1以上である場合に、前記重みを前記除算の結果得られた値に変更してもよい。
【0018】
前記所定のセルの数は、前記セルの境界上の任意の点が接する前記セルの最大個数であってもよい。前記セルは四角形であってもよく、この場合、前記所定のセルの数は、4つであってもよい。
【0019】
本発明の第2の形態は、露出を制御する露出制御方法であって、被写体の画像を撮像する撮像段階と、前記画像の領域毎の輝度を測定する測光段階と、前記画像の周辺部から局所的に輝度が高い異常輝度領域を検出する異常輝度領域検出段階と、前記異常輝度領域を除いた前記画像の領域毎の前記輝度を加算し、前記画像を撮影するときの露出値を算出する加算段階とを備える。
【0020】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【0021】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態はクレームにかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0022】
図1は輝度レベルに基づいて露出値を決定する機能を有するデジタルカメラ10の構成を示す。本発明に特徴的な、露出値決定の機構については、図2で詳述する。デジタルカメラ10は、主に撮像ユニット20、撮像制御ユニット40、処理ユニット60、表示ユニット100、および操作ユニット110を含む。
【0023】
撮像ユニット20は、撮影および結像に関する機構部材および電気部材を含む。撮像ユニット20はまず、映像を取り込んで処理を施す撮影レンズ22、絞り24、シャッタ26、光学LPF(ローパスフィルタ)28、CCD30、および撮像信号処理部32を含む。撮影レンズ22は、フォーカスレンズやズームレンズ等からなる。この構成により、被写体像がCCD30の受光面上に結像する。結像した被写体像の光量に応じ、CCD30の各センサエレメント(図示せず)に電荷が蓄積される(以下その電荷を「蓄積電荷」という)。蓄積電荷は、リードゲートパルスによってシフトレジスタ(図示せず)に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【0024】
デジタルカメラ10は一般に電子シャッタ機能を有するので、シャッタ26のような機械式シャッタは必須ではない。電子シャッタ機能を実現するために、CCD30にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタスピードが制御できる。
【0025】
CCD30から出力される電圧信号、すなわちアナログ信号は撮像信号処理部32でR、G、B成分に色分解され、まずホワイトバランスが調整される。つづいて撮像信号処理部32はガンマ補正を行い、必要なタイミングでR、G、B信号を順次A/D変換し、その結果得られたデジタルの画像データ(以下単に「デジタル画像データ」とよぶ)を処理ユニット60へ出力する。
【0026】
撮像ユニット20はさらに、ファインダ34とストロボ36を有する。ファインダ34には図示しないLCDを内装してもよく、その場合、後述のメインCPU62等からの各種情報をファインダ34内に表示できる。ストロボ36は、コンデンサ(図示せず)に蓄えられたエネルギが放電管36aに供給されたときそれが発光することで機能する。
【0027】
撮像制御ユニット40は、ズーム駆動部42、フォーカス駆動部44、絞り駆動部46、シャッタ駆動部48、それらを制御する撮像系CPU50、測距センサ52、および測光センサ54をもつ。ズーム駆動部42などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ114の押下に応じ、測距センサ52は被写体までの距離を測定し、測光センサ54は被写体輝度を測定する。測定された距離のデータ(以下単に「測距データ」という)および被写体輝度のデータ(以下単に「輝度データ」という)は撮像系CPU50へ送られる。撮像系CPU50は、ユーザから指示されたズーム倍率等の撮影情報に基づき、ズーム駆動部42とフォーカス駆動部44を制御して撮影レンズ22のズーム倍率とピントの調整を行う。
【0028】
撮像系CPU50は、絞り駆動部46及びシャッタ駆動部48を制御する。絞り駆動部46とシャッタ駆動部48がそれぞれ絞り量の調整とシャッタ26の開閉を行う。
【0029】
絞り量及びシャッタースピード等の露出条件は、露出値に基づいてきまる。露出値決定の機構については、図2で詳述する。
【0030】
撮像系CPU50はまた、露出値に基づいてストロボ36の発光を制御し、同時に絞り26の絞り量を調整する。ユーザが映像の取込を指示したとき、CCD30が電荷蓄積を開始し、露出値から計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部32へ出力される。
【0031】
処理ユニット60は、デジタルカメラ10全体、とくに処理ユニット60自身を制御するメインCPU62と、これによって制御されるメモリ制御部64、YC処理部70、オプション装置制御部74、圧縮伸張処理部78、通信I/F部80を有する。メインCPU62は、シリアル通信などにより、撮像系CPU50との間で必要な情報をやりとりする。メインCPU62の動作クロックは、クロック発生器88から与えられる。クロック発生器88は、撮像系CPU50、表示ユニット100に対してもそれぞれ異なる周波数のクロックを提供する。
【0032】
メインCPU62には、キャラクタ生成部84とタイマ86が併設されている。タイマ86は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインCPU62に与えられる。キャラクタ生成部84は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【0033】
メモリ制御部64は、不揮発性メモリ66とメインメモリ68を制御する。不揮発性メモリ66は、EEPROM(電気的消去およびプログラム可能なROM)やFLASHメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、デジタルカメラ10の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ66には、場合によりメインCPU62のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ68は一般にDRAMのように比較的安価で容量の大きなメモリで構成される。メインメモリ68は、撮像ユニット20から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ66とメインメモリ68は、処理ユニット60内外の各部とメインバス82を介してデータのやりとりを行う。
【0034】
YC処理部70は、デジタル画像データにYC変換を施し、輝度信号Yと色差(クロマ)信号B−Y、R−Yを生成する。輝度信号と色差信号はメモリ制御部64によってメインメモリ68に一旦格納される。圧縮伸張処理部78はメインメモリ68から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ(以下単に「圧縮データ」という)は、オプション装置制御部74を介してオプション装置76の一種であるメモリカードへ書き込まれる。
【0035】
処理ユニット60はさらにエンコーダ72をもつ。エンコーダ72は輝度信号と色差信号を入力し、これらをビデオ信号(NTSCやPAL信号)に変換してビデオ出力端子90から出力する。オプション装置76に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部74を介して圧縮伸張処理部78へ与えられる。つづいて、圧縮伸張処理部78で必要な伸張処理が施されたデータはエンコーダ72によってビデオ信号へ変換される。
【0036】
オプション装置制御部74は、オプション装置76に認められる信号仕様およびメインバス82のバス仕様にしたがい、メインバス82とオプション装置76の間で必要な信号の生成、論理変換、または電圧変換などを行う。デジタルカメラ10は、オプション装置76として前述のメモリカードのほかに、例えばPCMCIA準拠の標準的なI/Oカードをサポートしてもよい。その場合、オプション装置制御部74は、PCMCIA用バス制御LSIなどで構成してもよい。
【0037】
通信I/F部80は、デジタルカメラ10がサポートする通信仕様、たとえばUSB、RS−232C、イーサネットなどの仕様に応じたプロトコル変換等の制御を行う。通信I/F部80は、必要に応じてドライバICを含み、ネットワークを含む外部機器とコネクタ92を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のI/Fによるデータ授受を行う構成としてもよい。
【0038】
表示ユニット100は、LCDモニタ102とLCDパネル104を有する。それらはLCDドライバであるモニタドライバ106、パネルドライバ108によってそれぞれ制御される。LCDモニタ102は、例えば2インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。LCDパネル104は例えば小さな白黒LCDでカメラ上面に設けられ、画質(FINE/NORMAL/BASICなど)、ストロボ発光/発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。
【0039】
操作ユニット110は、ユーザーがデジタルカメラ10の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ112は、デジタルカメラ10の電源のオンオフを決める。レリーズスイッチ114は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しでAFおよびAEがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ68、オプション装置76等に記録される。操作ユニット110はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図1において機能設定部116と総称されている。操作ユニット110で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定/保存」、「表示切換」等がある。ズームスイッチ118は、ズーム倍率を決める。
【0040】
以上の構成による主な動作は以下のとおりである。まずデジタルカメラ10のパワースイッチ112がオンされ、カメラ各部に電力が供給される。メインCPU62は、機能設定部116の状態を読み込むことで、デジタルカメラ10が撮影モードにあるか再生モードにあるかを判断する。
【0041】
カメラが撮影モードにあるとき、メインCPU62はレリーズスイッチ114の半押し状態を監視する。半押し状態が検出されたとき、メインCPU62は測光センサ54および測距センサ52からそれぞれ輝度データと測距データを得る。得られたデータに基づいて撮像制御ユニット40が動作し、撮影レンズ22のピント、絞りなどの調整が行われる。調整が完了すると、LCDモニタ102に「スタンバイ」などの文字を表示してユーザーにその旨を伝え、つづいてレリーズスイッチ114の全押し状態を監視する。レリーズスイッチ114が全押しされると、所定のシャッタ時間をおいてシャッタ26が閉じられ、CCD30の蓄積電荷が撮像信号処理部32へ掃き出される。撮像信号処理部32による処理の結果生成されたデジタル画像データはメインバス82へ出力される。デジタル画像データは一旦メインメモリ68へ格納され、この後YC処理部70と圧縮伸張処理部78で処理を受け、オプション装置制御部74を経由してオプション装置76へ記録される。記録された画像は、フリーズされた状態でしばらくLCDモニタ102に表示され、ユーザーは撮影画像を知ることができる。以上で一連の撮影動作が完了する。
【0042】
一方、デジタルカメラ10が再生モードの場合、メインCPU62は、メモリ制御部64を介してメインメモリ68から最後に撮影した画像を読み出し、これを表示ユニット100のLCDモニタ102へ表示する。この状態でユーザーが機能設定部116にて「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、LCDモニタ102へ表示される。
【0043】
図2は、本発明に特徴的な、露出値決定部200の概略機能ブロックを示す。露出値決定部200は一例として、図1の撮像制御ユニット40、メインCPU62と、メインメモリ68や不揮発性メモリ66に格納またはロードされたプログラムの連携によって実現することができる。メインCPU62が内蔵メモリをもつ場合にはそのメモリに必要なプログラムを格納し、諸機能をファームウエアとして実現してもよい。図2は、の各機能をひとまとまりの構成として記述したが、これらは実際には物理的にひとまとまりであるとは限らないし、その必要もない。例えば、露出値決定部200は、重み記憶部222を有さなくてもよく、この場合、重み記憶部222が保持する情報を外部から入力してもよい。デジタルカメラ10において露出値決定部200の機能を実現する設計には相当の自由度がある。
【0044】
露出値決定部200は、測光センサ54、バッファメモリ202、演算部204、絶対基準値記憶部208、積和回路206、異常輝度領域検出部210、重み記憶部222、及び重み付与部224を有する。
【0045】
測光センサ54は、撮影レンズ22によって結像された画像をマトリクス状の64個のセルに分割し、セル毎の輝度を測定する。測光センサ54は、各セルの輝度を示す輝度データをセルの位置を示す位置データと対応付けてバッファメモリ202に格納する。位置データは、画像における座標を示すデータであってもよいし、マトリクス状に配置されたセルに対して、縦または横に連続した番号を与え、これを位置データとしてもよい。いずれにせよ、位置データは、セルの位置を特定できるデータであればよく、そのデータ内容は上記に限定されない。
【0046】
輝度データと位置データは、ファイル名によって対応付けられている。また、他の形態としては、輝度データと位置データのIDなどデータ固有の情報によって対応付けられてもよく、また対応する情報が1つのファイルに格納されていてもよい。いずれにせよ、輝度データと位置データとを対応付けて格納すればよく、これを実現するための設計の自由度は大きい。
【0047】
絶対基準値記憶部208は、異常輝度領域とみなす基準の輝度を示す絶対基準値データを格納する。絶対基準値は、輝度の絶対的な値である。演算部204は、バッファメモリ202に格納された全てのセルの輝度データを抽出し、全てのセルについて輝度平均を算出し、輝度平均よりも所定の値だけ大きい相対基準値を得る。演算部204はまた、絶対基準値記憶部208から絶対基準値データを抽出し、絶対基準値及び相対基準値に基づいて異常輝度とみなすしきい値を決定する。例えば、絶対基準値が相対基準値よりも低い場合は、絶対基準値をしきい値とし、相対基準値が絶対基準値よりも低い場合は、相対基準値をしきい値としてもよい。演算部204は、しきい値を示すしきい値データを高輝度セル検出部212に送る。
【0048】
このように、絶対基準値に加えて画像全体の平均輝度に基づいた相対基準値を考慮してしきい値を決定する。従って、画像全体の輝度が低いあるいは高い傾向にあるような画像に対しても、画像全体に最適な露出値を決定することができる。
【0049】
異常輝度領域検出部210は、例えば光源のように局所的に輝度が高い異常輝度領域を検出する。異常輝度領域検出部210は、異常輝度領域候補検出部214及び異常輝度領域選択部216を含む。
【0050】
異常輝度領域候補検出部214は、バッファメモリ202に格納された全ての輝度データを抽出し、演算部204からしきい値データを受け取る。異常輝度領域候補検出部214は、しきい値よりも高い輝度を示す高輝度セルを検出し、検出した高輝度セルの輝度データに対応付けられた位置データをバッファメモリ202から高輝度位置データとして抽出する。異常輝度領域候補検出部214は、画像においてセルの位置が連続する複数の高輝度位置データを検出する。異常輝度領域候補検出部214は、これらの高輝度位置データが占める領域を異常輝度領域候補とする。連続して配置されるセルに対する高輝度位置データが存在しない高輝度位置データは、高輝度位置データ自体が示す領域すなわちその高輝度位置データが示す1個のセルが占める領域を異常輝度領域候補とする。異常輝度領域候補検出部214は、異常輝度領域候補に含まれるセルの数及び各セルの位置を示す異常輝度領域候補データを異常輝度領域選択部216に送る。このように、所定の輝度異常のセルを検出するので、異常輝度領域のみを忠実に切り出すことができる。
【0051】
異常輝度領域選択部216は、異常輝度領域候補データを受け取る。異常輝度領域選択部216は、最大セル数4を予め格納する。異常輝度領域選択部216は、異常輝度領域候補データから4つ以下のセルを有する異常輝度領域候補を異常輝度領域として選択する。異常輝度領域選択部216は、選択した異常輝度領域に含まれるセルの位置を示す異常輝度領域位置データを重み付与部224へ送る。このように、比較的小さなセルの輝度を測定し、所定のセル数以下の領域を異常輝度領域とするので、高輝度が支配的となっている領域と局所的に輝度の高い異常輝度領域とを区別することができる。
【0052】
各セルに対して、重みの基準となる重み基準値が与えられ、重み記憶部222は、重み基準値を示す重み基準値データを各セルの位置データと対応付けて格納する。重み基準値の大きさは、画像におけるセルの位置に依存する。
【0053】
重み付与部224は、重み記憶部222に格納された重み基準値データを抽出し、異常輝度領域選択部216から異常輝度領域位置データを受け取る。重み付与部224は、重み基準値を各セルにおいて測定された輝度に加重すべき重みに変更する。すなわち、各セルについて(式1)の演算を行って重みWiを算出する。
【数1】
Figure 0004188531
【0054】
(式1)中のwは、各セルiに予め設定されている重み、ALは各セルiの重み軽減係数である。セルiが異常輝度領域に含まれない場合は、ALに1が代入される。セルiが異常輝度領域に含まれる場合は、画像の周辺部のセルに対して与えられた重みの値よりも大きく、かつ画像の中心部のセルに対して与えられた重みの値よりも小さい数がALに代入される。例えばALに3が代入されてもよい。
【0055】
(式1)によって、算出されたWiが1未満の場合、セルiの重みを0に変更し、Wiが1以上の場合、セルiの重みをWiに変更する。従って、異常輝度領域に含まれるセルがALよりも大きな重み基準値が与えられたセルである場合、輝度に加重される重みを小さくし、異常輝度領域に含まれるセルがALよりも小さな重み基準値が与えられたセルである場合、このセルの輝度を露出値の算出から除外することができる。重み付与部224はまた、全てのセルの変更後の重み及び重みに対応するセルの位置を示す重みデータを積和回路206へ送る。
【0056】
積和回路206は、バッファメモリ202から全てのセルの輝度データを抽出する。積和回路206はまた、重み付与部224から重みデータを受け取る。積和回路206は、輝度を加算して撮像ユニット20がこの画像を撮影するときの最適な露出値を決定する。このとき各セルの輝度に、それぞれのセルに与えられた重みを乗じる。すなわち、各セル毎の輝度に重みを乗じ、加重された輝度の全セルの積分を算出する。積和回路206は、算出された値を露出条件決定部226へ送る。露出条件決定部226は、受けとった値に基づいて、撮像ユニット20が撮影するときの絞り値及びシャッタースピード等の露出条件を決定する。
【0057】
重み付与部224及び積和回路206で行う演算は、(式2)で表される。(式2)中のEVは露出値、evは、各セルiの輝度を示す。このように、各セル毎に予め与えられた重み基準値をALで除算して重みの値を変更し、全セルに対して変更後の重みと測定値との積和を算出する。従って、異常輝度領域を考慮して画像に最適な露出値を算出することができる。
【数2】
Figure 0004188531
【0058】
図3は、規則的に配置された四角形のセルに分割された画像300を示す。この場合、1つのセル302の境界上の任意の点が接するセルの個数は、セルの頂点位置において最大となり、最大セル数は4個である。従って、この場合、異常輝度領域選択部216(図2)は、最大セル数4を予め格納する。異常輝度領域選択部216はまた、4個以下のセルからなる異常輝度領域候補を選択して、異常輝度領域とする。
【0059】
画像300を構成する64個のセルにはそれぞれ重み基準値が与えられている。中心点320に近いセルほど、大きな重み基準値が与えられている。画像300の端から順に、第1領域310の各セルに対して重み基準値1、第2領域312の各セルに対して重み基準値2、第3領域314の各セルに対して重み基準値4、及び第4領域316の各セルに対して重み基準値5が与えられている。従って、中心点320に近い領域の輝度ほど露出値の算出に大きく寄与する。主要被写体は、比較的中心部に配置されることが多いので、このように中心点320に近い領域の輝度が露出値に大きく寄与するように設定しておくことで、主要被写体に最適な露出値を決定することができる。
【0060】
また、重み付与部224(図2)は、異常輝度領域に対するALとして3を格納しているので、周辺部306に存在する異常輝度領域内のセル302のWは、1未満の値となり、中心部304に存在する異常輝度領域内のセル302のWは、1以上の値となる。すなわち、中心部304に存在する異常輝度領域内のセル302に対しては、重みを軽くし、周辺部306に存在する異常輝度領域内のセル302に対しては、重みを零にすることができる。各セルに与える重み基準値及び重み付与部224が異常輝度領域に対するALとして与える数は任意に設定することができる。
【0061】
図4は、撮影レンズ22によって結像された画像300を示す。このように、周辺部306に光源が存在する場合、画像300全体の輝度平均は異常輝度領域330によって大きくなる。従って、輝度平均に基づいて露出値を算出した場合、主要被写体である人物の領域に対しては小さ過ぎる露出値が算出される。しかし、本実施の形態によれば、周辺部306に位置する異常輝度領域330に含まれるセルの輝度は、露出値の算出にあたって除外されるので、人物に最適な露出値で撮影することができる。すなわち、比較的主要被写体が配置されることの多い中心部304の露出が必要以上に小さくなるのを防ぐことができる。
【0062】
また、中心部304に存在する異常輝度領域330中のセルの輝度は重みが小さくなるが、除外されることはない。従って、例えば、人物に直接光が当たっている場合のように主要被写体が異常輝度領域330を含む場合でも、主要被写体に最適な露出値を算出することができる。
【0063】
図5は、画像を撮影するときのデジタルカメラ10の動作を示すフローチャートである。撮影が開始すると、撮影レンズ22は、画像300を結像する(S100)。次に、測光センサ54は、画像を64個のセルに分割し、セル毎の輝度を測定する(S102)。次に、異常輝度領域検出部210は、異常輝度領域を検出する(S104)。次に、重み付与部224は、重み基準値データ及び異常輝度領域位置データに基づいて、重み基準値から各セルの輝度に加重すべき重みを算出する(S106)。次に、重み付与部224は、測定された各セル毎の輝度に対して、各セルに対して算出された重みを乗じる。次に、露出値決定部226は、加重された各セルの輝度を全てのセルについて積分し、露出値を算出する。次に、露出条件決定部226は、この画像に対する露出条件を決定する(S108)。次に、決定された露出条件で画像300を撮影する(S110)。以上で、画像の撮影が終了する。このように、撮影毎に輝度を調整するので、各画像に最適な露出値で画像を撮影することができる。
【0064】
図6は、図5の異常輝度領域検出段階(S104)における露出値決定部200の詳細な動作を示すフローチャートである。演算部204は、バッファメモリ202に格納された輝度データから画像300に含まれる全てのセル302の平均輝度を算出する(S200)。次に、演算部204は、絶対基準値及び相対基準値に基づいて異常輝度領域とみなすしきい値を決定する(S202)。次に、異常輝度領域候補検出部214は、しきい値よりも高い輝度を示す高輝度セルを検出し、このセルに対応する位置データを高輝度位置データとしてバッファメモリ202から抽出する。次に、連続して配置された高輝度セルを検出し、この高輝度セルが占める領域を異常輝度領域候補とする。また、連続して配置されたセルが存在しないセルは、そのセル自体すなわちセル1個を異常輝度領域候補とする(S204)。次に、異常輝度領域選択部216は、異常輝度領域候補検出部214から受け取った異常輝度領域候補のうち、その領域が占めるセル数が4以下の異常輝度領域候補を異常輝度領域として選択する(S206)。
【0065】
このように、異常輝度領域の面積が予め定められているので、所定の面積以上の領域が高輝度な場合は、高輝度が支配的な画像と認識し、高輝度な領域が所定の面積以下の場合は、異常輝度領域と認識できる。すなわち、同じ輝度を示すセルについて、高輝度が支配的な領域であるか、異常輝度領域であるかを判断することができる。従って、露出値算出にあたって、高輝度が支配的な領域に対しては、全体の輝度を下げ、異常輝度領域に対しては、異常輝度領域の輝度が全体の輝度に影響を与えないよう、異常輝度領域の輝度の寄与を小さくすることができる。
【0066】
図7は、デジタルカメラ10の測光センサ54が測光するセルの他の形状を示す。画像300は、三角形セル340に分割される。この場合、三角形セル340の境界上の任意の点が接する三角形セル340の最大個数は、6個である。従って、異常輝度領域選択部216は最大セル数6を記憶し、異常輝度領域候補検出部214から受け取った異常輝度領域候補からセルの数が6以下の異常輝度領域候補を異常輝度領域として選択する。
【0067】
図8は、デジタルカメラ10の測光センサ54が測光するセルのさらに他の形状を示す。画像300は、六角形セル342に分割される。この場合、六角形セル342の境界上の任意の点が接する六角形セル342の最大個数は、3個である。従って、異常輝度領域選択部216は、最大セル数3を記憶し、異常輝度領域候補検出部214から受け取った異常輝度領域候補からセルの数が3以下の異常輝度領域候補を異常輝度領域として選択する。
【0068】
他の実施に形態としては、異常輝度領域候補検出部214は、高輝度セルを検出し、この高輝度セルに隣接するセルの輝度データに基づいて、輝度が不連続となる点を検出してもよい。この場合、輝度が不連続となる点を異常輝度領域候補の境界とする。異常輝度領域候補検出部214はまた、境界を含むセルまでのセル数を異常輝度領域候補に含まれるセル数として設定する。異常輝度領域候補検出部214は、異常輝度領域に含まれるセル数とその位置を示す異常輝度領域候補データを異常輝度領域選択部216に送る。本実施形態おいても、異常領域を忠実に検出することができる。
【0069】
上記第1実施形態においては、デジタルカメラ10の例を用いて本発明を説明した。しかしながら、本発明は、動画を撮影するビデオカメラに用いることもできる。ビデオカメラの全体の構成は第1実施形態において説明したデジタルカメラ10の全体の構成とほぼ同様であるので説明を省略する。但し、ビデオカメラの場合は、図1のオプション装置76がビデオテープであってもよい。ビデオカメラの他の構成及び動作は、図1から図6を用いて説明した第1実施形態におけるデジタルカメラ10の構成及び動作とほぼ同様であるので説明を省略する。
【0070】
以上、実施の形態を説明したが、本発明の技術的な範囲はこれらの記載には限定されない。これらの実施の形態に多様な変更または改良を加うることは当業者には理解されるところである。
【0071】
そうした第1の変更例としては、本実施の形態においては、撮像装置は、デジタルカメラ10及びビデオカメラであったが、スチルカメラであってもよく、静止画及び動画の両方を撮影可能なデジタルカメラであってもよい。いずれの場合も、露出値決定部200が搭載され、露出値決定部200によって露出値が算出される。
【0072】
第2の変更例としては、本実施の形態においては、測光センサ54によって各セルの輝度を測定したが、測光センサのかわりに、CCD30が蓄積する電荷量を各セル毎に積分し、積分の結果得られた値を利用して各セルの輝度を算出してもよい。
【0073】
第3の変更例としては、本実施の形態においては、画像を所定の面積のセルに分割したが、セルは、CCDが有する1素子でもよい。
【0074】
第4の変更例としては、本実施の形態においては、重み付与部224は、重み記憶部222から全てのデータを抽出して重みを変更する演算を行ったが、重み付与部224は、異常輝度領域に含まれるセルについてのみ重みを変更し、それ以外の重みデータはそのまま積和回路206へ送ってもよい。
【0075】
第5の変更例としては、本実施の形態においては、異常輝度領域の最大セル数は、セルの境界上の任意の点が接するセルの最大数であったが、最大セル数は、これよりも大きい数に設定されてもよい。
【0076】
第6の変更例としては、本実施の形態においては、測光センサ54は、マトリクス状に配置された同じ大きさのセル毎の輝度を測定したが、セルの大きさは統一されていなくてもよい。例えば、中心部304のセルよりも周辺部306のセルが大きくてもよい。
【0077】
第7の変更例としては、本実施の形態においては、異常輝度領域候補検出部214は、所定の面積以下の領域を異常輝度領域に決定したが、異常輝度領域候補検出部214は、所定の面積として画像の中心部304及び周辺部306に位置する異常輝度領域に対して異なる面積を格納してもよい。
【0078】
第8の変更例としては、本実施の形態の異常輝度領域検出部210は、画像300に含まれる全てのセル302から異常輝度領域330を検出したが、異常輝度領域検出部210は、画像300の周辺部306のみから異常輝度領域330を検出してもよい。
【0079】
第9の変更例としては、本実施の形態においては、中心点320に近い領域ほど重みを高く設定したが、主要被写体が配置される可能性の高い領域の重みが高くなればよく、重みの設定については、これに限定されるものではない。例えば、重み付与部224及び積和回路206における露出値を決定する演算において、中心部304に異常輝度領域330が位置する場合、異常輝度領域330に含まれるセルの輝度を除外してもよく、また例えば、周辺部306に異常輝度領域330が位置する場合、異常輝度領域330に含まれるセルの輝度を加味してもよい。また、画像中のセルの数と配置、重みの値、及びALの値についても本実施の形態に限定されるものではなく、これらの設定には、相当の自由度がある。
【0080】
【発明の効果】
上記説明から明らかなように、本発明によれば輝度レベルに基づいて露出値を決定することができる。
【図面の簡単な説明】
【図1】デジタルカメラ10の全体構成図である。
【図2】露出値決定部200の機能を示す機能ブロック図である。
【図3】規則的に配置されたセルに分割された画像300を示す図である。
【図4】撮影レンズ22によって結像された画像300を示す図である。
【図5】画像300を撮影するときのデジタルカメラ10の動作を示すフローチャートである。
【図6】図5のS104における露出値決定部200の詳細な動作を示すフローチャートである。
【図7】デジタルカメラ10の測光センサ54が測光するセルの他の形状を示す図である。
【図8】デジタルカメラ10の測光センサ54が測光するセルのさらに他の形状を示す図である。
【符号の説明】
10…デジタルカメラ 20…撮像ユニット 22…撮影レンズ 24…絞り 26…シャッタ 28…光学LPF 30…CCD 32…撮像信号処理部 34…ファインダ 36…ストロボ 36a…放電管 40…撮像制御ユニット 42…ズーム駆動部 44…フォーカス駆動部 46…絞り駆動部 48…シャッタ駆動部 50…撮像系CPU 52…測距センサ 54…測光センサ 60…処理ユニット 62…メインCPU 64…メモリ制御部 66…不揮発性メモリ 68…メインメモリ 70…YC処理部 72…エンコーダ 74…オプション装置制御部 76…オプション装置 78…圧縮伸張処理部 80…通信I/F部 82…メインバス 84…キャラクタ生成部 86…タイマ 88…クロック発生器 90…ビデオ出力端子 92…コネクタ 100…表示ユニット 110…操作ユニット 200…露出値決定部 202…バッファメモリ 204…演算部 206…積和回路 208…絶対基準値記憶部 210…異常輝度領域検出部 214…異常輝度領域候補検出部 216…異常輝度領域選択部 218…最大セル数記憶部 222…重み記憶部 224…重み付与部 226…露出条件決定部 300…画像 302…セル 304…中心部 306…周辺部 310…第1領域 312…第2領域 314…第3領域 316…第4領域 320…中心点

Claims (11)

  1. 露出を制御する撮像装置であって、
    被写体の画像を撮像する撮像ユニットと、
    前記画像をマトリクス状のセルに分割し、前記セル毎の輝度を測定する測光部と、
    異常輝度とみなす絶対基準値を予め保持する絶対基準値記憶部と、
    前記セル毎の輝度から前記画像の全体の輝度平均を算出し、前記輝度平均よりも所定の値大きい相対基準値を求め、前記絶対基準値が前記相対基準値よりも低い場合、前記絶対基準値を所定の輝度とし、前記相対基準値が前記絶対基準値よりも低い場合、前記相対基準値を前記所定の輝度とする演算部と
    前記画像から局所的に輝度が高い異常輝度領域を検出する異常輝度領域検出部と、
    前記異常輝度領域を除いた前記セル毎の輝度を加算し、前記画像を撮影するときの露出値を算出する加算回路と
    を備え、
    前記異常輝度領域検出部は、
    前記画像のうち前記所定の輝度以上の前記セルを高輝度セルとして検出し、前記高輝度セルが連続して配置されている領域を異常輝度領域候補として検出する異常輝度領域候補検出部と、
    前記異常輝度領域候補が所定の面積以下の場合に、当該異常輝度領域候補を前記異常輝度領域として選択する異常輝度領域選択部と
    を有する撮像装置。
  2. 前記異常輝度領域選択部は、前記異常輝度領域候補に含まれる前記セルの数が所定のセル数以下の場合に、当該異常輝度領域候補を前記異常輝度領域として選択する請求項1に記載の撮像装置。
  3. 前記撮像ユニットは、
    前記被写体の像を結像するレンズ部と、
    前記レンズ部が結像した像を受光して電荷を蓄積するCCDと
    を有し、
    前記測光部は、前記CCDが蓄積する電荷量を前記セル毎に積分し、前記積分の結果得られた値から、各セルの輝度を算出する請求項1または請求項に記載の撮像装置。
  4. 前記セルの位置に対応した重みを予め格納する重み記憶部と、
    前記セルが前記異常輝度領域に含まれる場合は、当該セルに対応した前記重みを小さくし、小さくした前記重みを当該セルの輝度に付与する重み付与部と
    をさらに備える請求項1乃至請求項のいずれかに記載の撮像装置。
  5. 前記重み付与部は、前記セルが前記異常輝度領域に含まれかつ前記画像の周辺部に位置する場合に前記重みを零にし、前記セルが前記異常輝度領域に含まれかつ前記画像の中心部に位置する場合に、前記重みを小さくする請求項に記載の撮像装置。
  6. 前記重み付与部は、前記異常輝度領域に含まれる前記セルに対応する前記重みを所定の数値で除算し、その結果得られた値に基づいて前記重みを変更する請求項に記載の撮像装置。
  7. 前記所定の数値は、前記画像のうち前記周辺部に位置する前記セルに対応する前記重みよりも大きく、前記画像のうち前記中心部に位置する前記セルに対応する前記重みよりも小さい数であり、
    前記重み付与部は、前記除算の結果が1未満である場合に、前記重みを零に変更し、前記除算の結果が1以上である場合に、前記重みを前記除算の結果得られた値に変更する請求項に記載の撮像装置。
  8. 前記所定のセル数は、前記セルの境界上の任意の点が接する前記セルの最大個数である請求項1乃至請求項のいずれかに記載の撮像装置。
  9. 前記セルは四角形であり、前記所定のセル数は、4つである請求項に記載の撮像装置。
  10. 露出を制御する露出制御方法であって、
    被写体の画像を撮像する撮像段階と、
    前記画像をマトリクス状のセルに分割し、前記セル毎の輝度を測定する測光段階と、
    異常輝度とみなす絶対基準値を予め保持する絶対基準値記憶段階と、
    前記セル毎の輝度から前記画像の全体の輝度平均を算出し、前記輝度平均よりも所定の値大きい相対基準値を求め、前記絶対基準値が前記相対基準値よりも低い場合、前記絶対基準値を所定の輝度とし、前記相対基準値が前記絶対基準値よりも低い場合、前記相対基準値を前記所定の輝度とする演算段階と、
    前記画像から局所的に輝度が高い異常輝度領域を検出する異常輝度領域検出段階と、
    前記異常輝度領域を除いた前記セル毎の輝度を加算し、前記画像を撮影するときの露出値を算出する加算段階と
    を備え、
    前記異常輝度領域検出段階は、
    前記画像のうち前記所定の輝度以上の前記セルを高輝度セルとして検出し、前記高輝度セルが連続して配置されている領域を異常輝度領域候補として検出する異常輝度領域候補検出段階と、
    前記異常輝度領域候補が所定の面積以下の場合に、当該異常輝度領域候補を前記異常輝度領域として選択する異常輝度領域選択段階と
    を有する露出制御方法。
  11. 前記セルの位置に対応した重みを予め格納する重み記憶段階と、
    前記セルが前記異常輝度領域に含まれる場合は、当該セルに対応した前記重みを小さくし、小さくした前記重みを当該セルの輝度に付与する重み付与段階と
    をさらに備える請求項10に記載の露出制御方法。
JP2000017388A 2000-01-26 2000-01-26 撮像装置及び露出制御方法 Expired - Fee Related JP4188531B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000017388A JP4188531B2 (ja) 2000-01-26 2000-01-26 撮像装置及び露出制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000017388A JP4188531B2 (ja) 2000-01-26 2000-01-26 撮像装置及び露出制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008172300A Division JP4777397B2 (ja) 2008-07-01 2008-07-01 撮像装置及び露出制御方法

Publications (2)

Publication Number Publication Date
JP2001209088A JP2001209088A (ja) 2001-08-03
JP4188531B2 true JP4188531B2 (ja) 2008-11-26

Family

ID=18544391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000017388A Expired - Fee Related JP4188531B2 (ja) 2000-01-26 2000-01-26 撮像装置及び露出制御方法

Country Status (1)

Country Link
JP (1) JP4188531B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4451707B2 (ja) 2004-04-30 2010-04-14 富士フイルム株式会社 撮像装置及び撮像方法
JP4743868B2 (ja) * 2006-03-20 2011-08-10 株式会社リコー 画像記録装置
JP4523629B2 (ja) * 2007-10-17 2010-08-11 三菱電機株式会社 撮像装置

Also Published As

Publication number Publication date
JP2001209088A (ja) 2001-08-03

Similar Documents

Publication Publication Date Title
US7362370B2 (en) Image capturing apparatus, image capturing method, and computer-readable medium storing program using a distance measure for image correction
JP3473552B2 (ja) デジタルスチルカメラ
JP2003338972A (ja) 画像処理システム、撮像装置、画像処理装置、画像処理方法及びプログラム
JP3914060B2 (ja) 合焦装置
JP4451583B2 (ja) 撮像装置、撮像方法、及びプログラム
JP3806038B2 (ja) 画像処理システム及び撮像装置
JP3971100B2 (ja) デジタルカメラ及び画像投影方法
JP4124404B2 (ja) 撮像装置、画像処理装置、画像処理方法、及びプログラム
JP4343468B2 (ja) 画像処理システム、撮像装置、画像処理装置、画像処理方法、及びプログラム
JP2001197347A (ja) 情報記録装置、情報取得方法、およびデジタルカメラ
JP4176328B2 (ja) 撮像装置、画像処理装置、画像処理方法、及びプログラム
JP4717226B2 (ja) 画像再生装置、カメラ、画像再生方法、及びプログラム
JP4188531B2 (ja) 撮像装置及び露出制御方法
JP4034029B2 (ja) デジタルカメラ
JP5316923B2 (ja) 撮像装置及びそのプログラム
JP2003219217A (ja) 撮像装置、撮像方法、及びプログラム
JP4087631B2 (ja) 撮像装置、画像処理装置、撮像方法、画像処理方法、画像処理システム、及びプログラム
JP2003209737A (ja) 撮像装置
JP4777397B2 (ja) 撮像装置及び露出制御方法
JP2003242504A (ja) 画像処理装置
JP3921045B2 (ja) 撮像装置、光蓄電装置及び充電方法
JP4130338B2 (ja) 画像処理システム、画像処理方法、撮像装置、及び画像処理装置
JP2001223943A (ja) 撮像装置
JP2009017565A (ja) 画像再生装置、カメラ、画像再生方法、及びプログラム
JP2003207712A (ja) 合焦装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050901

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080318

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080509

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080617

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080627

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080909

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080911

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4188531

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110919

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120919

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130919

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees