JP3873157B2 - 電子カメラ装置および撮像方法 - Google Patents
電子カメラ装置および撮像方法 Download PDFInfo
- Publication number
- JP3873157B2 JP3873157B2 JP36870597A JP36870597A JP3873157B2 JP 3873157 B2 JP3873157 B2 JP 3873157B2 JP 36870597 A JP36870597 A JP 36870597A JP 36870597 A JP36870597 A JP 36870597A JP 3873157 B2 JP3873157 B2 JP 3873157B2
- Authority
- JP
- Japan
- Prior art keywords
- strobe
- image
- luminance
- imaging
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
Description
【発明の属する技術分野】
本発明はデジタルカメラ等の電子カメラ装置に関し、特に、ストロボ撮像時における撮像技術に関する。
【0002】
【従来の技術】
従来、光量の足りない場所での撮像は、光学カメラ(銀塩カメラ)では露光時間を長くして撮像するか、或いはストロボを発光させることで光量を補って撮像を行なっている。後者の場合、ストロボを用いると露光時間を短くできるので、暗所でもカメラを固定することなく撮像できる。
【0003】
一方、デジタルカメラ等の電子カメラでは液晶表示素子などの表示素子を備えCCDで取込んだ画像を液晶表示素子で表示して被写体を確認し、所望のタイミングで撮像/記録し、また、記録した画像を再生して液晶表示素子で表示し確認できるものがある。このような電子カメラの場合、暗所(光量が不足している場所をいう)ではCCDの感度を上げて(CCDからの信号を増幅して)明るい画像を撮像する手法が用いられている。
【0004】
しかしながら、光量の足りない場所で撮像するために撮像素子の感度を上げ過ぎると撮像された画像に電気的なノイズ成分が目立つようになり良好な画像が得られないという問題点があるので、ある程度以上暗いところでは電子カメラでの撮像の際ストロボを用いて光量を補い、撮像するものがある。
【0005】
また、撮像の際、焦点を自動的に合せるオートフォーカス機能を備えた光学カメラ装置が普及している。オートフォーカス方式の一例として、合焦の有無を観測してレンズとフィルム表面との距離を自動的に前後させて調節し、合焦させている。
【0006】
【発明が解決しようとする課題】
図8(a)に示すように中心になる被写体(以下、中心被写体)81とそれより後にあるような物体等(以下、背景被写体)82とを含めてストロボ撮影を行なった場合に、中心被写体81だけが明るく撮影されて背景被写体82がよく写らなかったり、或いは背景被写体82は明るく写ったものの中心被写体81だけが白飛びしてしまうといった現象が生じることがあった。
【0007】
上記現象は中心被写体81と背景被写体82のどちらにストロボ光量を合せた撮像を行なったかを主因とし、特に、カメラと中心被写体81の距離x1と、カメラと背景被写体82の距離x2との差が大きい場合に生じやすいことが経験的に知られている。
【0008】
このような場合、従来の銀塩カメラでは中心被写体81に焦点を合せておき、ストロボを使用した後に、背景被写体82が撮影されるまで十分な時間シャッターを開いておくことで光量を補うスローシンクロ方式があるが、デジタルカメラで、単に、ストロボ発行後にシャッター時間を遅延させて光量を補うだけでは背景被写体82は明るく写るが中心被写体81が白飛びすることになる。
【0009】
本発明は、上記従来技術の問題点および解決課題に基づいてなされたものであり、暗所において、遠近の差のある被写体を撮像する場合に適切な明るさの画像を得ることができる電子カメラ装置および撮像方法の提供を目的とする。
【0010】
【課題を解決するための手段】
上記の目的を達成するために、第1の発明の電子カメラ装置は、撮像素子で取込んだ画像を所望のタイミングで撮像/記録可能な電子カメラ装置において、所望のタイミングで撮像指示を行なうことにより発光するストロボ発光装置と、取込んだ画像中の複数箇所の輝度を得る輝度検出手段と、輝度値に応じたストロボ発光量を複数得るストロボ発光量決定手段と、1回の撮像指示により、ストロボ発光量決定手段により得られた複数のストロボ発光量でストロボ発光装置を複数回発光させて複数のストロボ画像を取込む動作を繰返して複数のストロボ画像を得るストロボ撮像手段と、複数のストロボ画像毎に所定範囲の輝度を有する部分を抽出して合成する動作を繰返して合成画像を得る画像合成手段と、輝度検出手段により得られた複数箇所の輝度値の輝度差に基づき、画像合成手段による合成動作を禁止する禁止手段と、を有し、輝度検出手段は、ストロボ撮像手段により得られたストロボ画像中の複数箇所の輝度を得る手段を含み、禁止手段は、輝度検出手段により得られたストロボ画像中の複数箇所の輝度値の輝度差に基づき、画像合成手段による合成動作を禁止することを特徴とする。
また、第2の発明は第1の発明の電子カメラ装置において、禁止手段は、輝度検出手段により得られたストロボ画像中の複数箇所の輝度値の輝度差が所定値未満か否かを判断する判断手段を含み、判断手段により輝度差が所定値未満であると判断された場合、画像合成手段による合成動作を禁止することを特徴とする。
【0011】
また、第3の発明は第1又は第2の発明の電子カメラ装置において、禁止手段は、更に、ストロボ撮像手段による複数のストロボ撮像動作のうち少なくとも1つのストロボ撮像動作を禁止する手段を含むことを特徴とする。
また、第4の発明は第 3 の発明の電子カメラ装置において、禁止手段は、更に、ストロボ発光量決定手段による複数のストロボ発光量決定動作のうち少なくとも1つのストロボ発光量決定動作を禁止する手段を含むことを特徴とする。
また、第5の発明は第1乃至第 4 のいずれかの電子カメラ装置において、輝度検出手段は、取込んだ画像中の第1の箇所の輝度を得る手段を含み、ストロボ発光量決定手段は、第1の箇所の輝度値に応じたストロボ発光量を得る手段を含み、ストロボ撮像手段は、ストロボ発光量決定手段により得られた第1の箇所の輝度値に応じたストロボ発光量でストロボ発光装置を発光させて画像を取込む動作を行うことにより第1のストロボ画像を得る手段を含み、輝度検出手段は、更に、ストロボ撮像手段により得られた第1のストロボ画像中の第2の箇所の輝度を得る手段を含み、ストロボ発光量決定手段は、更に、第2の箇所の輝度値に応じたストロボ発光量を得る手段を含み、ストロボ撮像手段は、更に、ストロボ発光量決定手段により得られた第2の箇所の輝度値に応じたストロボ発光量でストロボ発光装置を発光させて画像を取込む動作を行うことにより第2のストロボ画像を得る手段を含み、画像合成手段は、第1及び第2のストロボ画像において所定範囲の輝度を有する部分を抽出して合成する動作を行うことにより合成画像を得ることを特徴とする。
【0012】
また、第6の発明は第5の発明の電子カメラ装置において、輝度検出手段は、更に、ストロボ撮像手段により得られた第1のストロボ画像中の第1の箇所の輝度を得る手段を含み、ストロボ発光量決定手段は、更に、第1のストロボ画像中の第1及び第2の箇所の輝度値に応じたストロボ発光量を得る手段を含み、ストロボ撮像手段は、更に、ストロボ発光量決定手段により得られた第1及び第2の箇所の輝度値に応じたストロボ発光量でストロボ発光装置を発光させて画像を取込む動作を行うことにより第2のストロボ画像を得る手段を含むことを特徴とする。
【0024】
また、第7の発明は第1乃至第6のいずれかの発明の電子カメラ装置において、更に、抽出範囲を拡大または縮小させて画像の再合成を行なう再合成手段を含むことを特徴とする。
【0025】
また、第8の発明は、第1乃至第7のいずれかの発明の電子カメラ装置において、画像合成手段により得られた合成画像を記録する記録手段と、所定の記録指示操作があった場合に合成画像を記録手段に記録する記録制御手段とを更に備えたことを特徴とする。
【0030】
また、第9の発明の撮像方法は、撮像素子で取込んだ画像を所望のタイミングで撮像/記録可能な電子カメラ装置における撮像方法であって、取込んだ画像中の複数箇所の輝度を得る輝度検出工程と、輝度値に応じたストロボ発光量を複数得るストロボ発光量決定工程と、1回の撮像指示により、得られた複数のストロボ発光量でストロボ発光装置を複数回発光させて複数のストロボ画像を取込む動作を繰返して複数のストロボ画像を得るストロボ撮像工程と、複数のストロボ画像毎に所定範囲の輝度を有する部分を抽出して合成する動作を繰返して合成画像を得る画像合成工程と、複数箇所の輝度値の輝度差に基づき、合成する動作を禁止する禁止工程と、を有し、輝度検出工程は、ストロボ撮像工程により得られたストロボ画像中の複数箇所の輝度を得る工程を含み、禁止工程は、輝度検出工程により得られたストロボ画像中の複数箇所の輝度値の輝度差に基づき、画像合成工程による合成動作を禁止することを特徴とする。
【0032】
【発明の実施の形態】
本発明は撮像時に暗所で撮像を可能とするストロボ発光機能を備える電子カメラ装置と、ストロボ発光機能およびオートフォーカス機能または測距機能を有する電子カメラ装置に適用可能である。以下、実施形態1ではストロボ発光機能を備える電子カメラ装置に本発明を適用した場合を例として述べ、実施形態2ではストロボ発光機能およびオートフォーカス機能を備える電子カメラ装置に本発明を適用した場合を例として述べる。
【0033】
<実施形態1>
[回路構成例] 図1は、本発明を適用した電子カメラ装置の一実施例としてのデジタルカメラの回路構成例を示すブロック図であり、図1(a)で、デジタルカメラ100は、光学系10、ストロボ発光部11、信号変換部12、信号処理部13、DRAM(ダイナミックメモリー)14、制御部20、操作部30、表示部40、OSDデータ用ROM45、記録部50および電源90を有している。
【0034】
光学系10は、撮像レンズ101と光量検出部および絞り駆動部を有する自動絞り機構102から構成され、撮像レンズ101を介して集光された被写体像の光束を後段のCCD121上に結像させる。
【0035】
ストロボ発光部11は、制御部20からシャッター押下げ信号を受け取ると極めて短い時間内に所定の光量を放出(発光)し、周辺の光量を補う。
【0036】
信号変換部12は、CCD121,CCD駆動用タイミング信号生成回路(TG)122,CCD駆動用垂直ドライバ123,自動利得制御回路(AGC)124およびA/D変換器125を含み、前段の光学系10を介してCCD121に結像した画像を電気信号に変換し、デジタルデータ(以下、画像データ)に変換して一定の周期で1フレーム分出力する。
【0037】
AGC124はストロボ設定がされていないか周辺光量が閾値(φmin〜φmax)の下限以上の場合にはCCDからの信号の増幅率を所定値に保つが、周辺光量が適正閾値(φmin〜φmax)の下限φminより低い場合にはCPU21の制御によりCCD121からの信号がAGC124により増幅されてA/D変換器に与えられ、増幅の結果を制御部20で光量に変換して閾値と比較し、比較結果はAGC124にフィードバックされる。これによりCCD121からの信号は光量が適正閾値内になるまで増幅される。
【0038】
信号処理部13は、カラープロセス回路およびDMAコントローラを有し、信号変換部12からの出力をカラープロセス処理して、デジタルの輝度、色差マルチプレクス信号(YUVデータ)とし、YUVデータをDRAM14の指定領域にDMA(ダイレクトメモリーアクセス)転送し、展開する。また、信号処理部13は記録保存の際にDRAM14に書込まれているYUVデータを読み出してJPEG圧縮処理を施す。また、再生モードで記録部50を介して取り込まれた記録媒体(メモリーカード)51に保存記録されていた画像データに伸張処理を施してYUVデータを再生する。
【0039】
制御部20は図1(b)に示すように、CPU21、RAM22、ROM23およびタイマー24を有している。なお、RAM22を設けることなくRAM22の代りとしてDRAM14に割当てられた領域を用いるようにしてもよい。
【0040】
CPU21は、上述の各回路および図示しない電源切換えスイッチ等にバスラインを介して接続し、ROM23に格納されている制御プログラムによりデジタルカメラ100全体の制御を行なうと共に、操作部30からの状態信号に対応してデジタルカメラの各機能の実行制御、例えば、ROM23内に格納された各モード処理手段の実行による各モード処理の実行制御、を行なう。
【0041】
RAM22はデータ或いは処理結果の一時記憶および中間作業領域等に用いられる。
【0042】
ROM23は上述の制御プログラムとストロボ撮像/合成手段110およびデジタルカメラ100のその他の各機能を実行させるためのプログラムを記録する記録媒体であり、PROM、FROM(フラッシュROM)等が用いられる。なお、これらプログラムをROM23以外のリムーバブルな記録媒体(例えば、フラッシュメモリー)に格納するように構成することもできる。
【0043】
操作部30は、図2に示すように処理モード切換えスイッチ105、機能選択用ボタン31〜35、メインスイッチ106、ストロボ設定ボタン36、シャッターボタン37、出力用ボタン38および記録/再生モード切換えスイッチ107等のスイッチやボタンを構成部分とし、これらのスイッチ或いはボタンが操作されると状態信号がCPU21に送出される。
【0044】
表示部40は液晶ディスプレイ等の表示装置から構成されており、撮像時に画面に被写体画像(スルー画像)が表示されるので、液晶ディスプレイ40をファインダとして用いることができる。また、再生モード時には再生画像を表示できる。
【0045】
ROM45には、液晶ディスプレイ40に表示するOSD(0n Screen Display;挿入表示)用の記号や、図形および文字等の情報(例えば、照準点、ストロボ充電状態を表示するアイコン等)が記録されている。
【0046】
記録部50は記録媒体を収容しCPU21の制御により記録媒体51上に信号処理部13からの画像データを記録する。なお、実施例では記録部50は記録媒体としてのメモリーカード51を着脱可能に構成し、データの書込/読み出しを行なうように構成したが、内部に固定されたフラッシュメモリー等の記録媒体にデータの書込/読み出しを行なうように構成してもよい。
【0047】
[装置外観例] 図2は、図1のデジタルカメラの一実施例の斜視図(背面図)である。デジタルカメラ100の上面には、処理モードを切換える処理モード切換えスイッチ(スライドスイッチ)105と、機能選択用ボタン31〜35と、デジタルカメラ100を起動するメインスイッチ106、ストロボ設定ボタン36、シャッターボタン37および出力用ボタン38が設けられている。
【0048】
背部には、記録モードと再生モードを切換える記録/再生モード切換えスイッチ107と、ストロボ表示ランプ108と、液晶ディスプレイ40が設けられている。ストロボ表示ランプ108はLED等で構成され、実施例では赤および緑の2種類の発光表示(点灯)が可能である。また、図示しない前面(正面)には、光学系のレンズ部分およびストロボ発光部11および光量検出部が設けられている。
【0049】
<DRAM14の領域設定例> 図3は、図1R>1のデジタルカメラ100の回路構成を例としたDRAM14内の各バッファ等の領域設定例を示す説明図である。図1の例では信号処理部13からの画像データ、VRAM(Video Random Access Memory)への画像データの出力およびデータ圧縮/伸張の際の画像データの書込/読み出しに同じDRAM14を用いている。このためにDRAM14上の画像データ記録用の領域の構成として、図3のようにいくつかの領域に分割したバッファを用意することで、目的に応じて各領域を設定できる。
【0050】
なお、図3で記号141はスルー画像用、再生画像用、または合成画像用として兼用される画像バッファを、142はストロボ発光で撮像した画像用のバッファ(以下、ストロボ画像バッファ)を、143はその他の設定領域および予備領域を、144はワークエリア(作業用エリア)を示す。なお、図3の例ではストロボ画像バッファとして142−1,142−2の2つを設定したが、2以上のストロボ画像バッファを設定することもできる。
【0051】
[処理モード例] 図4はデジタルカメラ100の処理モードの構成例を示す説明図であり、デジタルカメラ100の処理モードは記録、再生モードからなる通常モードおよび近接撮影等の特殊撮影モードに大別され、処理モード切換えスイッチ105の切換えにより通常モードと特殊撮影モードとの切換えがなされ、記録/再生モード切換えスイッチ107の操作により記録モードと再生モードの切換えが行なわれる。なお、特殊撮影モード下でも通常モードと同様に記録モードおよび再生モードがある(以下の説明は、通常モードの場合について述べるが特殊撮影モードにおいても同様である)。
【0052】
また、各スイッチの切換えによる各モードへの分岐は、各スイッチの操作により操作部30からCPU21に送られる状態信号を調べて対応のモード処理用回路或いはプログラムに分岐するモード判定手段(実施例ではプログラムで構成)によって行なわれる。
(1) 記録モード記録モードは被写体像を取込んで液晶ディスプレイ40に表示する撮像モードと、ストロボ発光により撮像を行なうストロボ撮像モードと、ユーザーが、スルー画像を視覚的に確認しながら取り込みたいタイミングでシャッターボタン37を押し下げることにより、その時点で表示されている画像のデータ(画像データ(YUVデータ))をDRAM14等の不揮発性メモリーからメモリーカード51に保存する記録保存モードを含んでいる。なお、ユーザが記録/再生モード切換えスイッチ107を記録側にスライドすると記録モードとなって撮像モードに遷移し、通常撮像モード下でユーザーがストロボ設定ボタン36を押すとストロボ撮像モードに遷移し、通常撮像モード下でシャッターボタン37が押されると記録保存モードに遷移し、ストロボ撮像モード下でシャッターボタン37が押されるとストロボ発光強度を変えた複数枚の画像が撮像され、それら複数枚の画像から合成画像を得た後、再度シャッターボタン37が押し下げられると記録保存モードに遷移する。
【0053】
撮像モード撮像モードでは、CCD121から周期的に取り込んでくる画像データをファインダ(液晶ディスプレイ)40上にスルー画像として表示する。
ストロボ撮像モードストロボ撮像モードに遷移すると、ストロボ設定がなされ、ストロボ表示ランプ108が赤色表示されると共に、ストロボ発光部11に電源90から電荷が印加され、ストロボが発光可能状態となるまで電荷が蓄積される。ストロボが発光可能状態になるとストロボ表示ランプ108が緑色に点灯される。ストロボ撮像モード下では、CCDから周期的に取り込んでくる画像データを液晶ディスプレイ40にスルー画像として表示し、検出されるカメラ周囲の光量が閾値範囲の下限の場合には、CCD121からの信号が増幅され液晶ディスプレイ40には明るいスルー画像が表示される。ストロボ撮像モード下でシャッターボタン37が押されると光量の異なる複数枚(実施例では2枚)の画像が撮像され、それら複数枚の画像から合成画像を得て液晶ディスプレイ40に合成画像を表示し、使用者の確認を得た後、記録保存モードに遷移する。なお、ストロボ撮像モード下での撮像、画像合成/表示等の具体的動作等については後述する。
記録保存モード通常撮像モードでシャッターボタン37が押されると記録保存モードに遷移して液晶ディスプレイ40にその時点で表示されている画像が静止画となり、画像バッファ141の内容はJPEG圧縮処理されてメモリーカード51に記録される。一方、ストロボ撮像モードで合成画像が表示された後に再度シャッターボタン37が押されると記録保存モードに遷移し、画像バッファ141の内容(この場合は合成画像が記憶されている)はJPEG圧縮処理されてメモリーカード51に記録される。
再生モード再生モードでは、メモリーカード51に記録されている画像データ(画像データまたは/およびストロボ画像データ)を読み出し再生して液晶ディスプレイ40に表示する。また、再生された画像のデータを図示しないインターフェイスを介してパソコンやプリンタ等の外部装置に出力(送信)することができる。
【0054】
[実施例1]
( ストロボ撮像/合成手段)
以下の実施例は、ストロボ発光後、光量の異なる複数枚の画像を撮像して画像合成する例であり、実施例1ー1(ストロボ撮像/合成手段110),実施例1ー2(ストロボ撮像/合成手段150),実施例1ー3(ストロボ撮像/合成手段150’)について述べる。ストロボ撮像/合成手段110(または150,150’)は、ユーザーがストロボ設定ボタン36を押した場合に起動され、ストロボ撮像モード処理を実行する。ストロボ撮像/合成手段110(または150,150’)はハードウエア回路で構成することもできるが本実施例ではこれらをプログラムで構成している。なお、ストロボ撮像/合成手段110(または150,150’)の各モジュールのうちあるモジュールをハードウエア回路で、その他のモジュールをプログラムで構成するようにしてもよい。また、プログラムで構成されたストロボ撮像/合成手段110(または150,150’)の各モジュールはROM23またはメモリーカード51に記録され、制御プログラムのコントール下でCPU21により実行制御され、本実施例のストロボ撮像/合成処理を実現する。
【0055】
<実施例1−1> (多重撮像方式)
本実施例でストロボ撮像/合成手段110は、ストロボ発光強度を変えた複数枚の画像を撮像し、それら複数枚の画像から合成画像を得て液晶ディスプレイ40に合成画像を表示し、使用者の確認を得たのち、記録保存モードに移行する。図5はストロボ撮像/合成手段110の構成例を示すブロック図であり、ストロボ撮像/合成手段110は、光量判定手段111,画像判定手段112,ストロボ発光量決定手段113、ストロボ撮像手段114および画像合成手段115を含んでいる。光量判定手段111は、ユーザーがストロボ設定ボタン36を押すと、モード判定手段によりストロボ撮像モードに遷移され、自動絞り機構102の光量検出部からの光量検出値と、撮像に必要とする光量L(閾値φ)を比較し、L<φの場合には画像判定手段112に遷移する。なお、L≧φの場合にはストロボ撮像不要としてストロボ設定を解除しストロボ表示ランプによる発光表示を中止すると共に、ストロボ発光部11への電荷印加を中止して通常撮像モードに遷移し、シャッターボタン37が押されるまで、通常撮像モードと同様の撮像状態を続行させる。すなわち、周辺光量が液晶ディスプレイ40で確認できる程度の明るさと判定され、液晶ディスプレイ40撮像モードの場合と同様の信号処理によるスルー画像が表示される。
【0056】
以下の説明で、複数の被写体を含む画像において、ピントが合わされている被写体を中心被写体としその他の被写体を背景被写体とする。具体的には、実施例では、スルー画像の中心被写体81をピントが合わされた被写体(通常は画面中央に位置する)とし、背景被写体82を輝度分布図中で中心被写体以外で検出された凸部とする(複数の凸部がある場合には、所定輝度γ以上で輝度がγに最も近い凸部を背景被写体とした)。
【0057】
画像判定手段112は、DRAM14の画像バッファ141、ストロボ画像バッファ142−1および142−2に一時的に記憶されるスルー画像、第1回目のストロボ撮像により得られたストロボ画像(以下、第1ストロボ画像)、第2回目のストロボ撮像により得られたストロボ画像(以下、第2ストロボ画像)の輝度分布を調べ、中心被写体と背景被写体の輝度y1,y2およびその差Δyを調べる。これにより中心被写体と背景被写体の相対的な明るさを知ることができる。画像判定手段112は、例えば、図6に示すような輝度分布からそれぞれスルー画像、第1ストロボ画像および第2ストロボ画像の中心被写体(81)の輝度y1a,y1b,y1cおよび背景被写体(82)の輝度y2a,y2b,y2cを得る。
【0058】
ここで、図6は、図8(a)に示した2つの被写体81,82を含む画像について画像判定手段112により得た輝度分布の説明図であり、図6(a)は図8(a)の被写体のスルー画像の実際の輝度分布を示し、図6(b)は図8(a)の被写体について中心被写体81に合せた第1回目のストロボ撮像を行なった結果(第1ストロボ画像)の輝度分布を示し、図6(c)は図8(a)の被写体について背景被写体82に合せた第2回目のストロボ撮像を行なった結果(第2ストロボ画像)の輝度分布を示す。また、図6(a)’は中心被写体81と背景被写体の距離(遠近差)が少ない場合のスルー画像の輝度分布を示す。
【0059】
ストロボ発光量決定手段113は次の3つの動作を行なう。まず、自動絞り機構102の光量検出部からの光量検出値ρ1と画像判定手段112で得たスルー画像(図8(b))の中心被写体81の輝度y1aを基にストロボ発光部11の第1回目のストロボ発光量P1を決定すると共に、輝度y1aとy2aの差Δyaと閾値δを比較し、Δya−δ≧0の場合にはストロボ撮像フラグをオンとし、Δya−δ<0の場合にはストロボ撮像フラグをオフとする。ただし、この判断は第1回目のストロボ撮像データに基づいて行なった方が判別し易い。なぜなら図8(a)の81と82とでは輝度の変化は実際あまりなく、ストロボがたかれて初めて輝度に差が生じるからである。
【0060】
ストロボ撮像フラグがオンの場合には第1ストロボ画像(図8(c))の背景被写体82の輝度y2bと光量検出部からの光量検出値ρ2を基に背景被写体82の輝度が第1ストロボ画像の中心被写体の輝度ーαの範囲になるようにストロボ発光部11の第2回目のストロボ発光量P2を決定する。なお、ストロボ発光量は単位時間当りの放出電荷量の制御による発光ランプの発光制御、或いは所定の放出電荷に対する電荷放出時間の制御による発光ランプの発光制御により制御できる。本実施例ではストロボ発光量決定手段113は電荷放出時間を決定し、その値(秒)をCPU21に送る。CPU21は決定された電荷放出時間値によりストロボ発光部11を制御し、ストロボランプを当該時間発光させる。
【0061】
ストロボが発光可能状態となるまで電荷が蓄積されている場合(本実施例ではストロボ表示ランプ108が緑色に点灯されている場合)は、ストロボ撮像が可能である。また、ストロボ発光部11は電荷が十分蓄積されている場合には複数回の発光が可能である。
【0062】
ストロボ撮像手段114は、シャッターボタン37が押されると起動し、1回のシャッター操作で複数枚(本実施例では2枚或いは1枚)の画像を撮像してストロボ画像メモリー142に記憶する。この場合、シャッターボタン37が押されると、ストロボ撮像手段114は、CPU21を介して、AGC124に対してゲインを通常値(実際の光量による値)にするための制御信号を送出する。これによりCCD121からの信号の増幅率が通常値に戻される。なお、シャッターボタン37が押されたときCPU21を介して、AGC124に対してCCD121からの信号の増幅度をストロボ発光時の所定値に変えるよう制御信号を送出するよう構成してもよい。
【0063】
ストロボ撮像手段114は、また、ストロボ発光装置11に発光指示信号を与え、また、CCD121から取込むデータのDRAM14上の記憶領域をストロボ画像バッファ142−1に切換える。これにより、ストロボが発光(第1回のストロボ発光)して発光量P1だけ周囲の光量を補い、現在液晶ディスプレイ40にスルー画像として表示されている被写体を撮像する。CCD121からの信号はストロボ発光により補われた光量P1を加えた分増加し、ストロボ画像バッファ142−1に第1ストロボ画像として記憶される。なお、図8(c)に、第1ストロボ画像で中心被写体81は適正光量で撮像されるが、中心被写体81と距離のある背景被写体82は光量不足で暗く写った画像の例を示した。
【0064】
次に、ストロボ撮像手段114はストロボ撮像フラグを調べ、ストロボ撮像フラグがオンの場合にはCPU21を介して、AGC124に対してゲインを通常値(実際の光量による値)或いは所定値にするための制御信号を送出する。これによりCCD121からの信号の増幅率が通常値に戻される。ストロボ撮像手段114は、また、ストロボ発光装置11に発光指示信号を与え、また、CCD121から取込むデータのDRAM14上の記憶領域をストロボ画像バッファ142−2に切換え、ストロボ発光量決定手段113で決定されたストロボ発光量P2でストロボを発光させて光量を補い、同じ被写体群を撮像してその第2ストロボ画像(データ)をストロボ画像メモリー142−2に記憶する。なお、図8(d)に、第2ストロボ画像で中心被写体81は光量が高過ぎて白飛びするが背景被写体82は適正光量で撮像された画像の例を示した。なお、ストロボ撮像フラグがオフの場合には画像合成不要(すなわち、第1ストロボ画像で中心被写体81および背景被写体82が適正に撮像されているものとして)2回目の撮像は行なわない。
【0065】
画像合成手段115は、ストロボ撮像フラグがオンの場合にストロボ画像バッファ142−1に記憶された第1ストロボ画像(図8(c))と第2ストロボ画像(図8(d))を合成して適正な光量の画像(図8R>8(e))を得る。今、第1ストロボ画像の輝度分布を図6(b)に示した分布とすると、図8(a)の中心被写体81の輝度y1bは、0<<y1b<255であり、背景被写体82の輝度y2bは、0<y2b<<255である。また、第2ストロボ画像の輝度分布を図6(c)に示した分布とすると、図8(a)の中心被写体81の輝度y1cは最大輝度となり、背景被写体82の輝度は0<y2c=y1b−α<<255である。ここで、適正な光量の画像をストロボ画像バッファ142−1の第1ストロボ画像の中心被写体81の輝度y1bから±β(α<β<Δyb)の範囲の輝度の画像部分とする。
【0066】
画像合成手段115はストロボ画像バッファ142−2の第2ストロボ画像(データ)を画像バッファ141に書込むと共に、ストロボ画像バッファ142−1の第1ストロボ画像の輝度がy1b〜y1b−αの範囲を切抜いて画像バッファ141に書込む。この場合、画像バッファ141にはすでに第2ストロボ画像が書込まれているので、切抜かれた第1ストロボ画像の部分が第2ストロボ画像の上に上塗りされる。すなわち、重ね書きされるので画像バッファ141の合成画像は中心被写体の輝度がy1b、背景被写体の輝度がy2cの画像となり、この合成画像が液晶ディスプレイ40に表示される。また、表示された合成画像が所望の明るさでない場合に、使用者の選択により中心被写体81の切取り範囲を縮小若しくは拡大して再合成する画像再合成手段を画像合成手段115の後段に備えるようにストロボ撮像/合成手段110を構成してもよい。なお、ストロボ撮像フラグがオフの場合には第2ストロボ画像は撮像されないので、上記画像合成を行なうことなくストロボ画像バッファ142−1に書込まれた第1ストロボ画像(データ)を画像バッファ141に書込む。これにより、第1ストロボ画像が液晶ディスプレイ40に静止画像として表示される。
【0067】
図7は、ストロボ撮像モード下での多重撮像方式によるデジタルカメラの動作例を示すフローチャートであり、図8はフローチャートに基づくストロボ撮像/合成処理手順の説明図である。以下、図1〜図8を基に説明する。図7で、記録モードが選択されると撮像モードに遷移してスルー画像が液晶ディスプレイ40に表示される。ここで、撮像者が周辺の明るさからストロボ撮影が必要と判断するか、或いはファインダ或いは液晶ディスプレイ40の画面の明るさからストロボ撮影が必要と判断してストロボ設定ボタン36を押すと、モード判定手段によりストロボモードに遷移してストロボ撮像/合成手段110が起動され、ストロボ表示ランプ108が点灯されS2に移行する。ストロボ表示ランプ108はストロボ充電状態では赤、ストロボ発光可能状態では青色に点灯する。ストロボ設定ボタン36を再度押すとストロボ表示ランプ108が消灯し、ストロボ撮像/合成手段110による処理が中断されて通常撮像モードに戻る(S1)。
【0068】
次に、光量判定手段111が起動され、光量検出部からの検出光量と撮像に必要とする光量L(閾値φ)を比較し、L<φの場合にはS3に移行する。なお、L≧φの場合にはストロボ撮像不要としてストロボ設定を解除しストロボ表示ランプによる発光表示を中止すると共に、ストロボ発光部11への電荷印加を中止して通常撮像モードに遷移する(S2)。上記S2でL<φの場合には、CCD121から画像バッファ141に取込まれるスルー画像の輝度分布を調べてスルー画像の中心被写体81の輝度y1aと背景被写体82の輝度y2aを得る(S3)。さらに、自動絞り機構102の光量検出部からの光量検出値ρ1と、スルー画像(図8(b))の中心被写体81の輝度y1aからストロボ発光部11の第1回目のストロボ発光量P1を決定すると共にy1aとy2aの差Δyaと閾値δを比較し、Δya−δ≧0の場合にはストロボ撮像フラグをオンとし、Δya−δ<0の場合にはストロボ撮像フラグをオフとする(S4)。この判断についても前記ストロボ発光量決定手段と同様のことがいえる。
【0069】
ストロボが発光可能状態になった以降の任意のタイミングでユーザーがシャッターボタン37を押すと、AGC124に対してゲインを通常値(実際の光量による値)にするための制御信号を送出すると共に、ストロボ発光装置11に発光指示信号を与え、また、CCD121から取込むデータのDRAM14上の記憶領域をストロボ画像バッファ142−1に切換えてS6に移行する。これによりCCD121からの信号の増幅率が通常値に戻され、次に、ストロボが発光(第1回のストロボ発光)して発光量P1だけ周囲の光量を補う。CCD121からの信号はストロボ発光により補われた光量P1を加えた分増加し、ストロボ画像バッファ142−1には第1ストロボ画像が記憶される(S5)。次に、ストロボ撮像フラグを調べ(S6)、オンの場合にはS8に移行し、オフの場合にはストロボ画像バッファ142−1に書込まれた第1ストロボ画像(データ)を画像バッファ141に書込みS12に移行する。これにより、第1ストロボ画像が液晶ディスプレイ40に静止画像として表示される(S7)。
【0070】
上記S6でストロボ撮像フラグがオンの場合には、第1ストロボ画像(図8(c))の背景被写体82の輝度y2bと光量検出部からの光量検出値ρ2を基に背景被写体82の輝度が第1ストロボ画像の中心被写体81の輝度−αの範囲なるようにストロボ発光部11の第2回目のストロボ発光量P2を決定しS9に移行する(S8)。AGC124に対してゲインを通常値(実際の光量による値)にするための制御信号を送出すると共に、ストロボ発光装置11に発光指示信号を与え、また、CCD121から取込むデータのDRAM14上の記憶領域をストロボ画像バッファ142−2に切換えてS10に移行する。これによりCCD121からの信号の増幅率が通常値に戻され、次に、ストロボが発光(第2のストロボ発光)して発光量P2だけ周囲の光量を補う。CCD121からの信号はストロボ発光により補われた光量P2を加えた分増加し、ストロボ画像バッファ142−2には第2のストロボ画像が記憶される(S9)。
【0071】
ストロボ画像バッファ142−2の第2ストロボ画像(データ)を画像バッファ141に書込むと共に、ストロボ画像バッファ142−1の第1ストロボ画像の輝度がy1b〜y1b−αの範囲W1を切抜いて画像バッファ141に書込む。これにより第1ストロボ画像(図8(c))の中心被写体の部分が第2ストロボ画像(図8(d))の上に上塗りされた合成画像(図8(e))を得る(S10)。
【0072】
合成画像が所望の明るさでない場合に、使用者が機能ボタン(例えば、ボタン34)を押すと中心被写体81の切取り範囲W1を縮小させて画像を再合成して液晶ディスプレイ40に表示する。また、使用者が他の機能ボタン(例えば、ボタン35)を押すと中心被写体81の切取り範囲W1を拡大して画像を再合成して液晶ディスプレイ40に表示する(S11)。
【0073】
再度シャッターボタン37が押されると記録保存モードに遷移し、画像バッファ141の内容(この場合は合成画像が記憶されている)はJPEG圧縮処理されてメモリーカード51に記録される。また、他の機能ボタン(例えば、ボタン33)が押されると撮像画像はキャンセルされ撮像モードに戻る(S12)。なお、上記例では複数の背景被写体がある場合(スルー画像の輝度分布に複数の凸部がある場合)には、所定輝度γ以上で輝度がγに最も近い凸部を背景被写体として、中心被写体と1つの背景被写体の2つの画像を合成する例について説明したが、背景被写体を2以上とし3つ以上の画像を合成するように構成することもできる。この場合、ストロボ画像バッファ142を3つ以上設け、ストロボ発光量決定の際には、中心被写体81に対するストロボ発光量をP1とし、背景被写体についてはその存在を示す凸部(図6)の輝度の高い順にP2,P3,・・として決定し、合成の際には、所定輝度γ以上で輝度がγに最も近いストロボ画像n(nは自然数)をストロボ画像バッファ141−n(図示せず)から画像バッファ141に書込み、ストロボ画像n−1,・・・,ストロボ画像2,ストロボ画像1を順次ストロボ画像バッファ141−n−1,・・・,141−2、141−1から画像バッファ141に書込まれたストロボ画像nに上塗りするように書込む。
【0074】
< 実施例1−2> (スローシンクロ撮影(その1))
本実施例では、ストロボ発光後に背景被写体82がよく写るように光量を補うためシャッタースピードを制御して、ストロボ撮像画像と光量を補った背景画像とを合成する。図9はストロボ撮像/合成手段150の構成例を示すブロック図であり、ストロボ撮像/合成手段150は、光量判定手段151,画像判定手段152,ストロボ発光量決定手段153、ストロボ撮像手段154、シャッター動作制御手段155および画像合成手段156を含んでいる。
【0075】
ここで、光量判定手段151は、図5(実施例1−1)の光量判定手段111と同様であり、ユーザーのストロボ設定操作よるストロボ撮像モードへの遷移の適否を検出光量を基に判定する。すなわち、撮像に必要とする光量L(閾値φ)を比較し、L<φの場合には画像判定手段152に遷移し、L≧φの場合にはストロボ撮像不要としてストロボ設定を解除して通常撮像モードに遷移する。
【0076】
画像判定手段152は、図5(実施例1ー1)の画像判定手段112と同様に、DRAM14の画像バッファ141に一時的に記憶されるスルー画像の輝度分布を調べ、中心被写体と背景被写体の輝度y1a,y2aおよびその差Δyを調べる。これにより中心被写体と背景被写体の相対的な明るさを知ることができる。
【0077】
ストロボ発光量決定手段153は、自動絞り機構102の光量検出部からの光量検出値ρと画像判定手段152で得たスルー画像(図8(b))の中心被写体81の輝度y1aを基にストロボ発光部11のストロボ発光量Pを決定する。
【0078】
ストロボ撮像手段154は、図5のストロボ撮像手段114(実施例1−1)と同様に、シャッターボタン37が押されると起動し、1回のシャッター操作で1枚の画像を撮像してストロボ画像メモリー142−1に記憶する。ストロボ撮像手段154は、また、ストロボ発光装置11に発光指示信号を与え、また、CCD121から取込むデータのDRAM14上の記憶領域をストロボ画像バッファ142−1に切換える。これにより、ストロボが発光して発光量Pだけ周囲の光量を補い、現在液晶ディスプレイ40にスルー画像として表示されている被写体を撮像する。CCD121からの信号はストロボ発光により補われた光量Pを加えた分増加し、ストロボ画像バッファ142−1にストロボ画像として記憶される。
【0079】
次に、ストロボ撮像手段154はCPU21を介して、AGC124に対してゲインを通常値(実際の光量による値)或いは所定値にするための制御信号を送出する。これによりCCD121からの信号の増幅率が通常値に戻され、スルー画像が画像バッファ141に取込まれる。
【0080】
シャッター動作制御手段155は、DRAM14のストロボ画像バッファ142ー1に記憶されているストロボ画像および画像バッファ141に記憶されているスルー画像の輝度分布を調べ、図10に示すような中心被写体81と背景被写体82のピークの輝度y1b,y2b、y1c,y2cを調べる。
【0081】
ここで、図10は、図8(a)に示した2つの被写体81,82を含む画像について画像判定手段152およびシャッター動作制御手段155により得た輝度分布の説明図であり、図10(a)は図8(a)の被写体のスルー画像の実際の輝度分布を示し、図10(b)は図8(a)の被写体について中心被写体81に合せたストロボ撮像を行なった結果(ストロボ画像)の輝度分布を示し、図10(c)は図8(a)の被写体についてストロボ撮像後、シャッタースピードを制御して遅延させたスルー画像(図8(d))の輝度分布を示す。また、図10(d)は後述の合成画像(図8(e))の輝度分布を示す。
【0082】
シャッター動作制御手段155は自動絞り機構102の絞り駆動部に対する絞り閉鎖(シャッター)のタイミングを制御する。すなわち、シャッター動作制御手段155は、ストロボ画像バッファ142−1のストロボ画像の輝度分布のピークの輝度y1bと画像バッファ141でシャッターの遅延時間tの間に光量を累積したスルー画像の輝度分布のピークy2cの差Δy=y1bーy2cを調べ、|Δy|<δのとき絞り駆動部に対する絞り閉鎖信号の出力を行って、画像バッファ141のスルー画像への光量の累積を遮断し、画像合成手段156に遷移する。また、|Δy|≧δのときは絞り駆動部に対する絞り閉鎖信号の出力を行なわず|Δy|<δになるまで輝度の比較動作を継続する。ここでδは閾値(δ≧0)である。
【0083】
画像合成手段156は画像バッファ141に記憶されたスルー画像(図8(d))とストロボ画像バッファ142−1に記憶されたストロボ画像(図8(c))を合成して適正な光量の画像(図8(e))を得る。また、表示された合成画像が所望の明るさでない場合に、使用者の選択により中心被写体81の切取り範囲を縮小若しくは拡大して再合成する画像再合成手段を画像合成手段156の後段に備えるようにストロボ撮像/合成手段150を構成してもよい。
【0084】
図11は、ストロボ撮像モード下でのスローシンクロ撮影によるデジタルカメラの動作例を示すフローチャートである。なお、図11のフローチャートに基づくストロボ撮像/合成処理手順は図8の説明図と同様である。図11で、記録モードが選択されると撮像モードに遷移してスルー画像が液晶ディスプレイ40に表示される。ここで、ステップU1〜U3、U8,U9は図7のステップS1〜S3、S11,S12と同様の動作である。撮像者がストロボ設定ボタン36(図2)を押すと、ストロボモードに遷移してストロボ撮像/合成手段150が起動されU2に移行し(U1)、次に、光量判定手段151が起動され、光量検出部からの検出光量と撮像に必要とする光量L(閾値φ)を比較し、L<φの場合にはU3に移行し、L≧φの場合にはストロボ撮像不要としてストロボ設定を解除する(U2)。L<φの場合には、CCD121から画像バッファ141に取込まれるスルー画像の輝度分布を調べてスルー画像の中心被写体81の輝度y1aと背景被写体82の輝度y2aを得る(U3)。
【0085】
さらに、自動絞り機構102の光量検出部からの光量検出値ρと、スルー画像(図8(b))の中心被写体81の輝度y1aからストロボ発光部11のストロボ発光量Pを決定する(U4)。ストロボが発光可能状態になった以降の任意のタイミングでユーザーがシャッターボタン37を押すと、AGC124に対してゲインを通常値(実際の光量による値)にするための制御信号を送出すると共に、ストロボ発光装置11に発光指示信号を与え、また、CCD121から取込むデータのDRAM14上の記憶領域をストロボ画像バッファ142−1に切換えてU6に移行する。これによりCCD121からの信号の増幅率が通常値に戻され、次に、ストロボが発光して発光量Pだけ周囲の光量を補う。CCD121からの信号はストロボ発光により補われた光量Pを加えた分増加し、ストロボ画像バッファ142−1にはストロボ画像が記憶される(U5)。
【0086】
次に、ストロボ画像バッファ142−1のストロボ画像の輝度分布のピークの輝度y1bと画像バッファ141でシャッター動作が遅延されている間に光量を累積したスルー画像の輝度分布のピークy2cの差Δy=y1b−y2cを調べ、|Δy|<δの場合にはU7に移行し、|Δy|≧δの場合には|Δy|<δになるまでシャッター動作をまって画像バッファ141のスルー画像の光量累積を行なう(U6)。|Δy|<δの場合には、ストロボ画像バッファ142−1のストロボ画像(データ)の輝度がy1b〜y1b−αの範囲W1(図10(b))を切抜いて画像バッファ141に書込む。これによりストロボ画像(図8(c))の中心被写体の部分がスルー画像(図8(d))の上に上塗りされた合成画像(図8(e))を得る(U7)。
【0087】
合成画像が所望の明るさでない場合に、使用者が機能ボタン(例えば、ボタン34)を押すと中心被写体81の切取り範囲W1を縮小させて画像を再合成して液晶ディスプレイ40に表示する。また、使用者が他の機能ボタン(例えば、ボタン35)を押すと中心被写体81の切取り範囲W1を拡大して画像を再合成して液晶ディスプレイ40に表示する(U8)。
【0088】
再度シャッターボタン37が押されると記録保存モードに遷移し、画像バッファ141の内容(この場合は合成画像が記憶されている)はJPEG圧縮処理されてメモリーカード51に記録される。また、他の機能ボタン(例えば、ボタン33)が押されると撮像画像はキャンセルされ撮像モードに戻る(U9)。
【0089】
< 実施例1−3> (スローシンクロ撮影(その2))
本実施例では、ストロボ発光後に背景被写体82がよく写るように光量を補うためゲインを制御して、ストロボ撮像画像と光量を補った背景画像とを合成する。図12はストロボ撮像/合成手段150’の構成例を示すブロック図であり、ストロボ撮像/合成手段150’は、光量判定手段151,画像判定手段152,ストロボ発光量決定手段153、ストロボ撮像手段154、ゲイン制御手段155’および画像合成手段156を含んでいる。なお、ストロボ撮像/合成手段150’の構成要素のうち、ストロボ撮像/合成手段150〜ストロボ撮像手段154および画像合成手段156の構成および機能は図9のストロボ撮像/合成手段150と同様である。
【0090】
ゲイン制御手段155’は、DRAM14のストロボ画像バッファ142−1に一時的に記憶されているストロボ画像および画像バッファ141に一時的に記憶されているスルー画像の輝度分布を調べ、図10に示すような中心被写体81と背景被写体82のピークの輝度y1b,y2b、y1c,y2cを調べる。
【0091】
そして、ゲイン制御手段155’は、ストロボ画像バッファ142−1のストロボ画像の輝度分布のピークの輝度y1bと画像バッファ141でシャッターの遅延時間tの間に光量を累積したスルー画像の輝度分布のピークy2cの差Δy=y1b−y2cを調べ、|Δy|<δのときAGC124を制御して中心被写体81と背景被写体82の明るさが同じ程度になるまで、ストロボ撮像後のゲインを増加させる。AGC124はゲイン制御手段155’により制御信号が与えられると、CCD121からの信号を増幅してA/D変換器に与える。増幅の結果は制御部20で光量に変換され、ゲイン制御手段155’によって閾値δと比較され、比較結果はAGC124にフィードバックされる。これによりCCD121からの信号は光量が適正閾値内(|Δy|<δ)になるまで増幅されるので、画像バッファ141のスルー画像の明るさはストロボ画像バッファ142ー1のストロボ画像の明るさとほぼ同じになる。ここでδは閾値(δ≧0)である。また、この場合のデジタルカメラの動作は、図11のフローチャートと同様であり、ステップU6の動作をゲイン制御手段155’による輝度比較動作およびゲイン制御動作に置き換えればよい。
【0092】
<実施形態2>
本実施形態では本発明を適用した電子カメラの一実施例として、図1のデジタルカメラ100の構成にオートフォーカス機構を設けたデジタルカメラ(以下、デジタルカメラ200と記す)を例として説明する。
【0093】
[回路構成例]
本実施例のデジタルカメラ200は、図1(a)で、デジタルカメラ100の光学系10の構成にオートフォーカス機構103(図13)を加えた構成をなし、自動焦点制御(オートフォーカス制御)により被写体からの光を後段の信号変換部12のCCD121上に結像させる。光学系10以外の回路構成は図1のデジタルカメラ100と同様とする。また、DRAM14の領域設定、装置外観、および処理モードも同様とする。なお、ROM23は制御プログラムとストロボ撮像/合成手段210およびデジタルカメラ200のその他の各機能を実行させるためのプログラムを記録する。
【0094】
<オートフォーカス機構>
[構成例]図13は光学系10に設けられたオートフォーカス機構の構成例を示すブロック図であり、オートフォーカス機構103は、レンズ駆動信号によって駆動され、レンズ101を前後に移動させるレンズ駆動部(例えば、ステップモータ)1031と、レンズ101からの光学像を基に合焦の正否を判定して、判定信号を制御部20に送出する合焦検証部1032と、制御部20からの制御信号を基にレンズ駆動信号をレンズ駆動部1031に与えるレンズ駆動制御部1033を有している。そして、オートフォーカス機構103はレンズ101の移動距離ΣΔXと画角情報を制御部20に与え、制御部20からレンズ駆動制御信号を受け取る。
【0095】
[オートフォーカス制御の原理]
図14はオートフォーカス機構によるオートフォーカス制御の原理説明図である。図14で、被写体1とレンズ101との距離をA、レンズ101とCCD121表面との距離をB、レンズの焦点距離をFとすると、1/A+1/B=1/Fが成立する。ここで、レンズ101を±ΔX(ΔX<B<<A)移動させると、1/(A−ΔX)+1/(B+ΔX)=1/F または、1/(A+ΔX)+1/(B−ΔX)=1/Fとなるが、B<<Aであるから左辺第1項の1/(A+ΔX)≒1/Aとみなし得るので、1/A+1/(B±ΔX)=1/Fが成立する。ここで、レンズ101とCCD121の新たな距離B’=B±ΔXにおける被写体の合焦状態を検出して、ピントの合否を判定して、その結果によりレンズの移動距離ΔXを算出して、レンズ101の移動制御を行なうことにより、オートフォーカス(自動合焦)を行なうことができる。
【0096】
[オートフォーカス動作]
撮像モードでユーザがデジタルカメラ200を被写体1の方向に向けると、ファインダー(図示せず)の中心(ファインダー内に輝点等で示される)部分の像に対し、合焦検証部1032で合焦検証が行なわれ、ピントがあっていない場合にはその差分データ(判定信号)が制御部20に与えられ、制御部20ではピント合せに必要な移動距離ΔXを算出して、これに基づいた制御信号(駆動量信号)をレンズ駆動制御部1033に送出する。レンズ駆動制御部1033は制御信号に基づいてレンズ駆動信号をレンズ駆動部1031に与え、レンズ駆動部1031はレンズ101を指示された距離だけ移動させる。この結果を合焦検証部1032を介してフィードバックして、ピント合せを行なう。
【0097】
[実施例2]
以下の実施例は、被写体までの距離を計測してストロボ光量を得てストロボ発光した後、光量の異なる複数枚の画像を撮像して画像合成する例であり、実施例2ー1(ストロボ撮像/合成手段210),実施例2−2(ストロボ撮像/合成手段250),実施例1ー3(ストロボ撮像/合成手段250’)について述べる。
【0098】
ストロボ撮像/合成手段210(または250,250’)は、ユーザーがストロボ設定ボタン36を押した場合に起動され、ストロボ撮像モード処理を実行する。ストロボ撮像/合成手段210(または250,250’)はハードウエア回路で構成することもできるが本実施例ではこれらをプログラムで構成している。なお、ストロボ撮像/合成手段210(または250,250’)の各モジュールのうちあるモジュールをハードウエア回路で、その他のモジュールをプログラムで構成するようにしてもよい。また、プログラムで構成されたストロボ撮像/合成手段210(または250,250’)の各モジュールはROM23またはメモリーカード51に記録され、制御プログラムのコントール下でCPU21により実行制御され、本実施例のストロボ撮像/合成処理を実現する。
【0099】
< 実施例2−1> (多重撮像方式)
図15はストロボ撮像/合成手段210の構成例を示すブロック図であり、ストロボ撮像/合成手段210は、距離計測手段211,画像判定手段212,ストロボ発光量決定手段213,ストロボ撮像手段214,および画像合成手段215を含んでいる。距離計測手段211は、使用者がストロボ設定ボタン36を押した後、中心被写体および背景被写体にピントを合せる操作を行なうことによってピントを合せた被写体との距離および画面内での位置を算出し、DRAM14の予備領域143(図3)に一時的に記憶させる。
【0100】
距離の計算は、図14で述べたようにピント合せの際にレンズ101を±ΔX(ΔX<B<<A)移動させると、1/A+1/(B±ΔX)=1/Fが成立する。ここで、レンズ101とCCD121の新たな距離B’=B±ΔXおよびレンズ101の焦点距離Fは既知であることから、1/A=1/F−1/(B±ΔX)から、被写体1とレンズ101の距離A={(B±ΔX)・F}/(B−F)
として算出することができるので、中心被写体および背景被写体とレンズ101との距離も同様にしてピント合せの際に求めることができる。
【0101】
また、距離計測手段211は、中心被写体と各背景被写体との距離の差ΔX1,ΔX2,・・・,ΔXnのうち、最も大きい差ΔXiを算出して閾値ψと比較し、ΔXi≧ψの場合には画像判定手段212に遷移する。なお、ΔXi<ψの場合にはストロボ撮像不要としてストロボ設定を解除しストロボ表示ランプによる発光表示を中止すると共に、ストロボ発光部11への電荷印加を中止して通常撮像モードに遷移し、シャッターボタン37が押されるまで、通常撮像モードと同様の撮像状態を続行させる。すなわち、周辺光量が液晶ディスプレイ40で確認できる程度の明るさと判定され、液晶ディスプレイ40に撮像モードの場合と同様の信号処理によるスルー画像が表示される。
【0102】
画像判定手段212の構成および機能は、実施形態1の画像判定手段112(図5)の構成および機能と同様であるが、実施例では、説明上、スルー画像の中心被写体81を最初にピントが合わされた被写体(通常は画面中央に位置する)とし、背景被写体82を最後にピントが合わされた被写体とする。
【0103】
ストロボ発光量決定手段213は次の3つの動作を行なう。まず、中心被写体81とレンズ101の距離x1と画像判定手段112で得たスルー画像(図8R>8(b))の中心被写体81の輝度y1aを基にストロボ発光部11の第1回目のストロボ発光量P1を決定する。また、y1aとy2aの差Δyaと閾値δを比較し、Δya−δ≧0の場合にはストロボ撮像フラグをオンとし、Δya−δ<0の場合にはストロボ撮像フラグをオフとする。ストロボ撮像フラグは距離の差でオン、オフしてもよい。
【0104】
ストロボ撮像フラグがオンの場合には第1ストロボ画像(図8(c))の背景被写体82の輝度y2bと背景被写体82とレンズ101の距離x2とを基に背景被写体82の輝度が第1ストロボ画像の中心被写体の輝度−αの範囲になるようにストロボ発光部11の第2回目のストロボ発光量P2を決定する。ストロボ撮像手段214の構成および機能は、実施形態1のストロボ撮像手段114(図5)の構成および機能と同様とする。画像合成手段215の構成および機能は、実施形態1の画像合成手段115(図5)の構成および機能と同様とする。また、表示された合成画像が所望の明るさでない場合に、実施形態1と同様に使用者の選択により中心被写体81の切取り範囲を縮小若しくは拡大して再合成する画像再合成手段を画像合成手段215の後段に備えるようにストロボ撮像/合成手段210を構成できる。
【0105】
図16は、ストロボ撮像モード下のデジタルカメラ200の動作例を示すフローチャートである。なお、図16のフローチャートに基づくストロボ撮像/合成処理手順は図8の説明図と同様である。以下、図1〜図4,図6,図8〜図16を基に説明する。また、説明上、撮像する画像を中心被写体81および背景被写体82に光量を合せた2つのストロボ画像とする。図16で、記録モードが選択されると撮像モードに遷移してスルー画像が液晶ディスプレイ40に表示される。ここで、撮像者が周辺の明るさからストロボ撮影が必要と判断するか、或いはファインダ或いは液晶ディスプレイ40の画面の明るさからストロボ撮影が必要と判断してストロボ設定ボタン36を押すと、モード判定手段によりストロボモードに遷移してストロボ撮像/合成手段210が起動され、ストロボ表示ランプ108が点灯されT2に移行する。ストロボ設定ボタン36を再度押すとストロボ表示ランプ108が消灯し、ストロボ撮像/合成手段210による処理が中断されて通常撮像モードに戻る(T1)。
【0106】
次に、使用者がストロボ設定ボタン36を押した後、中心被写体81および背景被写体82にピントを合せる操作を行なうと、ピントを合せた被写体毎にレンズ101との距離x1,x2とその画面内での位置(座標値)が算出され、DRAM14の予備領域143(図3)に一時的に記憶される(T2)。また、中心被写体81と背景被写体82との距離の差ΔX1を算出して閾値ψと比較し、ΔX1≧ψの場合にはT4に遷移する。なお、ΔX1<ψの場合にはストロボ撮像不要としてストロボ設定を解除しストロボ表示ランプによる発光表示を中止すると共に、ストロボ発光部11への電荷印加を中止して通常撮像モードに遷移し、シャッターボタン37が押されるまで、通常撮像モードと同様の撮像状態を続行させる(T3)。この被写体の明暗は前記(S4)と同様に判断してもよい。
【0107】
上記T3でΔX1≧ψの場合には、CCD121から画像バッファ141に取込まれるスルー画像の輝度分布を調べてスルー画像の中心被写体81の輝度y1aと背景被写体82の輝度y2aを得る(T4)。さらに、測定した距離x1とスルー画像(図8(b))の中心被写体81の輝度y1aからストロボ発光部11の第1回目のストロボ発光量P1’を決定すると共にy1aとy2aの差Δyaと閾値δを比較し、Δya−δ≧0の場合にはストロボ撮像フラグをオンとし、Δya−δ<0の場合にはストロボ撮像フラグをオフとする(T5)。この場合も、ストロボ撮像フラグは距離の差でオンオフしてもよい。
【0108】
ストロボが発光可能状態になった以降の任意のタイミングでユーザーがシャッターボタン37を押すと、AGC124に対してゲインを通常値(実際の光量による値)にするための制御信号を送出すると共に、ストロボ発光装置11に発光指示信号を与え、また、CCD121から取込むデータのDRAM14上の記憶領域をストロボ画像バッファ142−1に切換えてT7に移行する。これによりCCD121からの信号の増幅率が通常値に戻され、次に、ストロボが発光(第1回のストロボ発光)して発光量P1’だけ周囲の光量を補う。CCD121からの信号はストロボ発光により補われた光量P1’を加えた分増加し、ストロボ画像バッファ142−1には第1のストロボ画像が記憶される(T6)。
【0109】
次に、ストロボ撮像フラグを調べ(T7)、オンの場合にはT9に移行し、オフの場合にはストロボ画像バッファ142−1に書込まれた第1ストロボ画像(データ)を画像バッファ141に書込みT13に移行する。これにより、第1ストロボ画像が液晶ディスプレイ40に静止画像として表示される(T8)。上記T7でストロボ撮像フラグがオンの場合には、第1ストロボ画像(図8(c))の背景被写体82の輝度y2bと距離x2を基に背景被写体82の輝度が第1ストロボ画像の中心被写体81の輝度−αの範囲になるようにストロボ発光部11の第2回目のストロボ発光量P2’を決定しT10に移行する(T9)。AGC124に対してゲインを通常値(実際の光量による値)にするための制御信号を送出すると共に、ストロボ発光装置11に発光指示信号を与え、また、CCD121から取込むデータのDRAM14上の記憶領域をストロボ画像バッファ142−2に切換えてT11に移行する。これによりCCD121からの信号の増幅率が通常値に戻され、次に、ストロボが発光(第2のストロボ発光)して発光量P2’だけ周囲の光量を補う。CCD121からの信号はストロボ発光により補われた光量P2’を加えた分増加し、ストロボ画像バッファ142−2には第2のストロボ画像が記憶される(T10)。
【0110】
ストロボ画像バッファ142−2の第2ストロボ画像(データ)を画像バッファ141に書込むと共に、ストロボ画像バッファ142−1の第1ストロボ画像の輝度がy1b〜y1b−αの範囲W1を切抜いて画像バッファ141に書込む。これにより第1ストロボ画像(図8(c))の中心被写体の部分が第2ストロボ画像(図8(d))の上に上塗りされた合成画像(図8(e))を得る(T11)。
【0111】
合成画像が所望の明るさでない場合に、使用者が機能ボタン(例えば、ボタン34)を押すと中心被写体81の切取り範囲W1を縮小させて画像を再合成して液晶ディスプレイ40に表示する。また、使用者が他の機能ボタン(例えば、ボタン35)を押すと中心被写体81の切取り範囲W1を拡大して画像を再合成して液晶ディスプレイ40に表示する(T12)。再度シャッターボタン37が押されると記録保存モードに遷移し、画像バッファ141の内容はJPEG圧縮処理されてメモリーカード51に記録される。また、他の機能ボタン(例えば、ボタン33)が押されると撮像画像はキャンセルされ撮像モードに戻る(T13)。なお、上記例ではスルー画像の中心被写体81を最初にピントが合わされた被写体(通常は画面中央に位置する)とし、背景被写体82を次にピントが合わされた被写体とし、2つのストロボ画像を撮像して合成したが、複数の背景被写体がある場合に3つ以上のストロボ画像を撮像して合成画像を得ることもできる。
【0112】
この場合、ストロボ画像バッファ142を3つ以上設け、距離計測の際には中心被写体にピント合せを行なった後、順次背景被写体のピント合せを行なって、距離x1,x2,・・・,xnを求め、ストロボ発光量決定の際は、中心被写体に対するストロボ発光量をP1とし、背景被写体については距離x2,・・・,xnに対応する部分の輝度をしらべ、P2,P3,・・として決定し、合成の際には、所定輝度γ以上で輝度がγに最も近いストロボ画像n(nは自然数)をストロボ画像バッファ141−n(図示せず)から画像バッファ141に書込み、ストロボ画像n−1,・・・,ストロボ画像2,ストロボ画像1を順次ストロボ画像バッファ141−n−1,・・・,141−2、141−1から画像バッファ141に書込まれたストロボ画像nに上塗りするように書込む。
【0113】
< 実施例2−2> (スローシンクロ撮影(その1))
本実施例では、ストロボ発光後に背景被写体82がよく写るように光量を補うためシャッタースピードを制御して、ストロボ撮像画像と光量を補った背景画像とを合成する。図17はストロボ撮像/合成手段250の構成例を示すブロック図であり、ストロボ撮像/合成手段250は、距離計測手段251,画像判定手段252,ストロボ発光量決定手段253、ストロボ撮像手段254、シャッター動作制御手段255および画像合成手段256を含んでいる。
【0114】
距離計測手段251は図15(実施例2−1)の距離計測手段211と同様であり、使用者がストロボ設定ボタン36を押した後、中心被写体および背景被写体にピントを合せる操作を行なうことによってピントを合せた被写体との距離および画面内での位置を算出し、DRAM14の予備領域143(図3)に一時的に記憶させる。また、距離計測手段251は、中心被写体と各背景被写体との距離の差ΔX1,ΔX2,・・・,ΔXnのうち、最も大きい差ΔXiを算出して閾値ψと比較し、ΔXi≧ψの場合には画像判定手段252に遷移する。なお、ΔXi<ψの場合にはストロボ撮像不要としてストロボ設定を解除し通常撮像モードと同様の撮像状態を続行させる。
【0115】
画像判定手段252は、図15(実施例2−1)の画像判定手段212と同様に、DRAM14の画像バッファ141に一時的に記憶されるスルー画像の輝度分布を調べ、中心被写体と背景被写体の輝度y1,y2およびその差Δyを調べる。
【0116】
ストロボ発光量決定手段253は、中心被写体81とレンズ101の距離x1と画像判定手段252で得たスルー画像(図8(b))の中心被写体81の輝度y1aを基にストロボ発光部11のストロボ発光量Pを決定する。ストロボ撮像手段254の構成および機能は、実施形態1のストロボ撮像手段154(図9)の構成および機能と同様である。
【0117】
シャッター動作制御手段255の構成および機能は、実施形態1のシャッター動作制御手段155(図9)の構成および機能と同様である。画像合成手段256の構成および機能は、実施形態1の画像合成手段156(図9)の構成および機能と同様であり、画像バッファ141に記憶されたスルー画像(図8(d))とストロボ画像バッファ142−1に記憶されたストロボ画像(図8(c))を合成して適正な光量の画像(図8(e))を得る。また、表示された合成画像が所望の明るさでない場合に、実施形態1の場合と同様に使用者の選択により中心被写体81の切取り範囲を縮小若しくは拡大して再合成する画像再合成手段を画像合成手段255の後段に備えるようにストロボ撮像/合成手段250を構成できる。
【0118】
図18は、ストロボ撮像モード下でのスローシンクロ撮影によるデジタルカメラの動作例を示すフローチャートである。なお、図18のフローチャートに基づくストロボ撮像/合成処理手順は図8の説明図と同様である。図18で、記録モードが選択されると撮像モードに遷移してスルー画像が液晶ディスプレイ40に表示される。ここで、ステップV1〜V4、V9,V10は図16のステップT1〜T4、T12,T13と同様の動作である。撮像者がストロボ設定ボタン36(図2R>2)を押すと、ストロボモードに遷移してストロボ撮像/合成手段250が起動されV2に移行し(V1)、次に、中心被写体81および背景被写体82にピントを合せる操作を行なうと、ピントを合せた被写体毎にレンズ101との距離とその画面内での位置が算出され、DRAM14の予備領域143(図3)に一時的に記憶される(V2)。
【0119】
また、中心被写体81と背景被写体82との距離の差ΔX1を算出して閾値ψと比較し、ΔX1≧ψの場合にはV4に遷移する。なお、ΔX1<ψの場合にはストロボ撮像不要としてストロボ設定を解除して通常撮像モードに遷移する(V3)。上記V3でΔX1≧ψの場合には、CCD121から画像バッファ141に取込まれるスルー画像の輝度分布を調べてスルー画像の中心被写体81の輝度y1aと背景被写体82の輝度y2aを得る(V4)。さらに、測定した距離x1とスルー画像(図8(b))の中心被写体81の輝度y1aからストロボ発光部11のストロボ発光量P’を決定する(V5)。
【0120】
ストロボが発光可能状態になった以降の任意のタイミングでユーザーがシャッターボタン37を押すと、AGC124に対してゲインを通常値にするための制御信号を送出すると共に、ストロボ発光装置11に発光指示信号を与え、また、CCD121から取込むデータのDRAM14上の記憶領域をストロボ画像バッファ142−1に切換えてV7に移行する。これによりCCD121からの信号の増幅率が通常値に戻され、次に、ストロボが発光して発光量P’だけ周囲の光量を補う。CCD121からの信号はストロボ発光により補われた光量P’を加えた分増加し、ストロボ画像バッファ142−1にはストロボ画像が記憶される(V6)。
【0121】
次に、ストロボ画像バッファ142−1のストロボ画像の輝度分布のピークの輝度y1bと画像バッファ141でシャッター動作が遅延されている間に光量を累積したスルー画像の輝度分布のピークy2cの差Δy=y1b−y2cを調べ、|Δy|<δの場合にはV8に移行し、|Δy|≧δの場合には|Δy|<δになるまでシャッター動作をまって画像バッファ141のスルー画像の光量累積を行なう(V7)。|Δy|<δの場合には、ストロボ画像バッファ142−1のストロボ画像(データ)の輝度がy1b〜y1b−αの範囲W1(図10(b))を切抜いて画像バッファ141に書込む。これによりストロボ画像(図8(c))の中心被写体の部分がスルー画像(図8(d))の上に上塗りされた合成画像(図8(e))を得る(V8)。
【0122】
合成画像が所望の明るさでない場合に、使用者が機能ボタン(例えば、ボタン34)を押すと中心被写体81の切取り範囲W1を縮小させて画像を再合成して液晶ディスプレイ40に表示する。また、使用者が他の機能ボタン(例えば、ボタン35)を押すと中心被写体81の切取り範囲W1を拡大して画像を再合成して液晶ディスプレイ40に表示する(V9)。再度シャッターボタン37が押されると記録保存モードに遷移し、画像バッファ141の内容(この場合は合成画像が記憶されている)はJPEG圧縮処理されてメモリーカード51に記録される。また、他の機能ボタン(例えば、ボタン33)が押されると撮像画像はキャンセルされ撮像モードに戻る(V10)。
【0123】
< 実施例2−3> (スローシンクロ撮影(その2))
本実施例では、ストロボ発光後に背景被写体82がよく写るように光量を補うためゲインを制御して、ストロボ撮像画像と光量を補った背景画像とを合成する。図19はストロボ撮像/合成手段250’の構成例を示すブロック図であり、ストロボ撮像/合成手段250’は、光量判定手段251,画像判定手段252,ストロボ発光量決定手段253、ストロボ撮像手段254、ゲイン制御手段255’および画像合成手段256を含んでいる。なお、ストロボ撮像/合成手段250’の構成要素のうち、ストロボ撮像/合成手段250〜ストロボ撮像手段254および画像合成手段256の構成および機能は図15のストロボ撮像/合成手段250と同様である。
【0124】
ゲイン制御手段255’は、実施形態1(実施例1−3)のゲイン制御手段155’と同様であり、DRAM14のストロボ画像バッファ142−1に記憶されているストロボ画像および画像バッファ141に記憶されているスルー画像の輝度分布を調べ、ストロボ画像バッファ142−1のストロボ画像の輝度分布のピークの輝度y1bと画像バッファ141でシャッターの遅延時間tの間に光量を累積したスルー画像の輝度分布のピークy2cの差Δy=y1b−y2cを得る。そして|Δy|<δのときAGC124を制御して中心被写体81と背景被写体82の明るさが同じ程度になるまで、ストロボ撮像後のゲインを増加させる。また、この場合のデジタルカメラの動作は、図18のフローチャートと同様であり、ステップV7の動作をゲイン制御手段155’による輝度比較動作およびゲイン制御動作に置き換えればよい。
【0125】
以上本発明の各実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。暗い場合には、この方法でも十分と考えられる。なお、本発明では、被写体の輝度や距離に基づいてストロボ発光量を制御するようにしたが、単純にストロボ発光量を順次変えながら複数枚撮影し、その後、適度な明るさの部分を抽出して合成するようにしてもよい。また、本発明ではストロボ発光後に複数枚の画像を撮影し、それらを合成して適切な画像を得たが、ストロボ発光を行なわずにシャッタースピード、又はゲインを変えて撮影した複数の画像を合成するようにしてもよい。
【0126】
【発明の効果】
以上説明したように、第1の発明の電子カメラ装置および第9の発明の撮像方法によれば、取込んだ画像の輝度を基にストロボを発光させて複数のストロボ画像を得て、所定範囲の輝度を有する部分の輝度を抽出して合成画像を得るので、被写体が複数の場合でもそれぞれの被写体について適切な明るさの画像を得ることができる。
【図面の簡単な説明】
【図1】 本発明を適用した撮像装置の一実施例としてのデジタルカメラの回路構成例を示すブロック図である。
【図2】 図1のデジタルカメラの一実施例の斜視図(背面図)である。
【図3】 DRAM内の各バッファ等の領域設定例を示す説明図である。
【図4】 デジタルカメラの処理モードの構成例を示す説明図である。
【図5】 ストロボ撮像/合成手段の構成例を示すブロック図である。
【図6】 2つの被写体の輝度分布の説明図である。
【図7】 ストロボ撮像モード下で多重撮像方式によるデジタルカメラの動作例を示すフローチャートである。
【図8】 ストロボ撮像/合成処理手順の説明図である。
【図9】 スローシンクロ撮影方式でのストロボ撮像/合成手段の構成例を示すブロック図である。
【図10】 2つの被写体の輝度分布の説明図である。
【図11】 ストロボ撮像モード下でのスローシンクロ撮影によるデジタルカメラの動作例を示すフローチャートである。
【図12】 スローシンクロ撮影方式でのストロボ撮像/合成手段の構成例を示すブロック図である。
【図13】 オートフォーカス機構の構成例を示すブロック図である。
【図14】 オートフォーカス機構によるオートフォーカス制御の原理説明図である。
【図15】 第2の実施形態でのストロボ撮像/合成手段の構成例を示すブロック図である。
【図16】 第2の実施形態でのストロボ撮像モード下のデジタルカメラの動作例を示すフローチャートである。
【図17】 スローシンクロ撮影方式でのストロボ撮像/合成手段の構成例を示すブロック図である。
【図18】 ストロボ撮像モード下でのスローシンクロ撮影方式によるデジタルカメラの動作例を示すフローチャートである。
【図19】 スローシンクロ撮影方式でのストロボ撮像/合成手段の構成例を示すブロック図である。
【符号の説明】
1 被写体
11 ストロボ発光装置
42 液晶ディスプレイ装置(表示装置)
51 記録媒体(メモリーカード)
100 デジタルカメラ(撮像装置)
102 自動絞り装置(光量検出手段)
112 画像判定手段(輝度検出手段)
113 ストロボ発光量検出手段
114 ストロボ撮像手段
115 画像合成手段
103 オートフォーカス機構
121 CCD(撮像素子)
155 シャッター動作制御手段(撮像手段)
155’ ゲイン制御手段(撮像手段)
Claims (9)
- 撮像素子で取込んだ画像を所望のタイミングで撮像/記録可能な電子カメラ装置において、
前記所望のタイミングで撮像指示を行なうことにより発光するストロボ発光装置と、
前記取込んだ画像中の複数箇所の輝度を得る輝度検出手段と、
前記輝度値に応じたストロボ発光量を複数得るストロボ発光量決定手段と、
1回の撮像指示により、前記ストロボ発光量決定手段により得られた複数のストロボ発光量で前記ストロボ発光装置を複数回発光させて複数のストロボ画像を取込む動作を繰返して複数のストロボ画像を得るストロボ撮像手段と、
前記複数のストロボ画像毎に所定範囲の輝度を有する部分を抽出して合成する動作を繰返して合成画像を得る画像合成手段と、
前記輝度検出手段により得られた複数箇所の輝度値の輝度差に基づき、前記画像合成手段による合成動作を禁止する禁止手段と、を有し、
前記輝度検出手段は、前記ストロボ撮像手段により得られたストロボ画像中の複数箇所の輝度を得る手段を含み、
前記禁止手段は、前記輝度検出手段により得られた前記ストロボ画像中の複数箇所の輝度値の輝度差に基づき、前記画像合成手段による合成動作を禁止することを特徴とする電子カメラ装置。 - 前記禁止手段は、前記輝度検出手段により得られた前記ストロボ画像中の複数箇所の輝度値の輝度差が所定値未満か否かを判断する判断手段を含み、前記判断手段により前記輝度差が所定値未満であると判断された場合、前記画像合成手段による合成動作を禁止することを特徴とする請求項1記載の電子カメラ装置。
- 前記禁止手段は、更に、前記ストロボ撮像手段による複数のストロボ撮像動作のうち少なくとも1つのストロボ撮像動作を禁止する手段を含むことを特徴とする請求項1又は2記載の電子カメラ装置。
- 前記禁止手段は、更に、前記ストロボ発光量決定手段による複数のストロボ発光量決定動作のうち少なくとも1つのストロボ発光量決定動作を禁止する手段を含むことを特徴とする請求項3記載の電子カメラ装置。
- 前記輝度検出手段は、前記取込んだ画像中の第1の箇所の輝度を得る手段を含み、
前記ストロボ発光量決定手段は、前記第1の箇所の輝度値に応じたストロボ発光量を得る手段を含み、
前記ストロボ撮像手段は、前記ストロボ発光量決定手段により得られた前記第1の箇所の輝度値に応じたストロボ発光量でストロボ発光装置を発光させて画像を取込む動作を行うことにより第1のストロボ画像を得る手段を含み、
前記輝度検出手段は、更に、前記ストロボ撮像手段により得られた第1のストロボ画像中の第2の箇所の輝度を得る手段を含み、
前記ストロボ発光量決定手段は、更に、前記第2の箇所の輝度値に応じたストロボ発光量を得る手段を含み、
前記ストロボ撮像手段は、更に、前記ストロボ発光量決定手段により得られた前記第2の箇所の輝度値に応じたストロボ発光量でストロボ発光装置を発光させて画像を取込む動作を行うことにより第2のストロボ画像を得る手段を含み、
前記画像合成手段は、前記第1及び第2のストロボ画像において所定範囲の輝度を有する部分を抽出して合成する動作を行うことにより合成画像を得ることを特徴とする請求項1乃至4の何れかに記載の電子カメラ装置。 - 前記輝度検出手段は、更に、前記ストロボ撮像手段により得られた第1のストロボ画像中の第1の箇所の輝度を得る手段を含み、
前記ストロボ発光量決定手段は、更に、前記第1のストロボ画像中の第1及び第2の箇所の輝度値に応じたストロボ発光量を得る手段を含み、
前記ストロボ撮像手段は、更に、前記ストロボ発光量決定手段により得られた前記第1及び第2の箇所の輝度値に応じたストロボ発光量でストロボ発光装置を発光させて画像を取込む動作を行うことにより第2のストロボ画像を得る手段を含むことを特徴とする請求項5記載の電子カメラ装置。 - 更に、前記抽出範囲を拡大または縮小させて画像の再合成を行なう再合成手段を含むことを特徴とする請求項1乃至6の何れかに記載の電子カメラ装置。
- 前記画像合成手段により得られた合成画像を記録する記録手段と、
所定の記録指示操作があった場合に前記合成画像を前記記録手段に記録する記録制御手段とを更に備えたことを特徴とする請求項1乃至7の何れかに記載の電子カメラ装置。 - 撮像素子で取込んだ画像を所望のタイミングで撮像/記録可能な電子カメラ装置における撮像方法であって、
前記取込んだ画像中の複数箇所の輝度を得る輝度検出工程と、
前記輝度値に応じたストロボ発光量を複数得るストロボ発光量決定工程と、
1回の撮像指示により、前記得られた複数のストロボ発光量でストロボ発光装置を複数回発光させて複数のストロボ画像を取込む動作を繰返して複数のストロボ画像を得るストロボ撮像工程と、
前記複数のストロボ画像毎に所定範囲の輝度を有する部分を抽出して合成する動作を繰返して合成画像を得る画像合成工程と、
前記複数箇所の輝度値の輝度差に基づき、前記合成する動作を禁止する禁止工程と、を有し、
前記輝度検出工程は、前記ストロボ撮像工程により得られたストロボ画像中の複数箇所の輝度を得る工程を含み、
前記禁止工程は、前記輝度検出工程により得られた前記ストロボ画像中の複数箇所の輝度値の輝度差に基づき、前記画像合成工程による合成動作を禁止することを特徴とする撮像方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP36870597A JP3873157B2 (ja) | 1997-11-13 | 1997-12-26 | 電子カメラ装置および撮像方法 |
US09/191,909 US6654062B1 (en) | 1997-11-13 | 1998-11-13 | Electronic camera |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9-329459 | 1997-11-13 | ||
JP32945997 | 1997-11-13 | ||
JP36870597A JP3873157B2 (ja) | 1997-11-13 | 1997-12-26 | 電子カメラ装置および撮像方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006119952A Division JP4355859B2 (ja) | 1997-11-13 | 2006-04-25 | 電子カメラ装置および撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11205666A JPH11205666A (ja) | 1999-07-30 |
JP3873157B2 true JP3873157B2 (ja) | 2007-01-24 |
Family
ID=26573216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP36870597A Expired - Fee Related JP3873157B2 (ja) | 1997-11-13 | 1997-12-26 | 電子カメラ装置および撮像方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6654062B1 (ja) |
JP (1) | JP3873157B2 (ja) |
Families Citing this family (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7283171B2 (en) * | 2002-03-18 | 2007-10-16 | Ricoh Company, Ltd. | Image pickup apparatus with external device |
JP3346337B2 (ja) * | 1999-05-07 | 2002-11-18 | ミノルタ株式会社 | デジタルカメラ |
KR100316717B1 (ko) * | 1999-10-05 | 2001-12-20 | 윤종용 | 영상처리 시스템의 다이나믹 레인지 확대 장치 및 방법 |
US7339615B2 (en) * | 1999-12-22 | 2008-03-04 | Fujifilm Corporation | Method and apparatus for capturing images and for recording data that includes image data and audio data separately prepared from the image data |
US20060036864A1 (en) * | 1999-12-28 | 2006-02-16 | Parulski Kenneth A | Digital camera with image authentication |
JP4427891B2 (ja) * | 2000-10-27 | 2010-03-10 | コニカミノルタホールディングス株式会社 | 画像管理装置、デジタル撮像装置および画像生成装置 |
FI111417B (fi) * | 2001-06-01 | 2003-07-15 | Nokia Corp | Digitaalikameran salamavalon ohjaus |
US7148922B2 (en) * | 2001-08-02 | 2006-12-12 | Olympus Optical Co., Ltd. | Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence |
JP2003057713A (ja) * | 2001-08-16 | 2003-02-26 | Canon Inc | 撮像装置、撮像装置の制御方法、プログラム、及びコンピュータ読み取り可能な記憶媒体 |
US7218353B2 (en) * | 2001-12-26 | 2007-05-15 | Nikon Corporation | Electronic camera that selectively performs different exposure calculation routines |
JP4451583B2 (ja) * | 2001-12-27 | 2010-04-14 | 富士フイルム株式会社 | 撮像装置、撮像方法、及びプログラム |
JP2004056713A (ja) | 2002-07-24 | 2004-02-19 | Sharp Corp | 撮影部を有した携帯機器および露出調整装置 |
JP3680827B2 (ja) * | 2002-08-27 | 2005-08-10 | コニカミノルタフォトイメージング株式会社 | デジタルカメラ |
US20040239796A1 (en) * | 2002-09-20 | 2004-12-02 | Seiko Epson Corporation | Backlight adjustment processing of image using image generation record information |
EP1404118A1 (en) * | 2002-09-20 | 2004-03-31 | Seiko Epson Corporation | Backlight adjustment processing of image using image generation record information |
JP4125084B2 (ja) * | 2002-10-08 | 2008-07-23 | キヤノン株式会社 | 画像撮像装置、プログラムおよび記録媒体 |
US20040105674A1 (en) * | 2002-12-02 | 2004-06-03 | Premier Image Technology Corporation | Method making use of several times of flashes to detect distance and luminance of target |
US7263242B2 (en) * | 2003-01-23 | 2007-08-28 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Method for detecting repetitive surfaces in an optical mouse |
JP4082318B2 (ja) | 2003-09-04 | 2008-04-30 | カシオ計算機株式会社 | 撮像装置、画像処理方法及びプログラム |
JP2005141005A (ja) * | 2003-11-06 | 2005-06-02 | Pentax Corp | 望遠鏡本体および望遠鏡 |
JP4280993B2 (ja) * | 2003-12-24 | 2009-06-17 | ソニー株式会社 | 撮像装置及びその方法並びにプログラム |
JP4222213B2 (ja) * | 2004-01-16 | 2009-02-12 | カシオ計算機株式会社 | カメラ装置、撮影感度設定プログラム及び撮影感度設定方法 |
JP4574185B2 (ja) * | 2004-02-17 | 2010-11-04 | キヤノン株式会社 | 撮像装置及び閃光装置の制御方法 |
US7333145B2 (en) * | 2004-03-05 | 2008-02-19 | Micron Technology, Inc. | Camera module |
US8345120B2 (en) | 2004-04-06 | 2013-01-01 | Nikon Corporation | Electronic camera with self-adjusting flash and image-capture sensitivity |
DE102004019011A1 (de) * | 2004-04-20 | 2005-11-17 | Mahle Gmbh | Kühlkanalabdeckung für einen Kolben eines Verbrennungsmotors |
JP2005347928A (ja) * | 2004-06-01 | 2005-12-15 | Matsushita Electric Ind Co Ltd | 撮像制御装置、固体撮像装置および撮像方法 |
KR100606067B1 (ko) * | 2004-11-23 | 2006-07-28 | 삼성전자주식회사 | 카메라 기능을 가진 이동 통신 단말기 및 그 방법 |
US7620266B2 (en) * | 2005-01-20 | 2009-11-17 | International Business Machines Corporation | Robust and efficient foreground analysis for real-time video surveillance |
US7780089B2 (en) | 2005-06-03 | 2010-08-24 | Hand Held Products, Inc. | Digital picture taking optical reader having hybrid monochrome and color image sensor array |
US7568628B2 (en) | 2005-03-11 | 2009-08-04 | Hand Held Products, Inc. | Bar code reading device with global electronic shutter control |
US7611060B2 (en) | 2005-03-11 | 2009-11-03 | Hand Held Products, Inc. | System and method to automatically focus an image reader |
TWI268398B (en) * | 2005-04-21 | 2006-12-11 | Sunplus Technology Co Ltd | Exposure controlling system and method thereof for image sensor provides a controller device driving the illuminating device to generate flashlight while each pixel row in subsection of an image is in exposure condition |
US7770799B2 (en) | 2005-06-03 | 2010-08-10 | Hand Held Products, Inc. | Optical reader having reduced specular reflection read failures |
US8139130B2 (en) | 2005-07-28 | 2012-03-20 | Omnivision Technologies, Inc. | Image sensor with improved light sensitivity |
US8274715B2 (en) * | 2005-07-28 | 2012-09-25 | Omnivision Technologies, Inc. | Processing color and panchromatic pixels |
JP4500229B2 (ja) * | 2005-08-01 | 2010-07-14 | 富士フイルム株式会社 | 撮影装置 |
US7705910B2 (en) * | 2005-12-19 | 2010-04-27 | Funai Electric Co., Ltd. | Photographic device for obtaining a plurality of images at a time by rolling shutter method |
US7697789B2 (en) * | 2006-04-28 | 2010-04-13 | Xerox Corporation | System and method for enhancing stored binary images |
US7916362B2 (en) | 2006-05-22 | 2011-03-29 | Eastman Kodak Company | Image sensor with improved light sensitivity |
JP4916268B2 (ja) * | 2006-09-29 | 2012-04-11 | キヤノン株式会社 | 撮像装置、及びその制御方法 |
US8031258B2 (en) | 2006-10-04 | 2011-10-04 | Omnivision Technologies, Inc. | Providing multiple video signals from single sensor |
JP2008301389A (ja) * | 2007-06-04 | 2008-12-11 | Panasonic Corp | 画像処理lsi、及び撮像装置 |
JP5014966B2 (ja) * | 2007-11-30 | 2012-08-29 | パナソニック電工Sunx株式会社 | 拡大観察装置 |
JP2009278671A (ja) * | 2009-08-26 | 2009-11-26 | Olympus Corp | 電子カメラ |
JP5451316B2 (ja) * | 2009-10-28 | 2014-03-26 | キヤノン株式会社 | 撮像装置及び発光制御方法 |
JP5500442B2 (ja) * | 2010-06-21 | 2014-05-21 | 株式会社リコー | 低照度対応カメラ |
JP5141733B2 (ja) * | 2010-08-18 | 2013-02-13 | カシオ計算機株式会社 | 撮像装置、撮像方法、及びプログラム |
JP5932240B2 (ja) * | 2011-05-13 | 2016-06-08 | キヤノン株式会社 | 撮像装置及び制御方法 |
JP5917258B2 (ja) * | 2012-04-20 | 2016-05-11 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6025470B2 (ja) * | 2012-09-13 | 2016-11-16 | キヤノン株式会社 | 撮像装置、制御方法、プログラム及び記憶媒体 |
CA2871465C (en) * | 2013-01-15 | 2015-03-31 | Avigilon Corporation | Method and apparatus for generating an infrared illumination beam with a variable illumination pattern |
CN104853107B (zh) * | 2014-02-19 | 2018-12-14 | 联想(北京)有限公司 | 信息处理的方法及电子设备 |
JP6423612B2 (ja) * | 2014-04-28 | 2018-11-14 | オリンパス株式会社 | 情報機器、画像処理方法およびプログラム |
CN104113702B (zh) * | 2014-07-25 | 2018-09-04 | 北京智谷睿拓技术服务有限公司 | 闪光控制方法及控制装置、图像采集方法及采集装置 |
CN104092954B (zh) * | 2014-07-25 | 2018-09-04 | 北京智谷睿拓技术服务有限公司 | 闪光控制方法及控制装置、图像采集方法及采集装置 |
CN104092956B (zh) * | 2014-07-31 | 2018-02-02 | 北京智谷睿拓技术服务有限公司 | 闪光控制方法、闪光控制装置以及图像采集设备 |
CN104092955B (zh) * | 2014-07-31 | 2018-04-27 | 北京智谷睿拓技术服务有限公司 | 闪光控制方法及控制装置、图像采集方法及采集设备 |
CN107241557A (zh) * | 2017-06-16 | 2017-10-10 | 广东欧珀移动通信有限公司 | 图像曝光方法、装置、摄像设备及存储介质 |
JP7059680B2 (ja) * | 2018-02-19 | 2022-04-26 | 日本電気株式会社 | 撮影装置、撮影方法、プログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5638118A (en) * | 1987-06-09 | 1997-06-10 | Canon Kabushiki Kaisha | Image sensing device with diverse storage times used in picture composition |
GB2219461B (en) * | 1988-05-02 | 1992-11-18 | Canon Kk | Exposure control device |
US5049997A (en) * | 1989-04-10 | 1991-09-17 | Fuji Photo Film Co., Ltd. | Video camera exposure control method and apparatus for preventing improper exposure due to changing object size or displacement and luminance difference between the object and background |
JP2772028B2 (ja) * | 1989-04-14 | 1998-07-02 | オリンパス光学工業株式会社 | 多点測距自動焦点カメラ |
WO1991010158A2 (en) * | 1989-12-26 | 1991-07-11 | Eastman Kodak Company | Flash illumination system and method incorporating indirect reflecting surface detection |
JPH04151132A (ja) * | 1990-10-15 | 1992-05-25 | Nikon Corp | 多点測距装置 |
US5295001A (en) * | 1990-11-01 | 1994-03-15 | Canon Kabushiki Kaisha | Image sensing apparatus having tone control function |
JP2777847B2 (ja) | 1991-08-30 | 1998-07-23 | 富士写真フイルム株式会社 | 撮像装置および方法ならびに画像処理装置および方法 |
US5420635A (en) | 1991-08-30 | 1995-05-30 | Fuji Photo Film Co., Ltd. | Video camera, imaging method using video camera, method of operating video camera, image processing apparatus and method, and solid-state electronic imaging device |
US5621462A (en) * | 1992-08-18 | 1997-04-15 | Canon Kabushiki Kaisha | Image pickup device capable of controlling made pickup operation |
US6204881B1 (en) * | 1993-10-10 | 2001-03-20 | Canon Kabushiki Kaisha | Image data processing apparatus which can combine a plurality of images at different exposures into an image with a wider dynamic range |
KR0160191B1 (ko) * | 1995-08-12 | 1999-01-15 | 김광호 | 역광보정방법 및 그 장치 |
JP3420405B2 (ja) * | 1995-09-20 | 2003-06-23 | キヤノン株式会社 | 撮像装置 |
JPH09160103A (ja) | 1995-12-08 | 1997-06-20 | Olympus Optical Co Ltd | ストロボ画像の色調整装置 |
JP3478452B2 (ja) * | 1996-03-27 | 2003-12-15 | ソニー株式会社 | 逆光検出方法、逆光検出装置及び撮像カメラ |
US6195127B1 (en) * | 1996-07-18 | 2001-02-27 | Sanyo Electric Co., Ltd. | Digital camera, having a flash unit, which determines proper flash duration through an assessment of image luminance and, where needed, a preliminary flash emission |
-
1997
- 1997-12-26 JP JP36870597A patent/JP3873157B2/ja not_active Expired - Fee Related
-
1998
- 1998-11-13 US US09/191,909 patent/US6654062B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US6654062B1 (en) | 2003-11-25 |
JPH11205666A (ja) | 1999-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3873157B2 (ja) | 電子カメラ装置および撮像方法 | |
US7974529B2 (en) | Digital camera | |
US7362370B2 (en) | Image capturing apparatus, image capturing method, and computer-readable medium storing program using a distance measure for image correction | |
JP4657052B2 (ja) | デジタルカメラ、撮影方法、および撮影制御プログラム。 | |
KR100871639B1 (ko) | 카메라 및 카메라의 화상처리방법 | |
JP4615458B2 (ja) | 露出制御方法及び撮像装置 | |
JP4695508B2 (ja) | 撮像装置および撮影方法 | |
JP2007281547A (ja) | 撮像装置,及び撮像方法 | |
JP2010135921A (ja) | 撮像装置及び撮像方法 | |
JP2000078462A (ja) | 電子カメラ | |
US7475266B2 (en) | Image capturing apparatus that performs dynamic frequency control of buffer memory during moving image capture | |
JP4641571B2 (ja) | ディジタル・スチル・カメラおよびその制御方法 | |
JP2007178708A (ja) | 撮像装置および撮影方法 | |
JP2005086488A (ja) | 電子スチルカメラおよび画像処理プログラム | |
JP4355859B2 (ja) | 電子カメラ装置および撮像方法 | |
JP3171163B2 (ja) | 電子スチルカメラ及び電子スチルカメラの撮像方法 | |
JP4525717B2 (ja) | 電子カメラ装置およびストロボ色補正方法 | |
JP4081917B2 (ja) | 電子カメラ装置およびストロボ色補正方法 | |
JPH1198385A (ja) | 電子ファインダ付撮像装置およびファインダ表示方法 | |
JP2004350192A (ja) | ディジタル・カメラおよびその制御方法 | |
JP2004135184A (ja) | デジタルカメラ | |
JPH06105221A (ja) | 電子スチルカメラ | |
JP2002044512A (ja) | 電子カメラ | |
JP2003116050A (ja) | デジタルスチルカメラ | |
JPH08191408A (ja) | 液晶ディスプレイ付カメラ一体型vtr |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040507 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050810 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20060202 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060425 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060621 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060803 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061009 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |