以下、図面を参照しながら本発明の実施の形態について説明する。
<電子カメラの構成>
図1及び図2は、本発明の実施の一形態に係る電子カメラの構成を示すブロック図である。
同図において、100は画像処理装置であり、12は撮像素子14の露光量を制御するシャッターであり、14は光学像を電気信号に変換する撮像素子である。レンズユニット300内の撮影レンズ310に入射した光線は、絞り312、レンズマウント306、106、ミラー130及びシャッター12を通じて一眼レフ方式により導かれた撮像素子14上に光学像として結像する。
16は撮像素子14から出力されるアナログ信号をディジタル信号に変換するA/D変換器である。18は撮像素子14、A/D変換器16及びD/A変換器26にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路22及びシステム制御回路50によって制御される。
20は画像処理回路であり、A/D変換器16からのデータ或いはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。画像処理回路20は必要に応じて撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づき、システム制御回路50が露光(シャッター)制御部40及び測距制御部42を制御するためのTTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理及びEF(フラッシュ調光)処理を行う。また、画像処理回路20は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理を行う。
尚、本実施形態では、測距制御部42及び測光制御部46を専用に備えているので、システム制御回路50は、測距制御部42及び測光制御部46を用いてAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理の各処理を行い、画像処理回路20を用いてAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理の各処理を行わない構成としてもよい。
また、測距制御部42及び測光制御部46を用いてAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理の各処理を行い、さらに、画像処理回路20を用いてAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理の各処理を行う構成としてもよい。
22はメモリ制御回路であり、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30及び圧縮・伸長回路32を制御する。
A/D変換器16からのデータは、画像処理回路20及びメモリ制御回路22を介して、或いは直接、メモリ制御回路22を介して画像表示メモリ24或いはメモリ30に書き込まれる。
24は画像表示メモリ、26はD/A変換器である。28はTFT方式のLCDからなる画像表示部である。画像表示メモリ24に書き込まれた表示用の画像データはD/A変換器26を介して画像表示部28に表示される。撮像された画像データを画像表示部28で逐次表示する場合、電子ファインダ機能を実現することが可能である。また、画像表示部28はシステム制御回路50の指示に従って表示のON/OFFを任意に行うことが可能であり、表示をOFFにした場合、画像処理装置100の電力消費を大幅に低減することができる。
30は撮影された静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を有している。したがって、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能である。また、メモリ30はシステム制御回路50の作業領域としても使用することが可能である。
32は適応離散コサイン変換(ADCT)などにより画像データを圧縮伸長する圧縮・伸長回路であり、メモリ30に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ30に書き込む。
40は測光制御部46からの測光情報に基づいて絞り312を制御する絞り制御部340と連携しながらシャッター12を制御するシャッター制御部である。42はAF(オートフォーカス)処理を行うための測距制御部であり、レンズユニット300内の撮影レンズ310に入射した光線を絞り312、レンズマウント306、106、ミラー130及び測距用サブミラー(図示せず)を介して一眼レフ方式で入射することにより、光学像として結像された画像の合焦状態を測定する。
44は温度計であり、撮影環境における周囲温度を検出する。46はAE(自動露出)処理を行うための測光制御部であり、レンズユニット300内の撮影レンズ310に入射した光線を、絞り312、レンズマウント306、106、ミラー130及び測光用サブミラー(図示せず)を介して一眼レフ方式で入射することにより、光学像として結像された画像の露出状態を測定する。測光制御部46はフラッシュ部48と連携することにより、EF(フラッシュ調光)処理機能も有する。48はフラッシュ部であり、AF補助光の投光機能及びフラッシュ調光機能を有する。
尚、前述したように、撮像素子14によって撮像された画像データを用いて画像処理回路20により演算された演算結果に基づき、システム制御回路50が露光(シャッター)制御部40、絞り制御部340、及び測距制御部342に対し、ビデオTTL方式を用いた露出制御及びAF制御を行うことが可能である。
また、測距制御部42による測定結果と、撮像素子14によって撮像された画像データを画像処理回路20によって演算した演算結果とを用いて、AF(オートフォーカス)制御を行うようにしてもよい。さらに、測光制御部46による測定結果と、撮像素子14によって撮像された画像データを画像処理回路20によって演算した演算結果とを用いて露出制御を行うようにしてもよい。
50は画像処理装置100全体を制御するシステム制御回路であり、周知のCPUなどを内蔵する。52はシステム制御回路50の動作用の定数、変数、プログラムなどを記憶するメモリである。54はシステム制御回路50でのプログラムの実行に応じて、文字、画像、音声などで動作状態やメッセージなどを表示する液晶表示装置、スピーカなどを有する表示部であり、画像処理装置100の操作部近辺の視認し易い単数或いは複数箇所に設置されている。表示部54は、LCD、LED、発音素子などの組み合わせにより構成されている。また、表示部54の一部の機能は光学ファインダ104内に設けられている。
表示部54の表示内容のうち、LCDなどに表示するものとしては、シングルショット/連写撮影表示、セルフタイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体200、210の着脱状態表示、レンズユニット300の着脱状態表示、通信I/F動作表示、日付・時刻表示、及び外部コンピュータとの接続状態を示す表示などがある。
また、表示部54の表示内容のうち、光学ファインダ104内に表示するものとしては、合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッタースピード表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示などがある。
さらに、表示部54の表示内容のうち、LED等に表示するものとしては、例えば、合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、記録媒体書き込み動作表示、マクロ撮影設定通知表示、及び二次電池充電表示などがある。また、表示部54の表示内容のうち、ランプ等に表示するものとしては、例えば、セルフタイマ通知ランプ等がある。このセルフタイマ通知ランプはAF補助光と共用してもよい。
56は後述するプログラムなどが格納された電気的に消去・記録可能な不揮発性メモリであり、不揮発性メモリとしてEEPROMなどが用いられる。この不揮発性メモリ56には、各種パラメータやISO感度などの設定値、設定モード、及び水平ダークシェーディング補正を行う際に用いる1次元補正データ等が格納される。この1次元補正データは、生産工程において、調整時に作成されて書き込まれる。この1次元補正データの作成方法としては、例えばダーク画像撮影を行って得られた画像を射影演算することにより、水平1ライン分のデータとする方法等が考えられる。
尚、補正データとしては、生産工程において撮像されたダーク画像をそのまま2次元データとして記憶したものでもよい。しかし、撮像素子によっては垂直方向の固定パターンノイズが小さく、水平方向の補正のみ行えば済むようなものがある。
ここで、固定パターンノイズの発生要因としては、図3に示すように、撮像素子の回路系からの信号読出し時に画素部500の信号が最終出力段511に至る読出し経路の差(ばらつき)が大きい。この点について図3を用いて説明する。図3は水平及び垂直方向における固定パターンノイズの混入を示す図である。
水平方向の固定パターンノイズは、図3に示す垂直ラインaの読出し経路と垂直ラインbの読出し経路との差(T1)に依存する。また、垂直方向の固定パターンノイズは、図3に示す水平ラインcの読出し経路と水平ラインdの読出し経路との差(T2)に依存する。例えば、図3に示すように、各水平ラインが読出し回路を共有し(510)、かつ回路レイアウトの工夫などにより各水平ラインの信号を共通読出し回路510へ転送する際に混入するノイズが小さい撮像素子の場合、垂直方向の固定パターンノイズは小さく補正する必要がない。このような撮像素子を用いる撮像装置では、水平方向の1次元の補正データを用いて本画像を補正することにより、固定パターンノイズを除去することができる。
図1及び図2に戻り、60、62、64、66、68及び70は、システム制御回路50の各種動作指示を入力するための操作部であり、スイッチ、ダイヤル、タッチパネル、視線検知によるポインティング、及び音声認識装置などの単数或いは複数の組み合わせで構成される。これら操作部の詳細を以下に示す。
60はモードダイアルスイッチであり、自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、焦点深度優先(デプス)撮影モード、ポートレート撮影モード、風景撮影モード、接写撮影モード、スポーツ撮影モード、夜景撮影モード、及びパノラマ撮影モードなどの各機能撮影モードを切り替えて設定可能である。
62はシャッタースイッチ(SW1)であり、シャッターボタン(図示せず)の操作途中でONとなり、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュ調光)処理などの動作開始を指示する。
64はシャッタースイッチ(SW2)であり、シャッターボタン(図示せず)の操作完了でONとなる。このシャッタースイッチ(SW2)64は、撮像素子12から読み出した信号をA/D変換器16及びメモリ制御回路22を介してメモリ30に書き込む露光処理と、画像処理回路20やメモリ制御回路22での演算を用いた現像処理と、メモリ30から画像データを読み出して圧縮・伸長回路32で圧縮を行い記録媒体200、201に書き込む記録処理という一連の処理の動作開始を指示する。
66は再生スイッチであり、撮影モード状態で撮影した画像をメモリ30或いは記録媒体200、210から読み出して画像表示部28に表示する再生動作の開始を指示する。
68は単写/連写スイッチであり、シャッタースイッチSW2を押した場合、1コマの撮影を行って待機状態とする単写モードと、シャッタースイッチSW2を押している間、連続して撮影を行い続ける連写モードとを設定可能である。
69はISO感度設定スイッチであり、撮像素子14或いは画像処理回路20におけるゲインの設定を変更することによりISO感度を設定できる。
70は各種ボタンやタッチパネルなどからなる操作部であり、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマ切替ボタン、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン、パノラマモード等の撮影及び再生を実行する際に各種機能の選択及び切り替えを設定する選択/切り替えボタン、パノラマモード等の撮影及び再生を実行する際に各種機能の決定及び実行を設定する決定/実行ボタン、画像表示部28のON/OFFを設定する画像表示ON/OFFスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューON/OFFスイッチ、JPEG圧縮の圧縮率を選択するため、或いは撮像素子の信号をそのままディジタル化して記録媒体に記録するCCDRAWモードを選択するためのスイッチである圧縮モードスイッチ、再生モード、マルチ画面再生・消去モード、及びPC接続モード等の各機能モードを設定可能な再生スイッチのほか、シャッタースイッチSW1を押した際にオートフォーカス動作を開始し、一旦合焦した場合、その合焦状態を保ち続けるワンショットAFモードとシャッタースイッチSW1を押している間、連続してオートフォーカス動作を続けるサーボAFモードとを設定可能なAFモード設定スイッチなどがある。
また、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。
72は電源スイッチであり、画像処理装置100の電源のオン/オフの各モードを切り替え設定可能である。また、画像処理装置100に接続されたレンズユニット300、外部ストロボ、記録媒体200、210等における各種付属装置の電源オン/オフ設定も併せて切り替え設定可能である。
80は電源制御部であり、電池検出回路、DC−DCコンバータ、及び通電するブロックを切り替えるスイッチ回路などから構成されており、電池の装着の有無、電池の種類、及び電池残量の検出を行い、その検出結果及びシステム制御回路50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部に供給する。
82及び84はコネクタ、86はアルカリ電池やリチウム電池などの一次電池、NiCd電池、NiMH電池、Li電池などの二次電池、ACアダプタなどからなる電源部である。
90及び94はメモリカードやハードディスク等の記録媒体とのインターフェース、92及び96はメモリカードやハードディスクなどの記録媒体との接続を行うコネクタ、98はコネクタ92、96に記録媒体200、210が装着されているか否かを検知する記録媒体着脱検知部である。
尚、本実施形態では、記録媒体を取り付けるインターフェース及びコネクタが2系統装備されているが、記録媒体を取り付けるインターフェース及びコネクタは単数或いは任意の数の系統数装備されていてもよい。また、異なる規格のインターフェース及びコネクタとして、PCMCIAカードやCF(コンパクトフラッシュ(登録商標))カードなどの規格に準拠したものを用いてもよい。
さらに、インターフェース90、94、コネクタ92、96をPCMCIAカードやCF(コンパクトフラッシュ(登録商標))カードなどの規格に準拠したものを用いて構成した場合、LANカード、モデムカード、USBカード、IEEE1394カード、P1284カード、SCSIカード、及びPHSなどの通信カードなどの各種通信カードを接続することより、他のコンピュータやプリンタなどの周辺機器との間で画像データや画像データに付属した管理情報を相互に転送することが可能である。
104は光学ファインダであり、撮影レンズ310に入射した光線を、一眼レフ方式によって、絞り312、レンズマウント306、106及びミラー130、132を介して導き、光学像として結像させて表示することが可能である。これにより、画像表示部28による電子ファインダ機能を使用することなく、光学ファインダ104だけを用いて撮影を行うことが可能である。また、光学ファインダ104内には、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、及び露出補正表示などが設けられている。
110は通信部であり、RS232C、USB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信などの各種通信機能を有する。112は通信部110により画像処理装置100を他の機器と接続するコネクタ、もしくは無線通信を行う場合のアンテナである。
120は、レンズマウント106内で画像処理装置100をレンズユニット300と接続するためのインターフェースである。122は画像処理装置100をレンズユニット300と電気的に接続するコネクタである。また、レンズマウント106及び/またはコネクタ122にレンズユニット300が装着されているか否かは、不図示のレンズ着脱検知部により検知される。
コネクタ122は、画像処理装置100とレンズユニット300との間で制御信号、状態信号、及びデータ信号などを伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、コネクタ122は電気通信だけでなく、光通信、音声通信などを伝達する構成としてもよい。
130、132はミラーであり、撮影レンズ310に入射した光線を、一眼レフ方式によって光学ファインダ104に導く。ミラー132はクイックリターンミラーの構成にしてもハーフミラーの構成にしてもどちらでもよい。
200はメモリカードやハードディスクなどの記録媒体である。記録媒体200は、半導体メモリや磁気ディスクなどから構成される記録部202、画像処理装置100とのインターフェース204、及び画像処理装置100との接続を行うコネクタ206を有している。210は、記録媒体200と同様、メモリカードやハードディスク等の記録媒体である。記録媒体210は、半導体メモリや磁気ディスク等から構成される記録部212、画像処理装置100とのインターフェース214、及び画像処理装置100との接続を行うコネクタ216を有している。
300は交換レンズタイプのレンズユニットである。306はレンズユニット300を画像処理装置100と機械的に結合するレンズマウントである。レンズマウント306内には、レンズユニット300を画像処理装置100と電気的に接続する各種機能が含まれている。
310は撮影レンズ、312は絞りである。320はレンズマウント306内でレンズユニット300を画像処理装置100と接続するためのインターフェースである。322はレンズユニット300を画像処理装置100と電気的に接続するコネクタである。
コネクタ322は画像処理装置100とレンズユニット300との間で制御信号、状態信号及びデータ信号などを伝え合うと共に、各種電流が供給され、或いは電流を供給する機能を備えている。また、コネクタ322は電気信号だけでなく、光信号、音声信号などを伝達する構成としてもよい。
340は測光制御部46からの測光情報に基づいて、シャッター12を制御するシャッター制御部40と連携しながら、絞り312を制御する絞り制御部である。342は撮影レンズ310のフォーカシングを制御する測距制御部である。344は撮影レンズ310のズーミングを制御するズーム制御部である。350はレンズユニット300全体を制御するレンズシステム制御回路である。レンズシステム制御回路350は、動作用の定数、変数及びプログラムなどを記憶するメモリや、レンズユニット300固有の番号などの識別情報、管理情報、開放絞り値や最小絞り値及び焦点距離等の機能情報、現在や過去の各設定値などを保持する不揮発メモリの機能も備えている。
<電子カメラの動作>
上記構成を有する電子カメラの動作について、図4〜図11を用いて説明する。
図4及び図5は、画像処理装置100の撮影動作処理手順を示すフローチャートである。この処理プログラムは不揮発性メモリ56などの記憶媒体に格納されており、メモリ52にロードされてシステム制御回路50内のCPUによって実行される。
電池交換などの電源投入により、システム制御回路50はフラグや制御変数等を初期化し、画像処理装置100の各部に対して必要な所定の初期設定を行う(ステップS101)。続いてシステム制御回路50は、電源スイッチ72の設定位置を判別して、電源スイッチ72が電源OFFに設定されているか否かを判別する(ステップS102)。
電源スイッチ72が電源OFFに設定されている場合、各表示部の表示を終了状態に変更し、フラグや制御変数などを含む必要なパラメータや設定値、設定モードを不揮発性メモリ56に記録し、電源制御部80により、画像表示部28を含む画像処理装置100各部の不要な電源を遮断する等の所定の終了処理を行った後(ステップS103)、ステップS102の処理に戻る。
一方、電源スイッチ72が電源ONに設定されていた場合、システム制御回路50は電源制御部80により電池などの電源86の残容量や動作状況が画像処理装置100の動作に問題があるか否かを判別する(ステップS104)。問題があると判別された場合、表示部54への画像の表示や音声の出力により所定の警告を行った後(ステップS105)、ステップS102の処理に戻る。電源86に問題がないと判別された場合、システム制御回路50はモードダイアルスイッチ60の設定位置を判断し、モードダイアルスイッチ60が撮影モードに設定されているか否かを判別する(ステップS106)。モードダイアルスイッチ60がその他のモードに設定されている場合、システム制御回路50は選択されたモードに応じた処理を実行し(ステップS107)、実行後にステップS102の処理に戻る。
モードダイアルスイッチ60が撮影モードに設定されている場合は、記録媒体200、201が装着されているか否かの判断と共に、記録媒体200、201に記録された画像データの管理情報の取得と、記録媒体200、201の動作状態が画像処理装置100の動作、特に記録媒体に対する画像データの記録再生動作等に問題があるか否かを判別する(ステップS108)。問題があると判別された場合、表示部54に画像の表示や音声の出力により所定の警告を行った後(ステップS105)、ステップS102の処理に戻る。
一方、ステップS108で問題がないと判別された場合、システム制御回路50は単写撮影/連写撮影を選択する単写/連写スイッチ68の選択状態を調べる(ステップS109)。単写撮影が選択されている場合、単写/連写フラグを単写に設定し(ステップS110)、連写撮影が選択されている場合、単写/連写フラグを連写に設定する(ステップS111)。単写/連写スイッチ68では、シャッタースイッチSW2を押した場合、1コマの撮影を行って待機状態とする単写モードと、シャッタースイッチSW2を押している間、連続して撮影を行い続ける連写モードとを任意に切り替えて設定することが可能である。尚、単写/連写フラグの状態はシステム制御回路50の内部メモリ或いはメモリ52に記憶される。
システム制御回路50は、表示部54を用いて画像や音声により画像処理装置100の各種設定状態の表示を行う(ステップS112)。ここで、画像表示部28の画像表示スイッチがONである場合、画像表示部28を用いて画像や音声により画像処理装置100の各種設定状態を表示するようにしてもよい。
シャッタースイッチSW1が押されているか否かを判別し(ステップS113)、シャッタースイッチSW1が押されていない場合、ステップS102の処理に戻る。一方、シャッタースイッチSW1が押されている場合には、システム制御回路50は、測距処理を行って撮影レンズ310の焦点を被写体に合わせ、さらに測光処理を行って絞り値及びシャッター速度を決定する測距・測光処理を行う(ステップS114)。測光処理では、必要であればフラッシュの設定を行う。この測距・測光処理の詳細については、後述する。
続くステップS115では、システム制御回路50は、水平ダークシェーディング補正に用いられる1次元補正データを不揮発性メモリ56から読み出し、メモリ30の所定領域に展開する。この補正データの展開終了後、ステップS116の処理に移行する。
ここで、水平ダークシェーディング補正或いは黒引き補正による本画像の補正の概念図を図6に示す。同図に示すように、水平ダークシェーディング補正では、ステップS115で展開した1次元補正データ(水平1ラインデータ601)を各水平ライン毎に繰り返し減算することで、本画像600から水平方向の回路系ノイズ、即ち固定パターンノイズを除去した補正後の画像602を得ることが出来る。黒画像603による黒引き補正については後述する。
そして、シャッタースイッチSW2が押されているか否かを判別し(ステップS116)、シャッタースイッチSW2が押されていない場合、シャッタースイッチSW1が離されたか否かを判別し(ステップS117)、シャッタースイッチSW1が離されるかシャッタースイッチSW2が押されるまで、ステップS116及びステップS117の処理を繰り返す。ステップS117でシャッタースイッチSW1が離された場合、ステップS102の処理に移行する。
一方、ステップS116でシャッタースイッチSW2が押された場合には、システム制御回路50は、撮影した画像データの記憶可能な画像記憶バッファ領域がメモリ30にあるか否かを判別する(ステップS118)。メモリ30の画像記憶バッファ領域内に新たな画像データの記憶可能な領域がないと判別された場合、表示部54による画像の表示や音声の出力により所定の警告を行った後(ステップS119)、ステップS102の処理に戻る。画像記憶バッファ領域内に新たな画像データの記憶可能な領域がない場合としては、例えば、メモリ30の画像記憶バッファ領域内に記憶可能な最大枚数の連写撮影を行った直後であり、メモリ30から読み出して記憶媒体200、210に書き込むべき最初の画像がまだ記憶媒体200、210に未記録な状態であり、まだ1枚の空き領域もメモリ30の画像記憶バッファ領域上に確保できない状態である場合などである。
尚、撮影した画像データを圧縮処理してからメモリ30の画像記憶バッファ領域に記憶する場合、圧縮した後の画像データ量が圧縮モードの設定に応じて異なることを考慮して、記憶可能な領域がメモリ30の画像記憶バッファ領域上にあるか否かをステップS118の処理で判断することになる。
一方、ステップS118でメモリ30に撮影した画像データの記憶可能な画像記憶バッファ領域があると判別された場合、システム制御回路50は、撮像して所定時間蓄積した撮像信号を撮像素子14から読み出し、A/D変換器16、画像処理回路20及びメモリ制御回路22を介して、或いはA/D変換器16から直接、メモリ制御回路22を介して、メモリ30の所定領域に撮影した画像データを書き込む撮影処理を実行する(ステップS120)。この撮影処理の詳細については、後述する。
ステップS120の撮影処理を終えると、システム制御回路50は、メモリ30に書き込まれた画像データのうち、撮像素子14のダーク出力レベル(以降DL)検出領域に相当するデータからDLを算出する(ステップS121)。DL検出領域は、撮像素子14のうち遮光されて光の入射しない領域(遮光領域)の全体または一部である。図7は、撮像素子14の画素領域700を模式的に表した図である。同図では、開口領域702と水平方向に隣り合った遮光領域702にDL検出領域703を設けているが、垂直方向に隣り合った遮光領域でも構わない。また、DLの算出方法はどのようなものでも良いが、ここではDL検出領域のデータの平均値とする。このDLは、長秒撮影時において信号中の暗電流成分の増加に伴って増大する。特に高温下においては、暗電流の発生量が大きくなるため、より顕著に増大する。また、電荷蓄積時間や環境温度といった撮影条件が同じであれば、暗電流量自体はISO感度設定によらず同程度であるが、高感度の場合(例えばISO1600のような)には信号中の暗電流成分が他の成分と共に増幅されるため、長秒撮影時のDLは低感度の場合に比べて大きくなる。
続くステップS122では、システム制御回路50は、DLを所定値DLtと比較し、DLがDLt未満である場合には直ちにステップS124の処理に移行する。したがって、この場合にはダーク取り込み処理がなされず、ステップS124の現像処理において、ステップS120で取り込まれた画像データは水平ダークシェーディング補正データにより補正されることになる。DLが小さい場合は暗電流が小さく、固定パターンノイズ等の暗電流以外のノイズ成分が支配的であり、水平ダークシェーディング補正データで充分な補正が可能である。
一方、DLが大きな場合は暗電流が大きく、微小なキズによる画素欠損や暗電流ムラ等の暗電流に起因するノイズ成分が無視できなくなり、水平ダークシェーディング補正データでは充分な補正が不可能となる。そこで、ステップS122でDLが所定値以上である場合、システム制御回路50はシャッター12を閉じた状態で撮像素子14の暗電流によるノイズ成分を本撮影と同じ時間蓄積し、蓄積を終えたノイズ画像信号を読み出すダーク取り込み処理(ダーク画像撮影)を行い(ステップS123)、ステップS124の処理に移行する。
ステップS124において、システム制御回路50は、メモリ30の所定領域に書き込まれた画像データの一部をメモリ制御回路22を介して読み出して現像処理を行うために必要なWB(ホワイトバランス)積分演算処理、OB(オプティカルブラック)積分演算処理を行い、演算結果をシステム制御回路50の内部メモリ或いはメモリ52に記憶する。そして、システム制御回路50は、メモリ制御回路22、必要に応じて画像処理回路20を用いて、メモリ30の所定領域に書き込まれた撮影画像データを読み出し、システム制御回路50の内部メモリ或いはメモリ52に記憶した演算結果を用いて、AWB(オートホワイトバランス)処理、ガンマ変換処理、及び色変換処理を含む各種現像処理を行う。
この現像処理では、ダーク取り込み処理(ステップS123)を行った場合にはそのダーク画像データを用いて、逆にダーク取り込み処理を行わなかった場合にはステップS115で展開した水平ダークシェーディング補正データを用いて減算処理を行うことにより、撮像素子14の固定パターンノイズや暗電流ノイズ等を打ち消すダーク補正演算処理を併せて行う。
このように、水平ダークシェーディング補正データを用いて補正演算処理を行う場合には、撮像素子14で発生する水平方向の固定パターンノイズによる画質劣化に対して、撮影時のダーク取り込み処理を行うことなく補正ができる。また、ダーク取り込み処理で取り込んだダーク画像データを用いて補正演算処理を行う場合、撮像素子14で発生する水平方向の固定パターンノイズは勿論、撮像素子14固有の微小なキズによる画素欠損、暗電流ムラ等の暗電流に起因するノイズによる画質劣化に対し、撮影した画像データを補正することができる。
システム制御回路50は、メモリ30の所定領域に書き込まれた画像データを読み出して、設定されたモードに応じた画像圧縮処理を圧縮・伸長回路32により行い、メモリ30の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みを行う(ステップS125)。
そして、システム制御回路50は、メモリ30の画像記憶バッファ領域に記憶された画像データを読み出し、インターフェース90、94及びコネクタ92、96を介して、メモリカードやコンパクトフラッシュ(登録商標)カード等の記録媒体200、210に読み出した画像データを書き込む記録処理を開始する(ステップS126)。この記録開始処理は、メモリ30の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みが新たに行われる度に、その画像データに対して実行される。
尚、記録媒体200、201に画像データの書き込みを行っている間、書き込み動作中であることを示すために、表示部54に例えばLEDを点滅させる等の記録媒体書き込み動作表示を行う。
さらに、システム制御回路50は、シャッタースイッチSW1が押されているか否かを判別する(ステップS127)。シャッタースイッチSW1が離された状態である場合、ステップS102の処理に戻る。一方、シャッタースイッチSW1が押された状態である場合、システム制御回路50の内部メモリ或いはメモリ52に記憶された単写/連写フラグの状態を判別し(ステップS128)、単写が設定されていた場合、ステップS127の処理に戻り、シャッタースイッチSW1が離されるまで現在の処理を繰り返す。一方、連写が設定されていた場合、連続して撮影を行うために、ステップS116の処理に戻り、次の撮影に備える。これにより、撮影に関する一連の処理が終了する。
図8は、図5のステップS114における測距・測光処理手順を示すフローチャートである。
この測距・測光処理において、システム制御回路50と、絞り制御部340或いは測距制御部342との間の各種信号のやり取りは、インターフェース120、コネクタ122、コネクタ322、インターフェース320及びレンズシステム制御回路350を介して行われる。
システム制御回路50は、撮像素子14、測距制御部42及び測距制御部342を用いて、AF(オートフォーカス)処理を開始する(ステップS201)。
システム制御回路50は、撮影レンズ310に入射した光線を、絞り312、レンズマウント306、106、ミラー130及び測距用サブミラー(図示せず)を介して、測距制御部42に入射させることにより、光学像として結像された画像の合焦状態を判断し、測距(AF)が合焦と判断されるまで、測距制御部342を用いて撮影レンズ310を駆動しながら、測距制御部42を用いて合焦状態を検出するAF制御を実行する(ステップS202、S203)。
ステップS203で測距(AF)が合焦と判断された場合、システム制御回路50は、撮影画面内の複数の測距点から合焦した測距点を決定し、決定した測距点データと共に測距データ及び/または設定パラメータをシステム制御回路50の内部メモリ或いはメモリ52に記憶する(ステップS204)。
続いて、システム制御回路50は、測光制御部46を用いてAE(自動露出)処理を開始する(ステップS205)。システム制御回路50は、撮影レンズ310に入射した光線を、絞り312、レンズマウント306、106、ミラー130、132及び測光用レンズ(図示せず)を介して、測光制御部46に入射させることにより、光学像として結像された画像の露出状態を測定し、露出(AE)が適正と判断されるまで露光(シャッター)制御部40を用いて測光処理を行う(ステップS206、S207)。
ステップS207で露出(AE)が適正であると判断された場合、システム制御回路50は、測光データ及び/または設定パラメータをシステム制御回路50の内部メモリ或いはメモリ52に記憶する(ステップS208)。尚、ステップS206の測光処理で検出した露出(AE)結果と、モードダイアルスイッチ60によって設定された撮影モードとに応じて、システム制御回路50では絞り値(Av値)及びシャッター速度(Tv値)が決定される。
ここで、決定されたシャッター速度(Tv値)に応じて、システム制御回路50は、撮像素子14の電荷蓄積時間を決定し、この決定された同じ電荷蓄積時間で撮影処理及びダーク取り込み処理をそれぞれ行う。
その後、ステップS206の測光処理で得られた測定データにより、システム制御回路50はフラッシュが必要であるか否かを判別し(ステップS209)、フラッシュが必要である場合、フラッシュフラグをセットし、充電が完了するまでフラッシュ部48を充電する(ステップS210、S211)。そして、フラッシュ部48の充電が完了すると、本処理を終了してメインの処理に復帰する。
図9は、図5のステップS120における撮影処理手順を示すフローチャートである。
この撮影処理において、システム制御回路50と、絞り制御部340或いは測距制御部342との間の各種信号のやり取りは、インターフェース120、コネクタ122、コネクタ322、インターフェース320及びレンズシステム制御回路350を介して行われる。
システム制御回路50は、ミラー130をミラー駆動部(図示せず)によってミラーアップ位置に移動させ(ステップS301)、システム制御回路50の内部メモリ或いはメモリ52に記憶された測光データに従い、絞り制御部340によって絞り312を所定の絞り値まで駆動する(ステップS302)。
システム制御回路50は、撮像素子14の電荷クリア動作を行った後(ステップS303)、撮像素子14の電荷蓄積を開始し(ステップS304)、シャッター制御部40によってシャッター12を開き(ステップS305)、撮像素子14の露光を開始する(ステップS306)。そして、フラッシュフラグによりフラッシュ部48が必要であるか否かを判別し(ステップS307)、必要である場合、フラッシュ部48を発光させる(ステップS308)。
システム制御回路50は、測光データに従って撮像素子14の露光終了を待ち(ステップS309)、露光が終了すると、シャッター制御部40によってシャッター12を閉じ(ステップS310)、撮像素子14の露光を終了する。続いて、システム制御回路50は、絞り制御部340によって絞り312を開放の絞り値まで駆動し(ステップS311)、ミラー130をミラー駆動部(図示せず)によってミラーダウン位置に移動させる(ステップS312)。
そして、設定した電荷蓄積時間が経過したか否かを判別し(ステップS313)、設定した電荷蓄積時間が経過した場合、システム制御回路50は、撮像素子14の電荷蓄積を終了した後(ステップS314)、撮像素子14から電荷信号を読み出し、A/D変換器16、画像処理回路20及びメモリ制御回路22を介して、或いはA/D変換器16から直接、メモリ制御回路22を介してメモリ30の所定領域に撮影画像データを書き込む(ステップS315)。一連の処理を終了すると、本処理を終了してメインの処理に復帰する。
図10は、図5のステップS123におけるダーク取り込み処理手順を示すフローチャートである。
システム制御回路50は、撮像素子14の電荷クリア動作を行った後(ステップS401)、シャッター12が閉じた状態で撮像素子14の電荷蓄積を開始する(ステップS402)。そして、設定した所定の電荷蓄積時間が経過したか否かを判別する(ステップS403)。
電荷蓄積時間が経過した場合、システム制御回路50は、撮像素子14の電荷蓄積を終了した後(ステップS404)、撮像素子14から電荷信号を読み出し、A/D変換器16、画像処理回路20及びメモリ制御回路22を介して、或いはA/D変換器16から直接、メモリ制御回路22を介して、メモリ30の所定領域に画像データ(ダーク画像データ)を書き込む(ステップS405)。このダーク画像データは、先に撮影処理が実行され、撮影された画像データを撮像素子14から読み出してメモリ30に書き込んである状態で、現像処理を行う際に用いられる。
このダーク画像データを用いて現像処理を行うことにより、撮像素子14で発生する暗電流ノイズや、撮像素子14固有のキズによる画素欠損等の画質劣化に対し、撮影した画像データを補正することが可能である。この後、本処理を終了してメインの処理に復帰する。
尚、本実施形態においては、本撮影処理(ステップS120)の電荷蓄積時間(Ts)とダーク取り込み処理の電荷蓄積時間(Td)を等しくする場合を示している。この場合、例えば30秒撮影では、撮影者は本撮影処理後、ダーク取り込み処理のため再び30秒間待たなければならず、そのために次のシャッターチャンスを逃してしまう可能性がある。Tdは暗電流ノイズ等を補正するのに十分なデータが得られる範囲内であればよいわけであるから、このような撮影者にとっての待ち時間を少しでも軽減するため、Tsとは異なる電荷蓄積時間としてもよい。
このとき、DLの値に応じてTdをTsよりも短くするようにしてもよい。例えば、DLに2つの閾値DLt1、DLt2(DLt1<DLt2)を設け、DLがDLt1以上DLt2未満の場合には
Td=Ts×(DL−DLt1)/(DLt2−DLt1)
とする。即ち、
(1)DL<DLt1 → ダーク取り込み処理をしない
(2)DLt1≦DL<DLt2 → DLの程度に応じたダーク取り込み
(3)DL≧DLt2 → 撮影処理と同じ時間だけダーク取り込み
という処理を行うことになる。
前記(2)の領域は、前記(1)の領域に比べれば信号中の暗電流成分が増加しているが、それほど顕著ではないため、撮影処理よりも短い電荷蓄積時間のダーク画像データで補正しても充分な画質を得ることが出来る。
以上のように本実施形態によれば、シャッターレリーズ動作の即時性を妨げる要因となるダーク画像撮影を、本来それが必要な暗電流が大きい撮影条件下にのみ限定して行うことができ、それ以外の条件下においては不要なダーク画像撮影を行わず軽快なカメラ動作を実現することが可能となる。即ち、画像の補正方法選択の最適化が可能となる。
また、実際に撮影した画像データから黒引きを行う必要があるか否かを判定するため、撮像素子の暗電流発生量の個体差も含めて補正方法の選択を最適化できる。
このように、ダーク画像撮影が実際に必要な条件を的確に判定し、シャッターレリーズタイムラグの原因となるダーク画像撮影を極力減らしつつ、画質の劣化を防止することができる。
本発明は、これら実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、または実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。
例えば、上記実施形態では、水平ダークシェーディング補正を行う場合、補正データをメモリ30に展開していたが、この展開処理を行わずに、撮像素子14から画像データを取り込みながら順次、本画像から補正データを減算していくように補正することも可能である。
また、本実施形態では、水平ダークシェーディング補正データの展開処理(ステップS115)は、シャッタースイッチSW1が押された後に行われるとしたが、カメラの電源投入時に補正データが展開されるようにしてもよい。
さらに、補正データは水平方向の1次元データであるとしたが、垂直方向の1次元データ或いは2次元データであっても構わない。また、2次元の画像全体のデータでなくとも、図11に示すように、水平・垂直それぞれの方向の1次元データ601,605を両方記憶しておき、補正データの展開処理(ステップS115)では、水平方向の1次元データ601を展開する際、垂直方向の1次元データ605を用いてライン毎に補正量を加減することで、水平・垂直両方向のダークシェーディングを補正することができる。
この場合、さらに、垂直方向に関しては、1次元の補正データとして記憶しなくても、数式として記憶しておき、水平方向の1次元データを展開する際、この数式を適用して垂直方向のダークシェーディングを補正するようにしてもよい。
また、上記実施形態では、補正データは、生産工程において調整時に作成され、不揮発性メモリ56に記憶されていたが、使用者などが任意の時期に、ダーク画像撮影を行って得られた画像を射影演算することにより作成され、記憶されるようにしてもよい。或いは、カメラの電源投入時やISO感度などの設定変更時に作成されるようにしてもよい。
また逆に、DLが閾値DLt未満であり黒引きを行わない場合には、水平ダークシェーディング補正のような補正も行わないようにしてもよい。回路系ノイズである固定パターンノイズが少ない撮像素子を用いる場合には、水平ダークシェーディング補正のような補正も不要であり、補正動作を行わない方がシステム制御回路50に加わる負荷も軽減される。このとき、ステップS124では、その他の現像処理(AWB処理、ガンマ変換処理等)が行われ、次のステップへと移行することになる。
さらに、上記実施形態では、単写/連写の切り替えを単写/連写スイッチ68を用いて行う場合を示したが、モードダイアル60における動作モード選択に応じて、単写/連写の切り替えを行う構成としてもよい。
また、ステップS123のダーク取り込み処理動作の実行中、撮影動作を行うことができないので、表示部54及び/または画像表示部28によって、画像処理装置100がビジー状態にあることを示す画像や音声を報知するようにしてもよい。
また、本実施形態では、ミラー130をミラーアップ位置、ミラーダウン位置を移動して撮影動作を行う場合を示したが、ミラー130をハーフミラーの構成として、移動せずに撮影動作を行うようにしてもよい。
さらに、記録媒体200、210は、PCMCIAカードやコンパクトフラッシュ(登録商標)等のメモリカード、ハードディスク等だけでなく、マイクロDAT、光磁気ディスク、CD−R、CD−RW等の光ディスク、及びDVD等の相変化型光ディスク等で構成されていてもよい。さらには、記録媒体200、210がメモリカードとハードディスク等が一体となった複合媒体であってもよい。この場合、複合媒体から一部が着脱自在な構成であってもよい。
上記実施形態では、記録媒体200、210は画像処理装置100と分離しており、任意に接続可能なものであるとしたが、いずれか或いは全ての記録媒体が画像処理装置100に固定されたままであってもよい。また、画像処理装置100に、記録媒体200、210が単数或いは複数の任意の個数接続可能な構成であってもよい。
上記実施形態では、図4、図5、及び図8〜図10のフローチャートに示すプログラムコードは例えば不揮発性メモリ56に格納されている。プログラムコードを供給する記憶媒体としては、不揮発メモリに限らず、例えばROM、フレキシブルディスク、ハードディスクなどを用いることができる。
本発明は、上述した実施形態の装置に限定されず、複数の機器から構成されるシステムに適用しても、1つの機器から成る装置に適用してもよい。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、完成されることは言うまでもない。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROMを用いることができる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOSなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、次のプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるCPUなどが処理を行って実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。