JP3703436B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP3703436B2 JP3703436B2 JP2002042933A JP2002042933A JP3703436B2 JP 3703436 B2 JP3703436 B2 JP 3703436B2 JP 2002042933 A JP2002042933 A JP 2002042933A JP 2002042933 A JP2002042933 A JP 2002042933A JP 3703436 B2 JP3703436 B2 JP 3703436B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- shading correction
- image processing
- memory
- control circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 182
- 238000003672 processing method Methods 0.000 title description 4
- 238000000034 method Methods 0.000 claims description 81
- 230000008569 process Effects 0.000 claims description 72
- 238000003705 background correction Methods 0.000 claims description 69
- 230000035945 sensitivity Effects 0.000 claims description 62
- 238000012937 correction Methods 0.000 claims description 27
- 238000003860 storage Methods 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 description 29
- 238000005259 measurement Methods 0.000 description 27
- 230000003287 optical effect Effects 0.000 description 19
- 238000005375 photometry Methods 0.000 description 19
- 238000009825 accumulation Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 14
- 230000006835 compression Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 12
- 239000012536 storage buffer Substances 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000011161 development Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 6
- 230000007547 defect Effects 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 6
- 230000006837 decompression Effects 0.000 description 5
- 230000011514 reflex Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- JEJAGQKHAKDRGG-UHFFFAOYSA-N 2,2-dichloroethenyl dimethyl phosphate;(2-propan-2-yloxyphenyl) n-methylcarbamate Chemical compound COP(=O)(OC)OC=C(Cl)Cl.CNC(=O)OC1=CC=CC=C1OC(C)C JEJAGQKHAKDRGG-UHFFFAOYSA-N 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 201000005111 ocular hyperemia Diseases 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Input (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【0002】
【従来の技術】
従来、CCD、CMOS等の固体撮像素子で撮像した静止画像や動画像を、固体メモリ素子を有するメモリカードを記録媒体として記録及び記録媒体から画像を再生する電子カメラ等の画像処理装置は既に市販されている。画像処理装置において、CCD、CMOSなどの固体撮像素子を用いて撮像する場合、固体撮像素子を露光しない状態で本撮影と同様に電荷蓄積を行った後に読み出したダーク画像データと、固体撮像素子を露光した状態で電荷蓄積を行った後に読み出した本撮影画像データとを用いて演算処理することにより、ダークノイズ補正処理を行うことが可能である。これにより、固体撮像素子の発生する暗電流ノイズや固体撮像素子固有の微少なキズによる画素欠損等の画質劣化に関して、撮影した画像データを補正して高品位な画像を撮影することができる。
【0003】
また、画像処理装置において、上記ダークノイズ補正処理とは別に、予め記憶手段に記憶しておいたシェーディング補正データと、固体撮像素子を露光した状態で電荷蓄積を行った後に読み出した撮影画像データとを用いて演算処理することにより、シェーディング補正処理を行うことが可能である。これにより、撮像回路系で発生するノイズ、すなわち、センサ内の電源ラインの抵抗成分による電圧不均一性や、素子ばらつき等で発生するシェーディングの影響を改善し、高品位な画像を撮影することができる。
【0004】
【発明が解決しようとする課題】
しかしながら、上記従来技術においては次のような問題があった。即ち、上記のような従来の電子カメラ等の画像処理装置においては、シェーディング補正データは予め記憶手段に記憶しておき、撮影時にシェーディング補正データを記憶手段から読み出して、シェーディング補正データと撮影画像データとを用いて演算処理を行うことで、シェーディング補正が可能となる。しかし、撮影条件によりシェーディング量が変化することを考慮に入れていない場合には、十分なシェーディング補正を行うことができず、かえって画質の劣化を招くことも考えられる。また、撮影条件によるシェーディング量の変化を考慮に入れるならば、それぞれの撮影条件に応じた数のシェーディング補正データを記憶手段に記憶しておく必要がある。このため、記憶手段の記憶容量が大きくなってしまう問題があった。
【0005】
本発明は、上述した点に鑑みなされたものであり、撮影ISO感度の変更に伴うシェーディング変化が生じる場合にも、効果的なシェーディング補正処理を行うことを可能とし、記憶手段の容量を大きく節約することを可能とした画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像処理装置は、撮像素子からの信号を増幅するゲインの設定を変更することによりISO感度を設定する設定手段と、前記ISO感度に基づいて、被写体の画像を画像データとして撮像する撮像手段と、前記撮像素子により発生するシェーディングを補正する第1のシェーディング補正データを記憶する記憶手段と、前記ISO感度に応じたゲイン量および前記ISO感度に応じたオフセット量を、前記記憶手段に記憶された第1のシェーディング補正データに対して演算することにより、第2のシェーディング補正データを算出する演算手段と、前記第2のシェーディング補正データを用いて、前記画像データに対するシェーディング補正を行う補正手段と、を有することを特徴とする。
【0007】
また、本発明の画像処理方法は、ISO感度を設定する設定工程と、前記ISO感度に基づいて、被写体の画像を画像データとして撮像する撮像工程と、前記ISO感度に応じたゲイン量および前記ISO感度に応じたオフセット量を、前記記憶手段に記憶された第1のシェーディング補正データに対して演算することにより、第2のシェーディング補正データを算出する演算工程と、前記第2のシェーディング補正データを用いて、前記画像データに対するシェーディング補正を行う補正工程と、を有することを特徴とする。
【0008】
また、本発明のプログラムは、被写体の画像を撮像することで得られる画像データを補正する画像処理装置に供給されるプログラムであって、ISO感度を設定する設定モジュールと、前記ISO感度に基づいて、被写体の画像を画像データとして撮像する撮像モジュールと、前記ISO感度に応じたゲイン量および前記ISO感度に応じたオフセット量を、前記記憶手段に記憶された第1のシェーディング補正データに対して演算することにより、第2のシェーディング補正データを算出する演算モジュールと、前記第2のシェーディング補正データを用いて、前記画像データに対するシェーディング補正を行う補正モジュールとを有することを特徴とする。
【0009】
【発明の実施の形態】
先ず、本発明の実施の形態の概要を説明する。本発明の実施の形態は、電子カメラ等の画像処理装置において、撮影条件(撮影ISO(International Organization for Standardization)感度)により撮像素子のシェーディングが変化する場合においても効果的なシェーディング補正を行うことを可能とするものである。以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【0010】
図1は本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。画像処理装置100は、例えば電子カメラとして構成されており、画像処理装置100の筐体に対し、記録媒体200、記録媒体210、交換レンズタイプのレンズユニット300を、コネクタ、レンズマウントを介して着脱自在に装着可能となっている。
【0011】
画像処理装置100において、シャッタ12は、固体撮像素子(CCD、以下撮像素子と略称)14への露光量を制御する。撮像素子14は、被写体の光学像を電気信号に変換する。レンズユニット300のレンズ310に入射した光線は、一眼レフ方式によって、絞り312、レンズマウント306、及び画像処理装置100のレンズマウント106、ミラー130、シャッタ12を介して導光することで、光学像として撮像素子14上に結像することができる。A/D変換器16は、撮像素子14のアナログ信号出力をディジタル信号に変換する。タイミング発生回路18は、撮像素子14、A/D変換器16、D/A変換器26にクロック信号や制御信号を供給するものであり、メモリ制御回路22及びシステム制御回路50により制御される。
【0012】
画像処理回路20は、A/D変換器16からのデータ或いはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路20においては、必要に応じて、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路50が露光制御手段40、測距制御手段42に対して制御を行う、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理を行うことができる。更に、画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行っている。
【0013】
なお、本実施の形態においては、画像処理装置100が測距手段42及び測光手段46を専用に備える構成としているため、測距手段42及び測光手段46を用いてAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理の各処理を行い、上記画像処理回路20を用いたAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理の各処理を行わない構成としてもよい。或いは、測距手段42及び測光手段46を用いてAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理の各処理を行い、更に、上記画像処理回路20を用いたAF(オートフォーカス)処理、AE(自動露出)処理、EF(フラッシュ調光)処理の各処理を行う構成としてもよい。
【0014】
メモリ制御回路22は、A/D変換器16、タイミング発生回路18、画像処理回路20、画像表示メモリ24、D/A変換器26、メモリ30、圧縮・伸長回路32を制御する。A/D変換器16のデータが画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器16のデータが直接メモリ制御回路22を介して、画像表示メモリ24或いはメモリ30に書き込まれる。画像表示メモリ24は、表示用の画像データを記憶する。D/A変換器26は、画像データのディジタル/アナログ変換を行う。
【0015】
画像表示部28は、TFT LCD等から構成されている。画像表示メモリ24に書き込まれた表示用の画像データは、D/A変換器26を介して画像表示部28により表示される。画像表示部28を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部28は、システム制御回路50の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には画像処理装置100の電力消費を大幅に低減することができる。
【0016】
メモリ30は、撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能となる。また、メモリ30は、システム制御回路50の作業領域としても使用することが可能である。圧縮・伸長回路32は、適応離散コサイン変換(ADCT)等により画像データを圧縮伸長するものであり、メモリ30に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ30に書き込む。
【0017】
シャッタ制御手段40は、測光手段46からの測光情報に基づいて、レンズユニット300における絞り312を制御する絞り制御手段340と連携しながら、シャッタ12を制御する。測距手段42は、AF(オートフォーカス)処理を行うためのものであり、レンズユニット300のレンズ310に入射した光線を、一眼レフ方式によって、絞り312、レンズマウント306、及び画像処理装置100のレンズマウント106、ミラー130そして不図示の測距用サブミラーを介して、測距手段42に入射させることにより、光学像として結像された画像の合焦状態を測定することができる。温度計44は、撮影環境の温度を検出することができる。温度計44がセンサ内にある場合はセンサの暗電流をより正確に予想することが可能である。
【0018】
測光手段46は、AE(自動露出)処理を行うためのものであり、レンズユニット300のレンズ310に入射した光線を、一眼レフ方式によって、絞り312、レンズマウント306、及び画像処理装置100のレンズマウント106、ミラー130及び132そして不図示の測光用レンズを介して、測光手段46に入射させることにより、光学像として結像された画像の露出状態を測定することができる。また、測光手段46は、フラッシュ48と連携することによりEF(フラッシュ調光)処理機能も有するものである。フラッシュ48は、AF補助光の投光機能、フラッシュ調光機能も有する。
【0019】
なお、本実施の形態においては、撮像素子14によって撮像した画像データを画像処理回路20によって演算した演算結果に基づき、システム制御回路50がシャッタ制御手段40、絞り制御手段340、測距制御手段342に対して制御を行う、ビデオTTL方式を用いた露出制御及びAF(オートフォーカス)制御を実行することも可能である。更に、測距手段42による測定結果と、撮像素子14によって撮像した画像データを画像処理回路20によって演算した演算結果とを共に用いて、AF(オートフォーカス)制御を行っても構わない。そして、測光手段46による測定結果と、撮像素子14によって撮像した画像データを画像処理回路20によって演算した演算結果とを共に用いて、露出制御を行っても構わない。
【0020】
システム制御回路50は、画像処理装置100全体を制御するものであり、画像処理装置内部に格納されたプログラムまたは画像処理装置外部から供給されるプログラムに基づき後述の各フローチャートに示す処理を実行する。メモリ52は、システム制御回路50の動作用の定数、変数、プログラム等を記憶するメモリである。表示部54は、システム制御回路50でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示出力/音声出力する液晶表示装置/スピーカ等を備え、画像処理装置100の操作部近辺の視認し易い位置に単数或いは複数設置されており、例えばLCDやLED、発音素子等の組み合わせにより構成されている。また、表示部54における一部の機能が光学ファインダ104内に設置されている。
【0021】
表示部54の表示内容のうち、LCD等に表示するものとしては、例えば、シングルショット/連写撮影表示、セルフタイマ表示、圧縮率表示、ISO感度表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタスピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体200及び210の着脱状態表示、レンズユニット300の着脱状態表示、通信I/F(インタフェース)動作表示、日付・時刻表示、外部コンピュータとの接続状態を示す表示、等がある。
【0022】
また、表示部54の表示内容のうち、光学ファインダ104内に表示するものとしては、例えば、合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッタスピード表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示、等がある。更に、表示部54の表示内容のうち、LED等に表示するものとしては、例えば、合焦表示、撮影準備完了表示、手振れ警告表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、記録媒体書き込み動作表示、マクロ撮影設定通知表示、二次電池充電状態表示、等がある。そして、表示部54の表示内容のうち、ランプ等に表示するものとしては、例えば、セルフタイマ通知ランプ、等がある。このセルフタイマ通知ランプは、AF補助光と共用して用いてもよい。
【0023】
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。この不揮発性メモリ56には、各種パラメータや撮影ISO感度などの設定値、設定モード、及び水平ダークシェーディング補正を行う際に用いる、基準となる撮影ISO感度における1次元シェーディング補正データ、各撮影ISO感度に応じたゲイン量とオフセット量が格納される。この1次元シェーディング補正データは、画像処理装置の製造工程において調整時に作成され書き込まれる。
【0024】
操作手段としての60、62、64、66、68、69及び70は、システム制御回路50の各種の動作指示を入力するためのものであり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。
【0025】
モードダイアルスイッチ60は、自動撮影モード、プログラム撮影モード、シャッタ速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、焦点深度優先(デプス)撮影モード、ポートレート撮影モード、風景撮影モード、接写撮影モード、スポーツ撮影モード、夜景撮影モード、パノラマ撮影モード等の各機能撮影モードを切り替え設定することができる。シャッタスイッチSW1・62は、不図示のシャッタボタンの操作途中でONとなり、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュ調光)処理等の動作開始を指示する。
【0026】
シャッタスイッチSW2・64は、不図示のシャッタボタンの操作完了でONとなり、撮像素子14から読み出した信号をA/D変換器16、メモリ制御回路22を介してメモリ30に画像データを書き込む露光処理、画像処理回路20やメモリ制御回路22での演算を用いた現像処理、メモリ30から画像データを読み出し、圧縮・伸長回路32で圧縮を行い、記録媒体200或いは210に画像データを書き込む記録処理、という一連の処理の動作開始を指示する。再生スイッチ66は、撮影モード状態において、撮影した画像をメモリ30或いは記録媒体200或いは210から読み出して画像表示部28によって表示する再生動作の開始を指示する。
【0027】
単写/連写スイッチ68は、シャッタスイッチSW2・64を押した場合に1駒の撮影を行って待機状態とする単写モードと、シャッタスイッチSW2・64を押している間は連続して撮影を行い続ける連写モードとを設定することができる。ISO感度設定スイッチ69は、撮像素子14或いは画像処理回路20におけるゲインの設定を変更することにより、ISO感度を設定することができる。
【0028】
操作部70は、各種ボタンやタッチパネル等からなるものであり、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマ切り替えボタン、メニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像移動−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン、パノラマモード等の撮影及び再生を実行する際に各種機能の選択及び切り替えを設定する選択/切り替えボタン、パノラマモード等の撮影及び再生を実行する際に各種機能の決定及び実行を設定する決定/実行ボタン、画像表示部28のON/OFFを設定する画像表示ON/OFFスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューON/OFFスイッチを備えている。
【0029】
更に、操作部70は、JPEG(Joint Photographic Experts Group)圧縮の圧縮率を選択するため或いは撮像素子の信号をそのままディジタル化して記録媒体に記録するCCDRAWモードを選択するためのスイッチである圧縮モードスイッチ、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを設定することができる再生スイッチ、シャッタスイッチSW1・62を押したならばオートフォーカス動作を開始し一旦合焦したならばその合焦状態を保ち続けるワンショットAFモードと、シャッタスイッチSW1・62を押している間は連続してオートフォーカス動作を続けるサーボAFモードとを設定することができるAFモード設定スイッチ等を備えている。なお、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。
【0030】
電源スイッチ72は、画像処理装置100の電源オン、電源オフの各モードを切り替え設定することができる。また、電源スイッチ72は、画像処理装置100に接続されたレンズユニット300、外部ストロボ(図示略)、記録媒体200、210等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定することができる。電源制御手段80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200、210を含む画像処理装置各部へ供給する。
【0031】
コネクタ82は、コネクタ84と接続される。電源86は、アルカリ電池、リチウム電池等の一次電池、NiCd電池、NiMH電池、Li電池等の二次電池、ACアダプタ等から構成されている。インタフェース90及び94は、メモリカードやハードディスク等の記録媒体200、210とのインタフェースを司る。コネクタ92及び96は、メモリカードやハードディスク等の記録媒体200、210のコネクタ206、216とそれぞれ接続される。記録媒体着脱検知手段98は、コネクタ92及び或いは96に記録媒体200或いは210が装着されているか否かを検知する。
【0032】
なお、本実施の形態では、画像処理装置100が、記録媒体200、210を取り付けるインタフェース及びコネクタを2系統持つものとして説明している。勿論、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。
【0033】
インタフェース90、94及びコネクタ92、96としては、PCMCIA(Personal Computer Memory Card International Association)カードや、CF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いて構成して構わない。更に、インタフェース90及び94、そしてコネクタ92及び96を、PCMCIAカードやCF(コンパクトフラッシュ(登録商標))カード等の規格に準拠したものを用いて構成した場合、LAN(Local Area Network)カード、モデムカード、USB(Universal Serial Bus)カード、IEEE(Institute of Electrical and Electronics Engineers)1394カード、P1284カード、SCSI(Small Computer System Interface)カード、PHS(Personal Handyphone System)等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【0034】
光学ファインダ104は、レンズユニット300のレンズ310に入射した光線を、一眼レフ方式によって、絞り312、レンズマウント306、及び画像処理装置100のレンズマウント106、ミラー130及び132を介して導き、光学像として結像表示することができる。これにより、画像表示部28による電子ファインダ機能を使用すること無しに、光学ファインダ104のみを用いて撮影を行うことが可能である。また、光学ファインダ104は、表示部54の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示などの機能を備えている。
【0035】
通信手段110は、RS232C、USB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信、等の各種通信機能を有する。コネクタ或いはアンテナ112は、通信手段110により画像処理装置100を他の機器と接続する場合はコネクタ、或いは画像処理装置100により無線通信を行う場合はアンテナである。インタフェース120は、レンズマウント106内において、画像処理装置100をレンズユニット300と接続するためのインタフェースを司る。コネクタ122は、画像処理装置100をレンズユニット300と電気的に接続する。コネクタ122は、画像処理装置100とレンズユニット300との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、コネクタ122は、電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。
【0036】
レンズ着脱検知手段124は、レンズマウント106、或いはコネクタ122、或いはレンズマウント106及びコネクタ122にレンズユニット300が装着されているか否かを検知する。ミラー130、132は、レンズユニット300のレンズ310に入射した光線を、一眼レフ方式によって光学ファインダ104に導くことができる。なお、ミラー132は、クイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。
【0037】
記録媒体200は、メモリカードやハードディスク等として構成されている。記録媒体200は、半導体メモリや磁気ディスク等から構成される記録部202、画像処理装置100とのインタフェースを司るインタフェース204、画像処理装置100と接続を行うコネクタ206を備えている。記録媒体210は、メモリカードやハードディスク等として構成されている。記録媒体210は、半導体メモリや磁気ディスク等から構成される記録部212、画像処理装置100とのインタフェースを司るインタフェース214、画像処理装置100と接続を行うコネクタ216を備えている。
【0038】
レンズユニット300は、交換レンズタイプのレンズユニットである。レンズマウント306は、レンズユニット300を画像処理装置100と機械的に結合するものである。レンズマウント306内には、レンズユニット300を画像処理装置100と電気的に接続する各種機能が含まれている。310は撮影レンズ、312は絞りである。インタフェース320は、レンズマウント306内において、レンズユニット300を画像処理装置100と接続するインタフェースを司る。コネクタ322は、レンズユニット300を画像処理装置100と電気的に接続する。コネクタ322は、画像処理装置100とレンズユニット300との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される或いは供給する機能も備えている。また、コネクタ322は、電気通信のみならず、光通信、音声通信等を伝達する構成としてもよい。
【0039】
絞り制御手段340は、画像処理装置100の測光手段46からの測光情報に基づいて、シャッタ12を制御するシャッタ制御手段40と連携しながら、絞り312を制御する。測距制御手段342は、撮影レンズ310のフォーカシングを制御する。ズーム制御手段344は、撮影レンズ310のズーミングを制御する。レンズシステム制御回路350は、レンズユニット300全体を制御する。レンズシステム制御回路350は、動作用の定数、変数、プログラム等を記憶するメモリや、レンズユニット300固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを保持する不揮発メモリの機能も備えている。
【0040】
図11は本実施の形態に係る画像処理装置の要部の構成を示すブロック図である。画像処理装置は、撮影レンズ1(図1の310)、固体撮像素子2(図1の14)、A/D変換器3(図1の16)、タイミング発生回路4(図1の18)、メモリ制御回路5(図1の22)、画像処理回路6(図1の20)、システム制御回路7(図1の50)、不揮発性メモリ8(図1の56)を備えている。
【0041】
撮影レンズ1は、被写体の光学像を固体撮像素子2に結像する。固体撮像素子2は、結像された映像データを電気信号に変換する。A/D変換器3は、固体撮像素子2の出力信号をアナログ/ディジタル変換する。タイミング発生回路4は、固体撮像素子2とA/D変換器3の動作タイミングを決定する。メモリ制御回路5は、A/D変換器3、タイミング発生回路4、画像処理回路6、不揮発性メモリ8を制御する。画像処理回路6は、A/D変換器3からのデータ或いはメモリ制御回路5からのデータに対し所定の画素補間処理や色変換処理、等を行う。システム制御回路7は、画像処理装置全体を制御する。不揮発性メモリ8は、電気的に消去・記録可能なメモリであり、各種パラメータ、ISO感度などの設定値、設定モード、及び水平ダークシェーディング補正を行う際に用いる、基準となる撮影ISO感度における1次元シェーディング補正データ、各撮影ISO感度に応じたゲイン量とオフセット量が格納される。
【0042】
次に、上記の如く構成された本実施の形態に係る画像処理装置の動作を図1〜図10を参照しながら詳細に説明する。
【0043】
<画像処理装置の全体処理>
図2〜図4は本実施の形態に係る画像処理装置100の主ルーチンを示すフローチャートである。図2〜図4を用いて画像処理装置100の動作を説明する。画像処理装置100における電池交換等の電源投入により、システム制御回路50は、フラグや制御変数等を初期化し、画像処理装置100の各部において必要な所定の初期設定を行う(ステップS101)。次に、システム制御回路50は、電源スイッチ72の設定位置を判断する(ステップS102)。電源スイッチ72が電源OFFに設定されていたならば、各表示部の表示を終了状態に変更し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ56に記録し、電源制御手段80により画像表示部28を含む画像処理装置100各部の不要な電源を遮断する等の所定の終了処理を行った後(ステップS103)、上記ステップS102に戻る。
【0044】
他方、電源スイッチ72が電源ONに設定されていたならば、システム制御回路50は、電源制御手段80により電池等から構成される電源86の残容量や動作状況が画像処理装置100の動作に問題があるか否かを判断する(ステップS104)。電源86に問題があるならば、表示部54を用いて画像や音声により所定の警告表示を行った後に(ステップS105)、上記ステップS102に戻る。他方、電源86に問題が無いならば、システム制御回路50は、モードダイアルスイッチ60の設定位置を判断する(ステップS106)。モードダイアル60が撮影モードに設定されていたならば、ステップS108に進む。他方、モードダイアルスイッチ60がその他のモードに設定されていたならば、システム制御回路50は、選択されたモードに応じた処理を実行し(ステップS107)、処理を終えたならば上記ステップS102に戻る。
【0045】
次に、システム制御回路50は、記録媒体200或いは210が画像処理装置100に装着されているかどうかの判断、記録媒体200或いは210に記録された画像データの管理情報の取得、そして、記録媒体200或いは210の動作状態が画像処理装置100の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かの判断を行う(ステップS108)。判断を行った結果、問題があるならば、表示部54を用いて画像や音声により所定の警告表示を行った後に(ステップS105)、上記ステップS102に戻る。他方、上記判断を行った結果、問題が無いならばステップS109に進む。
【0046】
次に、システム制御回路50は、単写撮影/連写撮影を設定する単写/連写スイッチ68の設定状態を調べる(ステップS109)。単写撮影が選択されていたならば、単写/連写フラグを単写に設定し(ステップS110)、連写撮影が選択されていたならば、単写/連写フラグを連写に設定し(ステップS111)、フラグの設定を終えたならばステップS112に進む。単写/連写スイッチ68の操作により、シャッタスイッチSW2・64を押した場合に1駒の撮影を行って待機状態とする単写モードと、シャッタスイッチSW2・64を押している間は連続して撮影を行い続ける連写モードとを任意に切り替えることで、両モードの設定切り替えをすることができる。なお、単写/連写フラグの状態は、システム制御回路50の内部メモリ或いはメモリ52に記憶する。
【0047】
次に、システム制御回路50は、表示部54を用いて画像や音声により画像処理装置100の各種設定状態の表示出力や音声出力を行う(ステップS112)。なお、画像表示部28の画像表示がONであったならば、画像表示部28も用いて画像や音声により画像処理装置100の各種設定状態の表示出力や音声出力を行う。次に、シャッタスイッチSW1・62が押されていないならば(ステップS121でOFF)、上記ステップS102に戻る。他方、シャッタスイッチSW1・62が押されたならば(ステップS121でON)、システム制御回路50は、測距処理を行って撮影レンズ10の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッタ時間を決定する測距・測光処理を行い(ステップS122)、ステップS123に進む。測光処理において、必要であればフラッシュの設定も行う。この測距・測光処理ステップS122の詳細は図5を用いて後述する。
【0048】
次に、システム制御回路50は、画像処理装置100の設定感度を判定する(ステップS123)。設定感度がISO800未満であればステップS124に進み、設定感度がISO800以上のとき例えばISO800等であればステップS127に進む。この理由は、露光量が少なくなるため、撮像素子14の発生する暗電流ノイズや撮像素子14固有の微少なキズによる画素欠損等の画質劣化が目立つためである。ここでは設定感度判定の閾値を仮にISO800としたが、センサの暗電流が少なければISO1600としてもよい。次に、システム制御回路50は、設定感度がISO400未満かどうかを判定する(ステップS124)。設定感度がISO400未満ならステップS130に進み、設定感度がISO400以上であればステップS125に進む。
【0049】
次に、システム制御回路50は、温度計44により検出した撮影環境の温度Tempが28度C未満かどうかを判定する(ステップS125)。28度C未満ならステップS130へ進み、28度C以上ならステップS126に進む。次に、システム制御回路50は、測距・測光処理(ステップS122)において決定されたシャッタ時間Tvが1Sec以上であるかどうかを判断する(ステップS126)。シャッタ時間が1Sec以上である場合には、黒引きフラグを1に設定し(ステップS127)、ステップS128に進む。他方、シャッタ時間が1Sec未満である場合には、黒引きフラグを0にクリアし(ステップS130)、ステップS131に進む。黒引きフラグのクリア後は、撮影ISO感度値に応じた補正データを展開する(ステップS131)。補正データ展開処理ステップS131の詳細は図8を用いて後述する。なお、黒引きとは、本撮影画像データからダーク画像データ(従来技術の項目参照)を差し引く演算処理である。
【0050】
他方、黒引きフラグの設定後は、システム制御回路50は、システム制御回路50の内部メモリ或いはメモリ52に記憶されている単写/連写フラグを判断する(ステップS128)。単写を設定してある場合にはステップS140に進み、連写を設定してある場合にはダーク取り込みを行い(ステップS129)、ステップS140に進む。(このダーク取り込み処理で取り込んだダーク画像データを用いて補正演算処理を行うことにより、撮像素子14の発生する暗電流ノイズや撮像素子14固有のキズによる画素欠損等の画質劣化に関して、撮影した画像データを補正することができる。このダーク取り込み処理ステップS129の詳細は図7を用いて後述する。)
次に、シャッタスイッチSW2・64が押されていないならば(ステップS140でOFF)、上記ステップS121に戻りここまでの処理を繰り返す。他方、シャッタスイッチSW2・64が押されたならば(ステップS140でON)、システム制御回路50は、撮影した画像データを記憶可能な画像記憶バッファ領域がメモリ30にあるかどうかを判断する(ステップS142)。メモリ30の画像記憶バッファ領域内に新たな画像データを記憶可能な領域が無いならば(ステップS142でNO)、システム制御回路50は、表示部54を用いて画像や音声により所定の警告表示出力や警告音声出力を行った後に(ステップS144)、上記ステップS102に戻る。
【0051】
例えば、メモリ30の画像記憶バッファ領域内に記憶可能な最大枚数の連写撮影を行った直後で、メモリ30から読み出して記憶媒体200或いは210に書き込むべき最初の画像がまだ記録媒体200或いは210に未記録な状態であり、まだ1枚の空き領域もメモリ30の画像記憶バッファ領域上に確保できない状態である場合等が、この状態の一例である。
【0052】
なお、撮影した画像データを圧縮処理してからメモリ30の画像記憶バッファ領域に記憶する場合は、圧縮した後の画像データ量が圧縮モードの設定に応じて異なることを考慮して、記憶可能な領域がメモリ30の画像記憶バッファ領域上にあるかどうかを上記ステップS142において判断することになる。
【0053】
他方、メモリ30に撮影した画像データを記憶可能な画像記憶バッファ領域があるならば(ステップS142でYES)、システム制御回路50は、撮像して所定時間蓄積した撮像信号を撮像素子14から読み出して、A/D変換器16、画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器16から直接メモリ制御回路22を介して、メモリ30の所定領域に撮影した画像データを書き込む撮影処理を実行する(ステップS146)。この撮影処理ステップS146の詳細は図6を用いて後述する。撮影処理ステップS146を終えたならば、システム制御回路50は、システム制御回路50の内部メモリ或いはメモリ52に記憶されている黒引きフラグの状態を確認する(ステップS148)。黒引きフラグが設定されていないならば、ステップS154に進む。
【0054】
他方、黒引きフラグが設定されていたならば、システム制御回路50は、システム制御回路50の内部メモリ或いはメモリ52に記憶されている単写/連写フラグの状態を確認する(ステップS150)。単写を設定してある場合にはステップS152に進み、連写を設定してある場合にはステップS154に進む。単写設定の場合、システム制御回路50は、シャッタ12を閉じた状態で撮像素子14の暗電流等のノイズ成分を本撮影と同じ時間蓄積し、蓄積を終えたノイズ画像信号を読み出すダーク取り込み処理を行い(ステップS152)、ステップS154に進む。このダーク取り込み処理ステップS152の詳細は図7を用いて後述する。
【0055】
次に、システム制御回路50は、メモリ30の所定領域へ書き込まれた画像データの一部を、メモリ制御回路22を介して読み出して、現像処理を行うために必要なWB(ホワイトバランス)積分演算処理、OB(オプティカルブラック)積分演算処理を行い、演算結果をシステム制御回路50の内部メモリ或いはメモリ52に記憶する。そして、システム制御回路50は、メモリ制御回路22そして必要に応じて画像処理回路20を用いて、メモリ30の所定領域に書き込まれた撮影画像データを読み出して、システム制御回路50の内部メモリ或いはメモリ52に記憶した演算結果を用いて、AWB(オートホワイトバランス)処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う(ステップS154)。
【0056】
更に、現像処理においては、上記ステップS131で展開した撮影ISO感度値に応じた水平ダークシェーディング補正データ或いはダーク取り込み処理(ステップS129又はステップS152)において取り込んだダーク画像データを用いて減算処理を行うことにより、撮像素子14の暗電流ノイズ等を打ち消すダーク補正演算処理も併せて行う。
【0057】
水平ダークシェーディング補正データを用いた補正演算処理を行えば、撮像素子14の発生する水平方向の暗電流ノイズや固定パターンノイズによる画質劣化に関して、撮影した画像をダーク取り込み処理(ステップS129又はステップS152)を行うことなく補正することができる。また、ダーク取り込み処理で取り込んだダーク画像データを用いて補正演算処理を行えば、撮像素子14の発生する水平方向の暗電流ノイズや固定パターンノイズは勿論、撮像素子14固有のキズによる画素欠損等の2次元的な要因を持つ画質劣化に関して、撮影した画像データを補正することもできる。
【0058】
そして、システム制御回路50は、メモリ30の所定領域に書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路32により行い(ステップS156)、メモリ30の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みを行う。一連の撮影の実行に伴い、システム制御回路50は、メモリ30の画像記憶バッファ領域に記憶した画像データを読み出して、インタフェース90或いは94、コネクタ92或いは96を介して、メモリカードやコンパクトフラッシュ(登録商標)カード等の記録媒体200或いは210へ書き込みを行う記録処理を開始する(ステップS158)。
【0059】
この記録媒体200或いは210への記録処理は、メモリ30の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みが新たに行われる度に、その画像データに対して実行される。なお、記録媒体200或いは210へ画像データの書き込みを行っている間、書き込み動作中であることを明示するために、表示部54において例えばLEDを点滅させる等の記録媒体書き込み動作表示を行う。
【0060】
次に、システム制御回路50は、シャッタスイッチSW1・62が押されているかどうかを判断する(ステップS160)。シャッタスイッチSW1・62がOFFならば、上記ステップS102に戻る。他方、シャッタスイッチSW1・62がONならば、システム制御装置50は、システム制御回路50の内部メモリ或いはメモリ52に記載されている単写/連写フラグを判断する(ステップS162)。単車を設定してある場合には、上記ステップS160に戻る。連写を設定してある場合には、上記ステップS140に戻り、以上の動作を繰り返す。
【0061】
<測距・測光処理>
図5は上記図3のステップS122における測距・測光処理の詳細を示すフローチャートである。なお、測距・測光処理においては、画像処理装置100のシステム制御回路50とレンズユニット300の絞り制御手段340或いは測距制御手段342との間の各種信号のやり取りは、インタフェース120、コネクタ122、コネクタ322、インタフェース320、レンズ制御手段350を介して行われる。システム制御回路50は、撮像素子14、測距手段42、及びレンズユニット300の測距制御手段342を用いて、測距処理すなわちAF(オートフォーカス)処理を開始する(ステップS201)。
【0062】
次に、システム制御回路50は、レンズユニット300のレンズ310に入射した光線を、絞り312、レンズマウント306、及び画像処理装置100のレンズマウント106、ミラー130、不図示の測距用サブミラーを介して、測距手段42に入射させることにより、光学像として結像された画像の合焦状態を判断し、測距(AF)が合焦と判断されるまで(ステップS203)、測距制御手段342を用いてレンズ310を駆動しながら、測距手段42を用いて合焦状態を検出するAF制御を実行する(ステップS202)。測距(AF)が合焦と判断したならば(ステップS203でYES)、システム制御回路50は、撮影画面内における複数の測距点の中から合焦した測距点を決定し(ステップS204)、決定した測距点データと共に測距データ及び或いは設定パラメータをシステム制御回路50の内部メモリ或いはメモリ52に記憶し、ステップS205に進む。
【0063】
続いて、システム制御回路50は、測光手段46を用いて、AE(自動露出)処理を開始する(ステップS205)。システム制御回路50は、レンズユニット300のレンズ310に入射した光線を、絞り312、レンズマウント306、及び画像処理装置100のレンズマウント106、ミラー130及び132そして不図示の測光用レンズを介して、測光手段46に入射させることにより、光学像として結像された画像の露出状態を測定し、露出(AE)が適正と判断されるまで(ステップS207)、露光制御手段40を用いて測光処理を行う(ステップS206)。露出(AE)が適正と判断したならば(ステップS207でYES)、システム制御回路50は、測光データ及び設定パラメータ、或いは測光データ、或いは設定パラメータを、システム制御回路50の内部メモリ或いはメモリ52に記憶し、ステップS208に進む。
【0064】
なお、測光処理ステップS206で検出した露出(AE)結果と、モードダイアルスイッチ60によって設定された撮影モードに応じて、システム制御回路50は、絞り値(Av値)、シャッタ速度(Tv値)を決定する。そして、ここで決定したシャッタ速度(Tv値)に応じて、システム制御回路50は、撮像素子14の電荷蓄積時間を決定し、等しい電荷蓄積時間で撮影処理及びダーク取り込み処理をそれぞれ行う。
【0065】
測光処理ステップS206で得られた測定データにより、システム制御回路50はフラッシュが必要か否かを判断する(ステップS208)。フラッシュが不要ならば、システム制御回路50はフラッシュフラグをクリアし、測距・測光処理ルーチンステップS122(上記図3)を終了する。フラッシュが必要ならば、システム制御回路50はフラッシュフラグをセットし、フラッシュ48の充電が完了するまで(ステップS210)、フラッシュ48を充電する(ステップS209)。フラッシュ48の充電が完了したならば(ステップS210でYES)、測距・測光処理ルーチンステップS122(上記図3)を終了する。
【0066】
<撮影処理>
図6は上記図3のステップS146における撮影処理の詳細を示すフローチャートである。なお、撮影処理においては、画像処理装置100のシステム制御回路50とレンズユニット300の絞り制御手段340或いは測距制御手段342との間の各種信号のやり取りは、インタフェース120、コネクタ122、コネクタ322、インタフェース320、レンズ制御手段350を介して行われる。システム制御回路50は、ミラー130を不図示のミラー駆動手段によってミラーアップ位置に移動すると共に(ステップS301)、システム制御回路50の内部メモリ或いはメモリ52に記憶される測光データに従い、絞り制御手段340によって絞り312を所定の絞り値まで駆動する(ステップS302)。
【0067】
次に、システム制御回路50は、撮像素子14の電荷クリア動作を行った後に(ステップS303)、撮像素子14の電荷蓄積を開始した後(ステップS304)、シャッタ制御手段40によってシャッタ12を開き(ステップS305)、撮像素子14の露光を開始する(ステップS306)。ここで、システム制御回路50は、フラッシュフラグによりフラッシュ48が必要か否かを判断し(ステップS307)、必要な場合はフラッシュを発光させる(ステップS308)。次に、システム制御回路50は、測光データに従って撮像素子14の露光終了を待ち(ステップS309)、シャッタ制御手段40によってシャッタ12を閉じ(ステップS310)、撮像素子14の露光を終了する。
【0068】
次に、システム制御回路50は、絞り制御手段340によって絞り312を開放の絞り値まで駆動すると共に(ステップS311)、ミラー130を不図示のミラー駆動手段によってミラーダウン位置に移動する(ステップS312)。設定した電荷蓄積時間が経過したならば(ステップS313でYES)、システム制御回路50は、撮像素子14の電荷蓄積を終了した後(ステップS314)、撮像素子14から電荷信号を読み出し、A/D変換器16、画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器16から直接メモリ制御回路22を介して、メモリ30の所定領域への撮影画像データを書き込む(ステップS315)。一連の処理を終えたならば、撮影処理ルーチンステップS146(上記図3)を終了する。
【0069】
<ダーク取り込み処理>
図7は上記図3のステップS129、並びに、上記図4のステップS152におけるダーク取り込み処理の詳細を示すフローチャートである。画像処理装置100のシステム制御回路50は、撮像素子(CCD)14の電荷クリア動作を行った後に(ステップS401)、シャッタ12が閉じた状態で、撮像素子14の電荷蓄積を開始する(ステップS402)。設定した所定の電荷蓄積時間が経過したならば(ステップS403でYES)、システム制御回路50は、撮像素子14の電荷蓄積を終了した後(ステップS404)、撮像素子14から電荷信号を読み出し、A/D変換器16、画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器16から直接メモリ制御回路22を介して、メモリ30の所定領域への画像データ(ダーク画像データ)を書き込む(ステップS405)。
【0070】
このダーク画像データは、先に撮影処理が実行されて、撮影した画像データを撮像素子14より読み出してメモリ30に書き込んである状態で、現像処理を行う際、並びに、後に撮影動作が実行されて、撮影した画像データを撮像素子14より読み出してメモリ30に書き込んである状態で、現像処理を行う際に用いられる。このダーク画像データを用いて現像処理を行うことにより、撮像素子14の発生する暗電流ノイズや撮像素子14固有のキズによる画素欠損等の画質劣化に関して、撮影した画像データを補正することができる。一連の処理を終えたならば、ダーク取り込み処理ルーチンステップS129(上記図3)、並びに、ステップS152(上記図4)を終了する。
【0071】
<補正データ展開処理>
図8は上記図3のステップS131における補正データ展開処理の詳細を示すフローチャートである。画像処理装置100のシステム制御回路50は、水平シェーディング補正を行う際に用いる1次元シェーディング補正データの基準データとなり且つ基準となる撮影ISO感度値での1次元シェーディング補正データを、不揮発性メモリ56から読み出し、メモリ30に展開する(ステップS501)。次に、システム制御回路50は、システム制御回路50の内部メモリ或いはメモリ52に設定されている撮影ISO感度値を読み出し(ステップS502)、読み出した撮影ISO感度値に応じたゲイン量とオフセット量を不揮発性メモリ56から読み出し、メモリ30に展開する(ステップS503)。
【0072】
次に、システム制御回路50は、メモリ30に展開された、基準となる撮影ISO感度での1次元シェーディング補正データと、各撮影ISO感度に応じたゲイン量と、オフセット量とを用いた算術演算により、撮影ISO感度に応じた1次元シェーディング補正データを算出する(ステップS504)。
【0073】
ここで、図9は上記ステップS504での算術演算処理の概略を示す図である。図中(a)において、実線で描かれているのが、上記ステップS501でメモリ30に展開された基準となる撮影ISO感度値での1次元シェーディング補正データである。図中(b)において、2点鎖線で描かれているのが、上記基準ISO感度における1次元シェーディング補正データ、実線で描かれているのが、2点鎖線で描かれている基準ISO感度における1次元シェーディング補正データに、ゲイン量をかけた演算結果である。図中(c)において、2点鎖線で描かれているのが、上記基準ISO感度における1次元シェーディング補正データ、破線で描かれているのが、上記ゲインをかけた演算結果、実線で描かれているのが、破線で描かれている基準ISO感度における1次元シェーディング補正データに、ゲイン量をかけた演算結果に、オフセット量を加減演算した結果である。即ち、実線で描かれているデータが、撮影ISO感度に応じた1次元シェーディング補正データである。
【0074】
次に、システム制御回路50は、上記ステップS504により算出した撮影ISO感度に応じた1次元シェーディング補正データをメモリ30に展開する(ステップS505)。この撮影ISO感度に応じたシェーディング補正データを用いて現像処理を行うことにより、撮像素子14の発生する水平方向の暗電流ノイズや固定パターンノイズ等の画質劣化に関して、撮影した画像データを補正することができる。一連の処理を終えたならば、1次元シェーディング補正データの展開処理ルーチンステップS131(上記図3)を終了する。
【0075】
<撮影動作の流れ>
図10は本実施の形態の撮影動作の流れを示す説明図である。図10の説明は、上記図2乃至図9を用いて行った説明と同様であるため省略する。
【0076】
以上説明したように、本発明の実施の形態によれば、撮像した静止画像及び或いは動画像を記録媒体に記録する画像処理装置において、基準となる撮影ISO感度におけるシェーディング補正データと、各撮影ISO感度におけるゲイン量とオフセット量とを不揮発性メモリ56に記憶しておくことで、撮影ISO感度の変更に伴うシェーディング変化が生じる場合にも、効果的なシェーディング補正処理を行うことが可能となる。
【0077】
また、上記制御により、基準となる撮影ISO感度におけるシェーディング補正データと、上記シェーディング補正データと比べてデータ量がはるかに小さいゲイン量とオフセット量を、撮影ISO感度ごとに不揮発性メモリ56に記憶させておけばよく、全ての撮影ISO感度におけるシェーディング補正データを記憶手段に記憶しておく方法と比べて、不揮発性メモリ56の容量を大きく節約することが可能となる。
【0078】
[他の実施の形態]
なお、上記実施の形態の説明においては、単写/連写の切り替えを単写/連写スイッチ68を用いて行うとして説明したが、モードダイアルスイッチ60での動作モード選択に応じて単写/連写の切り替えを行う構成としても問題無い。
【0079】
また、上記実施の形態の説明においては、本撮影処理の電荷蓄積時間とダーク取り込み処理の電荷蓄積時間を等しくするとして説明したが、暗電流ノイズ等を補正するのに十分なデータが得られる範囲内であれば、異なる電荷蓄積時間としても問題無い。そして、上記図3のステップS124及びステップS131のダーク取り込み処理動作の実行中は、撮影動作を行うことができないため、表示部54及び或いは画像表示部28によって、画像処理装置100がビジー状態にあることを示す画像や音声の表示を行うようにしてもよい。
【0080】
また、上記実施の形態の説明においては、ミラー130をミラーアップ位置、ミラーダウン位置に移動して撮影動作を行うとして説明したが、ミラー130をハーフミラーの構成として、移動せずに撮影動作を行う様にしても問題無い。
【0081】
また、上記実施の形態の説明においては、記録媒体200及び210は、PCMCIAカードやコンパクトフラッシュ(登録商標)等のメモリカード、ハードディスク等として説明したが、これらだけでなく、マイクロDAT、光磁気ディスク、CD−RやCD−RW等の光ディスク、DVD等の相変化型光ディスク等で構成されていても勿論問題無い。また、記録媒体200及び210がメモリカードとハードディスク等が一体となった複合媒体であっても勿論問題無い。更に、その複合媒体から一部が着脱可能な構成としても勿論問題無い。
【0082】
また、上記実施の形態の説明においては、記録媒体200及び210は画像処理装置100と分離していて任意に接続可能なものとして説明したが、いずれか或いは全ての記録媒体が画像処理装置100に固定したままとなっていても勿論問題無い。また、画像処理装置100に、記録媒体200或いは210が単数或いは複数の任意の個数接続可能な構成であっても構わない。
【0083】
また、上記実施の形態の説明においては、画像処理装置100に記録媒体200及び210を装着する構成として説明したが、記録媒体は単数或いは複数の何れの組み合わせの構成であっても、勿論問題無い。
【0084】
また、上記実施の形態の説明においては、1次元シェーディング補正データの展開の時期については言及しなかったが、補正データは電源投入時に展開されていてもよい。また、補正データは水平の1次元としたが、垂直の1次元或いは2次元でも構わない。また、補正データは1データだけ記憶しておくものとしたが、複数を記憶するものとしても構わない。上記補正データを複数にした場合には、複数の補正データから1つだけ選択する方法と、複数の補正データを任意の比率で足し合わる方法のどちらを用いても構わない。また、補正データは、画像処理装置の製造工程において調整時に作成され書き込まれるとしたが、書き込み段階は製造工程に限定されるものではない。
【0085】
また、本発明は、複数の機器から構成されるシステムに適用しても、1つの機器からなる装置に適用してもよい。上述した実施形態の機能を実現するソフトウエアのプログラムコードを記憶した記憶媒体等の媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU)が記憶媒体等の媒体に格納されたプログラムコードを読み出し実行することによっても、本発明が達成されることは言うまでもない。
【0086】
この場合、記憶媒体等の媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体等の媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体等の媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM、或いはネットワークを介したダウンロードなどを用いることができる。
【0087】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOSなどが実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合も、本発明に含まれることは言うまでもない。
【0088】
更に、記憶媒体等の媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって上述した実施形態の機能が実現される場合も、本発明に含まれることは言うまでもない。
【0089】
【発明の効果】
以上説明したように、本発明によれば、ISO感度の撮影条件の変更に伴うシェーディング変化が生じる場合にも、効果的なシェーディング補正処理を行うことが可能となる。
【0090】
また、シェーディング補正データの記憶容量を削減することが可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図2】本実施の形態に係る主ルーチンを示すフローチャートである。
【図3】本実施の形態に係る主ルーチンを示すフローチャートである。
【図4】本実施の形態に係る主ルーチンを示すフローチャートである。
【図5】本実施の形態に係る測距・測光処理ルーチンを示すフローチャートである。
【図6】本実施の形態に係る撮影処理ルーチンを示すフローチャートである。
【図7】本実施の形態に係るダーク取り込み処理ルーチンを示すフローチャートである。
【図8】本実施の形態に係るシェーディング補正データ展開ルーチンを示すフローチャートである。
【図9】本実施の形態に係るシェーディング補正データ算出処理を説明するための概略図であり、(a)は基準となるISOにおけるシェーディング補正データ、(b)はゲイン変換されたシェーディング補正データ、(c)はオフセット変換されたシェーディング補正データである。
【図10】本実施の形態に係る撮影動作の流れを示す説明図である。
【図11】本実施の形態に係る画像処理装置の要部の構成を示すブロック図である。
【符号の説明】
1、310 撮影レンズ
2、14 固体撮像素子
3、16 A/D変換器
4、18 タイミング発生回路
5、22 メモリ制御回路
6、20 画像処理回路
7、50 システム制御回路(演算手段、補正手段)
8、56 不揮発性メモリ(記憶手段)
100 画像処理装置
200、210 記録媒体
300 レンズユニット
Claims (4)
- 撮像素子からの信号を増幅するゲインの設定を変更することによりISO感度を設定する設定手段と、
前記ISO感度に基づいて、被写体の画像を画像データとして撮像する撮像手段と、
前記撮像素子により発生するシェーディングを補正する第1のシェーディング補正データを記憶する記憶手段と、
前記ISO感度に応じたゲイン量および前記ISO感度に応じたオフセット量を、前記記憶手段に記憶された第1のシェーディング補正データに対して演算することにより、第2のシェーディング補正データを算出する演算手段と、
前記第2のシェーディング補正データを用いて、前記画像データに対するシェーディング補正を行う補正手段と、を有することを特徴とする画像処理装置。 - 前記記憶手段は、さらに、前記ISO感度に応じたオフセット量を記憶していることを特徴とする請求項1に記載の画像処理装置。
- ISO感度を設定する設定工程と、
前記ISO感度に基づいて、被写体の画像を画像データとして撮像する撮像工程と、
前記ISO感度に応じたゲイン量および前記ISO感度に応じたオフセット量を、前記記憶手段に記憶された第1のシェーディング補正データに対して演算することにより、第2のシェーディング補正データを算出する演算工程と、
前記第2のシェーディング補正データを用いて、前記画像データに対するシェーディング補正を行う補正工程と、を有することを特徴とする画像処理方法。 - 被写体の画像を撮像することで得られる画像データを補正する画像処理装置に供給されるプログラムであって、
ISO感度を設定する設定モジュールと、
前記ISO感度に基づいて、被写体の画像を画像データとして撮像する撮像モジュールと、
前記ISO感度に応じたゲイン量および前記ISO感度に応じたオフセット量を、前記記憶手段に記憶された第1のシェーディング補正データに対して演算することにより、第2のシェーディング補正データを算出する演算モジュールと、
前記第2のシェーディング補正データを用いて、前記画像データに対するシェーディング補正を行う補正モジュールとを有することを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002042933A JP3703436B2 (ja) | 2002-02-20 | 2002-02-20 | 画像処理装置、画像処理方法、及びプログラム |
US10/370,972 US7317481B2 (en) | 2002-02-20 | 2003-02-20 | Image data correction processing based on sensitivity |
US11/943,746 US7978238B2 (en) | 2002-02-20 | 2007-11-21 | Image data correction processing based on sensitivity |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002042933A JP3703436B2 (ja) | 2002-02-20 | 2002-02-20 | 画像処理装置、画像処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003244513A JP2003244513A (ja) | 2003-08-29 |
JP2003244513A5 JP2003244513A5 (ja) | 2004-12-16 |
JP3703436B2 true JP3703436B2 (ja) | 2005-10-05 |
Family
ID=27782880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002042933A Expired - Fee Related JP3703436B2 (ja) | 2002-02-20 | 2002-02-20 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3703436B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019167673A1 (ja) * | 2018-03-01 | 2019-09-06 | ソニー株式会社 | 画像処理装置および方法、撮像素子、並びに、撮像装置 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7782377B2 (en) | 2003-02-26 | 2010-08-24 | Canon Kabushiki Kaisha | Image sensing apparatus, control method therefor, storage medium, and program to create correction data |
JP4678824B2 (ja) * | 2004-11-30 | 2011-04-27 | キヤノン株式会社 | 撮像装置、画像処理装置、及び画像処理方法 |
JP5365633B2 (ja) * | 2008-07-03 | 2013-12-11 | 株式会社ニコン | 撮像装置 |
JP5649409B2 (ja) * | 2010-11-04 | 2015-01-07 | 株式会社東芝 | 画像処理装置 |
-
2002
- 2002-02-20 JP JP2002042933A patent/JP3703436B2/ja not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019167673A1 (ja) * | 2018-03-01 | 2019-09-06 | ソニー株式会社 | 画像処理装置および方法、撮像素子、並びに、撮像装置 |
CN111801948A (zh) * | 2018-03-01 | 2020-10-20 | 索尼公司 | 图像处理装置和方法、成像元件和成像装置 |
JPWO2019167673A1 (ja) * | 2018-03-01 | 2021-03-04 | ソニー株式会社 | 画像処理装置および方法、撮像素子、並びに、撮像装置 |
CN111801948B (zh) * | 2018-03-01 | 2023-01-03 | 索尼公司 | 图像处理装置和方法、成像元件和成像装置 |
JP7259836B2 (ja) | 2018-03-01 | 2023-04-18 | ソニーグループ株式会社 | 画像処理装置および方法、撮像素子、並びに、撮像装置 |
US11765468B2 (en) | 2018-03-01 | 2023-09-19 | Sony Corporation | Image processing device and method thereof, imaging element, and imaging device |
Also Published As
Publication number | Publication date |
---|---|
JP2003244513A (ja) | 2003-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7978238B2 (en) | Image data correction processing based on sensitivity | |
JP4532819B2 (ja) | 撮像装置 | |
US20050018253A1 (en) | Image pickup apparatus for correcting image deterioration due to fixed pattern noise, and image pickup method | |
JP2003244588A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4761570B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
US20040032490A1 (en) | Image sensing apparatus, image sensing method, program, and storage medium | |
JP4027340B2 (ja) | 撮像装置及び撮像方法 | |
JP3605084B2 (ja) | 画像データ補正装置、画像処理装置、画像データ補正方法、プログラム、及び記憶媒体 | |
JP3332897B2 (ja) | 撮像装置、画像処理方法、記憶媒体 | |
JP3703436B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4411053B2 (ja) | 撮像装置及びその制御方法、並びに制御プログラム及び記憶媒体 | |
JP2005292740A (ja) | 電子カメラ | |
JP2003333434A (ja) | 撮像装置、撮像方法、プログラムおよび記憶媒体 | |
JP2006270426A (ja) | 撮像装置、その制御方法、及びコンピュータプログラム | |
JP4393177B2 (ja) | 撮像装置および撮像方法 | |
JP2006109162A (ja) | 撮像装置、撮像方法、プログラム及び記憶媒体 | |
JP2006222529A (ja) | 撮像装置 | |
JP3359314B2 (ja) | 撮像装置、画像処理装置、画像処理方法、及び記憶媒体 | |
JP2000184269A (ja) | 撮像装置と該撮像装置の制御方法、及び記録媒体 | |
JP2001320634A (ja) | 撮像装置、その制御方法およびコンピュータ読み取り可能な媒体 | |
JP2005051697A (ja) | 撮像装置 | |
JP2005057691A (ja) | 撮像装置及び方法 | |
JP2006108878A (ja) | 撮像装置 | |
JP2006203665A (ja) | 撮像装置及び方法、並びに記録媒体及びプログラム | |
JP3332895B2 (ja) | 撮像装置、画像処理装置、画像処理方法、及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20040209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040823 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041028 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041227 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050111 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050719 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080729 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090729 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090729 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100729 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100729 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110729 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120729 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120729 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130729 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |