JP5247922B2

JP5247922B2 - 撮像装置及びその制御方法

Info

Publication number: JP5247922B2
Application number: JP2012193934A
Authority: JP
Inventors: 誠伊勢
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-09-04
Filing date: 2012-09-04
Publication date: 2013-07-24
Anticipated expiration: 2020-10-18
Also published as: JP2012235536A

Description

本発明は、画像信号を処理する撮像装置及びその制御方法に関する。

従来、固体メモリ素子を有するメモリカードを記録媒体として、CCD等の固体撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の画像処理装置が既に市販されている。

これらの電子カメラの中には、絞りやシャッタースピードなどの撮影条件を選択することにより、自動的に、あるいは、手動により回路ゲインを切り換えて、ちょうど銀塩カメラにおけるフィルムのＩＳＯ感度に相当する感度条件を切り換えることのできるものがある。

ところで、CCD等の固体撮像素子を用いて撮像する場合、撮像素子を露光しない状態で本撮影と同様に電荷蓄積を行った後に読み出したダーク画像データと、撮像素子を露光した状態で電荷蓄積を行った後に読み出した本撮影画像データとを用いて演算処理することによりダークノイズ補正処理を行うことが可能である。

これにより、撮像素子に発生する暗電流ノイズや撮像素子固有の微少なキズによる画素欠損等の画質劣化に関して、撮影した画像データを補正して高品位な画像を撮影することが出来る。

特に、暗電流ノイズは、電荷蓄積時間及び、時間の経過とともに撮像素子の温度上昇に応じて増大するため、長秒時の露光や高温時の露光を行う場合に大きな画質改善効果を得ることが可能となり、電子カメラの使用者にとってダークノイズ補正処理は有益な機能となっている。

そのほかに、撮像素子固有のキズによる画素欠損等の補正方法には、上記のようなダークノイズ補正処理以外にも、キズのない近接画素を用いた補間による補正処理方法もあるが、あまりキズの数が多い場合には、ＣＰＵなどによる画像処理の負担も大きく、補間による画質劣化も無視できなくなる。

図１４は、従来の電子カメラ等の画像処理装置の一例を表わすブロック図である。撮像素子６００と、増幅器６０１と、ＡＤ（アナログ−デジタル）変換器６０２と、システム制御部６０３と、画像処理部６０４と、メモリ制御部６０５と、メモリ６０６とから構成されている。

撮像素子６００と、増幅器６０１と、ＡＤ変換器６０２と画像処理部６０４とは、システム制御部６０３からの各種駆動信号により駆動されており、撮像素子６００から読み出された撮像信号は、増幅器６０１を介して、所定の信号振幅に増幅されて、ＡＤ変換器６０２へ入力される。ＡＤ変換器６０２のデジタル出力は、画像処理部６０４に入力されて、メモリ制御部６０５を介して、メモリ６０６に記録される。

上記のダークノイズ補正処理の動作としては、まず、撮像素子を露光しない状態において、撮像素子６００ → 増幅器６０１ → ＡＤ変換器６０２ → 画像処理部６０４ → メモリ制御部６０５ → メモリ６０６の流れで、ダーク画像データがメモリ６０６に記録される。

次に、撮像素子を露光した状態において、撮像素子６００ → 増幅器６０１ → ＡＤ変換器６０２の流れで読み出された本撮影画像データと、メモリ６０６に記録されたダーク画像データとがメモリ制御部６０４を介して読み出され、画像処理部６０４によって、本撮影画像データからダーク画像データが減算されることにより、ダーク画像と同様に本撮影画像に含まれる暗電流ノイズや撮像素子固有の微少なキズによる画素欠損が相殺されて補正されるしくみになっている。

このような従来の電子カメラ等の画像処理装置においては、補正に用いるダーク画像データの中に、暗電流ノイズや撮像素子固有の微少なキズによる画素欠損ノイズを収めるための適切な信号ダイナミックレンジが必要である。

ところが、前述のＩＳＯ感度に応じた回路ゲインの切り換えによって、必要となるダーク画像データの信号ダイナミックレンジも変動する。本撮影画像データの信号ダイナミックレンジも、同様に変動する。

そして、ダーク画像データの信号ダイナミックレンジをオーバーした上記画素欠損ノイズは、適切に補正されずに残り、しかも、その数や程度もＩＳＯ感度ごとに異なるという問題があった。

また、絞りやシャッタースピードを含めたトータルでの露出条件をたとえ同じにしても、ＩＳＯ感度ごとに信号ダイナミックレンジが変動するために、ダークノイズ補正処理後の画像において、ダーク部分に浮き沈みを生じたり、ハイライト部分の飽和レベルがまちまちになるという問題があった。

図１５は、上記の問題をよく説明する信号のレベルダイヤグラムの一例である。ＡＤ変換器６０２のボトム電圧（デジタル下限０に対応する入力電圧）に対して、たとえば、撮像素子６００の出力のダーク信号レベル（平均値）をｂ、ＩＳＯ１００時の使用信号振幅の上限をsとし、前記ダーク信号レベルｂを基準に増幅器６０１の増幅度をaとして増幅すれば、増幅器６０１の出力は、ダーク信号レベルｂ、撮像信号振幅の上限は(ａ×ｓ)となる。このとき、同時にダーク信号に含まれるキズによる画素欠損ノイズの振幅も増幅器６０１によりａ倍されるために、ダーク画像期間中のＡＤ変換器６０２のボトム電圧を下回るノイズ成分や、本撮影画像期間中のＡＤ変換器６０２のトップ電圧（デジタルフルコードに対応する入力電圧）を上回るノイズ成分は、前述のダークノイズ補正処理により相殺されずに残ってしまう結果となる。

このとき、ＩＳＯ２００時のセンサの使用信号振幅の上限は(s / 2)となり、増幅器６０１による増幅度は、さらにＩＳＯ１００時の２倍の２ａ倍となり、増幅器６０１の出力は、ダーク信号レベルｂ、撮像信号振幅の上限はａと変わらないものの、ダーク信号に含まれるキズによる画素欠損ノイズの振幅が増幅器６０１により２ａ倍されるために、ダーク画像や、本撮影画像に含まれるノイズ成分の振幅はより一層増大し、ダーク画像期間中のＡＤ変換器６０２のボトム電圧を下回るノイズ成分や、本撮影画像期間中のＡＤ変換器６０２のトップ電圧を上回るノイズ成分がより一層増加する結果となる。

この傾向は、高ＩＳＯ感度になるほど回路ゲインの増大とともに顕著となり、極端な場合には、ダーク画像や、本撮影画像の、ＡＤ変換器６０２に対するオーバーレンジによって、ダーク補正後の画像の黒つぶれや白飛びといった画像階調性の劣化を招く結果にもなる。

また、増幅回路のスーリューレート特性の制約から、キズノイズなどによる過大振幅信号の飽和により、あるいは前述のＩＳＯ感度に応じた回路ゲインの切り換えによってゲインアップした際に、本撮影画像データの信号ダイナミックレンジの増大にともない、露出過多による過大振幅信号の飽和により画像信号の遅延が発生して、後続する隣接画素信号に対して妨害が発生するという問題があった。

図１６は、上記の問題をよく説明する信号のレベルダイヤグラムの一例である。たとえば、撮像素子６００の出力のＩＳＯ１００時の使用信号振幅の上限を１（撮像素子６００の飽和レベルの近傍）とし、増幅器６０１の増幅度をaとして増幅すれば、増幅器６０１の出力において、撮像信号振幅の上限はａ、増幅器６０１の出力を１画素周期で見れば、増幅器６０１のスリューレート特性により、その立ち上がり、立下りにおいて通常［ｎｓ／Ｖ］等の単位で表わされる所定の時間を必要とし、この時間は撮像素子６００の信号変動レベルに依存し、正比例する。

この特性により、撮像素子６００の出力に対して増幅器６０１の出力が遅延する結果となる。このとき、ＩＳＯ２００時のセンサの使用信号振幅の上限は０．５（撮像素子１５０の飽和レベルの半分の近傍）、増幅器６０１による増幅度は、ＩＳＯ１００時の２倍の２ａ倍となる。ところが、増幅器６０１の出力において撮像信号振幅の上限はａとはならず、実際には撮像素子６００の出力が露光条件により飽和レベルとなり、最大２ａ超に達し、その分、前記スリューレートによる遅延時間が増大する結果となる。この傾向は、高ＩＳＯ感度になるほど回路ゲインの増大とともに顕著となり、他の色フィルタにより構成される後続隣接画素の出力に妨害を与え、キズノイズの後続隣接画素への波及や飽和領域における色再現性の劣化を招く結果にもなる。

本発明の目的は、ＩＳＯ感度が異なることによるダーク部分やハイライト部分の階調性の変動を防止することである。
本発明の他の目的は、ＩＳＯ感度に応じて画素のキズを適正に補正することである。
本発明のさらに他の目的は、ＩＳＯ感度が異なったときの過大信号による隣接画素に対する妨害を防止することである。

本発明の一観点によれば、被写体の光学像を画像信号に変換する撮像手段と、前記画像信号を増幅する増幅手段と、感度に応じたゲインを前記増幅手段に設定するゲイン設定手段と、前記画像信号に含まれる画素キズを補正するキズ補正手段と、前記画素キズの大きさに応じて前記画素キズを異なる複数のグループに分けて各画素キズの位置情報とともに属するグループの情報を記憶する記憶手段と、前記感度が高くなるほど前記キズ補正手段による補正対象とするグループの数が多くなるように前記感度に応じて前記キズ補正手段による補正対象とするグループを選択し、選択したグループに属する画素キズの位置情報を前記記憶手段から読み出して、読み出した位置情報に基づいて前記キズ補正手段が前記画像信号に含まれる画素キズを補正するように制御する制御手段と、を有することを特徴とする撮像装置が提供される。

本発明によれば、感度条件によらず、高品質な画像を得ることが出来る。

本発明の実施例の全体の構成ブロック図である。本実施例の主ルーチンの一部のフローチャートである。本実施例の主ルーチンの一部のフローチャートである。本実施例の主ルーチンの一部のフローチャートである。本実施例の測距・測光処理ルーチンのフローチャートである。本実施例の撮影処理ルーチンのフローチャートである。本実施例のダーク取り込み処理ルーチンのフローチャートである。第１の実施例の主要な構成ブロック図である。第１の実施例における信号のレベルダイヤグラム図である。第２の実施例における信号のレベルダイヤグラム図である。第２の実施例における一部のフローチャートである。第３の実施例の主要な構成ブロック図である。第３の実施例における信号のレベルダイヤグラム図である。従来例の構成ブロック図である。信号のレベルダイヤグラム図である。信号のレベルダイヤグラム図である。

以下、本発明の実施形態を、実施例に沿って図面を参照しながら説明する。
図１乃至図１３は、本発明の実施例の構成および動作フローおよび信号レベルダイヤグラムを示す図である。
図１において、１００は画像処理装置の全体図である。１２は撮像部１４への露光量を制御するためのシャッター、１４は光学像を電気信号に変換する撮像部である。

レンズ３１０に入射した光線は、一眼レフ方式によって、絞り３１２、レンズマウント３０６及び１０６、ミラー１３０、シャッター１２を介して導き、光学像として撮像部１４上に結像することが出来る。

１６は撮像部１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換部である。
１８は撮像部１４、Ａ／Ｄ変換部１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換部１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０においては、必要に応じて、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う、TTL（スルー・ザ・レンズ）方式のAF（オートフォーカス）処理、AE（自動露出）処理、ＥＦ（フラッシュ調光）処理を行うことが出来る。

さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB（オートホワイトバランス）処理も行っている。

なお、本実施例においては、測距手段４２及び測光手段４６を専用に備える構成としたため、測距手段４２及び測光手段４６を用いてAF（オートフォーカス）処理、AE（自動露出）処理、ＥＦ（フラッシュ調光）処理の各処理を行い、上記画像処理回路２０を用いたAF（オートフォーカス）処理、AE（自動露出）処理、ＥＦ（フラッシュ調光）処理の各処理を行わない構成としても良い。

或いは、測距手段４２及び測光手段４６を用いてAF（オートフォーカス）処理、AE（自動露出）処理、ＥＦ（フラッシュ調光）処理の各処理を行い、さらに、上記画像処理回路２０を用いたAF（オートフォーカス）処理、AE（自動露出）処理、ＥＦ（フラッシュ調光）処理の各処理を行う構成としても良い。

２２はメモリ制御回路であり、Ａ／Ｄ変換部１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。

Ａ／Ｄ変換部１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換部１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はTFT LCD等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。

画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は測光手段４６からの測光情報に基づいて、絞り３１２を制御する絞り制御手段３４０と連携しながら、シャッター１２を制御するシャッター制御手段である。

４２はAF（オートフォーカス）処理を行うための測距手段であり、レンズ３１０に入射した光線を、一眼レフ方式によって、絞り３１２、レンズマウント３０６及び１０６、ミラー１３０そして不図示の測距用サブミラーを介して、測距手段４２に入射させることにより、光学像として結像された画像の合焦状態を測定することが出来る。

４６はAE（自動露出）処理を行うための測光手段であり、レンズ３１０に入射した光線を、一眼レフ方式によって、絞り３１２、レンズマウント３０６及び１０６、ミラー１３０及び１３２そして不図示の測光用レンズを介して、測光手段４６に入射させることにより、光学像として結像された画像の露出状態を測定することが出来る。

また、測光手段４６は、フラッシュ４８と連携することによりEF（フラッシュ調光）処理機能も有するものである。
４８はフラッシュであり、AF補助光の投光機能、フラッシュ調光機能も有する。

なお、撮像部１４によって撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０がシャッター制御手段４０、絞り制御手段３４０、測距制御手段３４２に対して制御を行う、ビデオTTL方式を用いて露出制御及びAF（オートフォーカス）制御をすることも可能である。

さらに、測距手段４２による測定結果と、撮像部１４によって撮像した画像データを画像処理回路２０によって演算した演算結果とを共に用いてAF（オートフォーカス）制御を行っても構わない。

そして、測光手段４６による測定結果と、撮像部１４によって撮像した画像データを画像処理回路２０によって演算した演算結果とを共に用いて露出制御を行っても構わない。

５０は画像処理装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部であり、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばLCDやLED、発音素子等の組み合わせにより構成されている。

また、表示部５４は、その一部の機能が光学ファインダー１０４内に設置されている。表示部５４の表示内容のうち、LCD等に表示するものとしては、例えば、シングルショット/連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、レンズユニット３００の着脱状態表示、通信I/F動作表示、日付け・時刻表示、外部コンピュータとの接続状態を示す表示、等がある。

また、表示部５４の表示内容のうち、光学ファインダー１０４内に表示するものとしては、例えば、合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、シャッタースピード表示、絞り値表示、露出補正表示、記録媒体書き込み動作表示、等がある。

さらに、表示部５４の表示内容のうち、LED等に表示するものとしては、例えば、合焦表示、撮影準備完了表示、手振れ警告表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、記録媒体書き込み動作表示、マクロ撮影設定通知表示、二次電池充電状態表示、等がある。

そして、表示部５４の表示内容のうち、ランプ等に表示するものとしては、例えば、セルフタイマー通知ランプ、等がある。このセルフタイマー通知ランプは、AF補助光と共用して用いても良い。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばEEPROM等が用いられる。
６０、６２、６４、６６、６８及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。６０はモードダイアルスイッチで、自動撮影モード、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モード、焦点深度優先（デプス）撮影モード、ポートレート撮影モード、風景撮影モード、接写撮影モード、スポーツ撮影モード、夜景撮影モード、パノラマ撮影モード等の各機能撮影モードを切り替え設定することが出来る。６２はシャッタースイッチSW1で、不図示のシャッターボタンの操作途中でONとなり、AF（オートフォーカス）処理、AE（自動露出）処理、AWB（オートホワイトバランス）処理、ＥＦ（フラッシュ調光）処理等の動作開始を指示する。

６４はシャッタースイッチSW2で、不図示のシャッターボタンの操作完了でONとなり、撮像部１２から読み出した信号をＡ／Ｄ変換部１６、メモリ制御回路２２を介してメモリ30に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

６６は再生スイッチで、撮影モード状態において、撮影した画像をメモリ３０或いは記録媒体２００或いは２１０から読み出して画像表示部２８によって表示する再生動作の開始を指示する。

６８は単写/連写スイッチで、シャッタースイッチSW2を押した場合に１駒の撮影を行って待機状態とする単写モードと、シャッタースイッチSW2を押している間は連続して撮影を行い続ける連写モードとを設定することが出来る。

７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン、パノラマモード等の撮影及び再生を実行する際に各種機能の選択及び切り替えを設定する選択/切り替えボタン、パノラマモード等の撮影及び再生を実行する際に各種機能の決定及び実行を設定する決定/実行ボタン、画像表示部２８のON/OFFを設定する画像表示ON/OFFスイッチ、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するクイックレビューON/OFFスイッチ、JPEG圧縮の圧縮率を選択するため或いは撮像部の信号をそのままディジタル化して記録媒体に記録するCCDRAWモードを選択するためのスイッチである圧縮モードスイッチ、再生モード、マルチ画面再生・消去モード、PC接続モード等の各機能モードを設定することが出来る再生スイッチ、シャッタースイッチSW1を押したならばオートフォーカス動作を開始し一旦合焦したならばその合焦状態を保ち続けるワンショットAFモードとシャッタースイッチSW1を押している間は連続してオートフォーカス動作を続けるサーボAFモードとを設定することが出来るAFモード設定スイッチ等がある。

また、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。

７２は電源スイッチで、画像処理装置１００の電源オン、電源オフの各モードを切り替え設定することが出来る。また、画像処理装置１００に接続されたレンズユニット３００、外部ストロボ、記録媒体２００、２１０等の各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定することが出来る。

７４はリアルタイムクロック回路で、これによりシステム制御回路５０は経過時間を計測し、各種のタイマー機能を実現している。

８０は電源制御手段で、電池検出回路、DC-DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてDC-DCコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる電源手段である。

９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、９８はコネクタ９２及び／或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知手段である。

なお、本実施例では記録媒体を取り付けるインターフェース及びコネクタを2系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。

インターフェース及びコネクタとしては、PCMCIAカードやCF（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。

さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をPCMCIAカードやCF（コンパクトフラッシュ）カード等の規格に準拠したものを用いて構成した場合、LANカードやモデムカード、USBカード、IEEE1394カード、P1284カード、SCSIカード、PHS等
の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。

１０４は光学ファインダであり、レンズ３１０に入射した光線を、一眼レフ方式によって、絞り３１２、レンズマウント３０６及び１０６、ミラー１３０及び１３２を介して導き、光学像として結像表示することが出来る。これにより、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダ１０４のみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などが設置されている。

１１０は通信手段で、RS232CやUSB、IEEE1394、P1284、SCSI、モデム、LAN、無線通信、等の各種通信機能を有する。

１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

１２０は、レンズマウント１０６内において、画像処理装置１００をレンズユニット３００と接続するためのインタフェース、１２２は画像処理装置１００をレンズユニット３００と電気的に接続するコネクタ、１２４はレンズマウント１０６及び或いはコネクタ１２２にレンズユニット３００が装着されているか否かを検知するレンズ着脱検知手段である。

コネクタ１２２は、画像処理装置１００とレンズユニット３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給する機能も備えている。また、コネクタ１２２は電気通信のみならず、光通信、音声通信等を伝達する構成としても良い。

１３０、１３２はミラーで、レンズ３１０に入射した光線を、一眼レフ方式によって光学ファインダ１０４に導くことが出来る。なお、ミラー１３２は、クイックリターンミラーの構成としても、ハーフミラーの構成としても、どちらでも構わない。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインタフェース２１４、画像処理装置１００と接続を行うコネクタ２１６を備えている。

３００は交換レンズタイプのレンズユニットである。３０６は、レンズユニット３００を画像処理装置１００と機械的に結合するレンズマウントである。レンズマウント３０６内には、レンズユニット３００を画像処理装置１００と電気的に接続する各種機能が含まれている。

３１０は撮影レンズ、３１２は絞りである。３２０は、レンズマウント３０６内において、レンズユニット３００を画像処理装置１００と接続するためのインタフェース、３２２はレンズユニット３００を画像処理装置１００と電気的に接続するコネクタである。

コネクタ３２２は、画像処理装置１００とレンズユニット３００との間で制御信号、状態信号、データ信号等を伝え合うと共に、各種電圧の電流を供給される或いは供給する機能も備えている。また、コネクタ３２２は電気通信のみならず、光通信、音声通信等を伝達する構成としても良い。

３４０は測光手段４６からの測光情報に基づいて、シャッター１２を制御するシャッター制御手段４０と連携しながら、絞り３１２を制御する絞り制御手段である。

３４２は撮影レンズ３１０のフォーカシングを制御する測距制御手段、３４４は撮影レンズ３１０のズーミングを制御するズーム制御手段である。

３５０はレンズユニット３００全体を制御するレンズシステム制御回路である。レンズシステム制御回路３５０は、動作用の定数、変数、プログラム等を記憶するメモリやレンズユニット３００固有の番号等の識別情報、管理情報、開放絞り値や最小絞り値、焦点距離等の機能情報、現在や過去の各設定値などを保持する不揮発メモリの機能も備えている。

図２及至図４は本発明の実施例の画像処理装置１００の主ルーチンのフローチャートを示す。
図２及至図４を用いて、画像処理装置１００の動作を説明する。電池交換等の電源投入により、システム制御回路５０はフラグや制御変数等を初期化し、画像処理装置１００の各部において必要な所定の初期設定を行う（Ｓ１０１）。

システム制御回路５０は、電源スイッチ６６の設定位置を判断し、電源スイッチ６６が電源OFFに設定されていたならば（Ｓ１０２）、各表示部の表示を終了状態に変更し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源制御手段８０により画像表示部２８を含む画像処理装置１００各部の不要な電源を遮断する等の所定の終了処理を行った後（Ｓ１０３）、Ｓ１０２に戻る。

電源スイッチ６６が電源ONに設定されていたならば（Ｓ１０２）、システム制御回路５０は、電源制御手段８０により電池等により構成される電源８６の残容量や動作情況が画像処理装置１００の動作に問題があるか否かを判断し（Ｓ１０４）、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ１０５）、Ｓ１０２に戻る。

電源８６に問題が無いならば（Ｓ１０４）、システム制御回路５０はモードダイアル６０の設定位置を判断し、モードダイアル６０が撮影モードに設定されていたならば（Ｓ１０６）、Ｓ１０８に進む。

モードダイアル６０がその他のモードに設定されていたならば（Ｓ１０６）、システム制御回路５０は選択されたモードに応じた処理を実行し（Ｓ１０７）、処理を終えたならばＳ１０２に戻る。

システム制御回路５０は、記録媒体２００或いは２１０が装着されているかどうかの判断、記録媒体２００或いは２１０に記録された画像データの管理情報の取得、そして、記録媒体２００或いは２１０の動作状態が画像処理装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かの判断を行い（Ｓ１０８）、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ１０５）、Ｓ１０２に戻る。

記録媒体２００或いは２１０が装着されているかどうかの判断、記録媒体２００或いは２１０に記録された画像データの管理情報の取得、そして、記録媒体２００或いは２１０の動作状態が画像処理装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かの判断を行った結果（Ｓ１０８）、問題が無いならば、S１０９に進む。

システム制御回路５０は、単写撮影/連写撮影を設定する単写/連写スイッチ６８の設定状態を調べ（Ｓ１０９）、単写撮影が選択されていたならば単写/連写フラグを単写に設定し（Ｓ１１０）、連写撮影が選択されていたならば単写/連写フラグを連写に設定し（Ｓ１１１）、フラグの設定を終えたならばＳ１１３に進む。

単写/連写スイッチ６８によれば、シャッタースイッチSW2を押した場合に１駒の撮影を行って待機状態とする単写モードと、シャッタースイッチSW2を押している間は連続して撮影を行い続ける連写モードとを任意に切り替えて設定切り替えすることが出来る。

なお、単写/連写フラグの状態は、システム制御回路５０の内部メモリ或いはメモリ５２に記憶しＳ１１３に進む。

システム制御回路５０は表示部５４を用いて画像や音声により画像処理装置１００の各種設定状態の表示を行う（Ｓ１１３）。なお、画像表示部２８の画像表示がONであったならば、画像表示部２８も用いて画像や音声により画像処理装置１００の各種設定状態の表示を行う。

そして、シャッタースイッチSW1が押されていないならば（Ｓ１２１）、Ｓ１０２に戻る。

シャッタースイッチSW1が押されたならば（Ｓ１２１）、システム制御回路５０は、測距処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッター時間を決定する、測距・測光処理を行い（Ｓ１２２）、Ｓ１２４に進む。測光処理に於いて、必要であればフラッシュの設定も行う。この測距・測光処理Ｓ１２２の詳細は図５を用いて後述する。

その後に、システム制御回路５０は、シャッター１２を閉じた状態で撮像素子１４の暗電流等のノイズ成分を予め設定された時間蓄積し、蓄積を終えたノイズ画像信号を読み出すダーク取り込み処理を行い（Ｓ１２４）、Ｓ１２５に進む。

このダーク取り込み処理で取り込んだダーク画像データを用いて補正演算処理を行うことにより、撮像素子１４の発生する暗電流ノイズや撮像素子１４固有のキズによる画素欠損等の画質劣化に関して、撮影した画像データを補正することが出来る。このダーク取り込み処理Ｓ１２４の詳細は図7を用いて後述する。

そして、シャッタースイッチSW2が押されていないならば（Ｓ１２５）、シャッタースイッチSW1が放されるまで（Ｓ１２６）、現在の処理を繰り返す。シャッタースイッチSW1が放されたならば（Ｓ１２６）、Ｓ５０２に進む。

シャッタースイッチSW2が押されたならば（S１２５）、システム制御回路５０は、撮影した画像データを記憶可能な画像記憶バッファ領域がメモリ３０にあるかどうかを判断し（Ｓ１２７）、メモリ３０の画像記憶バッファ領域内に新たな画像データを記憶可能な領域が無いならば、表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ１２８）、Ｓ５０２に進む。

例えば、メモリ３０の画像記憶バッファ領域内に記憶可能な最大枚数の連写撮影を行った直後で、メモリ３０から読み出して記憶媒体２００或いは２１０に書き込むべき最初の画像がまだ記録媒体２００或いは２１０に未記録な状態であり、まだ1枚の空き領域もメモリ３０の画像記憶バッファ領域上に確保出来ない状態である場合等が、この状態の一例である。

なお、撮影した画像データを圧縮処理してからメモリ３０の画像記憶バッファ領域に記憶する場合は、圧縮した後の画像データ量が圧縮モードの設定に応じて異なることを考慮して、記憶可能な領域がメモリ３０の画像記憶バッファ領域上にあるかどうかをＳ１２７において判断することになる。

メモリ３０に撮影した画像データを記憶可能な画像記憶バッファ領域があるならば（Ｓ１２７）、システム制御回路５０は、撮像して所定時間蓄積した撮像信号を撮像部１２から読み出して、Ａ／Ｄ変換部１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換部から直接メモリ制御回路２２を介して、メモリ３０の所定領域に撮影した画像データを書き込む撮影処理を実行する（Ｓ１２９）。この撮影処理Ｓ１２９の詳細は図6を用いて後述する。

撮影処理Ｓ１２９を終えたならば、システム制御回路５０は、メモリ３０の所定領域へ書き込まれた画像データの一部をメモリ制御回路２２を介して読み出して、現像処理を行うために必要なWB（ホワイトバランス）積分演算処理、OB（オプティカルブラック）積分演算処理を行い、演算結果をシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。

そして、システム制御回路５０は、メモリ制御回路２２そして必要に応じて画像処理回路２０を用いて、メモリ３０の所定領域に書き込まれた撮影画像データを読み出して、システム制御回路５０の内部メモリ或いはメモリ５２に記憶した演算結果を用いて、AWB（オートホワイトバランス）処理、ガンマ変換処理、色変換処理を含む各種現像処理を行う（Ｓ１３２）。

さらに、現像処理においては、ダーク取り込み処理において取り込んだダーク画像データを用いて減算処理を行うことにより、撮像部１４の暗電流ノイズ等を打ち消すダーク補正演算処理も併せて行う。

そして、システム制御回路５０は、メモリ３０の所定領域に書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路３２により行い（Ｓ１３３）、メモリ３０の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みを行う。

一連の撮影の実行に伴い、システム制御回路５０は、メモリ３０の画像記憶バッファ領域に記憶した画像データを読み出して、インタフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュカード等の記録媒体２００或いは２１０へ書き込みを行う記録処理を開始する（Ｓ１３４）。

この記録開始処理は、メモリ３０の画像記憶バッファ領域の空き画像部分に、撮影して一連の処理を終えた画像データの書き込みが新たに行われる度に、その画像データに対して実行される。

なお、記録媒体２００或いは２１０へ画像データの書き込みを行っている間、書き込み動作中であることを明示するために、表示部５４において例えばLEDを点滅させる等の記録媒体書き込み動作表示を行う。

システム制御回路５０は、シャッタースイッチSW1が押されているかどうかを判断する（Ｓ１３５）。

シャッタースイッチSW1が放された状態であったならば（Ｓ１３５）、Ｓ１０２に戻る。シャッタースイッチSW1が押された状態であったならば（Ｓ１３５）、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される単写/連写フラグの状態を判断し（Ｓ１３６）、単写が設定されていたならば、Ｓ１３５に戻り、SW1が放されるまで現在の処理を繰り返す。

連写が設定されていたならば（Ｓ１３６）、連続して撮影を行うためにＳ１２５に戻り、次の撮影を行う。

図５は、図３のＳ１２２における測距・測光処理の詳細なフローチャートを示す。なお、測距・測光処理においては、システム制御回路５０と絞り制御手段３４０或いは測距制御手段３４２との間の各種信号のやり取りは、インタフェース１２０、コネクタ１２２、コネクタ３２２、インタフェース３２０、レンズ制御手段３５０を介して行われる。

システム制御回路５０は、撮像部１４、測距手段４２及び測距制御手段３４２を用いて、AF（オートフォーカス）処理を開始する（Ｓ２０１）。

システム制御回路５０は、レンズ３１０に入射した光線を、絞り３１２、レンズマウント３０６及び１０６、ミラー１３０、不図示の測距用サブミラーを介して、測距手段４２に入射させることにより、光学像として結像された画像の合焦状態を判断し、測距（AF）が合焦と判断されるまで（Ｓ２０３）、測距制御手段３４２を用いてレンズ３１０を駆動しながら、測距手段４２を用いて合焦状態を検出するAF制御を実行する（Ｓ２０２）。

測距（AF）が合焦と判断したならば（Ｓ２０３）、システム制御回路５０は、撮影画面内の複数の測距点の中から合焦した測距点を決定し、決定した測距点データと共に測距データ及び／或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶しＳ２０５に進む。

続いて、システム制御回路５０は、測光手段４６を用いて、AE（自動露出）処理を開始する（Ｓ２０５）。

システム制御回路５０は、レンズ３１０に入射した光線を、絞り３１２、レンズマウント３０６及び１０６、ミラー１３０及び１３２そして不図示の測光用レンズを介して、測光手段４６に入射させることにより、光学像として結像された画像の露出状態を測定し、露出（AE）が適正と判断されるまで（Ｓ２０６）、露光制御手段４０を用いて測光処理を行う（Ｓ２０６）。

露出（AE）が適正と判断したならば（S２０７）、システム制御回路５０は、測光データ及び或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶し、Ｓ２０８に進む。

なお、測光処理Ｓ２０６で検出した露出（AE）結果と、モードダイアル６０によって設定された撮影モードに応じて、システム制御回路５０は、絞り値（Av値）、シャッター速度（Tv値）を決定する。

そして、ここで決定したシャッター速度（Tv値）に応じて、システム制御回路５０は、撮像部１４の電荷蓄積時間を決定し、等しい電荷蓄積時間で撮影処理及びダーク取り込み処理をそれぞれ行う。

測光処理Ｓ２０６で得られた測定データにより、システム制御回路５０はフラッシュが必要か否かを判断し（Ｓ２０８）、フラッシュが必要ならばフラッシュフラグをセットし、フラッシュ４８の充電が完了するまで（Ｓ２１０）、フラッシュ４８を充電する（Ｓ２０９）。

フラッシュ４８の充電が完了したならば（Ｓ２１０）、測距・測光処理ルーチンS１２２を終了する。

図６は、図３のＳ１２９における撮影処理の詳細なフローチャートを示す。なお、撮影処理においては、システム制御回路５０と絞り制御手段３４０或いは測距制御手段３４２との間の各種信号のやり取りは、インタフェース１２０、コネクタ１２２、コネクタ３２２、インタフェース３２０、レンズ制御手段３５０を介して行われる。

システム制御回路５０は、ミラー１３０を不図示のミラー駆動手段によってミラーアップ位置に移動すると共に（Ｓ３０１）、システム制御回路５０の内部メモリ或いはメモリ５２に記憶される測光データに従い、絞り制御手段３４０によって絞り３１２を所定の絞り値まで駆動する（Ｓ３０２）。

システム制御回路５０は、撮像部１４の電荷クリア動作を行った後に（Ｓ３０３）、撮像部１４の電荷蓄積を開始した後（Ｓ３０４）、シャッター制御手段４０によって、シャッター１２を開き（Ｓ３０５）、撮像部１４の露光を開始する（Ｓ３０６）。

ここで、フラッシュ・フラグによりフラッシュ４８が必要か否かを判断し（Ｓ３０７）、必要な場合はフラッシュを発光させる（Ｓ３０８）。

システム制御回路５０は、測光データに従って撮像部１４の露光終了を待ち（Ｓ３０９）、シャッター制御手段４０によって、シャッター１２を閉じ（Ｓ３１０）、撮像部１４の露光を終了する。

システム制御回路５０は、絞り制御手段３４０によって絞り３１２を開放の絞り値まで駆動すると共に（Ｓ３１１）、ミラー１３０を不図示のミラー駆動手段によってミラーダウン位置に移動する（Ｓ３１２）。

設定した電荷蓄積時間が経過したならば（Ｓ３１３）、システム制御回路５０は、撮像部１４の電荷蓄積を終了した後（Ｓ３１４）、撮像部１４から電荷信号を読み出し、Ａ／Ｄ変換部１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換部１６から直接メモリ制御回路２２を介して、メモリ３０の所定領域への撮影画像データを書き込む（Ｓ３１５）。
一連の処理を終えたならば、撮影処理ルーチンＳ１２９を終了する。

図７は、図２のＳ１１２及び図3のＳ１２４におけるダーク取り込み処理の詳細なフローチャートを示す。システム制御回路５０は、撮像部１４の電荷クリア動作を行った後に（Ｓ４０１）、シャッター１２が閉じた状態で、撮像部１４の電荷蓄積を開始する（Ｓ４０２）。

設定した所定の電荷蓄積時間が経過したならば（Ｓ４０３）、システム制御回路５０は、撮像部１４の電荷蓄積を終了した後（Ｓ４０４）、撮像部１４から電荷信号を読み出し、Ａ／Ｄ変換部１６、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換部１６から直接メモリ制御回路２２を介して、メモリ３０の所定領域への画像データ（ダーク画像データ）を書き込む（Ｓ４０５）。

このダーク取り込みデータを用いて現像処理を行うことにより、撮像部１４の発生する暗電流ノイズや撮像部１４固有のキズによる画素欠損等の画質劣化に関して、撮影した画像データを補正することが出来る。

なお、このダーク画像データは、新たに測距・測光処理が行われるか、画像処理装置１００の電源がOFFされるまで、メモリ３０の所定領域に保持される。

そして、このダーク画像データは、この後、撮影処理が実行されて、そこで、撮影した画像データを撮像部１４より読み出して、現像処理を行う際に用いられる。

或いは、先に撮影処理が実行されて、撮影した画像データを撮像部１４より読み出してメモリ３０に書き込んである状態で、このダーク画像データを用いて現像処理を行う際に用いられる。
そして、ダーク取り込み処理ルーチンＳ１２４を終了する。

（第１の実施例）
図８は、画像処理装置１００における撮像部１４およびＡ／Ｄ変換部１６を含む撮像装置ユニット１５の内部について、より詳細な構成を示したブロック図であり、本実施例の主要な働きをなす部分である。

図８において、４００は撮像素子でありＣＣＤなどの光電変換デバイスである。４０１は撮像素子４００の出力信号の振幅を増幅する増幅器であり、４０２は増幅器４０１の増幅出力に所定の直流電圧を付加するオフセット加算器、４０５はオフセット加算器４０２のアナログ撮像出力をデジタル信号に変換するＡ／Ｄ変換器である。４０８は、オフセット加算器４０２およびＡ／Ｄ変換４０５に対して複数の直流電圧を供給する多チャンネルのＤ／Ａ変換器であり、各直流電圧値は、図１で示すシステム制御部５０よりタイミング発生部１８を介して供給される制御バス４０６によって制御される。

Ｄ／Ａ変換器４０８の出力の一つのチャンネル出力４０７は、オフセット加算器４０２に供給されており、これによりＡ／Ｄ変換４０５に供給される撮像信号の直流電圧が切り換えられる。Ｄ／Ａ変換器４０８の出力のその他のチャンネルからは、Ａ／Ｄ変換４０５のアナログ入力レンジを決定するボトム電圧４０９とトップ電圧４１０が出力されている。

そして、図１に示されたタイミング発生部１８より撮像素子４００、撮像装置ユニット１５の増幅器４０１およびＤ／Ａ変換器４０８対して供給された制御バス４０６には、撮像素子４００において露光・読み出しなどを制御するための各種駆動パルスや、増幅器４０１のゲインを複数の所定の値に切り換えるための状態制御信号や、Ｄ／Ａ変換器４０８の複数のチャンネルのＤ／Ａ出力電圧を制御するための制御信号が含まれており、これらの制御値はＩＳＯ感度などの撮影条件に応じて切り換えられる。

そして、撮像素子４００から読み出された撮像信号は、増幅器４０１を介して、所定の信号振幅に増幅されて、オフセット加算器４０２によって所定の直流電圧を付加された後に、ＡＤ変換器４０５へ入力される。ＡＤ変換器４０５のデジタル出力は、図１の画像処理部２０に入力されて、メモリ制御部２２を介して、メモリ３０に記録される。

図２及至図４のフローチャートにおいて説明したように、まず、ダークノイズ補正処理の動作として、撮像素子を露光しない状態において、撮像素子４００ → 増幅器４０１ →オフセット加算器４０２ →ＡＤ変換器４０５ → 画像処理部２０ → メモリ制御部２２ → メモリ３０の流れで、ダーク画像データがメモリ３０に記録される。

次に、撮像素子を露光した状態において、撮像素子４００ → 増幅器４０１ →オフセット加算器４０２ → ＡＤ変換器４０５の流れで読み出された本撮影画像データと、メモリ３０に記録されたダーク画像データとがメモリ制御部２２を介して読み出され、画像処理部２０によって、本撮影画像データからダーク画像データが減算されることにより、ダーク画像と同様に本撮影画像に含まれる暗電流ノイズや撮像素子固有の微少なキズによる画素欠損が相殺されて補正される。

図９は、図８の撮像素子４００の出力信号およびオフセット加算器４０２の出力信号のレベルダイヤグラムである。次に、図９の信号のレベルダイヤグラムを用いて図８における信号処理の具体的な説明を行う。

撮像素子４００を露光しない状態で読み出されたダーク画像信号は、最初に、ＡＤ変換器４０５のボトム電圧に対してオフセット電圧ｂをもって撮像素子４００より出力される。ダーク信号画像信号に含まれるキズや画素欠陥などのノイズ信号の最大振幅をｎとすれば、ダーク画像信号に続いて、次に撮像素子４００を露光しない状態で読み出された本撮影画像信号にもダーク画像信号のノイズ信号に相関する最大振幅ｎのノイズ信号が含まれる。このときのダーク画像信号を基準とした本撮影画像信号の信号振幅をｓ、装置の感度をＩＳＯ１００設定とした場合の増幅器４０１によるゲイン設定をa倍とすれば、増幅器４０１による増幅出力は信号振幅は（ａ×ｓ）となり、ノイズ振幅は（ａ×ｎ）となる。

また、装置の感度をＩＳＯ２００設定とした場合には、撮像素子４００から出力されるダーク画像信号およびこれに含まれるノイズ信号については、ＩＳＯ１００設定の場合と全く同様であるが、ダーク画像信号を基準とした本撮影画像信号の信号振幅については、ＩＳＯ１００設定時の２分の１の露光量により（s/2）となり、ＩＳＯ２００設定とした場合の増幅器４０１によるゲイン設定はＩＳＯ１００設定時の２倍である（２×ａ）倍となる。このときの増幅器４０１による増幅出力は信号振幅は（ａ×ｓ）となり、ノイズ振幅は（２ａ×ｎ）となる。したがって、ＩＳＯ２００設定時には、ＩＳＯ１００設定時と比較して、信号振幅は同じでノイズ振幅だけが２倍という結果になる。

そこで、本実施例においては、装置の感度をＩＳＯ１００設定とした場合には、ダーク画像信号中のノイズ信号および、本撮影画像信号中の信号振幅と、これに含まれるノイズ信号とが適切にＡＤ変換器４０５の入力レンジの中に収まるように、まず、システム制御部５０ → タイミング発生部１８ → 制御バス４０６ → 増幅器４０１の制御の流れで、ＩＳＯ１００設定用の増幅器４０１のゲイン設定を行う。

次に、システム制御部５０ → タイミング発生部１８ → 制御バス４０６ → Ｄ／Ａ変換器４０８の制御の流れで、増幅器４０１の出力信号について、ＡＤ変換器４０５のボトム電圧に対するオフセット電圧ｃおよび、ＡＤ変換器４０５のボトム電圧およびトップ電圧が設定される。

すなわち、ダーク画像期間中のノイズ信号成分の下限を下回るボトム電圧が設定され、本撮影期間中の画像信号に含まれる画像信号およびノイズ信号成分の上限を上回るトップ電圧が設定される。ＡＤ変換器４０５の入力振幅レンジｄは、このとき設定されたトップ電圧とボトム電圧との差で与えられる。

また、ＩＳＯ２００設定とした場合にも、ＩＳＯ設定時と同様の手順により、ダーク画像信号中のノイズ信号および、本撮影画像信号中の信号振幅と、これに含まれるノイズ信号とが適切にＡＤ変換器４０５の入力レンジの中に収まるように、増幅器４０１の出力信号について、ＡＤ変換器４０５のボトム電圧に対するオフセット電圧eおよび、ＡＤ変換器４０５のボトム電圧およびトップ電圧（入力振幅レンジｆ）が設定される。すなわち、この場合にもダーク画像期間中のノイズ信号成分の下限を下回るボトム電圧が設定され、本撮影期間中の画像信号に含まれる画像信号およびノイズ信号成分の上限を上回るトップ電圧が設定される。

ところで、ＩＳＯ２００設定時には、ＩＳＯ１００設定時と比較して信号振幅が同じでノイズ振幅だけが２倍になることから、このノイズ信号をＡＤ変換器４０５の入力レンジの中に収めるためには、その分だけ、ＩＳＯ２００時の入力レンジｆは、ＩＳＯ１００時の入力レンジｄよりも大きくなる。そのために、ＡＤ変換器４０５への入力時の信号振幅が同じであれば、Ａ／Ｄ変換後のデジタル出力は、ＩＳＯ１００時に比較して（ｄ/ｆ）倍となり、この分のゲイン補正は、図１の画像処理部２０でデジタル演算により行われる。

ここで設定されるＩＳＯ１００、ＩＳＯ２００の各場合におけるオフセット電圧ｃ，ｅおよびＡＤ変換器４０５のボトム電圧およびトップ電圧（入力振幅レンジｄおよびｆ）は、システム内の制御パラメータとして、あらかじめ図１の不揮発性メモリなどで保持されており、システム制御部５０より、必要に応じて読み出されて設定される。

なお、前記設定においては、ＩＳＯ１００とＩＳＯ２００とでＡＤ変換器４０５の入力レンジをｄからｆ（f>d）のように可変とした。しかし、ダーク画像信号中のノイズ信号および、本撮影画像信号中の信号振幅と、これに含まれるノイズ信号とが適切にＡＤ変換器４０５の入力レンジの中に収まるようにオフセット電圧やＡＤ変換器４０５の入力レンジを設定することが本実施例の主旨であり、本主旨に沿いながら入力レンジを固定（f=d）として、実施することも、もちろん可能である。この場合には、実質的に、ＩＳＯ１００時の入力レンジを本来、必要なレンジｄからｆに引き上げて利用する結果になるため、その分、Ａ／Ｄ変換時の量子化ノイズが増大するという欠点を生ずるが、入力レンジに変動がないためＩＳＯごとのデジタル演算によるゲイン補正が不要となる利点が得られる。

また、本実施例においては、ＩＳＯ感度の設定をＩＳＯ１００、ＩＳＯ２００２つの場合に限って説明しているが、さらなる高ＩＳＯ感度設定に対しても適用可能であり、同様の効果が期待できる。

（第２の実施例）
ところで、前記実施例のようなダーク画像を利用したダークノイズ補正処理だけでは、本撮影画像信号に含まれるノイズ信号の振幅が大きくなるにつれて、このノイズ信号のために必要とされる入力レンジが増大し、これによる量子化ノイズの増大が本撮影画像信号の劣化を招くため、特に、高ＩＳＯ感度条件下の場合や、頻度は少ないが極端なレベル飛びのキズノイズなど、全てのキズに対処することは難しい。

そこで、キズのない近接画素を用いた補間による補正処理方法を、前記実施例に組み合わせ、うまく適合させた方式が、第２の実施例である。

ハードウエアの基本構成および主ルーチンのフローは、図１乃至図８を用いて第１の実施例で説明したのと全く同様であるので、ここでは省略し、第１の実施例と異なる部分のみを説明する。

図１０は、図８の撮像素子４００の出力信号およびオフセット加算器４０２の出力信号のレベルダイヤグラムである。

図１０において、第１の実施例と異なるのは、ＩＳＯ１００、ＩＳＯ２００設定時の場合の、ＡＤ入力信号に対する、それぞれのＡＤ入力レンジの与え方である。すなわち、第１の実施例においては、ダーク画像信号中のノイズ信号および、本撮影画像信号中の信号振幅と、これに含まれるノイズ信号とが全てＡＤ変換器４０５の入力レンジの中に収まるように設定されているが、本実施例においては、一部、入力レンジ外のノイズが設定される。そして、これら入力レンジ外のノイズは、前記実施例と同様にして、ダーク画像を利用したダークノイズ補正処理が終了した後に、図１のシステム制御部５０により、画像処理部２０にて、ソフトウエア手法でキズのない近接画素を用いて補間により補正される。補間による補正は、該当するキズ画素のデータを上下や左右の近接画素の演算結果で置換することにより行われ、そのアルゴリズムは種種多様であるが、ここではその内容には言及しない。もちろん、ごれらの演算処理をハードウエア手法により実現しても良い。

あらかじめ、撮像素子４００に固有のキズによる欠損画素の位置とキズの大きさとを検出しておき、そのキズの大きさにより、複数のグループにグループ分けしておく。そして、ＩＳＯ感度設定ごとのＡＤ変換器４０５の入力レンジの設定の仕方は、ノイズの大きさと、それによる上記入力レンジ外に発生するノイズの数をもとに決定される。

図１１に、ＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００の３つの感度条件に応じた、ＩＳＯ感度ごとの補間によるキズ補正のフローの一例を示す。

ここでは、あらかじめ、キズの大きいものから順番に、そのキズの大きさに応じて、キズグループ１、キズグループ２、キズグループ３と、各グループにおけるキズの数が所定数になるように、３つのグループにグループ分けされる。そして、グループごとにキズの位置情報とともに、図１の不揮発性メモリなどで保持されている。そして、キズ補正時には、これらのデータが随時読み出されて当該キズ画素の補正が行われる。

まず、ＩＳＯ感度の設定条件に応じて分岐処理される（Ｓ４０１）。ＩＳＯ１００の場合には、キズグループ３による補正のみ行われて（Ｓ４０４）、終了する。ＩＳＯ２００の場合には、キズグループ２による補正が行われ（Ｓ４０３）、その後にキズグループ３による補正のみ行われて（Ｓ４０４）、終了する。ＩＳＯ４００の場合には、キズグループ１による補正が行われ（Ｓ４０２）、その後にキズグループ２による補正が行われて（Ｓ４０３）、その後にキズグループ３による補正が行われ（Ｓ４０４）、終了する。

これにより、高ＩＳＯ感度ほど、補正するキズグループを増やして、より大きなキズ、より多くのキズの補正が行われるように処理の場合分けが行われる。

そして、この補間により補正されるキズの個数は、ダークノイズ補正処理におけるノイズレンジの増大による画質劣化と、補間によるキズ補正処理における画質劣化と処理の負荷（処理時間）とのバランスを考慮しながら、各ＩＳＯ感度条件ごとに最適に配分される。

なお、本実施例においては、ＩＳＯ感度の設定をＩＳＯ１００、ＩＳＯ２００、ＩＳＯ４００の３つの場合に限って説明しているが、さらなる高ＩＳＯ感度設定に対しても適用可能であり、同様の効果が期待できる。

（第３の実施例）
ところで、ＩＳＯ感度に応じた回路ゲインの切り換えによってゲインアップした際に、本撮影画像データの信号ダイナミックレンジの増大にともない、回路のスーリューレートの制約から、露出過多やキズノイズなどによる過大振幅信号の飽和により画像信号の遅延が発生して、後続する隣接画素信号に対して妨害が発生するという問題があることは、前記従来例において説明したとおりである。

この場合には、キズノイズの後続隣接画素への波及により、当該キズ画素を隣接画素で補間するキズ補正方式が、あまり有効に働かない。

そこで、露出過多やキズノイズなどによる過大振幅信号に対して、ＩＳＯ感度ごとに、増幅回路の出力の過飽和を抑え、補間によるキズ補正がより有効に働くように工夫した、あるいは、飽和領域における色再現性の劣化を防止する方法が、第３の実施例である。

ハードウエアの基本構成および主ルーチンのフローは、図１乃至図７を用いて第１の実施例で説明したのと全く同様であるので、ここでは省略し、第１の実施例と異なる部分のみを説明する。

図１２は、画像処理装置１００における撮像部１４およびＡ／Ｄ変換部１６を含む撮像装置ユニット１５の内部について、より詳細な構成を示したブロック図であり、本実施例の主要な働きをなす部分である。

図１２において、５００は撮像素子でありＣＣＤなどの光電変換デバイスである。５１１は撮像素子５００の出力振幅を制限するクリップ回路であり、５０１はクリップ回路５１１の出力信号を増幅する増幅器であり、５０２は増幅器５０１の増幅出力に所定の直流電圧を付加するオフセット加算器、５０５はオフセット加算器５０２のアナログ撮像出力をデジタル信号に変換するＡ／Ｄ変換器である。５０８は、クリップ回路５１１、オフセット加算器５０２およびＡ／Ｄ変換５０５に対して複数の直流電圧を供給する多チャンネルのＤ／Ａ変換器であり、各直流電圧値は、図１で示すシステム制御部５０よりタイミング発生部１８を介して供給される制御バス５０６によって制御される。

Ｄ／Ａ変換器５０８の出力の一つのチャンネル出力５１２は、クリップ回路５１１に供給されており、Ｄ／Ａ変換器５０８の出力の他の一つのチャンネル出力５０７は、オフセット加算器５０２に供給されており、これによりＡ／Ｄ変換５０５に供給される撮像信号の直流電圧が切り換えられる。Ｄ／Ａ変換器５０８の出力のその他のチャンネルからは、Ａ／Ｄ変換５０５のアナログ入力レンジを決定するボトム電圧５０９とトップ電圧５１０が出力されている。

そして、図１に示されたタイミング発生部１８より撮像素子５００、撮像装置ユニット１５の増幅器５０１およびＤ／Ａ変換器５０８に対して供給された制御バス５０６には、撮像素子５００において露光、読み出しなどを制御するための各種駆動パルスや、増幅器５０１のゲインを複数の所定の値に切り換えるための状態制御信号や、Ｄ／Ａ変換器５０８の複数のチャンネルのＤ／Ａ出力電圧を制御するための制御信号が含まれており、これらの制御値はＩＳＯ感度などの撮影条件に応じて切り換えられる。

そして、撮像素子５００から読み出された撮像信号は、クリップ回路５１１、増幅器５０１を介して、所定の信号振幅に増幅されて、オフセット加算器５０２によって所定の直流電圧を付加された後に、ＡＤ変換器５０５へ入力される。ＡＤ変換器５０５のデジタル出力は、図１の画像処理部２０に入力されて、メモリ制御部２２を介して、メモリ３０に記録される。

図２及至図５のフローチャートにおいて説明したように、まず、ダークノイズ補正処理の動作として、撮像素子を露光しない状態において、撮像素子５００ →クリップ回路５１１ →増幅器５０１ →オフセット加算器５０２ →ＡＤ変換器５０５ → 画像処理部２０ → メモリ制御部２２ → メモリ３０の流れで、ダーク画像データがメモリ３０に記録される。

次に、撮像素子を露光した状態において、撮像素子５００ →クリップ回路５１１ → 増幅器５０１ →オフセット加算器５０２ → ＡＤ変換器５０５の流れで読み出された本撮影画像データと、メモリ３０に記録されたダーク画像データとがメモリ制御部２２を介して読み出され、画像処理部２０によって、本撮影画像データからダーク画像データが減算されることにより、ダーク画像と同様に本撮影画像に含まれる暗電流ノイズや撮像素子固有の微少なキズによる画素欠損が相殺されて補正される。

このあたりのダークノイズ補正処理の動作については、撮像素子５００と増幅器５０１との間に、クリップ回路５１１が新たに追加された以外は、上記と全く同様である。

図１３は、図１２の撮像素子５００の出力信号および増幅器５０１の出力信号の１画素期間のレベルダイヤグラムである。次に、図１３の信号のレベルダイヤグラムを用いて図１２における信号処理の具体的な説明を行う。

撮影信号の最大レンジが、撮像素子５００の出力でダーク信号レベルを基準にして、そこから実際に撮像信号として使用される上限レベルまでの振幅として規定できる。

装置の感度をＩＳＯ１００設定とした場合に、このときの撮影信号の最大レンジを基準値１とする。ＩＳＯ１００設定時のクリップ回路５１１におけるクリップレベル電圧は、撮像信号の最大レンジに等しいか、または、これよりわずかに大きい電圧に、システム制御部５０により設定される。ＩＳＯ１００設定時の増幅器５０１のゲイン設定をａ倍とすれば、このときの増幅器５０１の増幅信号出力は、値ａとなる。この場合、たとえば、撮像素子５００の出力に、キズノイズなどの影響により本来の撮像信号のレベルとは無関係に、撮影信号の最大レンジを大きく超える過大な信号レベルが発生しても、クリップ回路５１１で設定されたクリップ電圧以上の出力レベルが増幅器５０１に与えられることがないので、増幅器５０１の出力は、この場合にも増幅出力振幅の上限値ａと同じか、それよりも僅かに大きな値に留まり、過飽和による画像信号の遅延が後続隣接画素に対して妨害を与えることはない。

さらに、装置の感度をＩＳＯ２００設定とした場合には、このときの撮影信号の最大レンジは、ＩＳＯ１００設定時の２分の１の値０．５となるので、ＩＳＯ２００設定時のクリップ回路５１１におけるクリップレベル電圧は、この最大レンジに等しいか、または、これよりわずかに大きい電圧に、システム制御部５０により設定される。ＩＳＯ２００設定時の増幅器５０１のゲイン設定は、ＩＳＯ１００設定時の２倍である２ａ倍となり、このときの増幅器５０１の増幅信号出力は、値ａとなる。この場合には、キズノイズなどの影響だけでなく、露光条件によっては、容易に撮影信号の最大レンジ０．５を超える過大な信号レベルが発生しうるが、クリップ回路５１１で設定されたクリップ電圧以上の出力レベルが増幅器５０１に与えられることがないので、増幅器５０１の出力は、やはり、この場合にも増幅出力振幅の上限値ａと同じか、それよりも僅かに大きな値に留まり、過飽和による画像信号の遅延が後続隣接画素に対して妨害を与えることがない。

なお、本実施例においては、ＩＳＯ感度の設定をＩＳＯ１００とＩＳＯ２００の２つの場合に限って説明しているが、さらなる高ＩＳＯ感度設定に対しても、撮影信号の使用最大レンジを規定し、クリップ回路５１１におけるクリップレベル電圧をこの撮像信号の最大レンジに等しいか、または、これよりわずかに大きい電圧に設定することで適用可能であり、同様の効果が期待できる。

上記の第１乃至第３の実施例において、処理手段は、オフセット加算器４０２、ＡＤ変換器４０５、画像処理回路２０及びクリップ回路５１１の少なくとも一つに相当し、制御手段は、システム制御回路５０に相当する。

第１の実施例によれば、ＩＳＯ感度に応じた回路ゲインの切り換えによって、たとえダーク画像の信号ダイナミックレンジが変動しても、オフセット加算手段により、あるいは、ＡＤ変換手段の入力レンジ変換手段により、撮像画像のダークレベルやハイライト部分の飽和レベルを適切に設定できるので、同一の露出条件なのに、ＩＳＯ感度が異なるとダーク部分に浮き沈みを生じたり、ハイライト部分の飽和レベルがまちまちになるという問題を解消できるので、ＩＳＯ感度の違いに依らず、まとまりのある絵作りの撮像画像を得ることができる。

また、第２の実施例によれば、ＩＳＯ感度に応じた回路ゲインの切り換えによって、画素欠損ノイズが、たとえダーク画像の信号ダイナミックレンジをオーバーしたとしても、キズ補正手段によりキズ補正の数を切り換えることができるので、ＩＳＯ感度ごとに、キズ補正しきれずにキズが残ってしまうという問題を解消できるので、ＩＳＯ感度の違いに寄らず、欠損のない高品位な撮像画像を得ることができる。

また、第３の実施例によれば、キズノイズなどにより本撮影画像データが過大振幅になった場合や、ＩＳＯ感度に応じた回路ゲインの切り換えによってゲインアップしたことで本撮影画像データが過大振幅になった場合にも、クリップレベル切り換え手段により、本撮影画像の信号レベルを回路飽和させない適切な信号レベルに設定できるので、キズノイズや高ＩＳＯ感度時における回路飽和時のスーリューレート特性による信号遅延と、それによる後続する隣接画素信号に対する妨害を生ずることがないので、これにより、キズ補正しきれずにキズが残ってしまうという問題を解消でき、さらに高輝度部分における色相曲がりや、高彩度部分における色飛びのない安定した撮像画像を得ることができる。

なお、上記実施例は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１２：シャッター
１４：撮像部
１６：Ａ／Ｄ変換部
１８：タイミング発生回路
２０：画像処理回路
２２：メモリ制御回路
２４：画像表示メモリ
２６：Ｄ／Ａ変換器
２８：画像表示部
３０：メモリ
３２：画像圧縮・伸長回路
４０：シャッター制御手段
４２：測距手段
４６：測光手段
４８：フラッシュ
５０：システム制御回路
５２：メモリ
５４：表示部
５６：不揮発性メモリ
６０：モードダイアルスイッチ
６２：シャッタースイッチSW1
６４：シャッタースイッチSW2
６６：再生スイッチ
６８：単写/連写スイッチ
７０：操作部
７２：電源スイッチ
７４：リアルタイムクロック
８０：電源制御手段
８２：コネクタ
８４：コネクタ
８６：電源手段
９０：インタフェース
９２：コネクタ
９４：インタフェース
９６：コネクタ
９８：記録媒体着脱検知手段
１００：画像処理装置
１０４：光学ファインダ
１０６：レンズマウント
１１０：通信手段
１１２：コネクタ（またはアンテナ）
１２０：インタフェース
１２２：コネクタ
１３０：ミラー
１３２：ミラー
２００：記録媒体
２０２：記録部
２０４：インタフェース
２０６：コネクタ
２１０：記録媒体
２１２：記録部
２１４：インタフェース
２１６：コネクタ
３００：レンズユニット
３０６：レンズマウント
３１０：撮影レンズ
３１２：絞り
３２０：インタフェース
３２２：コネクタ
３４０：露光制御手段
３４２：測距制御手段
３４４：ズーム制御手段
３５０：レンズシステム制御回路
４００：撮像素子
４０１：増幅器
４０２：オフセット加算器
４０５：ＡＤ変換器
４０８：Ｄ／Ａ変換器
５００：撮像素子
５０１：増幅器
５０２：オフセット加算器
５０５：ＡＤ変換器
５０８：Ｄ／Ａ変換器

Claims

被写体の光学像を画像信号に変換する撮像手段と、
前記画像信号を増幅する増幅手段と、
感度に応じたゲインを前記増幅手段に設定するゲイン設定手段と、
前記画像信号に含まれる画素キズを補正するキズ補正手段と、
前記画素キズの大きさに応じて前記画素キズを異なる複数のグループに分けて各画素キズの位置情報とともに属するグループの情報を記憶する記憶手段と、
前記感度が高くなるほど前記キズ補正手段による補正対象とするグループの数が多くなるように前記感度に応じて前記キズ補正手段による補正対象とするグループを選択し、選択したグループに属する画素キズの位置情報を前記記憶手段から読み出して、読み出した位置情報に基づいて前記キズ補正手段が前記画像信号に含まれる画素キズを補正するように制御する制御手段と、
を有することを特徴とする撮像装置。
前記感度はＩＳＯ感度を含むことを特徴とする請求項１に記載の撮像装置。
被写体の光学像を画像信号に変換する撮像手段と、前記画像信号を増幅する増幅手段と、感度に応じたゲインを前記増幅手段に設定するゲイン設定手段と、前記画像信号に含まれる画素キズを補正するキズ補正手段と、前記画素キズの位置情報を記憶する記憶手段とを有する撮像装置の制御方法であって、
前記記憶手段には、前記画素キズの大きさに応じて前記画素キズを異なる複数のグループに分けてグループごとに画素キズの位置情報とともに属するグループの情報が記憶されており、
前記感度が高くなるほど前記キズ補正手段による補正対象とするグループの数が多くなるように前記感度に応じて前記キズ補正手段による補正対象とするグループを選択し、選択したグループに属する画素キズの位置情報を前記記憶手段から読み出して、読み出した位置情報に基づいて前記キズ補正手段が前記画像信号に含まれる画素キズを補正するように制御することを特徴とする制御方法。
前記感度はＩＳＯ感度を含むことを特徴とする請求項３に記載の制御方法。