JP3980781B2

JP3980781B2 - 撮像装置および撮像方法

Info

Publication number: JP3980781B2
Application number: JP02462699A
Authority: JP
Inventors: 和也小田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 1999-02-02
Filing date: 1999-02-02
Publication date: 2007-09-26
Anticipated expiration: 2019-02-02
Also published as: JP2000224487A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像素子における欠陥画素による傷の現われを補正して低減する撮像装置および撮像方法に係り、たとえば、撮像画像を処理して出力するディジタルカメラに適用されて、該撮像画像を表わす画像データを情報記録媒体等に出力する撮像装置および撮像方法に関するものである。
【０００２】
【従来の技術】
近年、受光素子に照射された被写界像を光電変換するCCD (Charge Coupled Device) 二次元イージセンサなどの固体撮像素子を備えたディジタルカメラが知られている。たとえば、静止画像を記録媒体に記録可能なディジタルスチルカメラでは、撮像した静止画像を圧縮符号化し、符号化データを所定の形式に変換し、フラッシュメモリなどにて構成されるメモリカードに記録する機能を有し、約130 万画素程度の高画素密度にて静止画像を記録可能になっている。
【０００３】
このような固体撮像素子より得られる画像信号には、画素を形成する各セルの一部に受光量に応じた電荷を生成することができない画素や暗電流の不均一によるノイズが規定値以上に発生してしまう画素などのいわゆる欠陥画素が製造上含まれることがあり、欠陥画素は、その画像信号を表示させた際に白傷、黒傷もしくは変調性の傷となって撮像画像に現われて画像品質を著しく低下させる。このような画素欠陥は、撮像素子の検査工程にて所定の温度にて欠陥画素であるか否かが判定され、画素欠陥であると判定した画素位置を表わす座標データとその撮像素子ともに、撮像素子の使用者側に供給される。
【０００４】
このような画素欠陥を補正する欠陥画素補正方式として、たとえば特開平1-105671号公報に記載の固体撮像装置用画像欠陥補正装置は、固体撮像素子より出力される出力信号のうち欠陥画素の出力タイミングで欠陥補正信号を発生し、この欠陥補正信号を前記出力信号に加算して欠陥画素に対する欠陥補正を行なう際に、固体撮像素子に対する信号電荷の読み出しモードに応じて読み出した「欠陥画素データ」によって欠陥画素の画素値を補正する構成であった。
【０００５】
【発明が解決しようとする課題】
しかしながら従来の欠陥補正方式では、欠陥補正する画素は、たとえば撮像素子の製造元にて所定の条件で欠陥検出された画素位置を示す座標データであるので、撮像素子の使用環境や使用状態さらには撮像素子の動作状態によって、きめの細やかな欠陥画素補正を行なうことができなかった。
【０００６】
たとえば、このような撮像素子を搭載するディジタルスチルカメラにて撮影および記録する場合に、撮影条件や撮影目的などによっては、撮像素子における電荷蓄積時間つまり露光時間が長時間となって、その露光時間にて発生される暗電流によって欠陥画素状態の画素が発生し、撮像した画像の品質が低下するという問題があった。とくに、撮像素子に欠陥画素が含まれている場合には、周知の方式によってその欠陥画素を他の画素によって補間処理することが行なわれるが、露光時間や温度によってはその欠陥画素が画素欠陥状態であると断定できない場合があり、この場合においても欠陥画素の座標データに基づいて単一な補正処理を行なっていた。このような座標データを用いて単に補間処理を行なう場合、ある撮影条件にて撮影した際に、実際には欠陥として認識できない画素までもが補間対象画素となって補間されてしまい、また、欠陥画素と補間を行う近傍の同一色の画素との相関が小さい場合には、より補正誤差を生じて解像度等の画質が劣化するという問題があった。このため、さまざまな使用条件において欠陥画素と判定しうる画素については、その全てを欠陥補正することとなって、これは演算処理量の増大を招いて画像出力速度が低下したり、低下しないようにするためには回路規模を増大して高速の処理システムを構築する必要があった。逆に、通常状態では欠陥画素として現われない画素についても、露光時間や環境温度によっては、欠陥画素状態となることがあり、このような画素が傷として現われる場合には適切な処理が必要であった。
【０００７】
本発明はこのような従来技術の欠点を解消し、撮像素子の画素欠陥を状況に応じて適切に補正して、良好な画像を得ることのできる撮像装置および撮像方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は上述の課題を解決するために、被写界に応じた光学像を撮像し、この撮像により得られる画像信号を処理して出力する撮像装置において、この装置は、記光学像を光電変換して光学像に応じた画像信号を出力する撮像手段と、撮像手段から出力される画像信号における欠陥画素を補正して、補正された画像信号を出力する処理手段と、処理手段の出力を所定の出力形式に応じて処理して出力する出力手段と、欠陥画素を補正するための補正情報であって、欠陥画素の複数の属性と、属性に応じて検出された欠陥画素の位置情報とを含む補正情報を読み出し可能にあらかじめ記憶する記憶手段と、撮像手段および出力手段の動作を制御し、処理手段における補正処理を制御する制御手段とを備え、制御手段は、複数の属性のうちいずれかの属性をこの装置の動作状態に応じて選択し、選択した属性に対応する位置情報を記憶手段より読み出して画像信号を欠陥補正するアドレスを処理手段に供給し、処理手段は、制御手段より供給されるアドレスに応じた画像信号の画素を補正処理の対象画素として、対象画素の画素値を補正することを特徴とする。
【０００９】
また、本発明は上述の課題を解決するために、被写界に応じた光学像を撮像し、この撮像により得られる画像信号を処理して出力する撮像方法において、この方法は、光学像を光電変換して光学像に応じた画像信号を撮像手段より出力する撮像工程と、画像信号における欠陥画素を補正して、補正された画像信号を出力する処理工程と、処理工程にて出力される画像信号を所定の出力形式に応じて処理して出力する出力工程と、欠陥画素を補正するための補正情報であって、欠陥画素の複数の属性と、属性に応じて検出された欠陥画素の位置情報とを含む補正情報を読み出し可能にあらかじめ記憶する記憶工程と、撮像工程および出力工程における処理動作を制御し、処理工程における補正処理を制御する制御工程とを備え、制御工程は、複数の属性のうちいずれかの属性を動作状態に応じて選択し、選択した属性に対応する位置情報に基づいて画像信号を欠陥補正するアドレスを生成し、処理工程は、アドレスに応じた画像信号の画素を補正処理の対象画素として、対象画素の画素値を補正することを特徴とする。
【００１０】
【発明の実施の形態】
次に添付図面を参照して本発明による撮像装置の一実施例を詳細に説明する。図１を参照すると、本発明が適用されたディジタルスチルカメラのブロック図がが示され、このディジタルスチルカメラ10は、撮像レンズ12および撮像素子(CCD) 14によって撮像される被写界の撮像信号を処理して、静止画像を表わすデータを本体10に着脱可能なメモリカード16に記録する撮像装置である。このカメラ10は、被写界を連続的に撮像してその動画像を表わすデータを生成し、撮像画像に応じた映像をカラー液晶モニタ18に順次表示する。
【００１１】
詳しくは、カメラ10は、高解像度の撮像画像を静止画符号化処理してメモリカード16に記録する静止画モードと、複数の撮像画像を連続的にカラー液晶モニタ18に表示させてファインダ機能を実現する動画モードとを有し、操作部20に備えられたレリーズスイッチ22がオン状態に操作されると静止画モードが設定されて静止画像の撮影および記録を行なう。本カメラ10は、被写界の明るさを測光した際の測定値と複数段に可変の絞り値とに応じて撮像素子14への露光時間を自動制御する自動露出(AE)機能と、これら露光条件を任意に設定可能なマニュアル露出機能とを備えており、様々な撮影条件および撮影目的に応じて有効に活用可能である。また、カメラ10は、動画モードにおいてモニタ18に撮像映像が順次表示されることにより、撮影記録前の被写界画像を連続的な動画像によってフレーミングおよびフォーカシング等の撮影調節をすることができる。撮影者によるレリーズ操作に応じた静止画モードでは、動画モードにてフレーミングされた際に撮像される１コマもしくは複数コマの高解像静止画像を処理してメモリカード16に記録する。このカメラ10は、撮像素子14にて発生する欠陥画素をカメラ10の撮影条件および記録条件に応じて適切に補正し、補正された画像を記録または表示させる。たとえば静止画モードにおける静止画撮影の際に、カメラ10は、絞り値および測光値に応じて決定されるシャッタ速度に対応する露光時間、撮像素子14の温度、さらには撮像データを圧縮符号化する際の圧縮率等に応じて、画素欠陥を補正処理する際の対象画素を選択して切り換えることにより、過不足のない適切なディジタル画像処理を行なう。なお、以下の説明において本発明に直接関係のない部分は、図示およびその説明を省略し、また、信号の参照符号はその現われる接続線の参照番号で表わす。
【００１２】
カメラ10は、被写界に向けて配設される撮像レンズ12により結像される被写界像を電気信号に変換する撮像素子14を備え、撮像素子14の撮像面には、たとえばＧストライプＲ／Ｂ完全市松配列のRGB 原色フィルタが被着されている。撮像素子14は、約130 万〜150 万画素の高画素密度を有するインターライン転送CCD 撮像素子が有利に適用され、撮像素子14は、画素を形成するフォトダイオードを水平および垂直方向に複数配列した感光部と、各フォトダイオードにて生成される電荷を垂直方向に転送する垂直転送CCD と、各垂直転送CCD から転送される電荷を転送する水平転送CCD と、水平転送CCD にて転送される電荷を電気信号に変換して出力する出力アンプとを含む二次元CCD イメージセンサである。
【００１３】
この撮像素子14には、その製造上欠陥画素が含まれ、その欠陥の程度により、きずレベルが他の正常な画素のそれよりも大きい画素、および大きくなる画素を画素欠陥処理における対象画素として取り扱う。このような欠陥画素の位置を特定する座標データは、基本的には撮像素子14の製造メーカから供給され、この座標データは後述の制御部26に接続された座標メモリ28に補正テーブルとして格納されるが、本実施例ではさらに、撮像素子14の欠陥画素に関して独自に検査して、その検査結果に応じた補正テーブルを座標メモリ28に格納しておく。
【００１４】
詳しくは、座標メモリ28には撮像素子14の特性によって欠陥画素として現われる条件に応じた画素位置を示す座標データが格納されている。図２に示すとおり本実施例における座標メモリ28の記憶領域200 には、結果として現われる傷の種類をそれぞれ白傷、黒傷および変調傷として、それら傷の種類に応じた撮像素子14における画素アドレス(X,Y) を示す座標データが格納されている。各種類の傷はさらに、傷として検出される複数段階の程度（検出レベル）に応じてさらに詳細にそのアドレスが区分されて座標メモリ28に記憶されている。この例によれば、白傷は値"01"で分類され、その検出レベル値"01"は、白傷判定の際に8mV 以上の画素値出力のある程度が高い白傷であり、値"10"は同様に6mV 以上の画素値出力、値"11"は、4mV 以上の画素値出力のあるレベルが低い白傷である。座標メモリ28にはこのような各スライスレベルの白傷に対応してその傷を有する撮像素子14におけるアドレスがそれぞれ各レベルごとに格納されている。また、値"10"にて分類される黒傷についても画素出力レベルが異なるものの各レベル値"01","10","11"に応じて画素アドレスが座標メモリ28に格納されている。また、ダイナミックレンジの変動を伴う変調傷は値"11"にて分類されており、その検出レベル値"01"は、変調傷判定の際に20％以上の画素値変動のある程度が高い傷であり、値"10"は同様に15％以上の画素値変動、値"11"は、10％以上の画素値変動のあるレベルが低い傷である。この変調傷についてもそれらの画素アドレスが座標メモリ28に格納されている。このように各傷レベルの画素位置を示す画素アドレスによって、欠陥画素を判定する場合、欠陥レベルが低い検出条件にて検出された画素アドレスに従って処理を行なうと厳しい条件での補正処理が行なわれ、逆に高い欠陥レベルの検出条件にて検出された画素アドレスに従って処理を行なうと、緩い条件での補正処理が行なわれることとなる。この場合、検出レベルが低いほど、欠陥補正する対象画素は多くなり、検出レベルを高くして検出した画素アドレスでは対象画素は少なくなる。
【００１５】
本実施例ではこのように、傷の各検出レベルごとにそれらを満たす欠陥画素の画素アドレスを各々座標メモリ28の記憶領域200 に座標データとして格納しているが、これに限らず、あるレベルの範囲ごとに対応する画素アドレスを格納しておくようにすると、各傷の種類内での画素アドレスを重複して格納しなくてもよい場合がある。たとえば、値"10"の白傷を6mV 〜8mV 範囲の傷として分類しておくと、この傷が発生する場合には、たとえば値"11"の白傷4mV 〜6mV がすでに発生しているケースである。このような場合に値"10"の欠陥画素の画素アドレスを座標メモリ28から読み出す際には、値"11"に対応する画素アドレスも併せて読み出す。
【００１６】
このようにして座標メモリ28には、傷の種類や程度などの各属性に対応する欠陥画素の画素アドレスが格納され、これら画素アドレスは、傷の各属性に応じて制御部26に読み出される。後述するように、これら欠陥画素の画素アドレスが読み出される場合には、そのときの検査条件に適合する判断条件によって、これら属性における種類および各検出レベルが選択され、選択された属性の画素アドレスに対応する画素の値が補正されることによって、たとえば画質判定にあまり影響のない傷に対して補正することが防止され、この補正処理による画質劣化についてもなくなり、各撮影記録条件に応じて適切な位置の画素が対象画素として補正処理される。
【００１７】
図１に戻って撮像素子14は、入力100 に入力される駆動信号により駆動され、色フィルタ15を介してフォトダイオードに到達する光の量およびその露光時間に応じた電荷をそれぞれ生成し、電荷に応じた電気信号をRGB 点順次の撮像信号として出力102 に出力する。本実施例における撮像素子14は、フォトダイオードにて光電変換する時間、つまり露光時間を、駆動信号100 によって可変に制御する電子シャッタ機能を有し、この駆動信号100 はタイミング制御部30より供給される。撮像素子14の出力102 は、相関二重サンプリング(CDS) 回路32に接続され、相関二重サンプリング回路32は、入力102 に入力される撮像信号を、タイミング制御部30より供給される画素クロック104 に同期して相関二重サンプリングし、撮像素子14の出力信号におけるリセットノイズを除去する前置増幅回路である。
【００１８】
CDS 回路32の出力106 に接続されたアナログ信号処理部34は、RGB 点順次に入力される撮像信号を、タイミング制御部30から供給される色分離パルス108 に応動して各色成分ごとに３線分離する色分離回路と、色分離された各色成分信号のレベルを制御信号110 に応動して調整する色バランス調整回路およびガンマ補正回路と、３線化された各色成分信号を一線化するマルチプレクサとを含み、入力される画素クロックや色分離パルス108 などの制御信号に応動して、これら調整および補正処理等のアナログ信号処理を行なう。アナログ信号処理部28は、一線化した画像信号を出力112 に接続されたアナログ・ディジタル変換処理部(A/D) 36に線順次に供給する。アナログ・ディジタル変換処理部(A/D) 36は、入力112 に入力される画像信号を所定ビットのディジタル信号に変換する処理部である。本実施例におけるA/D 変換処理部36は、タイミング制御部30から供給されるA/D クロックや同期信号等の制御信号114 に応動して、水平走査期間ごとに切り換えて供給される各色成分の各画素信号を、たとえば８ビットもしくは10ビットのディジタル値に順次変換する。A/D 変換処理部36の出力116 はディジタル信号処理部38に接続されている。
【００１９】
ディジタル信号処理部38は、入力116 に入力されるディジタル画像データを、制御部36から供給される制御信号に基づいて、各種ディジタル信号処理する処理回路である。この信号処理部38は、RGB 画像信号をそれぞれ一時記憶するフレームメモリ39を有している。信号処理部34は、フレームメモリ39に一時格納されるRGB 原色カラー画像データを輝度データＹおよび色差データＣに変換するYC分離処理機能を有し、静止画モードではYCデータを出力118 に接続された記録制御部40に出力し、動画モードではYCデータを出力120 に接続されたビデオ信号発生部42に供給し、また、RGB 画像データを出力122 に接続されたモニタ18に供給する。
【００２０】
ディジタル信号処理部38は、静止画モードが設定されると、フレームメモリ39に格納される画像データに対し、輝度および彩度等を補正する補正処理を静止画モードに応じた信号処理パラメータに従って行なう。また、信号処理部38は、YC画像データによる画像の輪郭を検出して、その輪郭部分を信号処理パラメータに従って強調する輪郭強調処理機能を有する。
【００２１】
また、静止画モードにおける信号処理部38は、記録制御部40における圧縮符号化方式に応じて画像データをYCデータに変換し、記録制御部40は、輝度データＹおよび色差データＣに対して圧縮および符号化処理を行なう。この記録制御部40は、コネクタ41に着脱可能に接続されるメモリカード16に記録する符号化データを作成する処理部であり、静止画像の画像データおよび符号化データの書込みおよび読出しを制御する機能を有している。本実施例における記録制御部40は、入力される画像信号118 をJPEG方式等の圧縮符号化処理によって符号化して、制御部26から指定される圧縮率の符号化データを生成し、これをメモリカード16等の記録媒体に応じた記録形式に変換してメモリカード16に書き込む。記録制御部40はまた、メモリカード16に記録された情報を読み出してその符号化データを復号し、復号された画像データをディジタル信号処理部38に供給する機能を有する。この場合、信号処理部38は、記録制御部40から供給される静止画像データを、カラー液晶モニタ18やビデオ信号発生部42に適合する信号形式に変換する。記録制御部40に着脱自在に装填されるメモリカード16は、信号処理部38から出力され、記録制御部40にて符号化処理された画像データおよび各種情報を記憶保持可能なフラッシュメモリおよびEEPROMなどの半導体メモリを有する記憶媒体である。メモリカード16に記憶された画像データ等の情報は記録制御部40から供給される制御コマンドにより読み出されて信号処理部38に入力される。
【００２２】
また、ディジタル信号処理部38は、メモリカード16に記録する画像信号を処理するのに先立って、露出調整および撮像レンズ12の焦点位置調整等の撮像制御を行なうための評価値を画像データに基づいて算出し、算出された評価値を制御部26に供給する機能を有し、制御部26は、後述するように、この評価値に基づいて、撮像素子14、アナログ信号処理部34およびディジタル信号処理部38を制御して撮影制御を行なう。具体的には、信号処理部38は、入力される画像データ116 によるフレームをたとえば64分割などの複数のブロックに分割して、各ブロックの画像データ値から、被写体に対する適切な露出を決定するための輝度評価値を生成する機能を有する。また、信号処理部38は、入力される画像データ116 から画像のコントラスト成分を抽出して、被写体画像のコントラストを表わすコントラスト評価値を生成する機能を有している。さらに信号処理部38は、画像データ116 のホワイトバランスを調整するための評価値を生成し、制御部26から与えられる自動モード、タングステンモードおよびデイライトモードなどの設定条件と評価値とに従って画像データのホワイトバランスを調整する。制御部26は、これら生成した評価値を出力130 に出力する。
【００２３】
また、ディジタル信号処理部38は、撮像素子14のフィルタ配列に応じて各画素を３つの原色RGB にて表わす画素補間機能を有し、撮像素子14におけるR,G,B 各原色の画素から１つのRGB 画素を補間処理により生成する機能を有している。
【００２４】
さらにディジタル信号処理部38は、欠陥画素を静止画モードにて補正する機能を有し、その際に欠陥画素の周辺の複数画素を用いて補間処理することにより、良好に補正された静止画像を生成する。詳しくは、信号処理部38は、座標メモリ28に格納された座標データに応じて制御部26から供給される位置情報124 を用いて、この位置情報124 に対応する画素の値を同一色成分の周辺画素値に基づいた値で置き換える画素補間処理を行なう。たとえば、信号処理部38は、フレームメモリ39に一旦記憶された欠陥画素に近接する上下左右方向の同一色成分画素を用いてそれらの平均を算出し、その平均値を欠陥画素が記憶されるアドレスに書き込んで欠陥画素を補正する。信号処理部38は、このようにして処理した１コマの静止画像データをフレームメモリ39から読み出して記録制御部40に出力する。動画モードにおける信号処理部38ではこのような演算処理が必要な静止画用の欠陥補正処理を行なわず、簡易的な画素欠陥補正処理を、たとえばアナログ処理部34、A/D 変換処理部36もしくはディジタル信号処理部38にて行なって、画像データをモニタ用のRGB 信号に変換し、出力先として設定されるモニタ18やビデオ信号発生部42に応じて高速に出力する。
【００２５】
ビデオ信号発生部42は、信号処理部38より出力されるYCデータを、その出力端子44に接続される映像機器に適合する信号形式に変換する処理部である。本実施例の信号発生部42は、YCデータを汎用のNTSC方式の複合映像信号に変換して出力する。その出力端子44に接続される映像機器としては、たとえば、TVモニタ装置やビデオプリンタ装置、さらにはビデオレコーダなどの外部装置などがある。またカラー液晶モニタ18は、信号処理部38より出力されるRGB 画像データを順次液晶パネルに表示する表示ユニットである。この液晶パネルには、動画モードにおける動画像や、カメラの動作状態、および操作に関する支援情報等を示す文字およびグラフィック画像などが表示され、この表示／非表示の切換えは操作部20に配設された表示スイッチ46にて行なわれる。
【００２６】
各種タイミング信号を生成するタイミング制御部30は、制御部26にて設定される各動作モードに応じた各種クロックおよび駆動信号を発生して各部に供給する信号生成部である。タイミング制御部30は、動画モードおよび静止画モードにおけるそれぞれの駆動方式にて撮像素子14を駆動するクロックおよび駆動信号を出力100 に出力する。本実施例における動画モードでは、たとえば電子シャッタ速度が動画像に適する1/60〜1/100 秒程度となるように撮像素子14の電荷蓄積時間を制御するフィールドシフトパルスを出力し、撮像素子14のフォトダイオードにて生成した電荷を水平および垂直電荷転送パルスによって転送して、それら電荷に応じた電気信号を出力102 から出力させる。撮像素子14は、これら駆動信号100 を受けて毎秒数10フレームの各コマを撮像し、各フレームの画像を連続的に出力して動画像信号を出力する。
【００２７】
また、静止画モードでは、制御部26より供給されるレリーズ情報およびシャッタ速度情報等の制御情報126 に応じて撮像素子14を駆動するクロックおよび駆動信号を出力100 に出力する。これらの信号100 により駆動される撮像素子14は、制御部26にて決定される電子シャッタ速度がたとえば数10秒〜1/1000程度の露出時間にて生成した電荷を、駆動信号100 に含まれる転送パルスによって転送してその出力102 から１コマもしくは複数コマの静止画像信号を出力する。また、タイミング制御部30は、撮像素子14から出力される各画素のタイミングを規定する画素クロックを生成して出力104 に出力し、撮像信号を色分離する色分離パルスを出力108 に出力する。さらにタイミング制御部30は、画像信号をディジタル値に変換するためのADクロックや同期信号を出力114 に出力する。さらにタイミング制御部30は、これらクロックを出力128 に出力してディジタル信号処理部38における各種信号処理の基準信号を供給する。
【００２８】
各部を制御する制御部(CPU) 26は、動画モードと静止画モードとを択一的に設定して各モードにおける動作条件を設定する機能を有し、表示スイッチ46がオン状態に操作されたり、ビデオ信号発生部42の出力端子44に、動画像表示が可能な表示装置が接続されたことを検出したりすると動画モードを設定する。また、制御部26は、レリーズスイッチ22がオン状態に操作されたことを検出すると静止画モードを設定し、静止画像の撮影制御を行なう。制御部26は、操作部20に備えられた電源スイッチ48がオンされて、各部に電源が供給されるとこれに応動し動画モードを設定するように初期設定されていてもよい。なお、スイッチ22が２段式スイッチにて構成される場合には、その第１ストロークにて動画モードにおける撮像調節を行なって、焦点調節、露出調節およびホワイトバランス等を調整し、スイッチ22がさらに押下された第２ストロークにて静止画モードに移行するとよい。
【００２９】
制御部26は、ディジタル信号処理部38から出力される評価値130 に基づいて、露出値およびレンズ12の焦点位置を決定する撮像調節機能を有する。具体的には、信号処理部38より被写体の明るさに応じた評価値が制御部26に供給されると、この評価値と、そのときの自動露出モードまたはマニュアルモード等の操作状態とに応じて、絞り値および電子シャッタ速度を調節する制御情報と、アナログ処理部34にて撮像信号106 の信号レベルを調節するための制御信号および制御情報を生成する。また、撮像した被写界のコントラストに応じた評価値が信号処理部38より制御部26に供給されると、そのコントラストが最大となるように撮像レンズ12の焦点位置を制御する制御信号を生成し、その制御信号を不図示のレンズ駆動部に供給して撮像レンズを駆動してコントラスト情報に応じた自動焦点調節制御を行なう。
【００３０】
本実施例における制御部26は、撮像制御の際に決定した露出値に応じたシャッタ速度（露出時間）を決定してその制御情報をタイミング制御部30に供給するとともに、ディジタル信号処理部38にて信号処理を行なう際の対象画素を切り換える制御を行なう。
【００３１】
詳しくは、制御部26は、座標メモリ28に格納された座標データに従って欠陥画素をディジタル信号処理部38にて補間処理させる制御機能を有しており、制御部26は、座標メモリ28に格納されている複数の属性のうち画素欠陥の種類をカメラ10の撮影記録条件に応じて選択する。制御部26は、さらに、選択した種類のうちいずれかのレベルを撮影記録条件に従って選択する機能を有し、このようにして選択した種類およびレベルに対応する画素アドレスを読み出す。制御部26は、座標メモリ28から読み出された画素アドレスを、ディジタル信号処理部38のフレームメモリ39に対応するメモリアドレスに変換して出力124 に出力する。
【００３２】
カメラ10の撮影条件としては、撮像素子14に対する電子シャッタ速度や、撮像素子14の温度、さらにはカメラ10周囲の環境温度を日付等で概算した温度などがあり、これらの動作条件に応じて制御部26は、画素の欠陥補正を行なう画素を座標データの中から選択する。このため撮像素子14の近傍にはその表面温度を検出するための温度センサ52が配設されており、制御部26は、温度センサ52の抵抗値の変化を測定することによりカメラ10の撮影条件を認識する。制御部26は、検出温度が高い場合には欠陥画素が多く現われてくるので、たとえば白傷"01"のレベル"11"を選択し、これに対応する画素アドレスを読み出す。逆に検出温度が低い場合には、その温度に応じてたとえば白傷"01"のレベル"01"に対応する画素アドレスを読み出す。また、制御部26は、撮像素子14へ長時間の露光時間を規定するシャッタ速度を決定すると、そのシャッタ速度にて撮像した画像に対して欠陥画素の補間処理をする際に、欠陥画素が多く現われてくるので、たとえば白傷"01"のレベル"11"を選択し、これに対応する画素アドレスを座標メモリ28から読み出す。また、カメラ10の記録条件としては、記録制御部40に画像データを圧縮符号化処理する際の圧縮率などの動作条件がある。制御部26は、記録制御部40に対し符号化処理する際の圧縮率を設定する機能を有し、撮像画像を無圧縮もしくは低圧縮率にて圧縮符号化して画像品質を高レベルに維持する記録モード（ファインモード）の場合には、画素欠陥の程度が低いものであっても、そのレベルに応じて厳しい条件に対応する画素アドレスを座標メモリ28の中から選択して対応する画素アドレスを読み出す。逆に制御部26は、画像データを高圧縮率にて圧縮符号化して符号化データ量を小さくする記録モード（エコノミーモード）の場合には、圧縮処理にてブロック歪みが現われてこのため欠陥画素による画像への影響が相対的に少なくなるので、緩い条件にて検出した欠陥画素の画素アドレスを座標メモリ28から読み出す。このように本実施例では制御部26は、温度上昇や露光時間、さらには圧縮率に応じて傷として目立ってくる欠陥画素を、欠陥補正の対象画素として選択することができる。逆に、ある画素が欠陥として現われない撮影条件および記録条件の動作条件のときには、それらを対象画素から除外して、処理が必要な画素に対してのみ欠陥補正処理を施すことができる。このように本実施例では、複数の動作条件によって、複数の属性に対応して格納された画素アドレスを読み出すので、画素欠陥の補正処理を行なう際に、複数の動作条件の中から、たとえば影響度合いが多大な動作条件を１つ決定して、その動作条件にて参照する属性を選択するとよい。
【００３３】
このような制御部26および信号処理部38の欠陥補正処理に関する主要な機能構成を図３に示すと、信号処理部38は、画像データに基づいて各種評価値を算出する評価値算出処理部300 と、供給される位置情報124 に従って画像データを補間処理する欠陥補正処理部302 とを含み、また、制御部26およびタイミング制御部30を含む制御処理部304 は、算出される評価値130 や温度センサ54にて測定される値、さらには操作部20より設定される圧縮記録時の圧縮率に従ってカメラ10の動作条件を認識する状態検出処理部306 と、状態検出処理部306 にて認識された動作条件に応じて、撮像素子14等を含む撮像部を駆動させる駆動処理部308 と、状態検出処理部306 にて認識された動作条件に応じて、座標メモリ28に格納されている複数種類および複数レベルに区分けされて判定された画素アドレスを選択する選択処理部310 と、選択処理部310 にて選択されて座標メモリ28から読み出される座標データを信号処理部38にて欠陥補正処理する際に必要なメモリアドレスに変換する変換処理部312 とを含む。
【００３４】
以上のような構成で、本実施例におけるディジタルスチルカメラ10の動作を説明する。まず電源スイッチ48が操作されて本カメラ10の各部に電源が供給され、この電源投入後の初期状態では、ダイヤルスイッチなどにてセットされている撮影モードや再生モードなどの動作モードとなる。ここで撮影モードがセットされている場合、一旦スタンバイ状態となって、動画モードおよび静止画モードは設定されず、さらにレリーズスイッチ22がオンとなると静止画モードとなって、撮像したスチル画像がメモリカード16に記録される。
【００３５】
スタンバイ状態において、制御部26には、座標メモリ28に記憶されている座標データが認識されて、制御部26は、動画モードを設定する際に、座標データに応じた位置情報をタイミング制御部30に通知する。この動画モードは、表示スイッチ46がオン状態に操作されたり、出力端子44に外部機器が接続されたことが検出されると設定される。また、制御部26は、レリーズスイッチ22に応動して静止画モードを設定する際に、その座標データに応じた位置情報としてフレームメモリ39のメモリアドレスをディジタル信号処理部38に通知する。
【００３６】
動画モードに移行すると、撮像素子14にて撮像されて出力されたカラー画像信号が相関二重サンプリングされてRGB 点順次にアナログ信号処理部34に入力される。信号処理部34に入力された画像信号は、タイミング制御部30より供給される色分離パルス108 に従ってサンプルホールドされて、画像信号がR,G,B 各成分の３線に色分離される。この３線化された各成分の画像信号は、それぞれレベル調整されて、オフセット、ホワイトバランスおよびガンマが調節される。このようにしてレベル調整処理された画像信号は、レベル調整の後、マルチプレクサによって一線化して出力されA/D 変換部36に入力される。A/D 変換部36に入力された画像信号はディジタルデータに変換され、変換された画像データがディジタル信号処理部38に入力される。
【００３７】
信号処理部38に入力された画像データは、画像サイズが調節され、モニタ18に適合するように画素間引きされた画像データが各コマごとに順次生成され、この画像データがモニタ18に出力される。これにより被写界を撮像した動画像の映像がモニタ18に表示される。一方、出力端子44に外部機器が接続されている場合には、信号処理部38にて、たとえばNTSC方式の映像を生成するのに必要な画像サイズに調節され、調節された画像データがアナログ値に変換されて、これに同期信号等が付加される。このようにして生成される映像信号は出力端子44に接続された外部機器に送出される。これとともにピント調整および露出調整を行なうための評価値が信号処理部38にて算出されて、制御部26は、これら評価値データに基づいてシャッタ速度、絞り値および撮像レンズの焦点位置などを制御する。
【００３８】
このような状態にてカメラの操作者は、所望の被写体が撮像範囲にはいるようにカメラの向きなどを調整して画角合わせを行なう。所望のフレーミング状態となってレリーズスイッチ22がオン状態に操作されるとカメラ10は、静止画モードに移行する。静止画モードにおいて、撮像した１フレームの画像を表わす画像信号102 が撮像素子14から出力され、CDS 回路32にて相関二重サンプリングされた後、アナログ信号処理部34に入力される。アナログ信号処理部34に供給される色分離パルスによって、画像信号106 は、３線分離および色バランス調整やガンマ補正処理などの各種レベル調整処理が行なわれる。
【００３９】
このようにしてアナログ信号処理された画像信号は、マルチプレクサによって一線化された後A/D 変換部36に入力されてディジタル信号に変換される。変換された画像データがディジタル信号処理部38に入力されると、フレームメモリ39に一旦格納される。このとき制御部26は、決定したシャッタ速度、温度センサ52にて検出した温度および圧縮率のいずれかに従って、座標メモリ28に格納されている画素アドレスのうち、その種類および検出レベルを選択し、選択した属性に対応する画素アドレスが読み出される。座標メモリ28の記憶領域200 から選択されて制御部26に読み出された画素アドレスは、フレームメモリ39に対応するメモリアドレスに変換されて、変換されたメモリアドレスがディジタル信号処理部38に供給される。これらメモリアドレスに従って信号処理部38では、各メモリアドレスを補間処理の対象画素として、対象画素に対する補間処理が撮像素子14のカラーフィルタ配列に応じて行なわれる。この場合、各対象画素にそれぞれ近接する同一色成分の隣接画素値を平均化した値を、その対象画素の画素値として書き換えることにより、相関性を有する複数の隣接画素値を平均化した値に、欠陥画素値を更新する。
【００４０】
このようにして補正対象として適切な画素を選択して画素欠陥の補正処理や、静止画モードにおける補間処理や各種画像処理が完了すると、フレームメモリ39に格納されている画像データが読み出されて、記録制御部40に出力される。記録制御部40では、制御部26からの制御に応じた圧縮率にて画像データを圧縮符号化し、処理された符号化データがメモリカード16に応じた所定のフォーマットにてその記憶領域に書き込まれる。それとともにフレームメモリ39に格納されている画像データが出力122 に出力されて、その記録された画像がモニタ18の表示画面に表示されて記録画像の確認が行なわれる。このときビデオ信号発生部42の出力端子44に外部装置が接続されている場合には、画像データに応じた映像信号が生成されて外部装置に供給される。また、メモリカード16に記録された符号化データは、再生モードが設定されると、所望のコマ番号の画像が読み出され、読み出されたデータは記録制御部40にて復号されディジタル信号処理部38に入力される。この復号された画像データは、静止画モードにおける撮影記録時と同様にモニタ18および信号発生部42に供給されて、その画像が表示される。
【００４１】
上記実施例では温度センサ52によって検出される撮像素子14の温度もしくはその周辺温度に応じて補正対象画素を制御することができるが、この温度情報に代えて、たとえば、その使用地点における平均気温や季節に応じて補正対象画素を切り換えることもできる。たとえば日本国においては季節に応じて変換する気温に応じて切り換えるようにしてよい。この場合、カメラ10に内蔵されるカレンダ時計から日付および時刻などの情報を受けて気温等を補正するとよい。また、カメラ10が存在する位置を緯度経度などの情報を手入力もしくはグローバルポジショニングシステム (GPS)などから得て、たとえばその位置における平均気温を索出し、これを月日や時刻に応じて補正して温度情報としてもよい。また、所定の撮像条件において撮像素子14にて生成される暗電流値を、たとえば撮像素子14の光学的黒（オプチカルブラック）部分の信号レベルを測定することにより、その使用環境における撮像素子14の実質的な温度を予測し、その予測値に応じて補正対象画素を選択制御してもよい。この場合においても露光時間に応じて生成される暗電流値を積算して、欠陥補正処理する際の対象画素をその積算結果に従って切り換えることができる。以上の実施例では、撮像素子14を駆動する電子シャッタ機能により露光時間を可変させる構成で説明したが、本発明はこれに限らず、レンズシャッタやフォーカルプレーンシャッタなどのようなメカニカルシャッタ機構によって撮像素子14への露光時間を調整する場合にも適用される。また、以上では欠陥画素による傷の現われの一例として白傷について説明したが、この白傷は撮像素子14の撮像面に被着されるカラーフィルタによって色成分を有する場合をも含み、座標メモリ28に格納する欠陥画素の画素アドレスをその色が目立つ色成分ごとの種類に分類して、記憶領域200 に格納しておいてもよい。
【００４２】
このように撮影条件、記録条件などのカメラ10の動作条件に応じて、欠陥画素の種類およびそれらの検出レベルに対応する画素アドレスを含む補正テーブル内容を切り換えて、選択されたテーブルに基づいて、欠陥補正する対象画素の画素アドレスを認識することにより、撮像素子14から出力される画素に対して、動作条件に適応した適切な補間処理を行なうことができる。この結果、傷として現われない画素に対して無為に補正処理を行なうことが防止され、欠陥補正処理に伴う解像度劣化が低減されるとともに、システムの処理負荷が低減されるというメリットがある。
【００４３】
なお、上記実施例では、処理された画像データをメモリカード等の情報記憶媒体に出力する場合を例としてあげたが、たとえば符号化データを伝送路に出力する場合であってもよい。また、欠陥補正処理された画像データをモニタ装置に出力させて、この画像データの表わす画像をモニタ装置等の表示装置に表示させたり、その画像を記録紙等にプリントさせてもよい。
【００４４】
【発明の効果】
このように本発明によれば、欠陥画素の複数の属性と、属性に応じた欠陥画素の位置情報とを含む補正情報を記憶手段を読み出す際に、複数の属性のうちいずれかの属性を、撮像装置の動作状態に応じて選択して、選択した属性の位置情報に応じた画素を補正処理の対象画素としてその画素値を補正するので、撮像装置の動作条件に応じた位置の画素を適応的に補正処理することができる。本発明では、このように撮像装置の動作条件に応じて欠陥補正する画素を適応的に選択して補正処理に伴って補正誤差による解像度劣化等が常時発生することが防止されるとともに、撮像装置の処理負担が低減され、さらには、このようにして欠陥補正された画像データを出力する際の速度向上が期待できる。
【図面の簡単な説明】
【図１】本発明が適用されたディジタルカメラの一実施例を示すブロック図である。
【図２】座標メモリに格納されている座標データの一例を示す図である。
【図３】図１に示した実施例におけるディジタル信号処理部および制御部の主要な機能構成を示すブロック図である。
【符号の説明】
14 撮像素子
16 メモリカード
26 制御部 (CPU)
28 座標メモリ
30 タイミング制御部
34 アナログ信号処理部
36 A/D 変換部
38 ディジタル信号処理部
39 フレームメモリ
52 温度センサ

Claims

被写界に応じた光学像を撮像し、該撮像により得られる画像信号を処理して出力する撮像装置において、該装置は、
前記光学像を光電変換して該光学像に応じた画像信号を出力する撮像手段と、
前記撮像手段から出力される画像信号における欠陥画素を補正して、該補正された画像信号を出力する処理手段と、
該処理手段の出力を所定の出力形式に応じて処理して出力する出力手段と、
前記欠陥画素を補正するための補正情報であって、前記欠陥画素の種類およびレベルを表す複数の属性と、該属性に応じて検出された欠陥画素の位置情報とを含む補正情報を読み出し可能にあらかじめ記憶する記憶手段と、
前記撮像手段および前記出力手段の動作を制御し、前記処理手段における補正処理を制御する制御手段とを備え、
該制御手段は、前記複数の属性のうちいずれかの属性を該装置の動作状態に応じて選択し、該選択した属性に対応する位置情報を前記記憶手段より読み出して前記画像信号を欠陥補正するアドレスを前記処理手段に供給し、
前記処理手段は、前記制御手段より供給されるアドレスに応じた前記画像信号の画素を前記補正処理の対象画素として、該対象画素の画素値を補正し、
前記出力手段は、前記処理手段にて欠陥補正されて出力される画像信号を、圧縮制御情報に従って圧縮符号化する符号化手段と、
該符号化手段にて符号化された符号化データを所定の情報記録媒体に出力する手段とを含み、
前記制御手段は、前記符号化手段にて圧縮する際の圧縮率を決定し、前記決定した圧縮率に応じた前記属性を選択し、対応する位置情報を前記記憶手段から読み出して、前記処理手段にて該位置情報に応じた欠陥補正処理を行なわせるとともに、前記圧縮率に応じた前記圧縮制御情報を前記符号化手段に供給して、該圧縮率にて前記画像信号を圧縮符号化させることを特徴とする撮像装置。
請求項１に記載の装置において、前記制御手段は、前記撮像手段にて光電変換する際の露光時間を制御する露光制御手段を有し、
前記撮像手段は、前記露光時間に応じて前記光学像を光電変換し、
前記制御手段は、前記露光時間に応じた前記属性を選択することを特徴とする撮像装置。
請求項１に記載の装置において、該装置は、前記撮像手段の実質的な温度を検出する温度検出手段を含み、
前記制御手段は、前記温度検出手段にて検出した温度に応じた前記属性を選択することを特徴とする撮像装置。
請求項１に記載の装置において、前記処理手段は、前記対象画素に近接する複数の画素に基づいて、該対象画素の値を補間処理することを特徴とする撮像装置。
請求項１に記載の装置において、前記属性は、欠陥画素の種類と、該欠陥画素の検出レベルとを含み、前記記憶手段には、前記属性ごとにあらかじめ検出された位置情報が記憶され、
前記制御手段は、前記動作条件に応じて前記種類と前記検出レベルを選択し、該選択した属性に対応する位置情報を前記記憶手段から読み出すことを特徴とする撮像装置。
被写界に応じた光学像を撮像し、該撮像により得られる画像信号を処理して出力する撮像装置において、該装置は、
前記光学像を光電変換して該光学像に応じた画像信号を出力する撮像手段と、
前記撮像手段から出力される画像信号における欠陥画素を補正して、該補正された画像信号を出力する処理手段と、
該処理手段の出力を所定の出力形式に応じて処理して出力する出力手段と、
前記欠陥画素を補正するための補正情報であって、前記欠陥画素の種類およびレベルを表す複数の属性と、該属性に応じて検出された欠陥画素の位置情報とを含む補正情報を読み出し可能にあらかじめ記憶する記憶手段と、
前記撮像手段および前記出力手段の動作を制御し、前記処理手段における補正処理を制御する制御手段と、
前記撮像手段の実質的な温度を検出する温度検出手段とを含み、
該制御手段は、前記複数の属性のうちいずれかの属性を該装置の動作状態に応じて選択し、該選択した属性に対応する位置情報を前記記憶手段より読み出して前記画像信号を欠陥補正するアドレスを前記処理手段に供給し、
前記処理手段は、前記制御手段より供給されるアドレスに応じた前記画像信号の画素を前記補正処理の対象画素として、該対象画素の画素値を補正し、
前記制御手段は、前記温度検出手段にて検出した温度に応じた前記属性を選択し、
前記温度検出手段は、現在の日時に応じた温度を予測するための日時情報を認識するカレンダ手段を含み、
前記制御手段は、前記日時情報に基づいて、前記実質的な温度を認識することを特徴とする撮像装置。
請求項６に記載の装置において、該装置は、該装置の現在位置を検出するための位置検出手段を有し、
前記制御手段は、前記現在位置に応じて前記温度を補正して前記実質的な温度を認識することを特徴とする撮像装置。
請求項６に記載の装置において、前記温度検出手段は、温度センサであることを特徴とする撮像装置。
被写界に応じた光学像を撮像し、該撮像により得られる画像信号を処理して出力する撮像方法において、該方法は、
前記光学像を光電変換して該光学像に応じた画像信号を撮像手段より出力する撮像工程と、
前記画像信号における欠陥画素を補正して、該補正された画像信号を出力する処理工程と、
該処理工程にて出力される画像信号を所定の出力形式に応じて処理して出力する出力工程と、
前記欠陥画素を補正するための補正情報であって、前記欠陥画素の種類およびレベルを表す複数の属性と、該属性に応じて検出された欠陥画素の位置情報とを含む補正情報を読み出し可能にあらかじめ記憶する記憶工程と、
前記撮像工程および前記出力工程における処理動作を制御し、前記処理工程における補正処理を制御する制御工程とを備え、
該制御工程は、前記複数の属性のうちいずれかの属性を動作状態に応じて選択し、該選択した属性に対応する位置情報に基づいて前記画像信号を欠陥補正するアドレスを生成し、
前記処理工程は、前記アドレスに応じた前記画像信号の画素を前記補正処理の対象画素として、該対象画素の画素値を補正し、
前記出力工程は、前記処理工程にて欠陥補正された画像信号を、圧縮制御情報に従って圧縮符号化する符号化工程と、
該符号化工程にて符号化された符号化データを所定の情報記録媒体に出力する工程とを含み、
前記制御工程は、前記符号化工程にて圧縮する際の圧縮率を決定し、前記決定した圧縮率に応じた前記属性を選択し、対応する位置情報に基づいて前記処理工程にて欠陥補正処理を行なわせるとともに、前記圧縮率に応じた前記圧縮制御情報を生成して、該圧縮率にて前記画像信号を圧縮符号化させることを特徴とする撮像方法。
請求項９に記載の方法において、前記制御工程は、前記撮像工程にて光電変換する際の露光時間を制御する露光制御工程を有し、
前記撮像工程は、前記露光時間に応じて前記光学像を光電変換し、
前記制御工程は、前記露光時間に応じた前記属性を選択することを特徴とする撮像方法。
請求項９に記載の方法において、該方法は、前記撮像手段の実質的な温度を検出する温度検出工程を含み、
前記制御工程は、前記温度検出工程にて検出した温度に応じた前記属性を選択することを特徴とする撮像方法。
請求項９に記載の方法において、前記属性は、欠陥画素の種類と、該欠陥画素の検出レベルとを含み、前記記憶工程では、前記属性ごとにあらかじめ検出された位置情報が記憶され、
前記制御工程は、前記動作条件に応じて前記種類と前記検出レベルを選択し、該選択した属性に対応する位置情報を前記記憶工程から得ることを特徴とする撮像方法。
請求項９に記載の方法において、前記処理工程は、前記対象画素に近接する複数の画素に基づいて、該対象画素の値を補間処理することを特徴とする撮像方法。
被写界に応じた光学像を撮像し、該撮像により得られる画像信号を処理して出力する撮像方法において、該方法は、
前記光学像を光電変換して該光学像に応じた画像信号を撮像手段より出力する撮像工程と、
前記画像信号における欠陥画素を補正して、該補正された画像信号を出力する処理工程と、
該処理工程にて出力される画像信号を所定の出力形式に応じて処理して出力する出力工程と、
前記欠陥画素を補正するための補正情報であって、前記欠陥画素の種類およびレベルを表す複数の属性と、該属性に応じて検出された欠陥画素の位置情報とを含む補正情報を読み出し可能にあらかじめ記憶する記憶工程と、
前記撮像工程および前記出力工程における処理動作を制御し、前記処理工程における補正処理を制御する制御工程と、
前記撮像手段の実質的な温度を検出する温度検出工程とを含み、
該制御工程は、前記複数の属性のうちいずれかの属性を動作状態に応じて選択し、該選択した属性に対応する位置情報に基づいて前記画像信号を欠陥補正するアドレスを生成し、
前記処理工程は、前記アドレスに応じた前記画像信号の画素を前記補正処理の対象画素として、該対象画素の画素値を補正し、
前記制御工程は、前記温度検出工程にて検出した温度に応じた前記属性を選択し、
前記温度検出工程は、現在の日時に応じた温度を予測するための日時情報を認識し、
前記制御工程は、前記日時情報に基づいて、前記実質的な温度を認識することを特徴とする撮像方法。
請求項１４に記載の方法において、該方法は、現在位置を検出するための位置検出工程を有し、
前記制御工程は、前記現在位置に応じて前記温度を補正して前記実質的な温度を認識することを特徴とする撮像方法。