JP4508740B2 - 画像処理装置 - Google Patents

Description

本発明は、撮像装置において撮像した画素信号に対し、画素部の欠陥あるいは暗電流特性の不良により、画質劣化が起こることを防止するように補正を行うための補正用データの抽出方法及び処理方法に関する。

デジタルカメラシステムにおいて、撮像素子は高価な部品である。従って、できるだけ歩留まりを高めて使用できるようなシステム構成が望まれる。特に、最近は高画素数化が進んだため、点キズと呼ばれる欠陥画素から出力される不良画素信号の数が問題となる。点キズは画素部自身の構造的欠陥によるリークや、暗電流特性の不良によるもので、前者は撮影秒時や感度設定に関わらず、後者はそれらの条件次第で補正の必要が出てくるものである。

これらの点キズを補正するために、文献１では、通常の撮影露光時間と同じ時間、シャッターを閉じた暗中状態で撮像した撮像データを、黒レベル基準データとし、黒レベル基準データが所定レベルを超える画素を白キズ画素とする。その白キズ画素の位置を記憶、補正する方法が開示されている。これにより、黒レベルと白キズ画素の質の高い補正が可能としている。

また、文献２では、短い露光時間の撮影画像に対しては、予め記憶された欠陥画素に対する情報に基づいて、画素欠陥を補正し、長い露光時間の撮影画像に対しては、逐次、欠陥画素検出回路で欠陥画素を検出して、検出結果に応じて補正するようにしている。これにより、欠陥画素の補正の為に記憶すべき情報を少なくすることできるとしている。
特開２０００−２０９５０６号公報 特開２０００−５９６９０号公報

できる限りの画素数に対しは補正を行うべきだが、コスト的、システム的にも画質に影響の無い限りがある。また、撮影条件により欠陥画素の状況がかわってしまうので、適切な補正ができないという課題があった。通常の生産工程で、補正用データのために全ての発生状況を設定することは、時間やメモリ容量の制約などから不可能である。また、ユーザーによっては、想定外の使用環境で撮像装置を使用することがあり、思わぬ欠陥画素が発生する場合があるが、この欠陥画素を効率的に検出し補正することは困難であった。

従って，システム的にも環境的にも、限りある条件で、画質の向上に効果的な補正用データを整える必要がある。本発明は、上記問題点を鑑みてなされたものであり、生産工程のみに限らず複数条件下（複数の蓄積時間、温度、湿度、生産工程環境、ユーザーの使用環境、周辺輝度、周辺温度等の条件下）でも、高画質の画像を得られる画像処理装置または画像処理方法を提供することを目的とする。

上記の課題を解決するために、本発明における画像処理装置は、画素信号を出力する複数の画素を備えた撮像素子における欠陥画素を補正するための第１の補正用データを記憶する記憶手段と、前記撮像素子の欠陥画素を検出する検出手段と、前記検出手段によって検出された欠陥画素の情報を基に、前記撮像素子における欠陥画素を補正するための第２の補正用データを生成し、生成した前記第２の補正用データを前記記憶手段に記憶する生成手段と、前記記憶手段に記憶された前記第１の補正用データ又は前記第２の補正用データを用いて、前記撮像素子から出力される画素信号を補正する補正手段とを有し、前記第１の補正データは第１の撮像条件に対応するとともに前記第２の補正用データは前記第１の撮像条件と異なる第２の撮像条件に対応し、撮像条件に応じて、前記補正手段による補正に用いる前記第１の補正用データ及び前記第２の補正用データの優先順位を設定することを特徴とする。

本発明によれば、ユーザーの使用環境や独自の撮像像件に合わせた補正用データを用いて、画素信号補正処理を行うことができるので、画質劣化を防止した画像を得ることができる。

以下、本発明の実施の形態に係る撮像信号の画像処理方法及び画像処理装置、撮像装置について、図を参照しながら詳細に説明する。

（第１の実施の形態）
図１は、本発明第１の実施の形態における撮像装置のブロック図である。図１において、１は撮像素子を示し、ドライバ２によって駆動されて所定の周波数で動作する。また、タイミングジェネレータ３は垂直同期信号ＶＤ及び水平同期信号ＨＤを出力するタイミング発生回路で、同時に各回路ブロックへタイミング信号を供給している。

撮像素子１からの画素信号は、ＣＤＳ／ＡＧＣ回路４へ入力し、ここで相関２重サンプリング等の処理を行う事で、ＣＣＤ等の出力に含まれるリセットノイズ等を除去すると共に、所定の信号レベル迄出力を増幅する。増幅された画素信号をＡ／Ｄ変換部５でデジタル信号に変換して、デジタル化された画素信号を得る。デジタル化された画素信号はセレクタ６を介してメモリコントローラ９へ入力し、フレームメモリ１０へ全ての信号出力が転送される。従って、この場合各撮影フレームの画素信号を、全てフレームメモリ１０内に一旦記憶する為、連写撮影等の場合は、撮影された画像の画素信号を全てフレームメモリ１０へ書き込むことになる。

フレームメモリ１０への書き込み動作終了後は、メモリコントローラ９の制御により、画素信号を記憶しているフレームメモリ１０の内容を、セレクタ６を介してカメラデジタル信号処理部（ＤＳＰ）８へ転送する。このカメラＤＳＰ８では、フレームメモリ１０に記憶された各画像の各画素信号と不揮発性メモリ７（請求項１では記憶手段に相当する）に記憶された点キズ用補正用データを基に点キズ補正を行った後，ＲＧＢの各色信号を生成する。カメラ操作スイッチ１６の操作により、撮影者が撮影（すなわち、画像の記録）を指示した場合には、全体制御ＣＰＵ１７からの制御信号によって、１フレーム分の各画素信号をフレームメモリ１０から読み出し、カメラＤＳＰ８で画像処理を行ってから一旦ワークメモリ１２に記憶する。

続いて、ワークメモリ１２のデータを圧縮・伸張部１４で所定の圧縮フォーマットに基いてデータ圧縮し、圧縮したデータを外部不揮発性メモリ１５（通常フラッシュメモリ等の不揮発性メモリを使用）に記憶する。

また、撮影済みの画像データを観察する場合には、上記外部メモリ１５に圧縮記憶されたデータを、圧縮・伸張部１４を通して通常の画素毎のデータに伸張し、伸長した画素毎のデータをビデオメモリ１１へ転送する事で、モニタ表示部１３を通して撮影済み画像を観察することができる。なお、図１の構成では点キズ補正用不揮発性メモリを明記したが、ＤＳＰ８のフラッシュメモリ領域に点キズ補正用データを格納してもよい。また、点キズ補正用データを取得してメモリに記憶するタイミングは、生産工程時でもよいし、ユーザーモードで撮像前（例えば電源投入時や所定時間経過ごと）に予め取得して記憶しておいてもよい。

続いて、点キズ補正用データについて説明する。以下に示すような条件設定により点キズ補正用データをメモリに記憶して、点キズを補正することにより、各々のユーザーに適した補正用データで点キズの補正処理を行うことが可能となる。

本実施の形態に用いた撮像素子及び撮像装置での、各種条件設定の例を、以下に具体的に列挙する。
（１）蓄積時間（標準条件＝１秒、長時間＝３０秒）
（２）動作温度（標準温度＝室温、高温＝４５℃）
（３）使用環境（標準環境＝撮像素子・撮像装置生産工程、ユーザー使用環境）
（４）使用形態（標準形態＝撮像素子単体、撮像装置）
（５）動作条件（標準動作＝通常蓄積動作、ノイズキャンセル蓄積動作）
（１）に関しては、長時間とは撮像装置の標準使用状態での最長蓄積（露光）時間であり、いわゆるＴＶ（シャッター秒時）優先撮影モードでの一般的な最長設定時間である。（２）に関しては、撮像装置状態では室温（生産工程環境温度）、撮像素子単体では高温でのデータを得るようにしている。（３）に関しては、撮像素子・撮像装置生産工程でのデータに対して、各ユーザーが自身の使用環境下で任意にデータを取り追加するいわゆるキャリブレーション動作を可能とする。更に，複数のユーザー毎にそれぞれを登録可能とする（このように１つのカメラを複数のユーザーが共有して使用する場合についての説明は、図５を用いて後述する）。（４）に関しては、基本データは撮像素子の生産工程で、追加データは撮像装置の状態で取ることとした。（５）に関しても、基本データは通常蓄積動作で、追加データはノイズキャンセル動作での画像から抽出することとした。

なお、主に標準条件以外でのデータである追加データを用いての補正は、その条件時のみに補正する（補正の優先順位を低く設定する）のが基本であるが，生産工程での補正用データ抽出もれと考えられる場合は、常に補正対象とする（補正の優先順位を高く設定する）。

図２は上記列挙した各設定条件を標準条件及び追加条件として設定して組み合わせた場合を３パターンに分類した説明図である。

Ａは、標準条件での基本データに対し、追加条件でのデータを補助的に用いるもので、追加条件を標準条件よりも厳しく設定することにより、追加データを補正に用いる条件も特殊（厳しい）条件下としている（＝補正優先順位を低く設定）。Ｂは、Ａに対し、追加データでの補正を優先的に行うもので、追加条件は標準条件ではもれてしまったデータを取るためと位置付けている。例えば、カメラユーザーの使用環境下で求められたデータはこの扱いとする（＝もれデータなので補正優先順位を高く設定）。Ｃは、ＡとＢを組み合わせたものである。追加条件１で基本データを補いつつ、追加条件２による更なる追加にも対応するものである。なお、図２は追加データの考え方を分かりやすくするために３つに分類してあるが、Ｃの構成とすると、より適切な補正用データを求めることができる。

図３は、上記Ｃについて、実際に適応される（１）〜（５）の条件の組み合わせ例を挙げたものである。撮像装置の設計者は、Ｃ−１、Ｃ−２、Ｃ−３、Ｃ−４のうち、どの条件を選んで撮像装置に搭載してもよい。全てに共通して追加条件２はユーザーによるデータ追加としている。よって、（１）蓄積時間、（２）動作温度、（５）動作条件は任意として表記している。これは、ユーザーにより独自の補正用データを生成するためである。なお、（５）動作条件の『ＮＣ』とは、撮影画像から、露光時間と同じ蓄積時間の暗中画像を、差し引く、ノイズキャンセル動作のことである。

Ｃ−１は、標準と追加１は素子単体の生産工程で、（１）蓄積時間のみを変更したもの。非常に単純で検査自体のコストも安いのが特徴となる。

Ｃ−２は、Ｃ−１同様に標準と追加１は素子単体の生産工程であるが、（１）蓄積時間のみならず、（２）動作温度も変更したものである。追加条件１では加速試験的に温度を上げて、過酷な状況下でのデータを生産工程において取り出そうとしたものとする。

Ｃ−３は、上記２つとは異なり、標準条件は素子単体の生産工程ではあるが、（２）動作温度も上げ、更に追加条件では撮像装置で（５）動作条件もＮＣとしている。標準条件においても温度を上げることにより幅広い条件に対応したデータの取得を狙い、更に追加条件では最終形態である撮像装置としてのデータを取得するものである。理想に近い方法であるが、検査コストとしては厳しくなる。

Ｃ−４は、Ｃ−２において標準条件から（２）動作温度を高温に設定したものである。検査コストを抑えつつも、過酷な条件下でのデータを素子単体の生産工程で取得することを目指したものである。

図４は、上記追加条件２となるユーザーによるデータ追加作業、即ちユーザーキャリブレーションについての説明図である。この動作はユーザーがその使用環境化において、任意に欠陥画素の情報を抽出、追加可能とするものである。使用環境は、灼熱の熱帯雨林であったり厳寒の氷の大地であったりと、ユーザーによって異なる。

ユーザーがキャリブレーションを行う場合、ユーザーの指示に基づいてカメラ操作スイッチ１６のカメラ動作選択手段により、ユーザーキャリブレーション動作（ＵＣ）を選択、設定する（ステップ４−１）。このとき、カメラではユーザーが撮影時の記録形態をいかなる指定にしてあっても、撮像素子の生出力相当（通常ＲＡＷ画像と呼ばれる）でも画像を記録するようにする。これは欠陥画素とするか否かの判断を、撮像素子の生出力相当のレベルで判断するため必要である。続いて、任意の撮影条件、露光（蓄積）時間とノイズキャンセル動作の有無を設定し（ステップ４−２）、カメラの遮光を行う。レンズ装着時はレンズキャップ、非装着時はマウントキャップを装着し、ファインダ逆入光をアイピースシャッターか遮光部材（ストラップに付いていたりする）で防止する（ステップ４−３）。遮光をした後、レリーズボタンを押し暗中画像を露光する（ステップ４−４）。撮影されＲＡＷ記録された画像から欠陥画素と判断される画素の位置、信号のレベル等を検出、記憶し、補正用データに変換（ステップ４−５）、データ用不揮発性メモリ７に追加保存する（ステップ４−６）。データ保存終了をユーザーに告知表示することで、ユーザーがキャリブレーション動作モードを解除し（ステップ４−７）、欠陥画素の情報（画素の位置、信号のレベル等）の検出に用いたＲＡＷ画像を消去し、一連の動作終了となる。

ここで、図３のＣ−３における一実施例を詳しく説明する。

ユーザーが、撮像素子が高温の場合や長秒（３０秒）の露光時間設定で被写体像を撮像する場合の、補正用データ（補正対象とする画素のタイミングテーブル）を作成する方法として、生産工程において、温度プレートで撮像素子単体を温め（４５℃）、蓄積時間は短秒（１秒）という条件で点キズを検出し補正用データを作成する方法がある（標準条件での補正用データ）。しかし、長秒（３０秒）の露光時間で撮像する場合に、標準条件での補正用データを適用すると、補正しきれていない点キズが存在し、画像劣化が起きてしまう場合がある。

そこで、本実施の形態では、補正用データをより適正なものにするために、追加条件として、蓄積時間が長秒（３０秒）で、なおかつ、撮像装置の温度が室温であるという条件で、補正用データを求め、追加の補正用データを得る（追加条件での補正用データ）。標準条件での補正用データでも、ある程度の画質を確保することできるが、高画質の画像を得る場合（高画質モード時）には、この追加の補正用データを追加して用いて、補正する必要がある。よって、追加条件で検出した点キズの補正の優先順位は低く設定し、高画質の画像を得たい時にこのついか条件での補正用データを使用することとする。つまり、高画質の画像を得たい時、さらに、補正時間やメモリ容量に余裕があるときに、この追加条件での補正用データを用いて補正することにより、より画質の向上した画像を得ることが可能となるわけである。

なお、図３ Ｃ−３の追加条件１で、動作条件としてノイズキャンセル（ＮＣ）を行っているのは、撮像時に行うノイズキャンセル（ＮＣ）によって補正できる点キズについては、補正対象として補正用データには加えず、ノイズキャンセル（ＮＣ）によって補正することにより、補正用データの圧縮を図るためである。

また、ユーザーモードでユーザーキャリブレーションを実行することが選択された場合には、追加条件２における補正用データを使って補正する。本実施の形態では、ユーザーの撮像装置の使用環境が灼熱の熱帯雨林である場合を一例に取り上げ説明する。熱帯雨林では、常に、高温（２５℃内外）、多湿である。

まず、ユーザーの指示に基づいて、点キズ検出及び補正用データ生成を行っておく。この動作は、図４を用いて、（ステップ４−１）から（ステップ４−８）で説明したとおりである。

追加条件２は、熱帯雨林で撮影を行っている限り、常に同じであるから、追加データ２（もれデータ）を優先順位の高い方に設定し、追加された点キズは常に補正するように設定する。これは、ユーザー独自の使用環境で点キズを検出し補正用データを作成するため、補正用データの信頼性が高いためである。

このように、低く設定する追加条件と、優先順位を高く設定する追加条件とを設けることにより、ユーザーの使用環境や、各々のユーザーが独自に設定した撮像条件に適応した点キズ補正を行うことができる。

なお、（ステップ４−５）での欠陥画素か否かの判断はユーザーに委ねてもよい。この場合、直接出力レベルをユーザーに設定させるようにする（抽出傷レベル設定）（図５−１）、あるいは暗中画像のヒストグラム表示で範囲をユーザーに指定させるよようにする（図５−２）ことが有効である。この場合、出力レベル及びヒストグラム表示は撮像素子の生出力相当画像（ＲＡＷ画像）で行うことが重要であり、通常行われる画像処理後のヒストグラム表示（輝度、あるいはＲＧＢなど）では判断しにくくなる。これは、撮像画素のカラーフィルタの色によりホワイトバランス等で決まるゲインが異なるためである。傷（＝欠陥画素）かどうかの判断は、あくまでも画素の生出力で判断すべきである。図５−１及び２において設定可能範囲が１〜４０９５になっているが、これは生出力が１２ビットデータである場合の例である。

また、上記キャリブレーションは１つのカメラを複数のユーザーで使う場合を想定し、それぞれ独自に設定可能にすることができる。具体的には想定ユーザー数だけの追加データ２用のメモリ領域と設定モード（ＵＣ−１、ＵＣ−２・・・）を準備しておき、（ステップ４−１）においてユーザーがＵＣモードを設定する時に１つを選択させ、選択結果に従い追加データ２のメモリ領域を切り換えることで実現可能となる。図５−３及び図５−４は４人のユーザーを想定した場合における２番目を選択した場合のＵＣモード設定表示画面と追加データ２用メモリ領域を切り換えて補正用データを構成する様子を示している。

以上説明したように、生産工程、ユーザー使用環境などの条件下で、逐次補正用データを生成することで、補正対象となる画素（欠陥画素）の情報を適切に記憶することが可能となる。また、各々のユーザー特有の撮像条件で点キズ検出をし、補正用データを生成するので、適切な画像処理ができ、画質のよい画像を得ることが可能となる。

本発明の実施の形態でのデジタルカメラの構成説明図である。 本発明の実施の形態でのデータ抽出設定条件の説明図である。 本発明の実施の形態でのデータ抽出設定条件の組み合わせ説明図である。 本発明の実施の形態でのデータ抽出設定条件の組み合わせ説明図である。 本発明の実施の形態での欠陥画素の信号のレベルとユーザーの設定画面の説明図である。

符号の説明

１ 撮像素子
２ ドライバ
３ ＴＧ／ＳＳＧ
４ ＣＤＳ／ＡＧＣ回路
５ Ａ／Ｄ変換回路
６ メモリセレクタ
７ キズ補正用不揮発性メモリ
８ カメラＤＳＰ
９ メモリコントローラ
１０ フレームメモリ
１１ ビデオメモリ
１２ ワークメモリ
１３ モニタ表示部
１４ 圧縮・伸張部
１５ 不揮発性メモリ
１６ カメラ操作スイッチ
１７ 全体制御ＣＰＵ
１８ カメラ・レンズマウント
１９ 撮影レンズ

Claims (3)

1. 画素信号を出力する複数の画素を備えた撮像素子における欠陥画素を補正するための第１の補正用データを記憶する記憶手段と、
   前記撮像素子の欠陥画素を検出する検出手段と、
   前記検出手段によって検出された欠陥画素の情報を基に、前記撮像素子における欠陥画素を補正するための第２の補正用データを生成し、生成した前記第２の補正用データを前記記憶手段に記憶する生成手段と、
   前記記憶手段に記憶された前記第１の補正用データ又は前記第２の補正用データを用いて、前記撮像素子から出力される画素信号を補正する補正手段とを有し、
   前記第１の補正データは第１の撮像条件に対応するとともに前記第２の補正用データは前記第１の撮像条件と異なる第２の撮像条件に対応し、撮像条件に応じて、前記補正手段による補正に用いる前記第１の補正用データ及び前記第２の補正用データの優先順位を設定することを特徴とする画像処理装置。
2. 前記検出手段は、ユーザーの指示に基づいて前記撮像素子の欠陥画素を検出することを特徴とする請求項１に記載の画像処理装置。
3. 請求項１又は２に記載の画像処理装置と、
   複数の画素を備えた撮像素子と
   前記撮像素子に像を結像するレンズと、
   前記撮像素子からの信号をＡ／Ｄ変換するＡ／Ｄ変換部と、
   を有することを特徴とする撮像装置。

Images