JP7052040B2

JP7052040B2 - アレイ内光学的黒画素のためのクロストーク補償を有する感光撮像システムおよびデバイス

Info

Publication number: JP7052040B2
Application number: JP2020528234A
Authority: JP
Inventors: ミッコ・ムッキー; サム・コスキネン
Original assignee: ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date: 2017-11-24
Filing date: 2017-11-24
Publication date: 2022-04-11
Anticipated expiration: 2037-11-24
Also published as: KR102341016B1; CN111406402A; WO2019101337A1; CN111406402B; JP2021505016A; KR20200069356A

Description

本開示は、感光撮像システムおよび感光撮像デバイスに関する。

高品質のデジタル画像を取得するには、画像画素アレイの正しい黒レベルが推定されなければならない。正しくない黒レベルは、多くの場合、正しくない色または暗すぎる画像として見える。黒レベルは、例えば画素が金属層で覆われているために光を受けない画素である光学的に黒の（OB）画素を使用して推定され得る。

従来技術では、OB画素は通常、フレームとして画素アレイの1つまたはいくつかの縁に沿って配置される。そのようなフレームOB画素では、例えば画像の中央で正しい黒レベルを正確に推定することは困難である。しかしながら、OB画素は、画素アレイの格子内に散在され、いわゆるアレイ内OB画素であり得る。これは、例えば、米国特許出願公開第2014／0014818号に示されており、そこでは、フレームOB画素は、大域的な暗電流を発生させるために使用され、アレイ内OB画素は、局所的な暗電流を発生させるために使用され、この局所的な暗電流は後に補償される。

しかしながら、暗電流は、黒レベルへの唯一の影響ではなく、固定パターンノイズ、ランダムノイズ、および画素クロストークなどの要因も考慮される必要がある。画素クロストークは、例えば、1つの画素に当たる光がその最も近くの8つの近傍画素に漏れる現象である。

米国特許出願公開第2014／0014818号

画素アレイに配置されたOB画素のクロストーク値を求めるように適合された改善された感光撮像システムを提供し、そのようなクロストークを補償するように適合された改善された感光撮像デバイスを提供することが目的である。

前述のおよび他の目的は、独立請求項の特徴によって達成される。さらなる実施の形態は、従属請求項、明細書、および図面から明らかになる。

第1の態様によれば、画素アレイに配置されたOB画素のクロストーク値を求めるように適合された感光撮像システムであって、該システムは、少なくとも1つの画素アレイを含む少なくとも1つの画像センサを含み、画素アレイは、複数の色チャネル画素および少なくとも1つのOB画素を含む、少なくとも1つの画像センサと、OB画素の色チャネルの強度値を検出し、近傍の色チャネル画素の強度値を検出し、強度値に基づいてOB画素のクロストーク値を計算するように適合された処理手段とを備える、感光撮像システムが提供される。

そのような撮像システムは、画素アレイ内のOB画素の位置に関係なく、任意のOB画素に関して、正しい局所的なクロストーク値が推定されることを可能にする。これらの正しい局所的なクロストーク値は、画素アレイの黒レベルのより正確な推定を提供するために使用され、そして、より正確な黒レベルは、特に低光量条件でより高品質の画像を提供する。

第1の態様の可能な実施の形態では、処理手段は、OB画素の色チャネルの少なくとも1つのさらなる強度値を検出し、少なくとも1つのさらなる近傍の色チャネル画素の少なくとも1つのさらなる強度値を検出し、さらなる強度値に基づいてOB画素の少なくとも1つのさらなるクロストーク値を計算し、異なる色チャネルの局所的なクロストーク値または1つの色チャネルのいくつかの局所的なクロストーク値の推定を容易にするようにさらに適合される。

第1の態様のさらなる可能な実施の形態では、処理手段は、クロストーク値を計算する前に近傍の色チャネル画素の強度値をフィルタリングするようにさらに適合され、これは、いくつかの検出値がさらなる計算に使用されることを可能にし、したがって、計算の信頼性を改善する。

第1の態様のさらなる可能な実施の形態では、
処理手段は、クロストーク値の少なくとも2つに基づいてOB画素の合計クロストーク値を計算するようにさらに適合され、これは、いくつかの検出値がさらなる計算に使用されることを可能にし、したがって、計算の信頼性を改善する。

第1の態様のさらなる可能な実施の形態では、
処理手段は、合計クロストーク値を計算する前にクロストーク値の少なくとも2つをフィルタリングするようにさらに適合され、これは、いくつかの検出値がさらなる計算に使用されることを可能にし、したがって、計算の信頼性を改善する。

第1の態様のさらなる可能な実施の形態では、
処理手段は、さらなる各OB画素のクロストーク値／合計クロストーク値を取得するために、少なくとも1つのさらなるOB画素に対して上記のステップを繰り返すようにさらに適合され、これは、撮像システムの信頼性を改善する。

第1の態様のさらなる可能な実施の形態では、
処理手段は、OB画素の計算されたクロストーク値／合計クロストーク値をフィルタリングするようにさらに適合され、これは、いくつかの検出値がさらなる計算に使用されることを可能にし、したがって、計算の信頼性を改善する。

第1の態様のさらなる可能な実施の形態では、
クロストーク値、合計クロストーク値、フィルタリングされたクロストーク値、および／またはフィルタリングされた合計クロストーク値は、感光撮像システムに記憶され、これは、多数の異なる値の使用および再使用を容易にし、したがって、計算の信頼性を改善する。

第2の態様によれば、画素アレイに配置されたアレイ内OB画素におけるクロストークを補償するように適合された感光撮像デバイスであって、該デバイスは、少なくとも1つの画素アレイを含む少なくとも1つの画像センサであって、画素アレイは、複数の色チャネル画素および少なくとも1つのアレイ内OB画素を含む、少なくとも1つの画像センサと、アレイ内OB画素を選択し、近傍の色チャネル画素の強度値を検出し、強度値、およびアレイ内OB画素の記憶されたクロストーク値に基づいて、アレイ内OB画素の現在のクロストーク値を計算するように適合された処理手段とを備える、感光撮像デバイスが提供される。

そのような撮像デバイスは、画素アレイ内のOB画素の位置に関係なく、任意のOB画素のクロストークの正しい局所的な補償を可能にする。これらの補償値は、画素アレイの黒レベルのより正確な推定を提供するために使用され、そして、より正確な黒レベルは、特に低光量条件でより高品質の画像を提供する。

第2の態様の可能な実施の形態では、処理手段は、少なくとも1つのさらなる近傍の色チャネル画素の少なくとも1つのさらなる強度値を検出し、さらなる強度値および記憶されたクロストーク値に基づいてアレイ内OB画素の少なくとも1つのさらなる現在のクロストーク値を計算するようにさらに適合され、これは、異なる色チャネルの局所的なクロストーク値または1つの色チャネルのいくつかの局所的なクロストーク値の推定を容易にする。

第2の態様のさらなる可能な実施の形態では、処理手段は、現在のクロストーク値を計算する前に強度値をフィルタリングするようにさらに適合され、これは、いくつかの検出値がさらなる計算に使用されることを可能にし、したがって、計算の信頼性を改善する。

第2の態様のさらなる可能な実施の形態では、処理手段は、現在のクロストーク値の少なくとも2つに基づいてアレイ内OB画素の現在の合計クロストーク値を計算するようにさらに適合され、これは、いくつかの検出値がさらなる計算に使用されることを可能にし、したがって、計算の信頼性を改善する。

第2の態様のさらなる可能な実施の形態では、処理手段は、現在の合計クロストーク値を計算する前に現在のクロストーク値の少なくとも2つをフィルタリングするようにさらに適合され、これは、いくつかの検出値がさらなる計算に使用されることを可能にし、したがって、計算の信頼性を改善する。

第2の態様のさらなる可能な実施の形態では、処理手段は、OB画素の強度値を検出し、アレイ内OB画素の現在のクロストーク値／現在の合計クロストーク値と所定の制限値Xとを比較し、現在のクロストーク値／現在の合計クロストーク値＞Xである場合、異なるアレイ内OB画素を選択し、上述のステップを繰り返し、現在のクロストーク値／現在の合計クロストーク値≦Xである場合、アレイ内OB画素の補正強度値を計算し、補正強度値をアレイ内OB画素に割り当てるようにさらに適合され、これは、撮像デバイスが欠陥のあるOB画素を検出し補正することを可能にする。

第2の態様のさらなる可能な実施の形態では、処理手段は、強度値またはフィルタリングされた強度値から現在のクロストーク値を引くことによって補正強度値を計算するように適合され、これは、計算の信頼性を改善する単純かつ明快な方法を提供する。

第2の態様のさらなる可能な実施の形態では、処理手段は、少なくとも1つのさらなるアレイ内OB画素に対して上記のステップを繰り返し、少なくとも2つのアレイ内OB画素の強度値をフィルタリングし、フィルタリングされた強度値を少なくとも2つのアレイ内OB画素の強度値として割り当てるようにさらに適合され、これは、撮像デバイスの信頼性を改善する。

第2の態様のさらなる可能な実施の形態では、画素アレイは、少なくとも1つのフレームOB画素をさらに含み、少なくとも1つのフレームOB画素は、画素アレイの外縁に配置され、これは、計算で使用されるさらに多くの値を提供し、したがって、計算の信頼性を改善する。

第2の態様のさらなる可能な実施の形態では、処理手段は、フレームOB画素の近くに位置する少なくとも1つのアレイ内OB画素に関して、アレイ内OB画素の近くに位置する少なくとも1つのフレームOB画素の色チャネルの強度値を検出し、1つのフレームOB画素のみのフレームOB画素強度値が検出される場合、フレームOB画素の強度値は、フレームOB画素の強度値として割り当てられ、少なくとも2つのフレームOB画素のフレームOB画素強度値が検出される場合、フレームOB画素強度値は平均され、平均強度値は、フレームOB画素のフレームOB画素強度値として割り当てられ、アレイ内OB画素の補正強度値と、色チャネルのフレームOB画素の強度値とを比較し、補正強度値がフレームOB画素強度値に等しい場合、補正強度値をアレイ内OB画素の強度値として割り当て、補正強度値がフレームOB画素強度値と異なる場合、補正強度値とフレームOB画素強度値とをマッチングし、マッチングされた強度値を補正強度値として割り当てるように適合され、これは、近くのOB画素の強度値に差があるという指示があるときに計算を改善する。

第2の態様のさらなる可能な実施の形態では、処理手段は、フレームOB画素強度値を補正強度値で除算することによって画素分数値を計算し、フレームOB画素強度値をアレイ内OB画素の強度値として割り当て、フレームOB画素およびアレイ内OB画素と並んだ各アレイ内OB画素の強度値と分数値を乗算し、乗算された強度値を各アレイ内OB画素の強度値として割り当てることによって、補正強度値とフレームOB画素強度値とをマッチングするように適合され、これは、近くのOB画素の異なる強度値を計算で考慮に入れる簡単で信頼性の高い方法を容易にする。

第3の態様によれば、画素アレイに配置されたOB画素のクロストーク値を求める方法であって、画素アレイは、複数の色チャネル画素および少なくとも1つのOB画素を含み、該方法は、OB画素の色チャネルの強度値を検出するステップと、近傍の色チャネル画素の強度値を検出するステップと、強度値に基づいてOB画素のクロストーク値を計算するステップとを含む、方法が提供され、該方法は、画素アレイ内のOB画素の位置に関係なく、任意のOB画素に関して、正しい局所的なクロストーク値が推定されることを可能にする。

第4の態様によれば、画素アレイに配置されたアレイ内OB画素におけるクロストークを補償する方法であって、画素アレイは、複数の色チャネル画素および少なくとも1つのアレイ内OB画素を含み、該方法は、アレイ内OB画素を選択するステップと、近傍の色チャネル画素の強度値を検出するステップと、強度値および記憶されたクロストーク値に基づいてアレイ内OB画素の現在のクロストーク値を計算するステップと含む、方法が提供され、該方法は、画素アレイ内のOB画素の位置に関係なく、任意のOB画素のクロストークの正しい局所的な補償を可能にする。

これらのおよび他の態様は、以下で説明される実施形態から明らかになる。

本開示の以下の詳細な部分では、図面に示されている例示的な実施形態を参照して、態様、実施形態、および実施態様がより詳細に説明される。

色チャネル画素および2つの光学的に黒の画素を含む画素アレイの一実施形態を示す。色チャネル画素および2つの光学的に黒の画素を含む画素アレイの一実施形態を示し、色チャネル画素は、赤、緑、および青のうちの1つである。色チャネル画素および2つの光学的に黒の画素を含む画素アレイの一実施形態を示し、色チャネル画素は、赤、緑、青、および赤外線のうちの1つである。アレイ内OB画素のアレイの強度値の概略例を示す。フレームOB画素の行にマッチングされたときの図2aの強度値を示す。図1a～図1cのいずれか1つによる画素アレイに配置された光学的に黒の画素のクロストーク値を求めるように適合された感光撮像システムの一実施形態で取られるステップを開示するフローチャートの一実施形態を示す。図3で求められたクロストークを補償するように適合された感光撮像デバイスの一実施形態で取られるステップを開示するフローチャートの一実施形態を示す。図3で求められたクロストークを補償するように適合された感光撮像デバイスの一実施形態で取られるステップを開示するフローチャートの一実施形態を示す。図3のフローチャートのさらなる実施形態を示す。図4aのフローチャートのさらなる実施形態を示す。図4bのフローチャートのさらなる実施形態を示す。感光撮像デバイスの一実施形態を備える感光撮像システムの概略的な実施形態を示す。

従来技術では、OB画素は、フレームとして画素アレイの1つまたはいくつかの縁に沿って配置されるか、または画素アレイの格子内に散在され、いわゆるアレイ内OB画素であり得る。図1a～図1cは、画素アレイの4つのすべての縁に沿って配置された複数のフレームOB画素FOB、複数の色チャネル画素、および色チャネル画素間に散在された2つのアレイ内OB画素を示す。

図1aは、複数の色チャネル画素CP₁～CP₇₉および2つの光学的に黒の画素OB₁、OB₂を含む画素アレイの一実施形態を示す。図1bは、いわゆるベイヤー配置である、赤R、緑G、および青Bの色チャネル画素を含む画素アレイのさらなる実施形態を示す。図1cは、赤R、緑G、青B、および赤外線IRの色チャネル画素を含む画素アレイのさらに別の実施形態を示す。

図7は、画素アレイに配置された少なくとも1つのOB画素のクロストーク値が求められる方法を適用するように適合された感光撮像システム1の一実施形態を示す。さらに、図7は、画素アレイに配置されたアレイ内OB画素におけるクロストークが補償される方法を適用するように適合された感光撮像デバイス4。撮像システムを用いて、画素アレイに配置された少なくとも1つのOB画素のクロストーク値を求める方法は、図3に示されており、撮像デバイスを用いてクロストークを補償する方法は、図4a～図4bに示されている。

撮像システム1は、少なくとも1つの画像センサ2を備え、そして画像センサ2は、少なくとも1つのそのような画素アレイを含む。画像センサ2は、好ましい実施形態では、撮像デバイス4内に配置される。図1a～図1cに示されているように、画素アレイは、複数の色チャネル画素CP₁～CP_nおよび少なくとも1つのOB画素OB₁～OB_nを含む。

撮像システム1は、OB画素OB₁の色チャネルの強度値IV_OB1を検出するように適合された処理手段3a、3bをさらに備える。その後または同時に、処理手段3a、3bは、近傍の色チャネル画素CP₁、すなわち、OB画素OB₁の直接あるいは間接の近傍にある色チャネル画素の強度値IV₁を検出する。間接の近傍は、好ましくは、OB画素から2または3画素の距離に配置される。

上述の強度値IV_OB1およびIV₁を検出した後、処理手段3a、3bは、これらの強度値IV_OB1、IV₁に基づいて、OB画素OB₁のクロストーク値CV₁を計算する。クロストーク値CV₁を計算するステップは、OB画素OB₁の強度値IV_OB1を近傍の色チャネル画素CP₁の強度値IV₁で除算することを含み得る。

撮像システム1は、一実施形態では、特定のタイプの画像センサ2のクロストーク値を求めるために、製造またはR＆D施設で使用される。したがって、処理手段3bは、図7に示されているように、画像センサ2を備える撮像デバイス4の内部にあってもよいが、好ましくは、撮像システム1は、同様に図7に示されているように、CPUなどの内部処理手段3bと外部処理手段3aの両方を備える。

さらに、撮像システム1は、計算されたクロストーク値CV₁を特に記憶するように適合されたメモリ手段5a、5bを備え得る。処理手段3bに関して、メモリ手段5bは、画像センサ2を備える撮像デバイス4の内部にあってもよい、例えば、不揮発性メモリ5bであってもよいし、またはそれは、外部メモリ手段5a、例えば、クラウドメモリであってもよい。

一実施形態では、処理手段3、すなわち、外部処理手段3bと内部処理手段3aのどちらも、OB画素OB₁の少なくとも1つのさらなる強度値IV_OB2～IV_OBnを検出するように適合される。さらなる強度値IV_OB2～IV_OBnは、初期強度値IV₁と同じ色チャネル、例えば、赤／赤のものであってもよいし、またはそれは、異なる色チャネル、例えば、赤／緑のものであってもよい。例えば、2つの強度値が同じ色チャネルのものである場合、検出ステップは、同じ近傍の色チャネル画素CP₁に対して2回実行されているか、または2つの異なる近傍の色チャネル画素CP₁、CP₂に対して実行されている可能性がある。強度値が異なる色チャネルに対するものである場合、検出ステップは、2つの異なる近傍の色チャネル画素CP₁、CP₂に対して実行されている。

その後または同時に、処理手段3a、3bは、少なくとも1つのさらなる近傍の色チャネル画素CP₂～CP_nの少なくとも1つのさらなる近傍の強度値IV₂～IV_nを検出する。

上述の強度値IV_OB2～IV_OBnおよびIV₂～IV_nを検出した後、処理手段3a、3bは、これらのさらなる強度値IV_OB2～IVO_Bn、IV₂～IV_nに基づいて、OB画素OB₁の少なくとも1つのさらなるクロストーク値CV₂～CV_nを計算する。さらなるクロストーク値CV₂～CV_nを計算するステップは、OB画素OB₁の強度値IV_OB2～IV_OBnを、近傍の色チャネル画素CP₂～CP_nの強度値IV₂～IV_nで除算することを含み得る。一実施形態では、2つのクロストーク値CV₁、CV₂が、1つのOB画素OB₁に関して計算され、IV_OB1をIV₁で除算することによってCV₁に達し、IV_OB2をIV₂で除算することによってCV₂に達する。

一実施形態では、処理手段3a、3bは、クロストーク値CV₁～CV_nを計算する前に、近傍の色チャネル画素CP₁～CP_nに関して検出された強度値IV₁～IV_nをフィルタリングするように適合される。この段落および以下の段落で述べられているように、フィルタリングは、ガウシアンフィルタ、非局所的手段、ウェーブレット、もしくはbm3dなどの様々な方法、または複数の画像が画像センサによってキャプチャされ、出力画像がこれらの画像の平均であるマルチフレーム平均化を用いて実行され得る。

しかしながら、図5に示されている好ましい一実施形態では、フィルタリングのステップは、同じ色チャネルを有する少なくとも2つの近傍の色チャネル画素CP₁～CP_nに関して検出された強度値IV₁～IV_nを平均することと、平均強度値IV_Aを少なくとも2つの近傍の色チャネル画素の強度値として割り当てることとを含む。

一実施形態では、処理手段3a、3bは、
クロストーク値CV₁～CV_nの少なくとも2つに基づいて、OB画素OB₁の合計クロストーク値TCV₁を計算する
ように適合される。処理手段3a、3bは、合計クロストーク値TCV₁を計算する前に、少なくとも2つのクロストーク値CV₁～CV_nをフィルタリングするようにさらに適合され得る。フィルタリングは、前述のように、多くの異なる方法を用いて実行され得る。図5に示されている一実施形態では、フィルタリングのステップは、すべての近傍の色チャネル画素CP₁～CP_nに関して計算されたクロストーク値CV₁～CV_nを平均する、例えば、画素CP₁～CP₈のCV₁～CV₈を平均することと、平均クロストーク値をOB画素OB₁の合計クロストーク値TCV₁として割り当てることとを含む。

OB画素OB₁の合計クロストーク値TCV₁を計算するステップは、近傍の各色チャネルの計算された各クロストーク値CV₁～CV_nを合算して1つの総計を出すことを含み得る。

さらに、処理手段3a、3bは、OB画素OB₂～OB_nに関して、1つのクロストーク値CV₁～CV_nまたは1つの合計クロストーク値TCV₁～TCV_nを取得する目的で、少なくとも1つのさらなるOB画素OB₂～OB_nに対して上記のステップを繰り返すように適合され得る。そのような実施形態では、処理手段3a、3bは、好ましくは、複数のOB画素OB₁～OB_nに関して計算されたクロストーク値CV₁～CV_nまたは合計クロストーク値TCV₁～TCV_nをフィルタリングするように適合される。フィルタリングは、前述のように、多くの異なる方法を用いて実行され得る。

図5に示されている一実施形態では、フィルタリングのステップは、OB画素OB₁～OB_nに関して計算された複数のクロストーク値CV₁～CV_nまたは合計クロストーク値TCV₁～TCV_nを平均することと、新しい平均クロストーク値CV_AをOB画素OB₁～OB_nのクロストーク値として割り当てることとを含む。

前述されたクロストーク値CV₁～CV_n、合計クロストーク値TCV₁～TCV_n、フィルタリングされたクロストーク値、および／またはフィルタリングされた合計クロストーク値は、感光撮像システムに、好ましくは上述のメモリ手段に記憶され得る。

上述のように、図7に示されているシステムは、画素アレイに配置されたアレイ内OB画素におけるクロストークが補償される方法を適用するように適合された感光撮像デバイス4を備え得る。撮像デバイス4、例えば、携帯電話またはタブレットは、少なくとも1つの画像センサ2を備え、そして画像センサ2は、少なくとも1つのそのような画素アレイを含む。図1a～図1cに示されているように、画素アレイは、複数の色チャネル画素CP₁～CP_nおよび少なくとも1つのアレイ内OB画素OB₁～OB_nを含む。

撮像デバイス4は、アレイ内OB画素OB₁を選択し、その後、近傍の色チャネル画素CP₁の強度値IV₁を検出するように適合された処理手段3bをさらに備える。近傍の色チャネル画素CP₁は、前述のように、OB画素OB₁の直接あるいは間接の近傍にある色チャネル画素である。間接の近傍は、好ましくは、OB画素から2から3画素の距離に配置される。

上述の強度値IV₁を検出した後、処理手段3bは、強度値IV₁と、アレイ内OB画素OB₁の以前に記憶されたクロストーク値CV₁とに基づいて、アレイ内OB画素OB₁の現在のクロストーク値CCV₁を計算する。現在のクロストーク値CCV₁を計算するステップは、記憶されたクロストーク値CV₁に強度値IV₁を乗算することを含み得る。

撮像デバイス4は、エンドユーザによって使用され、それゆえ、クラウドメモリ5aで行われ得る記憶を除いて、すべてのクロストーク補償ステップは、撮像デバイス4内で行われる。したがって、処理手段3bは、デバイスの内部にある。

一実施形態では、処理手段3bは、少なくとも1つのさらなる近傍の色チャネル画素CP₂～CP_nの少なくとも1つのさらなる強度値IV₂～IV_nを検出するように適合される。さらなる強度値IV_OB2～IV_OBnは、初期強度値IV₁と同じ色チャネル、例えば、赤／赤のものであってもよいし、またはそれは、異なる色チャネル、例えば、赤／緑のものであってもよい。例えば、2つの強度値が同じ色チャネルのものである場合、検出ステップは、同じ近傍の色チャネル画素CP₁に対して2回実行されているか、または2つの異なる近傍の色チャネル画素CP₁、CP₂に対して実行されている可能性がある。強度値が異なる色チャネルに対するものである場合、検出ステップは、2つの異なる近傍の色チャネル画素CP₁、CP₂に対して実行されている。

上述の強度値IV₂～IV_nを検出した後、処理手段は、これらのさらなる強度値IV₂～IV_nおよび以前に記憶されたクロストーク値CV₁に基づいて、アレイ内OB画素OB₁の少なくとも1つのさらなる現在のクロストーク値CCV₂～CCV_nを計算する。現在のクロストーク値CCV₂～CCV_nを計算するステップは、記憶されたクロストーク値CV₁に強度値IV₂～IV_nを乗算することを含み得る。一実施形態では、2つの現在のクロストーク値CCV₁、CCV₂が、1つのアレイ内OB画素OB₁に関して計算され、CV₁にIV₁を乗算することによってCCV₁に達し、CV₂にIV₂を乗算することによってCCV₂に達する。

一実施形態では、処理手段3bは、現在のクロストーク値CCV₁を計算する前に、強度値IV₁～IV_nをフィルタリングするように適合される。フィルタリングは、前述のように、多くの異なる方法を用いて実行され得る。図6a～図6bに示されている一実施形態では、フィルタリングのステップは、同じ色チャネルを有する少なくとも2つの近傍の色チャネル画素に関して検出された強度値IV₁～IV_nを平均することと、平均強度値IV_Aを少なくとも2つの近傍の色チャネル画素の強度値として割り当てることとを含む。

一実施形態では、処理手段3bは、
現在のクロストーク値CCV₁～CCV_nの少なくとも2つに基づいて、アレイ内OB画素OB₁の現在の合計クロストーク値TCCV₁を計算する
ように適合される。処理手段3bは、現在の合計クロストーク値TCCV₁を計算する前に、少なくとも2つの現在のクロストーク値CCV₁～CCV_nをフィルタリングするようにさらに適合され得る。フィルタリングは、前述のように、多くの異なる方法を用いて実行され得る。図6a～図6bに示されている一実施形態では、フィルタリングのステップは、現在のクロストーク値CCV₁～CCV_nを平均することと、現在の平均クロストーク値CCV_Aをアレイ内OB画素OB₁の現在のクロストーク値として割り当てることとを含む。

OB画素OB₁の合計クロストーク値TCCV₁を計算するステップは、近傍の各色チャネルの各現在のクロストーク値CCV₁～CCV_nを合算して1つの総計を出すことを含み得る。

一実施形態では、処理手段3bは、OB画素OB₁の強度値IV_OB1を検出するように適合される。強度値IV_OB1を検出した後、処理手段3bは、アレイ内OB画素OB₁の現在のクロストーク値CCV₁～CCV_nまたは現在の合計クロストーク値TCCV₁と所定の制限値Xとを比較する。制限値Xは、例えば、2％であり得るが、適切な値は、所与の画像センサタイプに対して個別に決定されなければならない。

現在のクロストーク値CCV₁～CCV_nまたは現在の合計クロストーク値TCCV₁が、Xより大きい場合、処理手段は、新しい異なるアレイ内OB画素OB₂～OB_nを選択し、上記のステップを繰り返す。現在のクロストーク値CCV₁～CCV_nまたは現在の合計クロストーク値TCCV₁が、X以下である場合、処理手段は、アレイ内OB画素OB₁の補正強度値CIV₁を計算し、補正強度値CIV₁をアレイ内OB画素OB₁に割り当てる。

一実施形態では、処理手段3bは、強度値IV₁～IV_nまたはOB画素OB₁に関して検出された上述のフィルタリングされた強度値から、現在のクロストーク値CCV₁または現在の合計クロストーク値TCCV₁を引くことによって、補正強度値CIV₁を計算するように適合される。

さらに、処理手段3bは、少なくとも1つのさらなるアレイ内OB画素OB₂～OB_nに対して上記のステップを繰り返し、少なくとも2つのアレイ内OB画素OB₁～OB_nの強度値IV₁～IV_nをフィルタリングし、フィルタリングされた強度値を、少なくとも2つのアレイ内OB画素OB₁～OB_nの強度値IVとして割り当てるように適合され得る。図6a～図6bに示されている一実施形態では、フィルタリングのステップは、複数の強度値IV₁～IV_nを平均することを含む。

さらに、処理手段3bは、異なる色チャネルを有する少なくとも1つのさらなる近傍の色チャネル画素CP₂～CP_nに対して上記のステップを繰り返すように適合され得る。

一実施形態では、画素アレイは、画素アレイの外縁に配置された少なくとも1つのフレームOB画素FOB₁～FOB_nを含む。その後、処理手段3bは、そのようなフレームOB画素FOB₁～FOB_nの近くに位置する少なくとも1つのアレイ内OB画素OB₁～OB_nに関して、アレイ内OB画素OB₁～OB_nの近くに位置する少なくとも1つのフレームOB画素FOB₁～FOB_nの色チャネルの強度値FIV₁～FIV_nを検出するように適合され得る。1つのフレームOB画素FOB₁のみのフレームOB画素強度値FIV₁が検出される場合、フレームOB画素FOB₁の強度値FIV₁は、フレームOB画素FOB₁の強度値FIVとして割り当てられる。少なくとも2つのフレームOB画素FOB₁～FOB_nのフレームOB画素強度値FIV₁～FIV_nが検出される場合、フレームOB画素強度値FIV₁～FIV_nは平均され、平均強度値が、フレームOB画素FOB₁～FOB_nのフレームOB画素強度値FIVとして割り当てられる。

その後、処理手段3bは、アレイ内OB画素OB₁の補正強度値CIV₁と、フレームOB画素FOB₁～FOB_nの前記色チャネルの強度値FIVとを比較する。補正強度値CIV₁がフレームOB画素強度値FIVに等しい場合、補正強度値CIV₁は、アレイ内OB画素OB₁の強度値IV₁として割り当てられる。補正強度値CIV₁がフレームOB画素強度値FIVと異なる場合、補正強度値CIV₁とフレームOB画素強度値FIVはマッチングされ、マッチングされた強度値が、補正強度値CIV₁として割り当てられる。

一実施形態では、処理手段3bは、以下のステップを用いて、補正強度値CIV₁とフレームOB画素強度値FIVとをマッチングするように適合される。画素分数値Fは、フレームOB画素強度値FIVを補正強度値CIV₁で除算することによって計算され、フレームOB画素強度値FIVは、アレイ内OB画素OB₁の強度値として割り当てられる。分数値Fは、フレームOB画素FOB₁およびアレイ内OB画素OB₁と並んだ各アレイ内OB画素OB₂～OB_nの強度値IV₁～IV_nと乗算され、乗算された強度値は、各アレイ内OB画素OB₂～OB_nの強度値として割り当てられる。

図2a～図2bは、11×11のOB画素を含む画素アレイのセクションを示す。最上行1は、フレームOB画素FOB₁～FOB₁₁を含み、それらの強度値FIV₁～FIV₁₁を示す。残りの行2～11は、アレイ内画素OB₁～OB₁₁₀を含む。図2aは、それらの補正強度値を示し、一方、図2bは、列1～7に補正強度値を示し、列8～11にマッチングされた強度値を示す。

さらに、別の実施形態の場合、図2a～図2bは、フレームOB画素の強度値ならびにアレイ内OB画素の補正およびフィルタリングされた強度値を含むセクションを示す。最上行1は、フレームOB画素FOB₁～FOB₁₁を含み、それらのフィルタリングされた強度値FIV₁～FIV₁₁を示す。残りの行2～11は、アレイ内画素OB₁～OB₁₁₀の補正およびフィルタリングされた強度値を含む。図2aは、それらの補正およびフィルタリングされた強度値を示し、一方、図2bは、列1～7に補正強度値を示し、列8～11にマッチングされた強度値を示す。

画素クロストーク値を求める上記の方法は、個々の画素ごとに画素クロストークの量が求められることを可能にし、これにより、画像画素アレイの黒レベルに対するクロストークの影響が正しく求められ得る。さらに、クロストークの上記の補償は、黒レベルに対するクロストークの影響が補償されることを可能にし、これにより、従来技術よりも正しい黒レベル推定が得られ、その結果、画像はより良い品質を有するようになる。

様々な態様および実施態様が、本明細書の様々な実施形態に関連して説明された。しかしながら、開示された実施形態に対する他の変形例は、図面、本開示、および添付の特許請求の範囲の研究から、特許請求された主題を実施する際に当業者によって理解および達成され得る。特許請求の範囲において、「備える（comprising）」という語は、他の要素またはステップを排除せず、不定冠詞「1つの（a）」または「1つの（an）」は、複数を排除しない。特定の基準が相互に異なる従属請求項に記載されているという単なる事実は、これらの基準の組み合わせが好適に使用され得ないことを示すものではない。

特許請求の範囲で使用されている参照符号は、範囲を限定するものと解釈されてはならない。

1 感光撮像システム
2 画像センサ
3a 内部処理手段
3b 外部処理手段
4 感光撮像デバイス
5a 外部メモリ手段
5b メモリ手段、不揮発性メモリ

Claims

画素アレイに配置されたOB（光学的に黒の）画素のクロストーク値を求めるように適合された感光撮像システム（1）であって、前記システムは、
少なくとも1つの画素アレイを含む少なくとも1つの画像センサ（2）であって、前記画素アレイは、複数の色チャネル画素（CP₁、．．．、CP_n）および少なくとも1つのOB画素（OB₁、．．．、OB_n）を含む、少なくとも1つの画像センサ（2）と、
処理手段（3a、3b）であって、
OB画素（OB₁）の色チャネルの強度値（IVOB₁）を検出し、
近傍の色チャネル画素（CP₁）の強度値（IV₁）を検出し、
前記強度値（IVOB_1、IV₁）に基づいて、前記OB画素（OB₁）のクロストーク値（CV₁）を計算する
ように適合された処理手段（3a、3b）と
を備える、感光撮像システム（1）。
前記処理手段（3a、3b）は、
前記OB画素（OB₁）の色チャネルの少なくとも1つのさらなる強度値（IV_OB2、．．．、IV_OBn）を検出し、
少なくとも1つのさらなる近傍の色チャネル画素（CP₂、．．．、CP_n）の少なくとも1つのさらなる強度値（IV₂、．．．、IV_n）を検出し、
前記さらなる強度値（IV_OB2、．．．、IV_OBn、IV₂、．．．、IV_n）に基づいて、前記OB画素（OB₁）の少なくとも1つのさらなるクロストーク値（CV₂、．．．、CV_n）を計算する
ようにさらに適合されている、請求項1に記載の感光撮像システム（1）。
前記処理手段（3a、3b）は、前記クロストーク値（CV₁、．．．、CV_n）を計算する前に、前記近傍の色チャネル画素（CP₁、．．．、CP_n）の前記強度値（IV₁、．．．、IV_n）をフィルタリングするようにさらに適合されている、請求項2に記載の感光撮像システム（1）。
前記処理手段（3a、3b）は、前記クロストーク値（CV₁、．．．、CV_n）の少なくとも2つに基づいて、前記OB画素（OB₁）の合計クロストーク値（TCV₁）を計算するようにさらに適合されている、請求項2または3に記載の感光撮像システム（1）。
前記処理手段（3a、3b）は、前記合計クロストーク値（TCV₁）を計算する前に、前記クロストーク値（CV₁、．．．、CV_n）の少なくとも2つをフィルタリングするようにさらに適合されている、請求項4に記載の感光撮像システム（1）。
前記処理手段（3a、3b）は、さらなる各OB画素（OB₂、．．．、OB_n）のクロストーク値または合計クロストーク値（CV₁、．．．、CV_n、TCV₁、．．．、TCV_n）を取得するために、少なくとも1つのさらなるOB画素（OB₂、．．．、OB_n）に対して請求項1から5のいずれか一項に記載のステップを繰り返すようにさらに適合されている、請求項1から5のいずれか一項に記載の感光撮像システム（1）。
前記処理手段（3a、3b）は、前記OB画素（OB₁、．．．、OB_n）の前記計算されたクロストーク値または前記合計クロストーク値（CV₁、．．．、CV_n、TCV₁、．．．、TCV_n）をフィルタリングするようにさらに適合されている、請求項6に記載の感光撮像システム（1）。
前記クロストーク値（CV₁、．．．、CV_n ）は、前記感光撮像システム（1）に記憶される、請求項2または6に記載の感光撮像システム（1）。
前記合計クロストーク値（TCV ₁ 、．．．、TCV _n ）は、前記感光撮像システム（1）に記憶される、請求項6に記載の感光撮像システム（1）。
前記フィルタリングされたクロストーク値は、前記感光撮像システム（1）に記憶される、請求項5または7に記載の感光撮像システム（1）。
前記フィルタリングされた合計クロストーク値は、前記感光撮像システム（1）に記憶される、請求項7に記載の感光撮像システム（1）。
画素アレイに配置されたアレイ内OB画素におけるクロストークを補償するように適合された感光撮像デバイス（4）であって、前記デバイスは、
少なくとも1つの画素アレイを含む少なくとも1つの画像センサ（2）であって、前記画素アレイは、複数の色チャネル画素（CP₁、．．．、CP_n）および少なくとも1つのアレイ内OB画素（OB₁、．．．、OB_n）を含む、少なくとも1つの画像センサ（2）と、
処理手段（3b）であって、
アレイ内OB画素（OB₁）を選択し、
近傍の色チャネル画素（CP₁）の強度値（IV₁）を検出し、
前記強度値（IV₁）、および前記アレイ内OB画素（OB₁）の記憶されたクロストーク値（CV₁）に基づいて、前記アレイ内OB画素（OB₁）の現在のクロストーク値（CCV₁）を計算する
ように適合された処理手段（3b）と
を備える、感光撮像デバイス（4）。
前記処理手段（3b）は、
少なくとも1つのさらなる近傍の色チャネル画素（CP₂、．．．、CP_n）の少なくとも1つのさらなる強度値（IV₂、．．．、IV_n）を検出し、
前記さらなる強度値（IV₂、．．．、IV_n）および記憶されたクロストーク値（CV₁）に基づいて、前記アレイ内OB画素（OB₁）の少なくとも1つのさらなる現在のクロストーク値（CCV₂、．．．、CCV_n）を計算する
ようにさらに適合されている、請求項12に記載の感光撮像デバイス（4）。
前記処理手段（3b）は、前記現在のクロストーク値（CCV₁）を計算する前に、前記強度値（IV₁、．．．、IV_n）をフィルタリングするようにさらに適合されている、請求項13に記載の感光撮像デバイス（4）。
前記処理手段（3b）は、前記現在のクロストーク値（CCV₁、．．．、CCV_n）の少なくとも2つに基づいて、前記アレイ内OB画素（OB₁）の現在の合計クロストーク値（TCCV₁）を計算するようにさらに適合されている、請求項13または14に記載の感光撮像デバイス（4）。
前記処理手段（3b）は、前記現在の合計クロストーク値（TCCV₁）を計算する前に、前記現在のクロストーク値（CCV₁、．．．、CCV_n）の前記少なくとも2つをフィルタリングするようにさらに適合されている、請求項15に記載の感光撮像デバイス（4）。
前記処理手段（3b）は、
前記OB画素（OB₁）の強度値（IV_OB1）を検出し、
前記アレイ内OB画素（OB₁）の前記現在のクロストーク値または前記現在の合計クロストーク値（CCV₁、．．．、CCV_n、TCCV₁）と所定の制限値Xとを比較し、
前記現在のクロストーク値または前記現在の合計クロストーク値（CCV₁、TCCV₁）＞Xである場合、異なるアレイ内OB画素（OB₂、．．．、OB_n）を選択し、請求項9から13のいずれか一項に記載のステップを繰り返し、
前記現在のクロストーク値または前記現在の合計クロストーク値（CCV₁、TCCV₁）≦Xである場合、前記アレイ内OB画素（OB₁）の補正強度値（CIV₁）を計算し、
前記補正強度値（CIV₁）を前記アレイ内OB画素（OB₁）に割り当てる
ようにさらに適合されている、請求項12から16のいずれか一項に記載の感光撮像デバイス（4）。
前記処理手段（3b）は、前記強度値（IV₁、．．．、IV_n ）から前記現在のクロストーク値（CCV₁ ）を引くことによって、補正強度値（CIV₁）を計算するように適合されている、請求項13に記載の感光撮像デバイス（4）。
前記処理手段（3b）は、前記フィルタリングされた強度値から前記現在のクロストーク値（CCV ₁ ）を引くことによって、補正強度値（CIV ₁ ）を計算するように適合されている、請求項14に記載の感光撮像デバイス（4）。
前記処理手段（3b）は、前記強度値（IV ₁ 、．．．、IV _n ）から前記現在の合計クロストーク値（TCCV ₁ ）を引くことによって、補正強度値（CIV ₁ ）を計算するように適合されている、請求項15に記載の感光撮像デバイス（4）。
前記処理手段（3b）は、前記フィルタリングされた強度値から前記現在の合計クロストーク値（TCCV ₁ ）を引くことによって、補正強度値（CIV ₁ ）を計算するように適合されている、請求項16に記載の感光撮像デバイス（4）。
前記処理手段（3b）は、
少なくとも1つのさらなるアレイ内OB画素（OB₂、．．．、OB_n）に対して、請求項13、18、または20に記載のステップを繰り返し、
前記少なくとも2つのアレイ内OB画素（OB₁、．．．、OB_n）の前記強度値（IV₁、．．．、IV_n）をフィルタリングし、
フィルタリングされた強度値を、前記少なくとも2つのアレイ内OB画素（OB₁、．．．、OB_n）の強度値（IV）として割り当てる
ようにさらに適合されている、請求項13、18、または20に記載の感光撮像デバイス（4）。
前記画素アレイは、少なくとも1つのフレームOB画素（FOB₁、．．．、FOB_n）をさらに含み、前記少なくとも1つのフレームOB画素は、前記画素アレイの外縁に配置されている、請求項12から22のいずれか一項に記載の感光撮像デバイス（4）。
前記処理手段（3b）は、フレームOB画素（FOB₁、．．．、FOB_n）の近くに位置する少なくとも1つのアレイ内OB画素（OB₁、．．．、OB_n）に関して、
前記アレイ内OB画素（OB₁、．．．、OB_n）の近くに位置する少なくとも1つのフレームOB画素（FOB₁、．．．、FOB_n）の色チャネルの強度値（FIV₁、．．．、FIV_n）を検出し、
1つのフレームOB画素（FOB₁）のみの前記強度値（FIV₁）が検出される場合、前記フレームOB画素（FOB₁）の前記強度値（FIV₁）は、前記フレームOB画素（FOB₁）の強度値（FIV）として割り当てられ、
少なくとも2つのフレームOB画素（FOB₁、．．．、FOB_n）の前記強度値（FIV₁、．．．、FIV_n）が検出される場合、前記強度値（FIV₁、．．．、FIV_n）は平均され、平均強度値は、前記フレームOB画素（FOB₁、．．．、FOB_n）のフレームOB画素強度値（FIV）として割り当てられ、
前記アレイ内OB画素（OB₁）の前記補正強度値（CIV₁）と、前記色チャネルの前記フレームOB画素（FOB₁、．．．、FOB_n）の前記強度値（FIV）とを比較し、
前記補正強度値（CIV₁）が前記フレームOB画素強度値（FIV）に等しい場合、前記補正強度値（CIV₁）を前記アレイ内OB画素（OB₁）の前記強度値（IV₁）として割り当て、
前記補正強度値（CIV₁）が前記フレームOB画素強度値（FIV）と異なる場合、前記補正強度値（CIV₁）と前記フレームOB画素強度値（FIV）とをマッチングし、マッチングされた強度値を前記補正強度値（CIV₁）として割り当てる
ように適合されている、請求項17から21のいずれか一項に記載の感光撮像デバイス（4）。
前記処理手段（3b）は、
前記フレームOB画素強度値（FIV）を前記補正強度値（CIV₁）で除算することによって画素分数値（F）を計算し、
前記フレームOB画素強度値（FIV）を前記アレイ内OB画素（OB₁）の前記強度値として割り当て、
前記フレームOB画素（FOB₁）および前記アレイ内OB画素（OB₁）と並んだ各アレイ内OB画素（OB₂、．．．、OB_n）の前記強度値（IV₁、．．．、IV_n）と前記分数値（F）を乗算し、
乗算された強度値を前記各アレイ内OB画素（OB₂、．．．、OB_n）の前記強度値として割り当てる
ことによって、前記補正強度値（CIV₁）と前記フレームOB画素強度値（FIV）とをマッチングするように適合されている、請求項24に記載の感光撮像デバイス（4）。
画素アレイに配置されたOB画素のクロストーク値を求める方法であって、前記画素アレイは、複数の色チャネル画素（CP₁、．．．、CP_n）および少なくとも1つのOB画素（OB₁、．．．、OB_n）を含み、前記方法は、
OB画素（OB₁）の色チャネルの強度値（IV_OB1）を検出するステップと、
近傍の色チャネル画素（CP₁）の強度値（IV₁）を検出するステップと、
前記強度値（IV_OB1、IV₁）に基づいて前記OB画素（OB₁）のクロストーク値（CV₁）を計算するステップと
を含む、方法。
画素アレイに配置されたアレイ内OB画素におけるクロストークを補償する方法であって、前記画素アレイは、複数の色チャネル画素（CP₁、．．．、CP_n）および少なくとも1つのアレイ内OB画素（OB₁、．．．、OB_n）を含み、前記方法は、
アレイ内OB画素（OB₁）を選択するステップと、
近傍の色チャネル画素（CP₁）の強度値（IV₁）を検出するステップと、
前記強度値（IV₁）および記憶されたクロストーク値（CV₁）に基づいて、前記アレイ内OB画素（OB₁）の現在のクロストーク値（CCV₁）を計算するステップと
を含む、方法。