JP5901188B2

JP5901188B2 - 撮像装置及び画像処理方法

Info

Publication number: JP5901188B2
Application number: JP2011198508A
Authority: JP
Inventors: 武範小布施
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-09-12
Filing date: 2011-09-12
Publication date: 2016-04-06
Anticipated expiration: 2031-09-12
Also published as: JP2013062601A

Description

本発明は、撮像装置及び画像処理方法に関し、撮像素子から出力される映像信号を複数の領域に分割して画像処理するシステムにおける欠陥画素の補正技術に関する。

近年、デジタルビデオカメラ等の撮像装置は、記録できる画素数が増してきている。これは、撮像装置により記録した映像を映し出すモニターの規格とも密接な関係がある。すなわち、モニターの規格においては、ＳＤ（Standard Definition）と呼ばれる規格からＨＤ（High Definition）と呼ばれる規格への移行があり、今後はさらなる解像度を持つモニターへの移行が予定されている。このようなモニターの規格の変化に関連して、撮像装置においても記録できる画素数について高画素化が要求されている。撮像装置において高画素化を実現するには、レンズ及び撮像素子、映像信号をデジタル処理する画像処理ＬＳＩ、外部に出力する映像出力ＬＳＩ等での対応が必要である。

しかし、画素数が多くなるに従って、撮像素子から１フレーム内に出力される映像信号の情報量が多くなり、映像信号をデジタル処理する画像処理ＬＳＩが大規模になるという問題が懸念されている。この問題の解決案のひとつとして、画像処理ＬＳＩを複数設けて映像信号を並列に処理することで、システムの高速化及び負荷分散を図る技術が開示されている（例えば、特許文献１参照）。

特開２００３−６６３１号公報

複数の画像処理ＬＳＩを設け、撮像素子からの映像信号を複数の領域に分割し各画像処理ＬＳＩに振り分けて処理する場合に、撮像素子の固定パターンノイズの除去等をはじめとする処理を行うには、撮像素子のオプティカルブラック部の信号が必要となる。そのため、映像信号を複数の領域に分割する際には、オプティカルブラック部の信号も各領域に対応するように分割し、画像処理ＬＳＩで処理を行う。

しかし、オプティカルブラック部を各領域に対応して分割すると、各領域に対応したオプティカルブラック部を接合した際に、接合した境界において隣り合う画素が実際の撮像素子とは変わるものがある。これにより、撮像素子の要求仕様ではオプティカルブラック部において水平方向に欠陥画素が連続して存在することが禁止されている場合であっても、接合後のオプティカルブラック部では欠陥画素が連続して存在してしまうことがあるという問題がある。そのため、欠陥画素補正に関わるパラメータを欠陥画素が連続しないシステムに比べて緩和せざるを得ないが、パラメータを緩和すると欠陥画素の除去率が下がってしまい、黒レベルクランプ処理等の精度が悪化し、撮像装置の画質に著しく影響を与えてしまう。

本発明の目的は、撮像素子からの映像信号を複数の領域に分割し各画像処理ＬＳＩに振り分けて処理する撮像装置にて、接合したオプティカルブラック部で欠陥画素が連続して存在しても、欠陥画素を良好に補正できる撮像装置を提供することである。

本発明に係る撮像装置は、入射光量に応じて光電変換を行う複数の画素からなる有効画素部と、遮光された画素からなる水平オプティカルブラック部と、遮光された画素からなる垂直オプティカルブラック部とを有する撮像素子と、前記撮像素子から出力される前記有効画素部の画像データを複数の領域に分割するとともに、各分割領域の前記有効画素部に対応して前記水平オプティカルブラック部の画像データ及び前記垂直オプティカルブラック部の画像データを分割し、各分割領域の前記有効画素部の画像データにそれぞれ対応する領域の前記水平オプティカルブラック部の画像データ及び前記垂直オプティカルブラック部の画像データを付加する分割手段と、前記各分割領域の前記有効画素部の画像データに付加する際に接合された前記水平オプティカルブラック部及び前記垂直オプティカルブラック部の画像データに含まれる欠陥画素を検出する欠陥画素検出手段と、各分割領域の前記有効画素部の画像データに付加する際に接合された前記水平オプティカルブラック部及び前記垂直オプティカルブラック部の画像データにおいて、前記欠陥画素検出手段により連続する複数の欠陥画素が検出された場合には、検出された連続する複数の欠陥画素の各々を各欠陥画素に隣接する画素の信号レベルで補正せずに、検出された連続する複数の欠陥画素を一連の連続欠陥画素として扱い、当該連続欠陥画素に含まれる各欠陥画素の信号レベルを当該連続欠陥画素に隣接する画素の信号レベルを用いて補正する画素補正手段とを有することを特徴とする。

本発明によれば、接合したオプティカルブラック部の境界で欠陥画素が連続しても、それら欠陥画素を良好に補正することができ、オプティカルブラック部の信号を使用する必要がある画像処理を精度良く行うことができる。

本発明の実施形態に係る撮像装置の構成例を示す図である。映像信号の振り分けの一例を示す図である。欠陥画素補正部の構成例を示す図である。第１の実施形態における欠陥画素補正処理を示すフローチャートである。第２の実施形態における欠陥画素補正処理を示すフローチャートである。

以下、本発明の実施形態を図面に基づいて説明する。

（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。図１には、第１の実施形態に係る撮像装置のうち、撮像素子から画像処理ＬＳＩまでの構成を示している。図１に示す撮像装置は、撮像素子１０１、ラインメモリ１０２、映像信号分割部１０３、及び複数の画像処理ＬＳＩ１０４を含む。

撮像素子１０１は、高画素数に対応した撮像素子であり、レンズからの入射光を受け、それを光電変換により映像信号へ変換して出力する。撮像素子１０１は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳイメージセンサ等である。撮像素子１０１は、映像信号として、アナログの映像信号を直接出力するものや、内部でアナログデジタル変換処理を行ってＬＶＤＳ（Low voltage differential signaling）等のデジタルデータを出力するものなどがある。撮像素子１０１は、光電変換素子を含む複数の画素を有し、それらが２次元状に（行方向及び列方向に）配列されている。また、撮像素子１０１は、入射光量に応じて光電変換を行う複数の画素を含む有効撮像部（有効画素部）と、遮光された画素を有するオプティカルブラック部とを有する。ここで、本実施形態における撮像素子１０１は、映像信号分割部１０３において分割する前の状態では、欠陥画素が連続して存在することを禁止している。

ラインメモリ１０２は、撮像素子１０１からの映像信号を複数の画像処理ＬＳＩ１０４に振り分ける際に使用される。映像信号分割部１０３は、撮像素子１０１から出力された映像信号を受け、それを複数の領域に分割して画像処理ＬＳＩ１０４に振り分ける。映像信号分割部１０３は、撮像素子１０１の有効撮像部（有効画素部）より得られた映像信号を複数の領域に分割するとともに、各領域に対応するように撮像素子１０１のオプティカルブラック部より得られた映像信号を分割する。そして、映像信号分割部１０３は、分割した映像信号に、その領域に対応するオプティカルブラック部の信号を付加して、画像処理ＬＳＩ１０４に出力する。

図２は、映像信号分割部１０３による映像信号の振り分けの一例を示す図である。図２においては、撮像素子１０１からの１フレーム分の出力を模式的に表しており、一例として映像信号を４つの領域に分割する場合を示している。図２において、水平のオプティカルブラック（ＨＯＢ）部２０１及び垂直のオプティカルブラック（ＶＯＢ）部２０２は、遮光されている画素領域に対応し、光には反応はせずに黒レベルを出力する。有効撮像部２０３は、入射光を受ける画素領域に対応し、実際の光を光電変換し入射光に応じたレベルを出力する。

映像信号分割部１０３は、図２に示す有効撮像部２０３をＡ〜Ｄの４つの領域に分割し、領域Ａ〜Ｄのそれぞれに対して水平及び垂直に対応したオプティカルブラック部を付加する。すなわち、映像信号分割部１０３は、有効撮像部２０３の領域Ａに対しては、オプティカルブラック部２０１、２０２の領域Ｅ、領域Ｆ、領域Ｈを付加する。同様に、有効撮像部２０３の領域Ｂに対しては、オプティカルブラック部２０１、２０２の領域Ｅ、領域Ｇ、領域Ｈを付加し、有効撮像部２０３の領域Ｃに対しては、オプティカルブラック部２０１、２０２の領域Ｅ、領域Ｆ、領域Ｉを付加する。また、有効撮像部２０３の領域Ｄに対しては、オプティカルブラック部２０１、２０２の領域Ｅ、領域Ｇ、領域Ｉを付加する。

このようにして、映像信号分割部１０３は、分割した有効撮像部２０３の各領域に対して、それぞれ対応するオプティカルブラック部２０１、２０２の領域の信号を付加して領域毎に画像処理ＬＳＩ１０４に振り分ける。ここで、図２に示した撮像素子１０１からの映像信号は、図中の左上から横方向に右下まで順に出力される。ラインメモリ１０２は、オプティカルブラック部（領域Ｅ、領域Ｆ、領域Ｇ、領域Ｈ、領域Ｉ）の信号を記憶する。そして、映像信号分割部１０３が、有効撮像部（領域Ａ、領域Ｂ、領域Ｃ、領域Ｄ）の信号をリアルタイムに振り分けるのと同時に、オプティカルブラック部の各領域の信号もラインメモリ１０２から読み出されて振り分けられる。

画像処理ＬＳＩ１０４は、映像信号分割部１０３により振り分けられた領域の映像信号に対して各種の画像処理を行う。画像処理ＬＳＩ１０４は、撮像素子１０１の欠陥画素に係る補正処理や、撮像素子１０１の固定パターンノイズの除去や、黒レベルクランプ処理等を行う。また、画像処理ＬＳＩ１０４は、ノイズリダクションやガンマ補正等の撮像装置における各種画像処理を行う。画像処理ＬＳＩ１０４は、映像信号に対してノイズリダクションやガンマ補正等をはじめとする各種画像処理を行う処理部１０５、及び撮像素子１０１のオプティカルブラック部の欠陥画素に係る補正処理を行う欠陥画素補正部１０６を有する。また、画像処理ＬＳＩ１０４は、それぞれの補正や画像処理に必要となる設定値を記憶しておく記憶回路を含む。

本実施形態における撮像装置では、高画素に対応する撮像素子１０１から出力される映像信号は、映像信号分割部１０３により複数の領域に分割され、それぞれの領域の映像信号について複数の画像処理ＬＳＩ１０４を使用して並列に処理される。これにより、撮像素子１０１からの映像信号の画像処理に係る処理速度を向上させることができる。

図３は、欠陥画素補正部１０６の構成例を示すブロック図である。図３において、領域判定部３０１は、入力された映像信号がオプティカルブラック部の画素の信号であるか否かを判定する。欠陥画素検出部３０２は、オプティカルブラック部における欠陥画素を検出する。欠陥画素検出部３０２は、対象画素の信号レベルと対象画素に隣接する左右の画素の信号レベルとに基づいて、対象画素が欠陥画素であるか否か、さらに欠陥画素である場合には欠陥画素が連続する連続欠陥画素であるか否かを判断し欠陥画素の検出を行う。画素補正部３０３は、欠陥画素検出部３０２により検出された欠陥画素の信号レベルを置換し補正する。

次に、第１の実施形態における欠陥画素補正処理について説明する。図４は、第１の実施形態における撮像素子１０１のオプティカルブラック部の欠陥画素補正処理を示すフローチャートである。図４に示す欠陥画素補正処理は、画像処理ＬＳＩ１０４の欠陥画素補正部１０６により実行される。
まず、ステップＳ１１にて、画像処理ＬＳＩ１０４は、映像信号分割部１０３により複数の領域に分割され領域毎に振り分けされた各々の画像処理ＬＳＩに対応する映像信号を受ける。

次に、ステップＳ１２にて、欠陥画素補正部１０６の領域判定部３０１は、入力された映像信号における画素信号がオプティカルブラック部の画素の信号であるか否かを判定する。これは、あらかじめ撮像素子１０１の仕様から、オプティカルブラック部の領域が決定されるので、オプティカルブラック部の領域を示す情報を画像処理ＬＳＩにあらかじめ記憶させ、その情報を参照して判定を行う。ステップＳ１２での判定の結果、オプティカルブラック部の画素の信号であると判定した場合にはステップＳ１３へ進み、オプティカルブラック部の画素の信号ではないと判定した場合にはステップＳ１８へ進む。

ステップＳ１３にて、欠陥画素補正部１０６の欠陥画素検出部３０２は、対象画素の信号レベルと対象画素に対して一の方向に隣接する画素（ここでは、対象画素に隣接する左右の画素）の信号レベルの平均値とを比較する。比較の結果、対象画素の信号レベルと隣接する左右の画素の信号レベルの平均値との差の絶対値が、予め記憶しておいた第１の閾値以上である場合には、欠陥画素検出部３０２は、対象画素が欠陥画素であると判断し、ステップＳ１４へ進む。一方、対象画素の信号レベルと隣接する左右の画素の信号レベルの平均値との差の絶対値が第１の閾値よりも小さい場合には、欠陥画素検出部３０２は、その画素が欠陥画素ではないと判断し、ステップＳ１８へ進む。

ステップＳ１４にて、欠陥画素検出部３０２は、ステップＳ１３において欠陥画素である判断された対象画素の信号レベルと隣接する左右のそれぞれの画素の信号レベルとを比較する。対象画素の信号レベルと隣接する左右のいずれかの画素の信号レベルとの差の絶対値が予め定めた第２の閾値以下である場合には、ステップＳ１５へ進み、欠陥画素検出部３０２は、対象画素が比較した画素との連続欠陥画素であると判断し、ステップＳ１６へ進む。ステップＳ１６にて、欠陥画素補正部１０６の画素補正部３０３は、連続欠陥画素であると判断された画素について補正処理を行う。ここで、撮像素子１０１は欠陥画素が連続しないことから、連続欠陥画素の隣接画素は欠陥画素でないことは自明である。そこで、画素補正部３０３は、連続欠陥画素の信号レベルを、連続欠陥画素の隣接画素の信号レベルの平均値に置換し、ステップＳ１８へ進む。

一方、ステップＳ１４での比較の結果、対象画素の信号レベルと隣接する左右のそれぞれの画素の信号レベルとの差の絶対値がともに第２の閾値より大きい場合には、欠陥画素検出部３０２は、欠陥画素が連続していないと判断する。そして、ステップＳ１７にて、画素補正部３０３は、対象画素の信号レベルを隣接する左右の画素の信号レベルの平均値に置換することで補正を行い、ステップＳ１８へ進む。

ステップＳ１８にて、欠陥画素補正部１０６は、対象画素が読出し領域の最終画素であるか否かの判断を行う。すなわち、図２における各領域の右下の画素であるかどうかを判断する。その結果、対象画素が読出し領域の最終画素でない場合には、次の画素を対象画素としてステップＳ１２へ戻る（ステップＳ１９）。一方、対象画素が読出し領域の最終画素である場合には、次のフレームにおける左上の先頭画素に移り、新たに図４に示した処理を繰り返す。

第１の実施形態によれば、複数の領域に分割され各画像処理ＬＳＩ１０４に振り分けられた映像信号において、撮像素子１０１のそのものには禁止である連続欠陥画素がオプティカルブラック部に発生した場合でも、欠陥画素を良好に補正することができる。このように、接合したオプティカルブラック部の境界で欠陥画素が連続しても、それら欠陥画素を良好に補正することができ、その後の処理に影響を及ぼすことなく、撮像素子の黒レベルクランプ処理等の画像処理を精度良く行うことができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第２の実施形態における撮像装置の構成は、前述した第１の実施形態と同様であるので説明は省略し、以下では第２の実施形態における欠陥画素補正処理について説明する。図５は、第２の実施形態における撮像素子１０１のオプティカルブラック部の欠陥画素補正処理を示すフローチャートである。図５に示す欠陥画素補正処理は、画像処理ＬＳＩ１０４の欠陥画素補正部１０６により実行される。

図５において、ステップＳ２１〜ステップＳ２４までの処理は、図４に示したステップＳ１１〜ステップＳ１４までの処理と同様であるので、説明は省略する。

ステップＳ２４での比較の結果、対象画素の信号レベルと隣接する左右のいずれかの画素の信号レベルとの差の絶対値が予め定めた第２の閾値以下である場合には、ステップＳ２５へ進む。ステップＳ２５にて、欠陥画素検出部３０２は、対象画素が比較した画素との連続欠陥画素であると判断する。続くステップＳ２６にて、画素補正部３０３は、連続欠陥画素であると判断された２つの画素の位置を示す情報（以下、アドレスと称する）を記憶回路に記憶し、ステップＳ２８へ進む。

また、ステップＳ２４での比較の結果、対象画素の信号レベルと隣接する左右のそれぞれの画素の信号レベルとの差の絶対値がともに第２の閾値より大きい場合には、欠陥画素検出部３０２は、欠陥画素が連続していないと判断する。そして、ステップＳ２７にて、画素補正部３０３は、欠陥画素であると判断された対象画素のアドレスを記憶回路に記憶し、ステップＳ２８へ進む。

ステップＳ２８にて、欠陥画素補正部１０６は、対象画素が読出し領域の最終画素であるか否かの判断を行う。その結果、対象画素が読出し領域の最終画素でない場合には、次の画素を対象画素としてステップＳ２２へ戻る（ステップＳ２９）。一方、対象画素が読出し領域の最終画素である場合には、ステップＳ３０へ進む。

ここで、ステップＳ３０へ進むときには、前述した処理が読出し領域の最終画素まで行われ、すべての欠陥画素のアドレスが抽出されている。ステップＳ３０にて、画素補正部３０３は、抽出された欠陥画素のアドレスに対応するすべての画素の信号レベルを、画像処理ＬＳＩ１０４で定めている所定の黒レベルに置換することで補正を行い、処理を終了する。

第２の実施形態によれば、複数の領域に分割され各画像処理ＬＳＩ１０４に振り分けられた映像信号において、連続欠陥画素がオプティカルブラック部に発生した場合でも、欠陥画素を良好に補正することができる。このように、接合したオプティカルブラック部の境界で欠陥画素が連続しても、それら欠陥画素を良好に補正することができ、その後の処理に影響を及ぼすことなく、撮像素子の黒レベルクランプ処理等の画像処理を精度良く行うことができる。また、第２の実施形態では、欠陥画素を一律に規定した黒レベルに置換するため、第１の実施形態よりも黒レベルの誤差は大きくなるが、１つのフレームで欠陥画素を抽出すれば他のフレームでは再度この動作を行わなくても良いので、処理を軽減することができる。

（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１…撮像素子、１０２…ラインメモリ、１０３…映像信号分割部、１０４…画像処理ＬＳＩ、１０５…処理部、１０６…欠陥画素補正部、３０１…領域判定部、３０２…欠陥画素検出部、３０３…画素補正部

Claims

入射光量に応じて光電変換を行う複数の画素からなる有効画素部と、遮光された画素からなる水平オプティカルブラック部と、遮光された画素からなる垂直オプティカルブラック部とを有する撮像素子と、
前記撮像素子から出力される前記有効画素部の画像データを複数の領域に分割するとともに、各分割領域の前記有効画素部に対応して前記水平オプティカルブラック部の画像データ及び前記垂直オプティカルブラック部の画像データを分割し、各分割領域の前記有効画素部の画像データにそれぞれ対応する領域の前記水平オプティカルブラック部の画像データ及び前記垂直オプティカルブラック部の画像データを付加する分割手段と、
前記各分割領域の前記有効画素部の画像データに付加する際に接合された前記水平オプティカルブラック部及び前記垂直オプティカルブラック部の画像データに含まれる欠陥画素を検出する欠陥画素検出手段と、
各分割領域の前記有効画素部の画像データに付加する際に接合された前記水平オプティカルブラック部及び前記垂直オプティカルブラック部の画像データにおいて、前記欠陥画素検出手段により連続する複数の欠陥画素が検出された場合には、検出された連続する複数の欠陥画素の各々を各欠陥画素に隣接する画素の信号レベルで補正せずに、検出された連続する複数の欠陥画素を一連の連続欠陥画素として扱い、当該連続欠陥画素に含まれる各欠陥画素の信号レベルを当該連続欠陥画素に隣接する画素の信号レベルを用いて補正する画素補正手段と、
を有することを特徴とする撮像装置。
前記欠陥画素検出手段は、対象画素の信号レベルと前記対象画素に対して一の方向に隣接する画素の信号レベルとに基づいて、前記対象画素の信号レベルと前記隣接する画素の信号レベルの平均値との差の絶対値が第１の閾値以上である場合には、前記対象画素を欠陥画素として検出し、前記欠陥画素として検出された前記対象画素の信号レベルと前記隣接するいずれかの画素の信号レベルとの差の絶対値が第２の閾値以下である場合には、前記対象画素を連続した欠陥画素として検出することを特徴とする請求項１記載の撮像装置。
前記画素補正手段は、連続していない欠陥画素として検出された欠陥画素の信号レベルを当該欠陥画素に隣接する画素の信号レベルの平均値に置換し、連続する欠陥画素として検出された前記連続欠陥画素に含まれる各欠陥画素の信号レベルを当該連続欠陥画素に隣接する画素の信号レベルの平均値に置換することを特徴とする請求項２記載の撮像装置。
１つのフレームにて、連続した欠陥画素を含む前記水平オプティカルブラック部及び前記垂直オプティカルブラック部における欠陥画素の検出を行い、検出された欠陥画素の位置を示す情報を記憶し、当該フレームより後のフレームでは、記憶されている欠陥画素の位置を示す情報を用いて欠陥画素を補正することを特徴とする請求項１又は２記載の撮像装置。
前記画素補正手段は、記憶されている欠陥画素の位置を示す情報に対応する画素の信号レベルを所定の黒レベルに置換することを特徴とする請求項４記載の撮像装置。
前記撮像素子から出力される画像データに対して、前記撮像素子の固定パターンノイズの除去及び黒レベルクランプ処理の少なくとも一方の画像処理を行う画像処理手段を有することを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
入射光量に応じて光電変換を行う複数の画素からなる有効画素部と、遮光された画素からなる水平オプティカルブラック部と、遮光された画素からなる垂直オプティカルブラック部とを有する撮像素子を備える撮像装置での画像処理方法であって、
前記撮像素子から出力される前記有効画素部の画像データを複数の領域に分割するとともに、各分割領域の前記有効画素部に対応して前記水平オプティカルブラック部の画像データ及び前記垂直オプティカルブラック部の画像データを分割し、各分割領域の前記有効画素部の画像データにそれぞれ対応する領域の前記水平オプティカルブラック部の画像データ及び前記垂直オプティカルブラック部の画像データを付加する分割工程と、
前記各分割領域の前記有効画素部の画像データに付加する際に接合された前記水平オプティカルブラック部及び前記垂直オプティカルブラック部の画像データに含まれる欠陥画素を検出する欠陥画素検出工程と、
各分割領域の前記有効画素部の画像データに付加する際に接合された前記水平オプティカルブラック部及び前記垂直オプティカルブラック部の画像データにおいて、前記欠陥画素検出工程により連続する複数の欠陥画素が検出された場合には、検出された連続する複数の欠陥画素の各々を各欠陥画素に隣接する画素の信号レベルで補正せずに、検出された連続する複数の欠陥画素を一連の連続欠陥画素として扱い、当該連続欠陥画素に含まれる各欠陥画素の信号レベルを当該連続欠陥画素に隣接する画素の信号レベルを用いて補正する画素補正工程と、
を有することを特徴とする画像処理方法。