JP5946634B2 - 画素データ処理装置 - Google Patents

Description

本発明は、画素データ処理装置、詳しくは、撮像素子からの画素データを処理する装置に関するものである。

ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子には、通常、製造工程上の不具合等により、白つぶれや黒つぶれ等の欠陥画素が存在することが知られている。このような欠陥画素により、正しい出力を得ることができず、画質劣化が生じる虞があるため、欠陥画素から出力される画素データを補正する手段が講じられている。具体的な手段としては、例えば、製造工場等において検出された欠陥画素に関する情報に基づいて、欠陥画素の画素データの位置を特定し、その特定された欠陥画素の画素データを、その欠陥画素の近傍の１以上の画素の画素データに基づいて補正する手段が採用されている。下記特許文献には、そのような手段を採用した画素データ処理装置の一例が記載されている。

特開２００１−１８６４１７号公報

撮像素子から出力される複数の画素データが、撮像された画像上で配列されている順序、つまり、あらかじめ設定された順序で並べられている場合には、上述したような手段を採用することで、適切に欠陥画素の画素データを補正することが可能である。しかしながら、近年では、撮像素子の高画素化等に伴って、複数の画素データが、設定順序とは異なる順序で出力される撮像素子が存在する。具体的には、例えば、設定順序で並べられた場合の複数の画素の画素データのうちの奇数番目と偶数番目との一方に位置するものを順に特定数出力し、その後に、他方に位置するものを順に特定数出力する撮像素子が存在する。

このような撮像素子から出力された画素データでは、欠陥画素の画素データを、その欠陥画素の近傍の１以上の画素の画素データに基づいて補正しても、欠陥画素の画素データを適切に補正することはできない。これは、出力された画素データ上では、補正の基となる画素データは、欠陥画素の画素データの近傍に位置しているが、実際の画像上では、補正の基となる画素データが、欠陥画素の画素データの近傍に位置していないためである。

本発明は、そのような実情に鑑みてなされたものであり、設定順序とは異なる順序で出力された複数の画素データであっても、適切に欠陥画素の画素データを補正することが可能な画素データ処理装置を提供することを課題とする。

上記課題を解決するために、本願の請求項１に記載の画素データ処理装置は、撮像素子からの画素データを処理する画素データ処理装置であって、前記撮像素子を構成する複数の画素の画素データを、設定順序とは異なる順序に並べ替えられた状態で受け取る画素データ受取部と、その画素データ受取部が受け取った画素データを前記設定順序に並べ替える画素データ並べ替え部と、前記撮像素子の複数の画素のうちのいずれの位置の画素が欠陥画素であるかを示す情報である欠陥画素情報を記憶する欠陥画素情報記憶部と、その欠陥画素情報記憶部に記憶された前記欠陥画素情報を参照して、前記画素データ並べ替え部によって並べ替えられた画素データの中から欠陥画素の画素データを特定する欠陥画素データ特定部と、その欠陥画素データ特定部によって特定された欠陥画素の画素データを補正する欠陥画素データ補正部とを備え、前記欠陥画素データ特定部が、それぞれが前記画素データ並べ替え部によって並べ替えられた順序に従って連続する設定数の画素からなる複数の画素群の各々ごとに、順次、欠陥画素の画素データを特定するように構成され、前記欠陥画素情報記憶部が、それぞれが前記設定数の画素についての欠陥画素の情報である複数の画素群単位情報を前記欠陥画素情報として記憶し、前記撮像素子を構成する複数の画素が、所定の方向および、その所定の方向と交差する方向にマトリクス状に配置されており、前記設定順序が、前記所定の方向と交差する方向における一端の座標において、前記所定の方向における座標が順次カウントアップされ、その所定の方向の座標が最終となった場合に、前記所定の方向と交差する方向における一端の座標から他端の座標に向かって１カウントアップされた座標において、前記所定の方向における座標がカウントアップされる順序であり、前記所定の方向と交差する方向における他端の座標において、前記所定の方向における座標が最終となるまで順次カウントアップされる順序であり、前記異なる順序が、前記設定順序で並べられた場合の前記複数の画素の画素データのうちの奇数番目と偶数番目との一方に位置するものが順に特定数並べられ、その後に、他方に位置するものが順に前記特定数並べられる順序であり、前記欠陥画素データ補正部が、前記欠陥画素データ特定部によって特定された欠陥画素の画素データを、その欠陥画素データの前記設定順序における両隣の画素データの平均値となるように、補正するように構成される。

また、請求項２に記載の画素データ処理装置は、請求項１に記載の画素データ処理装置において、前記設定数が、前記特定数の整数倍であるように構成される。また、請求項３に記載の画素データ処理装置は、請求項１または請求項２に記載の画素データ処理装置において、前記画素データ受取部が、前記撮像素子の複数の画素の画素データを複数回に分けて受け取り、前記画素データ並べ替え部が、前記画素データ受取部が複数回に分けて受け取った複数の画素データを前記設定順序に並べ替えるように構成される。

また、請求項４に記載の画素データ処理装置は、請求項１ないし請求項３のいずれか１つに記載の画素データ処理装置において、前記欠陥画素情報記憶部に記憶される前記複数の画素群単位情報の各々が、前記複数の画素群のうちの欠陥画素が含まれている画素群である含欠陥画素群を特定するための含欠陥画素群特定情報と、含欠陥画素群を構成する前記設定数の画素における欠陥画素の位置を特定するための欠陥画素群内位置特定情報とを含むように構成される。

また、請求項５に記載の画素データ処理装置は、請求項４に記載の画素データ処理装置において、前記欠陥画素データ特定部が、前記複数の画素群の１つについて、その画素群が含欠陥画素群であるかどうかを、前記複数の画素群単位情報の１つに含まれる前記含欠陥画素群特定情報に基づいて判断し、その画素群が含欠陥画素群であると判断した場合に、その１つの画素群単位情報に含まれる前記欠陥画素群内位置特定情報に基づいて、その画素群の欠陥画素の画素データを特定するように構成される。

また、請求項６に記載の画素データ処理装置は、請求項４または請求項５に記載の画素データ処理装置において、前記欠陥画素情報記憶部が、含欠陥画素群の数の前記複数の画素群単位情報を、前記設定順序に従って配列して記憶するように構成され、前記欠陥画素データ特定部が、前記複数の画素群の１つについてその画素群が含欠陥画素群であると判断した場合に、前記複数の画素群の次の１つについて、その画素群が含欠陥画素群であるかどうかを、前記複数の画素群単位情報のうちの次に配列されている１つに含まれる前記含欠陥画素群特定情報に基づいて判断するように構成される。

また、請求項７に記載の画素データ処理装置は、請求項１ないし請求項６のいずれか１つに記載の画素データ処理装置において、前記撮像素子の複数の画素のうちの欠陥画素の各々の位置を示す情報が前記設定順序とは異なる順序に従って配列された原始欠陥画素情報を記憶する原始欠陥画素情報記憶部と、その原始欠陥画素情報記憶部に記憶された前記原始欠陥画素情報を前記設定順序に並べ替え、並べ替えられた欠陥画素情報を、前記複数の画素群単位情報によって構成される欠陥画素情報に変換する欠陥画素情報変換部とを備えるように構成される。

請求項１に記載の画素データ処理装置では、設定順序とは異なる順序で出力された複数の画素データを、設定順序に並べ替えた後に、欠陥画素の画素データを特定し、その特定された画素データが補正される。これにより、欠陥画素の画素データを、実際の画像上での欠陥画素の近傍に位置する画素の画素データに基づいて補正することが可能となり、適切に欠陥画素の画素データを補正することが可能となる。また、請求項１に記載の画素データ処理装置では、撮像素子から出力される複数の画素データが、設定順序で並べられた場合の複数の画素の画素データのうちの奇数番目に位置するものと偶数番目に位置するものとに分けられている。このように複数の画素データを分けて出力する撮像素子には、高画素のものが多いことから、請求項３に記載の画素データ処理装置によれば、高画素の撮像素子に対応することが可能となっている。また、請求項１に記載の画素データ処理装置では、欠陥画素の画素データが、その欠陥画素データの設定順序における両隣の画素データの平均値となるように、補正される。これにより、適切に欠陥画素の画素データを補正することが可能となる。

また、請求項２に記載の画素データ処理装置では、欠陥画素の画素データを特定するための欠陥画素データ特定処理を１回行う際の画素数が、画素データ処理装置が１回に受け取る画素データの画素数の整数倍とされている。これにより、欠陥画素データ特定処理を効率よく行うことが可能となる。また、請求項３に記載の画素データ処理装置では、撮像素子から出力される複数の画素データが、複数回に分けて受け取られている。撮像素子から設定順序とは異なる順序で出力される場合には、通常、複数の画素を１つの群として、複数の画素が複数の画素群に分けられており、画素群が順次出力されるようになっている。したがって、請求項２に記載の画素データ処理装置によれば、撮像素子から複数回に分けて出力される画素群を適切に受け取ることが可能となる。

また、請求項４に記載の画素データ処理装置では、画素群単位情報が、含欠陥画素群を特定するための情報と、欠陥画素の位置を特定するための情報とを含んでいる。これにより、欠陥画素情報として記憶するべき画素群単位情報を、含欠陥画素群に対応する画素群単位情報に限定することが可能となり、記憶すべき欠陥画素情報の情報量を少なくすることが可能となる。

また、請求項５に記載の画素データ処理装置では、画素群が含欠陥画素群であるか否かを含欠陥画素群特定情報に基づいて判断し、画素群が含欠陥画素群である場合に、欠陥画素データ特定処理が行われる。これにより、効率良く欠陥画素データ特定処理を行うことが可能となる。

また、請求項６に記載の画素データ処理装置では、含欠陥画素群に対応した複数の画素群単位情報を設定順序に従って配列し、複数の画素群単位情報のうちの先頭に配列されたものから順次、欠陥画素データ特定処理で用いられる。これにより、欠陥画素データ特定処理において、適切な画素群単位情報を参照することが可能となる。

また、請求項７に記載の画素データ処理装置では、原始欠陥画素情報も、設定順序とは異なる順序で出力された複数の画素データと同様に、設定順序に並べ替えられる。製造工場等において検出される欠陥画素に関する情報、つまり、原始欠陥画素情報も、撮像素子の高画素化に伴って、設定順序とは異なる順序で検出され、その状態で画素データ処理装置に入力される場合がある。このような場合であっても、請求項８に記載の画素データ処理装置によれば、欠陥画素データ特定処理に好適な状態の欠陥画素情報を作成することが可能となる。

本発明の実施例である画素データ処理装置の機能部を示すブロック図である。 撮像素子の複数の画素と複数の画素のうちの欠陥画素を概念的に示す図である。 撮像素子から出力される画素データに関する情報を概念的に示す図である。 画素データ受取部の２つの受取部において受け取られる画素データに関する情報を概念的に示す図である。 画素データ並べ替え部において設定順序に並べ替えられた画素データに関する情報を概念的に示す図である。 画素データ並べ替え部が有する画素値格納バッファを概念的に示す図である。 欠陥情報作成部の２つの記憶部において記憶されている原始欠陥画素情報を概念的に示す図である。 欠陥画素情報変換部において設定順序に並べ替えられた欠陥画素に関する情報を概念的に示す図である。 欠陥画素情報記憶部において記憶されている欠陥画素情報を概念的に示す図である。 欠陥画素データ特定部と欠陥画素データ補正部とにおいて行われる処理を説明するための概念図である。

以下、本発明を実施するための形態として、本発明の実施例を、図を参照しつつ詳しく説明する。

図１に、本発明の実施例である画素データ処理装置１０を示す。画素データ処理装置１０は、ＣＣＤカメラ１２によって得られた撮像データを処理するための装置であり、その撮像データは、ＣＣＤカメラ１２が有するＣＣＤ素子１４の各画素の画素データによって構成されている。画素データ処理装置１０は、複数の機能部、具体的には、画素データ受取部２０と、画素データ並べ替え部２２と、欠陥画素情報記憶部２４と、欠陥画素データ特定部２６と、欠陥画素データ補正部２８と、画素データ出力部３０と、欠陥画素情報作成部３２とを備えており、ゲートアレイ等を含む電子回路によって構成されている。

ここで、画素データ処理装置１０の機能について簡単に説明する。ＣＣＤカメラ１２から画素データ処理装置１０に送られてくる画素データは、画素データ受取部２０によって受け取られ、その画素データ受取部２０によって受け取られた複数の画素データは、画素データ並べ替え部２２によって、後に詳しく説明する設定順序に並べ替えられる。また、欠陥画素情報記憶部２４には、ＣＣＤ素子１４の複数の画素のうちのいずれの位置の画素が欠陥画素であるかを示す情報（以下、「欠陥画素情報」という場合がある）が記憶されている。そして、画素データ特定部２６において、欠陥画素情報が参照されることで、画素データ並べ替え部２２によって並べ替えられた複数の画素データの中から欠陥画素の画素データが特定される。その特定された欠陥画素の画素データは、欠陥画素補正部２８において、補正され、その補正された画素データを含む全ての画素データが、画素データ出力部３０によって、画素データ処理装置１０の外部に出力される。また、欠陥画素情報作成部３２において、欠陥画素情報記憶部２４に記憶される欠陥画素情報が、画素データ処理装置１０に入力された欠陥画素についての情報（以下、「原始欠陥画素情報」という場合がある）に基づいて作成される。

ＣＣＤ素子１４は、モノクロ画像を取得するための素子であり、図２に示すように、Ｘ行，Ｙ列のマトリクス状に配置された複数の画素を有している。ちなみに、Ｘは１６の倍数であり、「黒い四角」が付された画素は、欠陥画素である。複数の画素の各々の画素データは、各画素が受光した光の強度を示す画素値、言い換えれば、各画素の輝度データであり、画素位置を（ｘ，ｙ）と表した場合に、その位置の画素の画素データは、画素値Ｐ（ｘ，ｙ）と表される。

ＣＣＤ素子１４の複数の画素は、図２に示すように、設定された順序でＸ行，Ｙ列に配列されており、図での左上端に位置する画素の画素位置（ｘ，ｙ）が（０，０）とされている。ここで、設定された順序とは、画素位置（ｘ，ｙ）のｘがカウントアップされる順序である。ただし、カウントアップされたｘがＸ−１となった後には、ｙがカウントアップされるとともに、ｘが０とされ、再度、ｘがカウントアップされる。具体的には、画素位置（ｘ，ｙ）は、（０，０），（１，０），（２，０）・・・（Ｘ−２，０），（Ｘ−１，０），（０，１），（１，１）・・・の順に配列されている。

画素位置（ｘ，ｙ）は、上述した設定順序に従って配列されているが、ＣＣＤカメラ１２から送られてくる画素データは、その設定順序とは異なる順序に並べ替えられた状態で送られてくる。詳しく言えば、上記設定順序に並べられた複数の画素の画素データのうちの偶数番目に位置するものが順に特定数の単位、本実施例では、１６画素単位で送られ、その後に、奇数番目に位置するものが順に１６画素単位で送られてくる。更に詳しく言えば、１つの行ｙにおいて、その行ｙの先頭、つまり、（０，ｙ）の位置にある画素から１つおきに１６画素分の画素データが送られ、その後に、（１，ｙ）の位置にある画素から１つおきに１６画素分の画素データが送られる。そして、偶数番目に位置する画素の画素データの送信と奇数番目に位置する画素の画素データの送信とが繰り返され、その行ｙの画素の画素データが全て送信された後に、次の行（ｙ＋１）の画素の画素データが、上記行ｙと同様に送信される。つまり、複数の画素の画素データが、１６画素単位の画素データに分けられて、複数回、送信されるのである。

具体的には、図３に示すように、まず、Ｐ（０，０），Ｐ（２，０），Ｐ（４，０）・・・Ｐ（２８，０），Ｐ（３０，０）の１６画素分の画素データが送信される。次に、Ｐ（１，０），Ｐ（３，０），Ｐ（５，０）・・・Ｐ（２９，０），Ｐ（３１，０）の１６画素分の画素データが送信され、続いて、Ｐ（３２，０），Ｐ（３４，０），Ｐ（３６，０）・・・Ｐ（６０，０），Ｐ（６２，０）の１６画素分の画素データが送信される。そして、１６画素分の画素データの送信が繰り返され、１行目の画素データの送信が終了すると、２行目の画素データの送信が、１行目の画素データの送信と同様に行われる。

このようにして送信された画素データは、画素データ受取部２０の２つの受取部４０，４２によって、１６画素単位毎に交互に受け取られる。詳しく言えば、画素データ受取部２０の第１受取部４０は、図４（ａ）に示すように、上記設定順序に並べられた複数の画素の画素データのうちの偶数番目に位置するものを１６画素単位で受け取る。具体的には、Ｐ（０，０），Ｐ（２，０），Ｐ（４，０）・・・Ｐ（２８，０），Ｐ（３０，０）の１６画素分の画素データを１つの群として受け取る。一方、画素データ受取部２０の第２受取部４２は、図４（ｂ）に示すように、上記設定順序に並べられた複数の画素の画素データのうちの奇数番目に位置するものを１６画素単位で受け取る。具体的には、Ｐ（１，０），Ｐ（３，０），Ｐ（５，０）・・・Ｐ（２９，０），Ｐ（３１，０）の１６画素分の画素データを１つの群として受け取る。

それら２つの受取部４０，４２によって受け取られた複数の画素データは、画素データ並べ替え部２２において、上記設定順序に並べ替えられる。つまり、図５に示すように、画素データＰ（ｘ，ｙ）が、画素位置（ｘ，ｙ）のｘがカウントアップされる順序に並べ替えられる。当然、カウントアップされたｘがＸ−１となった後には、ｙがカウントアップされるとともに、ｘが０とされ、画素データの画素値Ｐ（ｘ，ｙ）は、ｘがカウントアップされる順に並べ替えられる。

画素データ並べ替え部２２は、図６に示すような画素値格納バッファ５０を有しており、上記設定順に並べ替えられた複数の画素データが、あらかじめ設定された設定数の画素、本実施例では１６画素の画素データ毎に区分けして、画素値格納バッファ５０に格納される。具体的には、画素値格納バッファ５０は、〔buffer 1〕，〔buffer 2〕，〔buffer
3〕の３つのバッファから構成されており、各バッファは、１６画素分の画素値Ｐを格納するために、１６個のセルを有している。

画素値格納バッファ５０に画素値Ｐが格納される際には、上記設定順に並べ替えられた複数の画素データのうちの１６画素分の画素データの画素値Ｐが、〔buffer 1〕の０〜１５のセルに格納される。ちなみに、１６画素分の画素データは、画素位置ｘが１６ｎ（ｎ＝０，１，２・・）である画素を先頭として連続する１６画素分の画素データである。そして、次の連続する１６画素分の画素データの画素値Ｐの格納に先立って、〔buffer 2〕に格納されていた１６画素分の画素値Ｐが、〔buffer 3〕の同じアドレスのセルに移され、〔buffer 1〕に格納されていた１６画素分の画素値Ｐが、〔buffer 2〕の同じアドレスのセルに移される。これにより、〔buffer 1〕のセルが空き、〔buffer 1〕のセルに次の連続する１６画素分の画素値Ｐが格納される。

ちなみに、後に詳しく説明する欠陥画素の画素データを特定するための欠陥画素データ特定処理は、上述した連続する１６個の画素を１単位として行われる。この１６個の連続する１群の画素を画素群Ｇと定義し、特定処理の対象となる画素群Ｇを今回対象画素群Ｇ_０と、その今回対象画素群Ｇ_０の先頭画素の位置を（ｘ_０，ｙ_０）と、それぞれ定義した場合に、〔buffer 2〕に格納された画素値Ｐ（ｘ_０，ｙ_０）〜画素値Ｐ（ｘ_０＋１５，ｙ_０）が、今回対象画素群Ｇ_０となる。このため、〔buffer 1〕に格納された画素値Ｐ（ｘ_０＋１６，ｙ_０）〜画素値Ｐ（ｘ_０＋３１，ｙ_０）が、今回対象画素群Ｇ_０の次に特定処理の対象となる次回対象画素群Ｇ_＋１の画素値となる。また、〔buffer 3〕に格納された画素値Ｐ（ｘ_０−１６，ｙ_０）〜画素値Ｐ（ｘ_０−１，ｙ_０）は、今回対象画素群Ｇ_０の前に特定処理の対象となった前回対象画素群Ｇ_−１の画素値である。

なお、今回対象画素群Ｇ_０が、行ｙ_０の先頭の画素群Ｇである場合には、〔buffer 3〕には、画素値Ｐ（Ｘ−１６，ｙ_０−１）〜画素値Ｐ（Ｘ−１，ｙ_０−１）が格納され、今回対象画素群Ｇ_０が、行ｙ_０の末尾の画素群Ｇである場合には、〔buffer 1〕には、画素値Ｐ（０，ｙ_０＋１）〜画素値Ｐ（１５，ｙ_０＋１）が格納される。

また、上記特定処理を行う際に使用される欠陥画素についての情報も、画素データ処理装置１０に入力された状態では、上記設定順序とは異なる順序に並べ替えられた状態で記憶されている。つまり、原始欠陥画素情報も、ＣＣＤカメラ１２から送られてくる複数の画素データと同様に、上記設定順序とは異なる順序に並べ替えられた状態で記憶されている。

詳しく言えば、欠陥画素情報作成部３２には２つの記憶部６０，６２が設けられており、第１記憶部６０には、図７（ａ）に示すように、上記設定順序に並べられた複数の画素の画素データのうちの偶数番目に位置するものの欠陥画素に関する情報、具体的には、欠陥フラグの値が記憶されている。欠陥フラグは、画素が欠陥画素であるか否かを示すものであり、フラグ値が０である場合は、画素が欠陥画素でない、つまり、画素が正常な画素であることを示しており、フラグ値が１である場合は、画素が欠陥画素であることを示している。一方、第２記憶部６２には、図７（ｂ）に示すように、上記設定順序に並べられた複数の画素の画素データのうちの奇数番目に位置するものの欠陥フラグの値が記憶されている。

このように２つの記憶部６０，６２に記憶されている欠陥フラグのフラグ値が、欠陥画素情報作成部３２の欠陥情報変換部６４において、上記設定順序に並べ替えられる。具体的には、図８に示すように、欠陥フラグのフラグ値が、画素位置（ｘ，ｙ）のｘがカウントアップされる順序に並べ替えられる。また、カウントアップされたｘがＸ−１となった後には、ｙがカウントアップされるとともに、ｘが０とされ、欠陥フラグのフラグ値は、ｘがカウントアップされる順に並べ替えられる。そして、上記設定順序に並べ替えられた欠陥フラグのフラグ値は、欠陥情報変換部６４において、上記画素群Ｇ、つまり、上述した設定数の画素である１６画素毎に区分けされ、図８に示す画素群単位情報毎に、欠陥フラグのフラグ値が、欠陥画素情報記憶部２４に、欠陥画素情報として記憶される。

欠陥画素情報記憶部２４に記憶される欠陥画素情報は、図９に示すように、欠陥情報変換部６４において画素群Ｇ毎に区分けされた欠陥フラグのフラグ値、つまり、画素群単位情報毎に区分けされた欠陥フラグのフラグ値を含んでおり、欠陥フラグのフラグ値が画素群単位情報として各行毎に示されている。つまり、図９に示される各行が、画素群単位情報として機能している。ただし、画素群単位情報は、欠陥画素を含む画素群（以下、「含欠陥画素群」という場合がある）についてのみ記憶されており、欠陥画素を含まない画素群については記憶されていない。

画素群単位情報毎に区分けされた欠陥フラグのフラグ値は、１６ビットのデータとして記憶されており、左のビットから順に、画素群Ｇ内における先頭位置から末尾位置にかけての画素が欠陥画素であるか否かを示している。つまり、画素群単位情報毎に区分けされた欠陥フラグのフラグ値は、画素群Ｇ内における欠陥画素の画素位置を特定するための欠陥画素群内位置特定情報として機能している。また、欠陥画素群内位置特定情報と対応して、その画素群Ｇの先頭に位置する画素位置（ｘ’，ｙ’）を示すデータが記憶されている。このデータは、後に詳しく説明するが、欠陥画素データ特定処理において含欠陥画素群を特定するための含欠陥画素群特定情報として機能する。

それら画素群単位情報毎に区分けされた欠陥フラグのフラグ値と、その画素群単位情報の先頭画素位置（ｘ’，ｙ’）とから、いずれの位置の画素が欠陥画素であるかを判断することが可能となっている。具体的には、例えば、先頭画素位置（ｘ’，ｙ’）が（０，０）である画素群単位情報では、先頭から６番目のビットが「１」とされており、画素位置（５，０）に位置する画素が欠陥画素であることを示している。また、例えば、先頭画素位置（ｘ’，ｙ’）が（１６，０）である画素群単位情報では、先頭から４番目のビットが「１」とされており、画素位置（１９，０）に位置する画素が欠陥画素であることを示している。

さらに、欠陥画素情報記憶部２４に記憶される欠陥画素情報には、複数の行に配列された複数の画素群単位情報のうち、欠陥画素データ特定処理において参照されるべき画素群単位情報を示すためのポインタ情報（図での＊）も含まれている。このポインタは、欠陥画素データ特定処理が開始される時点では、１番先頭に配列された画素群単位情報、つまり、先頭画素位置（ｘ’，ｙ’）が（０，０）である画素群単位情報を示すようにセットされている。

画素群単位情報を参照することで行われる欠陥画素データ特定処理は、欠陥画素データ特定部２６において、画素群Ｇ毎に行われる。欠陥データ特定部２６は、図１０に示すように、カウンタ７０を有している。このカウンタ７０には、今回対象画素群Ｇ_０の先頭画素の画素位置（ｘ_０，ｙ_０）が格納され、今回対象画素群Ｇ_０の処理が終了すると、次の対象画素群Ｇ_＋１の先頭画素の画素位置（ｘ_０＋１６，ｙ_０）が格納される。つまり、処理の終了毎に、画素位置（ｘ_０，ｙ_０）が１６画素ずつカウントアップされる。ただし、今回対象画素群Ｇ_０が、行ｙ_０の末尾の画素群Ｇである場合、つまりｘ_０＝Ｘ−１５である場合には、先頭画素の画素位置が、（０，ｙ_０＋１）とされる。

また、欠陥画素データ特定部２６は、含欠陥画素群バッファ７２を有している。含欠陥画素群バッファ７２には、欠陥画素情報記憶部２４に記憶されている欠陥画素情報においてポインタ（＊）によって示される画素群単位情報の先頭画素位置（ｘ’，ｙ’）が格納される。さらに、欠陥画素データ特定部２６は、欠陥画素位置を示すための欠陥画素位置バッファ７４を有しており、欠陥画素位置バッファ７４には、欠陥画素データ特定処理が行われる画素群Ｇに対応する欠陥画素群内位置特定情報、つまり、欠陥フラグのフラグ値を示す１６ビットのデータ値が格納される。

さらに、欠陥画素データ特定部２６は、欠陥画素の画素データを特定するために用いられる特定用バッファ７６も有しており、特定用バッファ７６は、１８ビットのセルから構成されている。特定用バッファ７６の先頭の１つのセルには、画素値格納バッファ５０の〔buffer 3〕の末尾のセルに格納されている画素値Ｐ、つまり、前回対象画素群Ｇ_−１の末尾の画素の画素値Ｐが格納され、末尾の１つのセルには、画素値格納バッファ５０の〔buffer 1〕の先頭のセルに格納されている画素値Ｐ、つまり、次回対象画素群Ｇ_＋１の先頭の画素の画素値Ｐが格納される。そして、中央の１６のセルには、画素値格納バッファ５０の〔buffer 2〕の各セルに格納されている各画素値Ｐ、つまり、今回対象画素群Ｇ_０の各画素の画素値Ｐが格納される。

上述したように、カウンタ７０，バッファ７２，７４，７６に画素位置，画素値等が格納されることで、欠陥画素データ特定処理が行われる。詳しく説明すれば、まず、カウンタ７０に格納されている値と、含欠陥画素群バッファ７２に格納されている値とが比較される。つまり、今回対象画素群Ｇ_０の先頭画素の画素位置（ｘ_０，ｙ_０）と、ポインタ（＊）によって示される画素群単位情報の先頭画素位置（ｘ’，ｙ’）とが比較される。比較の結果、画素位置（ｘ_０，ｙ_０）と画素位置（ｘ’，ｙ’）とが一致していない場合には、今回対象画素群Ｇ_０は含欠陥画素群ではないと認定され、欠陥画素群内位置バッファ７４の１６ビットのすべてに「０」が格納される。

一方、画素位置（ｘ_０，ｙ_０）と画素位置（ｘ’，ｙ’）とが一致している場合には、今回対象画素群Ｇ_０は含欠陥画素群であると認定され、欠陥画素群内位置バッファ７４に、画素群単位情報の先頭画素位置（ｘ’，ｙ’）に対応する欠陥画素群内位置特定情報を示す１６ビットのデータ値が格納される。つまり、今回対象画素群Ｇ_０の各画素の欠陥フラグのフラグ値が格納される。なお、今回対象画素群Ｇ_０が含欠陥画素群であると認定されると、欠陥画素情報記憶部２４に記憶されている欠陥画素情報における上記ポインタ（＊）が、次の行の画素群単位情報を示すようにシフトさせられる。

そして、欠陥画素群内位置バッファ７４に、今回対象画素群Ｇ_０の各画素の欠陥フラグのフラグ値が格納されると、特定用バッファ７６の中央の１６セルに格納されている今回対象画素群Ｇ_０の画素値Ｐ（ｘ_０，ｙ_０）〜Ｐ（ｘ_０＋１５，ｙ_０）のうち、欠陥画素群内位置バッファ７４に格納されているフラグ値が「１」とされているものに対応する画素値Ｐが、欠陥画素の画素値であると特定される。具体的には、図での欠陥画素群内位置バッファ７４では、先頭から６番目に位置するビットと１３番目に位置するビットとにフラグ値「１」が格納されており、特定用バッファ７６のＰ（ｘ_０＋５，ｙ_０）とＰ（ｘ_０＋１２，ｙ_０）とが、欠陥画素の画素値であると特定される。

続いて、欠陥画素の画素値Ｐが特定されると、欠陥画素データ補正部２８において、欠陥画素の画素値Ｐが、その欠陥画素の画素値Ｐの前後に位置する２つの画素の画素値Ｐを補完するようにして補正される。詳しく説明すれば、欠陥画素データ補正部２８は、特定用バッファ７６の中央の１６セルに対応する１６セルの画素データバッファ７８を有しており、各セルに補正後の画素値Ｐが格納される。具体的には、特定用バッファ７６の中央の１６セルに格納されている画素値Ｐ（ｘ_０，ｙ_０）〜Ｐ（ｘ_０＋１５，ｙ_０）のうち、欠陥画素群内位置バッファ７４に格納されているフラグ値が「０」とされているものに対応する画素値Ｐに関しては、その画素値Ｐが、画素データバッファ７８の対応するセルに格納される。

一方、特定用バッファ７６の画素値Ｐ（ｘ_０，ｙ_０）〜Ｐ（ｘ_０＋１５，ｙ_０）のうち、欠陥画素群内位置バッファ７４に格納されているフラグ値が「１」とされているものに対応する画素値Ｐに関しては、その画素値Ｐの前後のセルの画素値の平均値が、画素データバッファ７８の対応するセルに格納される。つまり、下記式によって演算される画素値Ｐ（ｘ_０，ｙ_０）が、画素データバッファ７８の対応するセルに格納される。
Ｐ（ｘ_０，ｙ_０）＝｛Ｐ（ｘ_０−１，ｙ_０）＋Ｐ（ｘ_０＋１，ｙ_０）｝／２
なお、補正の対象となる画素が、行ｙ_０の先頭若しくは末尾に位置する場合、つまり、画素位置が（０，ｙ_０）若しくは（Ｘ，ｙ_０）である場合には、前後の画素の画素値Ｐの平均ではなく、画素位置（０，ｙ_０）の画素値Ｐは、画素値Ｐ（１，ｙ_０）に、画素位置（Ｘ，ｙ_０）の画素値Ｐは、画素値Ｐ（Ｘ−１，ｙ_０）に、それぞれ、補正される。

上述したように、本画素データ処理装置１０においては、ＣＣＤカメラ１２から設定順序とは異なる順序で複数回に分けて送信されてきた画素データが、設定順に並べ替えられ、その設定順に並べ替えられた画素データが補正される。これにより、欠陥画素に隣接した画素の画素データに基づいて、欠陥画素の画素データを補正することが可能となり、欠陥画素の画素データの補正精度を向上させることが可能となる。

また、本画素データ処理装置１０では、画素群単位情報によって構成された欠陥画素情報を参照することで、画素群Ｇ毎に欠陥画素データ特定処理が行われている。これにより、処理を実行するための回路を比較的小さくすることが可能となり、欠陥画素の画素データを特定するための処理時間を短縮することが可能となる。

ちなみに、上記実施例において、画素データ処理装置１０は、画素データ処理装置の一例であり、画素データ処理装置１０を構成する画素データ受取部２０，画素データ並べ替え部２２，欠陥画素情報記憶部２４，欠陥画素データ特定部２６，欠陥画素データ補正部２８，記憶部６０，６２，欠陥情報変換部６４は、画素データ受取部，画素データ並べ替え部，欠陥画素情報記憶部，欠陥画素データ特定部，欠陥画素データ補正部，原始欠陥画素情報記憶部，欠陥画素情報変換部の一例である。また、ＣＣＤ素子１４は、撮像素子の一例である。

なお、本発明は、上記実施例に限定されるものではなく、当業者の知識に基づいて種々の変更、改良を施した種々の態様で実施することが可能である。具体的には、例えば、上記実施例では、ＣＣＤカメラ１２から送られる画素データは、設定順序に並べられた複数の画素の画素データのうちの偶数番目に位置するものが先頭から順に特定数の単位で送られ、その後に、奇数番目に位置するものが先頭から順に１６画素単位で送られてくるが、奇数番目に位置する画素データの１群が先に送られてもよい。また、奇数若しくは偶数番目に位置するものが末尾から順に特定数の単位で送られてもよい。具体的には、例えば、Ｐ（３０，０），Ｐ（２８，０）・・・Ｐ（２，０），Ｐ（０，０）の順に１６画素分の画素データが１群の画素データとして送られてもよい。

さらに言えば、設定順序に並べられた複数の画素の画素データを奇数番目に位置するものと偶数番目に位置するものとで分けるのではなく、前半部分に位置するものと後半部分に位置するものとに分けてもよい。具体的には、設定順序に並べられた複数の画素の画素データを先頭から１６画素ずつ分けてもよい。そして、１６画素分の画素データが末尾から順に送られるように構成してもよい。具体的には、例えば、Ｐ（１５，０），Ｐ（１４，０）・・・Ｐ（１，０），Ｐ（０，０）の順に１６画素分の画素データが１群の画素データとして送られてもよい。

また、欠陥画素データ補正部２８における欠陥画素の画素データの補正は、欠陥画素に隣接、若しくは、欠陥画素の近傍に位置する１以上の画素の画素データによって補完するように行わることが望ましく、具体的には、例えば、複数の画素データの平均値，複数の画素データのうちのいずれかのものに重み付けを施した平均値，近傍に位置する１つの画素の画素データの値等、種々の値を補正後の画素データの値とすることが可能である。

１０：画素データ処理装置 １４：ＣＣＤ素子（撮像素子） ２０：画素データ受取部 ２２：画素データ並べ替え部 ２４：欠陥画素情報記憶部 ２６：欠陥画素データ特定部 ２８：欠陥画素データ補正部 ６０：第１記憶部（原始欠陥画素情報記憶部） ６２：第２記憶部（原始欠陥画素情報記憶部） ６４：欠陥情報変換部（欠陥画素情報変換部）

Claims (7)

1. 撮像素子からの画素データを処理する画素データ処理装置であって、
   前記撮像素子を構成する複数の画素の画素データを、設定順序とは異なる順序に並べ替えられた状態で受け取る画素データ受取部と、
   その画素データ受取部が受け取った画素データを前記設定順序に並べ替える画素データ並べ替え部と、
   前記撮像素子の複数の画素のうちのいずれの位置の画素が欠陥画素であるかを示す情報である欠陥画素情報を記憶する欠陥画素情報記憶部と、
   その欠陥画素情報記憶部に記憶された前記欠陥画素情報を参照して、前記画素データ並べ替え部によって並べ替えられた画素データの中から欠陥画素の画素データを特定する欠陥画素データ特定部と、
   その欠陥画素データ特定部によって特定された欠陥画素の画素データを補正する欠陥画素データ補正部と
   を備え、
   前記欠陥画素データ特定部が、それぞれが前記画素データ並べ替え部によって並べ替えられた順序に従って連続する設定数の画素からなる複数の画素群の各々ごとに、順次、欠陥画素の画素データを特定するように構成され、
   前記欠陥画素情報記憶部が、それぞれが前記設定数の画素についての欠陥画素の情報である複数の画素群単位情報を前記欠陥画素情報として記憶し、
   前記撮像素子を構成する複数の画素が、
   所定の方向および、その所定の方向と交差する方向にマトリクス状に配置されており、
   前記設定順序が、
   前記所定の方向と交差する方向における一端の座標において、前記所定の方向における座標が順次カウントアップされ、その所定の方向の座標が最終となった場合に、前記所定の方向と交差する方向における一端の座標から他端の座標に向かって１カウントアップされた座標において、前記所定の方向における座標がカウントアップされる順序であり、前記所定の方向と交差する方向における他端の座標において、前記所定の方向における座標が最終となるまで順次カウントアップされる順序であり、
   前記異なる順序が、
   前記設定順序で並べられた場合の前記複数の画素の画素データのうちの奇数番目と偶数番目との一方に位置するものが順に特定数並べられ、その後に、他方に位置するものが順に前記特定数並べられる順序であり、
   前記欠陥画素データ補正部が、
   前記欠陥画素データ特定部によって特定された欠陥画素の画素データを、その欠陥画素データの前記設定順序における両隣の画素データの平均値となるように、補正することを特徴とする画素データ処理装置。
2. 前記設定数が、前記特定数の整数倍である請求項１に記載の画素データ処理装置。
3. 前記画素データ受取部が、
   前記撮像素子の複数の画素の画素データを複数回に分けて受け取り、
   前記画素データ並べ替え部が、
   前記画素データ受取部が複数回に分けて受け取った複数の画素データを前記設定順序に並べ替えるように構成された請求項１または請求項２に記載の画素データ処理装置。
4. 前記欠陥画素情報記憶部に記憶される前記複数の画素群単位情報の各々が、
   前記複数の画素群のうちの欠陥画素が含まれている画素群である含欠陥画素群を特定するための含欠陥画素群特定情報と、
   含欠陥画素群を構成する前記設定数の画素における欠陥画素の位置を特定するための欠陥画素群内位置特定情報と
   を含む請求項１ないし請求項３のいずれか１つに記載の画素データ処理装置。
5. 前記欠陥画素データ特定部が、
   前記複数の画素群の１つについて、その画素群が含欠陥画素群であるかどうかを、前記複数の画素群単位情報の１つに含まれる前記含欠陥画素群特定情報に基づいて判断し、その画素群が含欠陥画素群であると判断した場合に、その１つの画素群単位情報に含まれる前記欠陥画素群内位置特定情報に基づいて、その画素群の欠陥画素の画素データを特定するように構成された請求項４に記載の画素データ処理装置。
6. 前記欠陥画素情報記憶部が、含欠陥画素群の数の前記複数の画素群単位情報を、前記設定順序に従って配列して記憶するように構成され、
   前記欠陥画素データ特定部が、前記複数の画素群の１つについてその画素群が含欠陥画素群であると判断した場合に、前記複数の画素群の次の１つについて、その画素群が含欠陥画素群であるかどうかを、前記複数の画素群単位情報のうちの次に配列されている１つに含まれる前記含欠陥画素群特定情報に基づいて判断するように構成された請求項４または請求項５に記載の画素データ処理装置。
7. 当該画素データ処理装置が、
   前記撮像素子の複数の画素のうちの欠陥画素の各々の位置を示す情報が前記設定順序とは異なる順序に従って配列された原始欠陥画素情報を記憶する原始欠陥画素情報記憶部と、
   その原始欠陥画素情報記憶部に記憶された前記原始欠陥画素情報を前記設定順序に並べ替え、並べ替えられた欠陥画素情報を、前記複数の画素群単位情報によって構成される欠陥画素情報に変換する欠陥画素情報変換部と
   を備えた請求項１ないし請求項６のいずれか１つに記載の画素データ処理装置。

Images