JP4027441B2 - カラー画像撮像装置 - Google Patents
カラー画像撮像装置 Download PDFInfo
- Publication number
- JP4027441B2 JP4027441B2 JP32896995A JP32896995A JP4027441B2 JP 4027441 B2 JP4027441 B2 JP 4027441B2 JP 32896995 A JP32896995 A JP 32896995A JP 32896995 A JP32896995 A JP 32896995A JP 4027441 B2 JP4027441 B2 JP 4027441B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- interpolation
- filter
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明はカラー画像撮像装置に関し、特に、モザイク色フィルタを有する単眼方式のカラー撮像装置に関する。
【０００２】
【従来の技術】
まず、第１の従来技術について述べる。ＣＣＤ，ＭＯＳなどの半導体デバイスを用いた撮像素子の受光画素は個々に分離していることから、受光画素ごとに色フィルタが装着された、いわゆるモザイク色フィルタを用いた単板方式のカラーカメラに広く利用されている。モザイク色フィルタの構成法には多数の提案がある。例えば、テレビジョン学会技術報告、ＴＥＢＳ１０１−１ＥＤ８３６、（１９８５）、「完全色差線順次単板カラー化方式」に関する文献は、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色の分光特性を有するフィルタを図１６に示すように配置したＣＣＤ単板カラーカメラを開示している。
【０００３】
図１６に示す配列は、緑市松Ｒ／Ｂ線順次方式、あるいはベイヤー方式と呼ばれ、色信号と輝度信号とのＳ／Ｎバランスが良く、照度に依存せずに優れた色再現性が得られる方式として採用されてきた。このような規則的配置によるモザイク色フィルタを用いた従来の単板カラーカメラで生成される原色画像は、粗くダウンサンプリングされた画像を限られた帯域によって補間再生することにより得られる。
【０００４】
次に、第２の従来技術について述べる。有限個の受光画素により構成される撮像素子により画像を撮像して複数回入力することにより静止画像の解像度を向上させる方法が提案されている。例えば、特開平３−２４０３７２号公報は、結像面より小さい面積の撮像素子を結像面上で２次元的に移動させながら画像を入力することにより、高精細で広画角な静止画像を入力する方法を提案している。
【０００５】
【発明が解決しようとする課題】
上記した第１の従来技術には、モザイク色フィルタを用いた単板カラーカメラを用いて解像度や色再現性に優れた高画質なカラー画像を生成する方法という観点について記載されていない。本発明はこの観点に着目し、単板カラーカメラを用いながら解像度に優れた原色画像を生成し、解像度および色再現性に優れた高画質なカラー画像を再生することのできるカラー画像撮像装置及びカラー画像撮像素子を提供することを目的とする。
【０００６】
また、上記した第２の従来技術には、モザイク色フィルタを用いた単板カラーカメラを用いて入力された複数の画像から高画質な１枚のカラー画像を生成する方法という観点について記載されていない。本発明はこの観点に着目し、単板カラーカメラを用いて入力された複数の画像から解像度に優れた原色画像を生成することにより、解像度および色再現性に優れた高画質なカラー画像を再生することのできるカラー画像撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明に係るカラー画像撮像装置は、撮像画素に各色のフィルタ位置が対応するように、補間する処理単位のブロックで複数色を有するモザイク色フィルタを空間的にランダムに配置して、このようなブロックが繰り返されるように画像全体を構成する撮像素子と、前記モザイク色フィルタのフィルタ色配置情報を格納する格納手段と、前記撮像素子から出力された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色の画像情報を欠落画素の無い状態に補間処理により補間する補間手段と、を具備する。
【０００９】
また、第３の発明に係るカラー画像撮像装置は、上記第１の発明に係るカラー画像撮像装置であって、前記撮像素子により出力され、時間軸に関して連続する複数枚の画像を記憶する記憶手段と、この記憶手段に記憶された複数枚のうち相互に同一の被写体の相対的位置関係を検出する位置ずれ検出手段と、この位置ずれ検出手段によって検出された相対的位置関係を利用して、前記記憶手段に記憶された複数枚の画像を前記同一の被写体が重なるように合成する画像合成手段と、をさらに備え、前記補間手段は、前記画像合成手段により合成された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色の画像情報を欠落画素の無い状態に補間処理により補間することを特徴とする。
【００１０】
すなわち、第１の発明に係るカラー画像撮像装置は、撮像画素に各色のフィルタ位置が対応するように、補間する処理単位で複数色を有するモザイク色フィルタを空間的にランダムに配置するとともに、前記モザイク色フィルタのフィルタ色配置情報を格納手段に格納しておく。そして、撮像素子から出力された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色の画像情報を欠落画素の無い状態に補間処理により補間するようにする。
【００１２】
また、第３の発明に係るカラー画像撮像装置は、上記第１の発明に係るカラー画像撮像装置であって、前記撮像素子により出力され、時間軸に関して連続する複数枚の画像を記憶する記憶手段に記憶された複数枚の画像のうち相互に同一の被写体の相対的位置関係を位置ずれ検出手段によって検出し、この検出された相対的位置関係を利用して、前記記憶手段に記憶された複数枚の画像を前記同一の被写体が重なるように合成する画像合成手段を更に備える。そして、前記補間手段は、前記画像合成手段により合成された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色の画像情報を欠落画素の無い状態に補間処理により補間する。
【００１３】
【発明の実施の形態】
以下に図面を参照して本発明の実施形態を詳細に説明する。
まず、本発明の第１実施形態を説明する。図１に本発明の第１実施形態の全体構成図を示す。図１の構成において、撮像面にモザイク色フィルタが装着されたＣＣＤイメージセンサで構成される撮像素子１００は入力された物体像を対応する電気的画像信号に変換して出力する。撮像素子１００の駆動制御は撮像素子ドライバ２００により行なわれる。撮像素子１００から出力された電気的画像信号はＡ／Ｄ変換器３００によりディジタル信号に変換され、メモリ４００に記録される。このメモリ４００に対する記録制御はメモリコントローラ５００により行なわれる。プロセッサ６００はメモリ４００に記録された観測画像信号を用いて以下に述べる所定の補間処理を行なうことによって、Ｒ，Ｇ，Ｂの各原色信号が欠落の無い完全なディジタル画像を生成し、このディジタル画像を再びメモリ４００に記録する。この補間処理の際にはＲＯＭ７００に記録されている撮像素子１００におけるモザイク色フィルタの画素配置情報と補間係数列情報が利用される。なお、メモリ４００、プロセッサ６００、ＲＯＭ７００はバス８００を介して接続されている。このようにして生成され、メモリ４００に記録されたＲＧＢカラー画像は、通信・表示デバイスや画像処理装置等に送られ所定の用途に利用される。
【００１４】
図２はモザイク色フィルタの構成例を示す。本実施形態におけるモザイク色フィルタはＲ，Ｇ，Ｂの３原色フィルタで構成され、同色フィルタの画素は、例えば以下に述べるポアソン分布にしたがって図２に示すように空間的にランダムに配置される。ここで、モザイク色フィルタにおける色配置はブロック画像単位でランダムになるように配置しても良いし、ブロックとは無関係に画像全体でランダムになるように色配置を適当に決めても良い。ブロック内で色配置をランダム構成にし、このような構成のブロックが繰り返されるように画像全体を構成することにより、ＲＯＭ７００に記録されるべき色配置情報と補間係数列情報の容量を少なくすることができる。
【００１５】
図３はメモリ４００とプロセッサ６００の詳細な構成を示す図である。図１に示す撮像素子１００の各受光画素により検出された光強度値は撮像素子ドライバ２００の制御により逐次的に読み出され、Ａ／Ｄ変換器３００を介してメモリ４００内のメモリ４０１に記録される。メモリ４０１の画素を撮像素子１００の受光画素と１対１に対応するように構成することにより、撮像素子１００の各受光画素からの光強度検出値がメモリ４０１の各画素に濃度値として記録される。
【００１６】
メモリ４０１に記録された画像は、ＲＯＭ７００に記録されているモザイクフィルタの色配置情報に基づいて、まずＲフィルタが装着された撮像素子１００の受光画素ごとに濃度値がメモリ４０１から読み出され、プロセッサ６００に転送される。プロセッサ６００はＣＰＵ６０１と、線形演算を高速に行なうために用意されたＤＳＰ６０２とで構成される。メモリ４０１より読み出された画像信号列とＲＯＭ７００に記録されている補間係数列情報とはＤＳＰ６０２に送られ、線形演算つまり積和演算が実行されて、その結果はメモリ４００内のＲ画像用メモリ４０２に記録される。このような処理がＧ，Ｂ画像にも繰り返され、最終的に欠落の無い完全なＲ，Ｇ，Ｂ原色画像がＲ，Ｇ，Ｂ画像用メモリ４０２，４０３，４０４に記録される。メモリ４０１に記録されている画像信号から完全なＲ，Ｇ，Ｂ画像を補間生成して画像用メモリ４０２〜４０４に記録するまでの上記したプロセスはＣＰＵ６０１により動作制御される。
【００１７】
上記プロセスにおいて同色画素値が読み出され、線形演算（積和演算）による補間処理が実行される過程は以下に示すようにブロック単位で行なわれる。図４にそのようなブロック単位の補間処理の概念図を示す。Ｒ，Ｇ，Ｂの各原色画像は図４（Ａ）に示すようなブロック画像に分割され、各ブロック画像内に含まれる全観測画素の濃度値と補間係数列との間で積和演算が実行される。この補間演算によって図４（Ｂ）に示すような欠落画素を含むブロック画像から、図４（Ｃ）に示すように欠落の無い完全な原色画像が生成される。
【００１８】
図５は補間処理の変形例として、補間生成される欠落画素を中心とした近傍の画像領域を補間演算対象領域として設定する場合の概念図である。この実施形態では、図５（Ａ）に示すような対象欠落画素を補間生成する際に、ＲＯＭ７００に記録されている色配列情報を利用してその欠落画素に対応する近傍の観測画素濃度値と、ＲＯＭ７００に記録されているその欠落画素に対応する補間系数列とが読み出され、それらを用いて積和演算が実行される。そのような操作が全欠落画素に対して繰り返されることにより、図５（Ｂ）に示すように完全な原色画像が補間生成される。
【００１９】
以下に上記した第１実施形態の作用を理論的に説明する。まず、ＲＧＢフィルタをモザイク色フィルタに用いた場合の単板カラーＣＣＤカメラによるイメージング系を以下のような関係式により定式化する。
【００２０】
ｇ＝Ｈｆ （１）
（１）式を行列、ベクトルの内容まで示すことにより書き換えると（２）式のように表される。
【００２１】
【数１】
【００２２】
ただし、ｆ＝［ｆR ，ｆG ，ｆB ］t を欠落の無い理想的なＲＧＢカラー画像（理想画像）、ｇ＝［ｇR ，ｇG ，ｇB ］t を観測されたＲＧＢのカラー画像とする。なお、ｆi 、ｇi （ｉ＝Ｒ，Ｇ，Ｂ）をｎ×１のサイズのベクトル、ｆ，ｇを３ｎ×１のサイズのベクトルとする。また各バンドフィルタの配置を表すｎ×ｎサイズの行列Ｈi （ｉ＝Ｒ，Ｇ，Ｂ）を次のように定義する。
【００２３】
【数２】
【００２４】
ただし、行列Ｈi のｅj t 以外の行ベクトル要素は０t である。つまり行列Ｈi はｎ×ｎの単位行列から欠落画素を伝達する行ベクトルを０t で置き換えたものに相当する。また、Ｒ，Ｇ，Ｂフィルタを装着した画素の数を各々、ｍR 、ｍG 、ｍB 、ただしｍR ＋ｍG ＋ｍB ＝ｎとする。これらの定義によれば、以下の（４），（５）式で表される関係が成立する。
【００２５】
【数３】
【００２６】
以上の定義の下に、原色画像ごとに欠落画素を埋める補間操作について説明する。補間行列をＰとすると、補間されたバンド画像、すなわち、推定バンド画像ｆ＾は以下の（６）式で表される。なお、表現を簡単にするためにバンドを表す添え字（Ｒ，Ｇ，Ｂ）は省略し、以下の式は３つの各原色画像の内の任意の１つについて定義されるものとする。
【００２７】
【数４】
【００２８】
補間行列Ｐはモザイク色フィルタの色配列と、特定の画像対象についての複数の画像から先験的に予測される統計的性質とよりあらかじめ設定することが可能であり、それらより求められる補間行列ＰをＲＯＭ７００に書き込んでおけば良い。
【００２９】
以下に、補間行列Ｐを設定する際に同色フィルタの画素配列が図２に示すようにランダムである場合の作用効果を説明する。
（９）式より、補間行列Ｐの精度はベクトルｇの自己相関Ｒggの逆行列の精度に依存することが分かる。自己相関Ｒggのランクは最大でｍ（＜ｎ）であるので正確には逆行列は存在しないが、ランク内でＲggが単位行列になることが最適な条件であると考えることができる。そのような条件の一つは、ベクトルｇの欠落画素の配置がランダムに近いことである。そのような条件をポアソン分布の定義を用いて以下に説明する。
【００３０】
ここでは、図６に示されるような、不規則な間隔で振幅が変化する方形波で表されるような定常確率集合を考える。関数の振幅は不規則な間隔でＥm から−Ｅm へ、または−Ｅm からＥm へ０を交差しながら跳躍する。この時、区間ｔ内に現われる０（零交差）の数の確率分布が（１２）式で表される課程をポアソン分布という。
【００３１】
【数５】
【００３２】
ただし、Ｐξ（ｎ；ｔ）は１回の観測で区間ｔにおける０の数ξが与えられた数ｎとなる確率であり、ｋは単位時間当たりの０の数の平均値とする。ランダム画素配列はランダムな単位インパルス列として定義される。そこで、図７に示されるようなポアソン分布に基づく正値のみの単位インパルス列を考える。仮に理想画像ｆが統計的に白色な性質であるとすると、Ｒffは単位行列になるから、
Ｒggは次の（１３）式のように行列Ｈに関する自己相関行列ＨＨt になる。
【００３３】
Ｒgg＝ＨＲffＨt ＝ＨＨt ここで、Ｒff＝Ｉ （１３）
そこで（１４）式で表される自己相関Ｃggの定義式よりポアソン分布に基づく正値単位インパルス列の自己相関を求めると、（１５）式が得られる。
【００３４】
【数６】
【００３５】
なお、ｕ（τ）はτ＝０でインパルスをもつある単位インパルス関数とする。（１５）式を図示すると図８のようになる。（１５）式及び図８から自己相関行列ＨＨt を類推すると、次式のような性質を有することが予測される。
【００３６】
【数７】
【００３７】
そこで、自己相関行列ＨＨt を改めて次式のように定義する。
ＨＨt ＝Ｉ＋γ2 Ｗ （１７）
（１５）式よりτ＝０における自己相関の高さは無限大であることを考慮すると、γ2 は１に比べて小さい値になることが予測される。そこで、自己相関行列ＨＨt の疑似逆行列を次式のように定義する。
【００３８】
【数８】
【００３９】
（１８）式で定義される疑似逆行列は理想画像ｆの統計的性質が白色であるときのみ成立するが、実用的には（１８）式をそのまま自己相関Ｒggの逆行列として定義しても良い。以上の説明で明らかなように、モザイク色フィルタの同色画素配置をポアソン分布に基づく正値単位インパルス列と仮定すると、自己相関Ｒggは単位行列に極めて近い行列となるが、これは逆行列を求めるのに最も適した条件であると言える。なぜなら行列が単位行列の場合、その行列自体がそのまま逆行列として定義できるからである。もし画素配列が図９（Ａ）に示すように決まった間隔でダウンサンプリングされるような規則的配列であると、その場合の自己相関行列ＨＨt は図９（Ｂ）に示すように周期的な関数に基づくものとなり、逆行列を精度良く求めるのには適さなくなる。
【００４０】
第１実施形態では、（６）式に示されるように観測画素ｇすなわち観測画素の濃度値と補間行列Ｐとの線形演算により補間処理が行なわれる。ブロック画像領域をＮ×Ｎ画素とすると、その領域の画素を１次元的に並べて定義されるｎ＝Ｎ×Ｎ要素のベクトルに対して上記のような定式化を適応させることにより、補間処理を定義することができる。なお、（６）式は欠落画素と観測画素の両方を含んだｎ画素の画像領域から完全なｎ画素の画像領域を補間生成するように定義されるが、補間行列を画像領域内のｍ個の観測画像からｎ−ｍ個の欠落画素を生成するように（ｎ−ｍ）×ｍ行列で定義しても良く、その作用は上記したとおりである。また、注目するある欠落画素を中心として、その近傍領域内の観測画素からその欠落画素を補間推定する場合は、（６）式は次の（２０）式のように再定義される。
【００４１】
【数９】
【００４２】
なお、添え字ｓはｓ番目の欠落画素を示し、ベクトルｐs ，ｇs はそれぞれ前記近傍領域に対する補間、観測ベクトルを表す。前記近傍画像領域内における欠落画素と観測画素の両方を含んだｎ画素の画像領域から求めるべき欠落画素を補間生成するように定義される場合はベクトルｐs ，ｇs は共にｎ個の要素で構成され、前記近傍画像領域内のｍ個の観測画像から欠落画素を生成する場合はそれらはｍ個の要素で構成される。このような場合でも、基本的に補間行列Ｐに対して示した上記作用は同様に説明される。
【００４３】
上記した第１実施形態によれば、ＲＧＢによるモザイク色フィルタを用いることにより、色再現性に優れたカラー画像を生成することができる。また最小二乗法に基づく補間行列を用いて欠落画素の補間推定を行なうことにより、欠落の無い完全な原色画像を最も誤差の少ない状態で推定することができ、しかも演算は単純な積和演算で実行され、高速化も容易である。補間演算は小画像領域に対して実行されることにより演算量を削減することができる上に、補間生成すべき画素に対して因果関係の薄い観測画素を補間処理から除外することにより効率の良い補間処理が行なえる。またモザイク色フィルタにおける同色フィルタの画素を例えばポアソン分布に基づくように空間的にランダムに配置することにより、補間行列を精度良く求めることができる。
【００４４】
以下に本発明の第２実施形態を説明する。
本発明の第２実施形態は、第１実施形態における撮像素子１００のモザイク色フィルタに補色フィルタを用いた例である。ここで、補色フィルタとは、光の３原色のうち、少なくとも２つの色を通過できる分光特性を有するフィルタを意味する。本実施形態におけるモザイク色フィルタ以外の構成は第１実施形態と同様なので、図示は省略する。
【００４５】
以下に第２実施形態の作用を理論的に説明する。本実施形態ではモザイク色フィルタにシアン（Ｃ），マゼンタ（Ｍ），黄色（Ｙ）の補色フィルタを用いるものとする。シアン（Ｃ）フィルタは緑（Ｇ）および青（Ｂ）、マゼンタ（Ｍ）フィルタは赤（Ｒ）および青（Ｂ）、黄色（Ｙ）フィルタは緑（Ｇ）および赤（Ｒ）の色バンド領域を同時に入力して設定される。これらの補色フィルタによる画像観測系を次の（２１），（２２）式で定義する。
【００４６】
【数１０】
【００４７】
ただし、補間行列ＰC は第１実施形態に示した導出法に従えば、次式のように求められる。
ＰC ＝ＲfCgCＲgCgC -1 （２５）
ただし、ベクトルｇC の自己相関行列ＲgCgCは次式のように展開される。
【００４８】
【数１１】
【００４９】
【数１２】
【００５０】
上記したように、本実施形態においては、（３０）式で定義される線形演算を実行することにより、補色フィルタによるモザイク色フィルタが装着された撮像素子により入力された観測画像から欠落の無いＲＧＢカラー画像が補間生成される。（３０）式を計算するためには行列ＰC ，ＰM ，ＰY をあらかじめＲＯＭ７００に記録しておく必要が有るが、（２６）式によればそれらはＲ，Ｇ，Ｂ原色画像の自己相関と共に原色画像間の相互相関をも先験的に推定することにより求められる。
【００５１】
以上の説明ではＣ，Ｍ，Ｙの３色の補色フィルタを用いた例を示したが、輝度情報に大きく関与するＧ画像を多く入力するように、Ｇ，Ｃ，Ｍ，ＹまたはＧ，Ｃ，Ｙの組み合せでモザイク色フィルタを構成しても良い。また、輝度と感度を両方向上させるために、原色、補色に白（Ｗ），ただしＷ＝Ｒ＋Ｇ＋Ｂを加えた組み合せを採用しても良い。この場合も、上記方法と同様にして１つの線形プロセスにより観測画像から欠落の無いＲＧＢカラー画像が補間生成される。
【００５２】
上記した第２実施形態によれば、モザイク色フィルタに補色フィルタを用いることにより、１つのフィルタでカバーする波長領域をＲＧＢフィルタの場合の２倍に広げることになるため、感度を向上させ、Ｓ／Ｎの良いカラー画像を入力、生成することができる。また、補間手段をあらかじめ用意される各原色画像および原色画像相互間の相関情報を利用することにより、より多くの先験情報を用いながら対象となる画像に対して最適な条件を設定でき、最も理想画像に近いカラー画像を補間生成することができる。
【００５３】
以下に本発明の第３実施形態を説明する。
本発明の第３の実施形態では、撮像素子にＣＭＤ（Charge Modulation Device) などのように、受光面における画素に対してランダムアクセスが可能であり、しかも受光画素に蓄積された電荷の非破壊読み出しが可能なデバイスを使用する。 図１０に第３実施形態の全体構成図を示す。同図において、まず、撮像面にモザイク色フィルタが装着されたＣＭＤイメージセンサで構成される撮像素子１０００に物体の像を入力する。撮像素子１０００の駆動制御は撮像素子ドライバ１１００により行なわれる。ＲＯＭ１２００にはモザイク色フィルタの色配置情報が記録されている。撮像素子ドライバ１１００による撮像素子１０００からの画像信号の読み出し制御はその色配置情報に基づいて行なわれる。撮像素子１０００から出力される電気的画像信号はＡ／Ｄ変換器１３００によりディジタル信号に変換され、バッファメモリ１４００に一時的に保持される。
【００５４】
また、ＲＯＭ１２００に記録された色配置情報として、モザイク色フィルタの種類とフィルタ色、およびブロックの番号とを判別させるためのコードが記録されているが、このコードは、撮像素子１０００から読み出され、バッファメモリ１４００に記録された画像信号列がどのような色配列により観測されたものかを示すヘッダ信号としてバッファメモリ１４００に同時に記録される。バッファメモリ１４００に記録された色配列コード信号はプロセッサ１５００により解読されることによりＲＯＭ１６００より所定の補間系数列が読み出され、バッファメモリ１４００に記録された観測画像信号列との間でプロセッサ１５００において所定の補間処理が行なわれる。
【００５５】
以上の構成によりＲ，Ｇ，Ｂの各原色信号が欠落の無い完全なディジタル画像として生成され、メモリ１７００に記録される。なお、プロセッサ１５００は第１実施形態におけるプロセッサ６００と同様、補間処理全体の制御を行なうＣＰＵと、積和演算による補間処理を高速に実行するＤＳＰとで構成される。またメモリ１７００はＲ，Ｇ，Ｂの各原色信号を記録するための３つのメモリブロックで構成される。バッファメモリ１４００、プロセッサ１５００、ＲＯＭ１６００、メモリ１７００の間のデータの転送はバス１８００を介して行なわれる。最終的にメモリ１７００に記録されたＲＧＢカラー画像は、第１実施形態と同様、通信・表示デバイスや画像処理装置等に送られ、所定の用途に利用される。
【００５６】
図１１は、ＣＭＤイメージセンサの読み出し駆動制御を説明するための概念図である。各受光画素５０11〜５０1n, ５０21〜５０2n, ５０31〜５０3n, ５０m1〜５０mnに蓄積された光電荷量は、撮像素子ドライバ１１００から送られてくる水平および垂直アドレス信号に基づき、水平走査回路２０と垂直走査回路３０の両信号がオンであるときに読み出される。ただし、読み出し後も各受光画素の電荷は保持される非破壊読み出し機能を有するので、撮像素子自体をメモリとして利用することができる。
【００５７】
なお、第３実施形態では撮像系と画像処理系とを分離し、撮像系を交換可能な構成にすることができる。その場合、撮像系は撮像素子１０００、撮像素子ドライバ１１００、ＲＯＭ１２００、Ａ／Ｄ変換器１３００、およびバスインターフェースとしてのバッファメモリ１４００とで構成され、画像処理系はプロセッサ１５００、ＲＯＭ１６００、メモリ１７００、およびバス１８００とで構成される。異なるモザイク色フィルタが装着された撮像素子１０００を用いる場合は、それに対応した色配置情報およびコードが記録されたＲＯＭ１２００が用いられる。一方、画像処理系ではＲＯＭ１６００には想定される撮像系に対応した補間系数列が全て記録されており、撮像系から送られてくるコード信号に従って所定の補間処理が実行される。
【００５８】
上記した第３実施形態によれば、ランダム・非破壊読み出し可能な撮像素子を使用することにより撮像素子を撮像機能と同時にメモリ機能を有するデバイスとして利用でき、ディジタル画像メモリとしてのバッファメモリ１４００の容量を節約することができる。また撮像系にモザイク色フィルタの色配置情報を示すコードを記録したＲＯＭ１２００を設けることにより、撮像系が交換可能な構成を容易に実現できる。
【００５９】
以下に本発明の第４実施形態を説明する。
本発明の第４の実施形態では撮像系を電子カメラで構成し、撮像した画像情報をメモリ媒体に記録し、パーソナルコンピュータを主に構成される画像処理系においてメモリ媒体から伝達される画像情報に基づいてカラー画像が再生される。
【００６０】
図１２は電子カメラ２０００の構成を示す図であり、この電子カメラには半導体ＩＣや光メモリ、磁気メモリなどで構成されるメモリカード３０００が装着されている。電子カメラ２０００には、モザイク色フィルタが装着された撮像素子２０１０と、撮像素子ドライバ２０２０、ＲＯＭ２０３０、およびＡ／Ｄ変換器２０４０が第３実施形態と同様に構成される。ただし、撮像素子２０１０に用いられるイメージセンサはＣＣＤ、ＣＭＤ、あるいはその他のデバイスのいずれであっても良く、撮像素子ドライバ２０２０は用いられるイメージセンサの仕様に合わせて構成されれば良い。撮像素子２０１０により入力された画像信号は撮像素子ドライバ２０２０の駆動制御により逐次的に読み出され、Ａ／Ｄ変換器２０４０によりディジタル信号に変換されてカード書き込み装置２０５０に送られる。カード書き込み装置２０５０には同時にＲＯＭ２０３０から色フィルタの種類を表すコード信号が送られる。カード書き込み装置２０５０はそれら観測画像および色フィルタコードをメモリカード３０００に記録する。
【００６１】
図１３はパーソナルコンピュータ４０００の構成を示す図であり、このパーソナルコンピュータ４０００には上記した観測画像と色フィルタコードが記録されたメモリカード３０００が装着されている。パーソナルコンピュータ４０００では、メモリカード３０００に記録されている情報がカード読み取り装置４０１０により読み取られる。その内、色フィルタコードはＣＰＵ４０２０により解読され、観測画像はメモリ４０３０に記録される。次に解読された色フィルタ情報を基に、ハードディスクドライバ４０４０の制御によりハードディスク４０５０に記録されている所定の補間系数列が読み出され、メモリ４０３０に記録されている観測画像信号列との間でＤＳＰ４０６０において所定の補間処理が行なわれる。なお、ＤＳＰ４０６０は積和演算が高速に実行されるプロセッサにより構成される。また、補間系数列はハードディスク４０５０の代わりにＲＯＭに記録するように構成しても良い。
【００６２】
なお、パーソナルコンピュータ４０００にはカラーモニタとキーボード、マウスなどの操作器が接続されるが図では省略する。以上の構成によりＲ，Ｇ，Ｂの各原色信号が欠落の無い完全なディジタル画像として生成され、ビデオメモリ４０７０に記録される。ビデオメモリ４０７０から出力されるＲＧＢカラー画像はＤ／Ａ変換器４０８０により所定のアナログビデオ信号に変換されて、カラーモニタ上に表示される。なお、パーソナルコンピュータ４０００内における、カード読み取り装置４０１０、ＣＰＵ４０２０、メモリ４０３０、ハードディスクドライバ４０４０、ＤＳＰ４０６０、およびビデオメモリ４０７０はバス４０９０を介して接続されている。
【００６３】
以上説明した構成において、操作者はまず電子カメラ２０００を用いて電子カメラ２０００が使用可能なあらゆる環境の下で目的とする物体を撮像し、メモリカードに記録することができる。それらをパーソナルコンピュータ４０００を用いて読み込み、カラーモニタ上にカラー画像として表示することができる。なお、パーソナルコンピュータ４０００では撮像したカラー画像を用いて操作者が様々な画像処理やコンピュータグラフィックに応用できるように構成しても良い。
【００６４】
上記した第４実施形態によれば、操作者に対して電子カメラを用いた撮像操作とパーソナルコンピュータによる画像処理、表示操作とを独立に行なえるような環境を提供することができる。その際にメモリカードに記録される１枚の画像は撮像素子の受光画素数と同等な画素数で構成されれば良く、またモザイク色フィルタの色配置情報はコード化して記録されるので、メモリカードに要求される容量は少なくて良い。従って、操作者は１枚のメモリカードにより多くの画像を記録することができる。しかも、パーソナルコンピュータでは本発明に基づく最適な補間処理が行なわれるので、高画質なカラー画像が再生される。
【００６５】
以下に本発明の第５実施形態を説明する。
本発明の第５の実施形態は撮像系に連写機能を付加し、連続して入力された複数の画像から１枚の高画質なカラー画像を生成する方法に関するものである。図１４に第５実施形態の構成図を示す。本実施形態の構成は第１実施形態と同様、撮像素子５１００、撮像素子ドライバ５２００、Ａ／Ｄ変換器５３００、メモリ５４００、メモリコントローラ５５００、プロセッサ５６００、ＲＯＭ５７００、さらにバス５８００から構成されるが、メモリ５４００内には観測画像を記録するＮ個のメモリ５４０１〜５４０Ｎが設けられ、撮像系より入力された最大Ｎ枚の画像が記録されるようになっている。メモリ５４００内には、これらの他にＲ，Ｇ，Ｂ画像を記録するメモリ５４１１〜５４１３と、処理の途中にワークエリアとして使用されるメモリ５４１４が設けられる。またプロセッサ５６００内には、ＣＰＵ５６１０、ＤＳＰ５６２０の他に相関演算装置５６３０が設けられ、メモリ５４０１〜５４０Ｎに記録された観測画像間の相関演算が実行されて、同一被写体の相対的位置関係が求められる。
【００６６】
なお、相関演算を積和演算で行なうことにより相関演算装置５６３０はＤＳＰ５６２０で代用しても良い。次に相関演算装置５６３０において求められた観測画像間の相対的位置関係を利用して、メモリ５４０１〜５４０Ｎに記録された観測画像間における同じ色フィルタによる観測画像が合成され、メモリ５４１４に記録される。メモリ５４１４に記録された合成画像は画素が新たにランダム配置された画像となるが、その画素配置はＲＯＭ５７００に記録されている撮像素子５１００のモザイク色フィルタの色配置情報と相関演算装置５６３０において求められた観測画像間の相対的位置関係を用いてＣＰＵ５６１０により求められる。ＣＰＵ５６１０では、さらに合成画像の画素配置から補間係数列が算出され、ＤＳＰ５６２０においてブロックごとに合成画像と補間係数列との積和演算が実行される。そのようにして最終的にメモリ５４１１〜５４１３に欠落画素の無い完全な原色画像が記録される。
【００６７】
以下に、第５実施形態の作用について説明する。本装置は連写機能を有し、撮像時に所定の短い時間間隔で最大Ｎ枚の複数の画像が連続して入力される。なお、連写入力された各画像は同一被写体を含むもので、撮影時にカメラを持つ手がぶれたり被写体が形をほとんど変えずにわずかに移動することにより、撮像素子５１００に対して被写体の位置が相対的にずれながら撮像されるとする。そのような条件で入力された複数の画像を同じ色フィルタによる観測画像ごとに合成する。 その画像合成の概念図を図１５に示す。各観測画像において一種類の色画像は、図の連写画像Ｎｏ．１，２に示すように画素がランダムでかつ粗に配置された状態で撮像される。これらの連写画像に含まれる同一被写体の相対的位置関係を求め、位置合わせを行なった後にそれらを足し合わせることにより得られる合成画像では、図に示すように観測画素の密度が向上する。このようにして得られた合成画像から上記した方法によって各原色画像が補間生成される。上記したことより単板カラー撮像装置により連写入力された複数の画像から、解像度に優れた１枚のカラー画像を生成することができる。
【００６８】
次に、第５実施形態に応用する場合においてもランダムに配置したモザイク色フィルタが有効であることを説明する。１種類の色フィルタにより２枚の観測画像を連写入力することを考える。それら２枚の観測画像内に写っている同一被写体の相対的位置関係が相関演算により求められ、位置合わせがすでに行なわれたと仮定する。それらを加算することにより得られる観測画像をｇ＝［ｇ1 t ｇ2 t ］ t とすると、画像入力系は次式のように定式化される。
【００６９】
【数１３】
【００７０】
ただし、Ｈi （ｉ＝１，２）はｉ番目の画像入力に対応するフィルタ配置関数行列とする。例えばＨ1 を本来のフィルタ画素配置を表す行列だとすると、Ｈ2 は位置合わせにより配置が空間的にずらされた状態を表す行列と考えられる。次に観測画像ｇから完全な理想画像ｆを推定するプロセスを次式に示すように観測画素ｇの画像内での再配置と補間推定との２つのプロセスに分けて定義する。
【００７１】
【数１４】
【００７２】
（３６）式においてＨ1 およびＨ2 を各々最初のｍ列に単位行ベクトルｅij t （ｉ＝１，２；ｊ＝１，…，ｍ）がくるように行ベクトルを再配置すると、（３６）式は次式のように書き換えられる。
【００７３】
【数１５】
【００７４】
（３７）式における非対角要素行列Ｉk のランクｋは行列Ｈ1 とＨ2 の観測画素のオーバーラップの程度に依存する。つまり、行列Ｈ1 とＨ2 が全く異なる画素で観測するように定義されたとすると、Ｉk ＝０（ｋ＝０）となり、最良の条件であると言える。この場合、自己相関行列ＨＨt のランクは２ｍとなる。一方、最も悪い条件は行列Ｈ1 とＨ2 が全く同じ画素で観測されたように定義される場合で、Ｉk ＝Ｉm （ｋ＝ｍ）となり、自己相関行列ＨＨt のランクはｍとなる。一般にはこれらの中間の状態になると考えられる。このような解析に従って、理想的な行列Ｈを考える。もし行列Ｈが規則的な配置によるものの場合、画像のシフトがちょうど画素周期の谷間に来れば最良な条件が得られるが、逆に画素周期に同期してしまった場合は最悪な条件となる。これに対して画素配置をランダムにしておけば、Ｉk に対して画像の位置ずれ量に寄らず一定のランクが期待でき、装置を構成する上で都合が良い。
【００７５】
本実施形態では以上のような理由によりモザイク色フィルタの色配置をランダムに構成し、（３３）式で表されるプロセスに従って連写入力画像からの１枚の画像の合成および欠落の無い完全な原色画像の補間生成が行なわれる。なお、合成画像では位置合わせに基づいて新たなランダム画素配置が実現されるか、それに対応した補間行列は以下のように求められる。
【００７６】
まず合成画像の画素配置はＲＯＭ５７００に記録されている撮像素子５１００のモザイク色フィルタの色配置情報と相関演算装置５６３０において求められた観測画像間の相対的位置関係を用いて算出される。次に最適な補間行列は、例えば第１実施形態に示した（１８）式で定義されるような画素配置がポアソン分布に従うと仮定した場合に導出される疑似逆行列で定義すれば良い。そのような場合、画像自身の先験的相関情報を用いる必要はなく、合成画像の画素配置情報のみから補間系数列を求めることができる。
【００７７】
上記した第５実施形態によれば、モザイク色フィルタにおける同色フィルタの画素配置が粗に分布される場合においても、連写画像間で埋め合せをすることにより、最終的に生成されるカラー画像の解像度を向上させることができる。モザイク色フィルタの色配置をランダムにしておけば、連写画像間における被写体の相対的位置関係に依存せずに、解像度の向上を効率良く実現させることができる。
【００７８】
上記した具体的実施形態には以下の構成を有する発明が含まれている。
（構成１）
撮像画素に各色のフィルタ位置が対応するように複数色を有するモザイク色フィルタを空間的にランダムに配置した撮像素子と、
前記モザイク色フィルタのフィルタ色配置情報を格納する格納手段と、
前記撮像素子から出力された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色ごとの画像情報を欠落画素の無い状態に補間処理により補間する補間手段と、
を具備することを特徴とするカラー画像撮像装置。
（対応する発明の実施形態）
構成１に記載の発明は、上記した第１、２、３、４実施形態に対応する。
（効果）
撮像素子に装着されたモザイク色フィルタの同色画素配列を空間的にランダムにすることにより、限られた画素数でありながら解像度に優れた原色画像を推定するのに必要な画像情報を入力することができる。つまり、全画像を構成する画素数より少ない画素を配置する際に従来のモザイクフィルタで採用されているような規則的なダウンサンプリングを行なうと、そのサンプリング間隔によって決定される帯域以上の空間周波数成分は全く再生できない。ところがランダムな画素配列によれば明確な帯域が定まらず、全ての空間周波数成分をほぼ均等に有する条件が得られるので、適当な補間処理を通じて欠落画素を埋めた完全な原色画像を解像度に優れた状態で再生することが可能である。さらに本発明ではランダムな画素配列情報を取得する手段を有することにより、その画素配列に適した補間処理を行なうことができる。以上のような作用により各原色画像がそれぞれ解像度に優れた状態で復元されるので、結果的に解像度や色再現性に優れた高画質なカラー画像が生成できる。
（構成２）
構成１のカラー画像撮像装置において、前記補間手段は、前記撮像素子から出力した画像情報のうち、所定の画像領域内の観測画素輝度値と、前記色配置情報から求める補間行列との線形演算によって補間を行うことを特徴とする。
（対応する発明の実施形態）
構成２に記載の発明は、上記した第１、２、３、４実施形態に対応する。
（効果）
補間演算を観測画素濃度値と補間行列との線形演算で行なうことにより計算を単純な積和演算で実現できるため、補間演算を単純な構成で実行でき、しかも高速化が容易である。
（構成３）
構成１のカラー画像撮像装置において、前記補間手段は、前記所定の画像領域における全画素により色ごとに光強度が検出されることにより得られる理想画像と、補間処理後の画像との二乗誤差が最小になるように補間を行うことを特徴とする。
（対応する発明の実施形態）
構成３に記載の発明は、上記した第１、２実施形態に対応する。
（効果）
補間手段を理想画像と補間処理後の画像との二乗誤差が最小になるように構成することにより、最も理想画像に近いカラー画像を補間生成することができる。
（構成４）
構成３のカラー画像撮像装置において、前記撮像素子に装着されたモザイク色フィルタは、原色（Ｒ、Ｇ、Ｂ）フィルタを用いて構成され、前記補間手段は、あらかじめ推定される各原色画像に対する相関情報を利用して構成されることを特徴とする。
（対応する発明の実施形態）
構成４に記載の発明は、上記した第１実施形態に対応する。
（効果）
原色フィルタによるモザイク色フィルタを用いることにより色再現性に優れたカラー画像を生成し、しかも補間手段をあらかじめ用意される各原色画像に対する相関情報を利用して構成することにより、対象となる画像に対して最適な条件により最も理想画像に近いカラー画像を補間生成することができる。
（構成５）
構成３のカラー画像撮像装置において、前記撮像素子に装着されたモザイク色フィルタは、補色（Ｃ、Ｍ、Ｙ）フィルタを用いて構成され、前記補間手段は、あらかじめ推定される各原色画像および原色画像相互間の相関情報を利用して構成されることを特徴とする。
（対応する発明の実施形態）
構成５に記載の発明は、上記した第２実施形態に対応する。
（効果）
補色フィルタによるモザイク色フィルタを用いることにより１つのフィルタでカバーする波長領域を原色フィルタの場合の２倍に広げることになるため、感度を向上させ、Ｓ／Ｎの良いカラー画像を入力、生成することができ、しかも補間手段をあらかじめ用意される各原色画像および原色画像相互間の相関情報を利用して構成することにより、より多くの先験情報を用いながら、対象となる画像に対して最適な条件により最も理想画像に近いカラー画像を補間生成することができる。
（構成６）
構成１において、前記撮像素子に装着されたモザイク色フィルタにおける同色フィルタの画素配置は、ポアソン分布に基づくインパルス列発生確率に従うことを特徴とする。
（対応する発明の実施形態）
構成６に記載の発明は、上記した第１実施形態に対応する。
（効果）
モザイク色フィルタを構成する際に同色フィルタを装着する撮像素子の画素の配置をポアソン分布の発生確率に従うように設計することにより、理想的なランダム配置を実現できる。
（構成７）
構成６において、前記補間手段は、インパルス列の相関情報を利用して設計されることを特徴とする。
（対応する発明の実施形態）
構成７に記載の発明は、上記した第１実施形態が対応する。
（効果）
補間手段をインパルス列の相関情報を利用して設計することにより、広い画像の種類に適用可能な最適な補間手段を構成することができる。
（構成８）
構成１において、前記補間手段は、全画像を分割したところの個々のブロック画像を対象にして補間処理を行なうことを特徴とする。
（対応する発明の実施形態）
構成８に記載の発明は、上記した第１実施形態が対応する。
（効果）
補間手段をブロック画像単位に行なうことにより、演算量を削減することができる上に、補間生成すべき画素に対して因果関係の薄い観測画素を補間処理から除外することにより効率の良い補間処理を行なうことができる。
（構成９）
構成１において、前記補間手段は、注目する欠落画素の近傍の所定の画像領域を対象にして補間処理を行なうことを特徴とする。
【００７９】
（対応する発明の実施形態）
構成９に記載の発明は、上記した第１実施形態に対応する。
（効果）
補間手段を注目する欠落画素の近傍の所定の画像領域単位に行なうことにより、演算量を削減することができる上に、補間生成すべき画素に対して常に最も因果関係の強い観測画素を用いて補間処理を行なうことにより理想的な補間処理が実行でき、ブロックアーティファクトなどの影響を除去できる。
（構成１０）
構成１において、前記モザイク色フィルタにおける色配置情報を格納する格納手段は、画素配置情報を記録したＲＯＭであることを特徴とする。
（対応する発明の実施形態）
構成１０に記載の発明は、上記した第１実施形態に対応する。
（効果）
画素配列情報をＲＯＭに記録することにより、色配列情報を補間処理に利用する際に高速に読み出すことが可能である。
（構成１１）
構成１において、前記モザイク色フィルタにおける色配置情報を格納する手段は、モザイク色フィルタの種類を判別するためのコードと、このコードに対応した色配置情報とによって構成することを特徴とする。
（対応する発明の実施形態）
構成１１に記載の発明は、上記した第３、４実施形態に対応する。
（効果）
色配列情報をコード化して記録、伝達することにより、撮像系と画像処理系を分割して構成する際に色配列情報に関する構成を少ないメモリ容量で簡便にできる。
（構成１２）
構成１において、前記撮像素子は、受光画素に対してランダムアクセスが可能であり、かつ、受光画素に蓄積された電荷の非破壊読み出しが可能なデバイスであることを特徴とする。
（対応する発明の実施形態）
構成１２に記載の発明は、上記した第３実施形態に対応する。
（効果）
撮像素子を撮像機能と同時にメモリ機能を有するデバイスとして利用できるので、ディジタル画像メモリの容量を節約することができる。
（構成１３）
撮像したカラー画像情報を補間手段によって補間して元の画像を復元するカラー画像撮像装置におけるカラー画像撮像素子において、
撮像画素に各色のフィルタ位置が対応するように補間する処理単位で複数色を有するモザイク色フィルタを空間的にランダムに配置した撮像素子と、
前記モザイク色フィルタのフィルタ色配置情報を格納する格納手段と、
を具備することを特徴とするカラー画像撮像素子。
（対応する発明の実施形態）
構成１３に記載の発明は、上記した第１、２、３、４、５実施形態に対応する。
（効果）
モザイク色フィルタの同色画素配列を補間する処理単位で空間的にランダムにすることにより、限られた画素数でありながら解像度に優れた原色画像を推定するのに必要な画像情報を入力することができるカラー画像撮像素子を構成できる。
（構成１４）
撮像画素に各色のフィルタ位置が対応するように複数色を有するモザイク色フィルタを空間的にランダムに配置した撮像素子と、
前記モザイク色フィルタのフィルタ色配置情報を格納する格納手段と、
前記撮像素子により出力された時間軸に関して連続する複数枚の画像を記憶する記憶手段と、
この記憶手段に記憶された複数枚の画像情報の相互間に関して同一の被写体の相対的位置関係を検出する位置ずれ検出手段と、
この位置ずれ検出手段による位置ずれ情報を利用して、前記記憶手段に記憶された複数枚の画像を前記同一の被写体が重なるように合成する画像合成手段と、
この画像合成手段により合成された画像情報と、前記格納手段内の色配置情報とを用いて、欠落を含む各色ごとの画像情報を欠落画素の無い状態に補間処理により復元する補間手段と、
を具備することを特徴とするカラー画像撮像装置。
（対応する発明の実施形態）
構成１４に記載の発明は、上記した第５実施形態に対応する。
（効果）
撮像素子により続けて入力された複数枚の画像を記録するメモリと位置ずれ検出手段と画像合成手段とを設けることにより、モザイク色フィルタにおける同色フィルタの画素配置が粗に分布される場合においても、連写画像間で埋め合せをすることにより、最終的に生成されるカラー画像の解像度を向上させることができる。モザイク色フィルタの色配置をランダムにしておけば、連写画像間における被写体の相対的位置関係に依存せずに、解像度の向上を効率良く実現させることができる。
（構成１５）
構成１４において、前記位置ずれ検出手段は、画像間の相関を計算する手段であることを特徴とする。
（対応する発明の実施形態）
構成１５に記載の発明は、上記した第１、２、３、４、５実施形態に対応する。
（効果）
位置ずれ検出手段を画像間の相関を計算する手段で構成することにより、簡便な演算処理で画像間の相対的位置関係を求めることができる。
（構成１６）
構成１４において、前記画像合成手段と補間手段とは、同一の手段で構成されることを特徴とする。
（対応する発明の実施形態）
構成１６に記載の発明は、上記した第５実施形態に対応する。
（効果）
画像合成手段と補間手段とを同一の手段で構成することにより、構成を簡便にすることができる。
【００８０】
【発明の効果】
本発明によれば、解像度および色再現性に優れた高画質なカラー画像を再生することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態の全体構成図を示す。
【図２】モザイク色フィルタの構成例を示す図である。
【図３】図１に示すメモリとプロセッサの詳細な構成を示す図である。
【図４】ブロック単位の補間処理の概念図である。
【図５】図４に示す補間処理の変形例として、補間生成される欠落画素を中心とした近傍の画像領域を補間演算対象領域として設定する場合の概念図である。
【図６】不規則な間隔で振幅が変化する方形波を示す図である。
【図７】ポアソン分布に基づく正値のみの単位インパルス列を示す図である。
【図８】ポアソン分布に基づく正値単位インパルス列の自己相関を図示したものである。
【図９】画素配列が規則的配列である場合の自己相関行列を示す図である。
【図１０】第３実施形態の全体構成図を示す図である。
【図１１】ＣＭＤイメージセンサの読み出し駆動制御を説明するための概念図である。
【図１２】第４実施形態における電子カメラの構成を示す図である。
【図１３】パーソナルコンピュータの構成を示す図である。
【図１４】第５実施形態の構成を示す図である。
【図１５】第５実施形態における画像合成の概念図である。
【図１６】従来のＣＣＤ単板カラーカメラにおけるフィルタの配置を示す図である。
【符号の説明】
１００…撮像素子、２００…撮像素子ドライバ、３００…Ａ／Ｄ、４００…メモリ、５００…メモリコントローラ、６００…プロセッサ、７００…ＲＯＭ、８００…バス。
【発明の属する技術分野】
本発明はカラー画像撮像装置に関し、特に、モザイク色フィルタを有する単眼方式のカラー撮像装置に関する。
【０００２】
【従来の技術】
まず、第１の従来技術について述べる。ＣＣＤ，ＭＯＳなどの半導体デバイスを用いた撮像素子の受光画素は個々に分離していることから、受光画素ごとに色フィルタが装着された、いわゆるモザイク色フィルタを用いた単板方式のカラーカメラに広く利用されている。モザイク色フィルタの構成法には多数の提案がある。例えば、テレビジョン学会技術報告、ＴＥＢＳ１０１−１ＥＤ８３６、（１９８５）、「完全色差線順次単板カラー化方式」に関する文献は、赤（Ｒ），緑（Ｇ），青（Ｂ）の３原色の分光特性を有するフィルタを図１６に示すように配置したＣＣＤ単板カラーカメラを開示している。
【０００３】
図１６に示す配列は、緑市松Ｒ／Ｂ線順次方式、あるいはベイヤー方式と呼ばれ、色信号と輝度信号とのＳ／Ｎバランスが良く、照度に依存せずに優れた色再現性が得られる方式として採用されてきた。このような規則的配置によるモザイク色フィルタを用いた従来の単板カラーカメラで生成される原色画像は、粗くダウンサンプリングされた画像を限られた帯域によって補間再生することにより得られる。
【０００４】
次に、第２の従来技術について述べる。有限個の受光画素により構成される撮像素子により画像を撮像して複数回入力することにより静止画像の解像度を向上させる方法が提案されている。例えば、特開平３−２４０３７２号公報は、結像面より小さい面積の撮像素子を結像面上で２次元的に移動させながら画像を入力することにより、高精細で広画角な静止画像を入力する方法を提案している。
【０００５】
【発明が解決しようとする課題】
上記した第１の従来技術には、モザイク色フィルタを用いた単板カラーカメラを用いて解像度や色再現性に優れた高画質なカラー画像を生成する方法という観点について記載されていない。本発明はこの観点に着目し、単板カラーカメラを用いながら解像度に優れた原色画像を生成し、解像度および色再現性に優れた高画質なカラー画像を再生することのできるカラー画像撮像装置及びカラー画像撮像素子を提供することを目的とする。
【０００６】
また、上記した第２の従来技術には、モザイク色フィルタを用いた単板カラーカメラを用いて入力された複数の画像から高画質な１枚のカラー画像を生成する方法という観点について記載されていない。本発明はこの観点に着目し、単板カラーカメラを用いて入力された複数の画像から解像度に優れた原色画像を生成することにより、解像度および色再現性に優れた高画質なカラー画像を再生することのできるカラー画像撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明に係るカラー画像撮像装置は、撮像画素に各色のフィルタ位置が対応するように、補間する処理単位のブロックで複数色を有するモザイク色フィルタを空間的にランダムに配置して、このようなブロックが繰り返されるように画像全体を構成する撮像素子と、前記モザイク色フィルタのフィルタ色配置情報を格納する格納手段と、前記撮像素子から出力された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色の画像情報を欠落画素の無い状態に補間処理により補間する補間手段と、を具備する。
【０００９】
また、第３の発明に係るカラー画像撮像装置は、上記第１の発明に係るカラー画像撮像装置であって、前記撮像素子により出力され、時間軸に関して連続する複数枚の画像を記憶する記憶手段と、この記憶手段に記憶された複数枚のうち相互に同一の被写体の相対的位置関係を検出する位置ずれ検出手段と、この位置ずれ検出手段によって検出された相対的位置関係を利用して、前記記憶手段に記憶された複数枚の画像を前記同一の被写体が重なるように合成する画像合成手段と、をさらに備え、前記補間手段は、前記画像合成手段により合成された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色の画像情報を欠落画素の無い状態に補間処理により補間することを特徴とする。
【００１０】
すなわち、第１の発明に係るカラー画像撮像装置は、撮像画素に各色のフィルタ位置が対応するように、補間する処理単位で複数色を有するモザイク色フィルタを空間的にランダムに配置するとともに、前記モザイク色フィルタのフィルタ色配置情報を格納手段に格納しておく。そして、撮像素子から出力された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色の画像情報を欠落画素の無い状態に補間処理により補間するようにする。
【００１２】
また、第３の発明に係るカラー画像撮像装置は、上記第１の発明に係るカラー画像撮像装置であって、前記撮像素子により出力され、時間軸に関して連続する複数枚の画像を記憶する記憶手段に記憶された複数枚の画像のうち相互に同一の被写体の相対的位置関係を位置ずれ検出手段によって検出し、この検出された相対的位置関係を利用して、前記記憶手段に記憶された複数枚の画像を前記同一の被写体が重なるように合成する画像合成手段を更に備える。そして、前記補間手段は、前記画像合成手段により合成された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色の画像情報を欠落画素の無い状態に補間処理により補間する。
【００１３】
【発明の実施の形態】
以下に図面を参照して本発明の実施形態を詳細に説明する。
まず、本発明の第１実施形態を説明する。図１に本発明の第１実施形態の全体構成図を示す。図１の構成において、撮像面にモザイク色フィルタが装着されたＣＣＤイメージセンサで構成される撮像素子１００は入力された物体像を対応する電気的画像信号に変換して出力する。撮像素子１００の駆動制御は撮像素子ドライバ２００により行なわれる。撮像素子１００から出力された電気的画像信号はＡ／Ｄ変換器３００によりディジタル信号に変換され、メモリ４００に記録される。このメモリ４００に対する記録制御はメモリコントローラ５００により行なわれる。プロセッサ６００はメモリ４００に記録された観測画像信号を用いて以下に述べる所定の補間処理を行なうことによって、Ｒ，Ｇ，Ｂの各原色信号が欠落の無い完全なディジタル画像を生成し、このディジタル画像を再びメモリ４００に記録する。この補間処理の際にはＲＯＭ７００に記録されている撮像素子１００におけるモザイク色フィルタの画素配置情報と補間係数列情報が利用される。なお、メモリ４００、プロセッサ６００、ＲＯＭ７００はバス８００を介して接続されている。このようにして生成され、メモリ４００に記録されたＲＧＢカラー画像は、通信・表示デバイスや画像処理装置等に送られ所定の用途に利用される。
【００１４】
図２はモザイク色フィルタの構成例を示す。本実施形態におけるモザイク色フィルタはＲ，Ｇ，Ｂの３原色フィルタで構成され、同色フィルタの画素は、例えば以下に述べるポアソン分布にしたがって図２に示すように空間的にランダムに配置される。ここで、モザイク色フィルタにおける色配置はブロック画像単位でランダムになるように配置しても良いし、ブロックとは無関係に画像全体でランダムになるように色配置を適当に決めても良い。ブロック内で色配置をランダム構成にし、このような構成のブロックが繰り返されるように画像全体を構成することにより、ＲＯＭ７００に記録されるべき色配置情報と補間係数列情報の容量を少なくすることができる。
【００１５】
図３はメモリ４００とプロセッサ６００の詳細な構成を示す図である。図１に示す撮像素子１００の各受光画素により検出された光強度値は撮像素子ドライバ２００の制御により逐次的に読み出され、Ａ／Ｄ変換器３００を介してメモリ４００内のメモリ４０１に記録される。メモリ４０１の画素を撮像素子１００の受光画素と１対１に対応するように構成することにより、撮像素子１００の各受光画素からの光強度検出値がメモリ４０１の各画素に濃度値として記録される。
【００１６】
メモリ４０１に記録された画像は、ＲＯＭ７００に記録されているモザイクフィルタの色配置情報に基づいて、まずＲフィルタが装着された撮像素子１００の受光画素ごとに濃度値がメモリ４０１から読み出され、プロセッサ６００に転送される。プロセッサ６００はＣＰＵ６０１と、線形演算を高速に行なうために用意されたＤＳＰ６０２とで構成される。メモリ４０１より読み出された画像信号列とＲＯＭ７００に記録されている補間係数列情報とはＤＳＰ６０２に送られ、線形演算つまり積和演算が実行されて、その結果はメモリ４００内のＲ画像用メモリ４０２に記録される。このような処理がＧ，Ｂ画像にも繰り返され、最終的に欠落の無い完全なＲ，Ｇ，Ｂ原色画像がＲ，Ｇ，Ｂ画像用メモリ４０２，４０３，４０４に記録される。メモリ４０１に記録されている画像信号から完全なＲ，Ｇ，Ｂ画像を補間生成して画像用メモリ４０２〜４０４に記録するまでの上記したプロセスはＣＰＵ６０１により動作制御される。
【００１７】
上記プロセスにおいて同色画素値が読み出され、線形演算（積和演算）による補間処理が実行される過程は以下に示すようにブロック単位で行なわれる。図４にそのようなブロック単位の補間処理の概念図を示す。Ｒ，Ｇ，Ｂの各原色画像は図４（Ａ）に示すようなブロック画像に分割され、各ブロック画像内に含まれる全観測画素の濃度値と補間係数列との間で積和演算が実行される。この補間演算によって図４（Ｂ）に示すような欠落画素を含むブロック画像から、図４（Ｃ）に示すように欠落の無い完全な原色画像が生成される。
【００１８】
図５は補間処理の変形例として、補間生成される欠落画素を中心とした近傍の画像領域を補間演算対象領域として設定する場合の概念図である。この実施形態では、図５（Ａ）に示すような対象欠落画素を補間生成する際に、ＲＯＭ７００に記録されている色配列情報を利用してその欠落画素に対応する近傍の観測画素濃度値と、ＲＯＭ７００に記録されているその欠落画素に対応する補間系数列とが読み出され、それらを用いて積和演算が実行される。そのような操作が全欠落画素に対して繰り返されることにより、図５（Ｂ）に示すように完全な原色画像が補間生成される。
【００１９】
以下に上記した第１実施形態の作用を理論的に説明する。まず、ＲＧＢフィルタをモザイク色フィルタに用いた場合の単板カラーＣＣＤカメラによるイメージング系を以下のような関係式により定式化する。
【００２０】
ｇ＝Ｈｆ （１）
（１）式を行列、ベクトルの内容まで示すことにより書き換えると（２）式のように表される。
【００２１】
【数１】
ただし、ｆ＝［ｆR ，ｆG ，ｆB ］t を欠落の無い理想的なＲＧＢカラー画像（理想画像）、ｇ＝［ｇR ，ｇG ，ｇB ］t を観測されたＲＧＢのカラー画像とする。なお、ｆi 、ｇi （ｉ＝Ｒ，Ｇ，Ｂ）をｎ×１のサイズのベクトル、ｆ，ｇを３ｎ×１のサイズのベクトルとする。また各バンドフィルタの配置を表すｎ×ｎサイズの行列Ｈi （ｉ＝Ｒ，Ｇ，Ｂ）を次のように定義する。
【００２３】
【数２】
ただし、行列Ｈi のｅj t 以外の行ベクトル要素は０t である。つまり行列Ｈi はｎ×ｎの単位行列から欠落画素を伝達する行ベクトルを０t で置き換えたものに相当する。また、Ｒ，Ｇ，Ｂフィルタを装着した画素の数を各々、ｍR 、ｍG 、ｍB 、ただしｍR ＋ｍG ＋ｍB ＝ｎとする。これらの定義によれば、以下の（４），（５）式で表される関係が成立する。
【００２５】
【数３】
以上の定義の下に、原色画像ごとに欠落画素を埋める補間操作について説明する。補間行列をＰとすると、補間されたバンド画像、すなわち、推定バンド画像ｆ＾は以下の（６）式で表される。なお、表現を簡単にするためにバンドを表す添え字（Ｒ，Ｇ，Ｂ）は省略し、以下の式は３つの各原色画像の内の任意の１つについて定義されるものとする。
【００２７】
【数４】
補間行列Ｐはモザイク色フィルタの色配列と、特定の画像対象についての複数の画像から先験的に予測される統計的性質とよりあらかじめ設定することが可能であり、それらより求められる補間行列ＰをＲＯＭ７００に書き込んでおけば良い。
【００２９】
以下に、補間行列Ｐを設定する際に同色フィルタの画素配列が図２に示すようにランダムである場合の作用効果を説明する。
（９）式より、補間行列Ｐの精度はベクトルｇの自己相関Ｒggの逆行列の精度に依存することが分かる。自己相関Ｒggのランクは最大でｍ（＜ｎ）であるので正確には逆行列は存在しないが、ランク内でＲggが単位行列になることが最適な条件であると考えることができる。そのような条件の一つは、ベクトルｇの欠落画素の配置がランダムに近いことである。そのような条件をポアソン分布の定義を用いて以下に説明する。
【００３０】
ここでは、図６に示されるような、不規則な間隔で振幅が変化する方形波で表されるような定常確率集合を考える。関数の振幅は不規則な間隔でＥm から−Ｅm へ、または−Ｅm からＥm へ０を交差しながら跳躍する。この時、区間ｔ内に現われる０（零交差）の数の確率分布が（１２）式で表される課程をポアソン分布という。
【００３１】
【数５】
ただし、Ｐξ（ｎ；ｔ）は１回の観測で区間ｔにおける０の数ξが与えられた数ｎとなる確率であり、ｋは単位時間当たりの０の数の平均値とする。ランダム画素配列はランダムな単位インパルス列として定義される。そこで、図７に示されるようなポアソン分布に基づく正値のみの単位インパルス列を考える。仮に理想画像ｆが統計的に白色な性質であるとすると、Ｒffは単位行列になるから、
Ｒggは次の（１３）式のように行列Ｈに関する自己相関行列ＨＨt になる。
【００３３】
Ｒgg＝ＨＲffＨt ＝ＨＨt ここで、Ｒff＝Ｉ （１３）
そこで（１４）式で表される自己相関Ｃggの定義式よりポアソン分布に基づく正値単位インパルス列の自己相関を求めると、（１５）式が得られる。
【００３４】
【数６】
なお、ｕ（τ）はτ＝０でインパルスをもつある単位インパルス関数とする。（１５）式を図示すると図８のようになる。（１５）式及び図８から自己相関行列ＨＨt を類推すると、次式のような性質を有することが予測される。
【００３６】
【数７】
そこで、自己相関行列ＨＨt を改めて次式のように定義する。
ＨＨt ＝Ｉ＋γ2 Ｗ （１７）
（１５）式よりτ＝０における自己相関の高さは無限大であることを考慮すると、γ2 は１に比べて小さい値になることが予測される。そこで、自己相関行列ＨＨt の疑似逆行列を次式のように定義する。
【００３８】
【数８】
（１８）式で定義される疑似逆行列は理想画像ｆの統計的性質が白色であるときのみ成立するが、実用的には（１８）式をそのまま自己相関Ｒggの逆行列として定義しても良い。以上の説明で明らかなように、モザイク色フィルタの同色画素配置をポアソン分布に基づく正値単位インパルス列と仮定すると、自己相関Ｒggは単位行列に極めて近い行列となるが、これは逆行列を求めるのに最も適した条件であると言える。なぜなら行列が単位行列の場合、その行列自体がそのまま逆行列として定義できるからである。もし画素配列が図９（Ａ）に示すように決まった間隔でダウンサンプリングされるような規則的配列であると、その場合の自己相関行列ＨＨt は図９（Ｂ）に示すように周期的な関数に基づくものとなり、逆行列を精度良く求めるのには適さなくなる。
【００４０】
第１実施形態では、（６）式に示されるように観測画素ｇすなわち観測画素の濃度値と補間行列Ｐとの線形演算により補間処理が行なわれる。ブロック画像領域をＮ×Ｎ画素とすると、その領域の画素を１次元的に並べて定義されるｎ＝Ｎ×Ｎ要素のベクトルに対して上記のような定式化を適応させることにより、補間処理を定義することができる。なお、（６）式は欠落画素と観測画素の両方を含んだｎ画素の画像領域から完全なｎ画素の画像領域を補間生成するように定義されるが、補間行列を画像領域内のｍ個の観測画像からｎ−ｍ個の欠落画素を生成するように（ｎ−ｍ）×ｍ行列で定義しても良く、その作用は上記したとおりである。また、注目するある欠落画素を中心として、その近傍領域内の観測画素からその欠落画素を補間推定する場合は、（６）式は次の（２０）式のように再定義される。
【００４１】
【数９】
なお、添え字ｓはｓ番目の欠落画素を示し、ベクトルｐs ，ｇs はそれぞれ前記近傍領域に対する補間、観測ベクトルを表す。前記近傍画像領域内における欠落画素と観測画素の両方を含んだｎ画素の画像領域から求めるべき欠落画素を補間生成するように定義される場合はベクトルｐs ，ｇs は共にｎ個の要素で構成され、前記近傍画像領域内のｍ個の観測画像から欠落画素を生成する場合はそれらはｍ個の要素で構成される。このような場合でも、基本的に補間行列Ｐに対して示した上記作用は同様に説明される。
【００４３】
上記した第１実施形態によれば、ＲＧＢによるモザイク色フィルタを用いることにより、色再現性に優れたカラー画像を生成することができる。また最小二乗法に基づく補間行列を用いて欠落画素の補間推定を行なうことにより、欠落の無い完全な原色画像を最も誤差の少ない状態で推定することができ、しかも演算は単純な積和演算で実行され、高速化も容易である。補間演算は小画像領域に対して実行されることにより演算量を削減することができる上に、補間生成すべき画素に対して因果関係の薄い観測画素を補間処理から除外することにより効率の良い補間処理が行なえる。またモザイク色フィルタにおける同色フィルタの画素を例えばポアソン分布に基づくように空間的にランダムに配置することにより、補間行列を精度良く求めることができる。
【００４４】
以下に本発明の第２実施形態を説明する。
本発明の第２実施形態は、第１実施形態における撮像素子１００のモザイク色フィルタに補色フィルタを用いた例である。ここで、補色フィルタとは、光の３原色のうち、少なくとも２つの色を通過できる分光特性を有するフィルタを意味する。本実施形態におけるモザイク色フィルタ以外の構成は第１実施形態と同様なので、図示は省略する。
【００４５】
以下に第２実施形態の作用を理論的に説明する。本実施形態ではモザイク色フィルタにシアン（Ｃ），マゼンタ（Ｍ），黄色（Ｙ）の補色フィルタを用いるものとする。シアン（Ｃ）フィルタは緑（Ｇ）および青（Ｂ）、マゼンタ（Ｍ）フィルタは赤（Ｒ）および青（Ｂ）、黄色（Ｙ）フィルタは緑（Ｇ）および赤（Ｒ）の色バンド領域を同時に入力して設定される。これらの補色フィルタによる画像観測系を次の（２１），（２２）式で定義する。
【００４６】
【数１０】
ただし、補間行列ＰC は第１実施形態に示した導出法に従えば、次式のように求められる。
ＰC ＝ＲfCgCＲgCgC -1 （２５）
ただし、ベクトルｇC の自己相関行列ＲgCgCは次式のように展開される。
【００４８】
【数１１】
【数１２】
上記したように、本実施形態においては、（３０）式で定義される線形演算を実行することにより、補色フィルタによるモザイク色フィルタが装着された撮像素子により入力された観測画像から欠落の無いＲＧＢカラー画像が補間生成される。（３０）式を計算するためには行列ＰC ，ＰM ，ＰY をあらかじめＲＯＭ７００に記録しておく必要が有るが、（２６）式によればそれらはＲ，Ｇ，Ｂ原色画像の自己相関と共に原色画像間の相互相関をも先験的に推定することにより求められる。
【００５１】
以上の説明ではＣ，Ｍ，Ｙの３色の補色フィルタを用いた例を示したが、輝度情報に大きく関与するＧ画像を多く入力するように、Ｇ，Ｃ，Ｍ，ＹまたはＧ，Ｃ，Ｙの組み合せでモザイク色フィルタを構成しても良い。また、輝度と感度を両方向上させるために、原色、補色に白（Ｗ），ただしＷ＝Ｒ＋Ｇ＋Ｂを加えた組み合せを採用しても良い。この場合も、上記方法と同様にして１つの線形プロセスにより観測画像から欠落の無いＲＧＢカラー画像が補間生成される。
【００５２】
上記した第２実施形態によれば、モザイク色フィルタに補色フィルタを用いることにより、１つのフィルタでカバーする波長領域をＲＧＢフィルタの場合の２倍に広げることになるため、感度を向上させ、Ｓ／Ｎの良いカラー画像を入力、生成することができる。また、補間手段をあらかじめ用意される各原色画像および原色画像相互間の相関情報を利用することにより、より多くの先験情報を用いながら対象となる画像に対して最適な条件を設定でき、最も理想画像に近いカラー画像を補間生成することができる。
【００５３】
以下に本発明の第３実施形態を説明する。
本発明の第３の実施形態では、撮像素子にＣＭＤ（Charge Modulation Device) などのように、受光面における画素に対してランダムアクセスが可能であり、しかも受光画素に蓄積された電荷の非破壊読み出しが可能なデバイスを使用する。 図１０に第３実施形態の全体構成図を示す。同図において、まず、撮像面にモザイク色フィルタが装着されたＣＭＤイメージセンサで構成される撮像素子１０００に物体の像を入力する。撮像素子１０００の駆動制御は撮像素子ドライバ１１００により行なわれる。ＲＯＭ１２００にはモザイク色フィルタの色配置情報が記録されている。撮像素子ドライバ１１００による撮像素子１０００からの画像信号の読み出し制御はその色配置情報に基づいて行なわれる。撮像素子１０００から出力される電気的画像信号はＡ／Ｄ変換器１３００によりディジタル信号に変換され、バッファメモリ１４００に一時的に保持される。
【００５４】
また、ＲＯＭ１２００に記録された色配置情報として、モザイク色フィルタの種類とフィルタ色、およびブロックの番号とを判別させるためのコードが記録されているが、このコードは、撮像素子１０００から読み出され、バッファメモリ１４００に記録された画像信号列がどのような色配列により観測されたものかを示すヘッダ信号としてバッファメモリ１４００に同時に記録される。バッファメモリ１４００に記録された色配列コード信号はプロセッサ１５００により解読されることによりＲＯＭ１６００より所定の補間系数列が読み出され、バッファメモリ１４００に記録された観測画像信号列との間でプロセッサ１５００において所定の補間処理が行なわれる。
【００５５】
以上の構成によりＲ，Ｇ，Ｂの各原色信号が欠落の無い完全なディジタル画像として生成され、メモリ１７００に記録される。なお、プロセッサ１５００は第１実施形態におけるプロセッサ６００と同様、補間処理全体の制御を行なうＣＰＵと、積和演算による補間処理を高速に実行するＤＳＰとで構成される。またメモリ１７００はＲ，Ｇ，Ｂの各原色信号を記録するための３つのメモリブロックで構成される。バッファメモリ１４００、プロセッサ１５００、ＲＯＭ１６００、メモリ１７００の間のデータの転送はバス１８００を介して行なわれる。最終的にメモリ１７００に記録されたＲＧＢカラー画像は、第１実施形態と同様、通信・表示デバイスや画像処理装置等に送られ、所定の用途に利用される。
【００５６】
図１１は、ＣＭＤイメージセンサの読み出し駆動制御を説明するための概念図である。各受光画素５０11〜５０1n, ５０21〜５０2n, ５０31〜５０3n, ５０m1〜５０mnに蓄積された光電荷量は、撮像素子ドライバ１１００から送られてくる水平および垂直アドレス信号に基づき、水平走査回路２０と垂直走査回路３０の両信号がオンであるときに読み出される。ただし、読み出し後も各受光画素の電荷は保持される非破壊読み出し機能を有するので、撮像素子自体をメモリとして利用することができる。
【００５７】
なお、第３実施形態では撮像系と画像処理系とを分離し、撮像系を交換可能な構成にすることができる。その場合、撮像系は撮像素子１０００、撮像素子ドライバ１１００、ＲＯＭ１２００、Ａ／Ｄ変換器１３００、およびバスインターフェースとしてのバッファメモリ１４００とで構成され、画像処理系はプロセッサ１５００、ＲＯＭ１６００、メモリ１７００、およびバス１８００とで構成される。異なるモザイク色フィルタが装着された撮像素子１０００を用いる場合は、それに対応した色配置情報およびコードが記録されたＲＯＭ１２００が用いられる。一方、画像処理系ではＲＯＭ１６００には想定される撮像系に対応した補間系数列が全て記録されており、撮像系から送られてくるコード信号に従って所定の補間処理が実行される。
【００５８】
上記した第３実施形態によれば、ランダム・非破壊読み出し可能な撮像素子を使用することにより撮像素子を撮像機能と同時にメモリ機能を有するデバイスとして利用でき、ディジタル画像メモリとしてのバッファメモリ１４００の容量を節約することができる。また撮像系にモザイク色フィルタの色配置情報を示すコードを記録したＲＯＭ１２００を設けることにより、撮像系が交換可能な構成を容易に実現できる。
【００５９】
以下に本発明の第４実施形態を説明する。
本発明の第４の実施形態では撮像系を電子カメラで構成し、撮像した画像情報をメモリ媒体に記録し、パーソナルコンピュータを主に構成される画像処理系においてメモリ媒体から伝達される画像情報に基づいてカラー画像が再生される。
【００６０】
図１２は電子カメラ２０００の構成を示す図であり、この電子カメラには半導体ＩＣや光メモリ、磁気メモリなどで構成されるメモリカード３０００が装着されている。電子カメラ２０００には、モザイク色フィルタが装着された撮像素子２０１０と、撮像素子ドライバ２０２０、ＲＯＭ２０３０、およびＡ／Ｄ変換器２０４０が第３実施形態と同様に構成される。ただし、撮像素子２０１０に用いられるイメージセンサはＣＣＤ、ＣＭＤ、あるいはその他のデバイスのいずれであっても良く、撮像素子ドライバ２０２０は用いられるイメージセンサの仕様に合わせて構成されれば良い。撮像素子２０１０により入力された画像信号は撮像素子ドライバ２０２０の駆動制御により逐次的に読み出され、Ａ／Ｄ変換器２０４０によりディジタル信号に変換されてカード書き込み装置２０５０に送られる。カード書き込み装置２０５０には同時にＲＯＭ２０３０から色フィルタの種類を表すコード信号が送られる。カード書き込み装置２０５０はそれら観測画像および色フィルタコードをメモリカード３０００に記録する。
【００６１】
図１３はパーソナルコンピュータ４０００の構成を示す図であり、このパーソナルコンピュータ４０００には上記した観測画像と色フィルタコードが記録されたメモリカード３０００が装着されている。パーソナルコンピュータ４０００では、メモリカード３０００に記録されている情報がカード読み取り装置４０１０により読み取られる。その内、色フィルタコードはＣＰＵ４０２０により解読され、観測画像はメモリ４０３０に記録される。次に解読された色フィルタ情報を基に、ハードディスクドライバ４０４０の制御によりハードディスク４０５０に記録されている所定の補間系数列が読み出され、メモリ４０３０に記録されている観測画像信号列との間でＤＳＰ４０６０において所定の補間処理が行なわれる。なお、ＤＳＰ４０６０は積和演算が高速に実行されるプロセッサにより構成される。また、補間系数列はハードディスク４０５０の代わりにＲＯＭに記録するように構成しても良い。
【００６２】
なお、パーソナルコンピュータ４０００にはカラーモニタとキーボード、マウスなどの操作器が接続されるが図では省略する。以上の構成によりＲ，Ｇ，Ｂの各原色信号が欠落の無い完全なディジタル画像として生成され、ビデオメモリ４０７０に記録される。ビデオメモリ４０７０から出力されるＲＧＢカラー画像はＤ／Ａ変換器４０８０により所定のアナログビデオ信号に変換されて、カラーモニタ上に表示される。なお、パーソナルコンピュータ４０００内における、カード読み取り装置４０１０、ＣＰＵ４０２０、メモリ４０３０、ハードディスクドライバ４０４０、ＤＳＰ４０６０、およびビデオメモリ４０７０はバス４０９０を介して接続されている。
【００６３】
以上説明した構成において、操作者はまず電子カメラ２０００を用いて電子カメラ２０００が使用可能なあらゆる環境の下で目的とする物体を撮像し、メモリカードに記録することができる。それらをパーソナルコンピュータ４０００を用いて読み込み、カラーモニタ上にカラー画像として表示することができる。なお、パーソナルコンピュータ４０００では撮像したカラー画像を用いて操作者が様々な画像処理やコンピュータグラフィックに応用できるように構成しても良い。
【００６４】
上記した第４実施形態によれば、操作者に対して電子カメラを用いた撮像操作とパーソナルコンピュータによる画像処理、表示操作とを独立に行なえるような環境を提供することができる。その際にメモリカードに記録される１枚の画像は撮像素子の受光画素数と同等な画素数で構成されれば良く、またモザイク色フィルタの色配置情報はコード化して記録されるので、メモリカードに要求される容量は少なくて良い。従って、操作者は１枚のメモリカードにより多くの画像を記録することができる。しかも、パーソナルコンピュータでは本発明に基づく最適な補間処理が行なわれるので、高画質なカラー画像が再生される。
【００６５】
以下に本発明の第５実施形態を説明する。
本発明の第５の実施形態は撮像系に連写機能を付加し、連続して入力された複数の画像から１枚の高画質なカラー画像を生成する方法に関するものである。図１４に第５実施形態の構成図を示す。本実施形態の構成は第１実施形態と同様、撮像素子５１００、撮像素子ドライバ５２００、Ａ／Ｄ変換器５３００、メモリ５４００、メモリコントローラ５５００、プロセッサ５６００、ＲＯＭ５７００、さらにバス５８００から構成されるが、メモリ５４００内には観測画像を記録するＮ個のメモリ５４０１〜５４０Ｎが設けられ、撮像系より入力された最大Ｎ枚の画像が記録されるようになっている。メモリ５４００内には、これらの他にＲ，Ｇ，Ｂ画像を記録するメモリ５４１１〜５４１３と、処理の途中にワークエリアとして使用されるメモリ５４１４が設けられる。またプロセッサ５６００内には、ＣＰＵ５６１０、ＤＳＰ５６２０の他に相関演算装置５６３０が設けられ、メモリ５４０１〜５４０Ｎに記録された観測画像間の相関演算が実行されて、同一被写体の相対的位置関係が求められる。
【００６６】
なお、相関演算を積和演算で行なうことにより相関演算装置５６３０はＤＳＰ５６２０で代用しても良い。次に相関演算装置５６３０において求められた観測画像間の相対的位置関係を利用して、メモリ５４０１〜５４０Ｎに記録された観測画像間における同じ色フィルタによる観測画像が合成され、メモリ５４１４に記録される。メモリ５４１４に記録された合成画像は画素が新たにランダム配置された画像となるが、その画素配置はＲＯＭ５７００に記録されている撮像素子５１００のモザイク色フィルタの色配置情報と相関演算装置５６３０において求められた観測画像間の相対的位置関係を用いてＣＰＵ５６１０により求められる。ＣＰＵ５６１０では、さらに合成画像の画素配置から補間係数列が算出され、ＤＳＰ５６２０においてブロックごとに合成画像と補間係数列との積和演算が実行される。そのようにして最終的にメモリ５４１１〜５４１３に欠落画素の無い完全な原色画像が記録される。
【００６７】
以下に、第５実施形態の作用について説明する。本装置は連写機能を有し、撮像時に所定の短い時間間隔で最大Ｎ枚の複数の画像が連続して入力される。なお、連写入力された各画像は同一被写体を含むもので、撮影時にカメラを持つ手がぶれたり被写体が形をほとんど変えずにわずかに移動することにより、撮像素子５１００に対して被写体の位置が相対的にずれながら撮像されるとする。そのような条件で入力された複数の画像を同じ色フィルタによる観測画像ごとに合成する。 その画像合成の概念図を図１５に示す。各観測画像において一種類の色画像は、図の連写画像Ｎｏ．１，２に示すように画素がランダムでかつ粗に配置された状態で撮像される。これらの連写画像に含まれる同一被写体の相対的位置関係を求め、位置合わせを行なった後にそれらを足し合わせることにより得られる合成画像では、図に示すように観測画素の密度が向上する。このようにして得られた合成画像から上記した方法によって各原色画像が補間生成される。上記したことより単板カラー撮像装置により連写入力された複数の画像から、解像度に優れた１枚のカラー画像を生成することができる。
【００６８】
次に、第５実施形態に応用する場合においてもランダムに配置したモザイク色フィルタが有効であることを説明する。１種類の色フィルタにより２枚の観測画像を連写入力することを考える。それら２枚の観測画像内に写っている同一被写体の相対的位置関係が相関演算により求められ、位置合わせがすでに行なわれたと仮定する。それらを加算することにより得られる観測画像をｇ＝［ｇ1 t ｇ2 t ］ t とすると、画像入力系は次式のように定式化される。
【００６９】
【数１３】
ただし、Ｈi （ｉ＝１，２）はｉ番目の画像入力に対応するフィルタ配置関数行列とする。例えばＨ1 を本来のフィルタ画素配置を表す行列だとすると、Ｈ2 は位置合わせにより配置が空間的にずらされた状態を表す行列と考えられる。次に観測画像ｇから完全な理想画像ｆを推定するプロセスを次式に示すように観測画素ｇの画像内での再配置と補間推定との２つのプロセスに分けて定義する。
【００７１】
【数１４】
（３６）式においてＨ1 およびＨ2 を各々最初のｍ列に単位行ベクトルｅij t （ｉ＝１，２；ｊ＝１，…，ｍ）がくるように行ベクトルを再配置すると、（３６）式は次式のように書き換えられる。
【００７３】
【数１５】
（３７）式における非対角要素行列Ｉk のランクｋは行列Ｈ1 とＨ2 の観測画素のオーバーラップの程度に依存する。つまり、行列Ｈ1 とＨ2 が全く異なる画素で観測するように定義されたとすると、Ｉk ＝０（ｋ＝０）となり、最良の条件であると言える。この場合、自己相関行列ＨＨt のランクは２ｍとなる。一方、最も悪い条件は行列Ｈ1 とＨ2 が全く同じ画素で観測されたように定義される場合で、Ｉk ＝Ｉm （ｋ＝ｍ）となり、自己相関行列ＨＨt のランクはｍとなる。一般にはこれらの中間の状態になると考えられる。このような解析に従って、理想的な行列Ｈを考える。もし行列Ｈが規則的な配置によるものの場合、画像のシフトがちょうど画素周期の谷間に来れば最良な条件が得られるが、逆に画素周期に同期してしまった場合は最悪な条件となる。これに対して画素配置をランダムにしておけば、Ｉk に対して画像の位置ずれ量に寄らず一定のランクが期待でき、装置を構成する上で都合が良い。
【００７５】
本実施形態では以上のような理由によりモザイク色フィルタの色配置をランダムに構成し、（３３）式で表されるプロセスに従って連写入力画像からの１枚の画像の合成および欠落の無い完全な原色画像の補間生成が行なわれる。なお、合成画像では位置合わせに基づいて新たなランダム画素配置が実現されるか、それに対応した補間行列は以下のように求められる。
【００７６】
まず合成画像の画素配置はＲＯＭ５７００に記録されている撮像素子５１００のモザイク色フィルタの色配置情報と相関演算装置５６３０において求められた観測画像間の相対的位置関係を用いて算出される。次に最適な補間行列は、例えば第１実施形態に示した（１８）式で定義されるような画素配置がポアソン分布に従うと仮定した場合に導出される疑似逆行列で定義すれば良い。そのような場合、画像自身の先験的相関情報を用いる必要はなく、合成画像の画素配置情報のみから補間系数列を求めることができる。
【００７７】
上記した第５実施形態によれば、モザイク色フィルタにおける同色フィルタの画素配置が粗に分布される場合においても、連写画像間で埋め合せをすることにより、最終的に生成されるカラー画像の解像度を向上させることができる。モザイク色フィルタの色配置をランダムにしておけば、連写画像間における被写体の相対的位置関係に依存せずに、解像度の向上を効率良く実現させることができる。
【００７８】
上記した具体的実施形態には以下の構成を有する発明が含まれている。
（構成１）
撮像画素に各色のフィルタ位置が対応するように複数色を有するモザイク色フィルタを空間的にランダムに配置した撮像素子と、
前記モザイク色フィルタのフィルタ色配置情報を格納する格納手段と、
前記撮像素子から出力された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色ごとの画像情報を欠落画素の無い状態に補間処理により補間する補間手段と、
を具備することを特徴とするカラー画像撮像装置。
（対応する発明の実施形態）
構成１に記載の発明は、上記した第１、２、３、４実施形態に対応する。
（効果）
撮像素子に装着されたモザイク色フィルタの同色画素配列を空間的にランダムにすることにより、限られた画素数でありながら解像度に優れた原色画像を推定するのに必要な画像情報を入力することができる。つまり、全画像を構成する画素数より少ない画素を配置する際に従来のモザイクフィルタで採用されているような規則的なダウンサンプリングを行なうと、そのサンプリング間隔によって決定される帯域以上の空間周波数成分は全く再生できない。ところがランダムな画素配列によれば明確な帯域が定まらず、全ての空間周波数成分をほぼ均等に有する条件が得られるので、適当な補間処理を通じて欠落画素を埋めた完全な原色画像を解像度に優れた状態で再生することが可能である。さらに本発明ではランダムな画素配列情報を取得する手段を有することにより、その画素配列に適した補間処理を行なうことができる。以上のような作用により各原色画像がそれぞれ解像度に優れた状態で復元されるので、結果的に解像度や色再現性に優れた高画質なカラー画像が生成できる。
（構成２）
構成１のカラー画像撮像装置において、前記補間手段は、前記撮像素子から出力した画像情報のうち、所定の画像領域内の観測画素輝度値と、前記色配置情報から求める補間行列との線形演算によって補間を行うことを特徴とする。
（対応する発明の実施形態）
構成２に記載の発明は、上記した第１、２、３、４実施形態に対応する。
（効果）
補間演算を観測画素濃度値と補間行列との線形演算で行なうことにより計算を単純な積和演算で実現できるため、補間演算を単純な構成で実行でき、しかも高速化が容易である。
（構成３）
構成１のカラー画像撮像装置において、前記補間手段は、前記所定の画像領域における全画素により色ごとに光強度が検出されることにより得られる理想画像と、補間処理後の画像との二乗誤差が最小になるように補間を行うことを特徴とする。
（対応する発明の実施形態）
構成３に記載の発明は、上記した第１、２実施形態に対応する。
（効果）
補間手段を理想画像と補間処理後の画像との二乗誤差が最小になるように構成することにより、最も理想画像に近いカラー画像を補間生成することができる。
（構成４）
構成３のカラー画像撮像装置において、前記撮像素子に装着されたモザイク色フィルタは、原色（Ｒ、Ｇ、Ｂ）フィルタを用いて構成され、前記補間手段は、あらかじめ推定される各原色画像に対する相関情報を利用して構成されることを特徴とする。
（対応する発明の実施形態）
構成４に記載の発明は、上記した第１実施形態に対応する。
（効果）
原色フィルタによるモザイク色フィルタを用いることにより色再現性に優れたカラー画像を生成し、しかも補間手段をあらかじめ用意される各原色画像に対する相関情報を利用して構成することにより、対象となる画像に対して最適な条件により最も理想画像に近いカラー画像を補間生成することができる。
（構成５）
構成３のカラー画像撮像装置において、前記撮像素子に装着されたモザイク色フィルタは、補色（Ｃ、Ｍ、Ｙ）フィルタを用いて構成され、前記補間手段は、あらかじめ推定される各原色画像および原色画像相互間の相関情報を利用して構成されることを特徴とする。
（対応する発明の実施形態）
構成５に記載の発明は、上記した第２実施形態に対応する。
（効果）
補色フィルタによるモザイク色フィルタを用いることにより１つのフィルタでカバーする波長領域を原色フィルタの場合の２倍に広げることになるため、感度を向上させ、Ｓ／Ｎの良いカラー画像を入力、生成することができ、しかも補間手段をあらかじめ用意される各原色画像および原色画像相互間の相関情報を利用して構成することにより、より多くの先験情報を用いながら、対象となる画像に対して最適な条件により最も理想画像に近いカラー画像を補間生成することができる。
（構成６）
構成１において、前記撮像素子に装着されたモザイク色フィルタにおける同色フィルタの画素配置は、ポアソン分布に基づくインパルス列発生確率に従うことを特徴とする。
（対応する発明の実施形態）
構成６に記載の発明は、上記した第１実施形態に対応する。
（効果）
モザイク色フィルタを構成する際に同色フィルタを装着する撮像素子の画素の配置をポアソン分布の発生確率に従うように設計することにより、理想的なランダム配置を実現できる。
（構成７）
構成６において、前記補間手段は、インパルス列の相関情報を利用して設計されることを特徴とする。
（対応する発明の実施形態）
構成７に記載の発明は、上記した第１実施形態が対応する。
（効果）
補間手段をインパルス列の相関情報を利用して設計することにより、広い画像の種類に適用可能な最適な補間手段を構成することができる。
（構成８）
構成１において、前記補間手段は、全画像を分割したところの個々のブロック画像を対象にして補間処理を行なうことを特徴とする。
（対応する発明の実施形態）
構成８に記載の発明は、上記した第１実施形態が対応する。
（効果）
補間手段をブロック画像単位に行なうことにより、演算量を削減することができる上に、補間生成すべき画素に対して因果関係の薄い観測画素を補間処理から除外することにより効率の良い補間処理を行なうことができる。
（構成９）
構成１において、前記補間手段は、注目する欠落画素の近傍の所定の画像領域を対象にして補間処理を行なうことを特徴とする。
【００７９】
（対応する発明の実施形態）
構成９に記載の発明は、上記した第１実施形態に対応する。
（効果）
補間手段を注目する欠落画素の近傍の所定の画像領域単位に行なうことにより、演算量を削減することができる上に、補間生成すべき画素に対して常に最も因果関係の強い観測画素を用いて補間処理を行なうことにより理想的な補間処理が実行でき、ブロックアーティファクトなどの影響を除去できる。
（構成１０）
構成１において、前記モザイク色フィルタにおける色配置情報を格納する格納手段は、画素配置情報を記録したＲＯＭであることを特徴とする。
（対応する発明の実施形態）
構成１０に記載の発明は、上記した第１実施形態に対応する。
（効果）
画素配列情報をＲＯＭに記録することにより、色配列情報を補間処理に利用する際に高速に読み出すことが可能である。
（構成１１）
構成１において、前記モザイク色フィルタにおける色配置情報を格納する手段は、モザイク色フィルタの種類を判別するためのコードと、このコードに対応した色配置情報とによって構成することを特徴とする。
（対応する発明の実施形態）
構成１１に記載の発明は、上記した第３、４実施形態に対応する。
（効果）
色配列情報をコード化して記録、伝達することにより、撮像系と画像処理系を分割して構成する際に色配列情報に関する構成を少ないメモリ容量で簡便にできる。
（構成１２）
構成１において、前記撮像素子は、受光画素に対してランダムアクセスが可能であり、かつ、受光画素に蓄積された電荷の非破壊読み出しが可能なデバイスであることを特徴とする。
（対応する発明の実施形態）
構成１２に記載の発明は、上記した第３実施形態に対応する。
（効果）
撮像素子を撮像機能と同時にメモリ機能を有するデバイスとして利用できるので、ディジタル画像メモリの容量を節約することができる。
（構成１３）
撮像したカラー画像情報を補間手段によって補間して元の画像を復元するカラー画像撮像装置におけるカラー画像撮像素子において、
撮像画素に各色のフィルタ位置が対応するように補間する処理単位で複数色を有するモザイク色フィルタを空間的にランダムに配置した撮像素子と、
前記モザイク色フィルタのフィルタ色配置情報を格納する格納手段と、
を具備することを特徴とするカラー画像撮像素子。
（対応する発明の実施形態）
構成１３に記載の発明は、上記した第１、２、３、４、５実施形態に対応する。
（効果）
モザイク色フィルタの同色画素配列を補間する処理単位で空間的にランダムにすることにより、限られた画素数でありながら解像度に優れた原色画像を推定するのに必要な画像情報を入力することができるカラー画像撮像素子を構成できる。
（構成１４）
撮像画素に各色のフィルタ位置が対応するように複数色を有するモザイク色フィルタを空間的にランダムに配置した撮像素子と、
前記モザイク色フィルタのフィルタ色配置情報を格納する格納手段と、
前記撮像素子により出力された時間軸に関して連続する複数枚の画像を記憶する記憶手段と、
この記憶手段に記憶された複数枚の画像情報の相互間に関して同一の被写体の相対的位置関係を検出する位置ずれ検出手段と、
この位置ずれ検出手段による位置ずれ情報を利用して、前記記憶手段に記憶された複数枚の画像を前記同一の被写体が重なるように合成する画像合成手段と、
この画像合成手段により合成された画像情報と、前記格納手段内の色配置情報とを用いて、欠落を含む各色ごとの画像情報を欠落画素の無い状態に補間処理により復元する補間手段と、
を具備することを特徴とするカラー画像撮像装置。
（対応する発明の実施形態）
構成１４に記載の発明は、上記した第５実施形態に対応する。
（効果）
撮像素子により続けて入力された複数枚の画像を記録するメモリと位置ずれ検出手段と画像合成手段とを設けることにより、モザイク色フィルタにおける同色フィルタの画素配置が粗に分布される場合においても、連写画像間で埋め合せをすることにより、最終的に生成されるカラー画像の解像度を向上させることができる。モザイク色フィルタの色配置をランダムにしておけば、連写画像間における被写体の相対的位置関係に依存せずに、解像度の向上を効率良く実現させることができる。
（構成１５）
構成１４において、前記位置ずれ検出手段は、画像間の相関を計算する手段であることを特徴とする。
（対応する発明の実施形態）
構成１５に記載の発明は、上記した第１、２、３、４、５実施形態に対応する。
（効果）
位置ずれ検出手段を画像間の相関を計算する手段で構成することにより、簡便な演算処理で画像間の相対的位置関係を求めることができる。
（構成１６）
構成１４において、前記画像合成手段と補間手段とは、同一の手段で構成されることを特徴とする。
（対応する発明の実施形態）
構成１６に記載の発明は、上記した第５実施形態に対応する。
（効果）
画像合成手段と補間手段とを同一の手段で構成することにより、構成を簡便にすることができる。
【００８０】
【発明の効果】
本発明によれば、解像度および色再現性に優れた高画質なカラー画像を再生することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態の全体構成図を示す。
【図２】モザイク色フィルタの構成例を示す図である。
【図３】図１に示すメモリとプロセッサの詳細な構成を示す図である。
【図４】ブロック単位の補間処理の概念図である。
【図５】図４に示す補間処理の変形例として、補間生成される欠落画素を中心とした近傍の画像領域を補間演算対象領域として設定する場合の概念図である。
【図６】不規則な間隔で振幅が変化する方形波を示す図である。
【図７】ポアソン分布に基づく正値のみの単位インパルス列を示す図である。
【図８】ポアソン分布に基づく正値単位インパルス列の自己相関を図示したものである。
【図９】画素配列が規則的配列である場合の自己相関行列を示す図である。
【図１０】第３実施形態の全体構成図を示す図である。
【図１１】ＣＭＤイメージセンサの読み出し駆動制御を説明するための概念図である。
【図１２】第４実施形態における電子カメラの構成を示す図である。
【図１３】パーソナルコンピュータの構成を示す図である。
【図１４】第５実施形態の構成を示す図である。
【図１５】第５実施形態における画像合成の概念図である。
【図１６】従来のＣＣＤ単板カラーカメラにおけるフィルタの配置を示す図である。
【符号の説明】
１００…撮像素子、２００…撮像素子ドライバ、３００…Ａ／Ｄ、４００…メモリ、５００…メモリコントローラ、６００…プロセッサ、７００…ＲＯＭ、８００…バス。
Claims (2)
- 撮像画素に各色のフィルタ位置が対応するように、補間する処理単位のブロックで複数色を有するモザイク色フィルタを空間的にランダムに配置して、このようなブロックが繰り返されるように画像全体を構成する撮像素子と、
前記モザイク色フィルタのフィルタ色配置情報を格納する格納手段と、
前記撮像素子から出力された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色の画像情報を欠落画素の無い状態に補間処理により補間する補間手段と、
を具備することを特徴とするカラー画像撮像装置。 - 前記撮像素子により出力され、時間軸に関して連続する複数枚の画像を記憶する記憶手段と、
この記憶手段に記憶された複数枚のうち相互に同一の被写体の相対的位置関係を検出する位置ずれ検出手段と、
この位置ずれ検出手段によって検出された相対的位置関係を利用して、前記記憶手段に記憶された複数枚の画像を前記同一の被写体が重なるように合成する画像合成手段と、
をさらに備え、
前記補間手段は、前記画像合成手段により合成された画像情報と、前記格納手段内のフィルタ色配置情報とを用いて、欠落を含む各色の画像情報を欠落画素の無い状態に補間処理により補間することを特徴とする請求項１に記載のカラー画像撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32896995A JP4027441B2 (ja) | 1995-12-18 | 1995-12-18 | カラー画像撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32896995A JP4027441B2 (ja) | 1995-12-18 | 1995-12-18 | カラー画像撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09168157A JPH09168157A (ja) | 1997-06-24 |
| JP4027441B2 true JP4027441B2 (ja) | 2007-12-26 |
Family
ID=18216145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32896995A Expired - Fee Related JP4027441B2 (ja) | 1995-12-18 | 1995-12-18 | カラー画像撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4027441B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8520099B2 (en) | 2010-05-14 | 2013-08-27 | Panasonic Corporation | Imaging apparatus, integrated circuit, and image processing method |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100459389B1 (ko) * | 1997-09-30 | 2005-05-09 | 엘지전자 주식회사 | 디지털스틸카메라의보간회로 |
| JPH11168745A (ja) * | 1997-12-03 | 1999-06-22 | Minolta Co Ltd | デジタルカメラ |
| US7123299B1 (en) | 1999-04-15 | 2006-10-17 | Olympus Optical Co., Ltd. | Color image pickup device and color image pickup apparatus including a randomized color coding array |
| AU3047801A (en) | 2000-02-03 | 2001-08-14 | Alst Technical Excellence Center | Image resolution improvement using a color mosaic sensor |
| JP2002320235A (ja) | 2001-04-19 | 2002-10-31 | Fujitsu Ltd | 空間解像度の低下を抑えて縮小画像信号を生成するｃｍｏｓイメージセンサ |
| JP2005354610A (ja) | 2004-06-14 | 2005-12-22 | Canon Inc | 画像処理装置、画像処理方法および画像処理プログラム |
| JP5258352B2 (ja) * | 2007-05-08 | 2013-08-07 | キヤノン株式会社 | 撮像素子、データ処理装置、及び制御方法 |
| FR2917559B1 (fr) * | 2007-06-12 | 2009-12-25 | Centre Nat Rech Scient | Capteur d'images numeriques,procede d'acquisition et de reconstruction d'images,et systeme de mise en oeuvre |
| CN102812709B (zh) * | 2009-11-20 | 2015-11-25 | M·辛格 | 压缩彩色图像采样和重建的方法和系统 |
| JP6595161B2 (ja) * | 2014-07-31 | 2019-10-23 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、及び、撮像装置 |
| JP6975897B2 (ja) * | 2016-12-27 | 2021-12-01 | パナソニックＩｐマネジメント株式会社 | 画像生成装置及び撮像装置 |
-
1995
- 1995-12-18 JP JP32896995A patent/JP4027441B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8520099B2 (en) | 2010-05-14 | 2013-08-27 | Panasonic Corporation | Imaging apparatus, integrated circuit, and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09168157A (ja) | 1997-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5872407B2 (ja) | カラー撮像装置及び画像処理方法 | |
| US8698906B2 (en) | Image processing device, imaging device, information storage medium, and image processing method | |
| US9338364B2 (en) | Imaging device and image generation method | |
| US7701496B2 (en) | Color filter pattern for color filter arrays including a demosaicking algorithm | |
| JP4162111B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| US6765611B1 (en) | Method for compressing an image from a sparsely sampled extended dynamic range image sensing device | |
| US5808674A (en) | Producing and improved digital image from digital signals corresponding to pairs of photosites | |
| EP2645723B1 (en) | Imaging device, method for controlling operation thereof, and imaging system | |
| JP4027441B2 (ja) | カラー画像撮像装置 | |
| JP5853166B2 (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ | |
| US20130038758A1 (en) | Image processing device, imaging device, information storage medium, and image processing method | |
| US20130083220A1 (en) | Image processing device, imaging device, information storage device, and image processing method | |
| WO2012147523A1 (ja) | 撮像装置及び画像生成方法 | |
| JP2014200008A (ja) | 画像処理装置および方法、並びにプログラム | |
| JP2004522351A (ja) | カラー画像データをセンシングかつ補間するための方法およびシステム | |
| JP2014200000A (ja) | 画像処理装置および方法、並びにプログラム | |
| JP2004201311A (ja) | オフセットセンサアレイを変形する方法 | |
| JP2004172859A (ja) | 撮像装置および撮像方法 | |
| JP4086618B2 (ja) | 信号処理装置及び方法 | |
| JP4945852B2 (ja) | 単板式カラーディジタルカメラにおける撮像画像の生成方法および装置、ならびにディジタルカメラ、携帯型ディジタル情報装置、ディジタルビデオプリンタ | |
| JP2004172858A (ja) | 撮像装置および撮像方法 | |
| WO2012147630A1 (ja) | 撮像装置及び画像生成方法 | |
| JPH10248069A (ja) | 撮像装置 | |
| JP2001008217A (ja) | 静止画カラーカメラ装置 | |
| JP2940820B2 (ja) | 単板式カラーカメラおよび色信号の分離方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050922 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051025 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051226 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070104 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071002 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071010 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111019 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |