JP4139587B2

JP4139587B2 - 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法

Info

Publication number: JP4139587B2
Application number: JP2001380071A
Authority: JP
Inventors: 淑人阿部
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2001-12-13
Filing date: 2001-12-13
Publication date: 2008-08-27
Anticipated expiration: 2021-12-13
Also published as: JP2003179941A

Description

【０００１】
【発明の属する技術分野】
本発明は、単板式カラーディジタルカメラの技術分野に属する。特に、その撮像画像の分色画像における欠落画素を補間し、すべての分色画像を同一画素数の画像（フル画像）とする補間装置および補間方法に関する。
【０００２】
【従来技術】
ディジタルスチルカメラ、カラービデオカメラ、等の一般の撮像装置においては、単板式カラーイメージセンサが使用される。イメージセンサは２次元に配列する受光素子によって構成される。単板式カラーイメージセンサにおいては、フルカラー画像を得るために、受光素子の各々が所定の分光感度を有するようにする。すなわち、それらの受光素子の直前に所定の分光感度を付与するためのカラーフィルタが配置されている。
【０００３】
このカラーフィルタにはＲＧＢ（red,green,blue）の原色系とＣＭＹ（cyan,magenta,yellow）の補色系がある。前者は色再現性に優れ、後者は解像度的に優れると言われている。すべての受光素子の各々に対しては、この３色のフィルタのいずれかが適用され、いずれかの分光感度が付与される。したがって、単色（白黒）のイメージセンサと比較すると、カラーイメージセンサの各色については、１／２〜１／４程度の画素数（受光素子数）しか有効ではない。
【０００４】
単板式カラーイメージセンサにおけるＲＧＢフィルターの配置の一例を図４に示す。図４に示す一例は、Ｂａｙｅｒ型と呼ばれる配置である。Ｂａｙｅｒ型配置における各色フィルターの占める位置を判り易いように分離して図５（Ａ）〜（Ｃ）に示す。図５（Ａ）〜（Ｃ）において、”×”は、その色の分色画像における欠落画素を示している。図５（Ａ）〜（Ｃ）に示すように、全体の画素数に対する各色の画素数が占める割合は、Ｇ色の画素数は全体の１／２を占め、Ｒ色とＢ色の画素数は１／４を占める。
【０００５】
図５（Ａ）〜（Ｃ）において、”×”で示す欠落画素を補間法によって生成し、すべての分色画像を同一画素数の画像（フル画像）とすることが行なわれる。図４に示すＢａｙｅｒ型配置において、たとえば、対象画素Ｇ３３の位置には、数１〜数３を適用して、ＲＧＢ分色画像の各々に対応して、ｒ３３、ｇ３３、ｂ３３の画素値の画素を生成する。Ｇ３３に替えてｇ３３を適用するのは、輪郭部における偽色信号の発生を低減するため、各分色画像における周波数特性を近づけるためである。
【数１】

【数２】

【数３】

【０００６】
また、対象画素Ｇ３３の位置の色フィルタがＲかＢの場合には、対象画素の色をＰ、対象画素以外の色をＧとＱとすると、その対象画素の位置には、、数４〜数６を適用して、ＰＱＧ分色画像の各々に対応して、ｐ３３、ｑ３３、ｇ３３の画素値の画素を生成する。
【数４】

【数５】

【数６】

【０００７】
【発明が解決しようとする課題】
これらの処理によって各分色画像の画素数は撮像素子の有効画素数と同一となり、その後の画像処理や画像表示に用いることが可能となる。しかし、偽色信号の発生を低減したとはいえ偽色を含んでおり、またボケも含んでおり尖鋭度の低い低品位な画像であることは否めない。
【０００８】
本発明はこのような課題を解決するためになされたものであり、その目的は、偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間装置および方法を提供することにある。
【０００９】
【課題を解決するための手段】
上記課題は下記の本発明によって解決される。すなわち、本発明の請求項１に係る補間装置は、カラーフィルタと受光素子とを２次元配列して成る単板式カラーイメージセンサを有するディジタルカメラにおける撮像画像の補間装置であって、前記ディジタルカメラの撮像信号に基づいて、前記カラーフィルタの各色に対応する受光素子の画素値の集合であって前記２次元配列における欠落画素が含まれる未補間分色画像を生成する未補間分色画像生成手段と、近似補間分色画像をｆ、前記未補間分色画像をｇ、前記ディジタルカメラで撮像対象を撮像する過程を模擬するためのローパスフィルタ処理と間引き処理とを含む撮像模擬過程をＡ、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬するための補間処理を含む再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより前記欠落画素を補間し、前記近似補間画像の収束画像として補間済分色画像を生成する補間済分色画像生成手段とを有するようにしたものである。
【００１０】
本発明によれば、未補間分色画像生成手段によりディジタルカメラの撮像信号に基づいてカラーフィルタの各色に対応する受光素子の画素値の集合であって受光素子の２次元配列における欠落画素が含まれる未補間分色画像が生成され、補間済分色画像生成手段により近似補間分色画像をｆ、未補間分色画像をｇ、ディジタルカメラで撮像対象を撮像する過程を模擬するためのローパスフィルタ処理と間引き処理とを含む撮像模擬過程をＡ、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬するための補間処理を含む再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより欠落画素が補間され、近似補間画像の収束画像として補間済分色画像が生成される。この反復アルゴリズムによれば、近似補間分色画像ｆは、反復処理によって撮像対象である原画像に逐次近似される。したがって、偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間装置が提供される。
【００１１】
また本発明の請求項２に係る補間装置は、請求項１に係る補間装置において、周知の補間法を前記未補間分色画像に適用することによって前記近似補間分色画像の初期画像を生成する初期画像生成手段を有する有するようにしたものである。本発明によれば、反復アルゴリズムにおける収束が速められる。
【００１２】
また本発明の請求項３に係る補間装置は、請求項１または２に係る補間装置において、前記カラーフィルターの各色に対応する処理を並列して実行する並列処理手段を有するようにしたものである。本発明によれば、処理速度が高められる。
【００１３】
また本発明の請求項４に係る補間方法は、カラーフィルタと受光素子とを２次元配列して成る単板式カラーイメージセンサを有するディジタルカメラにおける撮像画像の補間方法であって、前記ディジタルカメラの撮像信号に基づいて、前記カラーフィルタの各色に対応する受光素子の画素値の集合であって前記２次元配列における欠落画素が含まれる未補間分色画像を生成する未補間分色画像生成過程と、近似補間分色画像をｆ、前記未補間分色画像をｇ、ディジタルカメラで撮像対象を撮像する過程を模擬するためのローパスフィルタ処理と間引き処理とを含む撮像模擬過程をＡ、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬するための補間処理を含む再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより前記欠落画素を補間し、前記近似補間画像の収束画像として補間済分色画像を生成する補間済分色画像生成過程とを有するようにしたものである。
【００１４】
本発明によれば、未補間分色画像生成過程においてディジタルカメラの撮像信号に基づいてカラーフィルタの各色に対応する受光素子の画素値の集合であって受光素子の２次元配列における欠落画素が含まれる未補間分色画像が生成され、補間済分色画像生成過程において近似補間分色画像をｆ、未補間分色画像をｇ、ディジタルカメラで撮像対象を撮像する過程を模擬するためのローパスフィルタ処理と間引き処理とを含む撮像模擬過程をＡ、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬するための補間処理を含む再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより欠落画素が補間され、近似補間画像の収束画像として補間済分色画像が生成される。この反復アルゴリズムによれば、近似補間分色画像ｆは、反復処理によって撮像対象である原画像に逐次近似される。したがって、偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間方法が提供される。

【００１５】
【発明の実施の形態】
次に、本発明について実施の形態を説明する。最初に、反復アルゴリズムｆ←ｆ＋Ｂ（ｇ−Ａｆ）について説明しておく。ここで、ｆは近似補間分色画像、ｇは未補間分色画像、Ａは撮像模擬過程、Ｂは再現模擬過程を表す。一般に画像は連続関数の形式を適用してｆ（ｘ，ｙ）で表すことができる。また、ベクトル形式を適用してベクトルｆで表すことができる。また、行列形式を適用して［ｆ］で表すこともできる。いずれの形式を適用するかは関係なく、ここでは、画像を記号的にｆ，ｇと表すものとする。
【００１６】
そして、その画像に対する演算についても同様に、記号的にＡ，Ｂと表すものとする。このような形式に依らない表現によって、反復アルゴリズムの意味するところが明快に現れてくる。ｆ←ｆ＋Ｂ（ｇ−Ａｆ）という表現は、そのように反復アルゴリズムを表現した演算式である。この演算式は、ｆ_n＝ｆ_n-1＋Ｂ×（ｇ−Ａ×ｆ_n-1）と同一の演算式である。
【００１７】
次に、演算式ｆ←ｆ＋Ｂ（ｇ−Ａｆ）の意味するところについて説明する。演算式から明らかなように、近似補間分色画像ｆは、未補間分色画像ｇに基づいて生成される画像である。そして近似補間分色画像ｆにおいては、図５（Ａ）〜（Ｃ）に示す未補間分色画像ｇのような欠落画素”×”に対応する画素に対して演算された画素値が与えられる。また、未補間分色画像ｇの非欠落画素に対応する画素に対しても、近似補間分色画像ｆにおいては演算された別の画素値が与えられる。
【００１８】
近似補間分色画像ｆは撮像対象そのものを推定し近似した分色画像である。ここで「撮像対象」は、撮像するときには画像と見なせるから、一般的に「原画像」と呼ぶことができる。これに対して、未補間分色画像ｇは撮像対象（原画像）を撮像して得た撮像画像の分色画像である。したがって、近似補間分色画像ｆに対し撮像模擬過程Ａを適用して得られるＡｆは、近似補間分色画像ｆが撮像対象（原画像）と良く一致し、撮像模擬過程Ａが適正であるならば、未補間分色画像ｇと良く一致することとなる。そのとき、演算式における（ｇ−Ａｆ）の項の値は”０”に近い値となり、反復演算により近似補間分色画像ｆが収束した状態となる。
【００１９】
撮像模擬過程Ａは、ディジタルカメラで撮像対象を撮像する過程を模擬する過程である。たとえば、撮像系の特性によってボケ等の画像劣化を含む撮像画像が得られるとすれば、撮像模擬過程Ａは、ボケを生じる過程を模擬するローパスフィルタとすることができる。ここに示す一例においては、ディジタルカメラが単板式カラーディジタルカメラであるから、そのボケを生じる過程とともに、各色の未補間分色画像ｇで示されるような欠落画素を生じる過程、すなわち間引きを行なう過程を模擬する。したがって、撮像模擬過程Ａは、ローパスフィルタ処理と間引き処理を含んでいる。
【００２０】
再現模擬過程Ｂは、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬する過程である。演算式における（ｇ−Ａｆ）は、撮像対象（原画像）の撮像画像と、近似補間分色画像ｆの撮像画像との差異に相当する項である。この項に対し、再現模擬過程Ｂを適用して得られるＢ（ｇ−Ａｆ）は、撮像対象（原画像）と、近似補間分色画像ｆとの差異に相当する項である。したがって、近似補間分色画像ｆに対してＢ（ｇ−Ａｆ）を加算したｆ＋Ｂ（ｇ−Ａｆ）は、その差異を修正することとなる。このｆ＋Ｂ（ｇ−Ａｆ）を新しいｆとすれば、すなわち、ｆ←ｆ＋Ｂ（ｇ−Ａｆ）とすれば、近似補間分色画像ｆは撮像対象（原画像）に近似することとなる。
【００２１】
以上、反復アルゴリズムについて説明を行なった。次に、本発明における具体的な補間処理の過程について図１を参照して説明する。図１は、本発明における補間処理の過程を示すフロー図である。
まず、図１のステップＳ１において、撮像画像を入力する。ここでは、撮像画像におけるＲＧＢフィルターの配置は、図４に示すようなＢｙｅｒ型配置となっているものとする。
【００２２】
次に、ステップＳ２において、撮像画像から未補間分色画像を生成する。未補間分色画像は、Ｇ色の未補間分色画像、Ｒ色の未補間分色画像、Ｂ色の未補間分色画像の３つの未補間分色画像が存在する。Ｇ色の未補間分色画像は、撮像画像におけるＧフィルターの画素の画素値をそのままに他の画素の画素値を”０”としたものである。図５（Ａ）において、”Ｇ”で示す画素がＧフィルターの画素の画素値となる画素であり、”×”で示す画素が”０”の画素値となる画素である。
【００２３】
同様に、Ｒ色の未補間分色画像は、撮像画像におけるＲフィルターの画素の画素値をそのままに他の画素の画素値を”０”としたものである。図５（Ｂ）において、”Ｒ”で示す画素がＲフィルターの画素の画素値となる画素であり、”×”で示す画素が”０”の画素値となる画素である。
同様に、Ｂ色の未補間分色画像は、撮像画像におけるＢフィルターの画素の画素値をそのままに他の画素の画素値を”０”としたものである。図５（Ｃ）において、”Ｂ”で示す画素がＢフィルターの画素の画素値となる画素であり、”×”で示す画素が”０”の画素値となる画素である。
【００２４】
上述のステップにより、ＲＧＢ各色の３つの未補間分色画像が得られる。図１に示す一例においては、以降のステップ、すなわちステップＳ３〜Ｓ８における処理は、各々の未補間分色画像ごとに並行して行なわれる。並行処理とすることにより処理速度を高速化することができる。勿論、並行処理としないで順次処理とすることもできる。図１のステップＳ３〜Ｓ８には、Ｇ色の未補間分色画像に対する処理だけを示してある。Ｒ色とＢ色の未補間分色画像に対する処理については、ほぼ同様の処理であるから図１においては省略されており、相違点についてだけ後述する。
【００２５】
次に、ステップＳ３において、近似補間分色画像ｆ_nの初期値ｆ₀を設定する。近似補間分色画像ｆ_nの初期値ｆ₀は、すべての画素の画素値を”０”とした画像であってもよい。しかし、収束速度を速めるため、未補間分色画像ｇを補間した画像を初期値ｆ₀とすると好適である。たとえば、前述の数１〜数６の数式に基づいて補間を行なった画像を初期値ｆ₀とすることができる。
【００２６】
次に、撮像模擬過程Ａと再現模擬過程Ｂを設定する。撮像模擬過程Ａは、すでに説明したように、ボケと間引きを行なう過程とすることができる。ボケについては、たとえば、図２に示すローパスフィルタによる畳込みを行なう。その後、図５（Ａ）〜（Ｃ）に示す画素配列に基づいて”×”の画素を”０”とする間引きを行なう。
【００２７】
再現模擬過程Ｂは、すでに説明したように、間引いた画素の補間と高域強調を行なう過程とすることができる。また、単純な補間だけで済ませることもできる。補間については、分色画像（未補間分色画像ｇと近似補間分色画像ｆ_n）がＧ（green）の画像であれば、たとえば、図３に示すローパスフィルタ（補間フィルタ）による畳込みを行なう。Ｇ（green）の画像は画素数が１／２に間引きされているから、図３に示すローパスフィルタのゲインが２となるように設定されている。
【００２８】
Ｇ色の分色画像に対する処理（ステップＳ３〜Ｓ８）ではなく、分色画像がＲ（red）とＢ（blue）の画像であれば、画素数が１／４に間引きされているから、図３に示すローパスフィルタのゲインが４となるように、図３に示すローパスフィルタにおける各々の値を２倍に設定する。
なお高域強調については、周知の高域強調フィルタ、たとえばラプラシアンを適用することができる。
【００２９】
次に、ステップＳ５において、反復回数ｎをｎ＝１とする。
次に、ステップＳ６において、近似補間分色画像ｆ_n-1から近似補間分色画像ｆ_nを演算する。前述した反復アルゴリズムｆ←ｆ＋Ｂ（ｇ−Ａｆ）は、演算式ｆ_n＝ｆ_n-1＋Ｂ×（ｇ−Ａ×ｆ_n-1）と同一である。設定した初期値ｆ₀に基づいて反復演算することにより、反復回数ｎ＝１，２，・・・に対するｆ_nを得ることができる。以下に説明するステップは、その反復演算のステップである。
【００３０】
次に、ステップＳ７において、収束したか否かの判定を行なう。この判定は収束条件をどのように設定するかに依っている。たとえば、反復回数を収束条件として１０＜ｎのときに収束とすることができる。またたとえば、Ｂ×（ｇ−Ａ×ｆ_n-1）をベクトル形式で表したときのベクトルの大きさが所定値よりも小さいときに収束とすることができる。収束してないと判定されたときには、ステップＳ８に進む。収束していると判定されたときには、補間処理を終了する。
【００３１】
次に、ステップＳ８において、ｎ←ｎ＋１として、すなわち反復回数ｎの値に１を加算して、ステップＳ６に戻る。そして、上述した以降のステップを繰り返す。
【００３２】
以上、本発明における具体的な補間処理の過程について説明した。この補間処理によって生成される近似補間分色画像ｆ_nは、撮像対象（原画像）に近い高品位な画像である。
【００３３】
【発明の効果】
以上のとおりであるから、本発明の請求項１に係る補間装置によれば、偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間装置が提供される。
また本発明の請求項２に係る補間装置によれば、反復アルゴリズムにおける収束を速めることができる。
また本発明の請求項３に係る補間装置によれば、処理速度を高めることができる。
また本発明の請求項４に係る補間方法によれば、偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間方法が提供される。
【図面の簡単な説明】
【図１】本発明における補間処理の過程を示すフロー図である。
【図２】撮像模擬過程Ａに適用するローパスフィルタの一例を示す図である。
【図３】再現模擬過程Ｂに適用するローパスフィルタ（補間）の一例を示す図である。
【図４】単板式カラーイメージセンサにおけるＲＧＢフィルターの配置（Ｂａｙｅｒ型配置）の一例を示す図である。
【図５】Ｂａｙｅｒ型配置における各色フィルターの占める位置を判り易いように分離して示す図である。

Claims

カラーフィルタと受光素子とを２次元配列して成る単板式カラーイメージセンサを有するディジタルカメラにおける撮像画像の補間装置であって、
前記ディジタルカメラの撮像信号に基づいて、前記カラーフィルタの各色に対応する受光素子の画素値の集合であって前記２次元配列における欠落画素が含まれる未補間分色画像を生成する未補間分色画像生成手段と、
近似補間分色画像をｆ、前記未補間分色画像をｇ、前記ディジタルカメラで撮像対象を撮像する過程を模擬するためのローパスフィルタ処理と間引き処理とを含む撮像模擬過程をＡ、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬するための補間処理を含む再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより前記欠落画素を補間し、前記近似補間画像の収束画像として補間済分色画像を生成する補間済分色画像生成手段と、
を有することを特徴とする補間装置。
請求項１記載の補間装置において、周知の補間法を前記未補間分色画像に適用することによって前記近似補間分色画像の初期画像を生成する初期画像生成手段を有することを特徴とする補間装置。
請求項１または２記載の補間装置において、前記カラーフィルターの各色に対応する処理を並列して実行する並列処理手段を有することを特徴とする補間装置。
カラーフィルタと受光素子とを２次元配列して成る単板式カラーイメージセンサを有するディジタルカメラにおける撮像画像の補間方法であって、
前記ディジタルカメラの撮像信号に基づいて、前記カラーフィルタの各色に対応する受光素子の画素値の集合であって前記２次元配列における欠落画素が含まれる未補間分色画像を生成する未補間分色画像生成過程と、
近似補間分色画像をｆ、前記未補間分色画像をｇ、前記ディジタルカメラで撮像対象を撮像する過程を模擬するためのローパスフィルタ処理と間引き処理とを含む撮像模擬過程をＡ、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬するための補間処理を含む再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより前記欠落画素を補間し、前記近似補間画
像の収束画像として補間済分色画像を生成する補間済分色画像生成過程と、
を有することを特徴とする補間方法。