JP4139672B2 - 単板式カラーディジタルカメラによる撮像画像の補間装置および補間方法 - Google Patents
単板式カラーディジタルカメラによる撮像画像の補間装置および補間方法 Download PDFInfo
- Publication number
- JP4139672B2 JP4139672B2 JP2002319541A JP2002319541A JP4139672B2 JP 4139672 B2 JP4139672 B2 JP 4139672B2 JP 2002319541 A JP2002319541 A JP 2002319541A JP 2002319541 A JP2002319541 A JP 2002319541A JP 4139672 B2 JP4139672 B2 JP 4139672B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- interpolation
- color separation
- color
- interpolated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、単板式カラーディジタルカメラの技術分野に属する。特に、ハニカム型配列して成る単板式カラーイメージセンサを有するディジタルカメラにおける撮像画像の分色画像における欠落画素を補間し、すべての分色画像を同一画素数の画像（フル画像）とする補間装置および補間方法に関する。
【０００２】
【従来技術】
ディジタルスチルカメラ、カラービデオカメラ、等の一般の撮像装置においては、単板式カラーイメージセンサが使用される。イメージセンサは２次元に配列する受光素子によって構成される。一般的な２次元配列は、縦（垂直）格子と横（水平）格子によって区切られた矩形の領域に受光素子が存在する配列である。これに対し、その配列を４５度の角度で傾けた配列が存在し、そのような２次元配列をハニカム型配列と呼ぶ。すなわち、ハニカム型配列は、４５度右上がり斜め格子と４５度右下がり斜め格子によって区切られた矩形の領域に受光素子が存在する配列である。
【０００３】
単板式カラーイメージセンサにおいては、フルカラー画像を得るために、受光素子の各々が所定の分光感度を有するようにする。すなわち、それらの受光素子の直前に所定の分光感度を付与するためのカラーフィルタが配置されている。このカラーフィルタにはＲＧＢ（red,green,blue）の原色系とＣＭＹ（cyan,magenta,yellow）の補色系がある。前者は色再現性に優れ、後者は解像度的に優れると言われている。すべての受光素子の各々に対しては、この３色のフィルタのいずれかが適用され、いずれかの分光感度が付与される。したがって、単色（白黒）のイメージセンサと比較すると、カラーイメージセンサの各色については、１／２〜１／４程度の画素数（受光素子数）しか有効ではない。
【０００４】
単板式カラーイメージセンサにおけるＲＧＢフィルターの配置の一例を図５に示す。図５に示す一例は、Ｂａｙｅｒ型と呼ばれるＲＧＢフィルターの配置である。また、図６に示す一例は、ハニカム型の単板式カラーイメージセンサのためのＲＧＢフィルターの配置である。図５に示すＢａｙｅｒ型配置に対して、図６に示すハニカム型配置は４５度の角度で傾けた配置であることが判る。
【０００５】
ハニカム型配置における各色フィルターの占める位置を判り易いように分離して図７（Ａ）〜（Ｃ）に示す。図７（Ａ）〜（Ｃ）において、”×”は、その色の分色画像における欠落画素を示している。図７（Ａ）〜（Ｃ）に示すように、全体の画素数に対する各色の画素数が占める割合は、Ｇ色の画素数は全体の１／４を占め、Ｒ色とＢ色の画素数は１／８を占める。
【０００６】
図７（Ａ）〜（Ｃ）において、”×”で示す欠落画素を補間法によって生成し、すべての分色画像を同一画素数の画像（フル画像）とすることが行なわれる。補間法としては、たとえば、双一次補間や双三次補間が適用される。これにより、Ｇ色の画素数を４倍に、Ｒ色とＢ色の画素数を各々８倍に補間する。
【０００７】
【発明が解決しようとする課題】
このような補間によって各分色画像の画素数は撮像素子の有効画素数と同一となり、その後の画像処理や画像表示に用いることが可能となる。しかし、偽色を含んでおり、またボケも含んでおり尖鋭度の低い低品位な画像であることは否めない。
【０００８】
本発明はこのような課題を解決するためになされたものであり、その目的は、ハニカム型の単板式カラーイメージセンサにより撮像された画像における偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間装置および方法を提供することにある。
【０００９】
【課題を解決するための手段】
上記課題は下記の本発明によって解決される。すなわち、本発明の請求項１に係る補間装置は、カラーフィルタと受光素子とをハニカム型配列して成る単板式カラーイメージセンサを有するディジタルカメラにおける撮像画像の補間装置であって、前記ディジタルカメラの撮像信号に基づいて、前記カラーフィルタの各色に対応する受光素子の画素値の集合であって前記ハニカム型配列における欠落画素が含まれる未補間分色画像を生成する未補間分色画像生成手段と、近似補間分色画像をｆ、前記未補間分色画像をｇ、前記ディジタルカメラで撮像対象を撮像する過程を模擬するためのローパスフィルタ処理と間引き処理とを含む撮像模擬過程をＡ、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬するための補間処理を含む再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより前記欠落画素を補間し、前記近似補間画像の収束画像として補間済分色画像を生成する補間済分色画像生成手段とを有するようにしたものである。
【００１０】
本発明によれば、未補間分色画像生成手段によりディジタルカメラの撮像信号に基づいてカラーフィルタの各色に対応する受光素子の画素値の集合であって受光素子のハニカム型配列における欠落画素が含まれる未補間分色画像が生成され、補間済分色画像生成手段により近似補間分色画像をｆ、未補間分色画像をｇ、前記ディジタルカメラで撮像対象を撮像する過程を模擬するためのローパスフィルタ処理と間引き処理を含む撮像模擬過程をＡ、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬するための補間処理を含む再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより欠落画素が補間され、近似補間画像の収束画像として補間済分色画像が生成される。この反復アルゴリズムによれば、近似補間分色画像ｆは、反復処理によって撮像対象である原画像に逐次近似される。したがって、ハニカム型の単板式カラーイメージセンサにより撮像された画像における偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間装置が提供される。
【００１２】
また本発明の請求項２に係る補間装置は、請求項１に係る補間装置において、前記ローパスフィルタ処理は下記数１に示すローパスフィルタ（ａｉｊ）の畳み込み演算処理であるようにしたものである。本発明によれば、撮像模擬過程Ａにおけるローパスフィルタ処理は数１に示すローパスフィルタ（ａｉｊ）の畳み込み演算処理である。
（数１）
ａ１１＝ａ１２＝ａ１４＝ａ１５＝ａ２１＝ａ２５＝ａ４１＝ａ４５＝ａ５１＝ａ５２＝ａ５４＝ａ５５＝０、ａ１３＝ａ３１＝ａ３５＝ａ５３＝１／３２、ａ２２＝ａ２４＝ａ４２＝ａ４４＝１／１６、ａ２３＝ａ３２＝ａ３３＝ａ３４＝ａ４３＝１／８
【００１３】
また本発明の請求項３に係る補間装置は、請求項１または２に係る補間装置において、前記間引き処理は前記未補間分色画像における間引き画素に対応する位置の画素を間引く処理であるようにしたものである。本発明によれば、撮像模擬過程Ａにおける間引き処理は前記未補間分色画像における間引き画素に対応する位置の画素を間引く処理である。
【００１５】
また本発明の請求項４に係る補間装置は、請求項１〜３のいずれかに係る補間装置において、前記再現模擬過程Ｂは、高域強調処理を含むようにしたものである。本発明によれば、再現模擬過程Ｂは高域強調処理を含む。
【００１６】
また本発明の請求項５に係る補間装置は、請求項１〜４のいずれかに係る補間装置において、１／４の間引き率の分色画像に対する前記補間処理は下記数２に示すフィルタ（ｂｉｊ）の畳み込み演算処理であるようにしたものである。本発明によれば、再現模擬過程Ｂにおける１／４の間引き率の分色画像に対する補間処理は下記数２に示すフィルタ（ｂｉｊ）の畳み込み演算処理である。
（数２）
ｂ１１＝ｂ１３＝ｂ３１＝ｂ３３＝１／４、ｂ１２＝ｂ２１＝ｂ２３＝ｂ３２＝１／２、ｂ２２＝１
【００１７】
また本発明の請求項６に係る補間装置は、請求項１〜５のいずれかに係る補間装置において、１／８の間引き率の分色画像に対する前記補間処理は下記数３に示すフィルタ（ｃｉｊ）の畳み込み演算処理であるようにしたものである。本発明によれば、再現模擬過程Ｂにおける１／８の間引き率の分色画像に対する補間処理は下記数３に示すフィルタ（ｃｉｊ）の畳み込み演算処理である。
（数３）
ｃ１１＝ｃ１２＝ｃ１４＝ｃ１５＝ｃ２１＝ｃ２５＝ｃ４１＝ｃ４５＝ｃ５１＝ｃ５２＝ｃ５４＝ｃ５５＝０、ｃ１３＝ｃ３１＝ｃ３５＝ｃ５３＝１／４、ｃ２２＝ｃ２４＝ｃ４２＝ｃ４４＝１／２、ｃ２３＝ｃ３２＝ｃ３３＝ｃ３４＝ｃ４３＝１
【００１８】
また本発明の請求項７に係る補間装置は、請求項１〜６のいずれかに係る補間装置において、周知の補間法を前記未補間分色画像に適用することによって前記近似補間分色画像の初期画像を生成する初期画像生成手段を有するようにしたものである。本発明によれば、反復アルゴリズムにおける収束が速められる。
【００１９】
また本発明の請求項８に係る補間方法は、カラーフィルタと受光素子とをハニカム型配列して成る単板式カラーイメージセンサを有するディジタルカメラにおける撮像画像の補間方法であって、前記ディジタルカメラの撮像信号に基づいて、前記カラーフィルタの各色に対応する受光素子の画素値の集合であって前記ハニカム型配列における欠落画素が含まれる未補間分色画像を生成する未補間分色画像生成過程と、近似補間分色画像をｆ、前記未補間分色画像をｇ、前記ディジタルカメラで撮像対象を撮像する過程を模擬するためのローパスフィルタ処理と間引き処理とを含む撮像模擬過程をＡ、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬するための補間処理を含む再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより前記欠落画素を補間し、前記近似補間画像の収束画像として補間済分色画像を生成する補間済分色画像生成過程とを有するようにしたものである。
【００２０】
本発明によれば、未補間分色画像生成過程においてディジタルカメラの撮像信号に基づいてカラーフィルタの各色に対応する受光素子の画素値の集合であって受光素子のハニカム型配列における欠落画素が含まれる未補間分色画像が生成され、補間済分色画像生成過程において近似補間分色画像をｆ、未補間分色画像をｇ、前記ディジタルカメラで撮像対象を撮像する過程を模擬するためのローパスフィルタ処理と間引き処理とを含む撮像模擬過程をＡ、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬するための補間処理を含む再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより欠落画素が補間され、近似補間画像の収束画像として補間済分色画像が生成される。この反復アルゴリズムによれば、近似補間分色画像ｆは、反復処理によって撮像対象である原画像に逐次近似される。したがって、ハニカム型の単板式カラーイメージセンサにより撮像された画像における偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間方法が提供される。
【００２１】
【発明の実施の形態】
次に、本発明について実施の形態を説明する。最初に、反復アルゴリズムｆ←ｆ＋Ｂ（ｇ−Ａｆ）について説明しておく。ここで、ｆは近似補間分色画像、ｇは未補間分色画像、Ａは撮像模擬過程、Ｂは再現模擬過程を表す。一般に画像は連続関数の形式を適用してｆ（ｘ，ｙ）で表すことができる。また、ベクトル形式を適用してベクトルｆで表すことができる。また、行列形式を適用して［ｆ］で表すこともできる。いずれの形式を適用するかは関係なく、ここでは、画像を記号的にｆ，ｇと表すものとする。
【００２２】
そして、その画像に対する演算についても同様に、記号的にＡ，Ｂと表すものとする。このような形式に依らない表現によって、反復アルゴリズムの意味するところが明快に現れてくる。ｆ←ｆ＋Ｂ（ｇ−Ａｆ）という表現は、そのように反復アルゴリズムを表現した演算式である。この演算式は、ｆn＝ｆn-1＋Ｂ×（ｇ−Ａ×ｆn-1）と同一の演算式である。
【００２３】
次に、演算式ｆ←ｆ＋Ｂ（ｇ−Ａｆ）の意味するところについて説明する。演算式から明らかなように、近似補間分色画像ｆは、未補間分色画像ｇに基づいて生成される画像である。そして近似補間分色画像ｆにおいては、図５（Ａ）〜（Ｃ）に示す未補間分色画像ｇのような欠落画素”×”に対応する画素に対して演算された画素値が与えられる。また、未補間分色画像ｇの非欠落画素に対応する画素に対しても、近似補間分色画像ｆにおいては演算された別の画素値が与えられる。
【００２４】
近似補間分色画像ｆは撮像対象そのものを推定し近似した分色画像である。ここで「撮像対象」は、撮像するときには画像と見なせるから、一般的に「原画像」と呼ぶことができる。これに対して、未補間分色画像ｇは撮像対象（原画像）を撮像して得た撮像画像の分色画像である。したがって、近似補間分色画像ｆに対し撮像模擬過程Ａを適用して得られるＡｆは、近似補間分色画像ｆが撮像対象（原画像）と良く一致し、撮像模擬過程Ａが適正であるならば、未補間分色画像ｇと良く一致することとなる。そのとき、演算式における（ｇ−Ａｆ）の項の値は”０”に近い値となり、反復演算により近似補間分色画像ｆが収束した状態となる。
【００２５】
撮像模擬過程Ａは、ディジタルカメラで撮像対象を撮像する過程を模擬する過程である。たとえば、撮像系の特性によってボケ等の画像劣化を含む撮像画像が得られるとすれば、撮像模擬過程Ａは、ボケを生じる過程を模擬するローパスフィルタとすることができる。ここに示す一例においては、ディジタルカメラが単板式カラーディジタルカメラであるから、そのボケを生じる過程とともに、各色の未補間分色画像ｇで示されるような欠落画素を生じる過程、すなわち間引きを行なう過程を模擬する。したがって、撮像模擬過程Ａは、ローパスフィルタ処理と間引き処理を含んでいる。
【００２６】
再現模擬過程Ｂは、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬する過程である。演算式における（ｇ−Ａｆ）は、撮像対象（原画像）の撮像画像と、近似補間分色画像ｆの撮像画像との差異に相当する項である。この項に対し、再現模擬過程Ｂを適用して得られるＢ（ｇ−Ａｆ）は、撮像対象（原画像）と、近似補間分色画像ｆとの差異に相当する項である。したがって、近似補間分色画像ｆに対してＢ（ｇ−Ａｆ）を加算したｆ＋Ｂ（ｇ−Ａｆ）は、その差異を修正することとなる。このｆ＋Ｂ（ｇ−Ａｆ）を新しいｆとすれば、すなわち、ｆ←ｆ＋Ｂ（ｇ−Ａｆ）とすれば、近似補間分色画像ｆは撮像対象（原画像）に近似することとなる。
【００２７】
以上、反復アルゴリズムについて説明を行なった。次に、本発明における具体的な補間処理の過程について図１を参照して説明する。図１は、本発明における補間処理の過程を示すフロー図である。
まず、図１のステップＳ１において、撮像画像を入力する。ここでは、撮像画像におけるＲＧＢフィルターの配置は、図６に示すようなハニカム型配置となっているものとする。
【００２８】
次に、ステップＳ２において、撮像画像から未補間分色画像を生成する。未補間分色画像は、Ｇ色の未補間分色画像、Ｒ色の未補間分色画像、Ｂ色の未補間分色画像の３つの未補間分色画像が存在する。Ｇ色の未補間分色画像は、撮像画像におけるＧフィルターの画素の画素値をそのままに他の画素の画素値を”０”としたものである。図７（Ａ）において、”Ｇ”で示す画素がＧフィルターの画素の画素値となる画素であり、”×”で示す画素が”０”の画素値となる画素である。
【００２９】
同様に、Ｂ色の未補間分色画像は、撮像画像におけるＢフィルターの画素の画素値をそのままに他の画素の画素値を”０”としたものである。図７（Ｂ）において、”Ｂ”で示す画素がＢフィルターの画素の画素値となる画素であり、”×”で示す画素が”０”の画素値となる画素である。
同様に、Ｒ色の未補間分色画像は、撮像画像におけるＲフィルターの画素の画素値をそのままに他の画素の画素値を”０”としたものである。図７（Ｃ）において、”Ｒ”で示す画素がＲフィルターの画素の画素値となる画素であり、”×”で示す画素が”０”の画素値となる画素である。
【００３０】
上述のステップにより、ＲＧＢ各色の３つの未補間分色画像が得られる。図１に示す一例においては、以降のステップ、すなわちステップＳ３〜Ｓ８における処理は、各々の未補間分色画像ごとに並行して行なうことができる。並行処理とすることにより処理速度を高速化することができる。勿論、並行処理としないで順次処理とすることもできる。
【００３１】
図２にはそのような処理を高速で行なう装置の構成が示されている。図２において、破線で境界が示される領域の内部が図１に処理のフローを示す補間処理を行なう部分である。
撮像対象（原画像）の光像は結像レンズによってハニカム型の単板カラーイメージセンサ（撮像素子）の受光面に結像する。受光面には赤外線カットフィルター、光学ローパスフィルタ（たとえば水晶板の複屈折を利用）等が設けられている。すなわち、この過程は画像のローパスフィルタ処理（ボケ処理）とみなすことができる。
次に、受光面に設けられているＣＦ（カラーフィルタ）によって各色に選別され透過した光だけを受光素子が受光する。すなわち、間引き処理であって図６または図７（Ａ）〜（Ｃ）に示すような配列の未補間画像（モザイク画像）が撮像素子に形成される。
【００３２】
撮像素子が出力する信号はＡ／Ｄ変換されてデジタル信号となり、撮像画像（未補間画像）として演算メモリに一時記憶される。この未補間画像は、ＤＳＰ（digital signal processor）等の信号処理装置において補間処理（デモザイク処理）が行なわれた後に補間画像として出力ポートから出力が行なわれる。
なお、デジタルカメラにこの機能を実装することができる。また、未補間画像（モザイク画像）を記録媒体等に保存しておくようにすれば、補間処理をプリンタやパーソナルコンピュータで行なうことができる。
【００３３】
図１に戻り補間処理のフローについて説明を続ける。図１のステップＳ３〜Ｓ８には、Ｇ色の未補間分色画像に対する処理だけを示してある。Ｒ色とＢ色の未補間分色画像に対する処理については、ほぼ同様の処理であるから図１においては省略されており、相違点についてだけ後述する。
【００３４】
ステップＳ３において、近似補間分色画像ｆnの初期値ｆ0を設定する。近似補間分色画像ｆnの初期値ｆ0は、すべての画素の画素値を”０”とした画像であってもよい。しかし、収束速度を速めるため、未補間分色画像ｇを補間した画像を初期値ｆ0とすると好適である。たとえば、双一次補間、双三次補間、等の周知の補間法に基づいて補間を行なった画像を初期値ｆ0とすることができる。
【００３５】
次に、撮像模擬過程Ａと再現模擬過程Ｂを設定する。撮像模擬過程Ａは、すでに説明したように、ボケと間引きを行なう過程とすることができる。ボケについては、たとえば、図３に示すローパスフィルタ、すなわち前述の数１にに示すローパスフィルタよる畳込みを行なう。その後、図７（Ａ）〜（Ｃ）に示す画素配列に基づいて”×”の画素を”０”とする間引きを行なう。
【００３６】
再現模擬過程Ｂは、すでに説明したように、間引いた画素の補間と高域強調を行なう過程とすることができる。また、単純な補間だけで済ませることもできる。補間については、分色画像（未補間分色画像ｇと近似補間分色画像ｆn）がＧ（green）の画像であれば、たとえば、図４（Ａ）に示すローパスフィルタ（補間フィルタ）、すなわち前述の数２に示すローパスフィルタによる畳込みを行なう。Ｇ（green）の画像は画素数が１／４に間引きされているから、図４（Ａ）に示すローパスフィルタのゲインが４となるように設定されている。
【００３７】
Ｇ色の分色画像に対する処理（ステップＳ３〜Ｓ８）ではなく、分色画像がＲ（red）とＢ（blue）の画像であれば、たとえば、図４（Ｂ）に示すローパスフィルタ（補間フィルタ）、すなわち前述の数３に示すローパスフィルタによる畳込みを行なう。Ｒ（red）とＢ（blue）の画像は画素数が１／８に間引きされているから、図４（Ｂ）に示すローパスフィルタのゲインが８となるように設定されている。
なお高域強調については、周知の高域強調フィルタ、たとえばラプラシアンを適用することができる。
【００３８】
次に、ステップＳ５において、反復回数ｎをｎ＝１とする。
次に、ステップＳ６において、近似補間分色画像ｆn-1から近似補間分色画像ｆnを演算する。前述した反復アルゴリズムｆ←ｆ＋Ｂ（ｇ−Ａｆ）は、演算式ｆn＝ｆn-1＋Ｂ×（ｇ−Ａ×ｆn-1）と同一である。設定した初期値ｆ0に基づいて反復演算することにより、反復回数ｎ＝１，２，・・・に対するｆnを得ることができる。以下に説明するステップは、その反復演算のステップである。
【００３９】
次に、ステップＳ７において、収束したか否かの判定を行なう。この判定は収束条件をどのように設定するかに依っている。たとえば、反復回数を収束条件として１０＜ｎのときに収束とすることができる。またたとえば、Ｂ×（ｇ−Ａ×ｆn-1）をベクトル形式で表したときのベクトルの大きさが所定値よりも小さいときに収束とすることができる。収束してないと判定されたときには、ステップＳ８に進む。収束していると判定されたときには、補間処理を終了する。
【００４０】
次に、ステップＳ８において、ｎ←ｎ＋１として、すなわち反復回数ｎの値に１を加算して、ステップＳ６に戻る。そして、上述した以降のステップを繰り返す。
【００４１】
以上、本発明における具体的な補間処理の過程について説明した。この補間処理によって生成される近似補間分色画像ｆnは、撮像対象（原画像）に近い高品位な画像である。
【００４２】
【発明の効果】
以上のとおりであるから、本発明の請求項１に係る補間装置によれば、ハニカム型の単板式カラーイメージセンサにより撮像された画像における偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間装置が提供される。
また本発明の請求項２に係る補間装置によれば、撮像模擬過程Ａにおけるローパスフィルタ処理は前述の数１に示すローパスフィルタ（ａｉｊ）の畳み込み演算処理である。
また本発明の請求項３に係る補間装置によれば、撮像模擬過程Ａにおける間引き処理は前記未補間分色画像における間引き画素に対応する位置の画素を間引く処理である。
また本発明の請求項４に係る補間装置によれば、再現模擬過程Ｂは高域強調処理を含む。
また本発明の請求項５に係る補間装置によれば、再現模擬過程Ｂにおける１／４の間引き率の分色画像に対する補間処理は前述の数２に示すフィルタ（ｂｉｊ）の畳み込み演算処理である。
また本発明の請求項６に係る補間装置によれば、再現模擬過程Ｂにおける１／８の間引き率の分色画像に対する補間処理は前述の数３に示すフィルタ（ｃｉｊ）の畳み込み演算処理である。
また本発明の請求項７に係る補間装置によれば、反復アルゴリズムにおける収束が速められる。
また本発明の請求項８に係る補間方法によれば、ハニカム型の単板式カラーイメージセンサにより撮像された画像における偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間方法が提供される。
【図面の簡単な説明】
【図１】本発明における補間処理の過程を示すフロー図である。
【図２】補間処理を行なう装置構成の一例を示す図である。
【図３】撮像模擬過程Ａに適用するローパスフィルタの一例を示す図である。
【図４】（Ａ）はＧ画像、（Ｂ）はＢ画像とＲ画像の再現模擬過程Ｂに適用するローパスフィルタの一例を示す図である。
【図５】単板式カラーイメージセンサにおけるＲＧＢフィルターの配置（Ｂａｙｅｒ型配置）の一例を示す図である。
【図６】単板式カラーイメージセンサにおけるの一例を示す図である。
【図７】ハニカム型配置における各色フィルターの占める位置を判り易いように分離して示す図である。
【発明の属する技術分野】
本発明は、単板式カラーディジタルカメラの技術分野に属する。特に、ハニカム型配列して成る単板式カラーイメージセンサを有するディジタルカメラにおける撮像画像の分色画像における欠落画素を補間し、すべての分色画像を同一画素数の画像（フル画像）とする補間装置および補間方法に関する。
【０００２】
【従来技術】
ディジタルスチルカメラ、カラービデオカメラ、等の一般の撮像装置においては、単板式カラーイメージセンサが使用される。イメージセンサは２次元に配列する受光素子によって構成される。一般的な２次元配列は、縦（垂直）格子と横（水平）格子によって区切られた矩形の領域に受光素子が存在する配列である。これに対し、その配列を４５度の角度で傾けた配列が存在し、そのような２次元配列をハニカム型配列と呼ぶ。すなわち、ハニカム型配列は、４５度右上がり斜め格子と４５度右下がり斜め格子によって区切られた矩形の領域に受光素子が存在する配列である。
【０００３】
単板式カラーイメージセンサにおいては、フルカラー画像を得るために、受光素子の各々が所定の分光感度を有するようにする。すなわち、それらの受光素子の直前に所定の分光感度を付与するためのカラーフィルタが配置されている。このカラーフィルタにはＲＧＢ（red,green,blue）の原色系とＣＭＹ（cyan,magenta,yellow）の補色系がある。前者は色再現性に優れ、後者は解像度的に優れると言われている。すべての受光素子の各々に対しては、この３色のフィルタのいずれかが適用され、いずれかの分光感度が付与される。したがって、単色（白黒）のイメージセンサと比較すると、カラーイメージセンサの各色については、１／２〜１／４程度の画素数（受光素子数）しか有効ではない。
【０００４】
単板式カラーイメージセンサにおけるＲＧＢフィルターの配置の一例を図５に示す。図５に示す一例は、Ｂａｙｅｒ型と呼ばれるＲＧＢフィルターの配置である。また、図６に示す一例は、ハニカム型の単板式カラーイメージセンサのためのＲＧＢフィルターの配置である。図５に示すＢａｙｅｒ型配置に対して、図６に示すハニカム型配置は４５度の角度で傾けた配置であることが判る。
【０００５】
ハニカム型配置における各色フィルターの占める位置を判り易いように分離して図７（Ａ）〜（Ｃ）に示す。図７（Ａ）〜（Ｃ）において、”×”は、その色の分色画像における欠落画素を示している。図７（Ａ）〜（Ｃ）に示すように、全体の画素数に対する各色の画素数が占める割合は、Ｇ色の画素数は全体の１／４を占め、Ｒ色とＢ色の画素数は１／８を占める。
【０００６】
図７（Ａ）〜（Ｃ）において、”×”で示す欠落画素を補間法によって生成し、すべての分色画像を同一画素数の画像（フル画像）とすることが行なわれる。補間法としては、たとえば、双一次補間や双三次補間が適用される。これにより、Ｇ色の画素数を４倍に、Ｒ色とＢ色の画素数を各々８倍に補間する。
【０００７】
【発明が解決しようとする課題】
このような補間によって各分色画像の画素数は撮像素子の有効画素数と同一となり、その後の画像処理や画像表示に用いることが可能となる。しかし、偽色を含んでおり、またボケも含んでおり尖鋭度の低い低品位な画像であることは否めない。
【０００８】
本発明はこのような課題を解決するためになされたものであり、その目的は、ハニカム型の単板式カラーイメージセンサにより撮像された画像における偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間装置および方法を提供することにある。
【０００９】
【課題を解決するための手段】
上記課題は下記の本発明によって解決される。すなわち、本発明の請求項１に係る補間装置は、カラーフィルタと受光素子とをハニカム型配列して成る単板式カラーイメージセンサを有するディジタルカメラにおける撮像画像の補間装置であって、前記ディジタルカメラの撮像信号に基づいて、前記カラーフィルタの各色に対応する受光素子の画素値の集合であって前記ハニカム型配列における欠落画素が含まれる未補間分色画像を生成する未補間分色画像生成手段と、近似補間分色画像をｆ、前記未補間分色画像をｇ、前記ディジタルカメラで撮像対象を撮像する過程を模擬するためのローパスフィルタ処理と間引き処理とを含む撮像模擬過程をＡ、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬するための補間処理を含む再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより前記欠落画素を補間し、前記近似補間画像の収束画像として補間済分色画像を生成する補間済分色画像生成手段とを有するようにしたものである。
【００１０】
本発明によれば、未補間分色画像生成手段によりディジタルカメラの撮像信号に基づいてカラーフィルタの各色に対応する受光素子の画素値の集合であって受光素子のハニカム型配列における欠落画素が含まれる未補間分色画像が生成され、補間済分色画像生成手段により近似補間分色画像をｆ、未補間分色画像をｇ、前記ディジタルカメラで撮像対象を撮像する過程を模擬するためのローパスフィルタ処理と間引き処理を含む撮像模擬過程をＡ、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬するための補間処理を含む再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより欠落画素が補間され、近似補間画像の収束画像として補間済分色画像が生成される。この反復アルゴリズムによれば、近似補間分色画像ｆは、反復処理によって撮像対象である原画像に逐次近似される。したがって、ハニカム型の単板式カラーイメージセンサにより撮像された画像における偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間装置が提供される。
【００１２】
また本発明の請求項２に係る補間装置は、請求項１に係る補間装置において、前記ローパスフィルタ処理は下記数１に示すローパスフィルタ（ａｉｊ）の畳み込み演算処理であるようにしたものである。本発明によれば、撮像模擬過程Ａにおけるローパスフィルタ処理は数１に示すローパスフィルタ（ａｉｊ）の畳み込み演算処理である。
（数１）
ａ１１＝ａ１２＝ａ１４＝ａ１５＝ａ２１＝ａ２５＝ａ４１＝ａ４５＝ａ５１＝ａ５２＝ａ５４＝ａ５５＝０、ａ１３＝ａ３１＝ａ３５＝ａ５３＝１／３２、ａ２２＝ａ２４＝ａ４２＝ａ４４＝１／１６、ａ２３＝ａ３２＝ａ３３＝ａ３４＝ａ４３＝１／８
【００１３】
また本発明の請求項３に係る補間装置は、請求項１または２に係る補間装置において、前記間引き処理は前記未補間分色画像における間引き画素に対応する位置の画素を間引く処理であるようにしたものである。本発明によれば、撮像模擬過程Ａにおける間引き処理は前記未補間分色画像における間引き画素に対応する位置の画素を間引く処理である。
【００１５】
また本発明の請求項４に係る補間装置は、請求項１〜３のいずれかに係る補間装置において、前記再現模擬過程Ｂは、高域強調処理を含むようにしたものである。本発明によれば、再現模擬過程Ｂは高域強調処理を含む。
【００１６】
また本発明の請求項５に係る補間装置は、請求項１〜４のいずれかに係る補間装置において、１／４の間引き率の分色画像に対する前記補間処理は下記数２に示すフィルタ（ｂｉｊ）の畳み込み演算処理であるようにしたものである。本発明によれば、再現模擬過程Ｂにおける１／４の間引き率の分色画像に対する補間処理は下記数２に示すフィルタ（ｂｉｊ）の畳み込み演算処理である。
（数２）
ｂ１１＝ｂ１３＝ｂ３１＝ｂ３３＝１／４、ｂ１２＝ｂ２１＝ｂ２３＝ｂ３２＝１／２、ｂ２２＝１
【００１７】
また本発明の請求項６に係る補間装置は、請求項１〜５のいずれかに係る補間装置において、１／８の間引き率の分色画像に対する前記補間処理は下記数３に示すフィルタ（ｃｉｊ）の畳み込み演算処理であるようにしたものである。本発明によれば、再現模擬過程Ｂにおける１／８の間引き率の分色画像に対する補間処理は下記数３に示すフィルタ（ｃｉｊ）の畳み込み演算処理である。
（数３）
ｃ１１＝ｃ１２＝ｃ１４＝ｃ１５＝ｃ２１＝ｃ２５＝ｃ４１＝ｃ４５＝ｃ５１＝ｃ５２＝ｃ５４＝ｃ５５＝０、ｃ１３＝ｃ３１＝ｃ３５＝ｃ５３＝１／４、ｃ２２＝ｃ２４＝ｃ４２＝ｃ４４＝１／２、ｃ２３＝ｃ３２＝ｃ３３＝ｃ３４＝ｃ４３＝１
【００１８】
また本発明の請求項７に係る補間装置は、請求項１〜６のいずれかに係る補間装置において、周知の補間法を前記未補間分色画像に適用することによって前記近似補間分色画像の初期画像を生成する初期画像生成手段を有するようにしたものである。本発明によれば、反復アルゴリズムにおける収束が速められる。
【００１９】
また本発明の請求項８に係る補間方法は、カラーフィルタと受光素子とをハニカム型配列して成る単板式カラーイメージセンサを有するディジタルカメラにおける撮像画像の補間方法であって、前記ディジタルカメラの撮像信号に基づいて、前記カラーフィルタの各色に対応する受光素子の画素値の集合であって前記ハニカム型配列における欠落画素が含まれる未補間分色画像を生成する未補間分色画像生成過程と、近似補間分色画像をｆ、前記未補間分色画像をｇ、前記ディジタルカメラで撮像対象を撮像する過程を模擬するためのローパスフィルタ処理と間引き処理とを含む撮像模擬過程をＡ、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬するための補間処理を含む再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより前記欠落画素を補間し、前記近似補間画像の収束画像として補間済分色画像を生成する補間済分色画像生成過程とを有するようにしたものである。
【００２０】
本発明によれば、未補間分色画像生成過程においてディジタルカメラの撮像信号に基づいてカラーフィルタの各色に対応する受光素子の画素値の集合であって受光素子のハニカム型配列における欠落画素が含まれる未補間分色画像が生成され、補間済分色画像生成過程において近似補間分色画像をｆ、未補間分色画像をｇ、前記ディジタルカメラで撮像対象を撮像する過程を模擬するためのローパスフィルタ処理と間引き処理とを含む撮像模擬過程をＡ、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬するための補間処理を含む再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより欠落画素が補間され、近似補間画像の収束画像として補間済分色画像が生成される。この反復アルゴリズムによれば、近似補間分色画像ｆは、反復処理によって撮像対象である原画像に逐次近似される。したがって、ハニカム型の単板式カラーイメージセンサにより撮像された画像における偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間方法が提供される。
【００２１】
【発明の実施の形態】
次に、本発明について実施の形態を説明する。最初に、反復アルゴリズムｆ←ｆ＋Ｂ（ｇ−Ａｆ）について説明しておく。ここで、ｆは近似補間分色画像、ｇは未補間分色画像、Ａは撮像模擬過程、Ｂは再現模擬過程を表す。一般に画像は連続関数の形式を適用してｆ（ｘ，ｙ）で表すことができる。また、ベクトル形式を適用してベクトルｆで表すことができる。また、行列形式を適用して［ｆ］で表すこともできる。いずれの形式を適用するかは関係なく、ここでは、画像を記号的にｆ，ｇと表すものとする。
【００２２】
そして、その画像に対する演算についても同様に、記号的にＡ，Ｂと表すものとする。このような形式に依らない表現によって、反復アルゴリズムの意味するところが明快に現れてくる。ｆ←ｆ＋Ｂ（ｇ−Ａｆ）という表現は、そのように反復アルゴリズムを表現した演算式である。この演算式は、ｆn＝ｆn-1＋Ｂ×（ｇ−Ａ×ｆn-1）と同一の演算式である。
【００２３】
次に、演算式ｆ←ｆ＋Ｂ（ｇ−Ａｆ）の意味するところについて説明する。演算式から明らかなように、近似補間分色画像ｆは、未補間分色画像ｇに基づいて生成される画像である。そして近似補間分色画像ｆにおいては、図５（Ａ）〜（Ｃ）に示す未補間分色画像ｇのような欠落画素”×”に対応する画素に対して演算された画素値が与えられる。また、未補間分色画像ｇの非欠落画素に対応する画素に対しても、近似補間分色画像ｆにおいては演算された別の画素値が与えられる。
【００２４】
近似補間分色画像ｆは撮像対象そのものを推定し近似した分色画像である。ここで「撮像対象」は、撮像するときには画像と見なせるから、一般的に「原画像」と呼ぶことができる。これに対して、未補間分色画像ｇは撮像対象（原画像）を撮像して得た撮像画像の分色画像である。したがって、近似補間分色画像ｆに対し撮像模擬過程Ａを適用して得られるＡｆは、近似補間分色画像ｆが撮像対象（原画像）と良く一致し、撮像模擬過程Ａが適正であるならば、未補間分色画像ｇと良く一致することとなる。そのとき、演算式における（ｇ−Ａｆ）の項の値は”０”に近い値となり、反復演算により近似補間分色画像ｆが収束した状態となる。
【００２５】
撮像模擬過程Ａは、ディジタルカメラで撮像対象を撮像する過程を模擬する過程である。たとえば、撮像系の特性によってボケ等の画像劣化を含む撮像画像が得られるとすれば、撮像模擬過程Ａは、ボケを生じる過程を模擬するローパスフィルタとすることができる。ここに示す一例においては、ディジタルカメラが単板式カラーディジタルカメラであるから、そのボケを生じる過程とともに、各色の未補間分色画像ｇで示されるような欠落画素を生じる過程、すなわち間引きを行なう過程を模擬する。したがって、撮像模擬過程Ａは、ローパスフィルタ処理と間引き処理を含んでいる。
【００２６】
再現模擬過程Ｂは、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬する過程である。演算式における（ｇ−Ａｆ）は、撮像対象（原画像）の撮像画像と、近似補間分色画像ｆの撮像画像との差異に相当する項である。この項に対し、再現模擬過程Ｂを適用して得られるＢ（ｇ−Ａｆ）は、撮像対象（原画像）と、近似補間分色画像ｆとの差異に相当する項である。したがって、近似補間分色画像ｆに対してＢ（ｇ−Ａｆ）を加算したｆ＋Ｂ（ｇ−Ａｆ）は、その差異を修正することとなる。このｆ＋Ｂ（ｇ−Ａｆ）を新しいｆとすれば、すなわち、ｆ←ｆ＋Ｂ（ｇ−Ａｆ）とすれば、近似補間分色画像ｆは撮像対象（原画像）に近似することとなる。
【００２７】
以上、反復アルゴリズムについて説明を行なった。次に、本発明における具体的な補間処理の過程について図１を参照して説明する。図１は、本発明における補間処理の過程を示すフロー図である。
まず、図１のステップＳ１において、撮像画像を入力する。ここでは、撮像画像におけるＲＧＢフィルターの配置は、図６に示すようなハニカム型配置となっているものとする。
【００２８】
次に、ステップＳ２において、撮像画像から未補間分色画像を生成する。未補間分色画像は、Ｇ色の未補間分色画像、Ｒ色の未補間分色画像、Ｂ色の未補間分色画像の３つの未補間分色画像が存在する。Ｇ色の未補間分色画像は、撮像画像におけるＧフィルターの画素の画素値をそのままに他の画素の画素値を”０”としたものである。図７（Ａ）において、”Ｇ”で示す画素がＧフィルターの画素の画素値となる画素であり、”×”で示す画素が”０”の画素値となる画素である。
【００２９】
同様に、Ｂ色の未補間分色画像は、撮像画像におけるＢフィルターの画素の画素値をそのままに他の画素の画素値を”０”としたものである。図７（Ｂ）において、”Ｂ”で示す画素がＢフィルターの画素の画素値となる画素であり、”×”で示す画素が”０”の画素値となる画素である。
同様に、Ｒ色の未補間分色画像は、撮像画像におけるＲフィルターの画素の画素値をそのままに他の画素の画素値を”０”としたものである。図７（Ｃ）において、”Ｒ”で示す画素がＲフィルターの画素の画素値となる画素であり、”×”で示す画素が”０”の画素値となる画素である。
【００３０】
上述のステップにより、ＲＧＢ各色の３つの未補間分色画像が得られる。図１に示す一例においては、以降のステップ、すなわちステップＳ３〜Ｓ８における処理は、各々の未補間分色画像ごとに並行して行なうことができる。並行処理とすることにより処理速度を高速化することができる。勿論、並行処理としないで順次処理とすることもできる。
【００３１】
図２にはそのような処理を高速で行なう装置の構成が示されている。図２において、破線で境界が示される領域の内部が図１に処理のフローを示す補間処理を行なう部分である。
撮像対象（原画像）の光像は結像レンズによってハニカム型の単板カラーイメージセンサ（撮像素子）の受光面に結像する。受光面には赤外線カットフィルター、光学ローパスフィルタ（たとえば水晶板の複屈折を利用）等が設けられている。すなわち、この過程は画像のローパスフィルタ処理（ボケ処理）とみなすことができる。
次に、受光面に設けられているＣＦ（カラーフィルタ）によって各色に選別され透過した光だけを受光素子が受光する。すなわち、間引き処理であって図６または図７（Ａ）〜（Ｃ）に示すような配列の未補間画像（モザイク画像）が撮像素子に形成される。
【００３２】
撮像素子が出力する信号はＡ／Ｄ変換されてデジタル信号となり、撮像画像（未補間画像）として演算メモリに一時記憶される。この未補間画像は、ＤＳＰ（digital signal processor）等の信号処理装置において補間処理（デモザイク処理）が行なわれた後に補間画像として出力ポートから出力が行なわれる。
なお、デジタルカメラにこの機能を実装することができる。また、未補間画像（モザイク画像）を記録媒体等に保存しておくようにすれば、補間処理をプリンタやパーソナルコンピュータで行なうことができる。
【００３３】
図１に戻り補間処理のフローについて説明を続ける。図１のステップＳ３〜Ｓ８には、Ｇ色の未補間分色画像に対する処理だけを示してある。Ｒ色とＢ色の未補間分色画像に対する処理については、ほぼ同様の処理であるから図１においては省略されており、相違点についてだけ後述する。
【００３４】
ステップＳ３において、近似補間分色画像ｆnの初期値ｆ0を設定する。近似補間分色画像ｆnの初期値ｆ0は、すべての画素の画素値を”０”とした画像であってもよい。しかし、収束速度を速めるため、未補間分色画像ｇを補間した画像を初期値ｆ0とすると好適である。たとえば、双一次補間、双三次補間、等の周知の補間法に基づいて補間を行なった画像を初期値ｆ0とすることができる。
【００３５】
次に、撮像模擬過程Ａと再現模擬過程Ｂを設定する。撮像模擬過程Ａは、すでに説明したように、ボケと間引きを行なう過程とすることができる。ボケについては、たとえば、図３に示すローパスフィルタ、すなわち前述の数１にに示すローパスフィルタよる畳込みを行なう。その後、図７（Ａ）〜（Ｃ）に示す画素配列に基づいて”×”の画素を”０”とする間引きを行なう。
【００３６】
再現模擬過程Ｂは、すでに説明したように、間引いた画素の補間と高域強調を行なう過程とすることができる。また、単純な補間だけで済ませることもできる。補間については、分色画像（未補間分色画像ｇと近似補間分色画像ｆn）がＧ（green）の画像であれば、たとえば、図４（Ａ）に示すローパスフィルタ（補間フィルタ）、すなわち前述の数２に示すローパスフィルタによる畳込みを行なう。Ｇ（green）の画像は画素数が１／４に間引きされているから、図４（Ａ）に示すローパスフィルタのゲインが４となるように設定されている。
【００３７】
Ｇ色の分色画像に対する処理（ステップＳ３〜Ｓ８）ではなく、分色画像がＲ（red）とＢ（blue）の画像であれば、たとえば、図４（Ｂ）に示すローパスフィルタ（補間フィルタ）、すなわち前述の数３に示すローパスフィルタによる畳込みを行なう。Ｒ（red）とＢ（blue）の画像は画素数が１／８に間引きされているから、図４（Ｂ）に示すローパスフィルタのゲインが８となるように設定されている。
なお高域強調については、周知の高域強調フィルタ、たとえばラプラシアンを適用することができる。
【００３８】
次に、ステップＳ５において、反復回数ｎをｎ＝１とする。
次に、ステップＳ６において、近似補間分色画像ｆn-1から近似補間分色画像ｆnを演算する。前述した反復アルゴリズムｆ←ｆ＋Ｂ（ｇ−Ａｆ）は、演算式ｆn＝ｆn-1＋Ｂ×（ｇ−Ａ×ｆn-1）と同一である。設定した初期値ｆ0に基づいて反復演算することにより、反復回数ｎ＝１，２，・・・に対するｆnを得ることができる。以下に説明するステップは、その反復演算のステップである。
【００３９】
次に、ステップＳ７において、収束したか否かの判定を行なう。この判定は収束条件をどのように設定するかに依っている。たとえば、反復回数を収束条件として１０＜ｎのときに収束とすることができる。またたとえば、Ｂ×（ｇ−Ａ×ｆn-1）をベクトル形式で表したときのベクトルの大きさが所定値よりも小さいときに収束とすることができる。収束してないと判定されたときには、ステップＳ８に進む。収束していると判定されたときには、補間処理を終了する。
【００４０】
次に、ステップＳ８において、ｎ←ｎ＋１として、すなわち反復回数ｎの値に１を加算して、ステップＳ６に戻る。そして、上述した以降のステップを繰り返す。
【００４１】
以上、本発明における具体的な補間処理の過程について説明した。この補間処理によって生成される近似補間分色画像ｆnは、撮像対象（原画像）に近い高品位な画像である。
【００４２】
【発明の効果】
以上のとおりであるから、本発明の請求項１に係る補間装置によれば、ハニカム型の単板式カラーイメージセンサにより撮像された画像における偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間装置が提供される。
また本発明の請求項２に係る補間装置によれば、撮像模擬過程Ａにおけるローパスフィルタ処理は前述の数１に示すローパスフィルタ（ａｉｊ）の畳み込み演算処理である。
また本発明の請求項３に係る補間装置によれば、撮像模擬過程Ａにおける間引き処理は前記未補間分色画像における間引き画素に対応する位置の画素を間引く処理である。
また本発明の請求項４に係る補間装置によれば、再現模擬過程Ｂは高域強調処理を含む。
また本発明の請求項５に係る補間装置によれば、再現模擬過程Ｂにおける１／４の間引き率の分色画像に対する補間処理は前述の数２に示すフィルタ（ｂｉｊ）の畳み込み演算処理である。
また本発明の請求項６に係る補間装置によれば、再現模擬過程Ｂにおける１／８の間引き率の分色画像に対する補間処理は前述の数３に示すフィルタ（ｃｉｊ）の畳み込み演算処理である。
また本発明の請求項７に係る補間装置によれば、反復アルゴリズムにおける収束が速められる。
また本発明の請求項８に係る補間方法によれば、ハニカム型の単板式カラーイメージセンサにより撮像された画像における偽色信号の発生を低減するとともに、尖鋭度の高い高品位な画像を生成することができる補間方法が提供される。
【図面の簡単な説明】
【図１】本発明における補間処理の過程を示すフロー図である。
【図２】補間処理を行なう装置構成の一例を示す図である。
【図３】撮像模擬過程Ａに適用するローパスフィルタの一例を示す図である。
【図４】（Ａ）はＧ画像、（Ｂ）はＢ画像とＲ画像の再現模擬過程Ｂに適用するローパスフィルタの一例を示す図である。
【図５】単板式カラーイメージセンサにおけるＲＧＢフィルターの配置（Ｂａｙｅｒ型配置）の一例を示す図である。
【図６】単板式カラーイメージセンサにおけるの一例を示す図である。
【図７】ハニカム型配置における各色フィルターの占める位置を判り易いように分離して示す図である。
Claims (8)
- カラーフィルタと受光素子とをハニカム型配列して成る単板式カラーイメージセンサを有するディジタルカメラにおける撮像画像の補間装置であって、
前記ディジタルカメラの撮像信号に基づいて、前記カラーフィルタの各色に対応する受光素子の画素値の集合であって前記ハニカム型配列における欠落画素が含まれる未補間分色画像を生成する未補間分色画像生成手段と、
近似補間分色画像をｆ、前記未補間分色画像をｇ、前記ディジタルカメラで撮像対象を撮像する過程を模擬するためのローパスフィルタ処理と間引き処理とを含む撮像模擬過程をＡ、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬するための補間処理を含む再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより前記欠落画素を補間し、前記近似補間画像の収束画像として補間済分色画像を生成する補間済分色画像生成手段と、
を有することを特徴とする補間装置。 - 請求項１記載の補間装置において、前記ローパスフィルタ処理は下記数１に示すローパスフィルタ（ａｉｊ）の畳み込み演算処理であることを特徴とする補間装置。
（数１）
ａ１１＝ａ１２＝ａ１４＝ａ１５＝ａ２１＝ａ２５＝ａ４１＝ａ４５＝ａ５１＝ａ５２＝ａ５４＝ａ５５＝０、ａ１３＝ａ３１＝ａ３５＝ａ５３＝１／３２、ａ２２＝ａ２４＝ａ４２＝ａ４４＝１／１６、ａ２３＝ａ３２＝ａ３３＝ａ３４＝ａ４３＝１／８ - 請求項１または２記載の補間装置において、前記間引き処理は前記未補間分色画像における間引き画素に対応する位置の画素を間引く処理であることを特徴とする補間装置。
- 請求項１〜３のいずれかに記載の補間装置において、前記再現模擬過程Ｂは、高域強調処理を含むことを特徴とする補間装置。
- 請求項１〜４のいずれかに記載の補間装置において、１／４の間引き率の分色画像に対する前記補間処理は下記数２に示すフィルタ（ｂｉｊ）の畳み込み演算処理であることを特徴とする補間装置。
（数２）
ｂ１１＝ｂ１３＝ｂ３１＝ｂ３３＝１／４、ｂ１２＝ｂ２１＝ｂ２３＝ｂ３２＝１／２、ｂ２２＝１ - 請求項１〜５のいずれかに記載の補間装置において、１／８の間引き率の分色画像に対する前記補間処理は下記数３に示すフィルタ（ｃｉｊ）の畳み込み演算処理であることを特徴とする補間装置。
（数３）
ｃ１１＝ｃ１２＝ｃ１４＝ｃ１５＝ｃ２１＝ｃ２５＝ｃ４１＝ｃ４５＝ｃ５１＝ｃ５２＝ｃ５４＝ｃ５５＝０、ｃ１３＝ｃ３１＝ｃ３５＝ｃ５３＝１／４、ｃ２２＝ｃ２４＝ｃ４２＝ｃ４４＝１／２、ｃ２３＝ｃ３２＝ｃ３３＝ｃ３４＝ｃ４３＝１ - 請求項１〜６のいずれかに記載の補間装置において、周知の補間法を前記未補間分色画像に適用することによって前記近似補間分色画像の初期画像を生成する初期画像生成手段を有することを特徴とする補間装置。
- カラーフィルタと受光素子とをハニカム型配列して成る単板式カラーイメージセンサを有するディジタルカメラにおける撮像画像の補間方法であって、
前記ディジタルカメラの撮像信号に基づいて、前記カラーフィルタの各色に対応する受光素子の画素値の集合であって前記ハニカム型配列における欠落画素が含まれる未補間分色画像を生成する未補間分色画像生成過程と、
近似補間分色画像をｆ、前記未補間分色画像をｇ、前記ディジタルカメラで撮像対象を撮像する過程を模擬するためのローパスフィルタ処理と間引き処理とを含む撮像模擬過程をＡ、画像劣化を含む撮像画像から撮像対象を再現する過程を模擬するための補間処理を含む再現模擬過程をＢとし、反復アルゴリズムとしてｆ←ｆ＋Ｂ（ｇ−Ａｆ）を適用することにより前記欠落画素を補間し、前記近似補間画像の収束画像として補間済分色画像を生成する補間済分色画像生成過程と、を有することを特徴とする補間方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002319541A JP4139672B2 (ja) | 2002-11-01 | 2002-11-01 | 単板式カラーディジタルカメラによる撮像画像の補間装置および補間方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002319541A JP4139672B2 (ja) | 2002-11-01 | 2002-11-01 | 単板式カラーディジタルカメラによる撮像画像の補間装置および補間方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004153753A JP2004153753A (ja) | 2004-05-27 |
| JP4139672B2 true JP4139672B2 (ja) | 2008-08-27 |
Family
ID=32462358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002319541A Expired - Fee Related JP4139672B2 (ja) | 2002-11-01 | 2002-11-01 | 単板式カラーディジタルカメラによる撮像画像の補間装置および補間方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4139672B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005354610A (ja) | 2004-06-14 | 2005-12-22 | Canon Inc | 画像処理装置、画像処理方法および画像処理プログラム |
| KR100818724B1 (ko) | 2006-07-19 | 2008-04-01 | 삼성전자주식회사 | Ｃｍｏｓ 이미지 센서와 이를 이용한 이미지 센싱 방법 |
-
2002
- 2002-11-01 JP JP2002319541A patent/JP4139672B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004153753A (ja) | 2004-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101143147B1 (ko) | 컬러 이미지의 디모자이크를 위한 고품질 그레디언트보정된 선형 보간법 | |
| JP5677040B2 (ja) | 画像処理装置およびその制御方法 | |
| KR101335561B1 (ko) | 보간 시스템 및 방법 | |
| JP3771054B2 (ja) | 画像処理装置及び画像処理方法 | |
| WO2008072406A1 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
| JP3548504B2 (ja) | 信号処理装置、信号処理方法、及び撮像装置 | |
| JP2001101398A (ja) | 画像処理方法および装置並びに記録媒体 | |
| US20100141809A1 (en) | Image processing apparatus, image pickup apparatus, storage medium for storing image processing program, and image processing method | |
| JP2000165893A (ja) | 画像処理装置 | |
| JP2006203841A (ja) | 画像処理装置、カメラ装置、画像出力装置、画像処理方法、色補正処理プログラムおよび可読記録媒体 | |
| JP3540758B2 (ja) | 単板式カラーカメラにおける水平輪郭信号生成回路 | |
| US20050190200A1 (en) | Image processing method, image processing device, semiconductor device, electronic apparatus, image processing program, and computer-readable storage medium | |
| WO2017154293A1 (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
| WO1994018801A1 (en) | Color wide dynamic range camera using a charge coupled device with mosaic filter | |
| JP2003244715A (ja) | 混成画素補間装置および混成画素補間方法 | |
| JPH05153608A (ja) | 映像信号処理方法および装置 | |
| JP2003123063A (ja) | 画像処理装置 | |
| JP4139672B2 (ja) | 単板式カラーディジタルカメラによる撮像画像の補間装置および補間方法 | |
| JP2001320720A (ja) | 信号処理方法及び信号処理装置 | |
| JP2000197067A (ja) | 固体撮像装置および画像デ―タ作成方法 | |
| JP4032579B2 (ja) | 単板式固体撮像素子の色補間方法および単板式固体撮像素子の色補間処理プログラムを記録した記録媒体 | |
| JP4139587B2 (ja) | 単板式カラーディジタルカメラにおける撮像画像の補間装置および方法 | |
| JP6644877B2 (ja) | 画像処理装置 | |
| JP2004056640A (ja) | 補色系単板式カラーディジタルカメラにおける撮像画像の補間方法、その補間装置及びそれを備えたディジタルカメラ | |
| JP2003070010A (ja) | ２板式画像取り込み装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051025 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080529 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080609 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110613 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120613 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130613 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |