JP4334740B2

JP4334740B2 - Image generating apparatus and imaging apparatus

Info

Publication number: JP4334740B2
Application number: JP2000185094A
Authority: JP
Inventors: 英明吉田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2000-06-20
Filing date: 2000-06-20
Publication date: 2009-09-30
Anticipated expiration: 2020-06-20
Also published as: JP2002010278A

Description

【０００１】
【発明の属する技術分野】
本発明は画像生成装置および撮像装置に関し、特にベイヤ配列を用いて生成される原画像情報であるベイヤ読み出し情報を用いて記録用の画像信号を生成する画像生成装置および撮像装置に関する。
【０００２】
【従来の技術】
従来より、色配列としてベイヤ配列を用いた単板カラー撮像装置が広く用いられている。ここで扱うベイヤ配列とは、２×２の４画素を単位配列とする周期配列で、その単位配列の４画素中２画素が同色であり、この同色の２画素が対角配置されたものである。代表的なＲＧＢベイヤ配列の一例を図４に示す。
【０００３】
図４に示すようなＲＧＢベイヤ配列を用いてコンポーネント色信号（Ｒ、Ｇ、ＢあるいはＹ、Ｒ−Ｙ、Ｂ−Ｙ）を生成する信号処理方式には各種あるが、典型的な例を以下に示す。
【０００４】
なお、以下では、原画素点および着目点（生成画素点）の座標を（ｉ,ｊ）とし、また簡単のためにＲ，Ｇ，Ｂ毎にインデックス関数ｅＧ，ｅＲ，ｅＢを導入することにする。図４の左端と上端に示すように原画素点と生成画素点では格子位相が半ピッチずれているから、同じ数値の座標の場合にも空間位置がその分だけ異なっている。また、インデックス関数ｅＧはある信号処理領域の中からＧ成分のみを抽出するための関数であり、Ｇの画素領域に対しては“１”、他の色の画素領域に対しては“０”となる。例えば図４のＲ００，Ｇ０１，Ｇ１０，Ｂ１１の４画素に対してインデックス関数ｅＧを適用すると、“０”，“１”，“１”，“０”が得られることになる。ｅＲ，ｅＢについても同様である。
【０００５】
高域輝度信号ＨＹ（ｉ，ｊ）は、共有画素を含むように１画素ずつずらして組み合わせを変えた４画素単位｛(R00,G01,G10,B11),(G01,R02,B11,G12),(R02,G03,G12,B13),(G03,R04,B13,G14),(R04,G05,G14,B15),…｝でそこに含まれるＧのみを用いて生成される。
HY(i,j)=Σ[2×2(i,j)]eG×P(i’,j’) …（１）
ここで、記号Σ[2×2(i,j)]は着目点（ｉ,ｊ）の隣接する２×２の（原画素の）４画素領域に関する（画素座標を変数とする）総和を意味し、またＰ(ｉ’,ｊ’)は座標(ｉ’,ｊ’)の原画素の信号出力値を示している。よって、図４の（ｉ，ｊ）＝（０，０）に対応する高域輝度信号ＨＹ（ｉ，ｊ）｛＝ＨＹ（０，０）｝は、近接する４画素Ｒ００，Ｇ０１，Ｇ１０，Ｂ１１の中の、Ｇ０１とＧ１０の画像信号の和から生成されることになる。同様にして、Ｇ０１とＧ１２の画像信号の和からＨＹ（０，１）が、Ｇ１２とＧ０３の画像信号の和からＨＹ（０，２）が生成される。
【０００６】
このようにして求めた各高域輝度信号ＨＹ（ｉ，ｊ）に関して、それぞれ隣接する（生成画素点の）座標の高域輝度信号ＨＹ（ｉ−１，ｊ），ＨＹ（ｉ，ｊ−１），ＨＹ（ｉ，ｊ＋１），ＨＹ（ｉ＋１，ｊ）との差分信号を求め、これを輝度エッジ信号ＡＰ（アパーチャー信号）とする。
AP(i,j)=4HY(i,j)-{HY(i-1,j)+HY(i,j-1)+HY(i,j+1)+HY(i+1,j)} …（２）
また、低域原色信号ＬＲ，ＬＧ，ＬＢについては、高域輝度信号ＨＹよりも大きな領域、例えば着目点（ｉ,ｊ）の周囲の４×４＝１６画素の平均値、すなわちＧについては１６画素中に含まれる８画素の画素信号の平均値、Ｒ，Ｂについては１６画素中に含まれる対応する４画素の画素信号の平均値を用いて算出される。上記と同様の表記を用いれば、
LR(i,j)={Σ[4×4(i,j)]eR×P(i’,j’)}/4 …（３）Ｒ
LG(i,j)={Σ[4×4(i,j)]eG×P(i’,j’)}/8 …（３）Ｇ
LB(i,j)={Σ[4×4(i,j)]eB×P(i’,j’)}/4 …（３）Ｂ
低域輝度信号ＬＹは、0.3Ｒ＋0.59Ｇ＋0.11Ｂのマトリクス演算を低域原色信号ＬＲ，ＬＧ，ＬＢに対して施すことにより、
LY(i,j)=0.3LR(i,j)+0.59LG(i,j)+0.11LB(i,j) …（４）
によって求められる。
【０００７】
広帯域の輝度信号Ｙ、および色差信号Ｒ−Ｙ，Ｂ−Ｙは、
Y(i,j)=LY(i,j)+k×AP(i,j)
R-Y(i,j)=LR(i,j)-LY(i,j)
B-Y(i,j)=LB(i,j)-LY(i,j) …（５）
によって算出される。ｋは所定の計数である。式（５）をＲ，Ｇ，Ｂ信号で表すと、
R(i,j)=LR(i,j)+k×AP(i,j)
G(i,j)=LG(i,j)+k×AP(i,j)
B(i,j)=LB(i,j)+k×AP(i,j) …（６）
となる。この式（６）は式（５）と全く等価なものである。
【０００８】
このように、式（１）（２）によって求めた輝度エッジ信号（高域輝度信号）ＡＰを、式（４）で得られる低域輝度信号ＬＹに加えることで広帯域の輝度信号Ｙを得ることができるが、色差信号Ｒ−Ｙ，Ｂ−Ｙについては、低域のみで処理することで、式（６）からも分かるように、ＲＧＢそれぞれの低域原色信号ＬＲ，ＬＧ，ＬＢの上にＲＧＢでどれも同じ（従って無彩色の）高域信号（ｋ×ＡＰ）が重畳される形となるのでエッジ部の偽色が生じにくい信号処理となっている。（例えばこのような帯域別処理を行なわずベイヤの単位４画素のみの情報からそのまま（広帯域の）輝度信号を算出し、単純にマトリクス演算を行なうと、エッジ部に偽色が顕著に生じてしまう不都合がある。）
また、式（１）により高域輝度信号ＨＹはＧのみから求めているから、色エッジ部による輝度信号のギザも抑えられている。
【０００９】
すなわち式（１）を書き下せば
HY(i,j)=G(i,j+1)+G(i+1,j) …ｉ＋ｊが偶数の場合
G(i,j)+G(i+1,j+1) …ｉ＋ｊが奇数の場合
となり、原画素Ｇの情報は、隣接する４生成点に広がってはいるものの（例えばＧ１２の場合は、(i,j)＝(0,1)，(0,2)，(1,1)．(1,2)の４生成点）、１生成点に対する寄与は常に１／２であって、隣接する同色Ｇの原画素点の情報と平均されるから、スムージング効果によってギザは目立たない。つまり、原画素Ｇについては必ず同色Ｇの原画素点が隣接するので（例えばＧ１２については、Ｇ０１，Ｇ０３，Ｇ２１，Ｇ２３）、４生成点のどの生成点についても、隣接する２つの原画素Ｇから信号が作られることになる。
【００１０】
この点補足すれば、高域輝度信号ＨＹをＧのみから求めるということはＲＢの情報を捨てていることになるから、その分ＳＮの低下を招いているものであるが、もしＲＢも加算すると色エッジ部による輝度信号のギザが強く生じるため好ましくないものである。すなわち、ベイヤ単位配列の４画素全てを加算して高域輝度信号ＨＹを生成する場合、つまり、式（１）の代わりに、
HY(i,j)=Σ[2×2(i,j)]×P(i’,j’) …（１）’
とした場合、これを書き下せば
HY(i,j)
=R(i,j)+G(i,j+1)+G(i+1,j)+B(i+1,j+1) …ｉ，ｊがともに偶数の場合
=G(i,j)+R(i,j+1)+B(i+1,j)+G(i+1,j+1) …ｉが偶数、ｊが奇数の場合
=G(i,j)+B(i,j+1)+R(i+1,j)+G(i+1,j+1) …ｉが奇数、ｊが偶数の場合
=B(i,j)+G(i,j+1)+G(i+1,j)+R(i+1,j+1) …ｉ，ｊがともに奇数の場合
となり、ＲまたはＢの原画素情報は隣接する４生成点に、寄与１で広がることになる。すなわち、ＲまたはＢに関しては４生成点のどの生成点についても隣接する同色の原画素を持たないので、各々の隣接４生成点に関して言えば全く同じ情報となっているものである（１画素のみの情報がそのまま隣接４生成点の情報となる）。従って、例えばＧ，Ｂ情報を含まない赤のエッジ部あるいはＲ，Ｇ情報を含まない青のエッジ部や赤と青のエッジ部では、実質的に画素密度が１／４に下がったのと同じ状態となり、見かけ上は４点ある画素が実際には１画素でしかないので、上記ギザが生じるものである。特にこれは局所的に生じるため、画像全体の一様な解像度低下よりもより一層顕著に目立つものであった。
【００１１】
このような事情から、ＳＮの低下を含んでもなお、上記Ｇのみを用いた処理が用いられているものであった。そして、上記のような処理により、撮像素子の画素数（被写体に対する画素密度）と同じ画素数（画素密度）の高解像度な画像生成が可能となっている。
【００１２】
【発明が解決しようとする課題】
一方、近年では撮像素子の高画素化が進み、画像の記録に際して撮像素子の画素数と同数の記録は必ずしも適当では無くなりつつある。すなわち、最近では、４００万画素の撮像素子を用いたものも民生用として供給されつつあり、今後６００万画素、さらには１０００万画素を持つものも実現されることが予想されている。このような多画素化（高画素密度化）に伴い、撮像素子の画素数と同数の記録画素数で記録画像を生成したのでは、記録画像のファイルサイズの肥大によりパーソナルコンピュータなどの実使用環境では過負荷となることはもちろん、フレームレートの低下、さらには撮像素子の１画素当たりの蓄積光電荷量の不足という撮像素子そのものによる原理的な要因によって画質（Ｓ／Ｎ、ダイナミックレンジ）が劣化する、という問題を招くことになる。
【００１３】
そこで、本出願人は、先に、標準的な記録画素数が撮像素子の画素数の１／４（縦横ともに１／２）であるような撮像装置を提案している（特願２０００−１７３９４７号明細書）。この撮像装置では、撮像素子から出力される例えば４００万画素の画像信号に対して、隣接する画素信号同士を加算して画素数を減らすという加算減数処理を施すことにより１００万画素の画像信号が生成され、これがメモリカードに所定の記録フォーマットで記録される。これにより、十分な感度およびダイナミックレンジを確保できるようになり、記録画質の向上を図ることができる。
【００１４】
しかし、このように例えば縦横ともに１／２の１／４画素数（画素密度が１／４）の記録を行なう際に、上記従来の信号処理を用いた場合は、
（１）上記信号処理により撮像素子画素数と同画素数のコンポーネント画像信号（Ｒ、Ｇ、ＢあるいはＹ、Ｒ−Ｙ、Ｂ−Ｙ）を生成
（２）画素を１／４間引き（または４画素加算）することにより画素密度が１／４の画像を生成
（３）圧縮等を含めた記録画像に対する信号処理を行なって画像を記録する
という手順が必要となる。
【００１５】
これは、２段階の、しかも１／４という記録画素密度に対してその４倍の画素信号（しかも加算でなく間引きの場合は不要な信号の方が多い）を一旦生成する処理を含むからメモリや演算時間を浪費する上、上記Ｇ信号しか用いてないことによるＳＮ劣化を伴うものであった。
【００１６】
本発明は上述の事情を考慮してなされたものであり、原画像情報からそれよりも低画素密度の画像を生成する場合に最適な信号処理の実現を図ることにより、信号処理の無駄を無くし、かつ疑似信号の増加を招くことなく記録画像のＳＮの向上を実現することが可能な画像生成装置および撮像装置を提供することを目的とする。
【００１７】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、２×２の４画素配列を単位配列とする２次元の周期配列を有し前記単位配列の４画素中２画素が同色で且つ対角配置されてなる色配列により生成される原画像情報から、その原画像情報に対して画素密度１／（２Ｎ）^２（ただし、Ｎは１以上の整数）の画像を生成する画像生成装置であって、共有画素を持たない隣接する（２Ｎ）^２個の画素配列を単位として、前記（２Ｎ）^２個の画素配列毎にその（２Ｎ）^２個の画素を加算することによって前記画素密度１／（２Ｎ）^２の画像に対応する各画素点の高域輝度信号を求め、前記（２Ｎ）^２個の画素配列を同心的に含みこれよりも大きい所定の色処理領域内の同色加算により前記（２Ｎ）^２個の画素配列を単位とする前記各画素点の低域原色信号およびこれに基づいた低域輝度信号を求め、前記高域輝度信号より求めた輝度エッジ信号を前記低域輝度信号に加算することにより前記各画素点の輝度信号を算出すると共に、前記低域原色信号および前記低域輝度信号に基づいて前記各画素点の色差信号を算出するように構成されていることを特徴とする。
【００１８】
また、本発明は、２×２の４画素配列を単位配列とする２次元の周期配列を有し前記単位配列の４画素中２画素が同色で且つ対角配置されてなる色配列により生成される原画像情報から、その原画像情報に対して画素密度１／（２Ｎ）^２（ただし、Ｎは１以上の整数）の画像を生成する画像生成装置であって、共有画素を持たない隣接する（２Ｎ）^２個の画素配列を単位として、前記（２Ｎ）^２個の画素配列毎にその（２Ｎ）^２個の画素を加算することによって前記画素密度１／（２Ｎ）^２の画像に対応する各画素点の高域輝度信号を求め、前記（２Ｎ）^２個の画素配列を同心的に含みこれよりも大きい所定の色処理領域内の同色加算により前記（２Ｎ）^２個の画素配列を単位とする前記各画素点の低域原色信号を求め、前記高域輝度信号より求めた輝度エッジ信号を前記低域原色信号に加算することにより前記各画素点の原色信号を算出するように構成されていることを特徴とする。
【００１９】
これら本発明の画像生成装置においては、画素密度１／（２Ｎ）^２（ただし、Ｎは１以上の整数）の画像に対応する各画素点の高域輝度信号を共有画素を持たない（２Ｎ）^２個の画素配列を単位としてそれら（２Ｎ）^２個の画素を加算して作り、これより大きい色信号処理領域から求めた低域原色信号と上述の高域輝度信号から求めた輝度エッジ信号とから所定のコンポーネント信号を各画素点毎に算出している。これにより、無駄な画素点生成が不要で、かつ輝度エッジ信号にＲＢ情報を含むことでＳＮの向上を図ることができる。しかも、このように（２Ｎ）^２個の画素配列を単位とする全画素加算によってＲＢ情報を含む輝度エッジ信号を生成しても、各原画素は生成画素１つにしか寄与しないから、色エッジによるギザの発生はない。よって、原画像情報からそれよりも低画素密度の画像を生成する場合に最適な信号処理の実現を図ることができる、信号処理の無駄を無くし、かつ疑似信号の増加を招くことなく記録画像のＳＮの向上を実現することが可能となる。
【００２０】
前記原画像情報としては、２×２の４画素配列を単位配列とする２次元の周期配列を有し前記単位配列の４画素中２画素が同色で且つ対角配置されてなる色配列の撮像素子の全画素を個別に読み出した情報を利用することができる。これにより、４００万画素、６００万画素あるいはそれ以上の多画素化された撮像素子からの全画素読み出しによって得られた情報から、容易に高画質の画像を生成することが可能となる。
【００２１】
また、前記Ｎの値は１とし、画素密度１／４の画像を２×２のベイヤ単位配列を単位とする画素点毎に生成することが好ましい。これにより、画質と解像度の双方をバランス良く保つことが可能となる。
【００２２】
また、本発明の画像生成装置をデジタルカメラなどの撮像装置に適用することにより、多画素化された撮像素子を利用する場合でも、記録画像のファイルサイズの増大等の問題を招くことなく、高画質の記録画像を得ることが可能となる。
【００２３】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図１には、本発明の一実施形態に係わる撮像装置の構成が示されている。ここでは、デジタルカメラとして実現した場合を例示して説明することにする。
【００２４】
図中１０１は各種レンズからなる撮像レンズ系、１０２はレンズ系１０１を駆動するためのレンズ駆動機構、１０３はレンズ系１０１の絞りを制御するための露出制御機構、１０４はローパスおよび赤外カット用の光学フィルタ、１０５はベイヤ配列のカラーフィルタを備えたＣＣＤカラー撮像素子、１０６は撮像素子１０５を駆動するためのＣＣＤドライバ、１０７はゲインコントロールアンプ，Ａ／Ｄ変換器等を含むプリプロセス回路、１０８はコンポーネント信号生成処理，その他各種のデジタル処理を行うためのデジタルプロセス回路、１０９はカードインターフェース、１１０はメモリカード、１１１はＬＣＤ画像表示系を示している。
【００２５】
撮像素子１０５としては、例えば４００万画素ベイヤ配列の順次走査型のものなどが利用される。
【００２６】
また、図中の１１２は各部を統括的に制御するためのシステムコントローラ（ＣＰＵ）、１１３は各種スイッチからなる操作スイッチ系、１１４は操作状態及びモード状態等を表示するための操作表示系、１１５はレンズ駆動機構１０２を制御するためのレンズドライバ、１１６は発光手段としてのストロボ、１１７はストロボ１１６を制御するための露出制御ドライバ、１１８は各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を示している。
【００２７】
本実施形態のデジタルカメラにおいては、システムコントローラ１１２が全ての制御を統括的に行っており、特にＣＣＤドライバ１０６によるＣＣＤ撮像素子１０５の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行い、それをプリプロセス回路１０７を介してデジタルプロセス回路１０８に取込んで記録用の画像信号を生成した後にカードインターフェース１０９を介してメモリカード１１０に記録するようになっている。
【００２８】
本実施形態のデジタルカメラに於いては、記録画素数が撮像素子１０５の画素数の１／（２Ｎ）^２（縦横とも１／２Ｎ）となるような画素加算撮像をデフォルトの撮影モードとして使用して被写体の撮像・記録を行うように構成されている。ここで、Ｎは１以上の整数である。以下、Ｎ＝１の場合、つまり撮像素子１０５の画素数の１／４（縦横とも１／２）の記録画像を得る場合を例示して、その画像生成のための信号処理について説明する。
【００２９】
（画素生成点）
図２には、ＣＣＤ撮像素子１０５から得られる原画像情報である４００万画素のベイヤ読み出し情報とこのベイヤ読み出し情報から１００画素の記録画像を得るための画素点（画素生成点）との関係が示されている。この図２においては、撮像素子１０５として、図４よりも２×２の４倍細密（高密度）なものを利用する場合を想定している。
【００３０】
本実施形態では、図２の太線で示すように、オーバーラップしない２×２のベイヤ単位画素配列毎に１つの割合で画素点ＨＹ（黒丸で図示）が生成される。つまり、画素点（ＨＹ）は共有画素を持たない（重複無しの）隣接する２×２の４画素単位で生成される。すなわち、着目する生成画素点の座標を（ｉ,ｊ）とすると、ｉ＝２ｍ（偶数）、かつｊ＝２ｎ（偶数）の点でのみ以下の信号生成を行なう。
【００３１】
（コンポーネント信号の生成）
高域輝度信号ＨＹ（ｉ，ｊ）は、共有画素を持たない４画素単位｛(R00,G01,G10,B11),(R02,G03,G12,B13),(RO4,G05,G14,B15),…｝でそこに含まれる４画素全てを用いて生成される。
【００３２】

ここで、総和記号Σ[2×2(i,j)]およびＰ(ｉ’,ｊ’)の意味は上記従来例と同じである。
【００３３】
このようにして求めた各高域輝度信号ＨＹ（ｉ，ｊ）に関して、それぞれ隣接する生成画素点の高域輝度信号ＨＹ（ｉ−２，ｊ），ＨＹ（ｉ，ｊ−２），ＨＹ（ｉ，ｊ＋２），ＨＹ（ｉ＋２，ｊ）との差分信号を求め、これを輝度エッジ信号ＡＰ（アパーチャー信号）とする。
AP(i,j)=4HY(i,j)-{HY(i-2,j)+HY(i,j-2)+HY(i,j+2)+HY(i+2,j)} …（８）
また、各生成画素点の低域原色信号ＬＲ，ＬＧ，ＬＢについては、高域輝度信号ＨＹよりも大きな領域、例えば着目点（ｉ,ｊ）の周囲の４×４＝１６画素の平均値、すなわちＧについては１６画素中に含まれる８画素の画素信号の平均値、Ｒ，Ｂについては１６画素中に含まれる対応する４画素の画素信号の平均値を用いて算出される。
LR(i,j)={Σ[4×4(i,j)]eR×P(i,j)}/4 …（９）Ｒ
LG(i,j)={Σ[4×4(i,j)]eG×P(i,j)}/8 …（９）Ｇ
LB(i,j)={Σ[4×4(i,j)]eB×P(i,j)}/4 …（９）Ｂ
ここで、ｅＧ，ｅＲ，ｅＢは前述のインデックス関数である。なお、本実施形態では、重複無しの４画素単位で１／４画像を得るための画素点を生成しているので、従来の式（３）に従えば８×８＝６４画素を色信号処理領域とすることになるが、式（９）で４×４＝１６画素を色信号処理領域としているのは、色解像度（分解能）を従来よりも高めるためである。
【００３４】
各生成画素点の低域輝度信号ＬＹは、0.3Ｒ＋0.59Ｇ＋0.11Ｂのマトリクス演算を低域原色信号ＬＲ，ＬＧ，ＬＢに対して施すことにより、
LY(i,j)=0.3LR(i,j)+0.59LG(i,j)+0.11LB(i,j) …（１０）
によって求められる。
【００３５】
そして、各生成画素点の広帯域の輝度信号Ｙ、および色差信号Ｒ−Ｙ，Ｂ−Ｙは、
Y(i,j)=LY(i,j)+k×AP(i,j)
R-Y(i,j)=LR(i,j)-LY(i,j)
B-Y(i,j)=LB(i,j)-LY(i,j) …（１１）
によって算出される。ｋは所定の計数である。
【００３６】
なお、画像のコンポーネント信号を原色信号Ｒ，Ｇ，Ｂで表現する場合には、式（１０）の低域輝度信号の算出は不要となり、低域原色信号ＬＲ，ＬＧ，ＬＢに輝度エッジ信号ＡＰを加算することによって、
R(i,j)=LR(i,j)+k×AP(i,j)
G(i,j)=LG(i,j)+k×AP(i,j)
B(i,j)=LB(i,j)+k×AP(i,j)） …（１２）
として求められる。
【００３７】
このようにして算出されたコンポーネント画像信号には必要に応じて圧縮を含む記録処理が施され、所定フォーマットの画像データとしてメモリカード１１０に記録される。
【００３８】
以上のように、本実施形態においては、図４で説明した従来のものよりも２×２＝４倍細密な（高密度な）撮像素子を用いて従来と同等の記録画素数（例えば１００万画素）の画像を生成しているので、
・輝度解像度（高域レスポンス）は生成画素の実質開口が小さい分高くなる
・各原画素は生成画素１つにしか寄与せず画素の広がりが無いから、色エッジによるギザも無くなる。
【００３９】
・８×８＝６４画素ではなく、４×４＝１６画素を色信号処理領域としているので、色解像度（分解能）も高い。
【００４０】
また、この同じ高密度な撮像素子を用いて、従来の信号処理処理を行なった場合には図３のように４００万画素の生成画素点毎にＧのみを用いた高域輝度信号の生成が行われることになり、また４００万画素の生成画素点毎に生成したコンポーネント信号を最後に間引くなどの処理が必要となるため、これと比較すると、
・信号処理に無駄が無く、従って高速、かつバッファメモリも小さくて済む。
【００４１】
・ＲＢ情報を含むためＳＮが向上する。
【００４２】
・局所的なギザの発生が無い。
【００４３】
（・色解像度は同等。）
という効果が得られる。
【００４４】
なお、この他にも様々な実施形態が考えられる。
【００４５】
例えば、上記説明では撮像素子１０５により得られた原画像情報に対して信号処理を施したが、撮像素子１０５により得られた原画像情報を記録媒体等に記録しておき、後にその記録媒体から必要な原画像情報を読み出して上述の信号処理を施すようにしても良い。この場合、画像生成のための信号処理はデジタルカメラなどの撮像装置に限らず、専用の装置やパーソナルコンピュータなどで行うこともできる。
【００４６】
また、インデックス関数は“１”または“０”としたが、式（７）のように全画素を加算する場合をも含めて、着目点からの距離に応じた任意の重み付けを各画素の信号Ｐ（ｉ，ｊ）に対して施しても良い。（上記で“１”としたのは単に説明上の簡単化のためである。）。また、式（７）のように全画素を加算する場合には、輝度マトリクス係数などを用いて、色による重み付けを採用しても良い。さらに、式（９）については、従来と同等の色解像度でよければ、８×８の色信号領域を使用するようにしても良い。
【００４７】
また、本実施形態の信号処理は４画素加算に限らず、任意の（２Ｎ）^２加算に拡張する事ができ、画素密度１／（２Ｎ）^２（縦横とも１／２Ｎ）となるような信号処理に適用することができる。すなわち、本実施形態では画素密度１／４の画像を生成する場合の信号処理を例示したが、画素密度１／１６、画素密度１／３６、…の画像生成のための信号処理にも適用することができる。いずれの場合も、生成画像点の単位は（２Ｎ）^２個の画素毎となり、高域輝度信号はそれら（２Ｎ）^２個の画素全ての加算により生成される。
【００４８】
【発明の効果】
以上説明したように、本発明によれば、撮像素子などから得られた原画像情報からそれよりも低画素密度の画像を生成する場合に最適な信号処理を実現できるようになり、信号処理の無駄が無く、かつ疑似信号の増加を招くことなく記録画像のＳＮの向上を図ることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る撮像装置の構成を示すブロック図。
【図２】同実施形態の撮像装置で使用される撮像素子により得られる原画像情報とこの原画像情報から低画素密度の画像を生成するための画素生成点との関係を示す図。
【図３】図２の撮像素子により得られる原画像情報に対して従来の信号処理を施す場合の画素生成点を説明するための図。
【図４】撮像素子により得られる従来の原画像情報と画素生成点との関係を示す図。
【符号の説明】
１０１…レンズ系
１０２…レンズ駆動機構
１０３…露出制御機構
１０４…フィルタ
１０５…ＣＣＤカラー撮像素子
１０６…ＣＣＤドライバ
１０７…プリプロセス回路
１０８…デジタルプロセス回路
１０９…カードインターフェース
１１０…メモリカード
１１１…ＬＣＤ画像表示系
１１２…システムコントローラ（ＣＰＵ）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image generation apparatus and an imaging apparatus, and more particularly to an image generation apparatus and an imaging apparatus that generate an image signal for recording using Bayer readout information that is original image information generated using a Bayer array.
[0002]
[Prior art]
Conventionally, a single-plate color imaging device using a Bayer array as a color array has been widely used. The Bayer array handled here is a periodic array having 2 × 2 4 pixels as a unit array, in which 2 pixels of the 4 pixels in the unit array have the same color, and 2 pixels of the same color are diagonally arranged. is there. An example of a typical RGB Bayer array is shown in FIG.
[0003]
There are various signal processing methods for generating component color signals (R, G, B or Y, RY, BY) using an RGB Bayer array as shown in FIG. Shown in
[0004]
In the following description, the coordinates of the original pixel point and the point of interest (generated pixel point) are (i, j), and index functions eG, eR, eB are introduced for each of R, G, B for simplicity. To do. As shown at the left end and the upper end in FIG. 4, the lattice phase is shifted by a half pitch between the original pixel point and the generated pixel point. The index function eG is a function for extracting only the G component from a certain signal processing area. The index function eG is “1” for the G pixel area and “0” for the other color pixel areas. It becomes. For example, when the index function eG is applied to four pixels R00, G01, G10, and B11 in FIG. 4, “0”, “1”, “1”, and “0” are obtained. The same applies to eR and eB.
[0005]
The high-frequency luminance signal HY (i, j) is a four-pixel unit {(R00, G01, G10, B11), (G01, R02, B11, G12) obtained by shifting one pixel at a time so as to include a shared pixel. , (R02, G03, G12, B13), (G03, R04, B13, G14), (R04, G05, G14, B15),...}, Using only G contained therein.
HY (i, j) = Σ [2 × 2 (i, j)] eG × P (i ′, j ′) (1)
Here, the symbol Σ [2 × 2 (i, j)] means the sum (with the pixel coordinates as a variable) regarding the 2 × 2 (original pixel) adjacent to the point of interest (i, j). P (i ′, j ′) represents the signal output value of the original pixel at the coordinates (i ′, j ′). Therefore, the high-frequency luminance signal HY (i, j) {= HY (0,0)} corresponding to (i, j) = (0,0) in FIG. 4 is represented by four adjacent pixels R00, G01, G10, It is generated from the sum of the image signals G01 and G10 in B11. Similarly, HY (0, 1) is generated from the sum of the image signals G01 and G12, and HY (0, 2) is generated from the sum of the image signals G12 and G03.
[0006]
With respect to each high-frequency luminance signal HY (i, j) obtained in this way, the high-frequency luminance signals HY (i−1, j) and HY (i, j−1) of the coordinates (of the generated pixel points) that are adjacent to each other. ), HY (i, j + 1), HY (i + 1, j), and a difference signal is obtained as a luminance edge signal AP (aperture signal).
AP (i, j) = 4HY (i, j)-{HY (i-1, j) + HY (i, j-1) + HY (i, j + 1) + HY (i + 1, j) }… (2)
Further, for the low-frequency primary color signals LR, LG, and LB, an area larger than the high-frequency luminance signal HY, for example, an average value of 4 × 4 = 16 pixels around the point of interest (i, j), that is, G is 16 The average value of the pixel signals of 8 pixels included in the pixel, and R and B are calculated using the average values of the corresponding pixel signals of 4 pixels included in 16 pixels. Using the same notation as above,
LR (i, j) = {Σ [4 × 4 (i, j)] eR × P (i ′, j ′)} / 4 (3) R
LG (i, j) = {Σ [4 × 4 (i, j)] eG × P (i ′, j ′)} / 8 (3) G
LB (i, j) = {Σ [4 × 4 (i, j)] eB × P (i ′, j ′)} / 4 (3) B
The low-frequency luminance signal LY is obtained by performing a matrix calculation of 0.3R + 0.59G + 0.11B on the low-frequency primary color signals LR, LG, LB.
LY (i, j) = 0.3LR (i, j) + 0.59LG (i, j) + 0.11LB (i, j) (4)
Sought by.
[0007]
The broadband luminance signal Y and the color difference signals RY and BY are
Y (i, j) = LY (i, j) + k × AP (i, j)
RY (i, j) = LR (i, j) -LY (i, j)
BY (i, j) = LB (i, j) -LY (i, j) (5)
Is calculated by k is a predetermined count. When Expression (5) is expressed by R, G, B signals,
R (i, j) = LR (i, j) + k × AP (i, j)
G (i, j) = LG (i, j) + k × AP (i, j)
B (i, j) = LB (i, j) + k × AP (i, j) (6)
It becomes. This equation (6) is completely equivalent to equation (5).
[0008]
In this way, the luminance edge signal (high-frequency luminance signal) AP obtained by the equations (1) and (2) is added to the low-frequency luminance signal LY obtained by the equation (4) to obtain a broadband luminance signal Y. However, the color difference signals RY and BY are processed only in the low frequency range, and as can be seen from the equation (6), the RGB color signals LR, LG, and LB are displayed. In RGB, the same (and hence achromatic) high-frequency signal (k × AP) is superimposed, so that the signal processing is less likely to cause false colors at the edges. (For example, if a (wideband) luminance signal is calculated as it is from information of only four pixels of a Bayer without performing such band-by-band processing, and simple matrix calculation is performed, false colors are prominently generated at the edge portion. There is an inconvenience.)
Further, since the high-frequency luminance signal HY is obtained from G only by the equation (1), the luminance signal is prevented from being jagged by the color edge portion.
[0009]
That is, if formula (1) is written down
HY (i, j) = G (i, j + 1) + G (i + 1, j) ... When i + j is an even number
G (i, j) + G (i + 1, j + 1) ... i + j is an odd number, and the information of the original pixel G is spread over four adjacent generation points (for example, in the case of G12, (i, j) = (0,1), (0,2), (1,1). (1,2) (4 generation points)) The contribution to one generation point is always ½ and adjacent Since this is averaged with the information of the original pixel point of the same color G, the jaggedness is not noticeable due to the smoothing effect. That is, since the original pixel point of the same color G is always adjacent to the original pixel G (for example, G01, G03, G21, and G23 for G12), two adjacent original pixels G are generated at any of the four generation points. A signal will be created from
[0010]
Supplementing this point, obtaining the high-frequency luminance signal HY only from G results in discarding RB information, which causes a decrease in SN, but if RB is also added. This is not preferable because the luminance signal is strongly jagged by the color edge portion. That is, when all the four pixels of the Bayer unit array are added to generate the high frequency luminance signal HY, that is, instead of the expression (1),
HY (i, j) = Σ [2 × 2 (i, j)] × P (i ′, j ′) (1) ′
If you write this,
HY (i, j)
= R (i, j) + G (i, j + 1) + G (i + 1, j) + B (i + 1, j + 1) ... When i and j are both even
= G (i, j) + R (i, j + 1) + B (i + 1, j) + G (i + 1, j + 1) ... when i is even and j is odd
= G (i, j) + B (i, j + 1) + R (i + 1, j) + G (i + 1, j + 1) ... When i is odd and j is even
= B (i, j) + G (i, j + 1) + G (i + 1, j) + R (i + 1, j + 1)... Where i and j are both odd numbers, R or B The original pixel information is spread with contribution 1 to four adjacent generation points. That is, regarding R or B, since none of the four generation points has an adjacent original pixel of the same color, the information is exactly the same for each of the four adjacent generation points (only one pixel). Is the information of the four adjacent generation points as it is). Therefore, for example, in a red edge portion that does not include G and B information, a blue edge portion that does not include R and G information, or a red and blue edge portion, the pixel density is substantially reduced to ¼. The above-mentioned jaggedness occurs because the number of apparently four pixels is actually only one pixel. In particular, since this occurs locally, it is more conspicuous than the uniform resolution reduction of the entire image.
[0011]
Under such circumstances, the process using only G is used even if the SN is reduced. By the processing as described above, it is possible to generate a high-resolution image having the same number of pixels (pixel density) as the number of pixels of the image sensor (pixel density with respect to the subject).
[0012]
[Problems to be solved by the invention]
On the other hand, in recent years, the number of pixels of the image sensor has been increased, and recording of the same number of pixels as that of the image sensor is not necessarily appropriate when recording an image. That is, recently, those using an image sensor with 4 million pixels are being supplied for consumer use, and it is expected that those with 6 million pixels and even 10 million pixels will be realized in the future. Along with this increase in the number of pixels (higher pixel density), a recorded image is generated with the same number of recording pixels as the number of pixels of the image sensor. In addition to overloading, image quality (S / N, dynamic range) deteriorates due to the fundamental factor of the image sensor itself, such as a decrease in the frame rate and an insufficient amount of accumulated photocharge per pixel of the image sensor. Will lead to the problem.
[0013]
Therefore, the present applicant has previously proposed an imaging device in which the standard number of recording pixels is 1/4 of the number of pixels of the imaging device (1/2 in both vertical and horizontal directions) (Japanese Patent Application No. 2000-173947). Issue description). In this imaging apparatus, for example, an image signal of 1 million pixels is obtained by performing an addition reduction process of adding adjacent pixel signals to reduce the number of pixels with respect to an image signal of, for example, 4 million pixels output from the image sensor. And is recorded in a predetermined recording format on the memory card. As a result, sufficient sensitivity and dynamic range can be secured, and the recording image quality can be improved.
[0014]
However, when the conventional signal processing is used when recording with 1/4 pixel number (pixel density is 1/4) in both the vertical and horizontal directions, for example,
(1) Generate the component image signal (R, G, B or Y, RY, BY) having the same number of pixels as the number of pixels of the image sensor by the signal processing. (2) Decimate the pixels by 1/4 (or 4 An image having a pixel density of 1/4 is generated by performing (pixel addition). (3) A procedure is required in which signal processing is performed on a recorded image including compression and the image is recorded.
[0015]
This includes a process of once generating a pixel signal of four times the recording pixel density in two stages and 1/4 (there are more unnecessary signals in the case of thinning rather than addition). In addition, the calculation time is wasted and SN degradation is caused by using only the G signal.
[0016]
The present invention has been made in consideration of the above-described circumstances, and eliminates the waste of signal processing by realizing optimal signal processing when an image having a lower pixel density than that is generated from original image information. An object of the present invention is to provide an image generation apparatus and an imaging apparatus capable of improving the SN of a recorded image without causing an increase in pseudo signals.
[0017]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the present invention has a two-dimensional periodic array in which a 2 × 2 four-pixel array is a unit array, and two of the four pixels in the unit array have the same color and are diagonally arranged. An image generation apparatus that generates an image having a pixel density of 1 / (2N) ² (where N is an integer equal to or greater than 1) from the original image information generated by the color arrangement. adjacent without a pixel ^(2N) in units of ² pixels array, the ^(2N) Part every ^two pixel array ^(2N) said by adding ^two pixels pixel density 1 / (2N) seeking high-frequency luminance signal of each pixel point corresponding to the ^second image, the (2N) said by the same color addition of ^two comprises a pixel array concentrically thereto a predetermined color processing region larger than (2N) ² A low-frequency primary color signal at each pixel point in units of pixel arrangement. And calculating a luminance signal at each pixel point by adding a luminance edge signal obtained from the high-frequency luminance signal to the low-frequency luminance signal, and obtaining the low-frequency luminance signal based on the low-frequency luminance signal. The color difference signal of each pixel point is calculated based on the low-frequency luminance signal.
[0018]
Further, the present invention has a two-dimensional periodic array in which a 2 × 2 four-pixel array is a unit array, and is generated by a color array in which two of the four pixels in the unit array have the same color and are diagonally arranged. Image generating apparatus that generates an image having a pixel density of 1 / (2N) ² (where N is an integer equal to or greater than 1) from the original image information. (2N) By taking ² pixel arrays as a unit, the (2N) ² pixels are added to the (2N) ² pixel arrays to correspond to the image having the pixel density 1 / (2N) ^2. obtains a high frequency luminance signal of each pixel point, the (2N) ^two said the same color addition of including a pixel array concentrically than this predetermined greater color processing region (2N) units ² pixels array The low frequency primary color signal of each pixel point is obtained and the high frequency luminance signal is obtained. The luminance edge signal obtained from the signal is added to the low-frequency primary color signal to calculate the primary color signal at each pixel point.
[0019]
In these image generation apparatuses of the present invention, the high-frequency luminance signal at each pixel point corresponding to an image having a pixel density of 1 / (2N) ² (where N is an integer equal to or greater than 1) does not have a shared pixel (2N). ^Two pixel arrays as a unit, these (2N) ^two pixels are added, and a low-frequency primary color signal obtained from a larger color signal processing area and a luminance edge signal obtained from the above-described high-frequency luminance signal; From the above, a predetermined component signal is calculated for each pixel point. Thereby, useless pixel point generation is unnecessary, and SN can be improved by including RB information in the luminance edge signal. In addition, even when a luminance edge signal including RB information is generated by adding all pixels in units of (2N) ^two pixel arrays in this way, each original pixel contributes to only one generated pixel. There is no occurrence of jaggedness. Therefore, it is possible to realize optimal signal processing when generating an image having a lower pixel density than the original image information, eliminating waste of signal processing and increasing the number of pseudo signals. It is possible to improve the SN.
[0020]
The original image information includes a two-dimensional periodic array having a 2 × 2 four-pixel array as a unit array, and imaging of a color array in which two of the four pixels in the unit array have the same color and are diagonally arranged. Information obtained by individually reading all the pixels of the element can be used. As a result, it is possible to easily generate a high-quality image from information obtained by reading out all the pixels from an image sensor having a multi-pixel configuration of 4 million pixels, 6 million pixels or more.
[0021]
Further, it is preferable that the value of N is 1, and an image having a pixel density of ¼ is generated for each pixel point having a 2 × 2 Bayer unit array as a unit. As a result, both the image quality and the resolution can be kept in good balance.
[0022]
In addition, by applying the image generation apparatus of the present invention to an image pickup apparatus such as a digital camera, even when using an image pickup device having a large number of pixels, it is possible to increase the file size of the recorded image without causing problems. It is possible to obtain a recorded image with high image quality.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows the configuration of an imaging apparatus according to an embodiment of the present invention. Here, the case where it implement | achieves as a digital camera is illustrated and demonstrated.
[0024]
In the figure, 101 is an imaging lens system composed of various lenses, 102 is a lens driving mechanism for driving the

lens system

101, 103 is an exposure control mechanism for controlling the diaphragm of the

lens system

101, and 104 is for low-pass and infrared cut. 105, a CCD color image pickup device having a Bayer array color filter, 106 a CCD driver for driving the image pickup device 105, 107 a preprocess circuit including a gain control amplifier, an A / D converter, etc. Reference numeral 108 denotes a digital process circuit for performing component signal generation processing and other various digital processes, 109 denotes a card interface, 110 denotes a memory card, and 111 denotes an LCD image display system.
[0025]
As the imaging element 105, for example, a sequential scanning type having a 4 million pixel Bayer array is used.
[0026]
In the figure, 112 is a system controller (CPU) for comprehensively controlling each part, 113 is an operation switch system including various switches, 114 is an operation display system for displaying an operation state, a mode state, and the like, 115. Is a lens driver for controlling the lens driving mechanism 102, 116 is a strobe as a light emitting means, 117 is an exposure control driver for controlling the

strobe

116, 118 is a non-volatile memory (EEPROM) for storing various setting information, etc. ).
[0027]
In the digital camera of this embodiment, the system controller 112 performs all the control, and in particular, controls the drive of the CCD image sensor 105 by the CCD driver 106 to perform exposure (charge accumulation) and signal readout. These are taken into the digital process circuit 108 via the preprocess circuit 107 to generate an image signal for recording, and then recorded on the memory card 110 via the card interface 109.
[0028]
In the digital camera of this embodiment, pixel addition imaging in which the number of recorded pixels is 1 / (2N) ² (1 / 2N in both vertical and horizontal) of the number of pixels of the image sensor 105 is used as a default imaging mode. The subject is imaged and recorded. Here, N is an integer of 1 or more. In the following, signal processing for image generation will be described by exemplifying a case where N = 1, that is, a case where a recorded image of 1/4 of the number of pixels of the image sensor 105 (1/2 in both vertical and horizontal directions) is obtained.
[0029]
(Pixel generation point)
FIG. 2 shows the relationship between the 4 million pixel Bayer readout information, which is the original image information obtained from the CCD image sensor 105, and the pixel point (pixel generation point) for obtaining a recorded image of 100 pixels from this Bayer readout information. It is shown. In FIG. 2, it is assumed that the imaging element 105 uses a 2 × 2 4 times finer (higher density) device than that in FIG. 4.
[0030]
In the present embodiment, as indicated by a thick line in FIG. 2, one pixel point HY (illustrated by a black circle) is generated for each non-overlapping 2 × 2 Bayer unit pixel array. That is, the pixel point (HY) is generated in units of adjacent 2 × 2 4 pixels that do not have a shared pixel (no overlap). In other words, if the coordinates of the generation pixel point of interest are (i, j), the following signal generation is performed only at points where i = 2m (even number) and j = 2n (even number).
[0031]
(Component signal generation)
The high-frequency luminance signal HY (i, j) is a 4-pixel unit having no shared pixel {(R00, G01, G10, B11), (R02, G03, G12, B13), (RO4, G05, G14, B15) ,...} Are generated using all four pixels included therein.
[0032]

Here, the meanings of the summation symbols Σ [2 × 2 (i, j)] and P (i ′, j ′) are the same as in the conventional example.
[0033]
With respect to each high frequency luminance signal HY (i, j) obtained in this way, the high frequency luminance signals HY (i−2, j), HY (i, j−2), HY ( A difference signal from i, j + 2) and HY (i + 2, j) is obtained, and this is used as a luminance edge signal AP (aperture signal).
AP (i, j) = 4HY (i, j)-{HY (i-2, j) + HY (i, j-2) + HY (i, j + 2) + HY (i + 2, j) } (8)
Further, for the low-frequency primary color signals LR, LG, and LB at each generated pixel point, an area larger than the high-frequency luminance signal HY, for example, an average value of 4 × 4 = 16 pixels around the point of interest (i, j), That is, G is calculated using an average value of pixel signals of 8 pixels included in 16 pixels, and R and B are calculated using an average value of pixel signals of corresponding 4 pixels included in 16 pixels.
LR (i, j) = {Σ [4 × 4 (i, j)] eR × P (i, j)} / 4 (9) R
LG (i, j) = {Σ [4 × 4 (i, j)] eG × P (i, j)} / 8 (9) G
LB (i, j) = {Σ [4 × 4 (i, j)] eB × P (i, j)} / 4 (9) B
Here, eG, eR, eB are the index functions described above. In the present embodiment, pixel points for obtaining a ¼ image are generated in units of four pixels with no overlap. Therefore, according to the conventional equation (3), 8 × 8 = 64 pixels are color signal processed. Although the area is defined as the area, the reason why 4 × 4 = 16 pixels are used as the color signal processing area in Equation (9) is to increase the color resolution (resolution) as compared with the conventional technique.
[0034]
The low-frequency luminance signal LY at each generated pixel point is obtained by performing a matrix operation of 0.3R + 0.59G + 0.11B on the low-frequency primary color signals LR, LG, LB.
LY (i, j) = 0.3LR (i, j) + 0.59LG (i, j) + 0.11LB (i, j) (10)
Sought by.
[0035]
Then, the broadband luminance signal Y and the color difference signals RY, BY of each generated pixel point are
Y (i, j) = LY (i, j) + k × AP (i, j)
RY (i, j) = LR (i, j) -LY (i, j)
BY (i, j) = LB (i, j) -LY (i, j) (11)
Is calculated by k is a predetermined count.
[0036]
When the component signal of the image is expressed by the primary color signals R, G, B, it is not necessary to calculate the low-frequency luminance signal of Expression (10), and the luminance edge signal AP is added to the low-frequency primary color signals LR, LG, LB. By adding
R (i, j) = LR (i, j) + k × AP (i, j)
G (i, j) = LG (i, j) + k × AP (i, j)
B (i, j) = LB (i, j) + k × AP (i, j)) (12)
As required.
[0037]
The component image signal calculated in this manner is subjected to recording processing including compression as necessary, and is recorded in the memory card 110 as image data of a predetermined format.
[0038]
As described above, in the present embodiment, the number of recorded pixels (for example, 1 million) equivalent to the conventional one using a 2 × 2 = 4 times finer (higher density) image sensor than the conventional one described in FIG. Pixel) image,
Luminance resolution (high frequency response) increases as the actual aperture of the generated pixel is small. Each original pixel contributes to only one generated pixel and there is no pixel spread, so there is no jaggedness due to color edges.
[0039]
Since the color signal processing area is not 4 × 8 = 64 pixels but 4 × 4 = 16 pixels, the color resolution (resolution) is also high.
[0040]
Further, when conventional signal processing is performed using the same high-density imaging device, a high-frequency luminance signal using only G is generated for each generation pixel point of 4 million pixels as shown in FIG. In addition, since processing such as thinning out the component signal generated for each generation pixel point of 4 million pixels is necessary at the end,
-There is no waste in signal processing, so it is fast and the buffer memory is small.
[0041]
-Since RB information is included, SN improves.
[0042]
・ There is no local jaggedness.
[0043]
(The color resolution is the same.)
The effect is obtained.
[0044]
Various other embodiments are conceivable.
[0045]
For example, in the above description, signal processing is performed on the original image information obtained by the image sensor 105. However, the original image information obtained by the image sensor 105 is recorded on a recording medium or the like, and then the original image information is obtained from the recording medium. Necessary original image information may be read out and subjected to the signal processing described above. In this case, signal processing for image generation is not limited to an imaging device such as a digital camera, but can be performed by a dedicated device or a personal computer.
[0046]
In addition, although the index function is “1” or “0”, an arbitrary weight corresponding to the distance from the point of interest is given to each pixel signal including the case where all the pixels are added as in Expression (7). It may be applied to P (i, j). (The above “1” is only for simplicity of explanation.) In addition, when all the pixels are added as in Expression (7), color weighting may be employed using a luminance matrix coefficient or the like. Further, for the expression (9), an 8 × 8 color signal area may be used as long as the color resolution equivalent to the conventional one is acceptable.
[0047]
The signal processing of this embodiment is not limited to 4-pixel addition, but can be expanded to any (2N) ² addition, and the signal has a pixel density of 1 / (2N) ² (vertical and horizontal 1 / 2N). It can be applied to processing. That is, in the present embodiment, the signal processing in the case of generating an image having a pixel density of 1/4 is exemplified, but the present invention is also applied to signal processing for generating an image having a pixel density of 1/16, a pixel density of 1/36,. be able to. In either case, the unit of the generated image point becomes (2N) every ^two pixels, high-frequency luminance signal is generated by their (2N) ^two pixels every addition.
[0048]
【The invention's effect】
As described above, according to the present invention, it is possible to realize optimal signal processing when generating an image having a lower pixel density from original image information obtained from an image sensor or the like. It is possible to improve the SN of the recorded image without waste and without increasing the pseudo signal.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing a relationship between original image information obtained by an image sensor used in the imaging apparatus of the embodiment and pixel generation points for generating an image with a low pixel density from the original image information.
3 is a diagram for explaining pixel generation points when conventional signal processing is performed on original image information obtained by the image sensor of FIG. 2; FIG.
FIG. 4 is a diagram showing a relationship between conventional original image information obtained by an image sensor and pixel generation points.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 101 ... Lens system 102 ... Lens drive mechanism 103 ... Exposure control mechanism 104 ... Filter 105 ... CCD color image sensor 106 ... CCD driver 107 ... Preprocess circuit 108 ... Digital process circuit 109 ... Card interface 110 ... Memory card 111 ... LCD image display System 112 ... System controller (CPU)

Claims

From original image information generated by a color array having a two-dimensional periodic array having a 2 × 2 four-pixel array as a unit array and two pixels out of the four pixels of the unit array having the same color and diagonally arranged, An image generation apparatus that generates an image having a pixel density of 1 / (2N) ² (where N is an integer equal to or greater than 1) with respect to the original image information,
Adjacent no shared pixel (2N) in units of ² pixels array, the (2N) the pixel density by adding the (2N) ^two pixels for each ^two pixels arranged 1 / (2N ) obtains a high-frequency luminance signal of each pixel point corresponding to the ^second image, the (2N) said by the same color adding ^two includes pixels arranged concentrically thereto a predetermined color processing region larger than (2N) wherein the ^two pixel array as a unit obtains the low frequency color signals and the low frequency luminance signal based thereon for each pixel point, adds the luminance edge signal obtained from the high frequency luminance signal into the low frequency luminance signal In this way, the luminance signal of each pixel point is calculated, and the color difference signal of each pixel point is calculated based on the low-frequency primary color signal and the low-frequency luminance signal. Generator.

From original image information generated by a color array having a two-dimensional periodic array having a 2 × 2 four-pixel array as a unit array and two pixels out of the four pixels of the unit array having the same color and diagonally arranged, An image generation apparatus that generates an image having a pixel density of 1 / (2N) ² (where N is an integer equal to or greater than 1) with respect to the original image information,
Adjacent no shared pixel (2N) in units of ² pixels array, the (2N) the pixel density by adding the (2N) ^two pixels for each ^two pixels arranged 1 / (2N ) obtains a high-frequency luminance signal of each pixel point corresponding to the ^second image, the (2N) said by the same color adding ^two includes pixels arranged concentrically thereto a predetermined color processing region larger than (2N) ^A primary color signal at each pixel point is obtained by obtaining a low-frequency primary color signal at each pixel point in units of two pixel arrays and adding a luminance edge signal obtained from the high-frequency luminance signal to the low-frequency primary color signal. An image generation device configured to calculate

The original image information has a two-dimensional periodic array having a 2 × 2 four-pixel array as a unit array, and an image sensor having a color array in which two of the four pixels in the unit array have the same color and are diagonally arranged. The image generation apparatus according to claim 1, wherein the information is information obtained by individually reading all the pixels.

The value of N is 1, and a high-frequency luminance signal at each pixel point corresponding to an image having a pixel density of 1/4 is obtained by adding the four pixels for each 2 × 2 unit array. The image generation apparatus according to claim 1.

An image pickup device having a two-dimensional periodic arrangement having a 2 × 2 four-pixel arrangement as a unit arrangement and having a color arrangement in which two of the four pixels of the unit arrangement are the same color and diagonally arranged; and The pixel density 1 / (2N) ^{2 with} respect to the information of all the pixels from the driving means that drives and individually reads the information of all the pixels of the image sensor and the information for all the pixels read from the image sensor. An image generation unit that generates an image (where N is an integer equal to or greater than 1), and is capable of recording an image generated by the image generation unit on a recording medium according to a predetermined recording format,
The image generation means includes
Adjacent no shared pixel (2N) in units of ² pixels array, the (2N) the pixel density by adding the (2N) ^two pixels for each ^two pixels arranged 1 / (2N ) obtains a high-frequency luminance signal of each pixel point corresponding to the ^second image, the (2N) said by the same color adding ^two includes pixels arranged concentrically thereto a predetermined color processing region larger than (2N) wherein the ^two pixel array as a unit obtains the low frequency color signals and the low frequency luminance signal based thereon for each pixel point, adds the luminance edge signal obtained from the high frequency luminance signal into the low frequency luminance signal Thus, the luminance signal of each pixel point is calculated, and the color difference signal of each pixel point is calculated based on the low-frequency primary color signal and the low-frequency luminance signal. apparatus.

An image pickup device having a two-dimensional periodic arrangement having a 2 × 2 four-pixel arrangement as a unit arrangement and having a color arrangement in which two of the four pixels of the unit arrangement are the same color and diagonally arranged; and The pixel density 1 / (2N) ^{2 with} respect to the information of all the pixels from the driving means that drives and individually reads the information of all the pixels of the image sensor and the information for all the pixels read from the image sensor. An image generation unit that generates an image (where N is an integer equal to or greater than 1), and is capable of recording an image generated by the image generation unit on a recording medium according to a predetermined recording format,
The image generation means includes
Adjacent no shared pixel (2N) in units of ² pixels array, the (2N) the pixel density by adding the (2N) ^two pixels for each ^two pixels arranged 1 / (2N ) obtains a high-frequency luminance signal of each pixel point corresponding to the ^second image, the (2N) said by the same color adding ^two includes pixels arranged concentrically thereto a predetermined color processing region larger than (2N) ^A primary color signal at each pixel point is obtained by obtaining a low-frequency primary color signal at each pixel point in units of two pixel arrays and adding a luminance edge signal obtained from the high-frequency luminance signal to the low-frequency primary color signal. An image pickup apparatus configured to calculate