JP4334740B2 - Image generating apparatus and imaging apparatus - Google Patents
Image generating apparatus and imaging apparatus Download PDFInfo
- Publication number
- JP4334740B2 JP4334740B2 JP2000185094A JP2000185094A JP4334740B2 JP 4334740 B2 JP4334740 B2 JP 4334740B2 JP 2000185094 A JP2000185094 A JP 2000185094A JP 2000185094 A JP2000185094 A JP 2000185094A JP 4334740 B2 JP4334740 B2 JP 4334740B2
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- pixel
- image
- array
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title description 19
- 230000000737 periodic effect Effects 0.000 claims description 9
- 238000003491 array Methods 0.000 claims description 6
- 238000001454 recorded image Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000002699 waste material Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Input (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Editing Of Facsimile Originals (AREA)
- Color Image Communication Systems (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は画像生成装置および撮像装置に関し、特にベイヤ配列を用いて生成される原画像情報であるベイヤ読み出し情報を用いて記録用の画像信号を生成する画像生成装置および撮像装置に関する。
【0002】
【従来の技術】
従来より、色配列としてベイヤ配列を用いた単板カラー撮像装置が広く用いられている。ここで扱うベイヤ配列とは、2×2の4画素を単位配列とする周期配列で、その単位配列の4画素中2画素が同色であり、この同色の2画素が対角配置されたものである。代表的なRGBベイヤ配列の一例を図4に示す。
【0003】
図4に示すようなRGBベイヤ配列を用いてコンポーネント色信号(R、G、BあるいはY、R−Y、B−Y)を生成する信号処理方式には各種あるが、典型的な例を以下に示す。
【0004】
なお、以下では、原画素点および着目点(生成画素点)の座標を(i,j)とし、また簡単のためにR,G,B毎にインデックス関数eG,eR,eBを導入することにする。図4の左端と上端に示すように原画素点と生成画素点では格子位相が半ピッチずれているから、同じ数値の座標の場合にも空間位置がその分だけ異なっている。また、インデックス関数eGはある信号処理領域の中からG成分のみを抽出するための関数であり、Gの画素領域に対しては“1”、他の色の画素領域に対しては“0”となる。例えば図4のR00,G01,G10,B11の4画素に対してインデックス関数eGを適用すると、“0”,“1”,“1”,“0”が得られることになる。eR,eBについても同様である。
【0005】
高域輝度信号HY(i,j)は、共有画素を含むように1画素ずつずらして組み合わせを変えた4画素単位{(R00,G01,G10,B11),(G01,R02,B11,G12),(R02,G03,G12,B13),(G03,R04,B13,G14),(R04,G05,G14,B15),…}でそこに含まれるGのみを用いて生成される。
HY(i,j)=Σ[2×2(i,j)]eG×P(i’,j’) …(1)
ここで、記号Σ[2×2(i,j)]は着目点(i,j)の隣接する2×2の(原画素の)4画素領域に関する(画素座標を変数とする)総和を意味し、またP(i’,j’)は座標(i’,j’)の原画素の信号出力値を示している。よって、図4の(i,j)=(0,0)に対応する高域輝度信号HY(i,j){=HY(0,0)}は、近接する4画素R00,G01,G10,B11の中の、G01とG10の画像信号の和から生成されることになる。同様にして、G01とG12の画像信号の和からHY(0,1)が、G12とG03の画像信号の和からHY(0,2)が生成される。
【0006】
このようにして求めた各高域輝度信号HY(i,j)に関して、それぞれ隣接する(生成画素点の)座標の高域輝度信号HY(i−1,j),HY(i,j−1),HY(i,j+1),HY(i+1,j)との差分信号を求め、これを輝度エッジ信号AP(アパーチャー信号)とする。
AP(i,j)=4HY(i,j)-{HY(i-1,j)+HY(i,j-1)+HY(i,j+1)+HY(i+1,j)} …(2)
また、低域原色信号LR,LG,LBについては、高域輝度信号HYよりも大きな領域、例えば着目点(i,j)の周囲の4×4=16画素の平均値、すなわちGについては16画素中に含まれる8画素の画素信号の平均値、R,Bについては16画素中に含まれる対応する4画素の画素信号の平均値を用いて算出される。上記と同様の表記を用いれば、
LR(i,j)={Σ[4×4(i,j)]eR×P(i’,j’)}/4 …(3)R
LG(i,j)={Σ[4×4(i,j)]eG×P(i’,j’)}/8 …(3)G
LB(i,j)={Σ[4×4(i,j)]eB×P(i’,j’)}/4 …(3)B
低域輝度信号LYは、0.3R+0.59G+0.11Bのマトリクス演算を低域原色信号LR,LG,LBに対して施すことにより、
LY(i,j)=0.3LR(i,j)+0.59LG(i,j)+0.11LB(i,j) …(4)
によって求められる。
【0007】
広帯域の輝度信号Y、および色差信号R−Y,B−Yは、
Y(i,j)=LY(i,j)+k×AP(i,j)
R-Y(i,j)=LR(i,j)-LY(i,j)
B-Y(i,j)=LB(i,j)-LY(i,j) …(5)
によって算出される。kは所定の計数である。式(5)をR,G,B信号で表すと、
R(i,j)=LR(i,j)+k×AP(i,j)
G(i,j)=LG(i,j)+k×AP(i,j)
B(i,j)=LB(i,j)+k×AP(i,j) …(6)
となる。この式(6)は式(5)と全く等価なものである。
【0008】
このように、式(1)(2)によって求めた輝度エッジ信号(高域輝度信号)APを、式(4)で得られる低域輝度信号LYに加えることで広帯域の輝度信号Yを得ることができるが、色差信号R−Y,B−Yについては、低域のみで処理することで、式(6)からも分かるように、RGBそれぞれの低域原色信号LR,LG,LBの上にRGBでどれも同じ(従って無彩色の)高域信号(k×AP)が重畳される形となるのでエッジ部の偽色が生じにくい信号処理となっている。(例えばこのような帯域別処理を行なわずベイヤの単位4画素のみの情報からそのまま(広帯域の)輝度信号を算出し、単純にマトリクス演算を行なうと、エッジ部に偽色が顕著に生じてしまう不都合がある。)
また、式(1)により高域輝度信号HYはGのみから求めているから、色エッジ部による輝度信号のギザも抑えられている。
【0009】
すなわち式(1)を書き下せば
HY(i,j)=G(i,j+1)+G(i+1,j) …i+jが偶数の場合
G(i,j)+G(i+1,j+1) …i+jが奇数の場合
となり、原画素Gの情報は、隣接する4生成点に広がってはいるものの(例えばG12の場合は、(i,j)=(0,1),(0,2),(1,1).(1,2)の4生成点)、1生成点に対する寄与は常に1/2であって、隣接する同色Gの原画素点の情報と平均されるから、スムージング効果によってギザは目立たない。つまり、原画素Gについては必ず同色Gの原画素点が隣接するので(例えばG12については、G01,G03,G21,G23)、4生成点のどの生成点についても、隣接する2つの原画素Gから信号が作られることになる。
【0010】
この点補足すれば、高域輝度信号HYをGのみから求めるということはRBの情報を捨てていることになるから、その分SNの低下を招いているものであるが、もしRBも加算すると色エッジ部による輝度信号のギザが強く生じるため好ましくないものである。すなわち、ベイヤ単位配列の4画素全てを加算して高域輝度信号HYを生成する場合、つまり、式(1)の代わりに、
HY(i,j)=Σ[2×2(i,j)]×P(i’,j’) …(1)’
とした場合、これを書き下せば
HY(i,j)
=R(i,j)+G(i,j+1)+G(i+1,j)+B(i+1,j+1) …i,jがともに偶数の場合
=G(i,j)+R(i,j+1)+B(i+1,j)+G(i+1,j+1) …iが偶数、jが奇数の場合
=G(i,j)+B(i,j+1)+R(i+1,j)+G(i+1,j+1) …iが奇数、jが偶数の場合
=B(i,j)+G(i,j+1)+G(i+1,j)+R(i+1,j+1) …i,jがともに奇数の場合
となり、RまたはBの原画素情報は隣接する4生成点に、寄与1で広がることになる。すなわち、RまたはBに関しては4生成点のどの生成点についても隣接する同色の原画素を持たないので、各々の隣接4生成点に関して言えば全く同じ情報となっているものである(1画素のみの情報がそのまま隣接4生成点の情報となる)。従って、例えばG,B情報を含まない赤のエッジ部あるいはR,G情報を含まない青のエッジ部や赤と青のエッジ部では、実質的に画素密度が1/4に下がったのと同じ状態となり、見かけ上は4点ある画素が実際には1画素でしかないので、上記ギザが生じるものである。特にこれは局所的に生じるため、画像全体の一様な解像度低下よりもより一層顕著に目立つものであった。
【0011】
このような事情から、SNの低下を含んでもなお、上記Gのみを用いた処理が用いられているものであった。そして、上記のような処理により、撮像素子の画素数(被写体に対する画素密度)と同じ画素数(画素密度)の高解像度な画像生成が可能となっている。
【0012】
【発明が解決しようとする課題】
一方、近年では撮像素子の高画素化が進み、画像の記録に際して撮像素子の画素数と同数の記録は必ずしも適当では無くなりつつある。すなわち、最近では、400万画素の撮像素子を用いたものも民生用として供給されつつあり、今後600万画素、さらには1000万画素を持つものも実現されることが予想されている。このような多画素化(高画素密度化)に伴い、撮像素子の画素数と同数の記録画素数で記録画像を生成したのでは、記録画像のファイルサイズの肥大によりパーソナルコンピュータなどの実使用環境では過負荷となることはもちろん、フレームレートの低下、さらには撮像素子の1画素当たりの蓄積光電荷量の不足という撮像素子そのものによる原理的な要因によって画質(S/N、ダイナミックレンジ)が劣化する、という問題を招くことになる。
【0013】
そこで、本出願人は、先に、標準的な記録画素数が撮像素子の画素数の1/4(縦横ともに1/2)であるような撮像装置を提案している(特願2000−173947号明細書)。この撮像装置では、撮像素子から出力される例えば400万画素の画像信号に対して、隣接する画素信号同士を加算して画素数を減らすという加算減数処理を施すことにより100万画素の画像信号が生成され、これがメモリカードに所定の記録フォーマットで記録される。これにより、十分な感度およびダイナミックレンジを確保できるようになり、記録画質の向上を図ることができる。
【0014】
しかし、このように例えば縦横ともに1/2の1/4画素数(画素密度が1/4)の記録を行なう際に、上記従来の信号処理を用いた場合は、
(1)上記信号処理により撮像素子画素数と同画素数のコンポーネント画像信号(R、G、BあるいはY、R−Y、B−Y)を生成
(2)画素を1/4間引き(または4画素加算)することにより画素密度が1/4の画像を生成
(3)圧縮等を含めた記録画像に対する信号処理を行なって画像を記録する
という手順が必要となる。
【0015】
これは、2段階の、しかも1/4という記録画素密度に対してその4倍の画素信号(しかも加算でなく間引きの場合は不要な信号の方が多い)を一旦生成する処理を含むからメモリや演算時間を浪費する上、上記G信号しか用いてないことによるSN劣化を伴うものであった。
【0016】
本発明は上述の事情を考慮してなされたものであり、原画像情報からそれよりも低画素密度の画像を生成する場合に最適な信号処理の実現を図ることにより、信号処理の無駄を無くし、かつ疑似信号の増加を招くことなく記録画像のSNの向上を実現することが可能な画像生成装置および撮像装置を提供することを目的とする。
【0017】
【課題を解決するための手段】
上述の課題を解決するため、本発明は、2×2の4画素配列を単位配列とする2次元の周期配列を有し前記単位配列の4画素中2画素が同色で且つ対角配置されてなる色配列により生成される原画像情報から、その原画像情報に対して画素密度1/(2N)2(ただし、Nは1以上の整数)の画像を生成する画像生成装置であって、共有画素を持たない隣接する(2N)2個の画素配列を単位として、前記(2N)2個の画素配列毎にその(2N)2個の画素を加算することによって前記画素密度1/(2N)2の画像に対応する各画素点の高域輝度信号を求め、前記(2N)2個の画素配列を同心的に含みこれよりも大きい所定の色処理領域内の同色加算により前記(2N)2個の画素配列を単位とする前記各画素点の低域原色信号およびこれに基づいた低域輝度信号を求め、前記高域輝度信号より求めた輝度エッジ信号を前記低域輝度信号に加算することにより前記各画素点の輝度信号を算出すると共に、前記低域原色信号および前記低域輝度信号に基づいて前記各画素点の色差信号を算出するように構成されていることを特徴とする。
【0018】
また、本発明は、2×2の4画素配列を単位配列とする2次元の周期配列を有し前記単位配列の4画素中2画素が同色で且つ対角配置されてなる色配列により生成される原画像情報から、その原画像情報に対して画素密度1/(2N)2(ただし、Nは1以上の整数)の画像を生成する画像生成装置であって、共有画素を持たない隣接する(2N)2個の画素配列を単位として、前記(2N)2個の画素配列毎にその(2N)2個の画素を加算することによって前記画素密度1/(2N)2の画像に対応する各画素点の高域輝度信号を求め、前記(2N)2個の画素配列を同心的に含みこれよりも大きい所定の色処理領域内の同色加算により前記(2N)2個の画素配列を単位とする前記各画素点の低域原色信号を求め、前記高域輝度信号より求めた輝度エッジ信号を前記低域原色信号に加算することにより前記各画素点の原色信号を算出するように構成されていることを特徴とする。
【0019】
これら本発明の画像生成装置においては、画素密度1/(2N)2(ただし、Nは1以上の整数)の画像に対応する各画素点の高域輝度信号を共有画素を持たない(2N)2個の画素配列を単位としてそれら(2N)2個の画素を加算して作り、これより大きい色信号処理領域から求めた低域原色信号と上述の高域輝度信号から求めた輝度エッジ信号とから所定のコンポーネント信号を各画素点毎に算出している。これにより、無駄な画素点生成が不要で、かつ輝度エッジ信号にRB情報を含むことでSNの向上を図ることができる。しかも、このように(2N)2個の画素配列を単位とする全画素加算によってRB情報を含む輝度エッジ信号を生成しても、各原画素は生成画素1つにしか寄与しないから、色エッジによるギザの発生はない。よって、原画像情報からそれよりも低画素密度の画像を生成する場合に最適な信号処理の実現を図ることができる、信号処理の無駄を無くし、かつ疑似信号の増加を招くことなく記録画像のSNの向上を実現することが可能となる。
【0020】
前記原画像情報としては、2×2の4画素配列を単位配列とする2次元の周期配列を有し前記単位配列の4画素中2画素が同色で且つ対角配置されてなる色配列の撮像素子の全画素を個別に読み出した情報を利用することができる。これにより、400万画素、600万画素あるいはそれ以上の多画素化された撮像素子からの全画素読み出しによって得られた情報から、容易に高画質の画像を生成することが可能となる。
【0021】
また、前記Nの値は1とし、画素密度1/4の画像を2×2のベイヤ単位配列を単位とする画素点毎に生成することが好ましい。これにより、画質と解像度の双方をバランス良く保つことが可能となる。
【0022】
また、本発明の画像生成装置をデジタルカメラなどの撮像装置に適用することにより、多画素化された撮像素子を利用する場合でも、記録画像のファイルサイズの増大等の問題を招くことなく、高画質の記録画像を得ることが可能となる。
【0023】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図1には、本発明の一実施形態に係わる撮像装置の構成が示されている。ここでは、デジタルカメラとして実現した場合を例示して説明することにする。
【0024】
図中101は各種レンズからなる撮像レンズ系、102はレンズ系101を駆動するためのレンズ駆動機構、103はレンズ系101の絞りを制御するための露出制御機構、104はローパスおよび赤外カット用の光学フィルタ、105はベイヤ配列のカラーフィルタを備えたCCDカラー撮像素子、106は撮像素子105を駆動するためのCCDドライバ、107はゲインコントロールアンプ,A/D変換器等を含むプリプロセス回路、108はコンポーネント信号生成処理,その他各種のデジタル処理を行うためのデジタルプロセス回路、109はカードインターフェース、110はメモリカード、111はLCD画像表示系を示している。
【0025】
撮像素子105としては、例えば400万画素ベイヤ配列の順次走査型のものなどが利用される。
【0026】
また、図中の112は各部を統括的に制御するためのシステムコントローラ(CPU)、113は各種スイッチからなる操作スイッチ系、114は操作状態及びモード状態等を表示するための操作表示系、115はレンズ駆動機構102を制御するためのレンズドライバ、116は発光手段としてのストロボ、117はストロボ116を制御するための露出制御ドライバ、118は各種設定情報等を記憶するための不揮発性メモリ(EEPROM)を示している。
【0027】
本実施形態のデジタルカメラにおいては、システムコントローラ112が全ての制御を統括的に行っており、特にCCDドライバ106によるCCD撮像素子105の駆動を制御して露光(電荷蓄積)及び信号の読み出しを行い、それをプリプロセス回路107を介してデジタルプロセス回路108に取込んで記録用の画像信号を生成した後にカードインターフェース109を介してメモリカード110に記録するようになっている。
【0028】
本実施形態のデジタルカメラに於いては、記録画素数が撮像素子105の画素数の1/(2N)2(縦横とも1/2N)となるような画素加算撮像をデフォルトの撮影モードとして使用して被写体の撮像・記録を行うように構成されている。ここで、Nは1以上の整数である。以下、N=1の場合、つまり撮像素子105の画素数の1/4(縦横とも1/2)の記録画像を得る場合を例示して、その画像生成のための信号処理について説明する。
【0029】
(画素生成点)
図2には、CCD撮像素子105から得られる原画像情報である400万画素のベイヤ読み出し情報とこのベイヤ読み出し情報から100画素の記録画像を得るための画素点(画素生成点)との関係が示されている。この図2においては、撮像素子105として、図4よりも2×2の4倍細密(高密度)なものを利用する場合を想定している。
【0030】
本実施形態では、図2の太線で示すように、オーバーラップしない2×2のベイヤ単位画素配列毎に1つの割合で画素点HY(黒丸で図示)が生成される。つまり、画素点(HY)は共有画素を持たない(重複無しの)隣接する2×2の4画素単位で生成される。すなわち、着目する生成画素点の座標を(i,j)とすると、i=2m(偶数)、かつj=2n(偶数)の点でのみ以下の信号生成を行なう。
【0031】
(コンポーネント信号の生成)
高域輝度信号HY(i,j)は、共有画素を持たない4画素単位{(R00,G01,G10,B11),(R02,G03,G12,B13),(RO4,G05,G14,B15),…}でそこに含まれる4画素全てを用いて生成される。
【0032】
ここで、総和記号Σ[2×2(i,j)]およびP(i’,j’)の意味は上記従来例と同じである。
【0033】
このようにして求めた各高域輝度信号HY(i,j)に関して、それぞれ隣接する生成画素点の高域輝度信号HY(i−2,j),HY(i,j−2),HY(i,j+2),HY(i+2,j)との差分信号を求め、これを輝度エッジ信号AP(アパーチャー信号)とする。
AP(i,j)=4HY(i,j)-{HY(i-2,j)+HY(i,j-2)+HY(i,j+2)+HY(i+2,j)} …(8)
また、各生成画素点の低域原色信号LR,LG,LBについては、高域輝度信号HYよりも大きな領域、例えば着目点(i,j)の周囲の4×4=16画素の平均値、すなわちGについては16画素中に含まれる8画素の画素信号の平均値、R,Bについては16画素中に含まれる対応する4画素の画素信号の平均値を用いて算出される。
LR(i,j)={Σ[4×4(i,j)]eR×P(i,j)}/4 …(9)R
LG(i,j)={Σ[4×4(i,j)]eG×P(i,j)}/8 …(9)G
LB(i,j)={Σ[4×4(i,j)]eB×P(i,j)}/4 …(9)B
ここで、eG,eR,eBは前述のインデックス関数である。なお、本実施形態では、重複無しの4画素単位で1/4画像を得るための画素点を生成しているので、従来の式(3)に従えば8×8=64画素を色信号処理領域とすることになるが、式(9)で4×4=16画素を色信号処理領域としているのは、色解像度(分解能)を従来よりも高めるためである。
【0034】
各生成画素点の低域輝度信号LYは、0.3R+0.59G+0.11Bのマトリクス演算を低域原色信号LR,LG,LBに対して施すことにより、
LY(i,j)=0.3LR(i,j)+0.59LG(i,j)+0.11LB(i,j) …(10)
によって求められる。
【0035】
そして、各生成画素点の広帯域の輝度信号Y、および色差信号R−Y,B−Yは、
Y(i,j)=LY(i,j)+k×AP(i,j)
R-Y(i,j)=LR(i,j)-LY(i,j)
B-Y(i,j)=LB(i,j)-LY(i,j) …(11)
によって算出される。kは所定の計数である。
【0036】
なお、画像のコンポーネント信号を原色信号R,G,Bで表現する場合には、式(10)の低域輝度信号の算出は不要となり、低域原色信号LR,LG,LBに輝度エッジ信号APを加算することによって、
R(i,j)=LR(i,j)+k×AP(i,j)
G(i,j)=LG(i,j)+k×AP(i,j)
B(i,j)=LB(i,j)+k×AP(i,j)) …(12)
として求められる。
【0037】
このようにして算出されたコンポーネント画像信号には必要に応じて圧縮を含む記録処理が施され、所定フォーマットの画像データとしてメモリカード110に記録される。
【0038】
以上のように、本実施形態においては、図4で説明した従来のものよりも2×2=4倍細密な(高密度な)撮像素子を用いて従来と同等の記録画素数(例えば100万画素)の画像を生成しているので、
・輝度解像度(高域レスポンス)は生成画素の実質開口が小さい分高くなる
・各原画素は生成画素1つにしか寄与せず画素の広がりが無いから、色エッジによるギザも無くなる。
【0039】
・8×8=64画素ではなく、4×4=16画素を色信号処理領域としているので、色解像度(分解能)も高い。
【0040】
また、この同じ高密度な撮像素子を用いて、従来の信号処理処理を行なった場合には図3のように400万画素の生成画素点毎にGのみを用いた高域輝度信号の生成が行われることになり、また400万画素の生成画素点毎に生成したコンポーネント信号を最後に間引くなどの処理が必要となるため、これと比較すると、
・信号処理に無駄が無く、従って高速、かつバッファメモリも小さくて済む。
【0041】
・RB情報を含むためSNが向上する。
【0042】
・局所的なギザの発生が無い。
【0043】
(・色解像度は同等。)
という効果が得られる。
【0044】
なお、この他にも様々な実施形態が考えられる。
【0045】
例えば、上記説明では撮像素子105により得られた原画像情報に対して信号処理を施したが、撮像素子105により得られた原画像情報を記録媒体等に記録しておき、後にその記録媒体から必要な原画像情報を読み出して上述の信号処理を施すようにしても良い。この場合、画像生成のための信号処理はデジタルカメラなどの撮像装置に限らず、専用の装置やパーソナルコンピュータなどで行うこともできる。
【0046】
また、インデックス関数は“1”または“0”としたが、式(7)のように全画素を加算する場合をも含めて、着目点からの距離に応じた任意の重み付けを各画素の信号P(i,j)に対して施しても良い。(上記で“1”としたのは単に説明上の簡単化のためである。)。また、式(7)のように全画素を加算する場合には、輝度マトリクス係数などを用いて、色による重み付けを採用しても良い。さらに、式(9)については、従来と同等の色解像度でよければ、8×8の色信号領域を使用するようにしても良い。
【0047】
また、本実施形態の信号処理は4画素加算に限らず、任意の(2N)2加算に拡張する事ができ、画素密度1/(2N)2(縦横とも1/2N)となるような信号処理に適用することができる。すなわち、本実施形態では画素密度1/4の画像を生成する場合の信号処理を例示したが、画素密度1/16、画素密度1/36、…の画像生成のための信号処理にも適用することができる。いずれの場合も、生成画像点の単位は(2N)2個の画素毎となり、高域輝度信号はそれら(2N)2個の画素全ての加算により生成される。
【0048】
【発明の効果】
以上説明したように、本発明によれば、撮像素子などから得られた原画像情報からそれよりも低画素密度の画像を生成する場合に最適な信号処理を実現できるようになり、信号処理の無駄が無く、かつ疑似信号の増加を招くことなく記録画像のSNの向上を図ることが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る撮像装置の構成を示すブロック図。
【図2】同実施形態の撮像装置で使用される撮像素子により得られる原画像情報とこの原画像情報から低画素密度の画像を生成するための画素生成点との関係を示す図。
【図3】図2の撮像素子により得られる原画像情報に対して従来の信号処理を施す場合の画素生成点を説明するための図。
【図4】撮像素子により得られる従来の原画像情報と画素生成点との関係を示す図。
【符号の説明】
101…レンズ系
102…レンズ駆動機構
103…露出制御機構
104…フィルタ
105…CCDカラー撮像素子
106…CCDドライバ
107…プリプロセス回路
108…デジタルプロセス回路
109…カードインターフェース
110…メモリカード
111…LCD画像表示系
112…システムコントローラ(CPU)[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image generation apparatus and an imaging apparatus, and more particularly to an image generation apparatus and an imaging apparatus that generate an image signal for recording using Bayer readout information that is original image information generated using a Bayer array.
[0002]
[Prior art]
Conventionally, a single-plate color imaging device using a Bayer array as a color array has been widely used. The Bayer array handled here is a periodic array having 2 × 2 4 pixels as a unit array, in which 2 pixels of the 4 pixels in the unit array have the same color, and 2 pixels of the same color are diagonally arranged. is there. An example of a typical RGB Bayer array is shown in FIG.
[0003]
There are various signal processing methods for generating component color signals (R, G, B or Y, RY, BY) using an RGB Bayer array as shown in FIG. Shown in
[0004]
In the following description, the coordinates of the original pixel point and the point of interest (generated pixel point) are (i, j), and index functions eG, eR, eB are introduced for each of R, G, B for simplicity. To do. As shown at the left end and the upper end in FIG. 4, the lattice phase is shifted by a half pitch between the original pixel point and the generated pixel point. The index function eG is a function for extracting only the G component from a certain signal processing area. The index function eG is “1” for the G pixel area and “0” for the other color pixel areas. It becomes. For example, when the index function eG is applied to four pixels R00, G01, G10, and B11 in FIG. 4, “0”, “1”, “1”, and “0” are obtained. The same applies to eR and eB.
[0005]
The high-frequency luminance signal HY (i, j) is a four-pixel unit {(R00, G01, G10, B11), (G01, R02, B11, G12) obtained by shifting one pixel at a time so as to include a shared pixel. , (R02, G03, G12, B13), (G03, R04, B13, G14), (R04, G05, G14, B15),...}, Using only G contained therein.
HY (i, j) = Σ [2 × 2 (i, j)] eG × P (i ′, j ′) (1)
Here, the symbol Σ [2 × 2 (i, j)] means the sum (with the pixel coordinates as a variable) regarding the 2 × 2 (original pixel) adjacent to the point of interest (i, j). P (i ′, j ′) represents the signal output value of the original pixel at the coordinates (i ′, j ′). Therefore, the high-frequency luminance signal HY (i, j) {= HY (0,0)} corresponding to (i, j) = (0,0) in FIG. 4 is represented by four adjacent pixels R00, G01, G10, It is generated from the sum of the image signals G01 and G10 in B11. Similarly, HY (0, 1) is generated from the sum of the image signals G01 and G12, and HY (0, 2) is generated from the sum of the image signals G12 and G03.
[0006]
With respect to each high-frequency luminance signal HY (i, j) obtained in this way, the high-frequency luminance signals HY (i−1, j) and HY (i, j−1) of the coordinates (of the generated pixel points) that are adjacent to each other. ), HY (i, j + 1), HY (i + 1, j), and a difference signal is obtained as a luminance edge signal AP (aperture signal).
AP (i, j) = 4HY (i, j)-{HY (i-1, j) + HY (i, j-1) + HY (i, j + 1) + HY (i + 1, j) }… (2)
Further, for the low-frequency primary color signals LR, LG, and LB, an area larger than the high-frequency luminance signal HY, for example, an average value of 4 × 4 = 16 pixels around the point of interest (i, j), that is, G is 16 The average value of the pixel signals of 8 pixels included in the pixel, and R and B are calculated using the average values of the corresponding pixel signals of 4 pixels included in 16 pixels. Using the same notation as above,
LR (i, j) = {Σ [4 × 4 (i, j)] eR × P (i ′, j ′)} / 4 (3) R
LG (i, j) = {Σ [4 × 4 (i, j)] eG × P (i ′, j ′)} / 8 (3) G
LB (i, j) = {Σ [4 × 4 (i, j)] eB × P (i ′, j ′)} / 4 (3) B
The low-frequency luminance signal LY is obtained by performing a matrix calculation of 0.3R + 0.59G + 0.11B on the low-frequency primary color signals LR, LG, LB.
LY (i, j) = 0.3LR (i, j) + 0.59LG (i, j) + 0.11LB (i, j) (4)
Sought by.
[0007]
The broadband luminance signal Y and the color difference signals RY and BY are
Y (i, j) = LY (i, j) + k × AP (i, j)
RY (i, j) = LR (i, j) -LY (i, j)
BY (i, j) = LB (i, j) -LY (i, j) (5)
Is calculated by k is a predetermined count. When Expression (5) is expressed by R, G, B signals,
R (i, j) = LR (i, j) + k × AP (i, j)
G (i, j) = LG (i, j) + k × AP (i, j)
B (i, j) = LB (i, j) + k × AP (i, j) (6)
It becomes. This equation (6) is completely equivalent to equation (5).
[0008]
In this way, the luminance edge signal (high-frequency luminance signal) AP obtained by the equations (1) and (2) is added to the low-frequency luminance signal LY obtained by the equation (4) to obtain a broadband luminance signal Y. However, the color difference signals RY and BY are processed only in the low frequency range, and as can be seen from the equation (6), the RGB color signals LR, LG, and LB are displayed. In RGB, the same (and hence achromatic) high-frequency signal (k × AP) is superimposed, so that the signal processing is less likely to cause false colors at the edges. (For example, if a (wideband) luminance signal is calculated as it is from information of only four pixels of a Bayer without performing such band-by-band processing, and simple matrix calculation is performed, false colors are prominently generated at the edge portion. There is an inconvenience.)
Further, since the high-frequency luminance signal HY is obtained from G only by the equation (1), the luminance signal is prevented from being jagged by the color edge portion.
[0009]
That is, if formula (1) is written down
HY (i, j) = G (i, j + 1) + G (i + 1, j) ... When i + j is an even number
G (i, j) + G (i + 1, j + 1) ... i + j is an odd number, and the information of the original pixel G is spread over four adjacent generation points (for example, in the case of G12, (i, j) = (0,1), (0,2), (1,1). (1,2) (4 generation points)) The contribution to one generation point is always ½ and adjacent Since this is averaged with the information of the original pixel point of the same color G, the jaggedness is not noticeable due to the smoothing effect. That is, since the original pixel point of the same color G is always adjacent to the original pixel G (for example, G01, G03, G21, and G23 for G12), two adjacent original pixels G are generated at any of the four generation points. A signal will be created from
[0010]
Supplementing this point, obtaining the high-frequency luminance signal HY only from G results in discarding RB information, which causes a decrease in SN, but if RB is also added. This is not preferable because the luminance signal is strongly jagged by the color edge portion. That is, when all the four pixels of the Bayer unit array are added to generate the high frequency luminance signal HY, that is, instead of the expression (1),
HY (i, j) = Σ [2 × 2 (i, j)] × P (i ′, j ′) (1) ′
If you write this,
HY (i, j)
= R (i, j) + G (i, j + 1) + G (i + 1, j) + B (i + 1, j + 1) ... When i and j are both even
= G (i, j) + R (i, j + 1) + B (i + 1, j) + G (i + 1, j + 1) ... when i is even and j is odd
= G (i, j) + B (i, j + 1) + R (i + 1, j) + G (i + 1, j + 1) ... When i is odd and j is even
= B (i, j) + G (i, j + 1) + G (i + 1, j) + R (i + 1, j + 1)... Where i and j are both odd numbers, R or B The original pixel information is spread with
[0011]
Under such circumstances, the process using only G is used even if the SN is reduced. By the processing as described above, it is possible to generate a high-resolution image having the same number of pixels (pixel density) as the number of pixels of the image sensor (pixel density with respect to the subject).
[0012]
[Problems to be solved by the invention]
On the other hand, in recent years, the number of pixels of the image sensor has been increased, and recording of the same number of pixels as that of the image sensor is not necessarily appropriate when recording an image. That is, recently, those using an image sensor with 4 million pixels are being supplied for consumer use, and it is expected that those with 6 million pixels and even 10 million pixels will be realized in the future. Along with this increase in the number of pixels (higher pixel density), a recorded image is generated with the same number of recording pixels as the number of pixels of the image sensor. In addition to overloading, image quality (S / N, dynamic range) deteriorates due to the fundamental factor of the image sensor itself, such as a decrease in the frame rate and an insufficient amount of accumulated photocharge per pixel of the image sensor. Will lead to the problem.
[0013]
Therefore, the present applicant has previously proposed an imaging device in which the standard number of recording pixels is 1/4 of the number of pixels of the imaging device (1/2 in both vertical and horizontal directions) (Japanese Patent Application No. 2000-173947). Issue description). In this imaging apparatus, for example, an image signal of 1 million pixels is obtained by performing an addition reduction process of adding adjacent pixel signals to reduce the number of pixels with respect to an image signal of, for example, 4 million pixels output from the image sensor. And is recorded in a predetermined recording format on the memory card. As a result, sufficient sensitivity and dynamic range can be secured, and the recording image quality can be improved.
[0014]
However, when the conventional signal processing is used when recording with 1/4 pixel number (pixel density is 1/4) in both the vertical and horizontal directions, for example,
(1) Generate the component image signal (R, G, B or Y, RY, BY) having the same number of pixels as the number of pixels of the image sensor by the signal processing. (2) Decimate the pixels by 1/4 (or 4 An image having a pixel density of 1/4 is generated by performing (pixel addition). (3) A procedure is required in which signal processing is performed on a recorded image including compression and the image is recorded.
[0015]
This includes a process of once generating a pixel signal of four times the recording pixel density in two stages and 1/4 (there are more unnecessary signals in the case of thinning rather than addition). In addition, the calculation time is wasted and SN degradation is caused by using only the G signal.
[0016]
The present invention has been made in consideration of the above-described circumstances, and eliminates the waste of signal processing by realizing optimal signal processing when an image having a lower pixel density than that is generated from original image information. An object of the present invention is to provide an image generation apparatus and an imaging apparatus capable of improving the SN of a recorded image without causing an increase in pseudo signals.
[0017]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the present invention has a two-dimensional periodic array in which a 2 × 2 four-pixel array is a unit array, and two of the four pixels in the unit array have the same color and are diagonally arranged. An image generation apparatus that generates an image having a pixel density of 1 / (2N) 2 (where N is an integer equal to or greater than 1) from the original image information generated by the color arrangement. adjacent without a pixel (2N) in units of 2 pixels array, the (2N) Part every two pixel array (2N) said by adding two
[0018]
Further, the present invention has a two-dimensional periodic array in which a 2 × 2 four-pixel array is a unit array, and is generated by a color array in which two of the four pixels in the unit array have the same color and are diagonally arranged. Image generating apparatus that generates an image having a pixel density of 1 / (2N) 2 (where N is an integer equal to or greater than 1) from the original image information. (2N) By taking 2 pixel arrays as a unit, the (2N) 2 pixels are added to the (2N) 2 pixel arrays to correspond to the image having the
[0019]
In these image generation apparatuses of the present invention, the high-frequency luminance signal at each pixel point corresponding to an image having a pixel density of 1 / (2N) 2 (where N is an integer equal to or greater than 1) does not have a shared pixel (2N). Two pixel arrays as a unit, these (2N) two pixels are added, and a low-frequency primary color signal obtained from a larger color signal processing area and a luminance edge signal obtained from the above-described high-frequency luminance signal; From the above, a predetermined component signal is calculated for each pixel point. Thereby, useless pixel point generation is unnecessary, and SN can be improved by including RB information in the luminance edge signal. In addition, even when a luminance edge signal including RB information is generated by adding all pixels in units of (2N) two pixel arrays in this way, each original pixel contributes to only one generated pixel. There is no occurrence of jaggedness. Therefore, it is possible to realize optimal signal processing when generating an image having a lower pixel density than the original image information, eliminating waste of signal processing and increasing the number of pseudo signals. It is possible to improve the SN.
[0020]
The original image information includes a two-dimensional periodic array having a 2 × 2 four-pixel array as a unit array, and imaging of a color array in which two of the four pixels in the unit array have the same color and are diagonally arranged. Information obtained by individually reading all the pixels of the element can be used. As a result, it is possible to easily generate a high-quality image from information obtained by reading out all the pixels from an image sensor having a multi-pixel configuration of 4 million pixels, 6 million pixels or more.
[0021]
Further, it is preferable that the value of N is 1, and an image having a pixel density of ¼ is generated for each pixel point having a 2 × 2 Bayer unit array as a unit. As a result, both the image quality and the resolution can be kept in good balance.
[0022]
In addition, by applying the image generation apparatus of the present invention to an image pickup apparatus such as a digital camera, even when using an image pickup device having a large number of pixels, it is possible to increase the file size of the recorded image without causing problems. It is possible to obtain a recorded image with high image quality.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 shows the configuration of an imaging apparatus according to an embodiment of the present invention. Here, the case where it implement | achieves as a digital camera is illustrated and demonstrated.
[0024]
In the figure, 101 is an imaging lens system composed of various lenses, 102 is a lens driving mechanism for driving the
[0025]
As the
[0026]
In the figure, 112 is a system controller (CPU) for comprehensively controlling each part, 113 is an operation switch system including various switches, 114 is an operation display system for displaying an operation state, a mode state, and the like, 115. Is a lens driver for controlling the
[0027]
In the digital camera of this embodiment, the
[0028]
In the digital camera of this embodiment, pixel addition imaging in which the number of recorded pixels is 1 / (2N) 2 (1 / 2N in both vertical and horizontal) of the number of pixels of the
[0029]
(Pixel generation point)
FIG. 2 shows the relationship between the 4 million pixel Bayer readout information, which is the original image information obtained from the
[0030]
In the present embodiment, as indicated by a thick line in FIG. 2, one pixel point HY (illustrated by a black circle) is generated for each non-overlapping 2 × 2 Bayer unit pixel array. That is, the pixel point (HY) is generated in units of adjacent 2 × 2 4 pixels that do not have a shared pixel (no overlap). In other words, if the coordinates of the generation pixel point of interest are (i, j), the following signal generation is performed only at points where i = 2m (even number) and j = 2n (even number).
[0031]
(Component signal generation)
The high-frequency luminance signal HY (i, j) is a 4-pixel unit having no shared pixel {(R00, G01, G10, B11), (R02, G03, G12, B13), (RO4, G05, G14, B15) ,...} Are generated using all four pixels included therein.
[0032]
Here, the meanings of the summation symbols Σ [2 × 2 (i, j)] and P (i ′, j ′) are the same as in the conventional example.
[0033]
With respect to each high frequency luminance signal HY (i, j) obtained in this way, the high frequency luminance signals HY (i−2, j), HY (i, j−2), HY ( A difference signal from i, j + 2) and HY (i + 2, j) is obtained, and this is used as a luminance edge signal AP (aperture signal).
AP (i, j) = 4HY (i, j)-{HY (i-2, j) + HY (i, j-2) + HY (i, j + 2) + HY (i + 2, j) } (8)
Further, for the low-frequency primary color signals LR, LG, and LB at each generated pixel point, an area larger than the high-frequency luminance signal HY, for example, an average value of 4 × 4 = 16 pixels around the point of interest (i, j), That is, G is calculated using an average value of pixel signals of 8 pixels included in 16 pixels, and R and B are calculated using an average value of pixel signals of corresponding 4 pixels included in 16 pixels.
LR (i, j) = {Σ [4 × 4 (i, j)] eR × P (i, j)} / 4 (9) R
LG (i, j) = {Σ [4 × 4 (i, j)] eG × P (i, j)} / 8 (9) G
LB (i, j) = {Σ [4 × 4 (i, j)] eB × P (i, j)} / 4 (9) B
Here, eG, eR, eB are the index functions described above. In the present embodiment, pixel points for obtaining a ¼ image are generated in units of four pixels with no overlap. Therefore, according to the conventional equation (3), 8 × 8 = 64 pixels are color signal processed. Although the area is defined as the area, the reason why 4 × 4 = 16 pixels are used as the color signal processing area in Equation (9) is to increase the color resolution (resolution) as compared with the conventional technique.
[0034]
The low-frequency luminance signal LY at each generated pixel point is obtained by performing a matrix operation of 0.3R + 0.59G + 0.11B on the low-frequency primary color signals LR, LG, LB.
LY (i, j) = 0.3LR (i, j) + 0.59LG (i, j) + 0.11LB (i, j) (10)
Sought by.
[0035]
Then, the broadband luminance signal Y and the color difference signals RY, BY of each generated pixel point are
Y (i, j) = LY (i, j) + k × AP (i, j)
RY (i, j) = LR (i, j) -LY (i, j)
BY (i, j) = LB (i, j) -LY (i, j) (11)
Is calculated by k is a predetermined count.
[0036]
When the component signal of the image is expressed by the primary color signals R, G, B, it is not necessary to calculate the low-frequency luminance signal of Expression (10), and the luminance edge signal AP is added to the low-frequency primary color signals LR, LG, LB. By adding
R (i, j) = LR (i, j) + k × AP (i, j)
G (i, j) = LG (i, j) + k × AP (i, j)
B (i, j) = LB (i, j) + k × AP (i, j)) (12)
As required.
[0037]
The component image signal calculated in this manner is subjected to recording processing including compression as necessary, and is recorded in the
[0038]
As described above, in the present embodiment, the number of recorded pixels (for example, 1 million) equivalent to the conventional one using a 2 × 2 = 4 times finer (higher density) image sensor than the conventional one described in FIG. Pixel) image,
Luminance resolution (high frequency response) increases as the actual aperture of the generated pixel is small. Each original pixel contributes to only one generated pixel and there is no pixel spread, so there is no jaggedness due to color edges.
[0039]
Since the color signal processing area is not 4 × 8 = 64 pixels but 4 × 4 = 16 pixels, the color resolution (resolution) is also high.
[0040]
Further, when conventional signal processing is performed using the same high-density imaging device, a high-frequency luminance signal using only G is generated for each generation pixel point of 4 million pixels as shown in FIG. In addition, since processing such as thinning out the component signal generated for each generation pixel point of 4 million pixels is necessary at the end,
-There is no waste in signal processing, so it is fast and the buffer memory is small.
[0041]
-Since RB information is included, SN improves.
[0042]
・ There is no local jaggedness.
[0043]
(The color resolution is the same.)
The effect is obtained.
[0044]
Various other embodiments are conceivable.
[0045]
For example, in the above description, signal processing is performed on the original image information obtained by the
[0046]
In addition, although the index function is “1” or “0”, an arbitrary weight corresponding to the distance from the point of interest is given to each pixel signal including the case where all the pixels are added as in Expression (7). It may be applied to P (i, j). (The above “1” is only for simplicity of explanation.) In addition, when all the pixels are added as in Expression (7), color weighting may be employed using a luminance matrix coefficient or the like. Further, for the expression (9), an 8 × 8 color signal area may be used as long as the color resolution equivalent to the conventional one is acceptable.
[0047]
The signal processing of this embodiment is not limited to 4-pixel addition, but can be expanded to any (2N) 2 addition, and the signal has a pixel density of 1 / (2N) 2 (vertical and horizontal 1 / 2N). It can be applied to processing. That is, in the present embodiment, the signal processing in the case of generating an image having a pixel density of 1/4 is exemplified, but the present invention is also applied to signal processing for generating an image having a pixel density of 1/16, a pixel density of 1/36,. be able to. In either case, the unit of the generated image point becomes (2N) every two pixels, high-frequency luminance signal is generated by their (2N) two pixels every addition.
[0048]
【The invention's effect】
As described above, according to the present invention, it is possible to realize optimal signal processing when generating an image having a lower pixel density from original image information obtained from an image sensor or the like. It is possible to improve the SN of the recorded image without waste and without increasing the pseudo signal.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing a relationship between original image information obtained by an image sensor used in the imaging apparatus of the embodiment and pixel generation points for generating an image with a low pixel density from the original image information.
3 is a diagram for explaining pixel generation points when conventional signal processing is performed on original image information obtained by the image sensor of FIG. 2; FIG.
FIG. 4 is a diagram showing a relationship between conventional original image information obtained by an image sensor and pixel generation points.
[Explanation of symbols]
DESCRIPTION OF
Claims (6)
共有画素を持たない隣接する(2N)2個の画素配列を単位として、前記(2N)2個の画素配列毎にその(2N)2個の画素を加算することによって前記画素密度1/(2N)2の画像に対応する各画素点の高域輝度信号を求め、前記(2N)2個の画素配列を同心的に含みこれよりも大きい所定の色処理領域内の同色加算により前記(2N)2個の画素配列を単位とする前記各画素点の低域原色信号およびこれに基づいた低域輝度信号を求め、前記高域輝度信号より求めた輝度エッジ信号を前記低域輝度信号に加算することにより前記各画素点の輝度信号を算出すると共に、前記低域原色信号および前記低域輝度信号に基づいて前記各画素点の色差信号を算出するように構成されていることを特徴とする画像生成装置。From original image information generated by a color array having a two-dimensional periodic array having a 2 × 2 four-pixel array as a unit array and two pixels out of the four pixels of the unit array having the same color and diagonally arranged, An image generation apparatus that generates an image having a pixel density of 1 / (2N) 2 (where N is an integer equal to or greater than 1) with respect to the original image information,
Adjacent no shared pixel (2N) in units of 2 pixels array, the (2N) the pixel density by adding the (2N) two pixels for each two pixels arranged 1 / (2N ) obtains a high-frequency luminance signal of each pixel point corresponding to the second image, the (2N) said by the same color adding two includes pixels arranged concentrically thereto a predetermined color processing region larger than (2N) wherein the two pixel array as a unit obtains the low frequency color signals and the low frequency luminance signal based thereon for each pixel point, adds the luminance edge signal obtained from the high frequency luminance signal into the low frequency luminance signal In this way, the luminance signal of each pixel point is calculated, and the color difference signal of each pixel point is calculated based on the low-frequency primary color signal and the low-frequency luminance signal. Generator.
共有画素を持たない隣接する(2N)2個の画素配列を単位として、前記(2N)2個の画素配列毎にその(2N)2個の画素を加算することによって前記画素密度1/(2N)2の画像に対応する各画素点の高域輝度信号を求め、前記(2N)2個の画素配列を同心的に含みこれよりも大きい所定の色処理領域内の同色加算により前記(2N)2個の画素配列を単位とする前記各画素点の低域原色信号を求め、前記高域輝度信号より求めた輝度エッジ信号を前記低域原色信号に加算することにより前記各画素点の原色信号を算出するように構成されていることを特徴とする画像生成装置。From original image information generated by a color array having a two-dimensional periodic array having a 2 × 2 four-pixel array as a unit array and two pixels out of the four pixels of the unit array having the same color and diagonally arranged, An image generation apparatus that generates an image having a pixel density of 1 / (2N) 2 (where N is an integer equal to or greater than 1) with respect to the original image information,
Adjacent no shared pixel (2N) in units of 2 pixels array, the (2N) the pixel density by adding the (2N) two pixels for each two pixels arranged 1 / (2N ) obtains a high-frequency luminance signal of each pixel point corresponding to the second image, the (2N) said by the same color adding two includes pixels arranged concentrically thereto a predetermined color processing region larger than (2N) A primary color signal at each pixel point is obtained by obtaining a low-frequency primary color signal at each pixel point in units of two pixel arrays and adding a luminance edge signal obtained from the high-frequency luminance signal to the low-frequency primary color signal. An image generation device configured to calculate
前記画像生成手段は、
共有画素を持たない隣接する(2N)2個の画素配列を単位として、前記(2N)2個の画素配列毎にその(2N)2個の画素を加算することによって前記画素密度1/(2N)2の画像に対応する各画素点の高域輝度信号を求め、前記(2N)2個の画素配列を同心的に含みこれよりも大きい所定の色処理領域内の同色加算により前記(2N)2個の画素配列を単位とする前記各画素点の低域原色信号およびこれに基づいた低域輝度信号を求め、前記高域輝度信号より求めた輝度エッジ信号を前記低域輝度信号に加算することにより前記各画素点の輝度信号を算出すると共に、前記低域原色信号および前記低域輝度信号に基づいて前記各画素点の色差信号を算出するように構成されていることを特徴とする撮像装置。An image pickup device having a two-dimensional periodic arrangement having a 2 × 2 four-pixel arrangement as a unit arrangement and having a color arrangement in which two of the four pixels of the unit arrangement are the same color and diagonally arranged; and The pixel density 1 / (2N) 2 with respect to the information of all the pixels from the driving means that drives and individually reads the information of all the pixels of the image sensor and the information for all the pixels read from the image sensor. An image generation unit that generates an image (where N is an integer equal to or greater than 1), and is capable of recording an image generated by the image generation unit on a recording medium according to a predetermined recording format,
The image generation means includes
Adjacent no shared pixel (2N) in units of 2 pixels array, the (2N) the pixel density by adding the (2N) two pixels for each two pixels arranged 1 / (2N ) obtains a high-frequency luminance signal of each pixel point corresponding to the second image, the (2N) said by the same color adding two includes pixels arranged concentrically thereto a predetermined color processing region larger than (2N) wherein the two pixel array as a unit obtains the low frequency color signals and the low frequency luminance signal based thereon for each pixel point, adds the luminance edge signal obtained from the high frequency luminance signal into the low frequency luminance signal Thus, the luminance signal of each pixel point is calculated, and the color difference signal of each pixel point is calculated based on the low-frequency primary color signal and the low-frequency luminance signal. apparatus.
前記画像生成手段は、
共有画素を持たない隣接する(2N)2個の画素配列を単位として、前記(2N)2個の画素配列毎にその(2N)2個の画素を加算することによって前記画素密度1/(2N)2の画像に対応する各画素点の高域輝度信号を求め、前記(2N)2個の画素配列を同心的に含みこれよりも大きい所定の色処理領域内の同色加算により前記(2N)2個の画素配列を単位とする前記各画素点の低域原色信号を求め、前記高域輝度信号より求めた輝度エッジ信号を前記低域原色信号に加算することにより前記各画素点の原色信号を算出するように構成されていることを特徴とする撮像装置。An image pickup device having a two-dimensional periodic arrangement having a 2 × 2 four-pixel arrangement as a unit arrangement and having a color arrangement in which two of the four pixels of the unit arrangement are the same color and diagonally arranged; and The pixel density 1 / (2N) 2 with respect to the information of all the pixels from the driving means that drives and individually reads the information of all the pixels of the image sensor and the information for all the pixels read from the image sensor. An image generation unit that generates an image (where N is an integer equal to or greater than 1), and is capable of recording an image generated by the image generation unit on a recording medium according to a predetermined recording format,
The image generation means includes
Adjacent no shared pixel (2N) in units of 2 pixels array, the (2N) the pixel density by adding the (2N) two pixels for each two pixels arranged 1 / (2N ) obtains a high-frequency luminance signal of each pixel point corresponding to the second image, the (2N) said by the same color adding two includes pixels arranged concentrically thereto a predetermined color processing region larger than (2N) A primary color signal at each pixel point is obtained by obtaining a low-frequency primary color signal at each pixel point in units of two pixel arrays and adding a luminance edge signal obtained from the high-frequency luminance signal to the low-frequency primary color signal. An image pickup apparatus configured to calculate
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000185094A JP4334740B2 (en) | 2000-06-20 | 2000-06-20 | Image generating apparatus and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000185094A JP4334740B2 (en) | 2000-06-20 | 2000-06-20 | Image generating apparatus and imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002010278A JP2002010278A (en) | 2002-01-11 |
JP4334740B2 true JP4334740B2 (en) | 2009-09-30 |
Family
ID=18685458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000185094A Expired - Fee Related JP4334740B2 (en) | 2000-06-20 | 2000-06-20 | Image generating apparatus and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4334740B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007017615A (en) * | 2005-07-06 | 2007-01-25 | Sony Corp | Image processor, picture processing method, and program |
-
2000
- 2000-06-20 JP JP2000185094A patent/JP4334740B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002010278A (en) | 2002-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9325918B2 (en) | Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method and program | |
JP3753385B2 (en) | Full color image adaptive interpolator using luminance gradation | |
JP5045421B2 (en) | Imaging apparatus, color noise reduction method, and color noise reduction program | |
US6366318B1 (en) | CFA correction for CFA images captured at partial resolution | |
JP2002010276A (en) | Imaging apparatus | |
JP3510037B2 (en) | Adaptive color interpolation single-sensor color electronic camera | |
JP3946492B2 (en) | How to generate a low resolution image | |
JPH08298670A (en) | Adaptive color interpolation single sensor color electronic camera | |
JP5068158B2 (en) | Imaging device | |
JP2012065187A (en) | Imaging apparatus and restored gain data generation method | |
JP2009508436A (en) | Full color image reconstruction from images encoded by Bayer pattern | |
JPS63266982A (en) | Interpolating method for picture signal and picture signal processor executing it | |
JP4725520B2 (en) | Image processing device, non-imaging color signal calculation device, and image processing method | |
JP4817529B2 (en) | Imaging apparatus and image processing method | |
JP4334740B2 (en) | Image generating apparatus and imaging apparatus | |
JP3730063B2 (en) | Color component generation apparatus, color component generation method, and multicolor image pickup apparatus using the same | |
JP5484015B2 (en) | Imaging apparatus, imaging method, and program | |
JP4032200B2 (en) | Image data interpolation method, image data interpolation device, and computer readable recording medium recording image data interpolation program | |
JP2012244495A (en) | Color filter for single-plate multiband imaging element, single-plate multiband imaging element, and multiband imaging element | |
JP2003230054A (en) | Image pickup apparatus | |
JP4339671B2 (en) | Imaging device | |
JP5090899B2 (en) | Imaging device | |
JP2006262382A (en) | Image processing apparatus | |
JP4478981B2 (en) | Color noise reduction method and color imaging apparatus | |
JPH0969971A (en) | Electronic camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090514 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090602 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090624 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130703 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |