JP3551670B2 - 電子スチルカメラ - Google Patents
電子スチルカメラ Download PDFInfo
- Publication number
- JP3551670B2 JP3551670B2 JP34349996A JP34349996A JP3551670B2 JP 3551670 B2 JP3551670 B2 JP 3551670B2 JP 34349996 A JP34349996 A JP 34349996A JP 34349996 A JP34349996 A JP 34349996A JP 3551670 B2 JP3551670 B2 JP 3551670B2
- Authority
- JP
- Japan
- Prior art keywords
- lpf
- image sensor
- signal
- pixel
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 10
- 230000003595 spectral effect Effects 0.000 claims description 8
- 230000035945 sensitivity Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 description 99
- 238000012545 processing Methods 0.000 description 40
- 230000015654 memory Effects 0.000 description 35
- 238000003384 imaging method Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 30
- 238000000034 method Methods 0.000 description 21
- 230000014509 gene expression Effects 0.000 description 17
- 230000000694 effects Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000002411 adverse Effects 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 101000990929 Homo sapiens Myosin regulatory light chain 2, skeletal muscle isoform Proteins 0.000 description 1
- 102100030419 Myosin regulatory light chain 2, skeletal muscle isoform Human genes 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、電子スチルカメラの小型・高画質化に関するものである。
【０００２】
【従来の技術】
従来、電子スチルカメラは小型化のため一枚の撮像素子（以下、単板撮像素子という）を用いている。図９は従来例における撮像素子の色フイルタ配列の一例を示す図である。図において、ＲはＲの光を通過させる分光特性を持った色フィルタを有した撮像素子であり、Ｂ，Ｇにおいても同様にそれぞれの色フィルタを有した撮像素子である。図９に示すようにｎラインではＲ，Ｇが２画素毎に配列されており、ｎ＋１ラインではＢ，Ｇが２画素毎に配列されている。そのためＲ，Ｂ信号は上下４画素（図９中の斜線部）毎に得られ、Ｇ信号は２画素毎に得られることとなる。そのため、撮像素子数だけのＲ，Ｇ，Ｂ信号は得る事ができないため２次元に配置された撮像素子の総画素数が少ない場合にはＲ，Ｇ，Ｂ信号の解像度が十分に得られない。
【０００３】
図１０は前記問題を解決するための従来の技術である。図１０は例えば特公平６−２９４９９号公報に示された従来の撮像装置の構成図である。図において、２０はレンズ系、２１は光路を変更する光路変更手段であり、例えば可変頂角プリズム等の光学素子をピエゾ素子等により光軸上に垂直な面内で偏位させる。２２は図１１に示す補色モザイクフィルタを受光面に装着した、例えばインターライン型ＣＣＤ、２３はＡ／Ｄコンバータ、２５は同時化回路、２６は第１のカメラ信号処理回路、２７は第１の３チャンネルＤ／Ａコンバータ、２８は第１のカラーディスプレイ、２４はＣＣＤドライブ装置、２９はメモリであって、３０は第１のメモリ、３１は第２のメモリ、３２は第３のメモリ、３３は第４のメモリ、３５は第２のカメラ信号処理回路、３６は第２の３チャンネルＤ／Ａコンバータ、３７は第２のディスプレイ、３４は制御装置、４０〜４３はアドレス書き込み制御線、４４〜４７はアドレス読み出し制御線である。
【０００４】
次に動作について説明する。制御装置３４は光路変更手段２１に対して、図１２に示すようにレンズ系１により得られた映像がＣＣＤの受光面上において、図１２の１（ｘ，ｙ）＝（０，０）で表す第１の撮像期間では前記第１の位置、図２の２（ｘ，ｙ）＝（１，０）で表す２の撮像期間では前記第１の位置に対して所定の水平方向に１画素ずれた第２の位置、図１２の３（ｘ，ｙ）＝（１，１）で表す第３の撮像期間では、前記第２の位置に対して垂直方向に１ラインずれた第３の位置、図１２の４（ｘ，ｙ）＝（０，１）で表す第４の位置に結像するように制御する。同時に制御装置３４はメモリ２９に対してアドレス書き込み制御線４０〜４３およびアドレス読み出し制御線を通じてアドレス書き込み信号およびアドレス読み出し信号を送る。この結果、メモリ２９のうち図１２に示すように３０にはＹｅ、３１にはＣｙ、３２にはＭｇ，３３にはＧがそれぞれ１フレームずつ記憶され、第２のカメラ信号処理回路３５に伝送される。第２のカメラ信号処理回路３５によりＲ，Ｇ，Ｂ信号を生成する。このように時間的にＣＣＤの光学的位置をずらすことによって高解像度化を図る。
【０００５】
また、高精細の画像を得るために複数の撮像素子をもって構成する従来技術もある。図１３は従来例における他のカメラの構成を示す図である。図において、５０はレンズ、５１はプリズム、５２、５３、５４はそれぞれ複数の画素を有する撮像素子である。レンズ５０によって集光された光はプリズム５１によりＲ，Ｂ，Ｇの光に分光される。Ｒの光は撮像素子５２上で結像し、Ｇの光は撮像素子５３の上で結像し、Ｂの光は撮像素子５４の上で結像する。信号処理回路５５は撮像素子５２の出力から映像信号のＲ信号を生成し、撮像素子５３の出力から映像信号のＧ信号を生成し、撮像素子５４の出力からＢ信号を生成するため、Ｒ，Ｇ，Ｂ信号はそれぞれ撮像素子の画素数だけの解像度を有することとなる。しかし上記構成はプリズム５１が必要であり、単板撮像素子だけで構成した場合に比べ、安価、小型に構成することが困難であった。
【０００６】
更にまた、図１４は特開平６ー８６３０２号公報に示された従来例におけるさらに他のカメラの構成を示す図である。図において、６０はレンズ、６１は撮像素子、６２はバンドパスフィルタ、６３は検波回路、６４は１Ｈディレイ素子、６５はスイッチ、６６はＡ／Ｄコンバータ、６７はフィールドメモリ、６８はマルチプレクサ、６９〜７２は２次元メモリ、７３〜７６は２次元ローパスフィルタ、７７は演算回路、７８はマトリクス回路である。
【０００７】
次に、動作について説明する。撮像素子６１の出力はＡ／Ｄコンバータ６６によりＡ／Ｄ変換され、フィールドメモリ６７に入力される。図１５に示した撮像素子は上下に隣接する２画素の信号が混合されて同時に得られる。混合された信号を一つの信号としてフィールドメモリ６７にかき込んでいく。撮像素子６１からの信号がどの様にフィールドメモリ１５にかき込まれているかその１部を図１６に示す。図において、ＭＣはマゼンタ画素の信号とシアン画素の信号が混合された信号、ＧＹはグリーン画素の信号とイェロー画素の信号が混合された信号、ＭＹはマゼンタ画素の信号とイェロー画素の信号が混合された信号、ＧＣはグリーン画素の信号とシアン画素の信号が混合された信号である。マルチプレクサ６８によりＭＣ、ＧＹ、ＭＹ、ＧＣの信号がそれぞれ別々に２次元メモリ６９〜７２に入力される。２次元メモリ６９〜７２にかき込まれた信号は２次元ローパスフィルタ７３〜７６により平滑される。
【０００８】
演算回路７７における演算について説明する。図１６において例えば、ｌ行ｍ列のＧＣの位置にＭＣ、ＧＹ、ＭＹの色フィルタがあると仮定した場合の出力信号値の算出方法を説明する。（この従来例ではｌ行ｍ列を（ｌ，ｍ） と表しているが本発明では（ｍ，ｌ）と表記する）
ＭＣ（ｍ，ｌ）＝ＧＣ（ｍ，ｌ）×（ＭＣＬＰＦ（ｍ，ｌ）／ＧＣＬＰＦ（ｍ，ｌ）） （１ー１）
ＧＹ（ｍ，ｌ）＝ＧＣ（ｍ，ｌ）×（ＧＹＬＰＦ（ｍ，ｌ）／ＧＣＬＰＦ（ｍ，ｌ）） （１ー２）
ＭＹ（ｍ，ｌ）＝ＧＣ（ｍ，ｌ）×（ＭＹＬＰＦ（ｍ，ｌ）／ＧＣＬＰＦ（ｍ，ｌ）） （１ー３）
なお、ＧＣ（ｍ，ｌ）の値は特に計算する必要ない。
ＧＣ（ｍ，ｌ）＝ＧＣ（ｍ，ｌ） （１ー４）
色フィルタの種類Ｊ（ＪはＭＣ、ＧＹ、ＭＹ、ＧＣの何れか）の位置（ｌ，ｍ）に色フィルタの種類Ｋ（ＫはＭＣ、ＧＹ、ＭＹ、ＧＣの何れか）の色フィルタがあると仮定した場合の出力信号値の算出方法は、次の式（１ー５）で表される。ただし、（ｍ，ｌ） は、本発明の実施例の場合、図２に示すフィールドメモリ６７の座標を示す。
Ｋ（ｍ，ｌ）＝Ｊ（ｍ，ｌ）×（ＫＬＰＦ（ｍ，ｌ）／ＪＬＰＦ（ｍ，ｌ）） （１ー５）
【０００９】
マトリクス回路７８におけるマトリクス演算について説明する。図１６におけるｌ行ｍ列のＧＣの位置の輝度信号成分Ｙは次式により算出される。
Ｙ＝（ＭＣ（ｌ，ｍ）＋ＧＹ（ｌ，ｍ）＋ＭＹ（ｌ，ｍ）＋ＧＣ（ｌ，ｍ））／２ （１ー６）
【００１０】
上記Ｙの算出方法の原理について説明する。この方法では、局所的な領域では、色の変化が少ないことを前提としている。つまり、各色信号（ＭＣ、ＧＹ、ＭＹ、ＧＣ）の比は、局所的な領域でほぼ等しいといえる。局所的な領域での各色信号ＭＣ、ＧＹ、ＭＹ、ＧＣの比は、ＭＣ、ＧＹ、ＭＹ、ＧＣの二次元ローパスフィルタ出力の比で与えられる。例えば、ｌ行ｍ列のＧＣの位置におけるＭＣの色フィルタがある場合の値は、ＧＣ（ｌ，ｍ）にその局所的な領域におけるＭＣとＧＣの比（ＭＣ信号の二次元ローパスフィルタ出力とＧＣ信号の二次元ローパスフィルタ出力の比）を乗ずることによって得られる。式（１ー２）、（１ー３）、（１ー４）も同様な考え方により得られる。この方法により、ＭＣ、ＧＹ、ＭＹ、ＧＣの水平、垂直のサンプリング点を見かけ上それぞれ２倍にすることが可能となる。式（１ー１）、（１ー２）、（１ー３）、（１ー４）により得られるＭＣ、ＧＹ、ＭＹ、ＧＣを用いて式（１ー６）によりＹ信号を算出する。
【００１１】
上記のように従来例では各画素の出力信号から高解像度のＹ信号を算出しているが、映像信号から上記算出にて求めたＹ信号を差し引き高解像度のＣ算出することができる。しかし、従来例では上記算出のためフィールドメモリや演算回路など回路規模が大きく、電子スチルカメラの用に静止画像を主にパーソナルコンピュータ（以下、ＰＣという）のディスプレイ等に表示する場合は映像信号をＹ／ＣではなくＲ，Ｇ，Ｂ信号で取り扱うことがほとんどであるため、算出したＹ／Ｃ信号からさらにＲ，Ｇ，Ｂ信号を生成する必要があった。
【００１２】
【発明が解決しようとする課題】
従来の技術において、図１０に示した構成は光学素子をペルチェ素子の上に配置する構成となっており、ペルチェ素子の偏位に正確さが求められるため制御が複雑であり、また、ペルチェ素子という素子を使う必要があるため安価・小型化が困難であるという問題点があった。
【００１３】
また、図１３に示した複数の撮像素子を用いて構成する場合も安価・小型化が困難であるという問題点があった。
【００１４】
さらにまた、図１４に示したカラービデオカメラでは回路規模が大きく、安価・小型化が困難なうえ、Ｒ，Ｇ，Ｂ信号での取り扱いを主とする電子スチルカメラにおいては更に信号処理の必要があるという問題があった。
【００１５】
本発明は、上記の問題点を解消するためになされたもので、小型で、且つ高画質の画像が得られる電子スチルカメラを提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明の第１の構成による電子スチルカメラにおいては、撮像素子から混合読み出しされた、それぞれの種類の分光感度特性の出力信号（Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）において、ｌ行ｍ列（Ｃｙ＋Ｗ）（ｍ，ｌ） の位置に（Ｙｅ＋Ｇ）、（Ｙｅ＋Ｗ）、（Ｃｙ＋Ｇ）の出力信号があると仮定した場合の２次元ローパスフィルタ出力信号（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）、（Ｙｅ＋Ｗ）ＬＰＦ（ｍ，ｌ）、（Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）および（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）を算出し、（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）と２次元ローパスフィルタ出力の各出力信号（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）、（Ｙｅ＋Ｗ）ＬＰＦ（ｍ，ｌ） 、（Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）との比に（Ｃｙ＋Ｗ）（ｍ，ｌ） を乗ずることでｌ行ｍ列（Ｃｙ＋Ｗ）（ｍ，ｌ）の位置における（Ｙｅ＋Ｇ）（ｍ，ｌ）、（Ｙｅ＋Ｗ）（ｍ，ｌ）、（Ｃｙ＋Ｇ）（ｍ，ｌ）を算出して、各画素の出力信号と前記算出された信号から、ｌ行ｍ列（Ｃｙ＋Ｗ）（ｍ，ｌ） の位置におけるＲ，Ｇ，Ｂ信号を、
Ｒ＝（Ｃｙ＋Ｗ）（ｍ，ｌ）×［｛（Ｙｅ＋Ｗ）ＬＰＦ（ｍ，ｌ）−（Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）｝／２］／（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）
Ｂ＝（Ｃｙ＋Ｗ）（ｍ，ｌ）×［｛（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）−（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）｝／２］／（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）
Ｇ＝（Ｃｙ＋Ｗ）（ｍ，ｌ）×［｛（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）＋（Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）｝／２］／（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）
により算出し、他の位置における（Ｙｅ＋Ｇ）、（Ｙｅ＋Ｗ）、（Ｃｙ＋Ｇ）においても同様にＲ，Ｇ，Ｂ信号を算出する。
【００１７】
また、本発明の第２の構成による電子スチルカメラにおいては、それぞれの光電変換素子が、Ｒ，Ｇ，Ｂの分光感度特性のうち何れか一種類の分光感度特性を有する撮像素子を具備し、ｌ行ｍ列Ｋ（ｍ，ｌ） の位置にＲ，Ｇ，Ｂの出力信号があると仮定した場合の２次元ローパスフィルタ出力信号ＧＬＰＦ（ｍ，ｌ）、ＢＬＰＦ（ｍ，ｌ）、およびＲＬＰＦ（ｍ，ｌ）を算出し、ＫＬＰＦ（ｍ，ｌ）と２次元ローパスフィルタ出力の各出力信号ＲＬＰＦ（ｍ，ｌ）、ＧＬＰＦ（ｍ，ｌ）、ＢＬＰＦ（ｍ，ｌ）との比にＫ（ｍ，ｌ） を乗ずることでｌ行ｍ列Ｋ（ｍ，ｌ）の位置におけるＲ（ｍ，ｌ）、Ｇ（ｍ，ｌ）、Ｂ（ｍ，ｌ）を算出し、各画素の出力信号と前記算出された信号から、ｌ行ｍ列Ｋ（ｍ，ｌ） の位置におけるＲ，Ｇ，Ｂ信号を、
Ｒ（ｍ，ｌ）＝Ｋ（ｍ，ｌ）×ＲＬＰＦ（ｍ，ｌ）／ＫＬＰＦ（ｍ，ｌ）
Ｇ（ｍ，ｌ）＝Ｋ（ｍ，ｌ）×ＧＬＰＦ（ｍ，ｌ）／ＫＬＰＦ（ｍ，ｌ）
Ｂ（ｍ，ｌ）＝Ｋ（ｍ，ｌ）×ＢＬＰＦ（ｍ，ｌ）／ＫＬＰＦ（ｍ，ｌ）
により算出し、他の位置におけるＧ，Ｂにおいても同様の方式で各画素におけるＲ，Ｇ，Ｂ信号を算出するものである。
【００１８】
本発明の第３構成による電子スチルカメラにおいては、撮像素子の出力信号の周波数成分を検出する手段により映像信号中、高周波数部分と低周波数部分とを検出し、低周波数部分では、撮像素子の色フィルタ配列に応じた算出によりＲ信号、Ｇ信号、Ｂ信号を得、高周波数部分では、第１の構成による算出にてＲ信号、Ｇ信号、Ｂ信号を得るものである。
【００１９】
また、本発明の第４の構成による電子スチルカメラにおいては、撮像素子の出力信号から色の変化量を検出する手段により検出された色の変化量が予め定められた値より大きいときは、撮像素子の色フィルタ配列に応じた算出によりＲ信号、Ｇ信号、Ｂ信号を得、前記検出手段により色の変化量が予め定められた値より小さいときは、請求項１による算出にてＲ信号、Ｇ信号、Ｂ信号を得るものである。
【００２０】
本発明の第５の構成による電子スチルカメラにおいては、撮像素子の出力信号から輝度信号レベルを検出する手段により検出された輝度信号レベルが、予め定められた値より小さいときは、撮像素子の色フィルタ配列に応じた算出によりＲ信号、Ｇ信号、Ｂ信号を得、前記検出手段により輝度信号レベルが予め定められた値より大きいときは、第１の構成による算出にてＲ信号、Ｇ信号、Ｂ信号を得るものである。
【００２１】
本発明の第６の構成による電子スチルカメラにおいては、撮像素子の出力信号から輝度信号レベルを検出する手段により検出された輝度信号レベルが、予め定められた値より大きいとき、すなわち撮像素子の出力飽和レベルのとき、撮像素子の色フィルタ配列に応じた算出によりＲ信号、Ｇ信号、Ｂ信号を得、前記検出手段により輝度信号レベルが予め定められた値より小さいときは、第１の構成による算出にてＲ信号、Ｇ信号、Ｂ信号を得るものである。
【００２２】
本発明の第７の構成による電子スチルカメラにおいては、被写体を撮像する撮像部と、該撮像部において撮像した信号からカラー画像を得るための演算処理を行う演算処理部が分離し、且つ、該撮像部から該信号処理部へ、信号ケーブルまたは赤外線により撮像した信号を転送するように構成し、該撮像部がそれぞれの光電変換素子の出力信号を該信号処理部へ転送した後、該演算処理部において請求項１から請求項５記載のＲ，Ｇ，Ｂ信号生成の算出を行うものである。
【００２３】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１は撮像素子の色フイルタ配列の一例を示す図であり、詳しくは、電子スチルカメラで用いられる補色の色フィルタから構成された撮像素子の各画素の色フィルタ配列を示している。図１に示したそれぞれの色フィルタは、 Ｃｙ、Ｗ、Ｙｅ、Ｇの分光感度特性のうち何れか一種類の分光感度特性を有するそれぞれの光電変換素子の組み合わせで構成されており、撮像素子から出力信号を読み出すとき各光電変換素子の上下に隣接する２つの光電変換素子の信号が混合されることで生成される。図１において、（Ｃｙ＋Ｗ）はＣｙの色フィルタとＷの色フィルタを有した光電変換素子の組み合わせであり、（Ｙｅ＋Ｇ）はＹｅの色フィルタとＧの色フィルタを有した光電変換素子の組み合わせであり、（Ｃｙ＋Ｇ）はＣｙの色フィルタとＧの色フィルタを有した光電変換素子の組み合わせであり、（Ｙｅ＋Ｗ）はＹｅの色フィルタとＷの色フィルタを有した光電変換素子の組み合わせである。
【００２４】
図１のように配列した撮像素子では各画素の出力信号を加減算してＲ，Ｇ，Ｂ信号を算出することができる。算出式を式（２ー１）〜（２ー３）に示す。
Ｒ＝｛（Ｙｅ＋Ｗ）−（Ｃｙ＋Ｇ）｝／２ （２ー１）
Ｂ＝｛（Ｃｙ＋Ｗ）−（Ｙｅ＋Ｇ）｝／２ （２ー２）
Ｇ＝｛（Ｙｅ＋Ｇ）＋（Ｃｙ＋Ｇ）｝／２ （２ー３）
【００２５】
式（２ー１）〜（２ー３）に示した式を用いてＲ，Ｇ，Ｂ信号を算出する場合、ｌ行ｍ列に位置する画素（Ｃｙ＋Ｗ）（ｍ，ｌ） を基準にすると（Ｙｅ＋Ｇ）（ｍ＋１，ｌ），（Ｃｙ＋Ｇ）（ｍ，ｌ＋１），（Ｙｅ＋Ｗ）（ｍ＋１，ｌ＋１） の４画素を用いて前記Ｒ，Ｇ，Ｂ信号を算出する。それぞれの画素は異なる位置に配列されているため前記算出ではＲ，Ｇ，Ｂ信号の解像度は光電変換素子数だけは得ることができない。そのため本発明では下記に示す演算を行うことで解像度の向上を図る。
【００２６】
次に、本発明によるＲ，Ｇ，Ｂ信号の算出方式について説明する。ｌ行ｍ列に位置する画素（Ｃｙ＋Ｗ）（ｍ，ｌ） の位置に、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の色フィルタがあると仮定した場合の出力信号値の算出式を次式に示す。
（Ｙｅ＋Ｇ）（ｍ，ｌ）＝（Ｃｙ＋Ｗ）（ｍ，ｌ）×（（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）／（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）） （２ー４）
（Ｃｙ＋Ｇ）（ｍ，ｌ）＝（Ｃｙ＋Ｗ）（ｍ，ｌ）×（（Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）／（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）） （２ー５）
（Ｙｅ＋Ｗ）（ｍ，ｌ）＝（Ｃｙ＋Ｗ）（ｍ，ｌ）×（（Ｙｅ＋Ｗ）ＬＰＦ（ｍ，ｌ）／（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）） （２ー６）
（Ｃｙ＋Ｗ）（ｍ，ｌ）＝（Ｃｙ＋Ｗ）（ｍ，ｌ） （２ー７）
（２ー４）〜（２ー６）式において（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）は（Ｃｙ＋Ｗ）（ｍ，ｌ）のローパスフィルタを介した値であり、他の（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）、（Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）、（Ｙｅ＋Ｗ）ＬＰＦ（ｍ，ｌ）においても同様である。ローパスフィルタを介した値は例えば次式のように算出することができる。
（２ー８）〜（２ー１１）はローパスフィルタ出力の算出例であり、例えば（Ｃｙ＋Ｗ）（ｍ，ｌ）の２次元ローパスフィルタ出力は、
のように式（２ー１２）で求めることもでき、次元および係数は式（２ー８）〜（２ー１１）に限るものではない。
【００２７】
式（２ー４）〜（２ー６）の原理について説明する。この方式では局所的な領域では色変化が少ないことを前提としている。つまり、各色信号（Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の比は、局所的な領域ではほぼ等しいといえる。局所的な領域での各色信号（Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の比は（Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の２次元的ローパスフィルタを介した値で与えられる。例えば、式（４）に示されるようにｌ行ｍ列の（Ｃｙ＋Ｗ）の位置における（Ｙｅ＋Ｇ）の色フィルタがあると仮定した場合、（Ｙｅ＋Ｇ）の色フィルタの値は、（Ｃｙ＋Ｗ）（ｍ，ｌ） にその局所的な領域における（Ｙｅ＋Ｇ）と（Ｃｙ＋Ｗ）の比（（Ｙｅ＋Ｇ）の２次元ローパスフィルタを介した値と（Ｃｙ＋Ｗ）の２次元ローパスフィルタを介した値を乗ずることによって得られる。式（２ー５）、（２ー６）の同様な考え方により得られる。この方法により（Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の水平、垂直方向の画素数を見かけ上それぞれ２倍にすることが可能となる。よって式（２ー１）〜（２ー３）および式（２ー４）〜（２ー７）からｌ行ｍ列におけるＲ，Ｇ，Ｂ信号は次式によって算出することが可能である。
同様の方法によって各画素毎にＲ，Ｇ，Ｂ信号を算出していくことができる。各画素毎にＲ，Ｇ，Ｂ信号を生成することができるため、前述したように水平、垂直方向の画素数を見かけ上それぞれ２倍にすることが可能となる。
【００２８】
実施の形態２．
本発明は図１に示したフィルタ配列のみではなく、他のフィルタ配列においても有効である。図２は原色の色フィルタを用いた撮像素子を示す図であり、各光電変換素子を独立に呼び出す方式の撮像素子である。図２に示したフィルタ配列においても同様に求めることができる。例えばｌ行ｍ列におけるＲ，Ｇ，Ｂ信号は次式で算出できる。
Ｒ（ｍ，ｌ）＝Ｒ（ｍ，ｌ） （２ー１６）
Ｇ（ｍ，ｌ）＝Ｒ（ｍ，ｌ）×ＧＬＰＦ（ｍ，ｌ）／ＲＬＰＦ（ｍ，ｌ） （２ー１７）
Ｂ（ｍ，ｌ）＝Ｒ（ｍ，ｌ）×ＢＬＰＦ（ｍ，ｌ）／ＲＬＰＦ（ｍ，ｌ） （２ー１８）
式（２ー１６）〜（２ー１８）においてＲＬＰＦ（ｍ，ｌ）、ＧＬＰＦ（ｍ，ｌ）、ＢＬＰＦ（ｍ，ｌ）はｌ行ｍ列におけるＲ，Ｇ，Ｂ信号のローパスフィルタを介した値であり、ローパスフィルタの算出方式は式（２ー８）〜（２ー１１）で示した例のように同様の方法で算出することができる。
【００２９】
また、同様にｌ行（ｍ＋１）列におけるＲ，Ｇ，Ｂ信号は次式で算出できる。
Ｒ（ｍ＋１，ｌ）＝Ｇ（ｍ＋１，ｌ）×ＲＬＰＦ（ｍ＋１，ｌ）／ＧＬＰＦ（ｍ＋１，ｌ） （２ー１９）
Ｇ（ｍ＋１，ｌ）＝Ｇ（ｍ＋１，ｌ） （２ー２０）
Ｂ（ｍ＋１，ｌ）＝Ｇ（ｍ＋１，ｌ）×ＢＬＰＦ（ｍ＋１，ｌ）／ＧＬＰＦ（ｍ＋１，ｌ） （２ー２１）
（ｌ＋１）行ｍ列におけるＲ，Ｇ，Ｂ信号は（２ー１９）〜（２ー２１）と同様の式で算出でき、（ｌ＋１）行（ｍ＋１）列におけるＲ，Ｇ，Ｂ信号は次式で算出できる。
【００３０】
この方法によりＲ，Ｇ，Ｂの水平、垂直方向の画素数を見かけ上それぞれ２倍にすることが可能となる。このように単板撮像素子においてはいかなるフィルタ配列にも用いることが可能である。
【００３１】
実施の形態３．
本実施の形態では撮像素子から得られた各画素の出力信号からＲ，Ｇ，Ｂ信号を算出する方法について説明する。図３は実施の形態３における算出方式のフローチャートを示す図であり、このフローチャートに沿って説明する。図１は実施の形態１で示した電子スチルカメラで用いられる補色の色フィルタから構成された撮像素子の各画素の色フィルタ配列を示す図である。初めにｌ行ｍ列の画素を基準として、２次元的にｌ行ｍ列における画素の周辺領域の高周波数成分量ΔｆＨを算出する。図１に示すようにｌ行ｍ列に位置する画素を（Ｃｙ＋Ｗ）（ｍ，ｌ）とすると、前記画素はその周囲の画素と比較して急に信号レベルが変化していないかを検出する。ΔｆＨの算出法はｌ行ｍ列では例えば次式で算出することができる。
ΔｆＨ＝Σ２ｉΣ２ｊ｛（Ｃｙ＋Ｗ）（ｍ−２ｉ，ｌ−２ｊ）−（Ｃｙ＋Ｗ）（ｍ，ｌ）／（ｉ×ｊ） （２ー２５）
ただし、ｉ，ｊは整数
式（２ー２５）において、（Ｃｙ＋Ｗ）（ｍ−２ｉ，ｌ−２ｊ）は（Ｃｙ＋Ｗ）（ｍ，ｌ）の周辺の（Ｃｙ＋Ｗ）の画素であり、例えば（Ｃｙ＋Ｗ）（ｍ−２，ｌ）、（Ｃｙ＋Ｗ）（ｍ，ｌ−２）を示す。また、式（２ー２５）は一例であり、（Ｃｙ＋Ｗ）（ｍ，ｌ） を基準としたハイパスフィルタを介した出力値を算出しても、高周波成分量を算出することができる。式（２ー２５）では（Ｃｙ＋Ｗ）の画素についてΔｆＨの算出式を示したが、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の画素についても同様の算出式により求めることができる。
【００３２】
次に、式（２ー２５）で算出したΔｆＨが予め定めた定数ｋ１より大きいとき、すなわち、その画素において高周波数成分が多い領域と判別されたとき、第１の算出方式によってＲ，Ｇ，Ｂ信号を生成する。ここで第１の算出方式とは実施の形態１で示した式（２ー１３）〜（２ー１５）に基づいた算出方式のことである。
【００３３】
ΔｆＨがｋ１より小さいときは第２の算出式によりＲ、Ｇ、Ｂ信号を生成する。第２の算出方式は式（２−１）〜（２−３）を元に次のように求める。今、Ｂ信号を考えると、
ｌ行ｍ列 Ｂ（ｍ，ｌ）＝｛（Ｃｙ＋Ｗ）（ｍ，ｌ）−（Ｙｅ＋Ｇ）（ｍ＋１，ｌ）｝／２ （２−２６）
ｌ行ｍ＋１列 Ｂ（ｍ＋１，ｌ）＝｛（Ｃｙ＋Ｗ）（ｍ＋２，ｌ）−（Ｙｅ＋Ｇ）（ｍ＋１，ｌ）｝／２ （２−２７）
で算出し、水平方向へは２画素ごとに繰り替えし算出することができる。（１＋２ｉ）行（ただし、ｉは整数）は上式（２−２６）、（２−２７）で算出する。次に（１＋２ｉ＋１）行では次式（２−２８）、（２−２９）で示すように補間処理によって算出する。
ｌ＋１行ｍ列 Ｂ（ｍ，ｌ＋１） ＝ ｛Ｂ（ｍ，ｌ） ＋ Ｂ（ｍ，ｌ＋２）｝ ／ ２ （２−２８）
ｌ＋１行ｍ＋１列 Ｂ（ｍ＋１，ｌ＋１） ＝ ｛Ｂ（ｍ＋１，ｌ） ＋ Ｂ（ｍ＋１，ｌ＋２）｝ ／ ２ （２−２９）
Ｒ、Ｇ信号においても同様の方法で算出することができる。
【００３４】
上記算出方式により撮像素子の水平（ｍｋ）垂直（ｌｋ）方向に順次各画素毎に演算を行う。
【００３５】
第１の算出方式は水平、垂直方向の画素数を見かけ上それぞれ２倍にすることが可能であり解像度の向上は図る算出法である。しかし低周波数領域では解像度の向上を図る必要がないため上述の算出方式によるＲ，Ｇ，Ｂ信号の生成は特に必要ない。また、式（２ー１３）〜（２ー１５）は除算を含む算出式であるため低周波数領域では算出式による演算誤差が偽輪郭として表れやすい。そのため低周波数領域では第２の算出方式にすることで上記弊害を防ぐこともできる。上記の算出方式により高周波数の領域では解像度向上が図れる第１の算出方式でＲ，Ｇ，Ｂの算出を行い、必要のない低周波数の領域では第２の算出方式を用いて第１の算出方式による弊害を発生することなく良好な画質を得ることができる。
【００３６】
また、図２に示したＲ，Ｇ，Ｂフィルタを配列した撮像素子を用いた場合においても同様に周波数成分によって実施の形態２で示した算出手段を切り替えることで同様の効果が得られる事は言うまでもない。
【００３７】
実施の形態４．
本実施の形態では撮像素子から得られた各画素の出力信号からＲ，Ｇ，Ｂ信号を算出する方法について説明する。図４は実施の形態４における算出方式のフローチャートを示す図であり、このフローチャートに沿って説明する。図１は実施の形態１で示した電子スチルカメラで用いられる補色の色フィルタから構成された撮像素子の各画素の色フィルタ配列を示す図である。初めにｌ行ｍ列の画素を基準として、２次元的にｌ行ｍ列における画素の色の変化量ΔＣを算出する。図１に示すようにｌ行ｍ列に位置する画素を（Ｃｙ＋Ｗ）（ｍ，ｌ） とすると、前記画素はその周囲の画素と比較して急に色が変化していないかを検出する。ΔＣの算出法はｌ行ｍ列では例えば次式で算出することができる。
ΔＣ＝Σ２ｉΣ２ｊ｛（Ｃｙ＋Ｗ）（ｍ−２ｉ，ｌ−２ｊ）−（Ｃｙ＋Ｗ）（ｍ，ｌ）｝／ｉ×ｊ） （２ー３０）
ただし、ｉ，ｊは整数
式（２ー３０）において、（Ｃｙ＋Ｗ）（ｍ−２ｉ，ｌ−２ｊ）は（Ｃｙ＋Ｗ）（ｍ，ｌ）の周辺の（Ｃｙ＋Ｗ）の画素であり、例えば（Ｃｙ＋Ｗ）（ｍ−２，ｌ）、（Ｃｙ＋Ｗ）（ｍ，ｌ−２）を示す。また、式（２ー３０）は一例であり、（Ｃｙ＋Ｗ）（ｍ，ｌ） を基準としたハイパスフィルタを介した出力値を算出しても、色の変化量を算出することができる。式（２ー３０）では（Ｃｙ＋Ｗ）の画素についてΔＣの算出式を示したが、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の画素についても同様の算出式により求めることができる。
【００３８】
式（２ー３０）で算出したΔＣが予め定めた定数ｋより小さいとき、すなわち色の変化量が小さい領域と判別されたとき、第１の算出方式によってＲ，Ｇ，Ｂ信号を生成する。ここで第１の算出方式とは実施の形態１で示した式（２ー１３）〜（２ー１５）に基づいた算出方式のことである。式（２ー１３）〜（２ー１５）に示した算出方式は局所的な領域では色の変化が少ないことを前提としているため、色の変化量が多い場合すなわち急激に色が変化する場合は成り立たない。そのため、ΔＣがｋより大きいとき第２の算出方式によりＲ，Ｇ，Ｂ信号を生成する。第２の算出方式は式（２ー２６）〜（２ー２９）で示した式と同様の算出式である。
【００３９】
上記算出方式により撮像素子の水平（ｍｋ）垂直（ｌｋ）方向に順次各画素毎に演算を行う。
【００４０】
上記のように各画素毎に第１の算出法または第２の算出方式によりＲ，Ｇ，Ｂ信号を算出し、撮像素子全ての画素についてＲ，Ｇ，Ｂ信号を算出する。上記のように特に色の変化が急激なため第１の算出方式が成り立たない領域においては各画素の加減算によって算出することにより、第１の算出方式による弊害を発生することなく良好な画質を得ることができる。特に自然界を対象とした被写体においては急激な色の変化がほとんど存在しないため非常に良好な画像を得ることができる。
【００４１】
また、本実施の形態で一例として示した色の変化量を検出する式（２ー３０）は実施の形態３で示した高周波数量を検出する式（２ー２５）と同様であるが、上述したように検出の目的が異なるため同様の式で算出した場合はΔＣ≫ΔｆＨである。
【００４２】
さらにまた、図２に示したＲ，Ｇ，Ｂフィルタを配列した撮像素子を用いた場合においても同様に色の変化量によって算出手段を切り替えることで同様の効果が得られる事は言うまでもない。
【００４３】
実施の形態５．
本実施の形態では撮像素子から得られた各画素の出力信号からＲ，Ｇ，Ｂ信号を算出する方法について説明する。図５は実施の形態５における算出方式のフローチャートを示す図であり、このフローチャートに沿って説明する。図１は実施の形態１で示した電子スチルカメラで用いられる補色の色フィルタから構成された撮像素子の各画素の色フィルタ配列を示す図である。初めにｌ行ｍ列の画素を基準として、２次元的にｌ行ｍ列における画素を中心とした輝度信号レベルＹｌを算出する。図１に示すようにｌ行ｍ列に位置する画素を（Ｃｙ＋Ｗ）（ｍ，ｌ） とすると、輝度信号レベルＹｌの算出法は、ｌ行ｍ列では例えば次式で算出することができる。
Ｙｌ＝ΣｉΣｊ（Ｃｙ＋Ｗ）（ｍ±ｉ，ｌ±ｊ）／（ｉ×ｊ） （２ー３１）
ただし、ｉ，ｊは整数
式（２ー３１）において、（Ｃｙ＋Ｗ）（ｍ±ｉ，ｌ±ｊ）は（Ｃｙ＋Ｗ）（ｍ，ｌ）の周辺の画素であり、例えば（Ｙｅ＋Ｇ）（ｍ＋１，ｌ）、（Ｃｙ＋Ｇ）（ｍ，ｌ＋１）、（Ｙｅ＋Ｗ）（ｍ＋１，ｌ＋１）を示す。また、式（２ー３１）は一例であり、（Ｃｙ＋Ｗ）（ｍ，ｌ）を基準としたローパスフィルタを介した出力値を算出しても、輝度信号レベルを算出することができる。式（２ー３１）では（Ｃｙ＋Ｗ）の画素についてＹｌの算出式を示したが、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の画素についても同様の算出式により求めることができる。
【００４４】
式（２ー３１）で算出したＹｌが予め定めた定数Ｙｌｏｗより大きいとき、すなわち輝度信号レベルが定数Ｙｌｏｗより大きいとき、第１の算出方式によってＲ，Ｇ，Ｂ信号を生成する。ここで第１の算出方式とは実施の形態１で示した式（２ー１３）〜（２ー１５）に基づいた算出方式のことである。式（２５）で算出したＹｌが予め定めた定数Ｙｌｏｗより小さいときは第２の算出方式によりＲ，Ｇ，Ｂ信号を生成する。第２の算出方式は式（２ー２６）〜（２ー２９）で示した式と同様の算出式である。
【００４５】
上記算出方式により撮像素子の水平（ｍｋ）垂直（ｌｋ）方向に順次各画素毎に演算を行う。
【００４６】
式（２ー１３）〜（２ー１５）に示した算出方式は除算が算出式内に含まれているため輝度信号レベルが非常に小さいとき、すなわち低輝度では式内の分母の値が０に近づくため演算誤差が大きくなる。そのため、上記低輝度では第２の算出方式によりＲ，Ｇ，Ｂ信号を算出するが、低輝度では人間の色の識別率が落ちるため第２の算出方式によってＲ，Ｇ，Ｂ信号を算出してもほとんど問題は生じない。
【００４７】
上記のように各画素毎に第１の算出法または第２の算出方式によりＲ，Ｇ，Ｂ信号を算出していき、撮像素子全ての画素についてＲ，Ｇ，Ｂ信号を算出する。上記のように低輝度部では第２の算出方式によって算出することで演算誤差を防ぎ、且つ低輝度部では人の色の識別率が落ちることから問題のない非常に良好な画像を得ることができる。
【００４８】
さらにまた、図２に示したＲ，Ｇ，Ｂフィルタを配列した撮像素子を用いた場合においても同様に輝度レベルによって算出手段を切り替えることで同様の効果が得られる事は言うまでもない。
【００４９】
実施の形態６．
本実施の形態では撮像素子から得られた各画素の出力信号からＲ，Ｇ，Ｂ信号を算出する方法について説明する。図６は実施の形態６における算出方式のフローチャートを示す図であり、このフローチャートに沿って説明する。図１は実施の形態１で示した電子スチルカメラで用いられる補色の色フィルタから構成された撮像素子の各画素の色フィルタ配列を示す図である。初めにｌ行ｍ列の画素を基準として、２次元的にｌ行ｍ列における画素を中心とした輝度信号レベルＹｌを算出する。輝度信号レベルＹｌの算出法は、実施の形態４で示した式（２ー３１）で算出することができる。また、実施の形態４で示したようにローパスフィルタの出力値から輝度信号レベルを算出することも可能である。
【００５０】
式（２ー３１）で算出したＹｌが予め定めた定数Ｙｈｉｇｈより小さい、すなわち輝度信号レベルが定数Ｙｈｉｇｈより小さいとき、第１の算出方式によってＲ，Ｇ，Ｂ信号を生成する。ここで第１の算出方式とは実施の形態１で示した式（２ー１３）〜（２ー１５）に基づいた算出方式のことである。式（２ー３１）で算出したＹｌが予め定めた定数Ｙｈｉｇｈより大きいときは第２の算出方式によりＲ，Ｇ，Ｂ信号を生成する。実施の形態４で示したように第２の算出方式は式（２ー１）〜（２ー３）を元に式（２ー２６）〜（２ー２９）で求めることができる。
【００５１】
上記算出方式により撮像素子の水平（ｍｋ）垂直（ｌｋ）方向に順次各画素毎に演算を行う。
【００５２】
撮像素子の出力信号が飽和する信号レベル近辺では、入力する光量に対して、それぞれの光電変換素子の出力信号の線形性が保たれない。そのため各光電変換素子の出力信号に相関性がなくなるため、式（２ー１３）〜（２ー１５）に示した算出方式では正確なＲ，Ｇ，Ｂ信号が算出できなくなる。そのため、通常の輝度信号レベルでは第１の算出方式によって解像度の向上を図り、撮像素子の出力が飽和レベルに達する輝度信号では第２の算出方式を用いることによって、非常に良好な画像を得ることができる。
【００５３】
また、実施の形態５と実施の形態６とでは輝度信号レベルの検出法に同様の式を記述したが、上述したように検出の目的が異なる。同一の式で算出した場合は、実施の形態５では式（２ー１３）〜（２ー１５）において分母か０に近づく輝度信号レベルであり、実施の形態５では撮像素子の出力が飽和するレベルであることからＹｌｏｗ＜＜Ｙｈｉｇｈである。
【００５４】
さらにまた、図２に示したＲ，Ｇ，Ｂフィルタを配列した撮像素子を用いた場合においても同様に輝度レベルによって算出手段を切り替えることで同様の効果が得られる事は言うまでもない。
【００５５】
実施の形態７．
図７は実施の形態７における電子スチルカメラの構成を示す図である。図において、１は被写体を撮像する撮像部、２は通信用ケーブル、３は映像信号処理を行う演算処理部、４は撮像した被写体を表示するディスプレイである。上記のように構成された電子スチルカメラについて説明する。
【００５６】
撮像部１の具体的な構成例を図８に示す。図において、５は撮像素子、６はアナログ処理回路、７はＡ／Ｄコンバータ、８はディジタル処理回路、１０は第１のメモリ、１１は第２のメモリ、９は通信部である。撮像素子５は被写体を撮像し、各画素の出力信号を順次、アナログ処理回路６へ出力する。アナログ処理回路６はＣＤＳ、ゲインコントロールを行う。Ａ／Ｄコンバータ７は撮像素子１の出力信号をディジタル化し、ディジタル処理回路８は上記ディジタル信号を一時、第１のメモリ１０へ画像一枚分を保持させる。第２のメモリ１１は不揮発性のメモリ、例えばフラッシュメモリなどで構成されており、第１のメモリ１０に保持したディジタル信号をディジタル処理回路８によって順次記憶保持していく。ディジタル処理回路８は次の撮影によって得られたディジタル信号が入力されると、第１のメモリ１０へ重ね書きを行っていく。そのため第１のメモリ１０の記憶容量は画像１枚分の容量で十分であり、揮発性のメモリ、例えばＳＲＡＭなどで構成することができる。第２のメモリ１１は順次画像を記憶保持していくため容量が多いほど複数の画像を記憶保持することが可能である。従来の電子スチルカメラでは上記のような不揮発性のメモリに画像情報をＲ，Ｇ，Ｂ信号や、輝度、色差信号などの映像信号として記憶保持するが、本構成では、撮像素子５から読み出された画素の情報がそのまま記憶保持される。すなわち、実施の形態１で示した図１による撮像素子５を有している場合は（Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の情報をそのまま第２のメモリ１１へ記憶保持していく。ディジタル処理回路８は第２のメモリに記憶されている画像を必要に応じて通信部９を介して出力する。
【００５７】
通信用ケーブル２は撮像部１と演算処理部３とを接続するケーブルであり、撮像部１から画像情報を演算処理部３へ転送する。ディスプレイ４は演算処理部３による演算処理結果を表示し、演算処理部３、ディスプレイ４は通常のパーソナルコンピュータで構成することができる。演算処理部３は入力され撮像素子から読み出された各画素のディジタル信号を請求項１から請求項５で示したＲ，Ｇ，Ｂ信号算出方式により各信号を演算処理し、Ｒ，Ｇ，Ｂ信号を生成してディスプレイ４に表示する。
【００５８】
上記方法により、撮像部１において表示に必要な映像信号、例えばＲ，Ｇ，Ｂ信号を生成する処理を行う必要が無いため、信号処理回路を簡素化することが可能であり、また、実施の形態１および実施の形態２に示した算出方式のように複雑な演算においても、ほとんど実時間で容易に実現する事ができ、撮像部の小型化に有効である。また、電子スチルカメラでは静止画を取り扱うため上記演算時間もほとんど問題にならない。
【００５９】
また、図７に示した電子スチルカメラの構成では撮像部１から演算処理部３へ画像の信号を転送するのに通信用ケーブル２を用いているが、撮像部１に上記画像信号を変調して赤外線で外部へ発信する赤外線の発光部を、演算処理部３に赤外線の受信部を設け、赤外線により撮像部１から演算処理部３へ画像信号を転送してもよい。
【００６０】
【発明の効果】
本発明は以上説明したように構成されているので、以下に示すような効果を奏する。
【００６１】
本発明の第１の構成による電子スチルカメラによれば、高解像度の画像を得ることができる。
【００６２】
また、本発明の第２の構成による電子スチルカメラによれば、第１の構成と異なる色フィルタ配列を有する撮像素子においても高解像度の画像を得ることができる。
【００６３】
また、本発明の第３の構成による電子スチルカメラによれば、低周波数の領域を有する被写体においても第１の構成の算出方式の演算誤差による弊害のない高解像度、高画質の画像を得ることができる。
【００６４】
また、本発明の第４の構成による電子スチルカメラによれば、色が急激に変化する領域を有する被写体においても高解像度、高画質の画像を得ることができる。
【００６５】
また、本発明の第５の構成による電子スチルカメラによれば、低輝度の領域を有する被写体においても第１の構成の算出方式の演算誤差による弊害のない高解像度、高画質の画像を得ることができる。
【００６６】
また、本発明の第６の構成による電子スチルカメラによれば、高輝度の領域を有する被写体においても第１の構成の算出方式による弊害のない高解像度、高画質の画像を得ることができる。
【００６７】
また、本発明の第７の構成による電子スチルカメラによれば、小型の電子スチルカメラを得ることができる。
【図面の簡単な説明】
【図１】撮像素子の色フィルタ配列の一例を示す図である。
【図２】原色の色フィルタを用いた撮像素子を示す図である。
【図３】請求項２における算出方式のフローチャートを示す図である。
【図４】請求項３における算出方式のフローチャートを示す図である。
【図５】請求項４における算出方式のフローチャートを示す図である。
【図６】請求項５における算出方式のフローチャートを示す図である。
【図７】請求項７における電子スチルカメラの構成を示す図である。
【図８】請求項７における撮像部の具体的な構成を示す図である。
【図９】従来例における撮像素子の色フィルタ配列の一例を示す図である。
【図１０】従来例におけるカメラの構成を示す図である。
【図１１】従来例における撮像素子の色フィルタ配列の他の一例を示す図である。
【図１２】従来例の画素ずらし過程を説明する図である。
【図１３】従来例における他のカメラの構成を示す図である。
【図１４】従来例における他のカメラの構成を示す図である。
【図１５】従来例における撮像素子の色フィルタ配列の一例を示す図である。
【図１６】従来例における撮像素子の混合読み出し一例を示す図である。
【符号の説明】
１ 撮像部、２ 通信用ケーブル、３ 演算処理部、４ ディスプレイ、５ 撮像素子、６ アナログ信号処理回路、７ Ａ／Ｄコンバータ、８ ディジタル信号処理回路、９ 通信部、１０ 第１のメモリ、１１ 第２のメモリ、２０ レンズ系、２１ 光路を変更する手段、２２ ＣＣＤ、２３ Ａ／Ｄコンバータ、２４ ＣＣＤ駆動回路、２５ 同時化回路、２６ 第１のディジタル信号処理回路、２７ 第１のＤ／Ａコンバータ、２８ 第１のカラーディスプレイ、２９〜３３ メモリ、３４ 制御装置、３５ 第２のディジタル信号処理回路、３６第２のＤ／Ａコンバータ、３７ 第２のカラーディスプレイ、４０〜４３ アドレス書き込み制御線、４４〜４７ アドレス読み出し制御線、５０ レンズ、５１ プリズム、５２〜５４ 撮像素子、５５ 信号処理回路、６０ レンズ、６１ 撮像素子、６２ バンドパスフィルタ、６３ 検波回路、６４ １ＨＤＬＹ、６５ スイッチ、６６ Ａ／Ｄコンバータ、６７ フィールドメモリ、６８ マルチプレクサ、６９〜７２ ２次元メモリ、７３〜７６ ２次元ローパスフィルタ、７７ 演算回路、７８ マトリックス回路。
【発明の属する技術分野】
本発明は、電子スチルカメラの小型・高画質化に関するものである。
【０００２】
【従来の技術】
従来、電子スチルカメラは小型化のため一枚の撮像素子（以下、単板撮像素子という）を用いている。図９は従来例における撮像素子の色フイルタ配列の一例を示す図である。図において、ＲはＲの光を通過させる分光特性を持った色フィルタを有した撮像素子であり、Ｂ，Ｇにおいても同様にそれぞれの色フィルタを有した撮像素子である。図９に示すようにｎラインではＲ，Ｇが２画素毎に配列されており、ｎ＋１ラインではＢ，Ｇが２画素毎に配列されている。そのためＲ，Ｂ信号は上下４画素（図９中の斜線部）毎に得られ、Ｇ信号は２画素毎に得られることとなる。そのため、撮像素子数だけのＲ，Ｇ，Ｂ信号は得る事ができないため２次元に配置された撮像素子の総画素数が少ない場合にはＲ，Ｇ，Ｂ信号の解像度が十分に得られない。
【０００３】
図１０は前記問題を解決するための従来の技術である。図１０は例えば特公平６−２９４９９号公報に示された従来の撮像装置の構成図である。図において、２０はレンズ系、２１は光路を変更する光路変更手段であり、例えば可変頂角プリズム等の光学素子をピエゾ素子等により光軸上に垂直な面内で偏位させる。２２は図１１に示す補色モザイクフィルタを受光面に装着した、例えばインターライン型ＣＣＤ、２３はＡ／Ｄコンバータ、２５は同時化回路、２６は第１のカメラ信号処理回路、２７は第１の３チャンネルＤ／Ａコンバータ、２８は第１のカラーディスプレイ、２４はＣＣＤドライブ装置、２９はメモリであって、３０は第１のメモリ、３１は第２のメモリ、３２は第３のメモリ、３３は第４のメモリ、３５は第２のカメラ信号処理回路、３６は第２の３チャンネルＤ／Ａコンバータ、３７は第２のディスプレイ、３４は制御装置、４０〜４３はアドレス書き込み制御線、４４〜４７はアドレス読み出し制御線である。
【０００４】
次に動作について説明する。制御装置３４は光路変更手段２１に対して、図１２に示すようにレンズ系１により得られた映像がＣＣＤの受光面上において、図１２の１（ｘ，ｙ）＝（０，０）で表す第１の撮像期間では前記第１の位置、図２の２（ｘ，ｙ）＝（１，０）で表す２の撮像期間では前記第１の位置に対して所定の水平方向に１画素ずれた第２の位置、図１２の３（ｘ，ｙ）＝（１，１）で表す第３の撮像期間では、前記第２の位置に対して垂直方向に１ラインずれた第３の位置、図１２の４（ｘ，ｙ）＝（０，１）で表す第４の位置に結像するように制御する。同時に制御装置３４はメモリ２９に対してアドレス書き込み制御線４０〜４３およびアドレス読み出し制御線を通じてアドレス書き込み信号およびアドレス読み出し信号を送る。この結果、メモリ２９のうち図１２に示すように３０にはＹｅ、３１にはＣｙ、３２にはＭｇ，３３にはＧがそれぞれ１フレームずつ記憶され、第２のカメラ信号処理回路３５に伝送される。第２のカメラ信号処理回路３５によりＲ，Ｇ，Ｂ信号を生成する。このように時間的にＣＣＤの光学的位置をずらすことによって高解像度化を図る。
【０００５】
また、高精細の画像を得るために複数の撮像素子をもって構成する従来技術もある。図１３は従来例における他のカメラの構成を示す図である。図において、５０はレンズ、５１はプリズム、５２、５３、５４はそれぞれ複数の画素を有する撮像素子である。レンズ５０によって集光された光はプリズム５１によりＲ，Ｂ，Ｇの光に分光される。Ｒの光は撮像素子５２上で結像し、Ｇの光は撮像素子５３の上で結像し、Ｂの光は撮像素子５４の上で結像する。信号処理回路５５は撮像素子５２の出力から映像信号のＲ信号を生成し、撮像素子５３の出力から映像信号のＧ信号を生成し、撮像素子５４の出力からＢ信号を生成するため、Ｒ，Ｇ，Ｂ信号はそれぞれ撮像素子の画素数だけの解像度を有することとなる。しかし上記構成はプリズム５１が必要であり、単板撮像素子だけで構成した場合に比べ、安価、小型に構成することが困難であった。
【０００６】
更にまた、図１４は特開平６ー８６３０２号公報に示された従来例におけるさらに他のカメラの構成を示す図である。図において、６０はレンズ、６１は撮像素子、６２はバンドパスフィルタ、６３は検波回路、６４は１Ｈディレイ素子、６５はスイッチ、６６はＡ／Ｄコンバータ、６７はフィールドメモリ、６８はマルチプレクサ、６９〜７２は２次元メモリ、７３〜７６は２次元ローパスフィルタ、７７は演算回路、７８はマトリクス回路である。
【０００７】
次に、動作について説明する。撮像素子６１の出力はＡ／Ｄコンバータ６６によりＡ／Ｄ変換され、フィールドメモリ６７に入力される。図１５に示した撮像素子は上下に隣接する２画素の信号が混合されて同時に得られる。混合された信号を一つの信号としてフィールドメモリ６７にかき込んでいく。撮像素子６１からの信号がどの様にフィールドメモリ１５にかき込まれているかその１部を図１６に示す。図において、ＭＣはマゼンタ画素の信号とシアン画素の信号が混合された信号、ＧＹはグリーン画素の信号とイェロー画素の信号が混合された信号、ＭＹはマゼンタ画素の信号とイェロー画素の信号が混合された信号、ＧＣはグリーン画素の信号とシアン画素の信号が混合された信号である。マルチプレクサ６８によりＭＣ、ＧＹ、ＭＹ、ＧＣの信号がそれぞれ別々に２次元メモリ６９〜７２に入力される。２次元メモリ６９〜７２にかき込まれた信号は２次元ローパスフィルタ７３〜７６により平滑される。
【０００８】
演算回路７７における演算について説明する。図１６において例えば、ｌ行ｍ列のＧＣの位置にＭＣ、ＧＹ、ＭＹの色フィルタがあると仮定した場合の出力信号値の算出方法を説明する。（この従来例ではｌ行ｍ列を（ｌ，ｍ） と表しているが本発明では（ｍ，ｌ）と表記する）
ＭＣ（ｍ，ｌ）＝ＧＣ（ｍ，ｌ）×（ＭＣＬＰＦ（ｍ，ｌ）／ＧＣＬＰＦ（ｍ，ｌ）） （１ー１）
ＧＹ（ｍ，ｌ）＝ＧＣ（ｍ，ｌ）×（ＧＹＬＰＦ（ｍ，ｌ）／ＧＣＬＰＦ（ｍ，ｌ）） （１ー２）
ＭＹ（ｍ，ｌ）＝ＧＣ（ｍ，ｌ）×（ＭＹＬＰＦ（ｍ，ｌ）／ＧＣＬＰＦ（ｍ，ｌ）） （１ー３）
なお、ＧＣ（ｍ，ｌ）の値は特に計算する必要ない。
ＧＣ（ｍ，ｌ）＝ＧＣ（ｍ，ｌ） （１ー４）
色フィルタの種類Ｊ（ＪはＭＣ、ＧＹ、ＭＹ、ＧＣの何れか）の位置（ｌ，ｍ）に色フィルタの種類Ｋ（ＫはＭＣ、ＧＹ、ＭＹ、ＧＣの何れか）の色フィルタがあると仮定した場合の出力信号値の算出方法は、次の式（１ー５）で表される。ただし、（ｍ，ｌ） は、本発明の実施例の場合、図２に示すフィールドメモリ６７の座標を示す。
Ｋ（ｍ，ｌ）＝Ｊ（ｍ，ｌ）×（ＫＬＰＦ（ｍ，ｌ）／ＪＬＰＦ（ｍ，ｌ）） （１ー５）
【０００９】
マトリクス回路７８におけるマトリクス演算について説明する。図１６におけるｌ行ｍ列のＧＣの位置の輝度信号成分Ｙは次式により算出される。
Ｙ＝（ＭＣ（ｌ，ｍ）＋ＧＹ（ｌ，ｍ）＋ＭＹ（ｌ，ｍ）＋ＧＣ（ｌ，ｍ））／２ （１ー６）
【００１０】
上記Ｙの算出方法の原理について説明する。この方法では、局所的な領域では、色の変化が少ないことを前提としている。つまり、各色信号（ＭＣ、ＧＹ、ＭＹ、ＧＣ）の比は、局所的な領域でほぼ等しいといえる。局所的な領域での各色信号ＭＣ、ＧＹ、ＭＹ、ＧＣの比は、ＭＣ、ＧＹ、ＭＹ、ＧＣの二次元ローパスフィルタ出力の比で与えられる。例えば、ｌ行ｍ列のＧＣの位置におけるＭＣの色フィルタがある場合の値は、ＧＣ（ｌ，ｍ）にその局所的な領域におけるＭＣとＧＣの比（ＭＣ信号の二次元ローパスフィルタ出力とＧＣ信号の二次元ローパスフィルタ出力の比）を乗ずることによって得られる。式（１ー２）、（１ー３）、（１ー４）も同様な考え方により得られる。この方法により、ＭＣ、ＧＹ、ＭＹ、ＧＣの水平、垂直のサンプリング点を見かけ上それぞれ２倍にすることが可能となる。式（１ー１）、（１ー２）、（１ー３）、（１ー４）により得られるＭＣ、ＧＹ、ＭＹ、ＧＣを用いて式（１ー６）によりＹ信号を算出する。
【００１１】
上記のように従来例では各画素の出力信号から高解像度のＹ信号を算出しているが、映像信号から上記算出にて求めたＹ信号を差し引き高解像度のＣ算出することができる。しかし、従来例では上記算出のためフィールドメモリや演算回路など回路規模が大きく、電子スチルカメラの用に静止画像を主にパーソナルコンピュータ（以下、ＰＣという）のディスプレイ等に表示する場合は映像信号をＹ／ＣではなくＲ，Ｇ，Ｂ信号で取り扱うことがほとんどであるため、算出したＹ／Ｃ信号からさらにＲ，Ｇ，Ｂ信号を生成する必要があった。
【００１２】
【発明が解決しようとする課題】
従来の技術において、図１０に示した構成は光学素子をペルチェ素子の上に配置する構成となっており、ペルチェ素子の偏位に正確さが求められるため制御が複雑であり、また、ペルチェ素子という素子を使う必要があるため安価・小型化が困難であるという問題点があった。
【００１３】
また、図１３に示した複数の撮像素子を用いて構成する場合も安価・小型化が困難であるという問題点があった。
【００１４】
さらにまた、図１４に示したカラービデオカメラでは回路規模が大きく、安価・小型化が困難なうえ、Ｒ，Ｇ，Ｂ信号での取り扱いを主とする電子スチルカメラにおいては更に信号処理の必要があるという問題があった。
【００１５】
本発明は、上記の問題点を解消するためになされたもので、小型で、且つ高画質の画像が得られる電子スチルカメラを提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明の第１の構成による電子スチルカメラにおいては、撮像素子から混合読み出しされた、それぞれの種類の分光感度特性の出力信号（Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）において、ｌ行ｍ列（Ｃｙ＋Ｗ）（ｍ，ｌ） の位置に（Ｙｅ＋Ｇ）、（Ｙｅ＋Ｗ）、（Ｃｙ＋Ｇ）の出力信号があると仮定した場合の２次元ローパスフィルタ出力信号（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）、（Ｙｅ＋Ｗ）ＬＰＦ（ｍ，ｌ）、（Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）および（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）を算出し、（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）と２次元ローパスフィルタ出力の各出力信号（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）、（Ｙｅ＋Ｗ）ＬＰＦ（ｍ，ｌ） 、（Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）との比に（Ｃｙ＋Ｗ）（ｍ，ｌ） を乗ずることでｌ行ｍ列（Ｃｙ＋Ｗ）（ｍ，ｌ）の位置における（Ｙｅ＋Ｇ）（ｍ，ｌ）、（Ｙｅ＋Ｗ）（ｍ，ｌ）、（Ｃｙ＋Ｇ）（ｍ，ｌ）を算出して、各画素の出力信号と前記算出された信号から、ｌ行ｍ列（Ｃｙ＋Ｗ）（ｍ，ｌ） の位置におけるＲ，Ｇ，Ｂ信号を、
Ｒ＝（Ｃｙ＋Ｗ）（ｍ，ｌ）×［｛（Ｙｅ＋Ｗ）ＬＰＦ（ｍ，ｌ）−（Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）｝／２］／（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）
Ｂ＝（Ｃｙ＋Ｗ）（ｍ，ｌ）×［｛（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）−（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）｝／２］／（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）
Ｇ＝（Ｃｙ＋Ｗ）（ｍ，ｌ）×［｛（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）＋（Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）｝／２］／（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）
により算出し、他の位置における（Ｙｅ＋Ｇ）、（Ｙｅ＋Ｗ）、（Ｃｙ＋Ｇ）においても同様にＲ，Ｇ，Ｂ信号を算出する。
【００１７】
また、本発明の第２の構成による電子スチルカメラにおいては、それぞれの光電変換素子が、Ｒ，Ｇ，Ｂの分光感度特性のうち何れか一種類の分光感度特性を有する撮像素子を具備し、ｌ行ｍ列Ｋ（ｍ，ｌ） の位置にＲ，Ｇ，Ｂの出力信号があると仮定した場合の２次元ローパスフィルタ出力信号ＧＬＰＦ（ｍ，ｌ）、ＢＬＰＦ（ｍ，ｌ）、およびＲＬＰＦ（ｍ，ｌ）を算出し、ＫＬＰＦ（ｍ，ｌ）と２次元ローパスフィルタ出力の各出力信号ＲＬＰＦ（ｍ，ｌ）、ＧＬＰＦ（ｍ，ｌ）、ＢＬＰＦ（ｍ，ｌ）との比にＫ（ｍ，ｌ） を乗ずることでｌ行ｍ列Ｋ（ｍ，ｌ）の位置におけるＲ（ｍ，ｌ）、Ｇ（ｍ，ｌ）、Ｂ（ｍ，ｌ）を算出し、各画素の出力信号と前記算出された信号から、ｌ行ｍ列Ｋ（ｍ，ｌ） の位置におけるＲ，Ｇ，Ｂ信号を、
Ｒ（ｍ，ｌ）＝Ｋ（ｍ，ｌ）×ＲＬＰＦ（ｍ，ｌ）／ＫＬＰＦ（ｍ，ｌ）
Ｇ（ｍ，ｌ）＝Ｋ（ｍ，ｌ）×ＧＬＰＦ（ｍ，ｌ）／ＫＬＰＦ（ｍ，ｌ）
Ｂ（ｍ，ｌ）＝Ｋ（ｍ，ｌ）×ＢＬＰＦ（ｍ，ｌ）／ＫＬＰＦ（ｍ，ｌ）
により算出し、他の位置におけるＧ，Ｂにおいても同様の方式で各画素におけるＲ，Ｇ，Ｂ信号を算出するものである。
【００１８】
本発明の第３構成による電子スチルカメラにおいては、撮像素子の出力信号の周波数成分を検出する手段により映像信号中、高周波数部分と低周波数部分とを検出し、低周波数部分では、撮像素子の色フィルタ配列に応じた算出によりＲ信号、Ｇ信号、Ｂ信号を得、高周波数部分では、第１の構成による算出にてＲ信号、Ｇ信号、Ｂ信号を得るものである。
【００１９】
また、本発明の第４の構成による電子スチルカメラにおいては、撮像素子の出力信号から色の変化量を検出する手段により検出された色の変化量が予め定められた値より大きいときは、撮像素子の色フィルタ配列に応じた算出によりＲ信号、Ｇ信号、Ｂ信号を得、前記検出手段により色の変化量が予め定められた値より小さいときは、請求項１による算出にてＲ信号、Ｇ信号、Ｂ信号を得るものである。
【００２０】
本発明の第５の構成による電子スチルカメラにおいては、撮像素子の出力信号から輝度信号レベルを検出する手段により検出された輝度信号レベルが、予め定められた値より小さいときは、撮像素子の色フィルタ配列に応じた算出によりＲ信号、Ｇ信号、Ｂ信号を得、前記検出手段により輝度信号レベルが予め定められた値より大きいときは、第１の構成による算出にてＲ信号、Ｇ信号、Ｂ信号を得るものである。
【００２１】
本発明の第６の構成による電子スチルカメラにおいては、撮像素子の出力信号から輝度信号レベルを検出する手段により検出された輝度信号レベルが、予め定められた値より大きいとき、すなわち撮像素子の出力飽和レベルのとき、撮像素子の色フィルタ配列に応じた算出によりＲ信号、Ｇ信号、Ｂ信号を得、前記検出手段により輝度信号レベルが予め定められた値より小さいときは、第１の構成による算出にてＲ信号、Ｇ信号、Ｂ信号を得るものである。
【００２２】
本発明の第７の構成による電子スチルカメラにおいては、被写体を撮像する撮像部と、該撮像部において撮像した信号からカラー画像を得るための演算処理を行う演算処理部が分離し、且つ、該撮像部から該信号処理部へ、信号ケーブルまたは赤外線により撮像した信号を転送するように構成し、該撮像部がそれぞれの光電変換素子の出力信号を該信号処理部へ転送した後、該演算処理部において請求項１から請求項５記載のＲ，Ｇ，Ｂ信号生成の算出を行うものである。
【００２３】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態１．
図１は撮像素子の色フイルタ配列の一例を示す図であり、詳しくは、電子スチルカメラで用いられる補色の色フィルタから構成された撮像素子の各画素の色フィルタ配列を示している。図１に示したそれぞれの色フィルタは、 Ｃｙ、Ｗ、Ｙｅ、Ｇの分光感度特性のうち何れか一種類の分光感度特性を有するそれぞれの光電変換素子の組み合わせで構成されており、撮像素子から出力信号を読み出すとき各光電変換素子の上下に隣接する２つの光電変換素子の信号が混合されることで生成される。図１において、（Ｃｙ＋Ｗ）はＣｙの色フィルタとＷの色フィルタを有した光電変換素子の組み合わせであり、（Ｙｅ＋Ｇ）はＹｅの色フィルタとＧの色フィルタを有した光電変換素子の組み合わせであり、（Ｃｙ＋Ｇ）はＣｙの色フィルタとＧの色フィルタを有した光電変換素子の組み合わせであり、（Ｙｅ＋Ｗ）はＹｅの色フィルタとＷの色フィルタを有した光電変換素子の組み合わせである。
【００２４】
図１のように配列した撮像素子では各画素の出力信号を加減算してＲ，Ｇ，Ｂ信号を算出することができる。算出式を式（２ー１）〜（２ー３）に示す。
Ｒ＝｛（Ｙｅ＋Ｗ）−（Ｃｙ＋Ｇ）｝／２ （２ー１）
Ｂ＝｛（Ｃｙ＋Ｗ）−（Ｙｅ＋Ｇ）｝／２ （２ー２）
Ｇ＝｛（Ｙｅ＋Ｇ）＋（Ｃｙ＋Ｇ）｝／２ （２ー３）
【００２５】
式（２ー１）〜（２ー３）に示した式を用いてＲ，Ｇ，Ｂ信号を算出する場合、ｌ行ｍ列に位置する画素（Ｃｙ＋Ｗ）（ｍ，ｌ） を基準にすると（Ｙｅ＋Ｇ）（ｍ＋１，ｌ），（Ｃｙ＋Ｇ）（ｍ，ｌ＋１），（Ｙｅ＋Ｗ）（ｍ＋１，ｌ＋１） の４画素を用いて前記Ｒ，Ｇ，Ｂ信号を算出する。それぞれの画素は異なる位置に配列されているため前記算出ではＲ，Ｇ，Ｂ信号の解像度は光電変換素子数だけは得ることができない。そのため本発明では下記に示す演算を行うことで解像度の向上を図る。
【００２６】
次に、本発明によるＲ，Ｇ，Ｂ信号の算出方式について説明する。ｌ行ｍ列に位置する画素（Ｃｙ＋Ｗ）（ｍ，ｌ） の位置に、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の色フィルタがあると仮定した場合の出力信号値の算出式を次式に示す。
（Ｙｅ＋Ｇ）（ｍ，ｌ）＝（Ｃｙ＋Ｗ）（ｍ，ｌ）×（（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）／（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）） （２ー４）
（Ｃｙ＋Ｇ）（ｍ，ｌ）＝（Ｃｙ＋Ｗ）（ｍ，ｌ）×（（Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）／（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）） （２ー５）
（Ｙｅ＋Ｗ）（ｍ，ｌ）＝（Ｃｙ＋Ｗ）（ｍ，ｌ）×（（Ｙｅ＋Ｗ）ＬＰＦ（ｍ，ｌ）／（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）） （２ー６）
（Ｃｙ＋Ｗ）（ｍ，ｌ）＝（Ｃｙ＋Ｗ）（ｍ，ｌ） （２ー７）
（２ー４）〜（２ー６）式において（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）は（Ｃｙ＋Ｗ）（ｍ，ｌ）のローパスフィルタを介した値であり、他の（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）、（Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）、（Ｙｅ＋Ｗ）ＬＰＦ（ｍ，ｌ）においても同様である。ローパスフィルタを介した値は例えば次式のように算出することができる。
【００２７】
式（２ー４）〜（２ー６）の原理について説明する。この方式では局所的な領域では色変化が少ないことを前提としている。つまり、各色信号（Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の比は、局所的な領域ではほぼ等しいといえる。局所的な領域での各色信号（Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の比は（Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の２次元的ローパスフィルタを介した値で与えられる。例えば、式（４）に示されるようにｌ行ｍ列の（Ｃｙ＋Ｗ）の位置における（Ｙｅ＋Ｇ）の色フィルタがあると仮定した場合、（Ｙｅ＋Ｇ）の色フィルタの値は、（Ｃｙ＋Ｗ）（ｍ，ｌ） にその局所的な領域における（Ｙｅ＋Ｇ）と（Ｃｙ＋Ｗ）の比（（Ｙｅ＋Ｇ）の２次元ローパスフィルタを介した値と（Ｃｙ＋Ｗ）の２次元ローパスフィルタを介した値を乗ずることによって得られる。式（２ー５）、（２ー６）の同様な考え方により得られる。この方法により（Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の水平、垂直方向の画素数を見かけ上それぞれ２倍にすることが可能となる。よって式（２ー１）〜（２ー３）および式（２ー４）〜（２ー７）からｌ行ｍ列におけるＲ，Ｇ，Ｂ信号は次式によって算出することが可能である。
【００２８】
実施の形態２．
本発明は図１に示したフィルタ配列のみではなく、他のフィルタ配列においても有効である。図２は原色の色フィルタを用いた撮像素子を示す図であり、各光電変換素子を独立に呼び出す方式の撮像素子である。図２に示したフィルタ配列においても同様に求めることができる。例えばｌ行ｍ列におけるＲ，Ｇ，Ｂ信号は次式で算出できる。
Ｒ（ｍ，ｌ）＝Ｒ（ｍ，ｌ） （２ー１６）
Ｇ（ｍ，ｌ）＝Ｒ（ｍ，ｌ）×ＧＬＰＦ（ｍ，ｌ）／ＲＬＰＦ（ｍ，ｌ） （２ー１７）
Ｂ（ｍ，ｌ）＝Ｒ（ｍ，ｌ）×ＢＬＰＦ（ｍ，ｌ）／ＲＬＰＦ（ｍ，ｌ） （２ー１８）
式（２ー１６）〜（２ー１８）においてＲＬＰＦ（ｍ，ｌ）、ＧＬＰＦ（ｍ，ｌ）、ＢＬＰＦ（ｍ，ｌ）はｌ行ｍ列におけるＲ，Ｇ，Ｂ信号のローパスフィルタを介した値であり、ローパスフィルタの算出方式は式（２ー８）〜（２ー１１）で示した例のように同様の方法で算出することができる。
【００２９】
また、同様にｌ行（ｍ＋１）列におけるＲ，Ｇ，Ｂ信号は次式で算出できる。
Ｒ（ｍ＋１，ｌ）＝Ｇ（ｍ＋１，ｌ）×ＲＬＰＦ（ｍ＋１，ｌ）／ＧＬＰＦ（ｍ＋１，ｌ） （２ー１９）
Ｇ（ｍ＋１，ｌ）＝Ｇ（ｍ＋１，ｌ） （２ー２０）
Ｂ（ｍ＋１，ｌ）＝Ｇ（ｍ＋１，ｌ）×ＢＬＰＦ（ｍ＋１，ｌ）／ＧＬＰＦ（ｍ＋１，ｌ） （２ー２１）
（ｌ＋１）行ｍ列におけるＲ，Ｇ，Ｂ信号は（２ー１９）〜（２ー２１）と同様の式で算出でき、（ｌ＋１）行（ｍ＋１）列におけるＲ，Ｇ，Ｂ信号は次式で算出できる。
この方法によりＲ，Ｇ，Ｂの水平、垂直方向の画素数を見かけ上それぞれ２倍にすることが可能となる。このように単板撮像素子においてはいかなるフィルタ配列にも用いることが可能である。
【００３１】
実施の形態３．
本実施の形態では撮像素子から得られた各画素の出力信号からＲ，Ｇ，Ｂ信号を算出する方法について説明する。図３は実施の形態３における算出方式のフローチャートを示す図であり、このフローチャートに沿って説明する。図１は実施の形態１で示した電子スチルカメラで用いられる補色の色フィルタから構成された撮像素子の各画素の色フィルタ配列を示す図である。初めにｌ行ｍ列の画素を基準として、２次元的にｌ行ｍ列における画素の周辺領域の高周波数成分量ΔｆＨを算出する。図１に示すようにｌ行ｍ列に位置する画素を（Ｃｙ＋Ｗ）（ｍ，ｌ）とすると、前記画素はその周囲の画素と比較して急に信号レベルが変化していないかを検出する。ΔｆＨの算出法はｌ行ｍ列では例えば次式で算出することができる。
ΔｆＨ＝Σ２ｉΣ２ｊ｛（Ｃｙ＋Ｗ）（ｍ−２ｉ，ｌ−２ｊ）−（Ｃｙ＋Ｗ）（ｍ，ｌ）／（ｉ×ｊ） （２ー２５）
ただし、ｉ，ｊは整数
式（２ー２５）において、（Ｃｙ＋Ｗ）（ｍ−２ｉ，ｌ−２ｊ）は（Ｃｙ＋Ｗ）（ｍ，ｌ）の周辺の（Ｃｙ＋Ｗ）の画素であり、例えば（Ｃｙ＋Ｗ）（ｍ−２，ｌ）、（Ｃｙ＋Ｗ）（ｍ，ｌ−２）を示す。また、式（２ー２５）は一例であり、（Ｃｙ＋Ｗ）（ｍ，ｌ） を基準としたハイパスフィルタを介した出力値を算出しても、高周波成分量を算出することができる。式（２ー２５）では（Ｃｙ＋Ｗ）の画素についてΔｆＨの算出式を示したが、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の画素についても同様の算出式により求めることができる。
【００３２】
次に、式（２ー２５）で算出したΔｆＨが予め定めた定数ｋ１より大きいとき、すなわち、その画素において高周波数成分が多い領域と判別されたとき、第１の算出方式によってＲ，Ｇ，Ｂ信号を生成する。ここで第１の算出方式とは実施の形態１で示した式（２ー１３）〜（２ー１５）に基づいた算出方式のことである。
【００３３】
ΔｆＨがｋ１より小さいときは第２の算出式によりＲ、Ｇ、Ｂ信号を生成する。第２の算出方式は式（２−１）〜（２−３）を元に次のように求める。今、Ｂ信号を考えると、
ｌ行ｍ列 Ｂ（ｍ，ｌ）＝｛（Ｃｙ＋Ｗ）（ｍ，ｌ）−（Ｙｅ＋Ｇ）（ｍ＋１，ｌ）｝／２ （２−２６）
ｌ行ｍ＋１列 Ｂ（ｍ＋１，ｌ）＝｛（Ｃｙ＋Ｗ）（ｍ＋２，ｌ）−（Ｙｅ＋Ｇ）（ｍ＋１，ｌ）｝／２ （２−２７）
で算出し、水平方向へは２画素ごとに繰り替えし算出することができる。（１＋２ｉ）行（ただし、ｉは整数）は上式（２−２６）、（２−２７）で算出する。次に（１＋２ｉ＋１）行では次式（２−２８）、（２−２９）で示すように補間処理によって算出する。
ｌ＋１行ｍ列 Ｂ（ｍ，ｌ＋１） ＝ ｛Ｂ（ｍ，ｌ） ＋ Ｂ（ｍ，ｌ＋２）｝ ／ ２ （２−２８）
ｌ＋１行ｍ＋１列 Ｂ（ｍ＋１，ｌ＋１） ＝ ｛Ｂ（ｍ＋１，ｌ） ＋ Ｂ（ｍ＋１，ｌ＋２）｝ ／ ２ （２−２９）
Ｒ、Ｇ信号においても同様の方法で算出することができる。
【００３４】
上記算出方式により撮像素子の水平（ｍｋ）垂直（ｌｋ）方向に順次各画素毎に演算を行う。
【００３５】
第１の算出方式は水平、垂直方向の画素数を見かけ上それぞれ２倍にすることが可能であり解像度の向上は図る算出法である。しかし低周波数領域では解像度の向上を図る必要がないため上述の算出方式によるＲ，Ｇ，Ｂ信号の生成は特に必要ない。また、式（２ー１３）〜（２ー１５）は除算を含む算出式であるため低周波数領域では算出式による演算誤差が偽輪郭として表れやすい。そのため低周波数領域では第２の算出方式にすることで上記弊害を防ぐこともできる。上記の算出方式により高周波数の領域では解像度向上が図れる第１の算出方式でＲ，Ｇ，Ｂの算出を行い、必要のない低周波数の領域では第２の算出方式を用いて第１の算出方式による弊害を発生することなく良好な画質を得ることができる。
【００３６】
また、図２に示したＲ，Ｇ，Ｂフィルタを配列した撮像素子を用いた場合においても同様に周波数成分によって実施の形態２で示した算出手段を切り替えることで同様の効果が得られる事は言うまでもない。
【００３７】
実施の形態４．
本実施の形態では撮像素子から得られた各画素の出力信号からＲ，Ｇ，Ｂ信号を算出する方法について説明する。図４は実施の形態４における算出方式のフローチャートを示す図であり、このフローチャートに沿って説明する。図１は実施の形態１で示した電子スチルカメラで用いられる補色の色フィルタから構成された撮像素子の各画素の色フィルタ配列を示す図である。初めにｌ行ｍ列の画素を基準として、２次元的にｌ行ｍ列における画素の色の変化量ΔＣを算出する。図１に示すようにｌ行ｍ列に位置する画素を（Ｃｙ＋Ｗ）（ｍ，ｌ） とすると、前記画素はその周囲の画素と比較して急に色が変化していないかを検出する。ΔＣの算出法はｌ行ｍ列では例えば次式で算出することができる。
ΔＣ＝Σ２ｉΣ２ｊ｛（Ｃｙ＋Ｗ）（ｍ−２ｉ，ｌ−２ｊ）−（Ｃｙ＋Ｗ）（ｍ，ｌ）｝／ｉ×ｊ） （２ー３０）
ただし、ｉ，ｊは整数
式（２ー３０）において、（Ｃｙ＋Ｗ）（ｍ−２ｉ，ｌ−２ｊ）は（Ｃｙ＋Ｗ）（ｍ，ｌ）の周辺の（Ｃｙ＋Ｗ）の画素であり、例えば（Ｃｙ＋Ｗ）（ｍ−２，ｌ）、（Ｃｙ＋Ｗ）（ｍ，ｌ−２）を示す。また、式（２ー３０）は一例であり、（Ｃｙ＋Ｗ）（ｍ，ｌ） を基準としたハイパスフィルタを介した出力値を算出しても、色の変化量を算出することができる。式（２ー３０）では（Ｃｙ＋Ｗ）の画素についてΔＣの算出式を示したが、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の画素についても同様の算出式により求めることができる。
【００３８】
式（２ー３０）で算出したΔＣが予め定めた定数ｋより小さいとき、すなわち色の変化量が小さい領域と判別されたとき、第１の算出方式によってＲ，Ｇ，Ｂ信号を生成する。ここで第１の算出方式とは実施の形態１で示した式（２ー１３）〜（２ー１５）に基づいた算出方式のことである。式（２ー１３）〜（２ー１５）に示した算出方式は局所的な領域では色の変化が少ないことを前提としているため、色の変化量が多い場合すなわち急激に色が変化する場合は成り立たない。そのため、ΔＣがｋより大きいとき第２の算出方式によりＲ，Ｇ，Ｂ信号を生成する。第２の算出方式は式（２ー２６）〜（２ー２９）で示した式と同様の算出式である。
【００３９】
上記算出方式により撮像素子の水平（ｍｋ）垂直（ｌｋ）方向に順次各画素毎に演算を行う。
【００４０】
上記のように各画素毎に第１の算出法または第２の算出方式によりＲ，Ｇ，Ｂ信号を算出し、撮像素子全ての画素についてＲ，Ｇ，Ｂ信号を算出する。上記のように特に色の変化が急激なため第１の算出方式が成り立たない領域においては各画素の加減算によって算出することにより、第１の算出方式による弊害を発生することなく良好な画質を得ることができる。特に自然界を対象とした被写体においては急激な色の変化がほとんど存在しないため非常に良好な画像を得ることができる。
【００４１】
また、本実施の形態で一例として示した色の変化量を検出する式（２ー３０）は実施の形態３で示した高周波数量を検出する式（２ー２５）と同様であるが、上述したように検出の目的が異なるため同様の式で算出した場合はΔＣ≫ΔｆＨである。
【００４２】
さらにまた、図２に示したＲ，Ｇ，Ｂフィルタを配列した撮像素子を用いた場合においても同様に色の変化量によって算出手段を切り替えることで同様の効果が得られる事は言うまでもない。
【００４３】
実施の形態５．
本実施の形態では撮像素子から得られた各画素の出力信号からＲ，Ｇ，Ｂ信号を算出する方法について説明する。図５は実施の形態５における算出方式のフローチャートを示す図であり、このフローチャートに沿って説明する。図１は実施の形態１で示した電子スチルカメラで用いられる補色の色フィルタから構成された撮像素子の各画素の色フィルタ配列を示す図である。初めにｌ行ｍ列の画素を基準として、２次元的にｌ行ｍ列における画素を中心とした輝度信号レベルＹｌを算出する。図１に示すようにｌ行ｍ列に位置する画素を（Ｃｙ＋Ｗ）（ｍ，ｌ） とすると、輝度信号レベルＹｌの算出法は、ｌ行ｍ列では例えば次式で算出することができる。
Ｙｌ＝ΣｉΣｊ（Ｃｙ＋Ｗ）（ｍ±ｉ，ｌ±ｊ）／（ｉ×ｊ） （２ー３１）
ただし、ｉ，ｊは整数
式（２ー３１）において、（Ｃｙ＋Ｗ）（ｍ±ｉ，ｌ±ｊ）は（Ｃｙ＋Ｗ）（ｍ，ｌ）の周辺の画素であり、例えば（Ｙｅ＋Ｇ）（ｍ＋１，ｌ）、（Ｃｙ＋Ｇ）（ｍ，ｌ＋１）、（Ｙｅ＋Ｗ）（ｍ＋１，ｌ＋１）を示す。また、式（２ー３１）は一例であり、（Ｃｙ＋Ｗ）（ｍ，ｌ）を基準としたローパスフィルタを介した出力値を算出しても、輝度信号レベルを算出することができる。式（２ー３１）では（Ｃｙ＋Ｗ）の画素についてＹｌの算出式を示したが、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の画素についても同様の算出式により求めることができる。
【００４４】
式（２ー３１）で算出したＹｌが予め定めた定数Ｙｌｏｗより大きいとき、すなわち輝度信号レベルが定数Ｙｌｏｗより大きいとき、第１の算出方式によってＲ，Ｇ，Ｂ信号を生成する。ここで第１の算出方式とは実施の形態１で示した式（２ー１３）〜（２ー１５）に基づいた算出方式のことである。式（２５）で算出したＹｌが予め定めた定数Ｙｌｏｗより小さいときは第２の算出方式によりＲ，Ｇ，Ｂ信号を生成する。第２の算出方式は式（２ー２６）〜（２ー２９）で示した式と同様の算出式である。
【００４５】
上記算出方式により撮像素子の水平（ｍｋ）垂直（ｌｋ）方向に順次各画素毎に演算を行う。
【００４６】
式（２ー１３）〜（２ー１５）に示した算出方式は除算が算出式内に含まれているため輝度信号レベルが非常に小さいとき、すなわち低輝度では式内の分母の値が０に近づくため演算誤差が大きくなる。そのため、上記低輝度では第２の算出方式によりＲ，Ｇ，Ｂ信号を算出するが、低輝度では人間の色の識別率が落ちるため第２の算出方式によってＲ，Ｇ，Ｂ信号を算出してもほとんど問題は生じない。
【００４７】
上記のように各画素毎に第１の算出法または第２の算出方式によりＲ，Ｇ，Ｂ信号を算出していき、撮像素子全ての画素についてＲ，Ｇ，Ｂ信号を算出する。上記のように低輝度部では第２の算出方式によって算出することで演算誤差を防ぎ、且つ低輝度部では人の色の識別率が落ちることから問題のない非常に良好な画像を得ることができる。
【００４８】
さらにまた、図２に示したＲ，Ｇ，Ｂフィルタを配列した撮像素子を用いた場合においても同様に輝度レベルによって算出手段を切り替えることで同様の効果が得られる事は言うまでもない。
【００４９】
実施の形態６．
本実施の形態では撮像素子から得られた各画素の出力信号からＲ，Ｇ，Ｂ信号を算出する方法について説明する。図６は実施の形態６における算出方式のフローチャートを示す図であり、このフローチャートに沿って説明する。図１は実施の形態１で示した電子スチルカメラで用いられる補色の色フィルタから構成された撮像素子の各画素の色フィルタ配列を示す図である。初めにｌ行ｍ列の画素を基準として、２次元的にｌ行ｍ列における画素を中心とした輝度信号レベルＹｌを算出する。輝度信号レベルＹｌの算出法は、実施の形態４で示した式（２ー３１）で算出することができる。また、実施の形態４で示したようにローパスフィルタの出力値から輝度信号レベルを算出することも可能である。
【００５０】
式（２ー３１）で算出したＹｌが予め定めた定数Ｙｈｉｇｈより小さい、すなわち輝度信号レベルが定数Ｙｈｉｇｈより小さいとき、第１の算出方式によってＲ，Ｇ，Ｂ信号を生成する。ここで第１の算出方式とは実施の形態１で示した式（２ー１３）〜（２ー１５）に基づいた算出方式のことである。式（２ー３１）で算出したＹｌが予め定めた定数Ｙｈｉｇｈより大きいときは第２の算出方式によりＲ，Ｇ，Ｂ信号を生成する。実施の形態４で示したように第２の算出方式は式（２ー１）〜（２ー３）を元に式（２ー２６）〜（２ー２９）で求めることができる。
【００５１】
上記算出方式により撮像素子の水平（ｍｋ）垂直（ｌｋ）方向に順次各画素毎に演算を行う。
【００５２】
撮像素子の出力信号が飽和する信号レベル近辺では、入力する光量に対して、それぞれの光電変換素子の出力信号の線形性が保たれない。そのため各光電変換素子の出力信号に相関性がなくなるため、式（２ー１３）〜（２ー１５）に示した算出方式では正確なＲ，Ｇ，Ｂ信号が算出できなくなる。そのため、通常の輝度信号レベルでは第１の算出方式によって解像度の向上を図り、撮像素子の出力が飽和レベルに達する輝度信号では第２の算出方式を用いることによって、非常に良好な画像を得ることができる。
【００５３】
また、実施の形態５と実施の形態６とでは輝度信号レベルの検出法に同様の式を記述したが、上述したように検出の目的が異なる。同一の式で算出した場合は、実施の形態５では式（２ー１３）〜（２ー１５）において分母か０に近づく輝度信号レベルであり、実施の形態５では撮像素子の出力が飽和するレベルであることからＹｌｏｗ＜＜Ｙｈｉｇｈである。
【００５４】
さらにまた、図２に示したＲ，Ｇ，Ｂフィルタを配列した撮像素子を用いた場合においても同様に輝度レベルによって算出手段を切り替えることで同様の効果が得られる事は言うまでもない。
【００５５】
実施の形態７．
図７は実施の形態７における電子スチルカメラの構成を示す図である。図において、１は被写体を撮像する撮像部、２は通信用ケーブル、３は映像信号処理を行う演算処理部、４は撮像した被写体を表示するディスプレイである。上記のように構成された電子スチルカメラについて説明する。
【００５６】
撮像部１の具体的な構成例を図８に示す。図において、５は撮像素子、６はアナログ処理回路、７はＡ／Ｄコンバータ、８はディジタル処理回路、１０は第１のメモリ、１１は第２のメモリ、９は通信部である。撮像素子５は被写体を撮像し、各画素の出力信号を順次、アナログ処理回路６へ出力する。アナログ処理回路６はＣＤＳ、ゲインコントロールを行う。Ａ／Ｄコンバータ７は撮像素子１の出力信号をディジタル化し、ディジタル処理回路８は上記ディジタル信号を一時、第１のメモリ１０へ画像一枚分を保持させる。第２のメモリ１１は不揮発性のメモリ、例えばフラッシュメモリなどで構成されており、第１のメモリ１０に保持したディジタル信号をディジタル処理回路８によって順次記憶保持していく。ディジタル処理回路８は次の撮影によって得られたディジタル信号が入力されると、第１のメモリ１０へ重ね書きを行っていく。そのため第１のメモリ１０の記憶容量は画像１枚分の容量で十分であり、揮発性のメモリ、例えばＳＲＡＭなどで構成することができる。第２のメモリ１１は順次画像を記憶保持していくため容量が多いほど複数の画像を記憶保持することが可能である。従来の電子スチルカメラでは上記のような不揮発性のメモリに画像情報をＲ，Ｇ，Ｂ信号や、輝度、色差信号などの映像信号として記憶保持するが、本構成では、撮像素子５から読み出された画素の情報がそのまま記憶保持される。すなわち、実施の形態１で示した図１による撮像素子５を有している場合は（Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ）の情報をそのまま第２のメモリ１１へ記憶保持していく。ディジタル処理回路８は第２のメモリに記憶されている画像を必要に応じて通信部９を介して出力する。
【００５７】
通信用ケーブル２は撮像部１と演算処理部３とを接続するケーブルであり、撮像部１から画像情報を演算処理部３へ転送する。ディスプレイ４は演算処理部３による演算処理結果を表示し、演算処理部３、ディスプレイ４は通常のパーソナルコンピュータで構成することができる。演算処理部３は入力され撮像素子から読み出された各画素のディジタル信号を請求項１から請求項５で示したＲ，Ｇ，Ｂ信号算出方式により各信号を演算処理し、Ｒ，Ｇ，Ｂ信号を生成してディスプレイ４に表示する。
【００５８】
上記方法により、撮像部１において表示に必要な映像信号、例えばＲ，Ｇ，Ｂ信号を生成する処理を行う必要が無いため、信号処理回路を簡素化することが可能であり、また、実施の形態１および実施の形態２に示した算出方式のように複雑な演算においても、ほとんど実時間で容易に実現する事ができ、撮像部の小型化に有効である。また、電子スチルカメラでは静止画を取り扱うため上記演算時間もほとんど問題にならない。
【００５９】
また、図７に示した電子スチルカメラの構成では撮像部１から演算処理部３へ画像の信号を転送するのに通信用ケーブル２を用いているが、撮像部１に上記画像信号を変調して赤外線で外部へ発信する赤外線の発光部を、演算処理部３に赤外線の受信部を設け、赤外線により撮像部１から演算処理部３へ画像信号を転送してもよい。
【００６０】
【発明の効果】
本発明は以上説明したように構成されているので、以下に示すような効果を奏する。
【００６１】
本発明の第１の構成による電子スチルカメラによれば、高解像度の画像を得ることができる。
【００６２】
また、本発明の第２の構成による電子スチルカメラによれば、第１の構成と異なる色フィルタ配列を有する撮像素子においても高解像度の画像を得ることができる。
【００６３】
また、本発明の第３の構成による電子スチルカメラによれば、低周波数の領域を有する被写体においても第１の構成の算出方式の演算誤差による弊害のない高解像度、高画質の画像を得ることができる。
【００６４】
また、本発明の第４の構成による電子スチルカメラによれば、色が急激に変化する領域を有する被写体においても高解像度、高画質の画像を得ることができる。
【００６５】
また、本発明の第５の構成による電子スチルカメラによれば、低輝度の領域を有する被写体においても第１の構成の算出方式の演算誤差による弊害のない高解像度、高画質の画像を得ることができる。
【００６６】
また、本発明の第６の構成による電子スチルカメラによれば、高輝度の領域を有する被写体においても第１の構成の算出方式による弊害のない高解像度、高画質の画像を得ることができる。
【００６７】
また、本発明の第７の構成による電子スチルカメラによれば、小型の電子スチルカメラを得ることができる。
【図面の簡単な説明】
【図１】撮像素子の色フィルタ配列の一例を示す図である。
【図２】原色の色フィルタを用いた撮像素子を示す図である。
【図３】請求項２における算出方式のフローチャートを示す図である。
【図４】請求項３における算出方式のフローチャートを示す図である。
【図５】請求項４における算出方式のフローチャートを示す図である。
【図６】請求項５における算出方式のフローチャートを示す図である。
【図７】請求項７における電子スチルカメラの構成を示す図である。
【図８】請求項７における撮像部の具体的な構成を示す図である。
【図９】従来例における撮像素子の色フィルタ配列の一例を示す図である。
【図１０】従来例におけるカメラの構成を示す図である。
【図１１】従来例における撮像素子の色フィルタ配列の他の一例を示す図である。
【図１２】従来例の画素ずらし過程を説明する図である。
【図１３】従来例における他のカメラの構成を示す図である。
【図１４】従来例における他のカメラの構成を示す図である。
【図１５】従来例における撮像素子の色フィルタ配列の一例を示す図である。
【図１６】従来例における撮像素子の混合読み出し一例を示す図である。
【符号の説明】
１ 撮像部、２ 通信用ケーブル、３ 演算処理部、４ ディスプレイ、５ 撮像素子、６ アナログ信号処理回路、７ Ａ／Ｄコンバータ、８ ディジタル信号処理回路、９ 通信部、１０ 第１のメモリ、１１ 第２のメモリ、２０ レンズ系、２１ 光路を変更する手段、２２ ＣＣＤ、２３ Ａ／Ｄコンバータ、２４ ＣＣＤ駆動回路、２５ 同時化回路、２６ 第１のディジタル信号処理回路、２７ 第１のＤ／Ａコンバータ、２８ 第１のカラーディスプレイ、２９〜３３ メモリ、３４ 制御装置、３５ 第２のディジタル信号処理回路、３６第２のＤ／Ａコンバータ、３７ 第２のカラーディスプレイ、４０〜４３ アドレス書き込み制御線、４４〜４７ アドレス読み出し制御線、５０ レンズ、５１ プリズム、５２〜５４ 撮像素子、５５ 信号処理回路、６０ レンズ、６１ 撮像素子、６２ バンドパスフィルタ、６３ 検波回路、６４ １ＨＤＬＹ、６５ スイッチ、６６ Ａ／Ｄコンバータ、６７ フィールドメモリ、６８ マルチプレクサ、６９〜７２ ２次元メモリ、７３〜７６ ２次元ローパスフィルタ、７７ 演算回路、７８ マトリックス回路。
Claims (3)
- それぞれの光電変換素子が、Ｃｙ、Ｗ、Ｙｅ、Ｇの分光感度特性のうち何れか一種類の分光感度特性を有した撮像素子と、前記撮像素子からＣｙとＷの画素とＹｅとＧの画素とＣｙとＧの画素とＹｅとＷの画素とを２画素ずつ同時に混合して読み出す読み出し手段と、前記読み出し手段によって読み出された撮像素子の出力信号 （Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ） の低周波数成分 （Ｃｙ＋Ｗ）ＬＰＦ、（Ｙｅ＋Ｇ）ＬＰＦ、（Ｃｙ＋Ｇ）ＬＰＦ、（Ｙｅ＋Ｗ）ＬＰＦ を生成する２次元ローパスフィルタと、前記読み出し手段によって読み出された撮像素子の出力信号 （Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ） において、ｌ行ｍ列の信号 （Ｃｙ＋Ｗ）（ｍ，ｌ） の位置におけるＲ、Ｇ、Ｂ信号 Ｒ（ｍ，ｌ）、Ｇ（ｍ，ｌ）、Ｂ（ｍ，ｌ） を、前記２次元ローパスフィルタの各信号低周波数成分 （Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）、（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）、（Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）、（Ｙｅ＋Ｗ）ＬＰＦ（ｍ，ｌ） を用いて、 Ｒ（ｍ，ｌ） ＝ （Ｃｙ＋Ｗ）（ｍ，ｌ） × ［｛（Ｙｅ＋Ｗ）ＬＰＦ（ｍ，ｌ） − （Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）｝ ／ ２］ ／ （Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）
Ｇ（ｍ，ｌ） ＝ （Ｃｙ＋Ｗ）（ｍ，ｌ） × ［｛（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ） ＋ （Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）｝ ／ ２］ ／ （Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）
Ｂ（ｍ，ｌ） ＝ （Ｃｙ＋Ｗ）（ｍ，ｌ） × ［｛（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ） − （Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）｝ ／ ２］ ／ （Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）
により算出する演算手段とを有することを特徴とする電子スチルカメラ。 - それぞれの光電変換素子が、Ｃｙ、Ｗ、Ｙｅ、Ｇの分光感度特性のうち何れか一種類の分光感度特性を有した撮像素子と、前記撮像素子からＣｙとＷの画素とＹｅとＧの画素とＣｙとＧの画素とＹｅとＷの画素とを２画素ずつ同時に混合して読み出す読み出し手段と、前記読み出し手段によって読み出された撮像素子の出力信号 （Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ） の低周波数成分 （Ｃｙ＋Ｗ）ＬＰＦ、（Ｙｅ＋Ｇ）ＬＰＦ、（Ｃｙ＋Ｇ）ＬＰＦ、（Ｙｅ＋Ｗ）ＬＰＦ を生成する２次元ローパスフィルタと、前記撮像素子の出力信号から映像信号の周波数成分を検出する検出手段と、前記検出手段によって検出された周波数成分において低周波数成分の少ない画像領域では、前記読み出し手段によって読み出された撮像素子の出力信号 （Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ） において、ｌ行ｍ列の信号 （Ｃｙ＋Ｗ）（ｍ，ｌ） の位置におけるＲ、Ｇ、Ｂ信号 Ｒ（ｍ，ｌ）、Ｇ（ｍ，ｌ）、Ｂ（ｍ，ｌ） を、前記２次元ローパスフィルタの各信号低周波数成分 （Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）、（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）、（Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）、（Ｙｅ＋Ｗ）ＬＰＦ（ｍ，ｌ） を用いて、
Ｒ（ｍ，ｌ） ＝ （Ｃｙ＋Ｗ）（ｍ，ｌ） × ［｛（Ｙｅ＋Ｗ）ＬＰＦ（ｍ，ｌ） − （Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）｝ ／ ２］ ／ （Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）
Ｇ（ｍ，ｌ） ＝ （Ｃｙ＋Ｗ）（ｍ，ｌ） × ［｛（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ） ＋ （Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）｝ ／ ２］ ／ （Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）
Ｂ（ｍ，ｌ） ＝ （Ｃｙ＋Ｗ）（ｍ，ｌ） × ［｛（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ） − （Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）｝ ／ ２］ ／ （Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）
により算出する第１の演算手段と、前記検出手段によって検出された周波数成分において低周波数成分の多い画像領域では、前記読み出し手段によって読み出された撮像素子の出力信号 （Ｙｅ＋Ｗ）（ｍ＋１，ｌ＋１） 、 （Ｃｙ＋Ｇ）（ｍ，ｌ＋１） 、 （Ｙｅ＋Ｇ）（ｍ＋１，ｌ） 、 （Ｃｙ＋Ｗ）（ｍ，ｌ） 、を用いて、
Ｒ（ｍ，ｌ） ＝ ｛（Ｙｅ＋Ｗ）（ｍ＋１，ｌ＋１） − （Ｃｙ＋Ｇ）（ｍ，ｌ＋１）｝ ／ ２
Ｇ（ｍ，ｌ） ＝ ｛（Ｙｅ＋Ｇ）（ｍ＋１，ｌ） ＋ （Ｃｙ＋Ｇ）（ｍ，ｌ＋１）｝ ／ ２
Ｂ（ｍ，ｌ） ＝ ｛（Ｃｙ＋Ｗ）（ｍ，ｌ） − （Ｙｅ＋Ｇ）（ｍ＋１，ｌ）｝ ／ ２
により算出する第２の演算手段とを有する電子スチルカメラ。 - それぞれの光電変換素子が、Ｃｙ、Ｗ、Ｙｅ、Ｇの分光感度特性のうち何れか一種類の分光感度特性を有した撮像素子と、前記撮像素子からＣｙとＷの画素とＹｅとＧの画素とＣｙとＧの画素とＹｅとＷの画素とを２画素ずつ同時に混合して読み出す読み出し手段と、前記読み出し手段によって読み出された撮像素子の出力信号 （Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ） の低周波数成分 （Ｃｙ＋Ｗ）ＬＰＦ、（Ｙｅ＋Ｇ）ＬＰＦ、（Ｃｙ＋Ｇ）ＬＰＦ、（Ｙｅ＋Ｗ）ＬＰＦ を生成する２次元ローパスフィルタと、前記撮像素子の出力信号から色の変化量を検出する検出手段と、前記検出手段によって検出された色の変化量が予め定められた値より小さいときは、前記読み出し手段によって読み出された撮像素子の出力信号 （Ｃｙ＋Ｗ）、（Ｙｅ＋Ｇ）、（Ｃｙ＋Ｇ）、（Ｙｅ＋Ｗ） において、ｌ行ｍ列の信号 （Ｃｙ＋Ｗ）（ｍ，ｌ） の位置におけるＲ、Ｇ、Ｂ信号 Ｒ（ｍ，ｌ）、Ｇ（ｍ，ｌ）、Ｂ（ｍ，ｌ） を、前記２次元ローパスフィルタの各信号低周波数成分 （Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）、（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）、（Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）、（Ｙｅ＋Ｗ）ＬＰＦ（ｍ，ｌ） を用いて、 Ｒ（ｍ，ｌ） ＝ （Ｃｙ＋Ｗ）（ｍ，ｌ） × ［｛（Ｙｅ＋Ｗ）ＬＰＦ（ｍ，ｌ） − （Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）｝ ／ ２］ ／ （Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）
Ｇ（ｍ，ｌ） ＝ （Ｃｙ＋Ｗ）（ｍ，ｌ） × ［｛（Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ） ＋ （Ｃｙ＋Ｇ）ＬＰＦ（ｍ，ｌ）｝ ／ ２］ ／ （Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）
Ｂ（ｍ，ｌ） ＝ （Ｃｙ＋Ｗ）（ｍ，ｌ） × ［｛（Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ） − （Ｙｅ＋Ｇ）ＬＰＦ（ｍ，ｌ）｝ ／ ２］ ／ （Ｃｙ＋Ｗ）ＬＰＦ（ｍ，ｌ）
により算出する第１の演算手段と、前記検出手段によって検出された色の変化量が予め定められた値より大きいときは、前記読み出し手段によって読み出された撮像素子の出力信号 （Ｙｅ＋Ｗ）（ｍ＋１，ｌ＋１） 、 （Ｃｙ＋Ｇ）（ｍ，ｌ＋１） 、 （Ｙｅ＋Ｇ）（ｍ＋１，ｌ） 、 （Ｃｙ＋Ｗ）（ｍ，ｌ） 、を用いて、
Ｒ（ｍ，ｌ） ＝ ｛（Ｙｅ＋Ｗ）（ｍ＋１，ｌ＋１） − （Ｃｙ＋Ｇ）（ｍ，ｌ＋１）｝ ／ ２
Ｇ（ｍ，ｌ） ＝ ｛（Ｙｅ＋Ｇ）（ｍ＋１，ｌ） ＋ （Ｃｙ＋Ｇ）（ｍ，ｌ＋１）｝ ／ ２
Ｂ（ｍ，ｌ） ＝ ｛（Ｃｙ＋Ｗ）（ｍ，ｌ） − （Ｙｅ＋Ｇ）（ｍ＋１，ｌ）｝ ／ ２
により算出する第２の演算手段とを有する電子スチルカメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34349996A JP3551670B2 (ja) | 1996-12-24 | 1996-12-24 | 電子スチルカメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34349996A JP3551670B2 (ja) | 1996-12-24 | 1996-12-24 | 電子スチルカメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10191365A JPH10191365A (ja) | 1998-07-21 |
| JP3551670B2 true JP3551670B2 (ja) | 2004-08-11 |
Family
ID=18361994
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP34349996A Expired - Fee Related JP3551670B2 (ja) | 1996-12-24 | 1996-12-24 | 電子スチルカメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3551670B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4626007B2 (ja) * | 1999-06-14 | 2011-02-02 | 株式会社ニコン | 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置 |
-
1996
- 1996-12-24 JP JP34349996A patent/JP3551670B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10191365A (ja) | 1998-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4019417B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| US20040046882A1 (en) | Electric camera | |
| WO2010089817A1 (ja) | 固体撮像素子、カメラシステムおよび固体撮像素子の駆動方法 | |
| JP5128726B1 (ja) | 固体撮像素子および当該素子を備える撮像装置 | |
| JP5096645B1 (ja) | 画像生成装置、画像生成システム、方法、およびプログラム | |
| US7259788B1 (en) | Image sensor and method for implementing optical summing using selectively transmissive filters | |
| JP4414901B2 (ja) | カラー画像生成方法 | |
| TW200417251A (en) | Solid photographing element and digital camera | |
| EP2442556A1 (en) | Apparatus and method for capturing images with high dynamic range | |
| JPH05161145A (ja) | 面順次撮像装置 | |
| US7019774B2 (en) | Imaging apparatus and mobile terminal incorporating same | |
| US7236194B2 (en) | Image signal processing apparatus | |
| CN105407299A (zh) | 摄像装置及控制摄像装置的方法 | |
| JP3551670B2 (ja) | 電子スチルカメラ | |
| JP2815497B2 (ja) | カラービデオカメラ | |
| JP2007235877A (ja) | 多板式固体撮像素子モジュール及び撮像装置 | |
| JP3123415B2 (ja) | 単板カラー固体撮像装置 | |
| JPH06268922A (ja) | スミア補正装置 | |
| JP3274704B2 (ja) | 固体撮像素子 | |
| JP2018207502A (ja) | 撮像素子、撮像装置 | |
| WO2023053861A1 (ja) | 撮像素子、撮像装置及び撮像方法 | |
| JPH06350904A (ja) | カメラ | |
| JP3699089B2 (ja) | 面順次撮像装置 | |
| JP2006067291A (ja) | 撮像装置 | |
| JP2001160925A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040419 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080514 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110514 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120514 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |