JP5378626B2 - 撮像装置およびその動作制御方法 - Google Patents
撮像装置およびその動作制御方法 Download PDFInfo
- Publication number
- JP5378626B2 JP5378626B2 JP2013504503A JP2013504503A JP5378626B2 JP 5378626 B2 JP5378626 B2 JP 5378626B2 JP 2013504503 A JP2013504503 A JP 2013504503A JP 2013504503 A JP2013504503 A JP 2013504503A JP 5378626 B2 JP5378626 B2 JP 5378626B2
- Authority
- JP
- Japan
- Prior art keywords
- photoelectric conversion
- color
- filter
- green
- light component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 24
- 238000000034 method Methods 0.000 title claims description 21
- 238000006243 chemical reaction Methods 0.000 claims description 98
- 238000001514 detection method Methods 0.000 claims description 10
- 230000035945 sensitivity Effects 0.000 claims description 7
- 239000003086 colorant Substances 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/73—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
Description
この発明は，撮像装置およびその動作制御方法に関する。
第８ａ図は，固体電子撮像素子１の受光面の一部を示している。固体電子撮像素子１には，水平方向および垂直方向に多数の光電変換素子２が設けられている。光電変換素子２の受光面上には赤色の光成分を透過する特性を有するカラー・フィルタＲ，緑色の光成分を透過する特性を有するカラー・フィルタＧまたは青色の光成分を透過する特性を有するカラー・フィルタＢが形成されている。第８ａ図においては，ベイヤ配列と呼ばれる配列でカラー・フィルタＲＧまたはＢが光電変換素子２の受光面上に形成されている。第８ｂ図は，固体電子撮像素子１の光電変換素子２の３列に対応した周期の画像が固体電子撮像素子１上に結像した様子を示している。白色の部分のレベルは８ビットで表した場合に２５５であり，ハッチングで示した部分のレベルは８ビットで表した場合に０である。このような画像が結像した場合において，第３ｎ＋１（ｎは正の整数）行の光電変換素子２に蓄積された信号電荷を読み出す間引き処理が行われると，高周波数成分が折り返り，第８ｃ図に示すように明るく平坦なモアレ画像となってしまう。
第９図は，第８ａ図に示す固体電子撮像素子１の一行の光電変換素子を示している。水平方向において，同じ特性を有するカラー・フィルタが形成されている光電変換素子２に蓄積された信号電荷が混合されている。カラー・フィルタは一個おきに同じ特性となっているので，画素混合後の画像はロウ・パス・フィルタを通過したように解像度が低下してしまう。
さらに，第１０ａ図に示すように，固体電子撮像素子１の光電変換素子２の列に対応した周期の画像が固体電子撮像素子１上に結像している場合において，第１０ｂ図に示すように，３×３の光電変換素子２のブロックごとに信号電荷を混合すると，そのブロック内での赤色のレベルは８ビットで２５５，緑色のレベルは８ビットで１２８，青色のレベルは０となり，第１０ｃ図に示すように，オレンジ色（符号Ｏｒで示す）となってしまう（色モアレ）。
従来は，固体電子撮像素子の受光面前方に光学的ロウ・パス・フィルタを配置し，被写体像の高周波数成分を除去することにより，色モアレの発生などを抑えていた。しかしながら，解像度が低下してしまう。
このために，固体電子撮像素子のフィルタ配列を，任意の着目画素が，その着目画素の色を含む３色と着目画素の４辺のいずれかにいて隣接する配列制限条件を満たす３色ランダム配列としたものがある（特開２０００−３０８０８０号公報）。しかしながら，同時化処理をランダム・パターンごとに最適化する必要があり，煩雑となる。また，高周波成分による偽色には有効ではない。
また，分光感度が異なる複数のフィルタを有し，そのうちの第１のフィルタと第２のフィルタとが，画像格子の一方の対角方向に第１の所定周期で交互に配置され，他方の対角方向に第２の所定周期で交互に配置されているセンサもある（特開２００５−１３６７６６号公報）。しかしながら，画素再現精度が高くない。
また，水平方向および垂直方向にそれぞれ２個ずつ緑の色成分をもつ画素が形成されているものもある（特許第４０１９４１７号）。しかしながら，これらの感度は異なっているので，緑色成分をもつ画素を利用する場合には感度調整が必要となる。
さらに，カラー・フィルタの配列について言及しているもの（特許第４０８８９５９号），緑色の光透過特性を有するフィルタが形成されている光電変換素子が水平方向および垂直方向に２個ずつ配置されているもの（特表昭６２−５０３０６８号公報），１列おきに必ずＧ画素が含まれているもの（特開２００９−４９５３３号公報），ベイヤ配列に対してＧ画素数を増やすもの（特開平８−０２３５４２号公報，特開平８−０２３５４３号公報）などもある。
さらに，画素を間引くことにより，データ量を少なくしてフレーム・レートを高くする場合にも生じる問題である。
第９図は，第８ａ図に示す固体電子撮像素子１の一行の光電変換素子を示している。水平方向において，同じ特性を有するカラー・フィルタが形成されている光電変換素子２に蓄積された信号電荷が混合されている。カラー・フィルタは一個おきに同じ特性となっているので，画素混合後の画像はロウ・パス・フィルタを通過したように解像度が低下してしまう。
さらに，第１０ａ図に示すように，固体電子撮像素子１の光電変換素子２の列に対応した周期の画像が固体電子撮像素子１上に結像している場合において，第１０ｂ図に示すように，３×３の光電変換素子２のブロックごとに信号電荷を混合すると，そのブロック内での赤色のレベルは８ビットで２５５，緑色のレベルは８ビットで１２８，青色のレベルは０となり，第１０ｃ図に示すように，オレンジ色（符号Ｏｒで示す）となってしまう（色モアレ）。
従来は，固体電子撮像素子の受光面前方に光学的ロウ・パス・フィルタを配置し，被写体像の高周波数成分を除去することにより，色モアレの発生などを抑えていた。しかしながら，解像度が低下してしまう。
このために，固体電子撮像素子のフィルタ配列を，任意の着目画素が，その着目画素の色を含む３色と着目画素の４辺のいずれかにいて隣接する配列制限条件を満たす３色ランダム配列としたものがある（特開２０００−３０８０８０号公報）。しかしながら，同時化処理をランダム・パターンごとに最適化する必要があり，煩雑となる。また，高周波成分による偽色には有効ではない。
また，分光感度が異なる複数のフィルタを有し，そのうちの第１のフィルタと第２のフィルタとが，画像格子の一方の対角方向に第１の所定周期で交互に配置され，他方の対角方向に第２の所定周期で交互に配置されているセンサもある（特開２００５−１３６７６６号公報）。しかしながら，画素再現精度が高くない。
また，水平方向および垂直方向にそれぞれ２個ずつ緑の色成分をもつ画素が形成されているものもある（特許第４０１９４１７号）。しかしながら，これらの感度は異なっているので，緑色成分をもつ画素を利用する場合には感度調整が必要となる。
さらに，カラー・フィルタの配列について言及しているもの（特許第４０８８９５９号），緑色の光透過特性を有するフィルタが形成されている光電変換素子が水平方向および垂直方向に２個ずつ配置されているもの（特表昭６２−５０３０６８号公報），１列おきに必ずＧ画素が含まれているもの（特開２００９−４９５３３号公報），ベイヤ配列に対してＧ画素数を増やすもの（特開平８−０２３５４２号公報，特開平８−０２３５４３号公報）などもある。
さらに，画素を間引くことにより，データ量を少なくしてフレーム・レートを高くする場合にも生じる問題である。
この発明は，画素を間引いた場合においても，高解像度化を図るようにすることを目的とする。
この発明による撮像装置は，水平方向および垂直方向に多数配列された光電変換素子を備え，赤色，緑色および青色のうちのいずれかの色の光成分またはシアン，マゼンタおよびイエローのうちのいずれかの色の光成分を透過するフィルタ特性を有するカラー・フィルタが上記光電変換素子の受光面上に形成され，赤色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数または青色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりも緑色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，あるいは，シアンの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数またはマゼンタの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりもイエローの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，水平方向および垂直方向にそれぞれ６つの上記光電変換素子から構成されるブロックにおいて，水平方向および垂直方向のすべてに緑色の光成分，青色の光成分および赤色の光成分またはイエローの光成分，シアンの光成分またはマゼンタの光成分を透過するフィルタ特性をもつカラー・フィルタが少なくとも一つ形成されており，かつ上記ブロックが周期的に繰り返されることにより斜め方向に緑色の光成分またはイエローの光成分を透過するフィルタ特性をもつカラー・フィルタが形成され，上記光電変換素子に蓄積された信号電荷を映像信号として出力する固体電子撮像素子，ならびに上記固体電子撮像素子から出力される映像信号のうち水平方向および垂直方向にそれぞれ奇数個おきの上記光電変換素子に蓄積された信号電荷にもとづいて得られる映像信号を出力するように上記固体電子撮像素子を駆動する駆動回路を備えていることを特徴とする。
この発明は，上記撮像装置に適した動作制御方法も提供している。すなわち，この方法は，固体電子撮像素子が，水平方向および垂直方向に多数配列された光電変換素子を備え，赤色，緑色および青色のうちのいずれかの色の光成分またはシアン，マゼンタおよびイエローのうちのいずれかの色の光成分を透過するフィルタ特性を有するカラー・フィルタが上記光電変換素子の受光面上に形成され，赤色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数または青色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりも緑色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，あるいは，シアンの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数またはマゼンタの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりもイエローの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，水平方向および垂直方向にそれぞれ６つの上記光電変換素子から構成されるブロックにおいて，水平方向および垂直方向のすべてに緑色の光成分，青色の光成分および赤色の光成分またはイエローの光成分，シアンの光成分またはマゼンタの光成分を透過するフィルタ特性をもつカラー・フィルタが少なくとも一つ形成されており，かつ上記ブロックが周期的に繰り返されることにより斜め方向に緑色の光成分またはイエローの光成分を透過するフィルタ特性をもつカラー・フィルタが形成され，上記光電変換素子に蓄積された信号電荷を映像信号として出力し，駆動回路が，上記固体電子撮像素子から出力される映像信号のうち水平方向および垂直方向にそれぞれ奇数個おきの上記光電変換素子に蓄積された信号電荷にもとづいて得られる映像信号を出力するように上記固体電子撮像素子を駆動するものである。
この発明によると，固体電子撮像素子から出力される映像信号によって表される画像を構成する画素のうち，緑色またはイエローの光成分をもつ画素については，固体電子撮像素子を構成する光電変換素子の受光面上に形成されている緑色またはイエローの光成分を透過する特性を有するカラー・フィルタの配列と同じように，水平方向および垂直方向のいずれも６つの画素から構成されるブロックにおいて，水平方向，垂直方向および斜め方向のすべてに含まれるようになる。固体電子撮像素子から出力される映像信号によって表される画像は，高周波領域での補間処理の再現精度が向上するものとなる。
上記ブロックは，たとえば，水平方向および垂直方向にそれぞれ３つの上記光電変換素子から構成される小ブロックが４つ集まったものである。この場合，上記光電変換素子の受光面上に形成されているカラー・フィルタのうち，赤色またはシアンの光成分を透過する特性を有するカラー・フィルタの配列と青色またはマゼンタの光成分を透過する特性を有するカラー・フィルタの配列とが，水平方向および垂直方向に隣接する小ブロックにおいて逆となろう。
上記ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過する特性をもつカラー・フィルタが水平方向，垂直方向および斜め方向のすべてにおいて２つ連続している部分が少なくとも一つ含まれているようにしてもよい。
上記ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過する特性をもつカラー・フィルタが水平方向および垂直方向において２つずつ連続している部分が少なくとも一つ含まれているようにしてもよい。
上記ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過するカラー・フィルタが水平方向および垂直方向において２つずつ連続している部分にもとづいて得られる４つの画素の画素レベルから相関方向を検出する相関方向検出装置（相関方向検出手段），上記相関方向検出装置において検出された相関方向に存在する赤色，シアン，青色またはマゼンタの色成分をもつ画素の緑色またはイエローの色成分を，上記相関方向検出装置において検出された相関方向に存在する緑色またはイエローの色成分をもつ画素を用いて補間する補間装置（補間手段），ならびに上記相関方向検出装置による処理および上記補間装置による処理を一画像分について繰り返す制御装置（制御手段）をさらに備えてもよい。
上記相関方向検出装置は，たとえば，水平方向，垂直方向および斜め方向の方向ごとに，隣接する画素の画素レベルの差分絶対値を算出し，方向ごとの差分絶対値の総和または平均値のうち最小となる方向を相関方向と決定するものである。
上記補間装置は，たとえば，上記赤色，シアン，青色またはマゼンタの色成分をもつ画素のうちの色成分を有していない色成分を，上記補間装置により補間された緑色またはイエローの色成分と，上記赤色，シアン，青色またはマゼンタの色成分のうち有している色成分と，から補間するものである。
上記緑色またはイエローの光成分を透過する特性をもつカラー・フィルタが形成されている光電変換素子の感度が等しいことが好ましい。
この発明による撮像装置は，水平方向および垂直方向に多数配列された光電変換素子を備え，赤色，緑色および青色のうちのいずれかの色の光成分またはシアン，マゼンタおよびイエローのうちのいずれかの色の光成分を透過するフィルタ特性を有するカラー・フィルタが上記光電変換素子の受光面上に形成され，赤色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数または青色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりも緑色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，あるいは，シアンの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数またはマゼンタの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりもイエローの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，水平方向および垂直方向にそれぞれ６つの上記光電変換素子から構成されるブロックにおいて，水平方向および垂直方向のすべてに緑色の光成分，青色の光成分および赤色の光成分またはイエローの光成分，シアンの光成分またはマゼンタの光成分を透過するフィルタ特性をもつカラー・フィルタが少なくとも一つ形成されており，かつ上記ブロックが周期的に繰り返されることにより斜め方向に緑色の光成分またはイエローの光成分を透過するフィルタ特性をもつカラー・フィルタが形成され，上記光電変換素子に蓄積された信号電荷を映像信号として出力する固体電子撮像素子，ならびに上記固体電子撮像素子から出力される映像信号のうち水平方向および垂直方向にそれぞれ奇数個おきの上記光電変換素子に蓄積された信号電荷にもとづいて得られる映像信号を出力するように上記固体電子撮像素子を駆動する駆動回路を備えていることを特徴とする。
この発明は，上記撮像装置に適した動作制御方法も提供している。すなわち，この方法は，固体電子撮像素子が，水平方向および垂直方向に多数配列された光電変換素子を備え，赤色，緑色および青色のうちのいずれかの色の光成分またはシアン，マゼンタおよびイエローのうちのいずれかの色の光成分を透過するフィルタ特性を有するカラー・フィルタが上記光電変換素子の受光面上に形成され，赤色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数または青色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりも緑色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，あるいは，シアンの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数またはマゼンタの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりもイエローの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，水平方向および垂直方向にそれぞれ６つの上記光電変換素子から構成されるブロックにおいて，水平方向および垂直方向のすべてに緑色の光成分，青色の光成分および赤色の光成分またはイエローの光成分，シアンの光成分またはマゼンタの光成分を透過するフィルタ特性をもつカラー・フィルタが少なくとも一つ形成されており，かつ上記ブロックが周期的に繰り返されることにより斜め方向に緑色の光成分またはイエローの光成分を透過するフィルタ特性をもつカラー・フィルタが形成され，上記光電変換素子に蓄積された信号電荷を映像信号として出力し，駆動回路が，上記固体電子撮像素子から出力される映像信号のうち水平方向および垂直方向にそれぞれ奇数個おきの上記光電変換素子に蓄積された信号電荷にもとづいて得られる映像信号を出力するように上記固体電子撮像素子を駆動するものである。
この発明によると，固体電子撮像素子から出力される映像信号によって表される画像を構成する画素のうち，緑色またはイエローの光成分をもつ画素については，固体電子撮像素子を構成する光電変換素子の受光面上に形成されている緑色またはイエローの光成分を透過する特性を有するカラー・フィルタの配列と同じように，水平方向および垂直方向のいずれも６つの画素から構成されるブロックにおいて，水平方向，垂直方向および斜め方向のすべてに含まれるようになる。固体電子撮像素子から出力される映像信号によって表される画像は，高周波領域での補間処理の再現精度が向上するものとなる。
上記ブロックは，たとえば，水平方向および垂直方向にそれぞれ３つの上記光電変換素子から構成される小ブロックが４つ集まったものである。この場合，上記光電変換素子の受光面上に形成されているカラー・フィルタのうち，赤色またはシアンの光成分を透過する特性を有するカラー・フィルタの配列と青色またはマゼンタの光成分を透過する特性を有するカラー・フィルタの配列とが，水平方向および垂直方向に隣接する小ブロックにおいて逆となろう。
上記ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過する特性をもつカラー・フィルタが水平方向，垂直方向および斜め方向のすべてにおいて２つ連続している部分が少なくとも一つ含まれているようにしてもよい。
上記ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過する特性をもつカラー・フィルタが水平方向および垂直方向において２つずつ連続している部分が少なくとも一つ含まれているようにしてもよい。
上記ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過するカラー・フィルタが水平方向および垂直方向において２つずつ連続している部分にもとづいて得られる４つの画素の画素レベルから相関方向を検出する相関方向検出装置（相関方向検出手段），上記相関方向検出装置において検出された相関方向に存在する赤色，シアン，青色またはマゼンタの色成分をもつ画素の緑色またはイエローの色成分を，上記相関方向検出装置において検出された相関方向に存在する緑色またはイエローの色成分をもつ画素を用いて補間する補間装置（補間手段），ならびに上記相関方向検出装置による処理および上記補間装置による処理を一画像分について繰り返す制御装置（制御手段）をさらに備えてもよい。
上記相関方向検出装置は，たとえば，水平方向，垂直方向および斜め方向の方向ごとに，隣接する画素の画素レベルの差分絶対値を算出し，方向ごとの差分絶対値の総和または平均値のうち最小となる方向を相関方向と決定するものである。
上記補間装置は，たとえば，上記赤色，シアン，青色またはマゼンタの色成分をもつ画素のうちの色成分を有していない色成分を，上記補間装置により補間された緑色またはイエローの色成分と，上記赤色，シアン，青色またはマゼンタの色成分のうち有している色成分と，から補間するものである。
上記緑色またはイエローの光成分を透過する特性をもつカラー・フィルタが形成されている光電変換素子の感度が等しいことが好ましい。
第１図はＣＣＤの受光面の一部を示している。
第２図は画像の一部分を示している。
第３図はＣＣＤの受光面の一部を示している。
第４図は画像の一部分を示している。
第５図は方向判別ブロックを示している。
第６図はディジタル・カメラの電気的構成の一部を示している。
第７図はＣＣＤの受光面の一部を示している。
第８ａ図は固体電子撮像素子の受光面の一部を示し，第８ｂ図および第８図ｃは画像の一部を示している。
第９図は画素混合を示している。
第１０ａ図から第１０ｃ図は画像の一部を示している。
第２図は画像の一部分を示している。
第３図はＣＣＤの受光面の一部を示している。
第４図は画像の一部分を示している。
第５図は方向判別ブロックを示している。
第６図はディジタル・カメラの電気的構成の一部を示している。
第７図はＣＣＤの受光面の一部を示している。
第８ａ図は固体電子撮像素子の受光面の一部を示し，第８ｂ図および第８図ｃは画像の一部を示している。
第９図は画素混合を示している。
第１０ａ図から第１０ｃ図は画像の一部を示している。
第１図は，この発明の実施例によるＣＣＤ（Ｃ−ＭＯＳなどの他の固体電子撮像素子でもよい）１０の受光面の一部を示している。
ＣＣＤ１０には水平方向（矢印Ｈで示す）および垂直方向（矢印Ｖで示す）に多数の光電変換素子１１が配列されている。これらの多数の光電変換素子１１の感度はすべて等しいものである（少なくとも緑色の光成分を透過するフィルタが形成されている光電変換素子の感度は等しい）。光電変換素子１１の受光面上には，赤色，緑色または青色（シアン，イエローまたはマゼンタでもよい）の光成分を透過する特性を有するカラー・フィルタＲ，ＧまたはＢが形成されている。赤色の光成分を透過する特性を有する赤色フィルタが符号Ｒで，緑色の光成分を透過する特性を有する緑色フィルタが符号Ｇで，青色の光成分を透過する特性を有する青色フィルタが符号Ｂで図示されている。
水平方向および垂直方向にそれぞれ６つの光電変換素子から構成されるブロック２０を考えた場合に，そのブロック２０において緑色フィルタＧ，青色フィルタＢおよび赤色フィルタＲが少なくとも一つは含まれている。このようなブロック２０が水平方向および垂直方向に繰り返されることにより，いずれの水平方向，垂直方向および斜め方向においても緑色フィルタＧが少なくとも一つは形成されており，このように配列されたカラー・フィルタによりＣＣＤ１０の受光面が形成されている。
また，ブロック２０は，水平方向および垂直方向にそれぞれ３つの光電変換素子１１から構成される４つの小ブロック２１〜２４が集まったものとも考えることができる。小ブロック２１の中心およびその中心の斜め方向の光電変換素子１１の受光面に形成されているカラー・フィルタは緑色フィルタＧである。小ブロック２１の中心の水平方向の両側の光電変換素子１１の受光面に形成されているカラー・フィルタは赤色フィルタＲであり，小ブロック２１の中心の垂直方向の両側の光電変換素子１１の受光面に形成されているカラー・フィルタは青色フィルタＢである。
小ブロック２１の右斜め下に配置されている小ブロック２４に含まれる光電変換素子１１のフィルタ配列は，小ブロック２１のフィルタ配列と同じである。小ブロック２１の右側に配置されている小ブロック２２および小ブロック２１の下側に配置されている小ブロック２３に含まれる光電変換素子１１のフィルタ配列は緑色フィルタＧについては小ブロック２１に含まれる光電変換素子１１に形成されている緑色フィルタＧの配列と同じであるが，赤色フィルタＲおよび青色フィルタＢについては逆となっている。すなわち，小ブロック２２および２３においては，赤色フィルタＲは中心の光電変換素子１１の垂直方向の両側にある光電変換素子１１の受光面上に形成され，青色フィルタＢは中心の光電変換素子１１の水平方向の両側にある光電変換素子１１の受光面上に形成されている。
第１図に示すカラー・フィルタ配列をもつＣＣＤ１０を用いて被写体が撮像されると，撮像により得られた被写体像を構成する画素において，水平方向，垂直方向および斜め方向のそれぞれにおいて緑色成分が含まれているので，高周波領域での補間処理再現精度を向上できる。また，同様に，水平方向および垂直方向のそれぞれにおいて赤色成分および青色成分が含まれているので，偽色の発生を未然に防止できる。
第１図に示すカラー・フィルタ配列では，ブロック２０において，緑色フィルタＧが水平方向および垂直方向および斜め方向のすべてにおいて２つ連続している部分が含まれている。また，ブロック２０において，緑色フィルタＧが水平方向および垂直方向に２つずつ連続している部分も含まれている。
第２図は，上記のようなカラー・フィルタ配列をもつＣＣＤ１０において，被写体を撮像することにより得られた画像から水平方向および垂直方向にそれぞれ１つ（奇数個）おきの画素を抽出する間引き処理により得られる画像（一部）の一例である。
画像部分３０は，水平方向および垂直方向にそれぞれ６つの画素３５から構成されている。この画像部分３０は，第１図に示すブロック２０に対応する。画像部分３０は，水平方向および垂直方向にそれぞれ３画素ずつの４つの小ブロック３１〜３４から構成される。小ブロック３１〜３４は，すべて中心および中心の斜め方向に緑色成分の画素３５が配置されており，中心の緑色成分の画素３５の水平方向の両側の画素は赤色成分の画素３５であり，中心の緑色成分の画素３５の垂直方向の両側の画素は青色成分の画素３５である。
第２図に示す画像部分３５と第１図に示すブロック２０とを比べればわかるように，第１図に示すブロック２０では，水平方向および垂直方向に隣接する小ブロック同士では青色フィルタＢの配置と赤色フィルタＲの配置とが逆であるが，第２図に示す画像部分３０では，青色フィルタＢの配置と赤色フィルタＲの配置とは小ブロック３１〜３４にかかわらず同じである。
第１図に示したカラー・フィルタ配列をもつＣＣＤ１０において，被写体を撮像することにより得られた画像から水平方向および垂直方向にそれぞれ１つおきの画素を抽出する間引き処理を行うことにより得られる，第２図に示す画像においても，水平方向，垂直方向および斜め方向のそれぞれにおいて緑色成分が含まれているので，高周波領域での補間処理の再現精度を向上できる。フレーム・レートを向上させるなどにより間引き処理が行われた画像についても補間処理の再現精度を向上させることができる。
奇数行奇数列の画素を間引くことにより，第２図に示す画像部分３０が得られるが，偶数行偶数列，奇数行偶数列または偶数行奇数列の画素を間引いても第２図に示す画像部分と同様に６画素×６画素の画像部分において水平方向，垂直方向および斜め方向のそれぞれにおいて緑色成分が含まれている間引き後の画像が得られる。
第３図は，第１図に示すＣＣＤ１０の受光面の一部を示すもので，第１図に比べて垂直転送路１２，水平転送路１３および増幅回路１４が追加されている。
上述のように，水平方向（矢印Ｈで示す）および垂直方向（矢印Ｖで示す）に多数の光電変換素子１１が配列されている。また，これらの光電変換素子１１の受光面上に赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢのいずれかのカラー・フィルタが形成されている。カラー・フィルタの配列は第１図に示すものと同じである。
光電変換素子１１の各列の右側（左側でもよい）には光電変換素子１１に蓄積された信号電荷を垂直方向に転送する垂直転送路１２が配列されている。垂直転送路１２の下側には，垂直転送路１２から転送されてきた信号電荷を水平方向に転送する水平転送路１３が設けられている。水平転送路１３の出力側には増幅回路１４が接続されている。
光電変換素子１１が露光されることにより，光電変換素子１１に信号電荷が蓄積される。赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢが形成されている光電変換素子１１には，それぞれ赤色成分，緑色成分または青色成分の画素を表わす信号電荷が蓄積される。光電変換素子１１に蓄積された信号電荷は，光電変換素子１１にシフト・パルスが与えられることにより，垂直転送路１２にシフトされる。垂直転送路１２にシフトされた信号電荷は垂直転送路１２に垂直転送パルスφＶが与えられることにより垂直方向に転送させられ，垂直転送路１２にシフト・パルスが与えられることにより垂直転送路１２を転送されてきた信号電荷は水平転送路１３に与えられる。水平転送路１３に与えられた信号電荷は，水平転送パルスφＨが与えられることにより，水平方向に転送させられる。水平方向に転送させられた信号電荷は，増幅回路１４を経て映像信号としてＣＣＤ１０から出力される。
奇数行の光電変換素子１１にシフト・パルスが与えられ，偶数行光電変換素子１１にはシフト・パルスが与えられなければ，奇数行の光電変換素子１１に蓄積された信号電荷のみが垂直転送路１２にシフトされる。これにより，垂直方向に１／２の間引き（１個おきの画素の抽出）が実現される。また，奇数行の垂直転送路１２を転送されてきた信号電荷のみを水平転送路１３に転送し，偶数行垂直転送路１２を転送されてきた信号電荷を水平転送路１３に転送させないように奇数行の垂直転送路１２にのみシフト・パルスを与えることにより，水平方向に１／２の間引きが実現される。このようにして，第２図に示したように，水平方向および垂直方向にそれぞれ１／２に間引かれた画像（画素が１個おきに抽出された画像）を表わす映像信号がＣＣＤ１０から出力されることとなる。
上述の実施例では，固体電子撮像素子１０において間引き処理を行っているが，固体電子撮像素子１０において間引き処理を行わずに，固体電子撮像素子１０から出力された映像信号に対して間引き処理を行うようにしてもよい。その場合には，固体電子撮像素子１０から出力された１画像分の映像信号をメモリに記憶し，そのメモリから垂直方向および水平方向に１画素おきに映像信号を読み出すこととなろう。
以下，第２図に示すように間引かれた画像について補間処理を行う方法について説明する。
第４図は，上述のようにして間引き処理が行われることにより得られる画像部分４０を示している。第４図においては分りやすくするために，Ｒ，ＧまたはＢの符号の右側に数字が付されている。符号Ｒが赤色フィルタ，符号Ｇが緑色フィルタ，符号Ｂが青色フィルタであるのは上述したのと同様である。
画像部分４０は，水平方向および垂直方向にそれぞれ５画素有している（５画素ずつでなくともよいのはいうまでもない）。画像部分４０のうち，水平方向および垂直方向にそれぞれ３画素からなる中央の小ブロック４１および水平方向および垂直方向にそれぞれ２画素からなる右上の方向判別ブロック４２を考える。
第５図は，方向判別ブロック４２を示している。
方向判別ブロック４２には，４つの画素Ｇ１４，Ｇ１５，Ｇ２４およびＧ２５が含まれている。これらの画素Ｇ１４，Ｇ１５，Ｇ２４およびＧ２５は，緑色成分をもつものであるが，青色成分および赤色成分をもっていない。この実施例では，これらの画素Ｇ１４，Ｇ１５，Ｇ２４およびＧ２５のレベルの差分絶対値を水平方向（矢印Ｈで示す），垂直方向（矢印Ｖで示す）および斜め方向のそれぞれにおいて算出し，算出された差分絶対値が最小となる方向が相関方向と判断される。これらの画素Ｇ１４，Ｇ１５，Ｇ２４およびＧ２５のレベルも画素Ｇ１４，Ｇ１５，Ｇ２４およびＧ２５で表わすと，垂直方向の差分絶対値は（｜Ｇ１４−Ｇ２４｜＋｜Ｇ１５−Ｇ２５｜）／２，水平方向の差分絶対値は（｜Ｇ１４−Ｇ１５｜＋｜Ｇ２４−Ｇ２５｜）／２，右上斜め方向（矢印ＵＲで示す）の差分絶対値は｜Ｇ１５−Ｇ２４｜および左上斜め方向（矢印ＵＬで示す）の差分絶対値は｜Ｇ１４−Ｇ２５｜である。
第４図を参照して，方向判別ブロック４２を利用して右上斜め方向が相関方向と判別されると，小ブロック４１に含まれる画素Ｂ２３の緑色成分は，方向判別ブロック４２に含まれる画素Ｇ１４を用いて補間され，小ブロック４１に含まれる画素Ｒ３４の緑色成分は，画素Ｇ２５を用いて補間される。方向判別ブロック４２を利用して水平方向が相関方向と判別されると，小ブロック４１に含まれる画素Ｂ２３の緑色成分は，方向判別ブロック４２に含まれる画素Ｇ２４を用いて補間され，小ブロック４１に含まれる画素Ｒ３４の緑色成分は，画素Ｇ３３を用いて補間される。方向判別ブロック４２を利用して垂直方向が相関方向と判別されると，小ブロック４１に含まれる画素Ｂ２３の緑色成分は，画素３３を用いて補間され，小ブロック４１に含まれる画素Ｒ３４の緑色成分は，方向判別ブロック４２に含まれる画素Ｇ２４を用いて補間される。
また，第４図において，２画素×２画素からなる四隅の方向判別ブロック４２，４４，４５および４６のそれぞれにおいて，水平方向，垂直方向，左上斜め方向および右上斜め方向の差分絶対値を算出し，算出された差分絶対値の総和（平均）を方向別に算出し，得られた総和（平均値）のうち最小となる値をとる方向を相関方向としてもよい。
上述の実施例において，青色画素Ｂ２３の緑色成分および赤色画素Ｒ３４の緑色成分については補間されているが，青色画素Ｂ２３の赤色成分および赤色画素Ｒ３４の青色成分については補間されていない。青色画素Ｂ２３の赤色成分については，青色画素Ｂ２３の近傍にある赤色画素Ｒ３２（またはＲ３４）および補間により得られた緑色成分を用いて補間が行われる。具体的には，赤色画素Ｂ２３の赤色成分をＲ２３とし，補間により得られた緑色成分をＧ２３とすると，Ｒ２３＝Ｇ２３＋（Ｒ３２−Ｇ３２）で得られる。但し，Ｇ３２は補間により得られた画素Ｒ３２の緑色成分である。もっとも，青色画素Ｂ２３の近傍にある赤色画素Ｒ３２およびＲ３４の両方の画素を用いて青色画素Ｂ２３の赤色成分Ｒ２３を補間するようにしてもよい。たとえば，Ｒ２３＝Ｇ２３＋｛（Ｒ３２＋Ｒ３４）／２−（Ｇ３２＋Ｇ３４）／２｝で得られる。但し，Ｇ３４は赤色画素Ｒ３４において補間された緑色画素である。
緑色画素についても同様に赤色成分および青色成分を補間できるのはいうまでもない。
上述した補間処理をまとめると，次のようになる。
近傍の画素の色差により対象画素の画素値を補間して他の色の画素値を算出する方法をまとめると、下記のようになる。
補間処理の対象画素が緑色画素Ｇであり，その画素値がＧであるとする。また，判別された相関方向に赤色画素Ｒ，または青色画素Ｂが存在しない場合，緑色画素Ｇの近傍の赤色画素Ｒ，青色画素Ｂの画素値をＲ，Ｂ，これらの画素の画素位置における緑色画素Ｇの画素値をＧＲ，ＧＢとすると，補間対象画素の位置における赤色成分Ｒ，青色画素Ｂの画素値ＲＧ，ＢＧは，式１から得られる。
ＲＧ＝Ｇ＋（Ｒ−ＧＲ），ＢＧ＝Ｇ＋（Ｂ−ＧＢ）…式１
同様に，補間処理の対象画素が赤色画素Ｒ，その画素値がＲであり，判別された相関方向に緑色画素Ｇ，または青色画素Ｂが存在しない場合，赤色画素Ｒの近傍の緑色画素Ｇ，青色画素Ｂの画素値をＧ，Ｂ，これらの画素の画素位置における赤色画素Ｒの画素値をＲＧ，ＲＢとすると，補間対象画素における緑色成分Ｇ，青色成分Ｂのの画素値ＧＲ，ＢＲをは式２から得られる。
ＧＲ＝Ｒ＋（Ｇ−ＲＧ），ＢＲ＝Ｒ＋（Ｂ−ＲＢ）…式２
また，補間処理の対象画素が青色画素Ｂ，その画素値がＢであり、判別された相関方向に緑色画素Ｇ，または赤色画素Ｒ画素が存在しない場合，青色画素Ｂの近傍の緑色画素Ｇ，赤色画素Ｒの画素値をＧ，Ｒ，これらの画素の画素位置における青色画素Ｂの画素値をＢＧ，ＢＲとすると，補間対象画素の緑色成分Ｇ，赤色成分Ｒの画素値ＧＢ，ＲＢは式３により得られる。
ＧＢ＝Ｂ＋（Ｇ−ＢＧ），ＲＢ＝Ｂ＋（Ｒ−ＢＲ）…式３
また，上記の実施例では，補間処理の対象画素に対し，判別された相関方向に他の色の画素が存在しない場合には，近傍の他の色の画素の色差により対象画素の画素値を補間して他の色の画素値を算出するようにしているが，これに限らず，次のように，近傍の他の色の画素の色比により対象画素の画素値を補間して他の色の画素値を算出するようにしてもよい。
補間処理の対象画素が緑色画素Ｇ，その画素値がＧであり，判別された相関方向に赤色画素Ｒ，または青色画素Ｂが存在しない場合，緑色画素Ｇの近傍の赤色画素Ｒ，青色画素Ｂの画素値をＲ，Ｂ，これらの画素の画素位置における緑色画素Ｇの画素値をＧＲ，ＧＢとすると，前記対象画素の位置における赤色成分Ｒ，青色成分Ｂの画素値ＲＧ，ＢＧは，式４により得られる。
ＲＧ＝Ｇ×（Ｒ／ＧＲ），ＢＧ＝Ｇ×（Ｂ／ＧＢ）…式４
同様に，補間処理の対象画素が赤色Ｒ，その画素値がＲであり，判別された相関方向に緑色画素Ｇ，または青色画素Ｂが存在しない場合，赤色画素Ｒの近傍の緑色画素Ｇ，青色画素Ｂの画素値をＧ，Ｂ，これらの画素の画素位置における赤色画素Ｒの画素値をＲＧ，ＲＢとすると，対象画素の位置における緑色成分Ｇ，青色成分Ｂの画素値ＧＲ，ＢＲは式５により得られる。
ＧＲ＝Ｒ×（Ｇ／ＲＧ），ＢＲ＝Ｒ×（Ｂ／ＲＢ）…式５
また，補間処理の対象画素が青色画素Ｂ，その画素値がＢであり，判別された相関方向に緑色画素Ｇまたは赤色画素Ｒが存在しない場合，青色画素Ｂの近傍の緑色画素Ｇ，赤色画素Ｒの画素値をＧ，Ｒ，これらの画素の画素位置における青色画素Ｂの画素値をＢＧ，ＢＲとすると，補間対象画素の位置における緑色成分Ｇ，赤色成分Ｒの画素値ＧＢ，ＲＢは式６により得られる。
ＧＢ＝Ｂ×（Ｇ／ＢＧ），ＲＢ＝Ｂ×（Ｒ／ＢＲ）…式６
第６図は，ディジタル・カメラ（ディジタル・スチル・カメラ，ディジタル・ムービ・カメラ，携帯電話にディジタル・カメラの機能を持たせたものを含む）の電気的構成の一部を示すブロック図である。
ディジタル・カメラの全体の動作は，制御装置６０によって統括される。
撮像レンズ６１によって被写体像が，上述したＣＣＤ１０の受光面上に結像する。ＣＣＤ１０は，駆動装置６４によって駆動させられる。上述のように間引き処理を行うように，駆動装置６４からＣＣＤ１０にシフト・パルス，垂直転送パルスφＶ，水平転送パルスφＨなどが与えられる。
ＣＣＤ１０から間引き済みの映像信号が出力され，撮像処理装置６２に入力する。撮像処理装置６２においてアナログ／ディジタル変換，ガンマ補正，白バランス調整などの所定の撮像処理が行われる。上述したように，ＣＣＤ１０において間引き処理を行わずに撮像処理装置６２において間引き処理が行われるようにしてもよい。その場合には，撮像処理装置６２に，画像データを一時的に記憶するメモリが含まれ，そのメモリから読み出されるときに上述したように間引き処理が行われることなろう。
撮像処理装置６２から出力された画像データは画像処理装置６３に入力する。この画像処理装置６３において上述したように，方向判別等が行われ，判別された方向に応じて補間処理が行われることとなる。画像処理装置６３からは，補間されたカラー画像データが出力される。なお，上記実施例においては，間引き画像に対してだけでなく間引く前の解像度の高い画像に対しても，上述した方向判別処理により判別された相関方向に基づいて補間処理を行うことが可能である。
第７図は，ＣＣＤ１０の受光面の一部を示している。
上述した実施例では水平方向および垂直方向にそれぞれ１画素おきに画素を抽出することにより，水平方向１／２，垂直方向１／２の間引きを実現しているが，水平方向および垂直方向に３画素おきに画素を抽出することにより水平方向１／４，垂直方向１／４の間引きを実現することもできる。
第７図に示す受光面には，第１図に示すＣＣＤ１０と同じカラー・フィルタ配列をもつ多数の光電変換素子１１が含まれている。水平方向（矢印Ｈで示す）１／４，垂直方向（矢印Ｖで示す）１／４の間引きが行われることにより，第２図に示すカラー・配列をもつ間引き後の画像が得られる。
このように，水平方向および垂直方向に奇数個おきに画素を抽出することにより，間引き処理を行っても第２図に示す色配列をもつ画像が得られるようになる。
ＣＣＤ１０には水平方向（矢印Ｈで示す）および垂直方向（矢印Ｖで示す）に多数の光電変換素子１１が配列されている。これらの多数の光電変換素子１１の感度はすべて等しいものである（少なくとも緑色の光成分を透過するフィルタが形成されている光電変換素子の感度は等しい）。光電変換素子１１の受光面上には，赤色，緑色または青色（シアン，イエローまたはマゼンタでもよい）の光成分を透過する特性を有するカラー・フィルタＲ，ＧまたはＢが形成されている。赤色の光成分を透過する特性を有する赤色フィルタが符号Ｒで，緑色の光成分を透過する特性を有する緑色フィルタが符号Ｇで，青色の光成分を透過する特性を有する青色フィルタが符号Ｂで図示されている。
水平方向および垂直方向にそれぞれ６つの光電変換素子から構成されるブロック２０を考えた場合に，そのブロック２０において緑色フィルタＧ，青色フィルタＢおよび赤色フィルタＲが少なくとも一つは含まれている。このようなブロック２０が水平方向および垂直方向に繰り返されることにより，いずれの水平方向，垂直方向および斜め方向においても緑色フィルタＧが少なくとも一つは形成されており，このように配列されたカラー・フィルタによりＣＣＤ１０の受光面が形成されている。
また，ブロック２０は，水平方向および垂直方向にそれぞれ３つの光電変換素子１１から構成される４つの小ブロック２１〜２４が集まったものとも考えることができる。小ブロック２１の中心およびその中心の斜め方向の光電変換素子１１の受光面に形成されているカラー・フィルタは緑色フィルタＧである。小ブロック２１の中心の水平方向の両側の光電変換素子１１の受光面に形成されているカラー・フィルタは赤色フィルタＲであり，小ブロック２１の中心の垂直方向の両側の光電変換素子１１の受光面に形成されているカラー・フィルタは青色フィルタＢである。
小ブロック２１の右斜め下に配置されている小ブロック２４に含まれる光電変換素子１１のフィルタ配列は，小ブロック２１のフィルタ配列と同じである。小ブロック２１の右側に配置されている小ブロック２２および小ブロック２１の下側に配置されている小ブロック２３に含まれる光電変換素子１１のフィルタ配列は緑色フィルタＧについては小ブロック２１に含まれる光電変換素子１１に形成されている緑色フィルタＧの配列と同じであるが，赤色フィルタＲおよび青色フィルタＢについては逆となっている。すなわち，小ブロック２２および２３においては，赤色フィルタＲは中心の光電変換素子１１の垂直方向の両側にある光電変換素子１１の受光面上に形成され，青色フィルタＢは中心の光電変換素子１１の水平方向の両側にある光電変換素子１１の受光面上に形成されている。
第１図に示すカラー・フィルタ配列をもつＣＣＤ１０を用いて被写体が撮像されると，撮像により得られた被写体像を構成する画素において，水平方向，垂直方向および斜め方向のそれぞれにおいて緑色成分が含まれているので，高周波領域での補間処理再現精度を向上できる。また，同様に，水平方向および垂直方向のそれぞれにおいて赤色成分および青色成分が含まれているので，偽色の発生を未然に防止できる。
第１図に示すカラー・フィルタ配列では，ブロック２０において，緑色フィルタＧが水平方向および垂直方向および斜め方向のすべてにおいて２つ連続している部分が含まれている。また，ブロック２０において，緑色フィルタＧが水平方向および垂直方向に２つずつ連続している部分も含まれている。
第２図は，上記のようなカラー・フィルタ配列をもつＣＣＤ１０において，被写体を撮像することにより得られた画像から水平方向および垂直方向にそれぞれ１つ（奇数個）おきの画素を抽出する間引き処理により得られる画像（一部）の一例である。
画像部分３０は，水平方向および垂直方向にそれぞれ６つの画素３５から構成されている。この画像部分３０は，第１図に示すブロック２０に対応する。画像部分３０は，水平方向および垂直方向にそれぞれ３画素ずつの４つの小ブロック３１〜３４から構成される。小ブロック３１〜３４は，すべて中心および中心の斜め方向に緑色成分の画素３５が配置されており，中心の緑色成分の画素３５の水平方向の両側の画素は赤色成分の画素３５であり，中心の緑色成分の画素３５の垂直方向の両側の画素は青色成分の画素３５である。
第２図に示す画像部分３５と第１図に示すブロック２０とを比べればわかるように，第１図に示すブロック２０では，水平方向および垂直方向に隣接する小ブロック同士では青色フィルタＢの配置と赤色フィルタＲの配置とが逆であるが，第２図に示す画像部分３０では，青色フィルタＢの配置と赤色フィルタＲの配置とは小ブロック３１〜３４にかかわらず同じである。
第１図に示したカラー・フィルタ配列をもつＣＣＤ１０において，被写体を撮像することにより得られた画像から水平方向および垂直方向にそれぞれ１つおきの画素を抽出する間引き処理を行うことにより得られる，第２図に示す画像においても，水平方向，垂直方向および斜め方向のそれぞれにおいて緑色成分が含まれているので，高周波領域での補間処理の再現精度を向上できる。フレーム・レートを向上させるなどにより間引き処理が行われた画像についても補間処理の再現精度を向上させることができる。
奇数行奇数列の画素を間引くことにより，第２図に示す画像部分３０が得られるが，偶数行偶数列，奇数行偶数列または偶数行奇数列の画素を間引いても第２図に示す画像部分と同様に６画素×６画素の画像部分において水平方向，垂直方向および斜め方向のそれぞれにおいて緑色成分が含まれている間引き後の画像が得られる。
第３図は，第１図に示すＣＣＤ１０の受光面の一部を示すもので，第１図に比べて垂直転送路１２，水平転送路１３および増幅回路１４が追加されている。
上述のように，水平方向（矢印Ｈで示す）および垂直方向（矢印Ｖで示す）に多数の光電変換素子１１が配列されている。また，これらの光電変換素子１１の受光面上に赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢのいずれかのカラー・フィルタが形成されている。カラー・フィルタの配列は第１図に示すものと同じである。
光電変換素子１１の各列の右側（左側でもよい）には光電変換素子１１に蓄積された信号電荷を垂直方向に転送する垂直転送路１２が配列されている。垂直転送路１２の下側には，垂直転送路１２から転送されてきた信号電荷を水平方向に転送する水平転送路１３が設けられている。水平転送路１３の出力側には増幅回路１４が接続されている。
光電変換素子１１が露光されることにより，光電変換素子１１に信号電荷が蓄積される。赤色フィルタＲ，緑色フィルタＧまたは青色フィルタＢが形成されている光電変換素子１１には，それぞれ赤色成分，緑色成分または青色成分の画素を表わす信号電荷が蓄積される。光電変換素子１１に蓄積された信号電荷は，光電変換素子１１にシフト・パルスが与えられることにより，垂直転送路１２にシフトされる。垂直転送路１２にシフトされた信号電荷は垂直転送路１２に垂直転送パルスφＶが与えられることにより垂直方向に転送させられ，垂直転送路１２にシフト・パルスが与えられることにより垂直転送路１２を転送されてきた信号電荷は水平転送路１３に与えられる。水平転送路１３に与えられた信号電荷は，水平転送パルスφＨが与えられることにより，水平方向に転送させられる。水平方向に転送させられた信号電荷は，増幅回路１４を経て映像信号としてＣＣＤ１０から出力される。
奇数行の光電変換素子１１にシフト・パルスが与えられ，偶数行光電変換素子１１にはシフト・パルスが与えられなければ，奇数行の光電変換素子１１に蓄積された信号電荷のみが垂直転送路１２にシフトされる。これにより，垂直方向に１／２の間引き（１個おきの画素の抽出）が実現される。また，奇数行の垂直転送路１２を転送されてきた信号電荷のみを水平転送路１３に転送し，偶数行垂直転送路１２を転送されてきた信号電荷を水平転送路１３に転送させないように奇数行の垂直転送路１２にのみシフト・パルスを与えることにより，水平方向に１／２の間引きが実現される。このようにして，第２図に示したように，水平方向および垂直方向にそれぞれ１／２に間引かれた画像（画素が１個おきに抽出された画像）を表わす映像信号がＣＣＤ１０から出力されることとなる。
上述の実施例では，固体電子撮像素子１０において間引き処理を行っているが，固体電子撮像素子１０において間引き処理を行わずに，固体電子撮像素子１０から出力された映像信号に対して間引き処理を行うようにしてもよい。その場合には，固体電子撮像素子１０から出力された１画像分の映像信号をメモリに記憶し，そのメモリから垂直方向および水平方向に１画素おきに映像信号を読み出すこととなろう。
以下，第２図に示すように間引かれた画像について補間処理を行う方法について説明する。
第４図は，上述のようにして間引き処理が行われることにより得られる画像部分４０を示している。第４図においては分りやすくするために，Ｒ，ＧまたはＢの符号の右側に数字が付されている。符号Ｒが赤色フィルタ，符号Ｇが緑色フィルタ，符号Ｂが青色フィルタであるのは上述したのと同様である。
画像部分４０は，水平方向および垂直方向にそれぞれ５画素有している（５画素ずつでなくともよいのはいうまでもない）。画像部分４０のうち，水平方向および垂直方向にそれぞれ３画素からなる中央の小ブロック４１および水平方向および垂直方向にそれぞれ２画素からなる右上の方向判別ブロック４２を考える。
第５図は，方向判別ブロック４２を示している。
方向判別ブロック４２には，４つの画素Ｇ１４，Ｇ１５，Ｇ２４およびＧ２５が含まれている。これらの画素Ｇ１４，Ｇ１５，Ｇ２４およびＧ２５は，緑色成分をもつものであるが，青色成分および赤色成分をもっていない。この実施例では，これらの画素Ｇ１４，Ｇ１５，Ｇ２４およびＧ２５のレベルの差分絶対値を水平方向（矢印Ｈで示す），垂直方向（矢印Ｖで示す）および斜め方向のそれぞれにおいて算出し，算出された差分絶対値が最小となる方向が相関方向と判断される。これらの画素Ｇ１４，Ｇ１５，Ｇ２４およびＧ２５のレベルも画素Ｇ１４，Ｇ１５，Ｇ２４およびＧ２５で表わすと，垂直方向の差分絶対値は（｜Ｇ１４−Ｇ２４｜＋｜Ｇ１５−Ｇ２５｜）／２，水平方向の差分絶対値は（｜Ｇ１４−Ｇ１５｜＋｜Ｇ２４−Ｇ２５｜）／２，右上斜め方向（矢印ＵＲで示す）の差分絶対値は｜Ｇ１５−Ｇ２４｜および左上斜め方向（矢印ＵＬで示す）の差分絶対値は｜Ｇ１４−Ｇ２５｜である。
第４図を参照して，方向判別ブロック４２を利用して右上斜め方向が相関方向と判別されると，小ブロック４１に含まれる画素Ｂ２３の緑色成分は，方向判別ブロック４２に含まれる画素Ｇ１４を用いて補間され，小ブロック４１に含まれる画素Ｒ３４の緑色成分は，画素Ｇ２５を用いて補間される。方向判別ブロック４２を利用して水平方向が相関方向と判別されると，小ブロック４１に含まれる画素Ｂ２３の緑色成分は，方向判別ブロック４２に含まれる画素Ｇ２４を用いて補間され，小ブロック４１に含まれる画素Ｒ３４の緑色成分は，画素Ｇ３３を用いて補間される。方向判別ブロック４２を利用して垂直方向が相関方向と判別されると，小ブロック４１に含まれる画素Ｂ２３の緑色成分は，画素３３を用いて補間され，小ブロック４１に含まれる画素Ｒ３４の緑色成分は，方向判別ブロック４２に含まれる画素Ｇ２４を用いて補間される。
また，第４図において，２画素×２画素からなる四隅の方向判別ブロック４２，４４，４５および４６のそれぞれにおいて，水平方向，垂直方向，左上斜め方向および右上斜め方向の差分絶対値を算出し，算出された差分絶対値の総和（平均）を方向別に算出し，得られた総和（平均値）のうち最小となる値をとる方向を相関方向としてもよい。
上述の実施例において，青色画素Ｂ２３の緑色成分および赤色画素Ｒ３４の緑色成分については補間されているが，青色画素Ｂ２３の赤色成分および赤色画素Ｒ３４の青色成分については補間されていない。青色画素Ｂ２３の赤色成分については，青色画素Ｂ２３の近傍にある赤色画素Ｒ３２（またはＲ３４）および補間により得られた緑色成分を用いて補間が行われる。具体的には，赤色画素Ｂ２３の赤色成分をＲ２３とし，補間により得られた緑色成分をＧ２３とすると，Ｒ２３＝Ｇ２３＋（Ｒ３２−Ｇ３２）で得られる。但し，Ｇ３２は補間により得られた画素Ｒ３２の緑色成分である。もっとも，青色画素Ｂ２３の近傍にある赤色画素Ｒ３２およびＲ３４の両方の画素を用いて青色画素Ｂ２３の赤色成分Ｒ２３を補間するようにしてもよい。たとえば，Ｒ２３＝Ｇ２３＋｛（Ｒ３２＋Ｒ３４）／２−（Ｇ３２＋Ｇ３４）／２｝で得られる。但し，Ｇ３４は赤色画素Ｒ３４において補間された緑色画素である。
緑色画素についても同様に赤色成分および青色成分を補間できるのはいうまでもない。
上述した補間処理をまとめると，次のようになる。
近傍の画素の色差により対象画素の画素値を補間して他の色の画素値を算出する方法をまとめると、下記のようになる。
補間処理の対象画素が緑色画素Ｇであり，その画素値がＧであるとする。また，判別された相関方向に赤色画素Ｒ，または青色画素Ｂが存在しない場合，緑色画素Ｇの近傍の赤色画素Ｒ，青色画素Ｂの画素値をＲ，Ｂ，これらの画素の画素位置における緑色画素Ｇの画素値をＧＲ，ＧＢとすると，補間対象画素の位置における赤色成分Ｒ，青色画素Ｂの画素値ＲＧ，ＢＧは，式１から得られる。
ＲＧ＝Ｇ＋（Ｒ−ＧＲ），ＢＧ＝Ｇ＋（Ｂ−ＧＢ）…式１
同様に，補間処理の対象画素が赤色画素Ｒ，その画素値がＲであり，判別された相関方向に緑色画素Ｇ，または青色画素Ｂが存在しない場合，赤色画素Ｒの近傍の緑色画素Ｇ，青色画素Ｂの画素値をＧ，Ｂ，これらの画素の画素位置における赤色画素Ｒの画素値をＲＧ，ＲＢとすると，補間対象画素における緑色成分Ｇ，青色成分Ｂのの画素値ＧＲ，ＢＲをは式２から得られる。
ＧＲ＝Ｒ＋（Ｇ−ＲＧ），ＢＲ＝Ｒ＋（Ｂ−ＲＢ）…式２
また，補間処理の対象画素が青色画素Ｂ，その画素値がＢであり、判別された相関方向に緑色画素Ｇ，または赤色画素Ｒ画素が存在しない場合，青色画素Ｂの近傍の緑色画素Ｇ，赤色画素Ｒの画素値をＧ，Ｒ，これらの画素の画素位置における青色画素Ｂの画素値をＢＧ，ＢＲとすると，補間対象画素の緑色成分Ｇ，赤色成分Ｒの画素値ＧＢ，ＲＢは式３により得られる。
ＧＢ＝Ｂ＋（Ｇ−ＢＧ），ＲＢ＝Ｂ＋（Ｒ−ＢＲ）…式３
また，上記の実施例では，補間処理の対象画素に対し，判別された相関方向に他の色の画素が存在しない場合には，近傍の他の色の画素の色差により対象画素の画素値を補間して他の色の画素値を算出するようにしているが，これに限らず，次のように，近傍の他の色の画素の色比により対象画素の画素値を補間して他の色の画素値を算出するようにしてもよい。
補間処理の対象画素が緑色画素Ｇ，その画素値がＧであり，判別された相関方向に赤色画素Ｒ，または青色画素Ｂが存在しない場合，緑色画素Ｇの近傍の赤色画素Ｒ，青色画素Ｂの画素値をＲ，Ｂ，これらの画素の画素位置における緑色画素Ｇの画素値をＧＲ，ＧＢとすると，前記対象画素の位置における赤色成分Ｒ，青色成分Ｂの画素値ＲＧ，ＢＧは，式４により得られる。
ＲＧ＝Ｇ×（Ｒ／ＧＲ），ＢＧ＝Ｇ×（Ｂ／ＧＢ）…式４
同様に，補間処理の対象画素が赤色Ｒ，その画素値がＲであり，判別された相関方向に緑色画素Ｇ，または青色画素Ｂが存在しない場合，赤色画素Ｒの近傍の緑色画素Ｇ，青色画素Ｂの画素値をＧ，Ｂ，これらの画素の画素位置における赤色画素Ｒの画素値をＲＧ，ＲＢとすると，対象画素の位置における緑色成分Ｇ，青色成分Ｂの画素値ＧＲ，ＢＲは式５により得られる。
ＧＲ＝Ｒ×（Ｇ／ＲＧ），ＢＲ＝Ｒ×（Ｂ／ＲＢ）…式５
また，補間処理の対象画素が青色画素Ｂ，その画素値がＢであり，判別された相関方向に緑色画素Ｇまたは赤色画素Ｒが存在しない場合，青色画素Ｂの近傍の緑色画素Ｇ，赤色画素Ｒの画素値をＧ，Ｒ，これらの画素の画素位置における青色画素Ｂの画素値をＢＧ，ＢＲとすると，補間対象画素の位置における緑色成分Ｇ，赤色成分Ｒの画素値ＧＢ，ＲＢは式６により得られる。
ＧＢ＝Ｂ×（Ｇ／ＢＧ），ＲＢ＝Ｂ×（Ｒ／ＢＲ）…式６
第６図は，ディジタル・カメラ（ディジタル・スチル・カメラ，ディジタル・ムービ・カメラ，携帯電話にディジタル・カメラの機能を持たせたものを含む）の電気的構成の一部を示すブロック図である。
ディジタル・カメラの全体の動作は，制御装置６０によって統括される。
撮像レンズ６１によって被写体像が，上述したＣＣＤ１０の受光面上に結像する。ＣＣＤ１０は，駆動装置６４によって駆動させられる。上述のように間引き処理を行うように，駆動装置６４からＣＣＤ１０にシフト・パルス，垂直転送パルスφＶ，水平転送パルスφＨなどが与えられる。
ＣＣＤ１０から間引き済みの映像信号が出力され，撮像処理装置６２に入力する。撮像処理装置６２においてアナログ／ディジタル変換，ガンマ補正，白バランス調整などの所定の撮像処理が行われる。上述したように，ＣＣＤ１０において間引き処理を行わずに撮像処理装置６２において間引き処理が行われるようにしてもよい。その場合には，撮像処理装置６２に，画像データを一時的に記憶するメモリが含まれ，そのメモリから読み出されるときに上述したように間引き処理が行われることなろう。
撮像処理装置６２から出力された画像データは画像処理装置６３に入力する。この画像処理装置６３において上述したように，方向判別等が行われ，判別された方向に応じて補間処理が行われることとなる。画像処理装置６３からは，補間されたカラー画像データが出力される。なお，上記実施例においては，間引き画像に対してだけでなく間引く前の解像度の高い画像に対しても，上述した方向判別処理により判別された相関方向に基づいて補間処理を行うことが可能である。
第７図は，ＣＣＤ１０の受光面の一部を示している。
上述した実施例では水平方向および垂直方向にそれぞれ１画素おきに画素を抽出することにより，水平方向１／２，垂直方向１／２の間引きを実現しているが，水平方向および垂直方向に３画素おきに画素を抽出することにより水平方向１／４，垂直方向１／４の間引きを実現することもできる。
第７図に示す受光面には，第１図に示すＣＣＤ１０と同じカラー・フィルタ配列をもつ多数の光電変換素子１１が含まれている。水平方向（矢印Ｈで示す）１／４，垂直方向（矢印Ｖで示す）１／４の間引きが行われることにより，第２図に示すカラー・配列をもつ間引き後の画像が得られる。
このように，水平方向および垂直方向に奇数個おきに画素を抽出することにより，間引き処理を行っても第２図に示す色配列をもつ画像が得られるようになる。
Claims (9)
- 水平方向および垂直方向に多数配列された光電変換素子を備え，赤色，緑色および青色のうちのいずれかの色の光成分またはシアン，マゼンタおよびイエローのうちのいずれかの色の光成分を透過するフィルタ特性を有するカラー・フィルタが上記光電変換素子の受光面上に形成され，赤色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数または青色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりも緑色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，あるいは，シアンの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数またはマゼンタの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりもイエローの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，水平方向および垂直方向にそれぞれ６つの上記光電変換素子から構成されるブロックにおいて，水平方向および垂直方向のすべてに緑色の光成分，青色の光成分および赤色の光成分またはイエローの光成分，シアンの光成分またはマゼンタの光成分を透過するフィルタ特性をもつカラー・フィルタが少なくとも一つ形成されており，かつ上記ブロックが周期的に繰り返されることにより斜め方向に緑色の光成分またはイエローの光成分を透過するフィルタ特性をもつカラー・フィルタが形成され，上記光電変換素子に蓄積された信号電荷を映像信号として出力する固体電子撮像素子，ならびに
上記固体電子撮像素子から出力される映像信号のうち水平方向および垂直方向にそれぞれ奇数個おきの上記光電変換素子に蓄積された信号電荷にもとづいて得られる映像信号を出力するように上記固体電子撮像素子を駆動する駆動回路，
を備えた撮像装置。 - 上記ブロックは，水平方向および垂直方向にそれぞれ３つの上記光電変換素子から構成される小ブロックが４つ集まったものであり，
上記光電変換素子の受光面上に形成されているカラー・フィルタのうち，赤色またはシアンの光成分を透過する特性を有するカラー・フィルタの配列と青色またはマゼンタの光成分を透過する特性を有するカラー・フィルタの配列とが，水平方向および垂直方向に隣接する小ブロックにおいて逆である，
請求の範囲第１項に記載の撮像装置。 - 上記ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過する特性をもつカラー・フィルタが水平方向，垂直方向および斜め方向のすべてにおいて２つ連続している部分が少なくとも一つ含まれている，
請求の範囲第１項に記載の撮像装置。 - 上記ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過する特性をもつカラー・フィルタが水平方向および垂直方向において２つずつ連続している部分が少なくとも一つ含まれている，
請求の範囲第３項に記載の撮像装置。 - 上記ブロックに含まれる光電変換素子の受光面に形成されている緑色またはイエローの光成分を透過するカラー・フィルタが水平方向および垂直方向において２つずつ連続している部分にもとづいて得られる４つの画素の画素レベルから相関方向を検出する相関方向検出装置，
上記相関方向検出装置において検出された相関方向に存在する赤色，シアン，青色またはマゼンタの色成分をもつ画素の緑色またはイエローの色成分を，上記相関方向検出装置において検出された相関方向に存在する緑色またはイエローの色成分をもつ画素を用いて補間する補間装置，ならびに
上記相関方向検出装置による処理および上記補間装置による処理を一画像分について繰り返す制御装置，
をさらに備えた請求の範囲第４項に記載の撮像装置。 - 上記相関方向検出装置は，
水平方向，垂直方向および斜め方向の方向ごとに，隣接する画素の画素レベルの差分絶対値を算出し，方向ごとの差分絶対値の総和または平均値のうち最小となる方向を相関方向と決定するものである，
請求の範囲第５項に記載の撮像装置。 - 上記補間装置は，
上記赤色，シアン，青色またはマゼンタの色成分をもつ画素のうちの色成分を有していない色成分を，上記補間装置により補間された緑色またはイエローの色成分と，上記赤色，シアン，青色またはマゼンタの色成分のうち有している色成分と，から補間するものである，
請求の範囲第５項に記載の撮像装置。 - 上記緑色またはイエローの光成分を透過する特性をもつカラー・フィルタが形成されている光電変換素子の感度が等しいものである，
請求の範囲第３項に記載の撮像装置。 - 固体電子撮像素子が，水平方向および垂直方向に多数配列された光電変換素子を備え，赤色，緑色および青色のうちのいずれかの色の光成分またはシアン，マゼンタおよびイエローのうちのいずれかの色の光成分を透過するフィルタ特性を有するカラー・フィルタが上記光電変換素子の受光面上に形成され，赤色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数または青色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりも緑色の光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，あるいは，シアンの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数またはマゼンタの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面上に形成されている上記光電変換素子の数よりもイエローの光成分を透過するフィルタ特性を有するカラー・フィルタが受光面に形成されている上記光電変換素子の数の方が多く，水平方向および垂直方向にそれぞれ６つの上記光電変換素子から構成されるブロックにおいて，水平方向および垂直方向のすべてに緑色の光成分，青色の光成分および赤色の光成分またはイエローの光成分，シアンの光成分またはマゼンタの光成分を透過するフィルタ特性をもつカラー・フィルタが少なくとも一つ形成されており，かつ上記ブロックが周期的に繰り返されることにより斜め方向に緑色の光成分またはイエローの光成分を透過するフィルタ特性をもつカラー・フィルタが形成され，上記光電変換素子に蓄積された信号電荷を映像信号として出力し，
駆動回路が，上記固体電子撮像素子から出力される映像信号のうち水平方向および垂直方向にそれぞれ奇数個おきの上記光電変換素子に蓄積された信号電荷にもとづいて得られる映像信号を出力するように上記固体電子撮像素子を駆動する，
撮像装置の動作制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013504503A JP5378626B2 (ja) | 2011-03-11 | 2011-07-29 | 撮像装置およびその動作制御方法 |
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011054685 | 2011-03-11 | ||
| JP2011054685 | 2011-03-11 | ||
| JP2011162216 | 2011-07-25 | ||
| JP2011162216 | 2011-07-25 | ||
| JP2013504503A JP5378626B2 (ja) | 2011-03-11 | 2011-07-29 | 撮像装置およびその動作制御方法 |
| PCT/JP2011/067916 WO2012124183A1 (ja) | 2011-03-11 | 2011-07-29 | 撮像装置およびその動作制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5378626B2 true JP5378626B2 (ja) | 2013-12-25 |
| JPWO2012124183A1 JPWO2012124183A1 (ja) | 2014-07-17 |
Family
ID=46830285
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013504503A Expired - Fee Related JP5378626B2 (ja) | 2011-03-11 | 2011-07-29 | 撮像装置およびその動作制御方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US8786738B2 (ja) |
| EP (1) | EP2645722A4 (ja) |
| JP (1) | JP5378626B2 (ja) |
| CN (1) | CN103270757B (ja) |
| WO (1) | WO2012124183A1 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104904197B (zh) * | 2012-12-05 | 2016-12-28 | 富士胶片株式会社 | 摄像装置及异常倾斜入射光检测方法 |
| WO2014087804A1 (ja) * | 2012-12-07 | 2014-06-12 | 富士フイルム株式会社 | 撮像装置、画像処理方法及びプログラム |
| CN104838646B (zh) * | 2012-12-07 | 2016-11-23 | 富士胶片株式会社 | 图像处理装置、图像处理方法、程序及记录介质 |
| JP5802858B2 (ja) * | 2013-03-05 | 2015-11-04 | 富士フイルム株式会社 | 撮像装置、画像処理装置、画像処理方法及びプログラム |
| JP5877931B2 (ja) * | 2013-05-23 | 2016-03-08 | 富士フイルム株式会社 | 画素補間装置およびその動作制御方法 |
| TWI585726B (zh) * | 2015-03-25 | 2017-06-01 | 鴻海精密工業股份有限公司 | 畫素結構 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001085664A (ja) * | 1999-07-15 | 2001-03-30 | Sony Corp | 固体撮像素子およびその駆動方法並びにカメラシステム |
| JP2004221839A (ja) * | 2003-01-14 | 2004-08-05 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2007037104A (ja) * | 2005-06-21 | 2007-02-08 | Sony Corp | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4663661A (en) | 1985-05-23 | 1987-05-05 | Eastman Kodak Company | Single sensor color video camera with blurring filter |
| JP2979900B2 (ja) * | 1993-05-26 | 1999-11-15 | 日本ビクター株式会社 | 記録媒体 |
| JPH0823543A (ja) | 1994-07-07 | 1996-01-23 | Canon Inc | 撮像装置 |
| JPH0823542A (ja) | 1994-07-11 | 1996-01-23 | Canon Inc | 撮像装置 |
| JP4088989B2 (ja) | 1997-11-05 | 2008-05-21 | 村田機械株式会社 | 回線接続装置 |
| EP0930789B1 (en) | 1998-01-20 | 2005-03-23 | Hewlett-Packard Company, A Delaware Corporation | Colour image pickup device |
| JP4098438B2 (ja) | 1999-04-15 | 2008-06-11 | オリンパス株式会社 | カラー撮像素子及びカラー撮像装置 |
| JP4518616B2 (ja) * | 2000-04-13 | 2010-08-04 | ソニー株式会社 | 固体撮像装置およびその駆動方法並びにカメラシステム |
| JP5108172B2 (ja) * | 2000-09-06 | 2012-12-26 | 株式会社ニコン | 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体 |
| US7847829B2 (en) | 2001-01-09 | 2010-12-07 | Sony Corporation | Image processing apparatus restoring color image signals |
| EP1395063A4 (en) * | 2001-05-15 | 2008-06-04 | Matsushita Electric Ind Co Ltd | FIGURE APPARATUS AND SIGNAL PROCESSING METHOD THEREFOR |
| JP2004266369A (ja) | 2003-02-21 | 2004-09-24 | Sony Corp | 固体撮像装置およびその駆動方法 |
| CA2540018A1 (en) | 2003-09-24 | 2005-05-06 | Gimelli Produktions Ag | Oral douche and hand piece for an oral douche |
| JP4385282B2 (ja) | 2003-10-31 | 2009-12-16 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| JP2006245246A (ja) * | 2005-03-02 | 2006-09-14 | Sharp Corp | 固体撮像装置 |
| JP4440207B2 (ja) | 2005-12-14 | 2010-03-24 | 太陽誘電株式会社 | 光情報記録再生装置、光情報記録処理方法、光情報記録媒体、プログラム、及び中央演算装置 |
| US7821553B2 (en) | 2005-12-30 | 2010-10-26 | International Business Machines Corporation | Pixel array, imaging sensor including the pixel array and digital camera including the imaging sensor |
| JP4970845B2 (ja) * | 2006-05-16 | 2012-07-11 | ルネサスエレクトロニクス株式会社 | 固体撮像装置 |
| JP4983141B2 (ja) * | 2006-08-04 | 2012-07-25 | ソニー株式会社 | カラーフィルタ |
| US7769230B2 (en) | 2006-11-30 | 2010-08-03 | Eastman Kodak Company | Producing low resolution images |
| US7701496B2 (en) | 2006-12-22 | 2010-04-20 | Xerox Corporation | Color filter pattern for color filter arrays including a demosaicking algorithm |
| JP5082528B2 (ja) | 2007-03-23 | 2012-11-28 | ソニー株式会社 | 固体撮像装置及び撮像装置 |
| JP2008306379A (ja) * | 2007-06-06 | 2008-12-18 | Toshiba Corp | 固体撮像素子 |
| JP5000395B2 (ja) * | 2007-06-26 | 2012-08-15 | オリンパス株式会社 | 撮像表示方法および撮像表示装置 |
| JP2009049533A (ja) | 2007-08-14 | 2009-03-05 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
| KR101733443B1 (ko) | 2008-05-20 | 2017-05-10 | 펠리칸 이매징 코포레이션 | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 |
| KR101467509B1 (ko) * | 2008-07-25 | 2014-12-01 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서 동작 방법 |
| JP5149143B2 (ja) | 2008-12-24 | 2013-02-20 | シャープ株式会社 | 固体撮像素子およびその製造方法、電子情報機器 |
| KR20110029217A (ko) * | 2009-09-15 | 2011-03-23 | 삼성전자주식회사 | 내부 변환을 통하여 ｒｇｂ베이어 신호를 출력하는 이미지 센서와 이를 포함하는 이미지 처리 장치 |
| WO2012039180A1 (ja) * | 2010-09-24 | 2012-03-29 | 富士フイルム株式会社 | 撮像デバイス及び撮像装置 |
| JP5845856B2 (ja) * | 2011-11-30 | 2016-01-20 | ソニー株式会社 | 固体撮像素子およびその製造方法、並びに電子機器 |
-
2011
- 2011-07-29 WO PCT/JP2011/067916 patent/WO2012124183A1/ja active Application Filing
- 2011-07-29 CN CN201180062747.4A patent/CN103270757B/zh not_active Expired - Fee Related
- 2011-07-29 JP JP2013504503A patent/JP5378626B2/ja not_active Expired - Fee Related
- 2011-07-29 EP EP20110861172 patent/EP2645722A4/en not_active Withdrawn
-
2013
- 2013-06-21 US US13/923,755 patent/US8786738B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001085664A (ja) * | 1999-07-15 | 2001-03-30 | Sony Corp | 固体撮像素子およびその駆動方法並びにカメラシステム |
| JP2004221839A (ja) * | 2003-01-14 | 2004-08-05 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP2007037104A (ja) * | 2005-06-21 | 2007-02-08 | Sony Corp | 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2645722A4 (en) | 2014-05-14 |
| US8786738B2 (en) | 2014-07-22 |
| JPWO2012124183A1 (ja) | 2014-07-17 |
| CN103270757B (zh) | 2015-07-22 |
| CN103270757A (zh) | 2013-08-28 |
| US20130286261A1 (en) | 2013-10-31 |
| WO2012124183A1 (ja) | 2012-09-20 |
| EP2645722A1 (en) | 2013-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2762942B1 (en) | Solid-state image capture element, image capture device, and focus control method | |
| US9288454B2 (en) | Color imaging apparatus having color imaging element | |
| JP5054857B1 (ja) | カラー撮像装置 | |
| JP4951440B2 (ja) | 撮像装置及び固体撮像素子の駆動方法 | |
| JP5378626B2 (ja) | 撮像装置およびその動作制御方法 | |
| US9159758B2 (en) | Color imaging element and imaging device | |
| JP5608820B2 (ja) | 撮像装置及び合焦制御方法 | |
| JP5378627B2 (ja) | 撮像装置およびその動作制御方法ならびに撮像システム | |
| US20040174446A1 (en) | Four-color mosaic pattern for depth and image capture | |
| US9324749B2 (en) | Color imaging element and imaging device | |
| JP5621057B2 (ja) | カラー撮像素子 | |
| US8970747B2 (en) | Imaging device | |
| EP2680590B1 (en) | Color image pick-up element | |
| JP4633413B2 (ja) | 撮像装置及び信号処理方法 | |
| JP4303525B2 (ja) | 補間画素生成装置および方法 | |
| JP2011066505A (ja) | 固体撮像素子の動画像信号読出方法及び撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130903 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130925 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5378626 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |