JP4385578B2 - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP4385578B2
JP4385578B2 JP2002264401A JP2002264401A JP4385578B2 JP 4385578 B2 JP4385578 B2 JP 4385578B2 JP 2002264401 A JP2002264401 A JP 2002264401A JP 2002264401 A JP2002264401 A JP 2002264401A JP 4385578 B2 JP4385578 B2 JP 4385578B2
Authority
JP
Japan
Prior art keywords
light receiving
image
imaging mode
grid
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002264401A
Other languages
Japanese (ja)
Other versions
JP2004104516A (en
Inventor
健 歌川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2002264401A priority Critical patent/JP4385578B2/en
Priority to US10/656,726 priority patent/US8120690B2/en
Publication of JP2004104516A publication Critical patent/JP2004104516A/en
Application granted granted Critical
Publication of JP4385578B2 publication Critical patent/JP4385578B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、複数の撮像モードを有する撮像装置に関する。
【0002】
【従来の技術】
従来、電子カメラに搭載される撮像素子の付加機能として、光電出力を所定間隔おきに間引いて読み出す間引き読み出し機能が知られている。この間引き読み出し機能を使用することにより、撮像素子から読み出す画素数を少なくし、画像の読み出し時間を短縮することが可能になる。
このような間引き読み出し機能については、例えば、特許文献1に詳しく開示されている。
電子カメラでは、この間引き読み出し機能により高速に得られる画像(以下『高速画像』という)を背面部のモニタに更新表示することにより、一段と滑らかな動きのモニタ表示を簡易に実現できる。
また、電子カメラは、短い時間間隔で得られる高速画像から、被写体コントラストや明るさを検出することにより、追従性により優れたAF(自動焦点制御)やAE(自動露出)を簡易に実現することもできる。
【特許文献1】
特開2002−125145号公報
【0003】
【発明が解決しようとする課題】
ところで、上述した間引き読み出し機能による高速画像は、モニタ表示や制御動作には十分な情報量を有するが、鑑賞用としては情報量が一般に少なく、解像感の不足した画像となることが多かった。
そこで、本発明の撮像装置では、高速画像の読み出し時間を短縮しつつ、かつ、良質な高速画像を生成することを目的とする。
【0004】
【課題を解決するための手段】
以下、本発明について説明する。
【0005】
《請求項1》
請求項1の撮像装置は、受光面に2次元配列されて受光量に応じた光電出力を生成する複数の受光素子と、受光素子で生成される光電出力を読み出す読出部とを備える。特に、この読出部は、受光面で生成される光電出力を格子配列にサンプリングして読み出す格子撮像モードと、光電出力を斜め格子配列にサンプリングして読み出す斜め格子撮像モードとを選択可能に有し、格子撮像モード、及び、斜め格子撮像モードのいずれか一方は、他方に比べて低精細度の撮像モードであり、一度の露光及び転送動作により、隣接する複数の受光素子で生成される光電出力を加算読み出しして、画像を生成することを特徴とする。
《請求項
請求項の撮像装置は、請求項1記載の撮像装置において、読出部は、格子撮像モード、及び、斜め格子撮像モードのいずれか一方の光電出力のサンプリング位置を受光素子の位置とし、かつ、格子撮像モード、及び、斜め格子撮像モードのいずれか他方の光電出力のサンプリング位置を等方的なサンプリング位置であって複数の受光素子の間の位置とすることを特徴とする。
《請求項
請求項の撮像装置は、請求項1又は請求項に記載の撮像装置において、複数の受光素子が、受光面に格子配列される。読出部は、斜め格子撮像モードにおいて、一度の露光及び転送動作により画像を生成し、受光面の光電出力を斜め格子配列の区分ごとに加算して読み出す。そして、格子配列の区分は、光電出力が転送される方向に二つの受光素子を有することを特徴とする。
《請求項
請求項の撮像装置は、請求項1又は請求項に記載の撮像装置において、複数の受光素子が、受光面に斜め格子配列される。読出部は、格子撮像モードにおいて、一度の露光及び転送動作により画像を生成し、受光面の光電出力を格子配列の区分ごとに加算して読み出す。そして、格子配列の区分は、斜め格子配列の方向に二つの受光素子を有することを特徴とする。
《請求項
請求項の撮像装置は、請求項3又は請求項に記載の撮像装置において、光電出力の加算方向と略直交する向きに光像をぼかす光学的ローパスフィルタを受光面に備えたことを特徴とする。
《請求項
請求項の撮像装置は、請求項ないし請求項のいずれか1項に記載の撮像装置において、光電出力の加算区分内を略同一色に揃えたカラーフィルタアレイを受光面に備えたことを特徴とする。
《請求項
請求項の撮像装置は、請求項1ないし請求項のいずれか1項に記載の撮像装置において、斜め格子撮像モードの出力を補間処理して、格子状に画素配列された画像データを生成する画像処理部を備えたことを特徴とする。
《請求項
請求項の撮像装置は、請求項1ないし請求項のいずれか1項に記載の撮像装置において、上述した読出部が、複数本の垂直CCD、第1水平転送部、および第2水平転送部を備える。
この垂直CCDは、受光面上の垂直方向に沿って複数の受光素子の列間に設けられ、かつ受光素子から出力される光電出力を垂直転送する。
第1水平転送部は、複数本の垂直CCDの一方の端に設けられ、一方の端から出力される光電出力を水平転送する。
第2水平転送部は、複数本の垂直CCDの他方の端に設けられ、他方の端から出力される光電出力を水平転送する。
特に、これらの垂直CCDには、受光素子1つに対して転送電極が2つずつ配される。さらに、水平方向に並ぶ受光素子間において、これら転送電極は、例えば図2や図10に示すように、電気的に交差接続されていることを特徴とする。
《請求項
請求項の撮像装置は、請求項に記載の撮像装置において、格子撮像モード、及び、斜め格子撮像モードのいずれか一方は、隣接する複数の受光素子で生成される光電出力を垂直CCDで加算することを特徴とする。
【0006】
【発明の実施の形態】
以下、図面に基づいて本発明にかかる実施形態を説明する。
【0007】
《第1の実施形態》
第1の実施形態は、格子配列された受光素子から、斜め格子配列の高速画像を読み出す実施形態である。
図1は、この第1の実施形態にかかる電子カメラ11の概略構成を示すブロック図である。
【0008】
図1において、電子カメラ11には、撮影レンズ12が装着される。この撮影レンズ12の像空間側には、機械シャッタ14および撮像素子13が光軸に沿って配置される。なお、撮像素子13の受光面には、光学的ローパスフィルタ(OLPF)13bとカラーフィルタアレイ(不図示)が配置される。
この撮像素子13の出力は、A/D変換部15、信号処理部16およびバッファメモリ17を介して、バス18に接続される。このバス18には、画像処理部19、記録部20およびマイクロプロセッサ22などが接続される。
【0009】
このマイクロプロセッサ22は、上述した機械シャッタ14,撮像素子13,画像処理部19および記録部20などを制御する。
図2は、上述した撮像素子13の内部構造を示す図である。
この撮像素子13の受光面には、複数の受光素子31が格子配列される。これらの受光素子31の上には、オンチップマイクロレンズ(不図示)とカラーフィルタアレイが設けられる。
【0010】
このカラーフィルタアレイは、図2に示すように、3色(a色,b色,c色)のカラーフィルタを配列することによって構成される。すなわち、偶数列の受光素子31には、a色(例えばG色)のカラーフィルタが配置される。一方、奇数列の受光素子31には、垂直方向に隣接する2画素を1区分として、b色(例えばB色)とc色(例えばR色)が交互に配置される。なお、このb色とc色は、隣り合う奇数行ごとに、位置を入れ替えることが好ましい。
【0011】
このような受光面の上には、受光面の水平方向に光像をぼかす(多重像を形成する場合も含む)光学的ローパスフィルタ13bが配置される。この光学的ローパスフィルタ13bは、光像をずらす間隔が受光素子31の水平間隔に略等しくなるように調整されている。
このような受光素子31の列間には、4相の転送電極φV1〜φV4を備えた垂直CCD33が設けられる。この垂直CCD33と受光素子31との間には、移送ゲート32が設けられる。この移送ゲート32の電極は、転送電極φV1,φV3を延設することによって形成される。また、垂直CCD33の両端には、それぞれ水平転送部36a,36bがそれぞれ設けられる。
【0012】
上述した移送ゲート32、垂直CCD33および水平転送部36a,36bには、制御回路35から制御パルスが与えられる。制御回路35は、この制御パルスの出力シーケンスを切り換えることにより、撮像モード(格子撮像モード/斜め格子撮像モード)を切り換える。
図3(A)は、この格子撮像モードにおける画素サンプリング点を示す図である。格子撮像モードでは、この図に示すように、受光素子31ごとに生成される光電出力が、格子配列状にサンプリングされて読み出される。
一方、図3(B)は、斜め格子撮像モードにおける画素サンプリング点を示す図である。斜め格子撮像モードでは、この図に示すように、受光素子31ごとに生成される光電出力が、斜め格子配列状にサンプリングされて読み出される。
【0013】
[転送電極φV1〜φV4の配線について]
以下、本実施形態の重要な特徴である転送電極φV1〜φV4の配線構造について、詳細に説明する。
撮像素子13内の垂直CCD33には、1個の受光素子31に対応して、転送電極が2つずつ設けられる。このように2つずつ配される転送電極は、図2に模式的に示すように、水平方向に隣接する垂直CCD33の間において交差接続される。(ここでは、φV1とφV2とが交差接続され、かつφV3とφV4とが交差接続される。)
その結果、偶数列では、φV1,φV2,φV3,φV4の順番に転送電極が並ぶ。一方、奇数列では、φV2,φV1,φV4,φV3の順番に転送電極が並ぶ。
【0014】
このような転送電極φV1〜φV4の配線構造により、垂直CCD33は次のような特徴を備える。
▲1▼偶数列と奇数列とにおいて、転送電極φV1〜φV4の並び順が逆向きになる。(そのため、奇数列と偶数列では、信号電荷の転送方向が逆向きになる。)
▲2▼さらに、垂直CCD33の転送段4相分が、偶数列と奇数列で列方向にずれる。そのため、後述する光電出力の加算区分は、斜め格子配列となる。
【0015】
なお、図2では、奇数列と偶数列において移送ゲート32の位置をずらしている。しかしながら、奇数列の転送電極を図2上方にずらすことにより、移送ゲート32の位置を水平方向に揃えることもできる。この状態においても、受光素子31に2つずつ配される転送電極(φV1とφV2、φV3とφV4)は、水平方向に隣接する垂直CCD33の間において、それぞれ交差接続される(すなわち、請求項の要件を満足する)。
【0016】
[発明との対応関係]
以下、各請求項の記載事項と本実施形態との対応関係について説明する。
なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載の受光素子は、受光素子31に対応する。
請求項記載の読出部は、移送ゲート32,垂直CCD33,水平転送部36a,水平転送部36b,および制御回路35に対応する。
請求項記載の光学的ローパスフィルタは、光学的ローパスフィルタ13bに対応する。
請求項記載のカラーフィルタアレイは、撮像素子13の受光面に配置されるカラーフィルタアレイ(図2参照)に対応する。
請求項記載の画像処理部は、画像処理部19に対応する。
請求項記載の垂直CCDは、垂直CCD33に対応する。
請求項記載の第1水平転送路は、水平転送部36aに対応する。
請求項記載の第2水平転送路は、水平転送部36bに対応する。
【0017】
[格子撮像モードの動作説明]
以下、第1の実施形態における格子撮像モードの動作について説明する。
まず、マイクロプロセッサ22は、受光素子31のリセット動作(不要電荷の排出)を実施した後、機械シャッタ14を開く。
この状態で、所定の露光時間が経過すると、マイクロプロセッサ22は、機械シャッタ14を閉制御し、撮像素子13の受光面を遮光状態にする。この遮光状態において、マイクロプロセッサ22は、撮像素子13内の制御回路35に対し、格子撮像モードの指令信号を送出する。
【0018】
この格子撮像モードの指令信号に従って、制御回路35は、転送電極φV1に対して閾値電圧を超える電圧を印加する。すると、1行おきの受光素子31から転送電極φV1の転送段に、光電出力が移送される(図4A参照)。
この状態で、制御回路35は、転送電極φV1〜φV4に対して、4相駆動の制御パルスを与える。その結果、奇数列の垂直CCD33では、1行おきの光電出力が水平転送部36aへ向かって順次に垂直転送される。水平転送部36aは、この奇数列の垂直CCD33から出力される光電出力を1行分取り込む。この状態で、制御回路35は、水平転送部36aに水平転送用の制御パルスを与え、光電出力を逐次に水平転送する。このような動作を繰り返すことにより、水平転送部36aからは、奇数列の光電出力に対応する画像信号が出力される。
【0019】
一方、偶数列の垂直CCD33では、光電出力が水平転送部36bへ向かって順次に垂直転送される。水平転送部36bは、この偶数列の垂直CCD33から出力される光電出力を行単位に取り込む。この状態で、制御回路35は、この水平転送部36bに水平転送用の制御パルスを与え、光電出力を逐次に水平転送する。このような動作により、水平転送部36bからは、偶数列の光電出力に対応する画像信号が出力される。
【0020】
このような転送動作により、第1フィールドの画像信号(1行おきの画像信号)が、偶数列と奇数列とに分けて並列に読み出しされる。
このように並列に読み出された画像信号は、A/D変換部15、信号処理部16を介して並列に処理された後、バッファメモリ17に一旦記録される。
次に、制御回路35は、第2フィールドの画像信号(残りの1行おきの画像信号)についても、同様の読み出し動作を行う。
【0021】
このような2回のインターレース転送により、画素が格子配列された画像データがバッファメモリ17内に蓄積される。
画像処理部19は、このバッファメモリ17内の画像データを、バス18を介してやり取りしながら、色補間処理や画素補間などの2次元画像処理を施す。このように画像処理を完了した画像データは、記録部20を介して、メモリカード21に圧縮保存される。
【0022】
[格子撮像モードの特徴について]
ここで、上述した格子撮像モードの特徴点について説明する。
図5は、格子撮像モードで読み出される画像データの色配列を示す図である。図6は、格子撮像モードのアパーチャを示す図である。
光学的ローパスフィルタ13bの像ぼかし効果により、格子撮像モードのアパーチャは、オンチップマイクロレンズのアパーチャを水平方向に2つ連結した形状となる。
【0023】
その結果、a色成分のアパーチャは、図6に示すように、受光面をほぼ隙間なく覆う。一方、b色およびc色のアパーチャも同様に受光面を覆う。
このようにアパーチャが受光面を効率的に覆うため、1方向のみの光学的ローパスフィルタ13bだけでも、偽信号(偽色など)を十分に抑圧することが可能になる。そのため、光学的ローパスフィルタ13bを薄くすることが可能になり、電子カメラ11の光学性能を一段と高めることが可能になる。
また、本実施形態では、光電出力を偶数列と奇数列とに分けることにより、並列読み出しを行っている。その結果、画像の読み出し時間を短縮したり、撮像素子13の水平転送周波数を低減するなどの優れた効果も得られる。
【0024】
[斜め格子撮像モードの動作説明]
続いて、第1の実施形態における斜め格子撮像モードの動作を説明する。
マイクロプロセッサ22は、撮像素子13内の制御回路35に対して、斜め格子撮像モードの指令信号を送出する。この指令信号に従って、制御回路35は、撮像素子13の電子シャッタ制御を実施する。(なお、このとき、マイクロプロセッサ22は、機械シャッタ14を併用して露光時間を制御してもよい。)
所定の露光時間を経過すると、制御回路35は、転送電極φV1,φV3に対して閾値電圧を超える電圧を印加する。すると、受光素子31の光電出力は、移送ゲート32を介して、φV1,φV3の転送段に移送される。この状態で、制御回路35は、転送電極φV2に電圧を印加し、転送電極φV1〜φV3の直下の電位井戸を連結する。その結果、連結された電位井戸内において、図4Bに点線で示すような斜め格子の区分ごとに光電出力が加算される。以下、加算後の光電出力を『合成出力』と呼ぶ。
【0025】
続いて、制御回路35は、転送電極φV1〜φV4に4相駆動の制御パルスを与える。このとき、奇数列の垂直CCD33では、合成出力が水平転送部36aへ向かって垂直転送される。水平転送部36aは、この奇数列の垂直CCD33から出力される合成出力を行単位に取り込む。この状態で、制御回路35は、この水平転送部36aに水平転送用の制御パルスを与え、合成出力を逐次に水平転送する。このような動作により、水平転送部36aからは、奇数列の合成出力に対応する画像信号が出力される。
【0026】
一方、偶数列の垂直CCD33では、合成出力が水平転送部36bへ向かって逆に垂直転送される。水平転送部36bは、この偶数列の垂直CCD33から出力される合成出力を行単位に取り込む。この状態で、制御回路35は、この水平転送部36bに水平転送用の制御パルスを与え、合成出力を逐次に水平転送する。このような動作により、水平転送部36bからは、偶数列の合成出力に対応する画像信号が出力される。
【0027】
このような一連の転送動作により、画素が斜め格子配列された画像信号(すなわち高速画像)が、偶数列と奇数列とに分けて並列に読み出しされる。これらの画像信号は、A/D変換部15、信号処理部16を介して並列処理された後、バッファメモリ17に一旦記録される。
画像処理部19は、このバッファメモリ17内の高速画像に対して、色補間処理や画素補間などの2次元画像処理を施す。このように画像処理を完了した高速画像は、記録部20を介して、メモリカード21に圧縮保存される。
なお、この高速画像は、上述した保存画像としての用途の他に、モニタ表示や制御動作などにも使用される。
【0028】
[斜め格子撮像モードの特徴について]
ここで、上述した斜め格子撮像モードの特徴点について説明する。
図7は、斜め格子撮像モードで読み出される合成出力の色配列を示す図である。
図8は、斜め格子撮像モードのアパーチャを示す図である。
斜め格子撮像モードのアパーチャは、『光電出力の加算処理』と『光学的ローパスフィルタ13bの像ぼかし効果』とにより、オンチップマイクロレンズのアパーチャ2×2個分の範囲に拡大する。このとき、a色のアパーチャは、受光面全体をほぼ隙間なく覆う。一方、b色およびc色のアパーチャは市松状に受光面を覆う。
【0029】
このように、アパーチャが受光面を効率的に覆うため、上述した格子撮像モードと同様、1方向のみの光学的ローパスフィルタ13bだけで、偽信号(偽色など)を十分に抑圧することが可能になる。
特に、このときのアパーチャは、図8に示すように略正方形状であり、等方性が非常に高い。そのため、縦横方向の解像感が均質な画像データを得ることができる。
【0030】
さらに、各アパーチャが斜め格子に並ぶため、アパーチャ中心の縦横方向の最短間隔は、受光素子31の水平間隔および垂直間隔と略等しくなる。そのため、上述した格子撮像モードに対して全体の画素数が半減しているにも係わらず、水平および垂直方向の情報量が多く、解像感の優れた高速画像を得ることができる。
また、図8に示したアパーチャの色配列は、2板式撮像装置(G色の撮像デバイスとRB市松の撮像デバイスを画素ずらし状態に配したもの)の画素配列と同等である。また、図8に示すアパーチャの色配列は、ベイヤー配列を斜め45度に傾けた色配列とも同等である。したがって、格子撮像モードの色補間処理としては、ベイヤー配列で公知の色補間処理で斜格子の補間を行い、その後で斜め格子化で抜けた格子点を補間することで格子状配列の画像ができる。勿論、斜め格子化で抜けた格子点を直接補間するようにしてもよい。
【0031】
さらに、本実施形態では、合成出力を偶数列と奇数列とに分けて並列に読み出す。その上、斜め格子撮像モードは、格子撮像モードに比べて全体の画素数が半減している。そのため、上述した斜め格子撮像モードでは、画像読み出しの所要時間を1/2に短縮することが可能になる。
【0032】
なお、本実施形態では、斜め格子配列の高速画像が得られる。この高速画像をモニタ表示に使用する場合には、斜め格子の画素の中から格子位置に該当する画素をピックアップしてモニタ表示画像を生成すればよい。このような処理により、斜め格子配列の高速画像からモニタ表示用の格子配列データを高速に生成することが可能になる。
次に別の実施形態について説明する。
【0033】
《第2の実施形態》
第2の実施形態は、モノクロの電子カメラに関する実施形態である。この電子カメラのハードウェア構成は、第1の実施形態から、カラーフィルタアレイを省いたものに等しい。なお、光学的ローパスフィルタ13bについては、モアレ除去などの目的に応じて設けてもよいし、省いてもよい。そのため、ここでは、第1の実施形態と共通する構成要素の符号をそのまま使用し、構成に関する重複説明を省略する。
【0034】
[格子撮像モードの説明]
以下、モノクロの格子撮像モードについて説明する。
格子撮像モードでは、2回のインターレース転送を経て、画素が正方格子に配置されたモノクロ画像信号が読み出される。この転送動作においても、第1の実施形態(図4A)と同様、光電出力は偶数列と奇数列とに分けて並列に読み出される。その結果、第2の実施形態の格子撮像モードにおいても、画像読み出し時間を短縮したり、撮像素子13の水平転送周波数を低減するなどの効果が得られる。
このように読み出されたモノクロ画像信号は、A/D変換部15および信号処理部16を経て、モノクロ画像データに変換される。このモノクロ画像データは、記録部20によってメモリカード21に圧縮保存される。
【0035】
[斜め格子撮像モードの説明]
以下、斜め格子撮像モードを用いて、モノクロの高速画像を読み出す動作について説明する。
斜め格子撮像モードでは、まず、受光面上において、図9(A)に示す斜め格子配列の区分ごとに、光電出力が加算される。この加算処理によって生成された高速画像は、プログレッシブ転送によって、撮像素子13から読み出される。
この転送動作においても、第1の実施形態(図4B)と同様、予め個数の低減された合成出力が偶数列と奇数列とに分けて並列に読み出される。その結果、第2の実施形態の斜め格子撮像モードにおいても、高速画像の画像読み出し時間を顕著に短縮するなどの優れた効果が得られる。
図9(B)は、この高速画像の最近接サンプリング点の様子を示す図である。受光素子31の画素ピッチをPとすると、最近接サンプリング点の斜めピッチは、√2・Pとなる。
【0036】
このとき、最近接サンプリング点の縦横方向の最短間隔は、受光素子31のピッチPに等しくなる。そのため、上述した格子撮像モードに比べて全体の画素数が半減しているにも係わらず、縦横方向の情報量が多く、解像感の優れた画像データが得られる。例えば、縦ストライプや横ストライプの画像であれば、格子撮像モードと同等の解像度を達成することが可能である。
【0037】
図9(C)は、斜め格子撮像モードで出力された画像信号の画素配列を示す図である。画像処理部19は、この斜め格子の画素配列を読み出し、斜め格子の中心に位置する画素を補間する。
図9(D)は、この補間後の画素配列を示す図である。この場合の補間方法としては、上下左右の画素を単純平均する補間方法でもよい。また、画像の局所的類似性を判定して、類似方向の重み付けを増やす補間方法でもよい。
【0038】
ところで、図9(D)に示す補間画像は、本来の画素数を2倍に増やしているために画像サイズ(縦横画素数)が大きく、解像感には勝るものの、画処理としては重くなり、又メモリ消費が大きい欠点がある。そこで、画像処理部19は、通常用途では、この補間画像を情報量に見合った画素数(例えば、サンプリングした画素数前後)まで変倍(ここでは縦横3/4倍)するモードを設けることが効率的である。
【0039】
図9(E)は、このような変倍処理後の画素配列を示す図である。このような変倍処理としては、バイキュービック法,バイリニア法,またはニアレストネイバー法その他の補間法を使用できる。また、図9(C)に示す斜め格子配列に、これらの補間法を直に使用することにより、図9(D)の状態を経ずに、図9(E)の画像を直に生成してもよい。
【0040】
このように変倍処理された高速画像は、記録部20によってメモリカード21に圧縮保存される。
なお、ここでの高速画像は、上述した保存画像としての用途の他に、モニタ表示や制御動作などにも使用可能である。
次に、別の実施形態について説明する。
【0041】
《第3の実施形態》
第3の実施形態は、斜め格子配列された受光素子から、格子配列の高速画像を読み出す実施形態である。
第3の実施形態における電子カメラの特徴は、図1に示す撮像素子13を、図10に示す撮像素子50に代えた点である。なお、その他のハードウェア構成については、第1の実施形態と同様であるため、ここでの説明を省略する。
【0042】
以下、図10を用いて、撮像素子50の構成を説明する。
撮像素子50の受光面には、受光素子51が、斜め格子位置に配列される。この受光素子51の上には、オンチップマイクロレンズ(不図示)とカラーフィルタアレイが配置される。このカラーフィルタアレイの色配列は、第1の実施形態(図5)のカラーフィルタアレイを斜め45度に傾斜させた色配列に等しい。
【0043】
このカラーフィルタアレイの上には、光学的ローパスフィルタが配置される。この光学的ローパスフィルタの像ぼかし方向は、後述する加算方向に対して略直交する。さらに、光学的ローパスフィルタの光像をずらす間隔は、受光素子51の斜めピッチに略等しい。
また、受光面上には、複数本の分離領域(チャンネルストップ)54が設けられる。これらの分離領域54は、受光素子51をジグザグ列の単位に区分する。
【0044】
隣り合う分離領域54に挟まれるように、4相の転送電極φV1〜φV4を備えた垂直CCD53が設けられる。この垂直CCD53は、ジグザグに並ぶ受光素子51の隙間に転送段を連ねて構成される。
さらに、受光素子51と垂直CCD53との間には、移送ゲート52が設けられる。これらの移送ゲート52は、転送電極φV1および転送電極φV3を受光素子51まで延設することによって形成される。また、垂直CCD53の両端には、それぞれ水平転送部56a,56bがそれぞれ設けられる。
【0045】
上述した移送ゲート52、垂直CCD53および水平転送部56a,56bには、制御回路55から制御パルスが与えられる。この制御回路55は、制御パルスの出力シーケンスを切り換えることにより、撮像モード(斜め格子撮像モード/格子撮像モード)を切り換える。
図11(A)は、この斜め格子撮像モードにおける画素サンプリング点を示す図である。斜め格子撮像モードでは、この図に示すように、受光素子51ごとに生成される光電出力が、斜め格子配列状にサンプリングされて読み出される。
一方、図11(B)は、格子撮像モードにおける画素サンプリング点を示す図である。格子撮像モードでは、この図に示すように、受光素子51ごとに生成される光電出力が、格子配列状にサンプリングされて読み出される。
【0046】
[転送電極φV1〜φV4の配線について]
以下、本実施形態の重要な特徴である転送電極φV1〜φV4の配線構造について、詳細に説明する。
撮像素子13内の垂直CCD53には、1個の受光素子51に対応して、転送電極が2つずつ設けられる。このように2つずつ配される転送電極は、図10に模式的に示すように、水平方向に隣接する垂直CCD53の間において交差接続される。(ここでは、φV1とφV2とが交差接続され、かつφV3とφV4とが交差接続される。図10では分かりやすく示すために、交差の様子を模式的に表した。しかしながら、交差は分離領域54(チャネルストップ)の巾の中で行うことが好ましい。このような構造により、交差によるポテンシャル井戸の乱れを有効に防ぐことができる。)
その結果、偶数列では、φV1,φV2,φV3,φV4の順番に転送電極が並ぶ。一方、奇数列では、φV2,φV1,φV4,φV3の順番に転送電極が並ぶ。
その結果、偶数列と奇数列とにおいて、転送電極φV1〜φV4の並び順が逆向きになる。(そのため、奇数列と偶数列では、信号電荷の転送方向が逆向きになる。)
【0047】
[発明との対応関係]
以下、各請求項の記載事項と本実施形態との対応関係について説明する。
なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載の受光素子は、受光素子51に対応する。
請求項記載の読出部は移送ゲート52,垂直CCD53,水平転送部56a、56bおよび制御回路55に対応する。
請求項記載のカラーフィルタアレイの配色は、図10に示すものである。
請求項記載の光学的ローパスフィルタは、撮像素子50の受光面に配置される光学的ローパスフィルタに対応する。
請求項記載のカラーフィルタアレイは、撮像素子50の受光面に配置されるカラーフィルタアレイ(図10参照)に対応する。
請求項記載の画像処理部は、画像処理部19に対応する。
請求項記載の垂直CCDは、垂直CCD53に対応する。
請求項記載の第1水平転送路は、水平転送部56aに対応する。
請求項記載の第2水平転送路は、水平転送部56bに対応する。
【0048】
[格子撮像モードの動作説明]
以下、図10を使用して、撮像素子50における格子撮像モードの動作を説明する。
マイクロプロセッサ22は、撮像素子50内の制御回路55に対して、格子撮像モードの指令信号を送出する。この指令信号に従って、制御回路55は、撮像素子50の電子シャッタ制御を実施する。(なお、このとき、マイクロプロセッサ22は、機械シャッタ14を併用して露光時間を制御してもよい。)
所定の露光時間が経過して受光素子51に光電出力が蓄積されると、制御回路55は、転送電極φV1,φV3に対して閾値電圧を超える電圧を印加する。すると、受光素子51の光電出力は、移送ゲート52を介して、φV1,φV3の転送段に移送される。この状態で、制御回路55は、φV2に電圧を印加して、転送電極φV1〜φV3の直下の電位井戸を連結する。その結果、連結された電位井戸内において、格子配列の区分ごとに光電出力が加算され、図12に示すような合成出力が生成される。
【0049】
続いて、制御回路55は、転送電極φV1〜φV4に4相駆動の制御パルスを与える。このとき、奇数列目の垂直CCD53では、合成出力が水平転送部56aへ向かって垂直転送される。水平転送部56aは、この奇数列目の垂直CCD53から出力される合成出力を1行分だけ取り込む。この状態で、制御回路55は、この水平転送部56aに水平転送用の制御パルスを与え、合成出力を逐次に水平転送する。このような動作を繰り返すことにより、水平転送部56aからは、奇数列の合成出力に対応する画像信号が出力される。
【0050】
一方、偶数列目の垂直CCD53では、合成出力が水平転送部56bへ向かって順次に垂直転送される。水平転送部56bは、この偶数列目の垂直CCD53から出力される合成出力を行単位に取り込む。この状態で、制御回路55は、この水平転送部56bに水平転送用の制御パルスを与え、合成出力を逐次に水平転送する。このような動作により、水平転送部56bからは、偶数列目の合成出力に対応する画像信号が出力される。
【0051】
このような転送動作により、画素が格子配列された画像信号(すなわち高速画像)が、偶数列と奇数列とに分けて並列に読み出しされる。これらの画像信号は、A/D変換部15、信号処理部16を介して並列に処理された後、バッファメモリ17に一旦記録される。画像処理部19は、このバッファメモリ17内の高速画像に対して、色補間処理などの2次元画像処理を施す。このような画像処理を完了した画像データは、記録部20を介して、メモリカード21に圧縮保存される。
なお、ここでの高速画像は、上述した保存画像としての用途の他に、モニタ表示や制御動作などにも使用可能である。
【0052】
[格子撮像モードの特徴について]
図13は、格子撮像モードのアパーチャを示す図である。
格子撮像モードのアパーチャは、『光電出力の加算処理』と『光学的ローパスフィルタの像ぼかし効果』とにより、オンチップマイクロレンズのアパーチャ4個分の範囲に拡大する。このとき、a色のアパーチャは、受光面全体をほぼ隙間なく覆う。一方、b色およびc色のアパーチャは市松状に受光面を覆う。
【0053】
このように、アパーチャが受光面を効率的に覆うため、1方向のみの光学的ローパスフィルタだけでも、偽信号(偽色など)を十分に抑圧することが可能になる。
さらに、図13に示すように、アパーチャ形状は略菱形であり、等方性が非常に高い。そのため、縦横方向において解像感の均質な高速画像を得ることができる。
【0054】
また、図12に示したアパーチャの色配列は、2板式撮像装置(G色の撮像デバイスとRB市松の撮像デバイスを画素ずらし状態に配したもの)の画素配列と同等である。また、図12に示すアパーチャの色配列は、ベイヤー配列の色配列とも同等である。したがって、格子撮像モードの色補間処理として、2板式撮像装置やベイヤー配列で実施される巧緻な色補間処理を採用することが可能になる。
【0055】
また、本実施形態では、高速画像を偶数列と奇数列とに分けて並列に読み出す。さらに、この格子撮像モードは、受光面での加算処理により全体の画素数が半減している。そのため、第3の実施形態の格子撮像モードでは、高速画像の読み出し所要時間を顕著に短縮することが可能である。
さらに、本実施形態では、格子配列の高速画像が得られる。そのため、高速画像の画素配列を変換せずに、そのまま画像保存することができる。また、必要に応じて、高速画像を単純に変倍処理することにより、モニタ表示用の画像を生成することもできる。
【0056】
[斜め格子撮像モードの動作説明]
続いて、第3の実施形態における斜め格子撮像モードの動作説明を行う。
まず、機械シャッタ14が閉じた後、マイクロプロセッサ22は、撮像素子50内の制御回路55に対して、斜め格子撮像モードの指令信号を送出する。
この斜め格子撮像モードの指令信号に従って、制御回路55は、転送電極φV1に対して閾値電圧を超える電圧を印加する。すると、転送電極φV1に隣接する受光素子51の光電出力は、移送ゲート52を介して、転送電極φV1の転送段に移送される。この状態で、制御回路55は、垂直CCD53および水平転送部56a、56bを駆動して、垂直CCD53上の光電出力を奇数列と偶数列とに分けて並列に読み出す。
【0057】
このような転送動作により、第1フィールドの画像データがまず読み出しされる。この第1フィールドの画像データは、A/D変換部15、信号処理部16を介して処理された後、バッファメモリ17に一旦記録される。
続いて、制御回路55は、残った第2フィールドの画像データについても、同様の読み出し動作を行う。
【0058】
このような2回のインタレース転送を経て、図14に示す画像データがバッファメモリ17内に蓄積される。
画像処理部19は、このバッファメモリ17内の画像データに対して、色補間処理や画素補間などの2次元画像処理を施す。このように画像処理を完了した画像データは、記録部20を介して、メモリカード21に圧縮保存される。
【0059】
[斜め格子撮像モードの特徴について]
図15は、斜め格子撮像モードのアパーチャを示す図である。
光学的ローパスフィルタの像ぼかし効果により、斜め格子撮像モードのアパーチャは、オンチップマイクロレンズのアパーチャを斜め方向に2つ連結した形状を有する。
【0060】
その結果、a色成分のアパーチャは、受光面をほぼ隙間なく覆う。一方、b色およびc色のアパーチャも受光面を覆う。このようにアパーチャが受光面を効率的に覆うため、1方向のみの光学的ローパスフィルタだけでも、偽信号(偽色など)を十分に抑圧することが可能になる。
さらに、本実施形態では、光電出力を偶数列と奇数列とに分けて並列に読み出す。その結果、斜め格子撮像モードにおいて画像読み出し時間を短縮するなどの効果が得られる。
次に、別の実施形態について説明する。
【0061】
《第4の実施形態》
第4の実施形態は、モノクロの電子カメラに関する実施形態である。この電子カメラのハードウェア構成は、第3の実施形態からカラーフィルタアレイおよび光学的ローパスフィルタを省いたものに等しい。そのため、ここでは、第3の実施形態と共通する構成要素の符号をそのまま使用し、構成に関する重複説明を省略する。
【0062】
[格子撮像モードの説明]
以下、格子撮像モードについて説明する。
格子撮像モードでは、まず、受光面上において、図16(A)に示す格子配列の区分ごとに、光電出力が加算される。この加算処理によって生成された高速画像は、偶数列と奇数列とに分けてプログレッシブ転送され、撮像素子13から読み出される。
【0063】
図16(B)は、この高速画像の最近接サンプリング点の様子を示す図である。受光素子51の斜めピッチをPとすると、最近接サンプリング点の水平間隔および垂直間隔は、√2・Pとなる。
図16(C)は、この高速画像の加算区分の様子を示す図である。
図16(D)は、高速画像の画素配列の様子を示す図である。
この場合、高速画像の方が正方配列となっている。高精細画像はパワーのある外部処理装置(パソコンなど)で処理し、高速画像はカメラ内ASIC(特定用途向けIC)で処理する場合、高速画像が正方配列であることはASIC処理を複雑化しない点でメリットがある。
【0064】
[斜め格子撮像モードの説明]
続いて、斜め格子撮像モードについて説明する。
斜め格子撮像モードでは、2回のインターレース転送を経て、画素が斜め格子に配列されたモノクロ画像信号が読み出される。
図17(A)は、このモノクロ画像信号のサンプリング位置を示す図である。
【0065】
図17(B)は、このモノクロ画像データの最近接サンプリング点の様子を示す図である。
受光素子51の斜めピッチをPとすると、最近接サンプリング点の斜め方向の間隔は、Pとなる。一方、最近接サンプリング点の水平方向や垂直方向の距離は、P/√2程度と短い。そのため、画素数が同等の格子配列に比べて、縦横方向の情報量が多く、縦横の解像感の優れた画像データを得ることができる。
【0066】
画像処理部19は、この斜め格子のモノクロ画像データに対して、斜め格子の中央に位置する画素を補間する。
図17(C)は、このような補間処理後の画素配列を示す図である。この場合の補間方法としては、上下左右の画素を平均する補間方法でもよい。また、画像の局所的類似性を判定して、類似方向の重み付けを増やして加重平均を取る補間方法でもよい。
【0067】
ところで、図17(C)に示す補間画像は、本来の画素数を単純に倍増させているため、解像感は勝るが、本来の情報量の割に画像サイズ(縦横画素数)が大きい。そこで、画像処理部19は、この補間画像を、情報量に見合った画素数(例えばサンプリングした画素数程度の画素数)まで変倍(例えば縦横3/4倍)して画像を縮小するモードを設けることが好ましい。
【0068】
図17(D)は、このような変倍処理後の画素配列を示す図である。このような変倍処理としては、バイキュービック法,バイリニア法,またはニアレストネイバー法その他の補間法を使用して、図17(D)の格子位置の画素値を生成する処理が好ましい。なお、図17(A)に示す斜め格子配列に、これらの補間法を使用して、図17(D)の格子位置の画素値を直に生成してもよい。
このように変倍処理されたモノクロ画像データは、記録部20によってメモリカード21に圧縮保存される。
【0069】
《実施形態の補足事項》
以上説明した実施形態では、3色のカラーフィルタアレイを使用する場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、図18または図19に一例を示すように、4色を配色したカラーフィルタアレイを使用してもよい。
【0070】
また、上述した実施形態では、光電出力の加算区分内を同一色に揃えている。
しかしながら、本発明はこれに限定されるものではない。例えば、図2および図10に括弧書きで示す色配列のように、光電出力の加算区分内に異なる色(a1,a2など)を配色してもよい。この場合、高精細な撮像モードでは、より多くの色情報を得ることが可能になり、撮像画像において微妙な色の違いを再現することが可能になる。
【0071】
なお、上述した実施形態では、光電出力を2つ分加算して合成出力を生成している。そのため、撮像素子内における加算処理が簡潔で、高速画像の読み出しシーケンスを単純化することが可能になる。しかしながら、本発明はこれに限定されるものではない。例えば、光電出力を3つ以上加算して合成出力を生成してもよい。
【0072】
なお、上述した実施形態では、垂直CCD33,53上において、光電出力を加算している。しかしながら、本発明はこれに限定されるものではない。例えば、水平転送部上において光電出力を加算する構成も可能である。
【0073】
また、上述した実施形態では、制御回路35,55を、撮像素子13,50に内蔵させている。しかしながら、本発明はこれに限定されるものではない。例えば、制御回路35,55を、撮像素子13,50と別体に設けてもよい。この場合、電子カメラ11内のマイクロプロセッサ22などに、制御回路35,55の機能を一部または全部担当させることも可能である。
【0074】
なお、上述した実施形態では、CCD方式の撮像素子について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、XYアドレス方式(CMOS方式など)の撮像素子に本発明を適用してもよい。
【0075】
また、上述した実施形態(図2,図10)では、隣り合う垂直CCDにおいて、2つの転送電極をつなぐ配線を現実に交差させている。しかしながら、本発明はこのような配線パターンに狭く限定されるものではない。本発明の『交差接続』は、転送電極の電気的な状態を特定する言葉である。したがって、配線を迂回させたり、引き回すことによって、見かけ上は配線が交差していないとしても、転送電極の電気的な状態が、請求項で述べる『交差接続』の要件を満足すれば、本発明の範囲内である。
【0076】
ところで、上述した高速画像では、画素加算の処理によってローパス効果が奏せられる。そのため、この加算によるローパス効果の不十分な方向(例えば、画素加算方向と略直交する方向)にのみ光学的ローパスフィルタをかけるだけで、偽色やモアレを効果的に抑制できる。したがって、2方向に像をぼかす光学的ローパスフィルタが必要であった従来製品に比べて、本実施形態では光学的ローパスフィルタの厚みや枚数を低減することが可能であり、光学的ローパスフィルタにかかるコストを削減することが可能になる。
【0077】
さらに、上述した実施形態では、高精細画像と高速画像において、偽色やモアレを効果的に抑制できる方向が略一致している。したがって、本実施形態では、高速画像と高精細画像に対して共通の光学的ローパスフィルタを使用しつつ、両方のモードにおいて、偽色やモアレを良好に抑制できるという優れた特徴を有している。
【0078】
なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。
【0079】
【発明の効果】
従来の間引き読み出し機能は、格子配列の画素配列を間引いて、同じ格子配列の高速画像を得ていた。そのため、画像の情報量が縦横方向に単純に減少し、解像感の不足した高速画像となっていた。
しかしながら、本発明の撮像装置は、受光面に生成される光電出力を格子配列にサンプリングして読み出す格子撮像モードと、光電出力を斜め格子配列にサンプリングして読み出す斜め格子撮像モードとを選択可能に備える。
【0080】
そのため、これら2種類の撮像モードの内、読み出し画像の画素数が少ない方を高速画像の撮像モードとして使用できる。この場合の高速画像は、受光面から画像を読み出す過程で画素数が減少するため、受光面から短時間で読み出すことが可能になる。
【0081】
また、従来の間引き読み出し機能では、格子配列の画素配列を間引いて、格子配列の間引き画像を得ていた。例えば、従来例において縦方向に1画素おきに間引けば、画素数1/2の間引き画像が得られる。この場合、縦方向の画素数が一方的に低下して、縦方向と横方向の解像感が不均一となる。一方、横方向に1画素おきに間引けば、画素数1/2の間引き画像が得られる。この場合も、横方向の画素数が一方的に低下して、縦方向と横方向の解像感が不均一となる。一方、縦横方向に1画素おきに間引けば、縦横方向に均一な解像感となるが、画素数は1/4まで落ちてしまい、画素数1/2の間引き画像に比べれば画像全体の解像感が低下してしまう。
【0082】
しかしながら、本発明の撮像装置は、一方の撮像モードを格子配列とし、他方の撮像モードを斜め格子配列とする。したがって、一方の画素数を他方の画素数の例えば1/2としたとしても、両方の撮像モードどちらについても等方的な解像感の良質な画像が得られる。
【0083】
特に、高画素数モードを格子配列とし、低画素数モードを斜め格子配列とする場合は、低画素数モードの画像であっても、縦方向と横方向に限定すれば高い解像感を得ることが可能となる。これは、斜め格子配列では、縦方向の行間隔または横方向の列間隔が密になることに起因する。一般的な撮影状況では、縦線や横線の頻度が高いことを考えると、低画素数モードにおいて高い解像感を得ることが可能になる。
【0084】
一方、低画素数モードを格子配列とし、高画素数モードを斜め格子配列とする場合は、高画素数モードにおいて縦方向と横方向の解像感を、低画素数モードとの画素数比以上に高めることができる。一般的な撮影状況では、縦線や横線の頻度の高いことを考えると、高画素数モードにおいて非常に高い解像感が得られる利点がある。
【図面の簡単な説明】
【図1】電子カメラ11の概略構成を示すブロック図である。
【図2】撮像素子13を示す図である。
【図3】格子撮像モードおよび斜め格子撮像モードにおける画素サンプリング点を示す図である。
【図4】撮像素子13の転送動作を説明する図である。
【図5】格子撮像モードで読み出される画像データの色配列を示す図である。
【図6】格子撮像モードのアパーチャを示す図である。
【図7】斜め格子撮像モードで読み出される合成出力の色配列を示す図である。
【図8】斜め格子撮像モードのアパーチャを示す図である。
【図9】第2の実施形態の動作を説明する図である。
【図10】撮像素子50を示す図である。
【図11】斜め格子撮像モードおよび格子撮像モードにおける画素サンプリング点を示す図である。
【図12】格子撮像モードで読み出される合成出力の色配列を示す図である。
【図13】格子撮像モードのアパーチャを示す図である。
【図14】斜め格子撮像モードで読み出される画像データの色配列を示す図である。
【図15】斜め格子撮像モードのアパーチャを示す図である。
【図16】第4の実施形態における格子撮像モードの動作を説明する図である。
【図17】第4の実施形態における斜め格子撮像モードの動作を説明する図である。
【図18】4色配列の一例を示す図である。
【図19】4色配列の一例を示す図である。
【符号の説明】
11 電子カメラ
12 撮影レンズ
13 撮像素子
13b 光学的ローパスフィルタ
14 機械シャッタ
15 A/D変換部
16 信号処理部
17 バッファメモリ
18 バス
19 画像処理部
20 記録部
22 マイクロプロセッサ
31 受光素子
32 移送ゲート
33 垂直CCD
35,55 制御回路
36a,36b 水平転送部
50 撮像素子
51 受光素子
53 垂直CCD
54 分離領域
56a,36b 水平転送部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging apparatus having a plurality of imaging modes.
[0002]
[Prior art]
Conventionally, as an additional function of an image sensor mounted on an electronic camera, a thinning-out reading function is known in which photoelectric outputs are read out at predetermined intervals. By using this thinning readout function, it is possible to reduce the number of pixels read from the image sensor and shorten the image readout time.
Such a thinning-out reading function is disclosed in detail in Patent Document 1, for example.
In an electronic camera, a smoother monitor display can be easily realized by updating and displaying an image (hereinafter referred to as “high-speed image”) obtained at high speed by the thinning-out reading function on the monitor on the back side.
In addition, the electronic camera can easily realize AF (automatic focus control) and AE (automatic exposure) that are superior in followability by detecting subject contrast and brightness from high-speed images obtained at short time intervals. You can also.
[Patent Document 1]
JP 2002-125145 A
[0003]
[Problems to be solved by the invention]
By the way, the high-speed image obtained by the thinning-out readout function described above has a sufficient amount of information for monitor display and control operation, but the amount of information is generally small for viewing and often has an insufficient resolution. .
Therefore, an object of the imaging apparatus of the present invention is to generate a high-quality high-speed image while shortening the high-speed image readout time.
[0004]
[Means for Solving the Problems]
The present invention will be described below.
[0005]
<Claim 1>
According to another aspect of the present invention, an imaging apparatus includes a plurality of light receiving elements that are two-dimensionally arranged on the light receiving surface and generate a photoelectric output corresponding to the amount of received light, and a reading unit that reads the photoelectric output generated by the light receiving element. In particular, this readout unit has a grid imaging mode in which the photoelectric output generated on the light receiving surface is sampled and read out in a grid array, and an oblique grid imaging mode in which the photoelectric output is sampled and read out in a diagonal grid array. , Grid imaging mode, and diagonal grid Imaging One of the modes is It is a low-definition imaging mode compared to the other, By one exposure and transfer operation , Add and read out the photoelectric output generated by a plurality of adjacent light receiving elements, An image is generated.
Claims 2
Claim 2 The imaging apparatus according to claim 1. In In the imaging apparatus described above, the reading unit includes a grid imaging mode and an oblique grid. Imaging The sampling position of the photoelectric output of one of the modes is set as the position of the light receiving element, and the grating imaging mode and the oblique grating Imaging The other photoelectric output sampling position in the mode is an isotropic sampling position and a position between a plurality of light receiving elements.
Claims 3
Claim 3 The imaging apparatus according to claim 1 or claim 2. 2 In the imaging apparatus according to the item 1, the plurality of light receiving elements are arranged in a grid on the light receiving surface. In the oblique grid imaging mode, the reading unit generates an image by performing a single exposure and transfer operation, and adds and reads out the photoelectric output of the light receiving surface for each section of the oblique grid array. The section of the lattice arrangement has two light receiving elements in the direction in which the photoelectric output is transferred.
Claims 4
Claim 4 The imaging apparatus according to claim 1 or claim 2. 2 In the image pickup apparatus described in (1), the plurality of light receiving elements are arranged in an oblique grid on the light receiving surface. In the grid imaging mode, the reading unit generates an image by performing a single exposure and transfer operation, and adds and reads out the photoelectric output of the light receiving surface for each section of the grid array. The section of the grid array has two light receiving elements in the direction of the oblique grid array.
Claims 5
Claim 5 The imaging apparatus of claim 3 or Claim 4 The image pickup apparatus described in 1 is characterized in that an optical low-pass filter that blurs a light image in a direction substantially orthogonal to the adding direction of photoelectric outputs is provided on the light receiving surface.
Claims 6
Claim 6 The imaging apparatus of claim 3 Or claims 5 The image pickup apparatus according to any one of the above, characterized in that the light receiving surface is provided with a color filter array in which the addition sections of photoelectric outputs are arranged in substantially the same color.
《Claims 7
Claim 7 The imaging apparatus of claim 1 to claim 1. 6 The image pickup apparatus according to any one of the above, further comprising an image processing unit that interpolates the output of the oblique grid imaging mode and generates image data in which pixels are arranged in a grid pattern.
Claims 8
Claim 8 The imaging apparatus of claim 1 to claim 1. 7 In the imaging device according to any one of the above, the reading unit described above includes a plurality of vertical CCDs, a first horizontal transfer unit, and a second horizontal transfer unit.
This vertical CCD is provided between columns of a plurality of light receiving elements along the vertical direction on the light receiving surface, and vertically transfers the photoelectric output output from the light receiving elements.
The first horizontal transfer unit is provided at one end of the plurality of vertical CCDs, and horizontally transfers the photoelectric output output from one end.
The second horizontal transfer unit is provided at the other end of the plurality of vertical CCDs, and horizontally transfers the photoelectric output output from the other end.
In particular, in these vertical CCDs, two transfer electrodes are arranged for one light receiving element. Further, the transfer electrodes are electrically cross-connected between the light receiving elements arranged in the horizontal direction as shown in FIGS. 2 and 10, for example.
Claims 9
Claim 9 The imaging apparatus of claim 8 In the imaging device according to claim 1, a grating imaging mode and an oblique grating Imaging One of the modes is characterized in that photoelectric outputs generated by a plurality of adjacent light receiving elements are added by a vertical CCD.
[0006]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments according to the present invention will be described below with reference to the drawings.
[0007]
<< First Embodiment >>
The first embodiment is an embodiment in which a high-speed image in an oblique lattice arrangement is read from light receiving elements in a lattice arrangement.
FIG. 1 is a block diagram showing a schematic configuration of the electronic camera 11 according to the first embodiment.
[0008]
In FIG. 1, a photographing lens 12 is attached to the electronic camera 11. On the image space side of the photographing lens 12, a mechanical shutter 14 and an image sensor 13 are arranged along the optical axis. An optical low-pass filter (OLPF) 13b and a color filter array (not shown) are arranged on the light receiving surface of the image sensor 13.
The output of the image sensor 13 is connected to the bus 18 via the A / D converter 15, the signal processor 16 and the buffer memory 17. An image processing unit 19, a recording unit 20, a microprocessor 22, and the like are connected to the bus 18.
[0009]
The microprocessor 22 controls the mechanical shutter 14, the image sensor 13, the image processing unit 19, the recording unit 20, and the like described above.
FIG. 2 is a diagram showing the internal structure of the image sensor 13 described above.
A plurality of light receiving elements 31 are arranged in a grid on the light receiving surface of the imaging element 13. On these light receiving elements 31, an on-chip microlens (not shown) and a color filter array are provided.
[0010]
As shown in FIG. 2, the color filter array is configured by arranging color filters of three colors (a color, b color, and c color). That is, a color filter of a color (for example, G color) is arranged in the light receiving elements 31 in the even-numbered columns. On the other hand, in the odd-numbered light receiving elements 31, b color (for example, B color) and c color (for example, R color) are alternately arranged with two pixels adjacent in the vertical direction as one section. In addition, it is preferable that the positions of the b color and the c color are switched for every adjacent odd row.
[0011]
On such a light receiving surface, an optical low-pass filter 13b that blurs a light image in the horizontal direction of the light receiving surface (including a case where a multiple image is formed) is disposed. The optical low-pass filter 13 b is adjusted so that the interval for shifting the optical image is substantially equal to the horizontal interval of the light receiving element 31.
A vertical CCD 33 having four-phase transfer electrodes φV <b> 1 to φV <b> 4 is provided between the columns of the light receiving elements 31. A transfer gate 32 is provided between the vertical CCD 33 and the light receiving element 31. The electrodes of the transfer gate 32 are formed by extending transfer electrodes φV1 and φV3. Further, horizontal transfer units 36a and 36b are provided at both ends of the vertical CCD 33, respectively.
[0012]
A control pulse is given from the control circuit 35 to the transfer gate 32, the vertical CCD 33, and the horizontal transfer units 36a and 36b. The control circuit 35 switches the imaging mode (grating imaging mode / diagonal grating imaging mode) by switching the output sequence of the control pulses.
FIG. 3A is a diagram showing pixel sampling points in the lattice imaging mode. In the grid imaging mode, as shown in this figure, the photoelectric output generated for each light receiving element 31 is sampled and read out in a grid array.
On the other hand, FIG. 3B is a diagram showing pixel sampling points in the oblique grid imaging mode. In the oblique grid imaging mode, as shown in this figure, the photoelectric output generated for each light receiving element 31 is sampled and read out in an oblique grid arrangement.
[0013]
[Wiring of transfer electrodes φV1 to φV4]
Hereinafter, the wiring structure of the transfer electrodes φV1 to φV4, which is an important feature of the present embodiment, will be described in detail.
The vertical CCD 33 in the image pickup device 13 is provided with two transfer electrodes corresponding to one light receiving device 31. As shown schematically in FIG. 2, the transfer electrodes arranged two by two are cross-connected between the vertical CCDs 33 adjacent in the horizontal direction. (Here, φV1 and φV2 are cross-connected, and φV3 and φV4 are cross-connected.)
As a result, the transfer electrodes are arranged in the order of φV1, φV2, φV3, and φV4 in the even columns. On the other hand, in the odd columns, the transfer electrodes are arranged in the order of φV2, φV1, φV4, and φV3.
[0014]
Due to the wiring structure of the transfer electrodes φV1 to φV4, the vertical CCD 33 has the following characteristics.
(1) In the even and odd columns, the transfer electrodes φV1 to φV4 are arranged in reverse order. (Therefore, the signal charge transfer direction is reversed between the odd and even columns.)
(2) Furthermore, the four phases of the transfer stage of the vertical CCD 33 are shifted in the column direction between the even and odd columns. For this reason, the photoelectric output addition section described later is an oblique lattice array.
[0015]
In FIG. 2, the positions of the transfer gates 32 are shifted in the odd and even columns. However, the transfer gate 32 can be aligned in the horizontal direction by shifting the odd-numbered transfer electrodes upward in FIG. Even in this state, the transfer electrodes (φV1 and φV2, φV3 and φV4) arranged two by two on the light receiving element 31 are respectively cross-connected between the vertical CCDs 33 adjacent in the horizontal direction (that is, the claims) 8 Meet the requirements).
[0016]
[Correspondence with Invention]
Hereinafter, the correspondence between the items described in each claim and this embodiment will be described.
Note that the correspondence relationship here illustrates one interpretation for reference, and does not limit the present invention.
The light receiving element described in the claims corresponds to the light receiving element 31.
The reading unit described in the claims corresponds to the transfer gate 32, the vertical CCD 33, the horizontal transfer unit 36 a, the horizontal transfer unit 36 b, and the control circuit 35.
The optical low-pass filter described in the claims corresponds to the optical low-pass filter 13b.
The color filter array described in the claims corresponds to the color filter array (see FIG. 2) disposed on the light receiving surface of the image sensor 13.
The image processing unit described in the claims corresponds to the image processing unit 19.
The vertical CCD described in the claims corresponds to the vertical CCD 33.
The first horizontal transfer path recited in the claims corresponds to the horizontal transfer unit 36a.
The second horizontal transfer path recited in the claims corresponds to the horizontal transfer unit 36b.
[0017]
[Description of operation in grid imaging mode]
Hereinafter, the operation in the grid imaging mode in the first embodiment will be described.
First, the microprocessor 22 opens the mechanical shutter 14 after performing the reset operation (discharge of unnecessary charges) of the light receiving element 31.
In this state, when a predetermined exposure time elapses, the microprocessor 22 controls the mechanical shutter 14 to close, and puts the light receiving surface of the image sensor 13 in a light-shielding state. In this light shielding state, the microprocessor 22 sends a command signal for the lattice imaging mode to the control circuit 35 in the imaging device 13.
[0018]
In accordance with the command signal for the grid imaging mode, the control circuit 35 applies a voltage exceeding the threshold voltage to the transfer electrode φV1. Then, the photoelectric output is transferred from the light receiving elements 31 in every other row to the transfer stage of the transfer electrode φV1 (see FIG. 4A).
In this state, the control circuit 35 gives control pulses for four-phase driving to the transfer electrodes φV1 to φV4. As a result, in the vertical CCDs 33 in the odd-numbered columns, every other row of photoelectric outputs is sequentially transferred vertically toward the horizontal transfer unit 36a. The horizontal transfer section 36a takes in one row of photoelectric outputs output from the odd-numbered vertical CCDs 33. In this state, the control circuit 35 gives a horizontal transfer control pulse to the horizontal transfer unit 36a, and sequentially transfers the photoelectric output horizontally. By repeating such an operation, the horizontal transfer unit 36a outputs an image signal corresponding to the photoelectric output of the odd-numbered columns.
[0019]
On the other hand, in the even-numbered vertical CCDs 33, the photoelectric outputs are sequentially vertically transferred toward the horizontal transfer unit 36b. The horizontal transfer unit 36b captures the photoelectric output output from the even-numbered vertical CCDs 33 in units of rows. In this state, the control circuit 35 gives a horizontal transfer control pulse to the horizontal transfer section 36b, and sequentially transfers the photoelectric output horizontally. With this operation, the horizontal transfer unit 36b outputs an image signal corresponding to the photoelectric output of the even-numbered columns.
[0020]
By such a transfer operation, the image signals of the first field (image signals every other row) are read out in parallel by dividing into even columns and odd columns.
The image signals read out in parallel in this way are processed in parallel via the A / D conversion unit 15 and the signal processing unit 16 and then temporarily recorded in the buffer memory 17.
Next, the control circuit 35 performs the same reading operation on the image signal of the second field (the remaining image signals every other row).
[0021]
By such two times of interlaced transfer, image data in which pixels are arranged in a grid is stored in the buffer memory 17.
The image processing unit 19 performs two-dimensional image processing such as color interpolation processing and pixel interpolation while exchanging the image data in the buffer memory 17 via the bus 18. The image data that has been subjected to image processing in this way is compressed and stored in the memory card 21 via the recording unit 20.
[0022]
[Features of grid imaging mode]
Here, the feature points of the above-described grid imaging mode will be described.
FIG. 5 is a diagram showing a color arrangement of image data read out in the lattice imaging mode. FIG. 6 is a diagram showing apertures in the lattice imaging mode.
Due to the image blurring effect of the optical low-pass filter 13b, the aperture in the lattice imaging mode has a shape in which two apertures of the on-chip microlens are connected in the horizontal direction.
[0023]
As a result, the aperture of the a color component covers the light receiving surface with almost no gap as shown in FIG. On the other hand, the b-color and c-color apertures similarly cover the light receiving surface.
As described above, since the aperture efficiently covers the light receiving surface, it is possible to sufficiently suppress the false signal (false color or the like) using only the optical low-pass filter 13b in only one direction. Therefore, the optical low-pass filter 13b can be thinned, and the optical performance of the electronic camera 11 can be further improved.
In this embodiment, parallel reading is performed by dividing the photoelectric output into even columns and odd columns. As a result, excellent effects such as shortening the image reading time and reducing the horizontal transfer frequency of the image sensor 13 can be obtained.
[0024]
[Explanation of operation in oblique grid imaging mode]
Next, the operation in the oblique grid imaging mode in the first embodiment will be described.
The microprocessor 22 sends a command signal for the oblique grid imaging mode to the control circuit 35 in the imaging device 13. In accordance with this command signal, the control circuit 35 performs electronic shutter control of the image sensor 13. (At this time, the microprocessor 22 may control the exposure time by using the mechanical shutter 14 together.)
When a predetermined exposure time has elapsed, the control circuit 35 applies a voltage exceeding the threshold voltage to the transfer electrodes φV1 and φV3. Then, the photoelectric output of the light receiving element 31 is transferred to the transfer stages φV1 and φV3 via the transfer gate 32. In this state, the control circuit 35 applies a voltage to the transfer electrode φV2 to connect the potential wells immediately below the transfer electrodes φV1 to φV3. As a result, the photoelectric output is added for each section of the oblique lattice as shown by the dotted line in FIG. 4B in the connected potential well. Hereinafter, the photoelectric output after the addition is referred to as “composite output”.
[0025]
Subsequently, the control circuit 35 gives four-phase drive control pulses to the transfer electrodes φV1 to φV4. At this time, in the odd-numbered vertical CCDs 33, the combined output is vertically transferred toward the horizontal transfer unit 36a. The horizontal transfer unit 36a takes in the combined output output from the odd-numbered vertical CCDs 33 in units of rows. In this state, the control circuit 35 gives a horizontal transfer control pulse to the horizontal transfer unit 36a, and sequentially transfers the combined output. By such an operation, the horizontal transfer unit 36a outputs an image signal corresponding to the odd-numbered composite output.
[0026]
On the other hand, in the vertical CCDs 33 in the even columns, the combined output is vertically transferred reversely toward the horizontal transfer unit 36b. The horizontal transfer unit 36b captures the combined output output from the even-numbered vertical CCDs 33 in units of rows. In this state, the control circuit 35 gives a horizontal transfer control pulse to the horizontal transfer unit 36b, and sequentially transfers the combined output. By such an operation, the horizontal transfer unit 36b outputs an image signal corresponding to the combined output of the even-numbered columns.
[0027]
By such a series of transfer operations, an image signal (that is, a high-speed image) in which pixels are arranged in an oblique grid is read out in parallel in an even column and an odd column. These image signals are processed in parallel via the A / D conversion unit 15 and the signal processing unit 16 and then temporarily recorded in the buffer memory 17.
The image processing unit 19 performs two-dimensional image processing such as color interpolation processing and pixel interpolation on the high-speed image in the buffer memory 17. The high-speed image that has been subjected to the image processing in this way is compressed and stored in the memory card 21 via the recording unit 20.
This high-speed image is used for monitor display and control operation in addition to the above-described use as a stored image.
[0028]
[Characteristics of oblique grid imaging mode]
Here, the characteristic points of the oblique grid imaging mode described above will be described.
FIG. 7 is a diagram showing a color arrangement of the composite output read in the oblique grid imaging mode.
FIG. 8 is a diagram illustrating an aperture in the oblique grid imaging mode.
The aperture in the oblique grid imaging mode is expanded to a range of 2 × 2 apertures of the on-chip microlens by “photoelectric output addition processing” and “image blurring effect of the optical low-pass filter 13b”. At this time, the a-color aperture covers the entire light-receiving surface with almost no gap. On the other hand, the b-color and c-color apertures cover the light-receiving surface in a checkered pattern.
[0029]
As described above, since the aperture covers the light receiving surface efficiently, it is possible to sufficiently suppress the false signal (false color or the like) with only the optical low-pass filter 13b in only one direction as in the above-described grating imaging mode. become.
In particular, the aperture at this time is substantially square as shown in FIG. 8, and is very isotropic. Therefore, it is possible to obtain image data having a uniform resolution in the vertical and horizontal directions.
[0030]
Furthermore, since the apertures are arranged in a diagonal lattice, the shortest vertical and horizontal intervals at the center of the aperture are substantially equal to the horizontal and vertical intervals of the light receiving elements 31. Therefore, although the total number of pixels is halved compared to the lattice imaging mode described above, a high-speed image with a large amount of information in the horizontal and vertical directions and an excellent resolution can be obtained.
Further, the color arrangement of the apertures shown in FIG. 8 is equivalent to the pixel arrangement of the two-plate type image pickup apparatus (G image pickup device and RB checkered image pickup device arranged in a pixel-shifted state). Further, the color arrangement of the apertures shown in FIG. 8 is equivalent to the color arrangement in which the Bayer arrangement is inclined 45 degrees. Therefore, as a color interpolation process in the grid imaging mode, an image of a grid array can be formed by interpolating a diagonal grid by a known color interpolation process with a Bayer array and then interpolating the missing grid points by the diagonal grid formation. . Of course, it is also possible to directly interpolate the lattice points that have been lost due to the oblique lattice formation.
[0031]
Furthermore, in this embodiment, the synthesized output is divided into even columns and odd columns and read in parallel. In addition, the total number of pixels in the oblique grid imaging mode is halved compared to the grid imaging mode. Therefore, in the above-described oblique grid imaging mode, it is possible to reduce the time required for image reading by half.
[0032]
In the present embodiment, a high-speed image having an oblique lattice arrangement is obtained. When this high-speed image is used for monitor display, a monitor display image may be generated by picking up pixels corresponding to the grid position from among the diagonal grid pixels. By such processing, it is possible to generate grid array data for monitor display at high speed from a high-speed image of a diagonal grid array.
Next, another embodiment will be described.
[0033]
<< Second Embodiment >>
The second embodiment relates to a monochrome electronic camera. The hardware configuration of this electronic camera is the same as that of the first embodiment except that the color filter array is omitted. The optical low-pass filter 13b may be provided according to the purpose such as moire removal or may be omitted. Therefore, here, the reference numerals of the constituent elements common to the first embodiment are used as they are, and the duplicated explanation regarding the configuration is omitted.
[0034]
[Description of grid imaging mode]
Hereinafter, the monochrome grid imaging mode will be described.
In the grid imaging mode, a monochrome image signal in which pixels are arranged in a square grid is read out through two interlace transfers. Also in this transfer operation, as in the first embodiment (FIG. 4A), the photoelectric output is read in parallel by dividing into even columns and odd columns. As a result, even in the grid imaging mode of the second embodiment, effects such as shortening the image reading time and reducing the horizontal transfer frequency of the imaging device 13 can be obtained.
The monochrome image signal read out in this way is converted into monochrome image data via the A / D converter 15 and the signal processor 16. This monochrome image data is compressed and stored in the memory card 21 by the recording unit 20.
[0035]
[Description of oblique grid imaging mode]
Hereinafter, an operation of reading a monochrome high-speed image using the oblique grid imaging mode will be described.
In the oblique grid imaging mode, first, the photoelectric output is added for each section of the oblique grid array shown in FIG. 9A on the light receiving surface. The high-speed image generated by the addition process is read from the image sensor 13 by progressive transfer.
Also in this transfer operation, similarly to the first embodiment (FIG. 4B), the combined output whose number has been reduced in advance is read out in parallel for the even and odd columns. As a result, even in the oblique grid imaging mode of the second embodiment, excellent effects such as remarkably shortening the image readout time for high-speed images can be obtained.
FIG. 9B is a diagram showing the state of the closest sampling point of this high-speed image. When the pixel pitch of the light receiving element 31 is P, the oblique pitch of the nearest sampling point is √2 · P.
[0036]
At this time, the shortest interval between the closest sampling points in the vertical and horizontal directions is equal to the pitch P of the light receiving elements 31. Therefore, although the total number of pixels is halved compared to the lattice imaging mode described above, the amount of information in the vertical and horizontal directions is large, and image data with excellent resolution can be obtained. For example, in the case of an image having a vertical stripe or a horizontal stripe, it is possible to achieve a resolution equivalent to that in the lattice imaging mode.
[0037]
FIG. 9C is a diagram illustrating a pixel array of an image signal output in the oblique grid imaging mode. The image processing unit 19 reads out the pixel array of the diagonal grid and interpolates the pixel located at the center of the diagonal grid.
FIG. 9D shows the pixel array after this interpolation. As an interpolation method in this case, an interpolation method in which the upper, lower, left and right pixels are simply averaged may be used. Further, an interpolation method that determines the local similarity of images and increases the weighting of the similar direction may be used.
[0038]
By the way, the interpolated image shown in FIG. 9 (D) has a large image size (number of vertical and horizontal pixels) because the original number of pixels is doubled, and although it is superior in resolution, it is heavy as image processing. In addition, there is a disadvantage that the memory consumption is large. Therefore, the image processing unit 19 may be provided with a mode in which the interpolation image is scaled (in this case, 3/4 times in the vertical and horizontal directions) up to the number of pixels corresponding to the amount of information (for example, around the number of sampled pixels) in normal use. Efficient.
[0039]
FIG. 9E is a diagram showing a pixel array after such a scaling process. As such a scaling process, a bicubic method, a bilinear method, a nearest neighbor method, or another interpolation method can be used. Further, by directly using these interpolation methods for the diagonal lattice arrangement shown in FIG. 9C, the image of FIG. 9E can be directly generated without going through the state of FIG. 9D. May be.
[0040]
The high-speed image subjected to the scaling process in this way is compressed and stored in the memory card 21 by the recording unit 20.
Note that the high-speed image here can be used for monitor display, control operation, and the like in addition to the above-described use as a stored image.
Next, another embodiment will be described.
[0041]
<< Third Embodiment >>
The third embodiment is an embodiment in which a high-speed image of a grid arrangement is read from light receiving elements arranged in an oblique grid.
A feature of the electronic camera in the third embodiment is that the image sensor 13 shown in FIG. 1 is replaced with an image sensor 50 shown in FIG. Since other hardware configurations are the same as those in the first embodiment, description thereof is omitted here.
[0042]
Hereinafter, the configuration of the image sensor 50 will be described with reference to FIG.
On the light receiving surface of the image sensor 50, the light receiving elements 51 are arranged at oblique lattice positions. On the light receiving element 51, an on-chip microlens (not shown) and a color filter array are arranged. The color arrangement of this color filter array is equal to the color arrangement obtained by inclining the color filter array of the first embodiment (FIG. 5) at an angle of 45 degrees.
[0043]
An optical low-pass filter is disposed on the color filter array. The image blurring direction of this optical low-pass filter is substantially orthogonal to the adding direction described later. Further, the interval at which the optical image of the optical low-pass filter is shifted is substantially equal to the oblique pitch of the light receiving elements 51.
A plurality of separation regions (channel stops) 54 are provided on the light receiving surface. These separation regions 54 divide the light receiving elements 51 into zigzag rows.
[0044]
A vertical CCD 53 having four-phase transfer electrodes φV <b> 1 to φV <b> 4 is provided so as to be sandwiched between adjacent separation regions 54. The vertical CCD 53 is configured by connecting transfer stages to the gaps between the light receiving elements 51 arranged in a zigzag pattern.
Further, a transfer gate 52 is provided between the light receiving element 51 and the vertical CCD 53. These transfer gates 52 are formed by extending the transfer electrode φV1 and the transfer electrode φV3 to the light receiving element 51. Further, horizontal transfer units 56 a and 56 b are provided at both ends of the vertical CCD 53, respectively.
[0045]
A control pulse is supplied from the control circuit 55 to the transfer gate 52, the vertical CCD 53, and the horizontal transfer units 56a and 56b. The control circuit 55 switches the imaging mode (oblique grid imaging mode / grid imaging mode) by switching the output sequence of control pulses.
FIG. 11A is a diagram illustrating pixel sampling points in the oblique grid imaging mode. In the oblique grid imaging mode, as shown in this figure, the photoelectric output generated for each light receiving element 51 is sampled and read out in an oblique grid arrangement.
On the other hand, FIG. 11B is a diagram illustrating pixel sampling points in the lattice imaging mode. In the grid imaging mode, as shown in this figure, the photoelectric output generated for each light receiving element 51 is sampled and read out in a grid array.
[0046]
[Wiring of transfer electrodes φV1 to φV4]
Hereinafter, the wiring structure of the transfer electrodes φV1 to φV4, which is an important feature of the present embodiment, will be described in detail.
Two transfer electrodes are provided on the vertical CCD 53 in the image sensor 13 corresponding to one light receiving element 51. As shown schematically in FIG. 10, the two transfer electrodes arranged two by two are cross-connected between the vertical CCDs 53 adjacent in the horizontal direction. (Here, φV1 and φV2 are cross-connected, and φV3 and φV4 are cross-connected. For the sake of easy understanding, FIG. 10 schematically illustrates the state of the crossing. (It is preferably performed within the width of (channel stop). Such a structure can effectively prevent disturbance of the potential well due to the intersection.)
As a result, the transfer electrodes are arranged in the order of φV1, φV2, φV3, and φV4 in the even columns. On the other hand, in the odd columns, the transfer electrodes are arranged in the order of φV2, φV1, φV4, and φV3.
As a result, the arrangement order of the transfer electrodes φV1 to φV4 is reversed in the even and odd columns. (Therefore, the signal charge transfer direction is reversed between the odd and even columns.)
[0047]
[Correspondence with Invention]
Hereinafter, the correspondence between the items described in each claim and this embodiment will be described.
Note that the correspondence relationship here illustrates one interpretation for reference, and does not limit the present invention.
The light receiving element described in the claims corresponds to the light receiving element 51.
The reading unit described in the claims corresponds to the transfer gate 52, the vertical CCD 53, the horizontal transfer units 56 a and 56 b, and the control circuit 55.
The color arrangement of the color filter array described in the claims is as shown in FIG.
The optical low-pass filter described in the claims corresponds to the optical low-pass filter disposed on the light receiving surface of the image sensor 50.
The color filter array described in the claims corresponds to the color filter array (see FIG. 10) disposed on the light receiving surface of the image sensor 50.
The image processing unit described in the claims corresponds to the image processing unit 19.
The vertical CCD described in the claims corresponds to the vertical CCD 53.
The first horizontal transfer path recited in the claims corresponds to the horizontal transfer unit 56a.
The second horizontal transfer path recited in the claims corresponds to the horizontal transfer unit 56b.
[0048]
[Description of operation in grid imaging mode]
Hereinafter, the operation of the grid imaging mode in the imaging device 50 will be described with reference to FIG.
The microprocessor 22 sends a command signal for the grid imaging mode to the control circuit 55 in the imaging device 50. In accordance with this command signal, the control circuit 55 performs electronic shutter control of the image sensor 50. (At this time, the microprocessor 22 may control the exposure time by using the mechanical shutter 14 together.)
When a photoelectric exposure is accumulated in the light receiving element 51 after a predetermined exposure time has elapsed, the control circuit 55 applies a voltage exceeding the threshold voltage to the transfer electrodes φV1 and φV3. Then, the photoelectric output of the light receiving element 51 is transferred to the transfer stages φV1 and φV3 via the transfer gate 52. In this state, the control circuit 55 applies a voltage to φV2 to connect the potential wells immediately below the transfer electrodes φV1 to φV3. As a result, the photoelectric outputs are added for each section of the lattice arrangement in the connected potential wells, and a combined output as shown in FIG. 12 is generated.
[0049]
Subsequently, the control circuit 55 gives a control pulse for four-phase driving to the transfer electrodes φV1 to φV4. At this time, in the vertical CCD 53 in the odd-numbered column, the combined output is vertically transferred toward the horizontal transfer unit 56a. The horizontal transfer unit 56a takes in the combined output output from the vertical CCD 53 in the odd-numbered columns for one row. In this state, the control circuit 55 gives a horizontal transfer control pulse to the horizontal transfer section 56a, and sequentially transfers the combined output. By repeating such an operation, the horizontal transfer unit 56a outputs an image signal corresponding to the combined output of the odd columns.
[0050]
On the other hand, in the vertical CCD 53 in the even-numbered column, the combined output is sequentially vertically transferred toward the horizontal transfer unit 56b. The horizontal transfer unit 56b captures the combined output output from the vertical CCD 53 in the even-numbered columns in units of rows. In this state, the control circuit 55 gives a horizontal transfer control pulse to the horizontal transfer section 56b, and sequentially transfers the combined output. By such an operation, the horizontal transfer unit 56b outputs an image signal corresponding to the combined output of the even-numbered columns.
[0051]
By such a transfer operation, an image signal in which pixels are arranged in a grid (that is, a high-speed image) is read out in parallel by dividing into even columns and odd columns. These image signals are processed in parallel via the A / D conversion unit 15 and the signal processing unit 16 and then temporarily recorded in the buffer memory 17. The image processing unit 19 performs two-dimensional image processing such as color interpolation processing on the high-speed image in the buffer memory 17. The image data that has undergone such image processing is compressed and stored in the memory card 21 via the recording unit 20.
Note that the high-speed image here can be used for monitor display, control operation, and the like in addition to the above-described use as a stored image.
[0052]
[Features of grid imaging mode]
FIG. 13 is a diagram showing apertures in the lattice imaging mode.
The aperture in the lattice imaging mode is expanded to a range corresponding to four apertures of the on-chip microlens by “photoelectric output addition processing” and “image blurring effect of the optical low-pass filter”. At this time, the a-color aperture covers the entire light-receiving surface with almost no gap. On the other hand, the b-color and c-color apertures cover the light-receiving surface in a checkered pattern.
[0053]
As described above, since the aperture covers the light receiving surface efficiently, it is possible to sufficiently suppress the false signal (false color or the like) using only the optical low-pass filter of only one direction.
Furthermore, as shown in FIG. 13, the aperture shape is substantially rhombus, which is very isotropic. Therefore, a high-speed image with a uniform resolution in the vertical and horizontal directions can be obtained.
[0054]
The aperture color arrangement shown in FIG. 12 is equivalent to the pixel arrangement of the two-plate type imaging device (G color imaging device and RB checkered imaging device arranged in a pixel-shifted state). Also, the aperture color array shown in FIG. 12 is equivalent to the Bayer color array. Therefore, it is possible to employ a sophisticated color interpolation process performed by a two-plate image pickup apparatus or a Bayer array as the color interpolation process in the grid imaging mode.
[0055]
In the present embodiment, the high-speed image is divided into even columns and odd columns and read out in parallel. Further, in this grid imaging mode, the total number of pixels is halved by the addition process on the light receiving surface. Therefore, in the grid imaging mode of the third embodiment, it is possible to significantly shorten the time required for high-speed image reading.
Furthermore, in this embodiment, a high-speed image of a lattice arrangement is obtained. Therefore, the image can be stored as it is without converting the pixel arrangement of the high-speed image. Further, if necessary, an image for monitor display can be generated by simply scaling the high-speed image.
[0056]
[Explanation of operation in oblique grid imaging mode]
Subsequently, the operation of the oblique grid imaging mode in the third embodiment will be described.
First, after the mechanical shutter 14 is closed, the microprocessor 22 sends a command signal for the oblique grid imaging mode to the control circuit 55 in the imaging device 50.
In accordance with the command signal for the oblique grid imaging mode, the control circuit 55 applies a voltage exceeding the threshold voltage to the transfer electrode φV1. Then, the photoelectric output of the light receiving element 51 adjacent to the transfer electrode φV1 is transferred to the transfer stage of the transfer electrode φV1 via the transfer gate 52. In this state, the control circuit 55 drives the vertical CCD 53 and the horizontal transfer units 56a and 56b, and reads out the photoelectric output on the vertical CCD 53 in an odd number column and an even number column in parallel.
[0057]
By such a transfer operation, the image data of the first field is first read out. The image data of the first field is processed through the A / D converter 15 and the signal processor 16 and then temporarily recorded in the buffer memory 17.
Subsequently, the control circuit 55 performs a similar reading operation for the remaining second field image data.
[0058]
The image data shown in FIG. 14 is accumulated in the buffer memory 17 through such two interlace transfers.
The image processing unit 19 performs two-dimensional image processing such as color interpolation processing and pixel interpolation on the image data in the buffer memory 17. The image data that has been subjected to image processing in this way is compressed and stored in the memory card 21 via the recording unit 20.
[0059]
[Characteristics of oblique grid imaging mode]
FIG. 15 is a diagram illustrating an aperture in the oblique grid imaging mode.
Due to the image blurring effect of the optical low-pass filter, the aperture in the oblique grating imaging mode has a shape in which two apertures of the on-chip microlens are connected in an oblique direction.
[0060]
As a result, the aperture of the a color component covers the light receiving surface with almost no gap. On the other hand, b-color and c-color apertures also cover the light-receiving surface. Since the aperture efficiently covers the light receiving surface in this manner, it is possible to sufficiently suppress false signals (false colors, etc.) with only an optical low-pass filter in only one direction.
Furthermore, in this embodiment, photoelectric outputs are read out in parallel by dividing into even and odd columns. As a result, effects such as shortening the image readout time in the oblique grid imaging mode can be obtained.
Next, another embodiment will be described.
[0061]
<< Fourth Embodiment >>
The fourth embodiment relates to a monochrome electronic camera. The hardware configuration of this electronic camera is the same as that obtained by omitting the color filter array and the optical low-pass filter from the third embodiment. Therefore, here, the reference numerals of the constituent elements common to the third embodiment are used as they are, and the duplicated explanation regarding the configuration is omitted.
[0062]
[Description of grid imaging mode]
Hereinafter, the lattice imaging mode will be described.
In the grid imaging mode, first, on the light receiving surface, the photoelectric output is added for each section of the grid array shown in FIG. The high-speed image generated by this addition processing is progressively transferred into even columns and odd columns and read from the image sensor 13.
[0063]
FIG. 16B is a diagram showing the state of the closest sampling point of this high-speed image. Assuming that the diagonal pitch of the light receiving elements 51 is P, the horizontal interval and the vertical interval of the nearest sampling points are √2 · P.
FIG. 16C is a diagram showing the state of addition division of this high-speed image.
FIG. 16D is a diagram illustrating a state of pixel arrangement of a high-speed image.
In this case, the high-speed image has a square arrangement. When high-definition images are processed by a powerful external processing device (such as a personal computer) and high-speed images are processed by an in-camera ASIC (specific application IC), the fact that the high-speed images are square array does not complicate ASIC processing. There are advantages in terms.
[0064]
[Description of oblique grid imaging mode]
Next, the oblique grid imaging mode will be described.
In the oblique grid imaging mode, a monochrome image signal in which pixels are arranged in an oblique grid is read through two interlace transfers.
FIG. 17A shows the sampling position of this monochrome image signal.
[0065]
FIG. 17B is a diagram showing the state of the closest sampling point of this monochrome image data.
When the diagonal pitch of the light receiving elements 51 is P, the diagonal interval between the nearest sampling points is P. On the other hand, the horizontal and vertical distances of the nearest sampling points are as short as about P / √2. Therefore, the amount of information in the vertical and horizontal directions is larger than that of a lattice arrangement having the same number of pixels, and image data with excellent vertical and horizontal resolution can be obtained.
[0066]
The image processing unit 19 interpolates the pixel located at the center of the diagonal grid with respect to the monochrome image data of the diagonal grid.
FIG. 17C is a diagram illustrating a pixel array after such an interpolation process. As an interpolation method in this case, an interpolation method that averages up, down, left, and right pixels may be used. Further, an interpolation method may be used in which local similarity of images is determined and weighting in the similar direction is increased to obtain a weighted average.
[0067]
Incidentally, the interpolated image shown in FIG. 17C simply doubles the original number of pixels, so that the resolution is better, but the image size (number of vertical and horizontal pixels) is large for the original amount of information. Therefore, the image processing unit 19 scales the interpolated image up to the number of pixels commensurate with the amount of information (for example, about the number of pixels sampled) (for example, 3/4 times in length and width) to reduce the image. It is preferable to provide it.
[0068]
FIG. 17D is a diagram illustrating a pixel array after such a scaling process. As such a scaling process, it is preferable to use a bicubic method, a bilinear method, a nearest neighbor method, or another interpolation method to generate pixel values at the lattice positions in FIG. Note that the pixel values at the lattice positions in FIG. 17D may be generated directly by using these interpolation methods for the diagonal lattice arrangement shown in FIG.
The monochrome image data subjected to the scaling process in this way is compressed and stored in the memory card 21 by the recording unit 20.
[0069]
<< Additional items of embodiment >>
In the embodiment described above, the case of using a color filter array of three colors has been described. However, the present invention is not limited to this. For example, as shown in FIG. 18 or FIG. 19, a color filter array in which four colors are arranged may be used.
[0070]
Further, in the above-described embodiment, the photoelectric output addition sections are arranged in the same color.
However, the present invention is not limited to this. For example, different colors (a1, a2, etc.) may be arranged in the addition section of the photoelectric output as in the color arrangement shown in parentheses in FIGS. In this case, in the high-definition imaging mode, more color information can be obtained, and a subtle color difference can be reproduced in the captured image.
[0071]
In the above-described embodiment, two photoelectric outputs are added to generate a combined output. Therefore, the addition process in the image sensor is simple, and the high-speed image readout sequence can be simplified. However, the present invention is not limited to this. For example, three or more photoelectric outputs may be added to generate a combined output.
[0072]
In the embodiment described above, the photoelectric outputs are added on the vertical CCDs 33 and 53. However, the present invention is not limited to this. For example, a configuration in which photoelectric outputs are added on the horizontal transfer unit is also possible.
[0073]
In the above-described embodiment, the control circuits 35 and 55 are built in the image sensors 13 and 50. However, the present invention is not limited to this. For example, the control circuits 35 and 55 may be provided separately from the imaging elements 13 and 50. In this case, the functions of the control circuits 35 and 55 can be partly or wholly assigned to the microprocessor 22 in the electronic camera 11.
[0074]
In the above-described embodiment, the CCD image sensor has been described. However, the present invention is not limited to this. For example, the present invention may be applied to an XY address type (CMOS type or the like) imaging device.
[0075]
In the above-described embodiments (FIGS. 2 and 10), wirings connecting two transfer electrodes are actually crossed in adjacent vertical CCDs. However, the present invention is not limited to such a wiring pattern. The “cross connection” of the present invention is a term that specifies the electrical state of the transfer electrode. Therefore, by detouring or routing the wiring, the electrical state of the transfer electrode is claimed even if the wiring does not seem to intersect. 8 If the requirement of “cross connection” described in the above is satisfied, it is within the scope of the present invention.
[0076]
By the way, in the high-speed image mentioned above, the low-pass effect is produced by the pixel addition process. Therefore, false colors and moire can be effectively suppressed only by applying an optical low-pass filter only in a direction in which the low-pass effect by this addition is insufficient (for example, a direction substantially orthogonal to the pixel addition direction). Therefore, compared with a conventional product that requires an optical low-pass filter that blurs an image in two directions, the thickness and number of optical low-pass filters can be reduced in this embodiment. Costs can be reduced.
[0077]
Furthermore, in the above-described embodiment, the directions in which false colors and moire can be effectively suppressed are substantially the same in the high-definition image and the high-speed image. Therefore, the present embodiment has an excellent feature that false colors and moire can be satisfactorily suppressed in both modes while using a common optical low-pass filter for high-speed images and high-definition images. .
[0078]
The present invention can be implemented in various other forms without departing from the spirit or main features thereof. For this reason, the above-described embodiments are merely examples in all respects and should not be interpreted in a limited manner. The scope of the present invention is indicated by the scope of claims, and is not restricted by the text of the specification. Further, all modifications and changes belonging to the equivalent scope of the claims are within the scope of the present invention.
[0079]
【The invention's effect】
The conventional thinning-out reading function thins out the pixel array of the grid array to obtain a high-speed image of the same grid array. For this reason, the information amount of the image is simply reduced in the vertical and horizontal directions, resulting in a high-speed image with insufficient resolution.
However, the imaging apparatus of the present invention can select a grid imaging mode in which photoelectric output generated on the light receiving surface is sampled and read out in a grid array and an oblique grid imaging mode in which photoelectric output is sampled and read out in an oblique grid array. Prepare.
[0080]
Therefore, of these two types of imaging modes, the one with the smaller number of pixels in the readout image can be used as the imaging mode for high-speed images. In this case, the high-speed image can be read from the light receiving surface in a short time because the number of pixels decreases in the process of reading the image from the light receiving surface.
[0081]
In the conventional thinning-out reading function, the pixel array of the lattice array is thinned out to obtain a thinned image of the lattice array. For example, in the conventional example, if every other pixel is thinned out in the vertical direction, a thinned image having a pixel number of 1/2 is obtained. In this case, the number of pixels in the vertical direction is unilaterally reduced, and the resolution in the vertical and horizontal directions becomes uneven. On the other hand, if every other pixel is thinned out in the horizontal direction, a thinned image of 1/2 the number of pixels can be obtained. Also in this case, the number of pixels in the horizontal direction is reduced unilaterally, and the resolution in the vertical and horizontal directions becomes uneven. On the other hand, if every other pixel is thinned out in the vertical and horizontal directions, a uniform resolution is obtained in the vertical and horizontal directions. However, the number of pixels falls to ¼, and the entire image is reduced compared to a thinned image with half the number of pixels. The resolution will be reduced.
[0082]
However, in the imaging apparatus of the present invention, one imaging mode is a grid arrangement, and the other imaging mode is an oblique grid arrangement. Therefore, even if the number of pixels on one side is, for example, ½ of the number on the other side, a high-quality image with isotropic resolution can be obtained in both imaging modes.
[0083]
In particular, when the high pixel number mode is a lattice arrangement and the low pixel number mode is an oblique lattice arrangement, even if the image is in the low pixel number mode, high resolution can be obtained by limiting it to the vertical and horizontal directions. It becomes possible. This is due to the fact that in the diagonal lattice arrangement, the vertical row spacing or the horizontal column spacing is dense. Considering that the frequency of vertical lines and horizontal lines is high in a general shooting situation, it is possible to obtain a high resolution feeling in the low pixel number mode.
[0084]
On the other hand, when the low pixel number mode is a lattice arrangement and the high pixel number mode is an oblique lattice arrangement, the resolution in the vertical and horizontal directions in the high pixel number mode is greater than the pixel number ratio of the low pixel number mode. Can be increased. Considering the high frequency of vertical and horizontal lines in a general shooting situation, there is an advantage that a very high resolution can be obtained in the high pixel number mode.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of an electronic camera.
FIG. 2 is a diagram showing an image sensor 13;
FIG. 3 is a diagram illustrating pixel sampling points in a grid imaging mode and an oblique grid imaging mode.
FIG. 4 is a diagram illustrating a transfer operation of the image sensor.
FIG. 5 is a diagram showing a color arrangement of image data read out in a lattice imaging mode.
FIG. 6 is a diagram illustrating an aperture in a lattice imaging mode.
FIG. 7 is a diagram illustrating a color arrangement of a composite output read out in an oblique grid imaging mode.
FIG. 8 is a diagram illustrating an aperture in an oblique grid imaging mode.
FIG. 9 is a diagram for explaining the operation of the second embodiment;
10 is a diagram showing an image sensor 50. FIG.
FIG. 11 is a diagram illustrating pixel sampling points in an oblique grid imaging mode and a grid imaging mode.
FIG. 12 is a diagram illustrating a color arrangement of a composite output read out in a lattice imaging mode.
FIG. 13 is a diagram illustrating an aperture in a lattice imaging mode.
FIG. 14 is a diagram showing a color arrangement of image data read out in an oblique grid imaging mode.
FIG. 15 is a diagram illustrating an aperture in an oblique grid imaging mode.
FIG. 16 is a diagram for explaining an operation in a grid imaging mode in the fourth embodiment.
FIG. 17 is a diagram illustrating an operation in an oblique grid imaging mode in the fourth embodiment.
FIG. 18 is a diagram illustrating an example of a four-color arrangement.
FIG. 19 is a diagram illustrating an example of a four-color arrangement.
[Explanation of symbols]
11 Electronic camera
12 Shooting lens
13 Image sensor
13b Optical low-pass filter
14 Mechanical shutter
15 A / D converter
16 Signal processor
17 Buffer memory
18 Bus
19 Image processing section
20 Recording section
22 Microprocessor
31 Light receiving element
32 Transfer gate
33 Vertical CCD
35,55 Control circuit
36a, 36b Horizontal transfer section
50 Image sensor
51 Light receiving element
53 Vertical CCD
54 Separation area
56a, 36b Horizontal transfer section

Claims (9)

受光面に2次元配列され、受光量に応じた光電出力を生成する複数の受光素子と、
前記受光素子で生成される前記光電出力を読み出す読出部とを備え、
前記読出部は、前記受光面で生成される前記光電出力を格子配列にサンプリングして読み出す格子撮像モードと、前記光電出力を斜め格子配列にサンプリングして読み出す斜め格子撮像モードとを選択可能に有し、
前記格子撮像モード、及び、前記斜め格子撮像モードのいずれか一方は、他方に比べて低精細度の撮像モードであり、一度の露光及び転送動作により、隣接する複数の前記受光素子で生成される光電出力を加算読み出しして、画像を生成する
ことを特徴とする撮像装置。
A plurality of light receiving elements that are two-dimensionally arranged on the light receiving surface and generate photoelectric outputs according to the amount of received light;
A readout unit for reading out the photoelectric output generated by the light receiving element;
The reading unit is selectable between a grid imaging mode in which the photoelectric output generated on the light receiving surface is sampled and read out in a grid array and an oblique grid imaging mode in which the photoelectric output is sampled and read out in an oblique grid array. And
One of the grid imaging mode and the oblique grid imaging mode is a low-definition imaging mode compared to the other, and is generated by a plurality of adjacent light receiving elements by a single exposure and transfer operation. An imaging apparatus characterized by adding and reading out photoelectric outputs to generate an image.
請求項1記載の撮像装置において、
前記読出部は、前記格子撮像モード、及び、前記斜め格子撮像モードのいずれか一方の光電出力のサンプリング位置を前記受光素子の位置とし、かつ、前記格子撮像モード、及び、前記斜め格子撮像モードのいずれか他方の光電出力のサンプリング位置を等方的なサンプリング位置であって複数の前記受光素子の間の位置とする
ことを特徴とする撮像装置。
The imaging device according to claim 1,
The readout unit sets the sampling position of the photoelectric output in one of the grid imaging mode and the oblique grid imaging mode as the position of the light receiving element, and the grid imaging mode and the diagonal grid imaging mode. An imaging apparatus, wherein the other photoelectric output sampling position is an isotropic sampling position and a position between the plurality of light receiving elements.
請求項1又は請求項に記載の撮像装置において、
前記複数の受光素子は、前記受光面に格子配列され、
前記読出部は、前記斜め格子撮像モードにおいて、一度の露光及び転送動作により画像を生成し、前記受光面の前記光電出力を前記斜め格子配列の区分ごとに加算して読み出し、
格子配列の前記区分は、前記光電出力が転送される方向に二つの受光素子を有する
ことを特徴とする撮像装置。
In the imaging device according to claim 1 or 2 ,
The plurality of light receiving elements are arranged in a grid on the light receiving surface,
The readout unit generates an image by one exposure and transfer operation in the oblique grid imaging mode, and reads out the photoelectric output of the light receiving surface by adding for each section of the oblique lattice arrangement,
The section of the lattice arrangement has two light receiving elements in a direction in which the photoelectric output is transferred.
請求項1又は請求項に記載の撮像装置において、
前記複数の受光素子は、前記受光面に斜め格子配列され、
前記読出部は、前記格子撮像モードにおいて、一度の露光及び転送動作により画像を生成し、前記受光面の前記光電出力を前記格子配列の区分ごとに加算して読み出し、
格子配列の前記区分は、前記斜め格子配列の方向に二つの受光素子を有する
ことを特徴とする撮像装置。
In the imaging device according to claim 1 or 2 ,
The plurality of light receiving elements are arranged obliquely on the light receiving surface,
In the grid imaging mode, the reading unit generates an image by a single exposure and transfer operation, reads out the photoelectric output of the light receiving surface for each section of the grid array,
The section of the lattice arrangement has two light receiving elements in the direction of the oblique lattice arrangement.
請求項3又は請求項に記載の撮像装置において、
前記光電出力の加算方向と略直交する向きに光像をぼかす光学的ローパスフィルタを前記受光面に備えた
ことを特徴とする撮像装置。
In the imaging device according to claim 3 or 4 ,
An image pickup apparatus comprising: an optical low-pass filter that blurs an optical image in a direction substantially orthogonal to the addition direction of the photoelectric outputs.
請求項ないし請求項のいずれか1項に記載の撮像装置において、
前記光電出力の加算区分内を略同一色に揃えたカラーフィルタアレイを前記受光面に備えた
ことを特徴とする撮像装置。
The imaging apparatus according to any one of claims 3 to 5,
An image pickup apparatus comprising: a color filter array on the light receiving surface in which the photoelectric output addition sections are arranged in substantially the same color.
請求項1ないし請求項のいずれか1項に記載の撮像装置において、
前記斜め格子撮像モードの出力を補間処理して、格子状に画素配列された画像データを生成する画像処理部を備えた
ことを特徴とする撮像装置。
The imaging device according to any one of claims 1 to 6 ,
An imaging apparatus comprising: an image processing unit that generates an image data in which pixels are arranged in a grid by interpolating the output of the oblique grid imaging mode.
請求項1ないし請求項のいずれか1項に記載の撮像装置において、
前記読出部は、
前記受光面上の垂直方向に沿って、前記複数の受光素子の列間に設けられ、前記受光素子から出力される前記光電出力を垂直転送する複数本の垂直CCDと、
前記垂直CCDの一方の端に設けられ、前記一方の端から出力される前記光電出力を水平転送する第1水平転送部と、
前記垂直CCDの他方の端に設けられ、前記他方の端から出力される前記光電出力を水平転送する第2水平転送部とを備え、
前記垂直CCDは、前記受光素子1つに対して転送電極を2つずつ配し、かつ水平方向に並ぶ前記受光素子の前記転送電極は電気的に交差接続されている
ことを特徴とする撮像装置。
The imaging device according to any one of claims 1 to 7 ,
The reading unit
A plurality of vertical CCDs that are provided between the plurality of light receiving elements along the vertical direction on the light receiving surface and vertically transfer the photoelectric output output from the light receiving elements;
A first horizontal transfer unit that is provided at one end of the vertical CCD and horizontally transfers the photoelectric output output from the one end;
A second horizontal transfer unit provided at the other end of the vertical CCD and horizontally transferring the photoelectric output output from the other end;
The vertical CCD has two transfer electrodes for each light receiving element, and the transfer electrodes of the light receiving elements arranged in the horizontal direction are electrically cross-connected. .
請求項に記載の撮像装置において、
前記格子撮像モード、及び、前記斜め格子撮像モードのいずれか一方は、隣接する複数の前記受光素子で生成される前記光電出力を前記垂直CCDで加算する
ことを特徴とする撮像装置。
The imaging device according to claim 8 ,
In any one of the grid imaging mode and the oblique grid imaging mode, the photoelectric output generated by the plurality of adjacent light receiving elements is added by the vertical CCD.
JP2002264401A 2001-04-12 2002-09-10 Imaging device Expired - Fee Related JP4385578B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002264401A JP4385578B2 (en) 2002-09-10 2002-09-10 Imaging device
US10/656,726 US8120690B2 (en) 2001-04-12 2003-09-08 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002264401A JP4385578B2 (en) 2002-09-10 2002-09-10 Imaging device

Publications (2)

Publication Number Publication Date
JP2004104516A JP2004104516A (en) 2004-04-02
JP4385578B2 true JP4385578B2 (en) 2009-12-16

Family

ID=32263856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002264401A Expired - Fee Related JP4385578B2 (en) 2001-04-12 2002-09-10 Imaging device

Country Status (1)

Country Link
JP (1) JP4385578B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4630200B2 (en) * 2005-03-07 2011-02-09 富士フイルム株式会社 Solid-state imaging device and imaging apparatus
JP4603455B2 (en) * 2005-10-06 2010-12-22 日本放送協会 Solid-state imaging device
KR100674711B1 (en) * 2005-12-28 2007-01-25 삼성전기주식회사 Optical lens system of a mobile camera
JP5033711B2 (en) * 2007-06-13 2012-09-26 富士フイルム株式会社 Imaging device and driving method of imaging device
CN107529046B (en) * 2017-02-23 2024-03-08 思特威(深圳)电子科技有限公司 Color filter array and image sensor

Also Published As

Publication number Publication date
JP2004104516A (en) 2004-04-02

Similar Documents

Publication Publication Date Title
US8120690B2 (en) Imaging device
JP4142340B2 (en) Imaging device
US9544517B2 (en) Electric camera
JP5519698B2 (en) CCD image sensor with binning of pixels of the same color
US7349016B2 (en) Solid-state color imaging apparatus capable of reducing false signals with regard to both luminance and chrominance
JP3469801B2 (en) Solid-state imaging device
US20070258004A1 (en) Solid-state imaging device, driving method thereof, and camera
JP3727012B2 (en) Color solid-state imaging device
JP2009005390A (en) Solid-state image sensor
JP4294810B2 (en) Solid-state imaging device and signal readout method
JP3967853B2 (en) Solid-state imaging device and signal readout method
JP4385578B2 (en) Imaging device
JP3902525B2 (en) Image signal processing device
JP4246244B2 (en) Imaging device
JP3648638B2 (en) Color imaging device
JP3956719B2 (en) Imaging device
JP3967500B2 (en) Solid-state imaging device and signal readout method
JP3948042B2 (en) Camera system, imaging apparatus, and imaging method
JP2005354656A (en) Pixel array apparatus, solid-state imaging apparatus, and camera
JP2005191943A (en) Solid-state imaging device and camera equipped with the same
JP2003060185A (en) Solid-state image pickup device and control method therefor
JP2001145025A (en) Solid-state image pickup device and its drive method
JP2692486B2 (en) Solid-state imaging device
JP2003309771A (en) Ccd imaging device and photographic system with image inversion function
JP3948456B2 (en) Solid-state image sensor and control method of solid-state image sensor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081010

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090708

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090908

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090921

R150 Certificate of patent or registration of utility model

Ref document number: 4385578

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121009

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121009

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151009

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees