JP5511205B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関し、特に全体画像とそれよりも高解像度の部分画像とを読み出し可能な撮像装置に好適なものである。

近年、ＣＣＤやＣＭＯＳセンサに代表される撮像素子の発達により、それを用いた撮像装置には小型化、軽量化、高機能化、安価化の要求が高まっている。上述の撮像素子を利用する産業用カメラや監視用カメラにおいても、小型化、軽量化、高機能化、安価化等が要求されている。

これらの撮像装置においては、全体画像中に注目領域（ＲＯＩ：Region Of Interest）と呼ばれる領域が、複数個設定可能なものが存在する。この注目領域は撮像素子が出力可能な全体画像の領域の一部を切り出した領域であり、注目領域に対応する部分画像は、全体画像よりも高精細な画像である場合が多い。

全体画像中に注目領域を設定することで、前述した撮像素子は、より高速、高フレームレートな画像出力が可能となる。このような注目領域の設定は、産業用カメラや監視用カメラに用いて好適である。

そのような撮像装置には、例えば特許文献１にあるように、間引き走査による全体画像情報と全画素走査による高解像度部分画像情報とを同一フレームから読み出す撮像装置がある。また、例えば特許文献２にあるように、全体画像と部分画像を別フレームで読み出す撮像装置もある。また、例えば特許文献３には、複数の画素情報を加算あるいは平均化する画素加算することが記載されている。

特開２０００−３２３１８号公報 特開２００５−８６２４５号公報 特開２００１−７８０８１号公報

しかしながら、特許文献１が開示する撮像装置においては、撮像素子の全体画素から間引き作成することで、間引きした全体画像にモアレ等の偽信号が発生し、画質が低下するという問題があった。また、特許文献３が開示する撮像装置においては、全体画像のフレームと部分画像のフレームとでは各画素行の撮像タイミングが異なり、両方には使用できない（排他的である）。そのため、全体画像の影響で部分画像のある画素行が欠落し、部分画像の画質が低下するという問題があった。

本発明は、このような事情に鑑みてなされたものであり、間引きした全体画像及び部分画像の画質の低下を抑制できるようにすることを目的とする。

本発明に係る撮像装置は、第１の領域の一部である第２の領域に対応する部分画像に係る画像信号、及び前記第１の領域に対応する画像であって前記部分画像より低解像度の全体画像に係る画像信号を撮像素子から読み出す読み出し手段と、前記読み出し手段により読み出された画像信号を用いて信号処理を行う処理手段とを備え、前記処理手段は、前記全体画像に係る画像信号として読み出された画素加算された画素行の画像信号と、前記全体画像に係る画像信号として読み出された画素加算がされない画素行の画像信号とを用いて信号処理を行って前記全体画像を作成し、前記処理手段は、前記部分画像の作成に、前記全体画像に係る画像信号として読み出された画素加算がされない画素行の画像信号を用いることを特徴とする。
本発明に係る撮像装置は、第１の領域の一部である第２の領域に対応する部分画像に係る画像信号、及び前記第１の領域に対応する画像であって前記部分画像より低解像度の全体画像に係る画像信号を撮像素子から読み出す読み出し手段と、前記読み出し手段により読み出された画像信号を用いて信号処理を行う処理手段とを備え、前記処理手段は、前記全体画像に係る画像信号として読み出されず、前記部分画像に係る画像信号として読み出される画像信号と、前記全体画像に係る画像信号のうち画素加算がされない画素行の画像信号とを用いて前記部分画像を作成することを特徴とする。
本発明に係る撮像装置は、第１の領域の一部である第２の領域に対応する部分画像に係る画像信号、及び前記第１の領域に対応する画像であって前記部分画像より低解像度の全体画像に係る画像信号を撮像素子から読み出す読み出し手段と、前記読み出し手段により読み出された画像信号を用いて前記全体画像及び前記部分画像を作成する処理手段とを備え、前記処理手段は、前記全体画像に係る画像信号として読み出された画素加算された画素行の画像信号と前記全体画像に係る画像信号として読み出された画素加算がされない画素行の画像信号とを用いて前記全体画像を作成し、前記全体画像に係る画像信号として読み出されず、前記部分画像に係る画像信号として読み出される画像信号と、前記全体画像に係る画像信号のうち前記画素加算がされない画素行の画像信号とを用いて前記部分画像を作成することを特徴とする。
本発明に係る撮像方法は、第１の領域の一部である第２の領域に対応する部分画像に係る画像信号、及び前記第１の領域に対応する画像であって前記部分画像より低解像度の全体画像に係る画像信号を撮像素子から読み出す読み出し工程と、前記読み出し工程で読み出された画像信号を用いて前記全体画像及び前記部分画像を作成する処理工程とを備え、前記処理工程では、前記全体画像に係る画像信号として読み出された画素加算された画素行の画像信号と前記全体画像に係る画像信号として読み出された画素加算がされない画素行の画像信号とを用いて前記全体画像を作成し、前記全体画像に係る画像信号として読み出されず、前記部分画像に係る画像信号として読み出される画像信号と、前記全体画像に係る画像信号のうち前記画素加算がされない画素行の画像信号とを用いて前記部分画像を作成することを特徴とする。
本発明に係る撮像方法は、第１の領域の一部である第２の領域に対応する部分画像に係る画像信号、及び前記第１の領域に対応する画像であって前記部分画像より低解像度の全体画像に係る画像信号を撮像素子から読み出す読み出し工程と、記憶工程と、処理工程とを備え、前記読み出し工程が、第１の撮像フレームに、ｎ行毎（ｎは２以上の整数）のスキップ走査によって、前記第１の領域に位置する画素行のうち一部の画素行から画像信号を前記全体画像に係る画像信号として読み出し、前記第１の撮像フレームとは別の第２の撮像フレームに、前記第２の領域に位置する画素行のうち、前記第１の撮像フレームで前記処理手段に読み出されなかった画素行から、前記部分画像に係る画像信号を読み出す工程であり、前記記憶工程が、前記第１の撮像フレームに読み出される前記画像信号のうちの前記画素加算がされない画素行の画像信号を記憶する工程であり、前記処理工程が、前記第２の撮像フレームで読み出した画像信号と、前記記憶工程で記憶した前記画像信号とを用いて前記部分画像を作成する工程であることを特徴とする。

本発明によれば、全体画像に係る画像信号として読み出された画素加算された画素行の画像信号と、全体画像に係る画像信号として読み出された画素加算がされない画素行の画像信号を画素加算して得られた画像信号とにより全体画像を作成する。これにより、単一画素からの画像信号で全体画像を作成する場合と比較してモアレ等の発生を低減し、全体画像の画質低下を抑制することができる。

全体画像中に設定された注目領域の一例を示す図である。 本発明の実施形態における全体画像及び部分画像の出力を説明するための図である。 本発明の実施形態における画質低下抑制の原理を説明するための図である。 本発明の実施形態における撮像装置の構成例を示す図である。 第１の実施形態における撮像素子の構成例を示す図である。 第１の実施形態における撮像素子の画素部の構成例を示す図である。 第１の実施形態におけるＣＤＳ回路の構成例を示す図である。 本実施形態における画像信号の読み出しタイミングの一例を示す図である。 本実施形態における画像信号の読み出しタイミングの一例を示す図である。 第２の実施形態における撮像素子の構成例を示す図である。 第３の実施形態における撮像素子の構成例を示す図である。 第３の実施形態における撮像素子の画素部の構成例を示す図である。 第３の実施形態における画素部と各シフトレジスタとの結線関係の一例を示す図である。 第４の実施形態における光学系を模式的に示す図である。 第５の実施形態における処理を説明するための図である。

以下、本発明の実施形態を図面に基づいて説明する。

本発明の実施形態では、例えば図１に示すような全体画像２１とそれよりも高精細な複数の部分画像２２、２３、２４とを取得する場合には、全体画像２１及び部分画像２２、２３、２４を必要であるならば図２に示したように別々の撮像フレームで出力を行う。ここで、本実施形態において、全体画像２１は撮像装置が有する撮像素子が出力可能な最高解像度よりも低解像度の画像（間引きした画像）であり、部分画像２２、２３、２４は全体画像２１よりも高解像度の画像である。図２に示した４枚の大きな四角形は、各々別のフレームを表している。

最初に、全体画像２１が出力され、次いで３つの注目領域に対応する部分画像２２、２３、２４の各々が、１枚ずつ別の撮像フレームで計３枚連続して出力される。図２において、ブロック矢印は各フレームの出力順を示している。このように注目領域に対応する部分画像の各々に１つの撮像フレームを割り当てることで、撮像素子の制御はとてもシンプルになり、その制御は容易となる。

次に、全体画像におけるモアレによる画質の低下を抑制する方法を、図３を参照して説明する。図３において、１１は全体画像を出力する撮像素子の全画素領域であり、１２ａ、１２ｂ、１２ｃは、注目領域に対応する部分画像を出力する撮像素子の画素領域（注目領域）である。また、１３（ｎ）、１４（ｎ）は、全体画像を構成する画素行である（ｎは添え字であり、自然数）。

全体画像を構成する画素行のうち、注目領域１２ａ、１２ｂ、１２ｃが存在しない部分（画素行１３（ｎ））では、水平方向に画素加算された画像信号が、前記撮像素子から外部へと出力される。また、全体画像を構成する画素行のうち、注目領域１２ａ、１２ｂ、１２ｃが存在する部分（画素行１４（ｎ））では、画素加算されない画像信号が、前記撮像素子から外部へと出力される。画素加算されない画像信号は、画素加算された画像信号と比較して、より高精細な画像信号である。

本発明の実施形態では、単一画素からの信号ではなく、画素行１３（ｎ）の画素加算した画像信号と、画素行１４（ｎ）の画素加算されない画像信号を撮像素子外部の信号処理手段で画素加算して得られた画像信号とを使用して全体画像を作成する。これにより、前述したモアレ等の偽信号の発生を抑制し、間引きした全体画像の画質低下を抑制することができる。

また、画素行１４（ｎ）の画素加算されない画像信号は、注目領域１２ａ、１２ｂ、１２ｃに対応する部分画像の作成にも用いられる。各実施形態で詳述されるように、画素行の信号は、全体画像のフレームと部分画像のフレームとで各々排他的に出力されるために、そのままでは部分画像１２ａ、１２ｂ、１２ｃの画素行１４（ｎ）に相当する部分は欠落することになる。

そこで、本発明の実施形態では、全体画像１１のフレームで読み出された画素加算を行わない画素行１４（ｎ）の画像信号を、注目領域１２ａ、１２ｂ、１２ｃに対応する部分画像を作成する際にも用いることにする。これにより、部分画像１２にて画素行１４（ｎ）に相当する部分の欠落は無くなり、高精細、かつ高品質な部分画像を得ることができる。
これら全体画像と部分画像の作成方法は、各実施形態でより詳細、具体的に説明する。

（第１の実施形態）
本発明の第１の実施形態について説明する。

図４は、第１の実施形態におけるモノクロ撮像装置の構成例を示すブロック図である。
図４において、３１はレンズ等の光学系であり、３２は被写体から出射された光が光学系３１を通して結像する撮像素子である。撮像素子３２は、例えばＣＭＯＳセンサである。

３３は撮像素子３２から画像信号を読み出す読み出し手段と読み出した画像信号を用いて信号処理を行う処理手段としての信号処理回路部である。信号処理回路部３３は、撮像素子３２から読み出した画像信号を記憶するためのメモリが内蔵されている。信号処理回路部３３での信号処理の結果、全体画像及び部分画像が作成され、記録・通信部３４へと送られる。３５は前述のように記録又は通信された画像を表示するための再生・表示部である。

３６は撮像装置内の各機能部を統括的に制御するシステムコントロール回路部である。また、３７は撮像素子３２を駆動する制御信号等を生成するタイミング制御回路部である。タイミング制御回路部３７は、撮像素子３２の読み出しを実質的に制御するため、前述した読み出し手段の一部でもある。

例えば、注目領域の大きさ、位置、数量等は、システムコントロール回路部３６によって指定される。また、注目領域に対応する部分画像を出力するためのタイミング信号や制御信号は、タイミング制御回路部３７によって生成され撮像素子３２に供給される。

図５は、本実施形態における撮像素子３２の構成例を示すブロック図である。
１４１は撮像素子３２が搭載された半導体チップであり、１４２はタイミング制御回路部３７からの各種信号が入力される端子である。

１４３はセレクタである。セレクタ１４３は、タイミング制御回路部３７からの信号に応じて、垂直シフトレジスタ１４４，１４５のいずれを使用するかを決定する。１４４は全体画像に係る画像信号を読み出すための８行毎のスキップ走査（間引き走査）が可能な垂直シフトレジスタであり、１４５は高精細な部分画像に係る画像信号を読み出すための１行毎に駆動される垂直シフトレジスタである。１４７は水平シフトレジスタである。これらシフトレジスタ１４４、１４５、１４７によって、画素部１４８の画素アドレスが指定される。１４８は、例えば水平２５６０画素、垂直１９２０画素、総画素数約５００万画素の画素部である。

１４９はＣＤＳ回路である。ＣＤＳ回路１４９は、列毎に設けられ各画素から出力されたアナログ信号を画像信号に変換する。ＣＤＳ回路１４９によって変換された信号は、出力回路１５０を通って出力端子１５１から撮像素子外部へと出力される。

図６は、本実施形態における画素部１４８の画素構成の一例を示す図である。図６が示す構成の単位は、各画素行上の４画素である。

１５２はフォトダイオードであり、光電荷である電子を蓄積する。１５３は４個の転送ＭＯＳトランジスタである。各転送ＭＯＳトランジスタ１５３は、各画素に相当する各フォトダイオード１５２に蓄積された電荷を増幅アンプ１５７のゲート電極に転送する。１５４は転送ＭＯＳトランジスタ１５３を外部から駆動する４本の水平転送線である。水平転送線１５４は、独立して制御することが可能である。

１５５はリセットＭＯＳトランジスタである。リセットＭＯＳトランジスタ１５５は、増幅アンプ１５７のゲート電極及び４個のフォトダイオード１５２をリセット電位である正の電位に固定するためのものである。１５６はリセットＭＯＳトランジスタ１５５を外部から駆動する水平リセット線である。

１５７は増幅アンプである。本実施形態における増幅アンプ１５７は、４個のフォトダイオード１５２が転送ＭＯＳトランジスタ１５３を介して接続された共通画素アンプと呼ぶ構成としている。増幅アンプ１５７は、４画素に相当するフォトダイオード１５２に蓄積された光電荷を時系列的に、又は同時に読み出して、各画素の光電荷に相当する電流を垂直信号線１６０に出力する。

１５８は各画素行を選択するための選択ＭＯＳトランジスタであり、１５９は選択ＭＯＳトランジスタ１５８を外部から駆動する水平選択線である。各水平選択線１５９を選択することにより、選択ＭＯＳトランジスタ１５８を介して各画素行における増幅アンプ１５７からの電流が垂直信号線１６０に選択的に流入する。１６０は垂直信号線であり、各画素に蓄積された光電荷に相当する電流を画素部１４８の外部へと導く。

図７は、本実施形態におけるＣＤＳ回路１４９の構成例を示す回路図である。
図７において、Ｌ１、Ｌ３、Ｌ５の各々は画素部１４８に連なる垂直信号線であり、Ｃ１、Ｃ３、Ｃ５の各々は対応する垂直信号線Ｌ１、Ｌ３、Ｌ５を介して供給される信号電荷を蓄積するミラー容量である。Ａｍｐ１、Ａｍｐ３、Ａｍｐ５は信号電荷を増幅するためのアンプである。Ｃｔ１、Ｃｔ３、Ｃｔ５はアンプＡｍｐ１、Ａｍｐ３、Ａｍｐ５により増幅された信号電荷を蓄積するための蓄積容量である。

ＭＣ１、ＭＣ３、ＭＣ５はミラー容量Ｃ１、Ｃ３、Ｃ５とアンプＡｍｐ１、Ａｍｐ３、Ａｍｐ５との接続点にリファレンス電位Ｖｒを供給するＭＯＳトランジスタである。ＭＯＳトランジスタＭＣ１、ＭＣ３、ＭＣ５は、信号線φＣ１によって駆動される。

φｈｎ（１）、φｈｎ（３）、φＴＳ１、φＴＳ２、φＡＤ１、φＡＤ２はともに、対応する転送ゲートを制御する水平信号線である。

信号線φｈｎ（１）は、蓄積容量Ｃｔ１に蓄積された電荷を信号出力線Ｓｏｕｔに出力するためのものであり、同様に信号線φｈｎ（３）は、蓄積容量Ｃｔ３に蓄積された電荷を信号出力線Ｓｏｕｔに出力するためのものである。

また、信号線φＴＳ２と信号線φＡＤ１を用いれば、蓄積容量Ｃｔ１と蓄積容量Ｃｔ３とに蓄積された電荷を容量Ｃａ１に転送することができる。これにより信号を加算することができ、この加算された蓄積電荷は、信号線φＡＤ３と信号線φｈｎ（ａ１）を用いることによって信号出力線Ｓｏｕｔに出力することができる。

図８は、本実施形態における撮像素子３２の動作タイミングの一例を示す図である。
図８において、５４は各撮像フレーム（フレーム間の区切り、例えば各フレームの開始）を表すフレーム信号である。５５は出力端子１５１から出力される全体画像出力フレームの出力信号であり、５６は同じく３つの注目領域に対応する３枚の部分画像出力フレームの出力信号である。図８に示すように、本実施形態では、全体画像及び部分画像の各々に係る画像信号は、時系列的に別々の撮像フレームで出力される。なお、部分画像の枚数の設定は任意である。

本実施形態においては、図３を参照して説明したように撮像素子３２からは、全体画像出力フレームの出力信号５５として画素行１３（ｎ）の水平方向に画素加算した画像信号と画素行１４（ｎ）の画素加算されていない画像信号とが読み出される。ここで、全体画像の大きさは、３２０画素×２４０画素のＱＶＧＡであるとする。

画素行１３（ｎ）、１４（ｎ）における各画素の選択は、垂直シフトレジスタ１４４と水平シフトレジスタ１４７を用いて行う。

画素行１３（ｎ）に対応する画像信号は、画素部１４８において水平方向４画素分の光電荷が加算され、さらに、ＣＤＳ回路１４９において隣接する奇数列（Ｌ１）と偶数列（Ｌ３）の２列に対応するアナログ信号が加算される。これにより、計８画素分の信号となって出力回路１５０から出力される。なお、画素部１４８における４画素加算は、転送ＭＯＳトランジスタ１５３を同時に４個導通することで行い、奇数列（Ｌ１）と偶数列（Ｌ３）の加算は、前述したように蓄積容量Ｃｔ１及びＣｔ３に蓄積された電荷を同時に容量Ｃａ１に転送することで行う。

一方、画素行１４（ｎ）に対応する画像信号は、画素部１４８においてもＣＤＳ回路１４９においても加算されずに、１画素分の信号そのままの形で出力回路１５０から出力される。撮像素子３２から出力された画素行１４（ｎ）の加算されていない画像信号は、信号処理回路部３３でデジタル化された後に、信号処理回路部３３内のメモリに書き込まれる。

画素行１４（ｎ）の加算されていない画像信号は、画素行１３（ｎ）の画像信号と対応するように、信号処理回路部３３によって水平方向に８画素分加算される。これにより、両者は同一の画像解像度と輝度レベルを有することとなる。そして、信号処理回路部３３は、画素行１３（ｎ）の画像信号と、画素行１４（ｎ）の加算されていない画像信号を画素行１３（ｎ）の画像信号に対応するように整形して得られた信号とを用いて全体画像を作成する。

また、本実施形態においては、部分画像出力フレームの出力信号５６として、撮像素子３２から高精細の画像信号が読み出される。この高精細の画像信号は、例えば画素行１４（ｎ）の画像信号と同様な画素加算されていない画像信号である。ここで、部分画像の大きさは、全体画像と同様にＱＶＧＡであるとする。

各画素行における各画素の選択は、垂直シフトレジスタ１４５と水平シフトレジスタ１４７を用いて順次行う。但し、全体画像出力フレームで使用した行（画素行１４（ｎ））に関しては、そのまま併用して部分画像に用いることは不適切である。

その理由を、以下に図９を参照して簡単に説明する。
前述したように、全体画像出力フレームで出力される各画素行１３（ｎ）、１４（ｎ）の画像信号と、複数の部分画像出力フレームで出力されるその他の画素行の画像信号とでは、各々排他的に出力されている。

図９において、６１は全体画像出力用の行タイミングを示しており、６２は第１の注目領域に対応する部分画像出力用の行タイミングを示しており、６３は第２の注目領域に対応する部分画像出力用の行タイミングを示している。行タイミング６１、６２、６３の各々は、光電荷蓄積期間６４、電荷転送期間６５、及び水平ブランキング期間６６を有する。

各部分画像出力用の行タイミング６２、６３は、図８に示したように全体画像出力フレームとは別のフレームで画像信号を出力するために、全体画像出力用の行タイミング６１に対してずれたタイミングとなる。

図９に示されるように、各行タイミング６１、６２、６３では蓄積期間のタイミングが異なるので、同一の画素行を全体画像及び部分画像で併用することはできない。すると、注目領域に対応する部分画像（図３に示した例では、部分画像１２ａ、１２ｂ、１２ｃ）の各々においては、画素行１４（ｎ）に相当する行が欠落することとなり、部分画像の画質を著しく劣化させる。

そこで、本実施形態では、全体画像出力フレームの出力信号５５として出力され、信号処理回路部３３内のメモリに記憶された画素行１４（ｎ）の加算されていない画像信号を参照し、部分画像の構成に用いるようにする。また、信号処理回路部３３は、必要であれば輝度レベルの調整等を行う。そして、信号処理回路部３３は、画素行１４（ｎ）を参照して得られた画像信号と、画素行１４（ｎ）を除いた注目領域内のその他の画素行の画像信号とを用いて部分画像を作成する。

勿論、信号処理回路部３３は、引用する画素加算されていない画素行１４（ｎ）の画像信号と部分画像のその他の画素行の画像信号との解像度が、同一になるように所定の処理を行う。本実施形態において、両者の解像度は、例えば撮像素子３２が出力可能な最高解像度（提供可能な最高の解像度）である。

第１の実施形態によれば、画素行１３（ｎ）の画素加算した画像信号と、画素行１４（ｎ）の画素加算されない画像信号を信号処理回路部３３で画素加算して得られた画像信号とを用いて全体画像を作成する。これにより、モアレ等の発生を低減し、間引きした全体画像の画質低下を抑制することができる。
また、部分画像出力フレームで出力された画素行１４（ｎ）を除いた注目領域内のその他の画素行の画像信号と、全体画像出力フレームで出力された画素行１４（ｎ）の画素加算されていない画像信号とを用いて部分画像を作成する。これにより、部分画像において画素行が欠落することはなく、高精細かつ高品質な部分画像を得ることができる。
したがって、全体画像及び部分画像を別のフレームで出力を行っても、良好な間引きした全体画像及び部分画像を同時に得ることができる。

なお、本実施形態において、画素部１４８で水平加算する画素数及びＣＤＳ回路１４９で水平加算する画素数は、任意に設定することができる。例えば、画素部１４８における水平加算数を２、ＣＤＳ回路１４９における水平加算数を４としても、前述したような８画素の加算を実現することができ、これらの数の組み合わせは任意である。また、加算を行う画素数も８画素に限定されるものではなく、１よりも充分大きな任意の数とすることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
第２の実施形態における撮像装置の全体構成は、第１の実施形態における撮像装置と同様であるので説明は省略する。第２の実施形態における撮像装置は、第１の実施形態における撮像装置とは撮像素子３２の内部構成が異なる。

図１０は、第２の実施形態における撮像素子３２の構成例を示すブロック図である。
４１は撮像素子３２が搭載された半導体チップであり、４２はタイミング制御回路部３７からの各種信号が入力される端子である。

４３はセレクタである。セレクタ４３は、タイミング制御回路部３７からの信号に応じて、垂直シフトレジスタ４４，４５のいずれを使用するかを決定する。４４は全体画像に係る画像信号を読み出すための８行毎のスキップ走査（間引き走査）が可能な垂直シフトレジスタであり、４５は高精細な部分画像に係る画像信号を読み出すための１行毎に駆動される垂直シフトレジスタである。４７は水平シフトレジスタである。これらシフトレジスタ４４、４５、４７によって、画素部４８の画素アドレスが指定される。４８は、例えば水平２５６０画素、垂直１９２０画素、総画素数約５００万画素の画素部である。

４９はＡＤＣ回路である。ＡＤＣ回路４９は、列毎に設けられ各画素から出力されたアナログ信号をデジタル信号に変換する。ＡＤＣ回路４９によって変換されたデジタル信号は、加算回路を内蔵する出力回路５０を通って出力端子５１から撮像素子外部へと出力される。

なお、第２の実施形態における撮像装置での全体画像及び部分画像の作成に係る処理は第１の実施形態と同様であるので、説明は省略する。

ここで、本実施形態においては、画素部４８で水平加算する画素数は、第１の実施形態と同様に例えば４である。また、ＡＤ変換された後に奇数列と偶数列との加算が出力回路５０により行われ、奇数列のデジタル出力値をＤ１とし偶数列のデジタル出力値をＤ２とすると、出力回路５０からは８画素分の画素加算後の画像信号として値（Ｄ１＋Ｄ２）が出力される。なお、出力回路５０から出力される８画素分の出力値は、単純な加算値ではなく平均値（Ｄ１＋Ｄ２）／２であっても良い。また、仮にＡＤＣ回路の解像度を１２ビットとすると、出力値は最大階調数、例えば２¹²−１＝４０９５を越えない値に丸められる。

第２の実施形態によれば、前述した第１の実施形態と同様の効果が得られ、全体画像及び部分画像を別のフレームで出力を行っても、良好な間引きした全体画像及び部分画像を同時に得ることができる。さらに、第２の実施形態では、撮像素子３２において、列毎にＣＤＳ回路に替えてＡＤＣ回路４９を設けることにより、さらに高速な画像出力が可能になる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
第３の実施形態における撮像装置の全体構成は、第１の実施形態における撮像装置と同様であるので説明は省略する。ただし、第３の実施形態における撮像装置は、撮像素子３２としてカラー型撮像素子を用いている。

図１１は、第３の実施形態における撮像素子３２の構成例を示すブロック図である。
７１は撮像素子３２が搭載された半導体チップであり、７２はタイミング制御回路部３７からの各種信号が入力される端子である。

７３ａ、７３ｂはセレクタである。セレクタ７３ａは、タイミング制御回路部３７からの信号に応じて、垂直シフトレジスタ７４、７５のいずれを使用するかを決定する。また、セレクタ７３ｂは、タイミング制御回路部３７からの信号に応じて、水平シフトレジスタ７６、７７のいずれを使用するかを決定する。

７４は全体画像に係る画像信号を読み出すための８行毎のスキップ走査（間引き走査）が可能な垂直シフトレジスタであり、７５は高精細な部分画像に係る画像信号を読み出すための１行毎に駆動される垂直シフトレジスタである。７６は全体画像の水平加算行を読み出すための水平シフトレジスタであり、７７は一度に２列を同時駆動可能な水平シフトレジスタである。これらシフトレジスタ７４〜７７によって、画素部７８の画素アドレスが指定される。

７９はＡＤＣ回路である。ＡＤＣ回路７９は、画素部７８から出力されたアナログ信号をデジタル信号に変換する。ＡＤＣ回路７９によって変換されたデジタル信号は、出力回路８０を通って出力端子８１から撮像素子外部へと出力される。

図１２は、本実施形態における画素部７８の構成例を示す図である。図１２には、画素部７８内の一部領域（上下２段８画素の領域）を示している。

画素部７８には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の画素がベイヤー配列で配置されている。図１２において、上段はＲ，Ｇ行を示しており、下段はＧ，Ｂ行を示している。これらの行は、転送選択線８４、８５、水平リセット線８６、水平選択線８７とそれに接続する垂直シフトレジスタ７４、７５によって駆動される。

水平シフトレジスタ７６、７７が駆動する各垂直信号線８８、８９には、図示したような結線がなされている。なお、下段の画素でも同様の結線がなされているが、図では省略している。ここで、各垂直信号線８８、８９には、同色の画素が計２個接続されている。したがって、例えば水平シフトレジスタ７６は、垂直信号線８８、８９を通して計２画素の信号を合計したもの（水平加算量）を読み出す。

図１３に、画素部７８と全体画像に係る画像信号を読み出すための垂直シフトレジスタ７４及び水平シフトレジスタ７６との結線関係を示す。図中のハッチングが施された画素が垂直シフトレジスタ７４及び水平シフトレジスタ７６により信号が読み出される画素である。

垂直シフトレジスタ７４は、例えば１行目（Ｒ、Ｇ行）と９行目（Ｒ、Ｇ行）、４行目（Ｇ、Ｂ行）と不図示の１２行目（Ｇ、Ｂ行）というように、８行ピッチで画素の信号を読み出す。また、水平シフトレジスタ７６は、例えば（１列＋３列の加算）列目のＲ列と（９列＋１１列の加算）のＲ列、（２列＋４列の加算）列目のＧ列と不図示の（１０列＋１２列の加算）列目のＧ列というように、８列ピッチで画素の信号を読み出す。なお、垂直信号線８８、８９には、転送選択線８４、８５の制御により、単位画素信号と画素加算信号の両方の出力が可能である。

本実施形態において、全体画像の出力は、以下のようにして行われる。
水平方向に画素加算した画像信号を読み出す画素行１３（ｎ）の選択は、垂直シフトレジスタ７４と水平シフトレジスタ７６を用いて行う。また、画素加算されていない画像信号を読み出す画素行１４（ｎ）の選択は、垂直シフトレジスタ７４と水平シフトレジスタ７７を用いて行う。

画素行１３（ｎ）については、各列から出力されたアナログ画像信号が水平方向に２画素加算され垂直信号線に出力される。垂直信号線に出力された画像信号は、ＡＤＣ回路７９によってデジタル信号にＡＤ変換され、出力回路８０を通って出力端子８１から撮像素子外部へと出力される。また、画素行１４（ｎ）については、各画素のアナログ画像信号は画素部７８では加算されずにＡＤＣ回路７９を通過し、同様にして出力される。

出力された画像信号は、撮像素子３２に接続する信号処理回路部３３及び公知の画像処理によってビットプレーンに合成される。このようにして、全体画像の作成に係る処理が行われる。

また、本実施形態における部分画像の出力においては、各行の選択は、垂直シフトレジスタ７５と水平シフトレジスタ７７を用いて行う。これにより、撮像素子３２が出力可能な最高解像度を有する部分画像が撮像素子３２から出力される。なお、部分画像の作成に係る信号処理は、第１の実施形態と同様であるのでその説明は省略する。

第３の実施形態によれば、カラー型撮像素子を用いた撮像装置においても、前述した第１の実施形態と同様の効果が得られ、良好な間引きした全体画像及び部分画像を同時に得ることができる。

なお、本実施形態において、水平加算する画素数は２画素に限定されず、大きめの任意の数でよく、例えば８画素等であってもよい。また、水平加算する画素数を増加する方法としては、本実施形態で説明した方法に限られず他の方法であってもよく、例えば第２の実施形態で述べたように出力回路８０で加算又は平均化を行う方法も適用可能である。その場合には、余分に垂直信号線の本数が必要になるが、ＡＤＣ回路７９は動作速度が充分に高速であるので、それによる撮像装置の動作速度の低下や、フレームレートの低下は僅かである。

水平加算する画素数が多くなるのに伴って、それだけ感度が向上し、全体画像の蓄積時間を短縮可能することができ、全体画像のフレームレートを向上させることができる。また、各色によって、水平加算する画素数を変えても良く、例えば感度の低い青色画素では８画素、その他の画素では４画素を加算すれば、色再現性の良い画像を得ることができる。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
第４の実施形態における撮像装置の全体構成は、第１の実施形態における撮像装置と同様であるので説明は省略する。第４の実施形態においては、光学系３１及び撮像素子３２が、図１４に示すように構成される。

図１４は、第４の実施形態における光学系３１を模式的に示す図である。
第４の実施形態における撮像装置は三板式カメラであり、ダイクロイックプリズム９１上に３つの撮像素子９２〜９４が搭載されている。本実施形態では、各色毎に第１の実施形態におけるモノクロ撮像装置と同様の処理が行われる。これにより、良好なカラー全体画像、及びカラー部分画像を得ることができる。

なお、本実施形態における色分解は三色に限られるものではなく、ダイクロイックプリズムの光学設計を変更することで、容易に四色以上の多色撮像装置にも対応することができる。例えば、第四の色に赤外光領域を割り当てることで監視カメラ等に用いられるデイライトカメラをも作成可能であり、高照度な昼間ではカラーカメラとして用い、低照度な夜間ではモノクロカメラとして用いることもできる。この場合には、２台のカメラを使い分ける必要が無いため、コスト性にも優れている。

第４の実施形態によれば、撮像装置の利用範囲が大幅に向上し、例えば監視カメラとして用いることができる。

（第５の実施形態）
次に、本発明の第５の実施形態について説明する。

第５の実施形態における撮像装置の全体構成は、第１の実施形態における撮像装置と同様であるので、その説明は省略する。また、第５の実施形態における撮像素子３２は、図１０に示した第２の実施形態における撮像素子と同様に構成される。撮像素子３２において、垂直シフトレジスタ４４は４本ピッチで画素行を駆動し、垂直シフトレジスタ４５は１行毎に画素行を駆動し、水平シフトレジスタ４７は、垂直信号線１６０の全本を駆動する。また、第５の実施形態における撮像素子３２内の画素部は、水平４画素共通アンプ型であり、図６に示したように構成される。

本実施形態における撮像素子３２の動作タイミングは、図８に示した第１の実施形態での動作タイミングと同様であり、１つの全体画像及び３つの部分画像の各々に係る画像信号が、時系列的に別々の撮像フレームで出力される。なお、部分画像の枚数の設定は任意である。

以下、図１５を参照して第５の実施形態における処理を説明する。
全体画像出力フレームの出力信号５５として、注目領域（部分画像）が存在しない画素行１３３（ｎ）及び注目領域（部分画像）が存在する画素行１３４（ｎ）の画像信号が、垂直シフトレジスタ４４と水平シフトレジスタ４７を用いて出力される。

画素行１３３（ｎ）については、垂直信号線１６０から水平方向に４画素加算された画像信号が出力される。
それに対して、画素行１３４（ｎ）については、注目領域（部分画像）が存在しない部分１３５において、画素行１３３（ｎ）と同様に垂直信号線１６０から水平方向に４画素加算された画像信号が出力される。一方、画素行１３４（ｎ）の注目領域（部分画像）が存在する部分１３６においては、垂直信号線１６０からは水平加算された信号ではなく、各画素４個の画像信号が時系列的に出力される。

また、部分画像出力フレームの出力信号５６としては、画素行１３７の画像信号が、垂直シフトレジスタ４５と水平シフトレジスタ４７とを用いて出力される。ここで、画素行１３７の画像信号は、水平シフトレジスタ４７のスタートパルスを工夫すること等により、注目領域に相当する部分だけ出力される。

そして、読み出された画像信号が信号処理回路部３３で前述のように合成され、全体画像及び部分画像が作成される。

第５の実施形態によれば、前述した第１の実施形態と同様の効果が得られるとともに、必要な部分だけ画像情報を出力することで出力情報量が減り、高速化や高フレームレート化が実現できる。なお、前述したように、画像信号の水平加算に係る処理は必ずしも画素部４８で行う必要はなく、出力回路５０で水平加算に係る処理を行うようにしても良い。

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

３１ 光学系
３２ 撮像素子
３３ 信号処理回路部
３４ 記録・通信部
３５ 再生・表示部
３６ システムコントロール回路部
３７ タイミング制御回路部
４３、７３ａ、７３ｂ、１４３ セレクタ
４４、４５、７４、７５、１４４、１４５ 垂直シフトレジスタ
４７、７６、７７、１４７ 水平シフトレジスタ
４８、７８、１４８ 画素部
４９、７９ ＡＤＣ回路
５０、８０、１５０ 出力回路
１４９ ＣＤＳ回路

Claims (13)

1. 第１の領域の一部である第２の領域に対応する部分画像に係る画像信号、及び前記第１の領域に対応する画像であって前記部分画像より低解像度の全体画像に係る画像信号を撮像素子から読み出す読み出し手段と、
   前記読み出し手段により読み出された画像信号を用いて信号処理を行う処理手段とを備え、
   前記処理手段は、前記全体画像に係る画像信号として読み出された画素加算された画素行の画像信号と、前記全体画像に係る画像信号として読み出された画素加算がされない画素行の画像信号とを用いて信号処理を行って前記全体画像を作成し、
   前記処理手段は、前記部分画像の作成に、前記全体画像に係る画像信号として読み出された画素加算がされない画素行の画像信号を用いることを特徴とする撮像装置。
2. 第１の領域の一部である第２の領域に対応する部分画像に係る画像信号、及び前記第１の領域に対応する画像であって前記部分画像より低解像度の全体画像に係る画像信号を撮像素子から読み出す読み出し手段と、
   前記読み出し手段により読み出された画像信号を用いて信号処理を行う処理手段とを備え、
   前記処理手段は、前記全体画像に係る画像信号として読み出されず、前記部分画像に係る画像信号として読み出される画像信号と、前記全体画像に係る画像信号のうち画素加算がされない画素行の画像信号とを用いて前記部分画像を作成することを特徴とする撮像装置。
3. 第１の領域の一部である第２の領域に対応する部分画像に係る画像信号、及び前記第１の領域に対応する画像であって前記部分画像より低解像度の全体画像に係る画像信号を撮像素子から読み出す読み出し手段と、
   前記読み出し手段により読み出された画像信号を用いて前記全体画像及び前記部分画像を作成する処理手段とを備え、
   前記処理手段は、前記全体画像に係る画像信号として読み出された画素加算された画素行の画像信号と前記全体画像に係る画像信号として読み出された画素加算がされない画素行の画像信号とを用いて前記全体画像を作成し、前記全体画像に係る画像信号として読み出されず、前記部分画像に係る画像信号として読み出される画像信号と、前記全体画像に係る画像信号のうち前記画素加算がされない画素行の画像信号とを用いて前記部分画像を作成することを特徴とする撮像装置。
4. 前記処理手段は、前記読み出し手段により読み出された前記全体画像に係る画像信号のうちの前記画素加算がされない画素行の画像信号を記憶する記憶手段を有することを特徴とする請求項３記載の撮像装置。
5. 第１の撮像フレームに、ｎ行毎（ｎは２以上の整数）のスキップ走査によって、前記第１の領域に位置する画素行のうち一部の画素行から、画像信号が前記全体画像に係る画像信号として前記処理手段に読み出され、
   前記第１の撮像フレームとは別の第２の撮像フレームに、前記第２の領域に位置する画素行のうち、前記第１の撮像フレームで前記処理手段に読み出されなかった画素行から、前記部分画像に係る画像信号が前記処理手段に読み出され、
   前記記憶手段は、前記第１の撮像フレームに読み出される前記画像信号のうちの前記画素加算がされない画素行の画像信号を記憶し、
   前記処理手段が、前記記憶手段が記憶した前記画像信号と、前記第２の撮像フレームで読み出された前記画像信号と、を用いて前記部分画像を作成することを特徴とする請求項４記載の撮像装置。
6. 前記処理手段が、第１の撮像フレームに読み出される前記全体画像に係る画像信号のうち、画素加算がされない画素行の画像信号と、前記第１の撮像フレームとは別の第２の撮像フレームに読み出される前記部分画像に係る画像信号と、を用いて前記部分画像を作成することを特徴とする請求項２〜４の何れか１項に記載の撮像装置。
7. 前記撮像装置は、前記画素行を順次走査して前記画像信号を前記画素行から前記読み出し手段に出力させる垂直走査回路をさらに有し、
   前記第１の撮像フレームの期間は、前記垂直走査回路が前記第１の領域に対応する前記画素行の走査を行う期間であり、
   前記第２の撮像フレームの期間は、前記垂直走査回路が前記第２の領域に対応する前記画素行の走査を行う期間であることを特徴とする請求項５又は６記載の撮像装置。
8. 前記撮像装置は、第１の垂直走査回路と、前記第１の垂直走査回路とは別の第２の垂直走査回路とを有し、
   前記第１の撮像フレームの走査を前記第１の垂直走査回路が行い、前記第２の撮像フレームの走査を前記第２の垂直走査回路が行うことを特徴とする請求項７記載の撮像装置。
9. 前記処理手段は、前記全体画像に係る画像信号の前記画素加算がされない画素行の画像信号を、前記全体画像に係る画像信号の前記画素加算された画素行の画像信号と同一の解像度に変換して前記全体画像を作成することを特徴とする請求項２〜８の何れか１項に記載の撮像装置。
10. 第１の領域の一部である第２の領域に対応する部分画像に係る画像信号、及び前記第１の領域に対応する画像であって前記部分画像より低解像度の全体画像に係る画像信号を撮像素子から読み出す読み出し工程と、
    前記読み出し工程で読み出された画像信号を用いて前記全体画像及び前記部分画像を作成する処理工程とを備え、
    前記処理工程では、前記全体画像に係る画像信号として読み出された画素加算された画素行の画像信号と前記全体画像に係る画像信号として読み出された画素加算がされない画素行の画像信号とを用いて前記全体画像を作成し、前記全体画像に係る画像信号として読み出されず、前記部分画像に係る画像信号として読み出される画像信号と、前記全体画像に係る画像信号のうち前記画素加算がされない画素行の画像信号とを用いて前記部分画像を作成することを特徴とする撮像方法。
11. 前記読み出し工程が、第１の撮像フレームに前記全体画像に係る画像信号を読み出し、前記第１の撮像フレームとは別の第２の撮像フレームに前記部分画像に係る画像信号を読み出す工程であり、
    前記処理工程が、前記第２の撮像フレームに読み出した前記部分画像に係る画像信号と、前記第１の撮像フレームに読み出した前記全体画像に係る画像信号のうち、画素加算がされない画素行の画像信号とを用いて前記部分画像を作成することを特徴とする請求項１０記載の撮像方法。
12. 第１の領域の一部である第２の領域に対応する部分画像に係る画像信号、及び前記第１の領域に対応する画像であって前記部分画像より低解像度の全体画像に係る画像信号を撮像素子から読み出す読み出し工程と、
    記憶工程と、
    処理工程とを備え、
    前記読み出し工程が、第１の撮像フレームに、ｎ行毎（ｎは２以上の整数）のスキップ走査によって、前記第１の領域に位置する画素行のうち一部の画素行から画像信号を前記全体画像に係る画像信号として読み出し、前記第１の撮像フレームとは別の第２の撮像フレームに、前記第２の領域に位置する画素行のうち、前記第１の撮像フレームで読み出されなかった画素行から、前記部分画像に係る画像信号を読み出す工程であり、
    前記記憶工程が、前記第１の撮像フレームに読み出される前記画像信号のうちの画素加算がされない画素行の画像信号を記憶する工程であり、
    前記処理工程が、前記第２の撮像フレームで読み出した画像信号と、前記記憶工程で記憶した前記画像信号とを用いて前記部分画像を作成する工程であることを特徴とする撮像方法。
13. 前記第１の撮像フレームの期間は、前記第１の領域に対応する前記画素行を行毎に順次走査する期間であり、
    前記第２の撮像フレームの期間は、前記第２の領域に対応する前記画素行を行毎に順次走査を行う期間であることを特徴とする請求項１１又は１２記載の撮像方法。

Images