JP4255345B2

JP4255345B2 - 撮像装置

Info

Publication number: JP4255345B2
Application number: JP2003321936A
Authority: JP
Inventors: 研一下邨; 由和近藤; 陽一加藤; 研二渡邉
Original assignee: Renesas Technology Corp
Current assignee: Renesas Technology Corp
Priority date: 2003-09-12
Filing date: 2003-09-12
Publication date: 2009-04-15
Anticipated expiration: 2023-09-12
Also published as: JP2005094142A; KR20050027038A; US20050057673A1; US7355643B2; KR100618014B1

Description

この発明は画像を拡大する電子ズーム機能を有する撮像装置に関するものである。

電子ズーム機能を有する撮像装置として、例えば特許文献１に開示されたズーム表示機能付デジタルカメラがある。これは、撮像中に液晶ディスプレイに表示する動画や静止画像や再生画像のズームアップ表示が可能なもので、画像表示用メモリとしてフレームメモリを使用し、動画表示可能な画像表示装置と、所望の注目画像を指定する注目画像指定手段と、指定された注目画像を所定の倍率で拡大すると共に拡大された注目画像を画像表示装置に表示する拡大画像表示手段とを備えている。

また、電子ズーム機能を入力画像信号のサンプリング周波数を可変にすることにより実現する撮像装置として、例えば特許文献２に開示された画像処理装置があり、電荷結合型イメージセンサ、アナログ信号処理部、Ａ／Ｄ変換部、フレームバッファとしての画像メモリ、ディジタル信号処理部、Ｄ／Ａ変換部、モニタ、可変サンプリングクロック発生部、システム制御部、倍率設定部を備えている。

特開平１０−３３６４９４号公報（段落００１０，００１１，００１６）特開平９−３２６９５７号公報（段落００２５，００２６，００２８）

従来の撮像装置は以上のように構成されているので、電子ズームを行う際にフレームレートを一定に保つために大容量のフレームメモリを搭載する必要があり、消費電力の増大や撮像装置のサイズの増大やコストの増大につながり、特にモバイル用途の撮像装置への適用は困難であるという課題があった。

この発明は上記のような課題を解決するためになされたもので、大容量のフレームメモリを使用せずに、電子ズームを行う際のフレームレートを一定に保つことができ、モバイル用途にも適用が可能な撮像装置を得ることを目的とする。

この発明に係る撮像装置は、電子ズームの倍率に基づき水平走査期間と垂直走査期間を変更させたフレームの走査領域を指定する撮像制御部と、上記撮像制御部により指定されたフレームの走査領域について、フレームの各行毎に、リセット走査を行って入力した光信号を電気信号に変換して内部に備えている画素アレーに蓄積し、読み出し走査を行って上記画素アレーに蓄積されている電気信号を読み出して画像データとして出力すると共に、上記撮像制御部により一連のフレームの中のフレームＮより水平走査期間と垂直走査期間の変更の指示を受けた場合に、上記フレームＮのリセット走査期間が上記フレームＮの直前のフレームＮ−１の読み出し走査期間に一部重なる場合でも、変更された水平走査期間と垂直走査期間に基づき、上記フレームＮのリセット走査と読み出し走査を行うイメージセンサ部と、上記イメージセンサ部から出力されるフレームの画像データの一部を保持するレジスタと、上記電子ズームの倍率に基づき上記イメージセンサ部から出力されたフレームの少なくとも１行分の画像データを上記レジスタに書き込むと共に、保持されている少なくとも１行分の画像データを所定のフレームレートで読み出すＲＷ制御部と、上記電子ズームの倍率に基づき読み出された画像データの補間処理を行い１フレーム分の画像データのサイズに変換する解像度変換部とを備えたものである。

この発明によれば、撮像制御部が電子ズームの倍率に基づき水平走査期間と垂直走査期間を変更させたフレームの走査領域を指定し、イメージセンサ部が撮像制御部により指定されたフレームの走査領域について、フレームの各行毎に、リセット走査を行って入力した光信号を電気信号に変換して内部に備えている画素アレーに蓄積し、読み出し走査を行って画素アレーに蓄積されている電気信号を読み出して画像データとして出力し、ＲＷ制御部が電子ズームの倍率に基づきイメージセンサ部から出力されたフレームの少なくとも１行分の画像データをレジスタに書き込むと共に、保持されている少なくとも１行分の画像データを所定のフレームレートで読み出し、解像度変換部が電子ズームの倍率に基づき読み出された画像データの補間処理を行い１フレーム分の画像データのサイズに変換することにより、大容量のフレームメモリを使用せずに電子ズームを行う際のフレームレートを一定に保つことができると共に、イメージセンサ部が撮像制御部により一連のフレームの中のフレームＮより水平走査期間と垂直走査期間の変更の指示を受けた場合に、フレームＮのリセット走査期間がフレームＮ−１の読み出し走査期間に一部重なる場合でも、変更された水平走査期間と垂直走査期間に基づき、フレームＮのリセット走査と読み出し走査を行うことにより、露光時間を一定にすることができるので、均一な画像が得られるという効果がある。

以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による撮像装置の構成を示すブロック図である。図において、イメージセンサ部１は入力した光信号を電気信号に変換して蓄積すると共に、蓄積されている電気信号を読み出して画像データとして出力するものであり、内部にＶＧＡ（ＶａｒｉａｂｌｅＧｒａｐｈｉｃＡｒｒａｙ）相当の６４０×４８０画素のサイズの画素アレーを備えており、この画素アレーはＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）又はＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子により構成されている。ここでは、簡単化のために、有効画素領域周辺部の常に遮光状態となっている遮光画素については省略する。

また、図１において、倍率指定部２は電子ズームの倍率を指定し、パラメータ演算部３は倍率指定部２により指定された電子ズームの倍率に基づき、電子ズームに係る撮像パラメータを演算するもので、撮像制御部４はパラメータ演算部３により演算された撮像パラメータに基づき、イメージセンサ部１が走査する、有効画素領域とブランキング領域から構成されるフレームの走査領域を指定すると共に、イメージセンサ部１がフレームの走査領域を走査する際の走査タイミングを制御するものである。

さらに、図１において、レジスタ５はイメージセンサ部１から出力されたフレームの１行分の画像データを一時的に保持し、電子ズームの倍率により変化する一水平走査期間内のデータレートのズレを補正するＦＩＦＯ（ＦｉｒｓｔＩｎＦｉｒｓｔＯｕｔ）等を使用した約１７Ｋｂｉｔ程度の小容量のレジスタで、ＲＷ（ＲｅａｄＷｒｉｔｅ）制御部６はパラメータ演算部３により演算された撮像パラメータに基づき、イメージセンサ部１から出力されたフレームの少なくとも１行分の画像データをレジスタ５に書き込むと共に、保持されている少なくとも１行分の画像データを所定のフレームレートで読み出すものである。解像度変換部７はパラメータ演算部３により演算された撮像パラメータに基づき、レジスタ５から読み出された画像データの補間処理を行い１フレーム分の画像データのサイズに変換して画像信号を出力するものである。

次に動作について説明する。
パラメータ演算部３は倍率指定部２により指定された電子ズームの倍率に基づき、電子ズームに係る撮像パラメータ、すなわち、画素単位の水平走査期間ＰＨ、行単位の垂直走査期間ＰＶ、垂直走査開始行ＶＳＴＲＴ、垂直走査行数ＶＳＩＺＥ、水平走査開始画素ＨＳＴＲＴ及び水平走査画素数ＨＳＩＺＥを演算する。

ここでは、電子ズームの倍率が１倍の場合の水平走査期間をＰＨｉ、垂直走査期間をＰＶｉ、垂直走査行数をＶＳＩＺＥｉ、水平走査画素数ＨＳＩＺＥｉとし、１フレームの画像データの中央部をＮ倍に電子ズームするものとすると、パラメータ演算部３は、水平走査期間ＰＨ、垂直走査期間ＰＶ、垂直走査開始行ＶＳＴＲＴ、垂直走査行数ＶＳＩＺＥ、水平走査開始画素ＨＳＴＲＴ及び水平走査画素数ＨＳＩＺＥを次の（１）式から（６）式により演算する。

ＰＨ＝ＰＨｉ×Ｎ（１）
ＰＶ＝ＰＶｉ÷Ｎ（２）
ＶＳＴＲＴ＝ＶＳＩＺＥｉ÷２×（１−１／Ｎ）（３）
ＶＳＩＺＥ＝ＶＳＩＺＥｉ÷Ｎ（４）
ＨＳＴＲＴ＝ＨＳＩＺＥｉ÷２×（１−１／Ｎ）（５）
ＨＳＩＺＥ＝ＨＳＩＺＥｉ÷Ｎ（６）

例えば、ＰＨｉ＝８００、ＰＶｉ＝６００、ＨＳＩＺＥｉ＝６４０、ＶＳＩＺＥｉ＝４８０、Ｎ＝２とすると、上記（１）式から（６）式により、ＰＨ＝１６００、ＰＶ＝３００、ＶＳＴＲＴ＝１２０、ＶＳＩＺＥ＝２４０、ＨＳＴＲＴ＝１６０、ＨＳＩＺＥ＝３２０となる。なお、ＶＳＴＲＴは１行目の値を０とした値であり、ＨＳＴＲＴは１画素目の値を０とした値である。

撮像制御部４はパラメータ演算部３により演算された撮像パラメータ、すなわち水平走査期間ＰＨ、垂直走査期間ＰＶ、垂直走査開始行ＶＳＴＲＴ及び垂直走査行数ＶＳＩＺＥに基づき、イメージセンサ部１が走査する、有効画素領域とブランキング領域から構成されるフレームの走査領域を指定すると共に、イメージセンサ部１がフレームの走査領域を走査する際の走査タイミングを制御する。

図２は撮像制御部４が指定するフレームの走査領域を説明する図であり、ここでは、電子ズーム倍率が１倍のときの水平走査期間ＰＨｉ＝８００、垂直走査期間ＰＶｉ＝６００、水平走査画素数ＨＳＩＺＥｉ＝６４０、垂直走査行数ＶＳＩＺＥｉ＝４８０とすると、電子ズームの倍率が２倍のときに、フレームの走査領域はＰＨ×ＰＶ＝１６００×３００画素のサイズとなり、電子ズームする領域（斜線部分の３２０×２４０画素のサイズの領域）を含む有効画素領域（６４０×３００画素のサイズの領域）とブランキング領域から構成される。また、垂直走査開始行ＶＳＴＲＴは１２０、垂直走査行数ＶＳＩＺＥは２４０、水平走査開始画素ＨＳＴＲＴは１６０、水平走査画素数ＨＳＩＺＥは３２０である。

イメージセンサ部１は、撮像制御部４により指定されたフレームの走査領域を、撮像制御部４からの走査タイミングに基づき、後述するリセット走査と読み出し走査を行うことにより、入力した光信号を電気信号に変換して蓄積すると共に、蓄積されている電気信号を読み出して画像データとして出力する。

撮像制御部４により指定されたフレームの走査領域は、電子ズームの倍率が１倍のときは８００×６００画素のサイズであり、電子ズームの倍率が２倍のときは１６００×３００画素のサイズであり、走査領域のサイズが電子ズームの倍率に係りなく一定の４８００００画素のサイズになるので、イメージセンサ部１から出力される画像データのフレームレートは電子ズームの倍率に係りなく一定である。

ＲＷ制御部６はパラメータ演算部３により演算された撮像パラメータ、すなわち水平走査開始画素ＨＳＴＲＴ及び水平走査画素数ＨＳＩＺＥに基づき、イメージセンサ部１から出力された少なくともフレームの１行分の画像データをレジスタ５に書き込むと共に、レジスタ５に保持されている少なくともフレームの１行分の画像データを所定のフレームレートで読み出す。

電子ズームの倍率が１倍の場合には、図２に示すように水平走査画素数ＨＳＩＺＥｉ＝６４０なので、ＲＷ制御部６は６４０画素の１行分の画素データをＦＩＦＯ等により構成されたレジスタ５に書き込み、保持されている１行分の画像データを所定のフレームレートで読み出す。この処理は各行毎に行われ、ＶＳＩＺＥｉ＝４８０なので、４８０行分の処理を行うことにより１フレーム分の画像データが解像度変換部７に出力される。

電子ズームの倍率が２倍の場合には、図２に示すように水平走査開始画素ＨＳＴＲＴ＝１６０、水平走査画素数ＨＳＩＺＥ＝３２０なので、ＲＷ制御部６は３２０画素の１行分の画素データをＦＩＦＯ等により構成されたレジスタ５に書き込み、保持されている１行分の画像データを、電子ズームの倍率が１倍の場合と同じ所定のフレームレートで読み出す。この処理は各行毎に行われ、ＶＳＩＺＥ＝２４０なので、２４０行分の処理を行うことにより１フレームの中の電子ズームされる領域の画像データが解像度変換部７に出力される。

図３はＲＷ制御部６によるレジスタ５に対する画像データの書き込みと読み出しのタイミングチャートである。上記のように、ＲＷ制御部６は１行分の画像データのレジスタ５への書き込みが終了すると読み出しているが、電子ズームの倍率に係りなく同じフレームレートで読み出すためには、１行分の画素数が多いほど、前の時間からレジスタ５への書き込みを開始しなければならない。

すなわち、図３に示すように、電子ズームの倍率が１倍（Ｎ＝１）で１行分の画素数が多いフレーム０，１のレジスタ５への書き込み開始の時間ｔ１は、電子ズーム倍率が２倍（Ｎ＝２）で１行分の画素数が少ないフレーム２，３のレジスタ５への書き込み開始の時間ｔ２より、前の時間（ｔ１＞ｔ２）となっている。ここで、ｔ１，ｔ２は各フレームの読み出し開始時間を基準にした書き込み開始の時間である。このように、ＦＩＦＯ等のレジスタ５は、電子ズームの倍率に係りなく同じフレームレートを維持するために、電子ズームの倍率によるデータレートのずれを補正している。

解像度変換部７は、パラメータ演算部３により演算された撮像パラメータ、すなわち水平走査画素数ＨＳＩＺＥと垂直走査行数ＶＳＩＺＥに基づき、レジスタ５から読み出された画像データの補間処理を行い１フレーム分の画像データのサイズに変換して画像信号を出力する。

すなわち、解像度変換部７は、電子ズームの倍率が１倍の場合には、水平走査画素数ＨＳＩＺＥｉ＝６４０、垂直走査行数ＶＳＩＺＥｉ＝４８０なので、レジスタ５から読み出された画像データの補間処理をせずに、そのまま１フレーム分の画像データとして画像信号を出力する。

一方、解像度変換部７は、電子ズームの倍率が２倍の場合には、水平走査画素数ＨＳＩＺＥ＝３２０、垂直走査行数ＶＳＩＺＥ＝２４０なので、レジスタ５から読み出された画像データを、縦横２倍にし１フレーム分の画像データのサイズに変換して画像信号を出力する。

このような構成により、従来のような大容量のフレームメモリを使用しなくても、電子ズームを行う際のフレームレートを一定に保つことができる。この実施の形態１では、イメージセンサ部１として６４０×４８０画素のいわゆるＶＧＡサイズの場合について述べたが、イメージセンサ部１の画素数が増え解像度が上がれば、フレームメモリを使用しないことによる回路規模の削減効果がますます大きくなる。

この実施の形態１では、電子ズームを行う際に、フレームの画像データの中央部、すなわちフレームの中心点を中心としてズーム操作するようにしているが、フレームの中心から水平方向にＨＯＦＳだけオフセットし、垂直方向にＶＯＦＳだけオフセットした点を中心としてズーム操作する場合には、パラメータ演算部３は、垂直走査開始行ＶＳＴＲＴ及び水平走査開始画素ＨＳＴＲＴを次の（７）式、（８）式により演算する。
ＶＳＴＲＴ＝ＶＳＩＺＥｉ÷２×（１−１／Ｎ）＋ＶＯＦＳ（７）
ＨＳＴＲＴ＝ＨＳＩＺＥｉ÷２×（１−１／Ｎ）＋ＨＯＦＳ（８）

また、この実施の形態１では、電子ズームの倍率を１倍からＮ倍にする場合について説明したが、一般的に、電子ズームの倍率をＮ１倍からＮ２倍にする場合には、下記のようにすれば良い。

電子ズームの倍率がＮ１倍の場合の水平走査期間をＰＨ１、垂直走査期間をＰＶ１、垂直走査開始行をＶＳＴＲＴ１、垂直走査行数をＶＳＩＺＥ１、水平走査開始画素をＨＳＴＲＴ１、水平走査画素数ＨＳＩＺＥ１とし、フレームの画像データの中央部をＮ２倍に電子ズームするものとすると、パラメータ演算部３は、電子ズームの倍率がＮ２倍の場合の水平走査期間ＰＨ２、垂直走査期間ＰＶ２、垂直走査開始行ＶＳＴＲＴ２、垂直走査行数ＶＳＩＺＥ２、水平走査開始画素ＨＳＴＲＴ２及び水平走査画素数ＨＳＩＺＥ２を次の（９）式から（１４）式により演算する。

ＰＨ２＝ＰＨ１×（Ｎ２／Ｎ１）（９）
ＰＶ２＝ＰＶ１÷（Ｎ２／Ｎ１）（１０）
ＶＳＴＲＴ２＝ＶＳＩＺＥ１÷２×（１−Ｎ１／Ｎ２）（１１）
ＶＳＩＺＥ２＝ＶＳＩＺＥ１÷（Ｎ２／Ｎ１）（１２）
ＨＳＴＲＴ２＝ＨＳＩＺＥ１÷２×（１−Ｎ１／Ｎ２）（１３）
ＨＳＩＺＥ２＝ＨＳＩＺＥ１÷（Ｎ２／Ｎ１）（１４）

さらに一般的に、電子ズームの倍率をＮ１倍からＮ２倍にする場合で、フレームの中心から水平方向にＨＯＦＳだけオフセットし、垂直方向にＶＯＦＳだけオフセットした点を中心としてズーム操作する場合には、パラメータ演算部３は、垂直走査開始行ＶＳＴＲＴ２及び水平走査開始画素ＨＳＴＲＴ２を次の（１５）式、（１６）式により演算する。
ＶＳＴＲＴ２＝ＶＳＩＺＥ１÷２×（１−Ｎ１／Ｎ２）＋ＶＯＦＳ（１５）
ＨＳＴＲＴ２＝ＨＳＩＺＥ１÷２×（１−Ｎ１／Ｎ２）＋ＨＯＦＳ（１６）

このように、イメージセンサ部１は撮像制御部４により指定された電子ズームの倍率に基づき水平走査周期ＰＨと垂直走査期間ＰＶを変更させたフレームの走査領域を走査するが、次にイメージセンサ部１におけるリセット走査と読み出し走査と露光時間との関連について説明する。

図４はイメージセンサ部１が内部に備えている画素アレーにおけるリセット走査と読み出し走査を説明する図である。ここでは、イメージセンサ部１として、画素アレーを構成するＣＭＯＳイメージセンサに多いフォーカルプレーンシャッター型（行転送型）イメージセンサの場合について説明する。図４に示すように、画素アレーを横方向の行に分割した行単位で、シャッターがオープンすることで画素のリセット走査を行って画素を所定の電位に設定し、その後、入力した光信号に対応した電気信号を各画素に蓄積し、シャッターがクローズすることで各画素に蓄積されている電気信号を読み出す読み出し走査を行う。このリセット走査と読み出し走査は、全ての行を順番に１行ずつ選択して行われる。

図４において、行を順次走査する周期が水平走査周期ＰＨであり、リセット走査から読み出し走査までの時間が露光時間となる。露光時間が１０×ＰＨであるということは、リセット走査中の１０行上の行に読み出し走査があることを意味している。

図５はフレームのリセット走査及び読み出し走査のタイミングを示す図である。図５に示すように、フレームＮのリセット走査における各行の行リセットタイミングは、フレームＮの読み出し走査における各行の行読み出しタイミングに対して先行し、各行の行リセットタイミングと行読み出しタイミングの差が露光時間となる。また、行リセットタイミングと行読み出しタイミングの行方向の時間方向に対する勾配は、拡大図に示すように水平走査周期ＰＨにより変化し、水平走査周期ＰＨが長いほど勾配が緩やかになり、水平走査周期ＰＨが短いほど勾配が急峻になる。

図５に示すように、各行の露光タイミングは異なるが、各行の露光時間は全ての行で同一になり、フレーム全体にわたり均一な画像が得られる。図５において、フレームレートを一定にするために、各フレームの読み出しサイクルは一定であるが、被写体の明るさに応じて露光時間を変化させるために、各フレームのリセットサイクルは一定とならず必要な露光時間に応じて変化させる必要がある。

図６は露光時間が短い場合のフレームのリセット走査及び読み出し走査のタイミングを示す図である。図６に示すように、フレームＮのリセット走査における行リセットタイミングと読み出し走査における行読み出しタイミングが近くて露光時間が短く、フレームＮのリセット走査期間がその直前のフレームＮ−１の読み出し走査期間に重なっていない。

図７は露光時間が長い場合のフレームのリセット走査及び読み出し走査のタイミングを示す図である。図７に示すように、フレームＮのリセット走査における行リセットタイミングと読み出し走査における行読み出しタイミングが大きく離れて露光時間が長く、フレームＮのリセット走査期間はその直前のフレームＮ−１の読み出し走査期間にほとんど重なっている。

図８は露光時間が長い場合で電子ズームの倍率が変化した場合のフレームのリセット走査及び読み出し走査のタイミングを示す図である。すなわち、図８は露光時間が長くフレームＮのリセット走査期間がその直前のフレームＮ−１の読み出し走査期間に一部重なっているときに、電子ズームの倍率が変化しイメージセンサ部１のフレームの走査領域が変化した場合のフレームのリセット走査及び読み出し走査のタイミングを示す図である。ここでは、フレームＮ−１までは１倍のズーム倍率（水平走査期間ＰＨ＝ＰＨ１）で読み出し、フレームＮから２倍のズーム倍率（水平走査期間ＰＨ＝ＰＨ２）で読み出すよう指示された場合を示している。

図８に示すように、フレームＮのリセット走査が開始されると、フレームＮの行リセットタイミングは、１倍の電子ズームの倍率に対応する水平走査期間ＰＨ１で決定される勾配の直線（イ）のように変化するが、電子ズームの倍率が２倍に変化してフレームＮの読み出し走査が開始されると、フレームＮの行読み出しタイミングは、２倍の電子ズームの倍率に対応する水平走査期間ＰＨ２で決定される勾配の直線（ロ）のように変化すると共に、フレームＮの行リセットタイミングは、直線（ロ）と勾配が同一の直線（ハ）のように変化する。直線（ニ）は直線（イ）と勾配が同一の仮想の行読み出しタイミングで、直線（ホ）は直線（ハ）と勾配が同一の仮想の行読み出しタイミングであり、直線（ニ）と直線（ホ）で示すフレームＮの仮想の行読み出しタイミングは、直線（イ）と直線（ハ）で示すフレームＮの行リセットタイミングに対して露光時間が一定となるタイミングである。

しかし、実際には、フレームＮの行読み出しタイミングは直線（ロ）のように変化するので、図８の直線（ロ）、（ニ）、（ホ）で囲まれた斜線で示す時間だけ露光時間がオーバーとなり、画像が明るくなりすぎると共に、行により露光時間が変化するため、電子ズームの倍率を変化開始させるフレームNの画像が均一にならず明暗のムラができる。図８に示す例では、電子ズームの倍率が大きくなった場合を示しているが、電子ズームの倍率が小さくなった場合には、露光時間が逆にアンダーとなり、画像が暗くなりすぎると共に画像が均一にならず明暗のムラができる。

図９はこの発明の実施の形態１による撮像装置におけるイメージセンサ部の内部構成を示す図である。図９において、画素アレー１１は例えばＶＧＡ相当の６４０×４８０画素のサイズを有している。リセット走査回路１２ａ（第１のリセット走査回路）、リセット走査回路１２ｂ（第２のリセット走査回路）は、それぞれ行アドレスカウンタ１２１ａ，１２１ｂ、行アドレスデコーダ１２２ａ，１２２ｂ、行ドライバ１２３ａ，１２３ｂにより構成され、画素アレー１１の各行毎にリセット走査を行う。このリセット走査回路１２ａ，１２ｂのように二重系になっているのは、短い露光時間から長い露光時間に変化したときに、１フレーム上でリセット走査を２回行えるようにするためである。また、読み出し走査回路１３は行アドレスカウンタ１３１、行アドレスデコーダ１３２、行ドライバ１３３により構成され、画素アレー１１の各行毎に読み出し走査を行う。

タイミング制御部１４はイメージセンサ部１の種々の動作タイミングを制御するもので、撮像制御部４により指定された垂直走査期間ＰＶに露光時間を考慮して決定されるサイクルで、各フレームのリセット走査開始タイミング信号２１０を出力すると共に、垂直走査期間ＰＶで決定されるサイクルで、各フレームの読み出し走査開始タイミング信号２２０を出力する。ＰＨ書き込みレジスタ１５では撮像制御部４から指定された水平走査期間ＰＨ１０１が書き込まれて次の指定まで保持される。ＰＨマスタレジスタ１６では、ＰＨ書き込みレジスタ１５に保持されている水平走査期間ＰＨ１０１が、タイミング制御部１４からの読み出し走査開始タイミング信号２２０の出力に同期して書き込まれて次の読み出し走査開始タイミングまで保持される。

また、リセット走査用ＰＨスレーブレジスタ１７では、タイミング制御部１４からのリセット走査開始タイミング信号２１０の出力に同期して、ＰＨマスタレジスタ１６に保持されている水平走査期間ＰＨ１０１が書き込まれて次のリセット走査開始タイミングまで保持される。リセット走査用ＰＨカウンタ１８は、リセット走査用ＰＨスレーブレジスタ１７に保持されている水平走査期間ＰＨ１０１に一致するまで１行の画素数をカウントし、１行終了毎に行クロック１１１を出力する。

同様に、読み出し走査用ＰＨスレーブレジスタ１９では、タイミング制御部１４からの次の読み出し走査開始タイミング信号２２０の出力に同期して、ＰＨマスタレジスタ１６に保持されている水平走査期間ＰＨ１０１が書き込まれて次の読み出し走査開始タイミングまで保持される。読み出し走査用ＰＨカウンタ２０は、読み出し走査用ＰＨスレーブレジスタ１９に保持されている水平走査期間ＰＨ１０１に一致するまで１行の画素数をカウントし、１行終了毎に行クロック１１２を出力する。

リセット走査回路１２ａにおける行アドレスカウンタ１２１ａは、タイミング制御部１４から次のリセット走査開始タイミング信号２１０が出力されると、撮像制御部４から出力される有効画素領域を示す垂直走査開始行ＶＳＴＲＴ１０２及び垂直走査行数ＶＳＩＺＥ１０３を入力し、垂直走査開始行ＶＳＴＲＴ１０２を初期値と設定し、垂直走査終了行であるＶＥＮＤ＝ＶＳＴＲＴ＋ＶＳＩＺＥ−１まで行クロック１１１をカウントし、それ以降、次に垂直走査開始行ＶＳＴＲＴ１０２が初期値として設定されるまで出力マスク信号を出力する。行アドレスデコーダ１２２ａは、行アドレスカウンタ１２１ａの値をデコードし、出力マスク信号が出力されているときはデコード出力をマスクする。行ドライバ１２３ａは、行アドレスデコーダ１２２ａでデコードされた行アドレスの複数の画素を同時に選択し、画素アレー１１のリセット走査を行う。

タイミング制御部１４から次のリセット走査開始タイミング信号２１０が出力されると、リセット走査回路１２ｂにおける行アドレスカウンタ１２１ｂは、撮像制御部４から出力される有効画素領域を示す垂直走査開始行ＶＳＴＲＴ１０２及び垂直走査行数ＶＳＩＺＥ１０３を入力し、垂直走査開始行ＶＳＴＲＴ１０２を初期値と設定し、垂直走査終了行であるＶＥＮＤ＝ＶＳＴＲＴ＋ＶＳＩＺＥ−１まで行クロック１１１をカウントし、それ以降、次に垂直走査開始行ＶＳＴＲＴ１０２が初期値として設定されるまで出力マスク信号を出力する。行アドレスデコーダ１２２ｂは、行アドレスカウンタ１２１ｂの値をデコードし、出力マスク信号が出力されているときはデコード出力をマスクする。行ドライバ１２３ｂは、行アドレスデコーダ１２２ｂでデコードされた行アドレスの複数の画素を同時に選択し、画素アレー１１のリセット走査を行う。このように、リセット走査回路１２ａ，１２ｂは撮像制御部４からリセット走査開始タイミング信号２１０が出力されるたびに交互に動作する。

読み出し走査回路１３における行アドレスカウンタ１３１は、タイミング制御部１４から次の読み出し走査開始タイミング信号２２０が出力されると、撮像制御部４から出力される有効画素領域を示す垂直走査開始行ＶＳＴＲＴ１０２及び垂直走査行数ＶＳＩＺＥ１０３を入力し、垂直走査開始行ＶＳＴＲＴ１０２を初期値と設定し、垂直走査終了行であるＶＥＮＤ＝ＶＳＴＲＴ＋ＶＳＩＺＥ−１まで行クロック１１２をカウントし、それ以降、次に垂直走査開始行ＶＳＴＲＴ１０２が初期値として設定されるまで出力マスク信号を出力する。行アドレスデコーダ１３２は、行アドレスカウンタ１３１の値をデコードし、出力マスク信号が出力されているときはデコード出力をマスクする。行ドライバ１３３は、行アドレスデコーダ１３２でデコードされた行アドレスの複数の画素を同時に選択し、画素アレー１１から１行ずつ画像データの読み出し走査を行う。

図１０はこの発明の実施の形態１による撮像装置のイメージセンサ部における露光時間が長い場合で電子ズームの倍率が変化した場合のフレームのリセット走査及び読み出し走査のタイミングを示す図である。ここでは、図８と同様に、露光時間が長くフレームＮのリセット走査期間が前のフレームＮ−１の読み出し走査期間に一部重なっているときに、フレームＮ−１までは１倍のズーム倍率（水平走査期間ＰＨ＝ＰＨ１）で読み出し、フレームＮから２倍のズーム倍率（水平走査期間ＰＨ＝ＰＨ２）で読み出すよう指示された場合を示している。また、図１０では、図９におけるＰＨ書き込みレジスタ１５、ＰＨマスタレジスタ１６、リセット走査用ＰＨスレーブレジスタ１７、読み出し走査用ＰＨスレーブレジスタ１９のＰＨ１０１（ＰＨ１，ＰＨ２）の書き込みタイミングを示している。

図９において、ＰＨ書き込みレジスタ１５、ＰＨマスタレジスタ１６、リセット走査用ＰＨスレーブレジスタ１７、読み出し走査用ＰＨスレーブレジスタ１９には、フレームＮ−１までの１倍のズーム倍率に対応する水平走査期間ＰＨ１０１＝ＰＨ１が保持されている。撮像制御部４からズーム倍率が２倍に変化したことにより出力された水平走査周期ＰＨ１０１＝ＰＨ２はＰＨ書き込みレジスタ１５に書き込まれる。このＰＨ書き込みレジスタ１５への書き込みはズーム倍率が変更されたフレームを読み出すタイミングの２フレーム前のタイミングで行われる。

すなわち、図１０において、フレームＮからズーム倍率を変更する場合には、フレームＮの２つ前のフレームＮ−２の読み出し走査中の時刻ｔ１１に、今まで１倍の電子ズームの倍率に対応する水平走査周期ＰＨ１０１＝ＰＨ１を保持していたＰＨ書き込みレジスタ１５に、変更された２倍の電子ズームの倍率に対応する水平走査周期ＰＨ１０１＝ＰＨ２が書き込まれる。

次に読み出し走査を行うフレーム、すなわち、図１０のフレームＮ−１の読み出し走査の開始時刻ｔ１２で、タイミング制御部１４からＰＨマスタレジスタ１６に読み出し走査開始タイミング信号２２０が出力されて、ＰＨ書き込みレジスタ１５に保持されている水平走査期間ＰＨ１０１＝ＰＨ２がＰＨマスタレジスタ１６に書き込まれる。

次にリセット走査を行うフレーム、すなわちフレームＮのリセット走査の開始時刻ｔ１３で、タイミング制御部１４からリセット走査用ＰＨスレーブレジスタ１７にリセット走査開始タイミング信号２１０が出力されて、ＰＨマスタレジスタ１６に保持されている水平走査期間ＰＨ１０１＝ＰＨ２がリセット走査用ＰＨスレーブレジスタ１７に書き込まれる。

リセット走査用ＰＨカウンタ１８は、リセット走査用ＰＨスレーブレジスタ１７に保持されている水平走査期間ＰＨ１０１＝ＰＨ２に一致するまで１行の画素数をカウントし、１行終了毎に行クロック１１１を出力する。このようにして、図１０に示すように、フレームＮのリセット走査における行リセットタイミングの行方向の時間方向に対する勾配は、変更された水平走査周期ＰＨ１０１＝ＰＨ２に対応した勾配となる。

次に読み出し走査を行うフレーム、すなわち、フレームＮの読み出し走査の開始時刻ｔ１４で、タイミング制御部１４から読み出し走査用ＰＨスレーブレジスタ１９に読み出し走査開始タイミング信号２２０が出力されて、ＰＨマスタレジスタ１６に保持されている水平走査期間ＰＨ１０１＝ＰＨ２が読み出し走査用ＰＨスレーブレジスタ１９に書き込まれる。

読み出し走査用ＰＨカウンタ２０は、読み出し走査用ＰＨスレーブレジスタ１９に保持されている水平走査期間ＰＨ１０１＝ＰＨ２に一致するまで１行の画素数をカウントし、１行終了毎に行クロック１１２を出力する。このようにして、図１０に示すように、フレームＮの読み出し走査における行リセットタイミングの行方向の時間方向に対する勾配は、変更された水平走査期間ＰＨ１０１＝ＰＨ２に対応した勾配となる。

このように、フレームＮから２倍のズーム倍率（水平走査期間ＰＨ１０１＝ＰＨ２）で読み出すよう指示された場合に、フレームＮのリセット走査における行リセットタイミングの行方向の時間方向に対する勾配は、フレームＮの読み出し走査における行読み出しタイミングの行方向の時間方向に対する勾配と同様に、変更された水平走査周期ＰＨ２に対応した勾配となり、露光時間は一定で均一な画像が得られる。

以上のように、この実施の形態１によれば、撮像制御部４が電子ズームの倍率に基づき水平走査期間と垂直走査期間を変更させたフレームの走査領域を指定し、イメージセンサ部１が撮像制御部４により指定されたフレームの走査領域について、フレームの各行毎に、リセット走査を行って入力した光信号を電気信号に変換して内部に備えている画素アレー１１に蓄積し、読み出し走査を行って画素アレー１１に蓄積されている電気信号を読み出して画像データとして出力し、ＲＷ制御部６が電子ズームの倍率に基づきイメージセンサ部１から出力されたフレームの少なくとも１行分の画像データをレジスタ５に書き込むと共に、保持されている少なくとも１行分の画像データを所定のフレームレートで読み出し、解像度変換部７が電子ズームの倍率に基づき読み出された画像データの補間処理を行い１フレーム分の画像データのサイズに変換することにより、大容量のフレームメモリを使用せずに電子ズームを行う際のフレームレートを一定に保つことができるという効果が得られる。

また、この実施の形態１によれば、イメージセンサ部１が撮像制御部４により一連のフレームの中のフレームＮより水平走査期間と垂直走査期間の変更の指示を受けた場合に、フレームＮのリセット走査期間がフレームＮ−１の読み出し走査期間に一部重なる場合でも、変更された水平走査期間と垂直走査期間に基づきフレームＮのリセット走査と読み出し走査を行うことにより、露光時間を一定にすることができるので均一な画像が得られるという効果がある。

なお、この実施の形態１の図１において、解像度変換部７をイメージセンサ部１とレジスタ５の間に置き換え、電子ズームの倍率に基づき、イメージセンサ部１から読み出された画像データの補間処理を行い、ＲＷ制御部６が電子ズームの倍率に基づき、補間処理された画像データをレジスタ５に一時蓄積して所定のフレームレートで読み出すように構成しても良く、電子ズームを行う際のフレームレートを一定に保つことが可能である。

実施の形態２．
上記実施の形態１では、フレームＮのリセット走査期間が前のフレームＮ−１の読み出し走査期間に一部重なっているときに電子ズームの倍率を変化させても、フレームＮのリセット走査における行リセットタイミングの行方向の時間方向に対する勾配を、フレームＮの読み出し走査における行読み出しタイミングの行方向の時間方向に対する勾配と一致させることにより、露光時間を一定にしているが、例えば、短い露光時間から長い露光時間に変化した際に、フレームＮのリセット走査期間がその前のフレームＮ−１のリセット走査期間と一部重なる場合には、フレームＮ−１の露光時間が一定とならず、均一な画像が得られないことがある。この実施の形態２では、このような場合でもフレームＮ−１の露光時間を一定にして均一な画像を得るものである。

図１１は短い露光時間から長い露光時間に変化した際に電子ズームの倍率が変化した場合のフレームのリセット走査及び読み出し走査のタイミングを示す図である。この図１１は、図１０と同様に露光時間が長くフレームＮのリセット走査期間が前のフレームＮ−１の読み出し走査期間に一部重なっていると共に、露光時間が長いフレームＮのリセット走査期間が露光時間が短かった前のフレームＮ−１のリセット走査期間に一部重なっている場合を示している。

図１１において、フレームＮのリセット走査期間とフレームＮ−１のリセット走査期間が（ヘ）の部分で重なっており、時刻ｔ１３で図９のリセット走査用ＰＨスレーブレジスタ１７に変更されたズーム倍率に基づく水平走査期間ＰＨ１０１＝ＰＨ２が書き込まれることにより、図９のリセット走査回路１２ａによるフレームＮのリセット走査における水平走査期間ＰＨ１０１＝ＰＨ２に対応した勾配の行リセットタイミングが得られるが、図９のリセット走査回路１２ｂによるフレームＮ−１のリセット走査における行リセットタイミングが、水平走査期間ＰＨ１０１＝ＰＨ１に対応した勾配から水平走査期間ＰＨ１００＝ＰＨ２に対応した勾配に変化してしまい、フレームＮ−１の露光時間が一定とならず均一な画像を得られない。

図１２はこの発明の実施の形態２による撮像装置におけるイメージセンサ部の内部構成を示す図である。図１２に示すイメージセンサ部１は、図９に示すイメージセンサ部１と比較して、リセット走査用ＰＨスレーブレジスタ１７ａ（第１のリセット走査用ＰＨスレーブレジスタ）とリセット走査用ＰＨスレーブレジスタ１７ｂ（第２のリセット走査用ＰＨスレーブレジスタ）、及びリセット走査用ＰＨカウンタ１８ａ（第１のリセット走査用ＰＨカウンタ）とリセット走査用ＰＨカウンタ１８ｂ（第２のリセット走査用ＰＨカウンタ）が二重系になっていると共に、タイミング制御部１４からの読み出し走査開始タイミング信号２２０又は露光時間変化信号２３０により、ＰＨマスタレジスタ１６からリセット走査用ＰＨスレーブレジスタ１７ａ，１７ｂへの書き込みタイミングを決めるリセット走査開始タイミング信号２１０の出力先を、リセット走査用ＰＨスレーブレジスタ１７ａ側（第１の出力）又はリセット走査用ＰＨスレーブレジスタ１７ｂ側（第２の出力）に交互に切り換える切換部２１が追加されている。

次に動作について説明する。
タイミング制御部１４は、実施の形態１の図９に示すタイミング制御部１４と同様に、各フレームのリセット走査開始タイミング信号２１０と各フレームの読み出し走査開始タイミング信号２２０を出力すると共に、露光時間が変化したことを示す、又は短い露光時間から長い露光時間に変化したことを示す露光時間変化信号２３０を出力する。ＰＨ書き込みレジスタ１５、ＰＨマスタレジスタ１６、読み出し走査用ＰＨスレーブレジスタ１９、読み出し走査用ＰＨカウンタ２０、読み出し走査回路１３の動作は、実施の形態１の図９に示すものと同じである。

切換部２１は、タイミング制御部１４からの読み出し走査開始タイミング信号２２０が入力されるたびに、リセット走査開始タイミング信号２１０の出力先をリセット走査用ＰＨスレーブレジスタ１７ａ側又はリセット走査用ＰＨスレーブレジスタ１７ｂ側に交互に切り換える。又は、切換部２１は、タイミング制御部１４からの露光時間変化信号２３０が入力されるたびに、リセット走査開始タイミング信号２１０の出力先をリセット走査用ＰＨスレーブレジスタ１７ａ側又はリセット走査用ＰＨスレーブレジスタ１７ｂ側に交互に切り換える。

リセット走査用ＰＨスレーブレジスタ１７ａでは、タイミング制御部１４から切換部２１を介してのリセット走査開始タイミング信号２１０の出力に同期して、ＰＨマスタレジスタ１６に保持されている水平走査期間ＰＨ１０１が書き込まれて次のリセット走査開始タイミングまで保持される。リセット走査用ＰＨカウンタ１８ａは、リセット走査用ＰＨスレーブレジスタ１７ａに保持されている水平走査期間ＰＨ１０１に一致するまで１行の画素数をカウントし、１行終了毎に行クロック１１１を出力する。

同様に、リセット走査用ＰＨスレーブレジスタ１７ｂでは、タイミング制御部１４から切換部２１を介してのリセット走査開始タイミング信号２１０の出力に同期して、ＰＨマスタレジスタ１６に保持されている水平走査期間ＰＨ１０１が書き込まれて次のリセット走査開始タイミングまで保持される。リセット走査用ＰＨカウンタ１８ｂは、リセット走査用ＰＨスレーブレジスタ１７ｂに保持されている水平走査期間ＰＨ１０１に一致するまで１行の画素数をカウントし、１行終了毎に行クロック１１１を出力する。

リセット走査回路１２ａにおける行アドレスカウンタ１２１ａは、タイミング制御部１４から切換部２１を介してリセット走査開始タイミング信号２１０が出力されると、撮像制御部４から出力される有効画素領域を示す垂直走査開始行ＶＳＴＲＴ１０２及び垂直走査行数ＶＳＩＺＥ１０３を入力し、垂直走査開始行ＶＳＴＲＴ１０２を初期値と設定し、垂直走査終了行であるＶＥＮＤ＝ＶＳＴＲＴ＋ＶＳＩＺＥ−１まで行クロック１１１をカウントし、それ以降、次に垂直走査開始行ＶＳＴＲＴ１０２が初期値として設定されるまで出力マスク信号を出力する。行アドレスデコーダ１２２ａは、行アドレスカウンタ１２１ａの値をデコードし、出力マスク信号が出力されているときはデコード出力をマスクする。行ドライバ１２３ａは、行アドレスデコーダ１２２ａでデコードされた行アドレスの複数の画素を同時に選択し、画素アレー１１のリセット走査を行う。

同様に、リセット走査回路１２ｂにおける行アドレスカウンタ１２１ｂは、タイミング制御部１４から切換部２１を介してリセット走査開始タイミング信号２１０が出力されると、撮像制御部４から出力される有効画素領域を示す垂直走査開始行ＶＳＴＲＴ１０２及び垂直走査行数ＶＳＩＺＥ１０３を入力し、垂直走査開始行ＶＳＴＲＴ１０２を初期値と設定し、垂直走査終了行であるＶＥＮＤ＝ＶＳＴＲＴ＋ＶＳＩＺＥ−１まで行クロック１１１をカウントし、それ以降、次に垂直走査開始行ＶＳＴＲＴ１０２が初期値として設定されるまで出力マスク信号を出力する。行アドレスデコーダ１２２ｂは、行アドレスカウンタ１２１ｂの値をデコードし、出力マスク信号が出力されているときはデコード出力をマスクする。行ドライバ１２３ｂは、行アドレスデコーダ１２２ｂでデコードされた行アドレスの複数の画素を同時に選択し、画素アレー１１のリセット走査を行う。

図１３はこの発明の実施の形態２による撮像装置のイメージセンサ部における短い露光時間から長い露光時間に変化した際に電子ズームの倍率が変化した場合のフレームのリセット走査及び読み出し走査のタイミングを示す図である。この図１３は、図１１と同様に露光時間が長くフレームＮのリセット走査期間が前のフレームＮ−１の読み出し走査期間に一部重なっていると共に、露光時間の長いフレームＮのリセット走査期間が露光時間が短かった前のフレームＮ−１のリセット走査期間に一部重なっている場合で、フレームＮ−１までは１倍のズーム倍率（水平走査期間ＰＨ１０１＝ＰＨ１）で読み出し、フレームＮから２倍のズーム倍率（水平走査期間ＰＨ１０１＝ＰＨ２）で読み出すよう指示された場合を示している。また、図１３では、図１２におけるＰＨ書き込みレジスタ１５、ＰＨマスタレジスタ１６、リセット走査用ＰＨスレーブレジスタ１７ａ，１７ｂ、読み出し走査用ＰＨスレーブレジスタ１９のＰＨ１０１（ＰＨ１，ＰＨ２）の書き込みタイミングを示している。

図１２において、ＰＨ書き込みレジスタ１５、ＰＨマスタレジスタ１６、リセット走査用ＰＨスレーブレジスタ１７ｂ、読み出し走査用ＰＨスレーブレジスタ１９には、フレームＮ−１までの１倍のズーム倍率に対応する水平走査期間ＰＨ１０１＝ＰＨ１が保持されている。ここで、リセット走査用ＰＨスレーブレジスタ１７ａには、任意の水平走査期間ＰＨ１０１が保持されているものとする。

図１３において、フレームＮからズーム倍率を変更する場合には、フレームＮの２つ前のフレームＮ−２の読み出し走査中の時刻ｔ１１に、今まで１倍の電子ズームの倍率に対応する水平走査周期ＰＨ１０１＝ＰＨ１を保持していたＰＨ書き込みレジスタ１５に、変更された２倍の電子ズームの倍率に対応する水平走査周期ＰＨ１０１＝ＰＨ２が書き込まれる。

次に読み出し走査を行うフレーム、すなわち、図１３のフレームＮ−１の読み出し走査の開始時刻ｔ１２で、タイミング制御部１４からＰＨマスタレジスタ１６に読み出し走査開始タイミング信号２２０が出力されて、ＰＨ書き込みレジスタ１５に保持されている水平走査期間ＰＨ１０１＝ＰＨ２がＰＨマスタレジスタ１６に書き込まれると共に、切換部２１の出力先を例えばリセット走査用ＰＨスレーブレジスタ１７ｂ側からリセット走査用ＰＨスレーブレジスタ１７ａ側に切り換える。ここでは、タイミング制御部１４からの露光時間が変化したことを示す、又は短い露光時間から長い露光時間に変化したことを示す露光時間変化信号２３０により、切換部２１の出力先を例えばリセット走査用ＰＨスレーブレジスタ１７ｂ側からリセット走査用ＰＨスレーブレジスタ１７ａ側に切り換えても良い。

次にリセット走査を行うフレーム、すなわちフレームＮのリセット走査の開始時刻ｔ１３で、タイミング制御部１４から切換部２１を介してリセット走査用ＰＨスレーブレジスタ１７ａにリセット走査開始タイミング信号２１０が出力されて、ＰＨマスタレジスタ１６に保持されている水平走査期間ＰＨ１０１＝ＰＨ２がリセット走査用ＰＨスレーブレジスタ１７ａに書き込まれる。このとき、リセット走査用ＰＨスレーブレジスタ１７ｂでは、以前に保持されていた１倍の電子ズームの倍率に対応する水平走査期間ＰＨ１０１＝ＰＨ１がそのまま保持される。

リセット走査用ＰＨカウンタ１８ａは、リセット走査用ＰＨスレーブレジスタ１７ａに保持されている水平走査期間ＰＨ１０１＝ＰＨ２に一致するまで１行の画素数をカウントし、１行終了毎に行クロック１１１を出力する。このようにして、図１３に示すように、フレームＮのリセット走査における行リセットタイミングの行方向の時間方向に対する勾配は、変更された水平走査周期ＰＨ１０１＝ＰＨ２に対応した勾配となる。

一方、リセット走査用ＰＨカウンタ１８ｂは、リセット走査用ＰＨスレーブレジスタ１７ｂに保持されている水平走査期間ＰＨ１０１＝ＰＨ１に一致するまで１行の画素数をカウントし、１行終了毎に行クロック１１１を出力するので、図１３に示すように、フレームＮ−１のリセット走査における行リセットタイミングの行方向の時間方向に対する勾配は、時刻ｔ１３以前の水平走査周期ＰＨ１０１＝ＰＨ１に対応した勾配となる。

次に読み出し走査を行うフレーム、すなわち、フレームＮの読み出し走査の開始時刻ｔ１４で、タイミング制御部１４から読み出し走査用ＰＨスレーブレジスタ１９に読み出し走査開始タイミング信号２２０が出力されて、ＰＨマスタレジスタ１６に保持されている水平走査期間ＰＨ１０１＝ＰＨ２が読み出し走査用ＰＨスレーブレジスタ１９に書き込まれる。このとき、タイミング制御部１４から切換部２１にも読み出し走査開始タイミング信号２２０が出力されることにより、切換部２１はリセット走査開始タイミング信号２１０の出力先をリセット走査用ＰＨレジスタ１７ａ側よりリセット走査用ＰＨレジスタ１７ｂ側に切り換えるが、リセット走査用ＰＨレジスタ１７ｂはタイミング制御部１４から次のリセット走査開始タイミング信号２１０が入力されるまで、水平走査期間ＰＨ１０１＝ＰＨ１を保持している。

読み出し走査用ＰＨカウンタ２０は、読み出し走査用ＰＨスレーブレジスタ１９に保持されている水平走査期間ＰＨ１０１＝ＰＨ２に一致するまで１行の画素数をカウントし、１行終了毎に行クロック１１２を出力する。このようにして、図１３に示すように、フレームＮの読み出し走査における行リセットタイミングの行方向の時間方向に対する勾配は、変更された水平走査期間ＰＨ１０１＝ＰＨ２に対応した勾配となる。

このように、フレームＮから２倍のズーム倍率（水平走査期間ＰＨ１０１＝ＰＨ２）で読み出すよう指示された場合に、フレームＮのリセット走査における行リセットタイミングの行方向の時間方向に対する勾配は、フレームＮの読み出し走査における行読み出しタイミングの行方向の時間方向に対する勾配と同様に、変更された水平走査周期ＰＨ２に対応した勾配となり、露光時間は一定で均一な画像が得られると共に、フレームＮ−１のリセット走査における行リセットタイミングの行方向の時間方向に対する勾配は、フレームＮ−１の読み出し走査における行読み出しタイミングの行方向の時間方向に対する勾配と同様に、変更前の水平走査周期ＰＨ１に対応した勾配となり、露光時間は一定で均一な画像が得られる。

以上のように、この実施の形態２によれば、実施の形態１と同様に、大容量のフレームメモリを使用せずに電子ズームを行う際のフレームレートを一定に保つことができるという効果が得られる。

また、この実施の形態２によれば、イメージセンサ部１が撮像制御部４により一連のフレームの中のフレームＮより水平走査期間と垂直走査期間の変更の指示を受けた場合に、フレームＮのリセット走査期間がフレームＮ−１の読み出し走査期間に一部重なる場合でも、変更された水平走査期間と垂直走査期間に基づき、フレームＮのリセット走査と読み出し走査を行うことにより、フレームＮの露光時間を一定にすることができるので、均一な画像が得られると共に、フレームＮのリセット走査期間がフレームＮ−１のリセット走査期間に一部重なる場合でも、変更前の水平走査期間と垂直走査期間に基づきフレームＮ−１のリセット走査と読み出し走査を行うことにより、フレームＮ−１の露光時間を一定にすることができるので均一な画像が得られるという効果が得られる。

上記実施の形態１及び上記実施の形態２では、簡単化のために遮光画素については省略しているが、遮光画素を走査する画素アレーについても、上記実施の形態１及び上記実施の形態２の説明に加えて、遮光画素の行数を有効画素の行数に繰り込むことで、同様の効果を得ることができる。

また、上記実施の形態１及び上記実施の形態２では、フォーカルプレーンシャッター型（行転送型）イメージセンサを前提に説明したが、ＸＹアクセス型イメージセンサの場合でも、リセット走査回路及び読み出し走査回路の列アドレスカウンタ、列アドレスデコーダ、列ドライバ等の詳細動作を除けばほとんど同じ動作で、同様の効果を得ることができる。

この発明の実施の形態１による撮像装置の構成を示すブロック図である。この発明の実施の形態１による撮像装置の撮像制御部が指定するフレームの走査領域を説明する図である。この発明の実施の形態１による撮像装置のＲＷ制御部によるレジスタに対する画像データの書き込みと読み出しのタイミングチャートである。イメージセンサ部が内部に備えている画素アレーにおけるリセット走査と読み出し走査を説明する図である。フレームのリセット走査及び読み出し走査のタイミングを示す図である。露光時間が短い場合のフレームのリセット走査及び読み出し走査のタイミングを示す図である。露光時間が長い場合のフレームのリセット走査及び読み出し走査のタイミングを示す図である。露光時間が長い場合で電子ズームの倍率が変化した場合のフレームのリセット走査及び読み出し走査のタイミングを示す図である。この発明の実施の形態１による撮像装置におけるイメージセンサ部の内部構成を示す図である。この発明の実施の形態１による撮像装置のイメージセンサ部における露光時間が長い場合で電子ズームの倍率が変化した場合のフレームのリセット走査及び読み出し走査のタイミングを示す図である。短い露光時間から長い露光時間に変化した際に電子ズームの倍率が変化した場合のフレームのリセット走査及び読み出し走査のタイミングを示す図である。この発明の実施の形態２による撮像装置におけるイメージセンサ部の内部構成を示す図である。この発明の実施の形態２による撮像装置のイメージセンサ部における短い露光時間から長い露光時間に変化した際に電子ズームの倍率が変化した場合のフレームのリセット走査及び読み出し走査のタイミングを示す図である。

符号の説明

１イメージセンサ部、２倍率指定部、３パラメータ演算部、４撮像制御部、５レジスタ、６ＲＷ制御部、７解像度変換部、１１画素アレー、１２ａ，１２ｂリセット走査回路、１３読み出し走査回路、１４タイミング制御部、１５ＰＨ書き込みレジスタ、１６ＰＨマスタレジスタ、１７，１７ａ，１７ｂリセット走査用ＰＨスレーブレジスタ、１８，１８ａ，１８ｂリセット走査用ＰＨカウンタ、１９読み出し走査用ＰＨスレーブレジスタ、２０読み出し走査用ＰＨカウンタ、２１切換部、１０１水平走査期間ＰＨ、１０２垂直走査開始行ＶＳＴＲＴ、１０３垂直走査行数ＶＳＩＺＥ、１１１行クロック、１１２行クロック、１２１ａ，１２１ｂ行アドレスカウンタ、１２２ａ，１２２ｂ行アドレスデコーダ、１２３ａ，１２３ｂ行ドライバ、１３１行アドレスカウンタ、１３２行アドレスデコーダ、１３３行ドライバ、２１０リセット走査開始タイミング信号、２２０読み出し走査開始タイミング信号、２３０露光時間変化信号。

Claims

電子ズームの倍率に基づき水平走査期間と垂直走査期間を変更させたフレームの走査領域を指定する撮像制御部と、
上記撮像制御部により指定されたフレームの走査領域について、フレームの各行毎に、リセット走査を行って入力した光信号を電気信号に変換して内部に備えている画素アレーに蓄積し、読み出し走査を行って上記画素アレーに蓄積されている電気信号を読み出して画像データとして出力すると共に、上記撮像制御部により一連のフレームの中のフレームＮより水平走査期間と垂直走査期間の変更の指示を受けた場合に、上記フレームＮのリセット走査期間が上記フレームＮの直前のフレームＮ−１の読み出し走査期間に一部重なる場合でも、変更された水平走査期間と垂直走査期間に基づき、上記フレームＮのリセット走査と読み出し走査を行うイメージセンサ部と、
上記イメージセンサ部から出力されるフレームの画像データの一部を保持するレジスタと、
上記電子ズームの倍率に基づき上記イメージセンサ部から出力されたフレームの少なくとも１行分の画像データを上記レジスタに書き込むと共に、保持されている少なくとも１行分の画像データを所定のフレームレートで読み出すＲＷ制御部と、
上記電子ズームの倍率に基づき読み出された画像データの補間処理を行い１フレーム分の画像データのサイズに変換する解像度変換部とを備えた撮像装置。
イメージセンサ部は、
撮像制御部より指定された垂直走査期間に露光時間を考慮して決定されるサイクルで、各フレームのリセット走査開始タイミング信号を出力すると共に、上記垂直走査期間で決定されるサイクルで、各フレームの読み出し走査開始タイミング信号を出力するタイミング制御部と、
上記タイミング制御部より出力される読み出し走査開始タイミング信号の出力に同期して、上記撮像制御部より指定された水平走査期間が書き込まれるＰＨマスタレジスタと、
上記タイミング制御部より出力されるリセット走査開始タイミング信号の出力に同期して、上記ＰＨマスタレジスタに保持されている水平走査期間が書き込まれるリセット走査用ＰＨスレーブレジスタと、
上記リセット走査用ＰＨスレーブレジスタに保持されている水平走査期間に一致するまで１行の画素数をカウントし、１行毎に行クロックを出力するリセット走査用ＰＨカウンタと、
上記撮像制御部より指定された有効画素領域を示す垂直走査開始行及び垂直走査行数に基づき、有効画素領域の垂直走査終了行まで、上記リセット走査用ＰＨカウンタより出力される行クロックをカウントし、カウント結果をデコードしてデコードされた行アドレスの複数の画素を選択し、画素アレーのリセット走査を、上記タイミング制御部より出力されるリセット走査開始タイミング信号により交互に行う第１及び第２のリセット走査回路と、
上記タイミング制御部より出力される読み出し走査開始タイミング信号の出力に同期して、上記ＰＨマスタレジスタに保持されている水平走査期間が書き込まれる読み出し走査用ＰＨスレーブレジスタと、
上記読み出し走査用ＰＨスレーブレジスタに保持されている水平走査期間に一致するまで１行の画素数をカウントし、１行毎に行クロックを出力する読み出し走査用ＰＨカウンタと、
上記撮像制御部より指定された有効画素領域を示す垂直走査開始行及び垂直走査行数に基づき、有効画素領域の垂直走査終了行まで、上記読み出し走査用ＰＨカウンタより出力される行クロックをカウントし、カウント結果をデコードしてデコードされた行アドレスの複数の画素を選択し、上記画素アレーの読み出し走査を、上記タイミング制御部より出力される読み出し走査開始タイミング信号により行う読み出し走査回路とを備えたことを特徴とする請求項１記載の撮像装置。
イメージセンサ部は、撮像制御部により一連のフレームの中のフレームＮより水平走査期間と垂直走査期間の変更の指示を受けた場合に、上記フレームＮのリセット走査期間がフレームＮ−１のリセット走査期間に一部重なる場合でも、変更前の水平走査期間と垂直走査期間に基づき上記フレームＮ−１のリセット走査を行うことを特徴とする請求項１記載の撮像装置。
イメージセンサ部は、
撮像制御部より指定された垂直走査期間に露光時間を考慮して決定されるサイクルで、各フレームのリセット走査開始タイミング信号を出力すると共に、上記垂直走査期間で決定されるサイクルで、各フレームの読み出し走査開始タイミング信号を出力するタイミング制御部と、
上記撮像制御部より指定された水平走査期間が、上記タイミング制御部より出力される読み出し走査開始タイミング信号の出力に同期して書き込まれるＰＨマスタレジスタと、
上記タイミング制御部より出力される読み出し走査開始タイミング信号により第１の出力と第２の出力を切り換える切換部と、
上記タイミング制御部から上記切換部により切り換えられた第１の出力を介して出力されるリセット走査開始タイミング信号の出力に同期して、上記ＰＨマスタレジスタに保持されている水平走査期間が書き込まれる第１のリセット走査用ＰＨスレーブレジスタと、
上記タイミング制御部から上記切換部により切り換えられた第２の出力を介して出力されるリセット走査開始タイミング信号の出力に同期して、上記ＰＨマスタレジスタに保持されている水平走査期間が書き込まれる第２のリセット走査用ＰＨスレーブレジスタと、
上記第１のリセット走査用ＰＨスレーブレジスタに保持されている水平走査期間に一致するまで１行の画素数をカウントし、１行毎に行クロックを出力する第１のリセット走査用ＰＨカウンタと、
上記第２のリセット走査用ＰＨスレーブレジスタに保持されている水平走査期間に一致するまで１行の画素数をカウントし、１行毎に行クロックを出力する第２のリセット走査用ＰＨカウンタと、
上記撮像制御部より指定された有効画素領域を示す垂直走査開始行及び垂直走査行数に基づき、有効画素領域の垂直走査終了行まで、上記第１のリセット走査用ＰＨカウンタより出力される行クロックをカウントし、カウント結果をデコードしてデコードされた行アドレスの複数の画素を選択し、画素アレーのリセット走査を上記タイミング制御部から上記切換部により切り換えられた第１の出力を介して出力されるリセット走査開始タイミング信号により行う第１のリセット走査回路と、
上記撮像制御部より指定された有効画素領域を示す垂直走査開始行及び垂直走査行数に基づき、有効画素領域の垂直走査終了行まで、上記第２のリセット走査用ＰＨカウンタより出力される行クロックをカウントし、カウント結果をデコードしてデコードされた行アドレスの複数の画素を選択し、上記画素アレーのリセット走査を上記タイミング制御部から上記切換部により切り換えられた第２の出力を介して出力されるリセット走査開始タイミング信号により行う第２のリセット走査回路と、
上記タイミング制御部より出力される読み出し走査開始タイミング信号の出力に同期して、上記ＰＨマスタレジスタに保持されている水平走査期間が書き込まれる読み出し走査用ＰＨスレーブレジスタと、
上記読み出し走査用ＰＨスレーブレジスタに保持されている水平走査期間に一致するまで１行の画素数をカウントし、１行毎に行クロックを出力する読み出し走査用ＰＨカウンタと、
上記撮像制御部より指定された有効画素領域を示す垂直走査開始行及び垂直走査行数に基づき、有効画素領域の垂直走査終了行まで、上記読み出し走査用ＰＨカウンタより出力される行クロックをカウントし、カウント結果をデコードしてデコードされた行アドレスの複数の画素を選択し、上記画素アレーの読み出し走査を、上記タイミング制御部より出力される読み出し走査開始タイミング信号により行う読み出し走査回路とを備えたことを特徴とする請求項３記載の撮像装置。
タイミング制御部は露光時間が変化したことを示す、又は短い露光時間から長い露光時間に変化したことを示す露光時間変化信号を出力し、切換部は上記タイミング制御部より出力される読み出し走査開始タイミング信号の代わりに、上記タイミング制御部より出力される露光時間変化信号により第１の出力と第２の出力を切り換えることを特徴とする請求項４記載の撮像装置。